JP2018174442A - 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム - Google Patents
会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム Download PDFInfo
- Publication number
- JP2018174442A JP2018174442A JP2017071279A JP2017071279A JP2018174442A JP 2018174442 A JP2018174442 A JP 2018174442A JP 2017071279 A JP2017071279 A JP 2017071279A JP 2017071279 A JP2017071279 A JP 2017071279A JP 2018174442 A JP2018174442 A JP 2018174442A
- Authority
- JP
- Japan
- Prior art keywords
- conference support
- terminal
- unit
- comment
- conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
Abstract
【課題】重要コメントであることを認識することができる会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラムを提供することを目的とする。【解決手段】会議支援システムは、会議の複数の参加者それぞれが使用する端末と、会議支援装置と、を有する会議支援システムであって、端末は、発言の内容が重要コメントであることを設定する操作部と、重要コメントであることを他の前記端末に報知する重要コメント報知部と、を備える。【選択図】図1
Description
本発明は、会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラムに関する。
複数人が会議をする場合において、各発言者の発話内容をテキスト化して、発話内容をテキスト化して各利用者が所有する再生装置に表示することが提案されている(例えば特許文献1参照)。なお、特許文献1に記載の技術では、発話を話題毎に音声メモとして録音し、議事録作成者が、録音された音声メモを再生してテキスト化を行う。そして、特許文献1に記載の技術では、作成したテキストを他のテキストと関連付けて構造化して議事録を作成し、作成した議事録を再生装置で表示する。
しかしながら、実際の会話では、健聴者は、発話の雰囲気等でなにが重要なコメントなのかを理解することができるが、難聴者等の聴覚障がい者は、発話の部分が重要なコメントなのかを理解することが難しいという課題がある。
本発明は、上記の問題点に鑑みてなされたものであって、重要コメントであることを認識することができる会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラムを提供することを目的とする。
(1)上記目的を達成するため、本発明の一態様に係る会議支援システム1は、会議の複数の参加者それぞれが使用する端末20と、会議支援装置30と、を有する会議支援システムであって、前記端末は、発言の内容が重要コメントであることを設定する操作部201と、前記重要コメントであることを他の前記端末に報知する重要コメント報知部(処理部202、通信部204)と、を備える。
(2)上記目的を達成するため、本発明の一態様に係る会議支援システム1は、会議の複数の参加者それぞれが使用する端末20と、会議支援装置30と、を有する会議支援システムであって、前記会議支援装置は、発言を取得する取得部301と、前記端末が送信した、前記発言が重要コメントであることを示す情報に応じて、前記重要コメントの発言に対応するテキスト情報の表示を変更するテキスト修正部305と、前記テキスト情報を複数の前記端末に送信する通信部307と、を備え、前記端末は、前記会議支援装置が送信した前記テキスト情報を表示する表示部203と、前記発言が重要コメントであることを設定する操作部201と、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信する重要コメント報知部(処理部202、通信部204)と、を備える。
(3)また、本発明の一態様に係る会議支援システムであって、前記端末の重要コメント報知部は、前記発言の開始前と前記発言の終了時に、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信するようにしてもよい。
(4)また、本発明の一態様に係る会議支援システムであって、前記端末の重要コメント報知部は、前記発言の開始前に、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信するようにしてもよい。
(5)また、本発明の一態様に係る会議支援システムであって、前記端末の重要コメント報知部は、前記発言の後に、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信するようにしてもよい。
(6)また、本発明の一態様に係る会議支援システムであって、前記会議支援装置は、前記発言の内容が音声情報の場合に前記音声情報を認識してテキスト情報に変換する音声認識部302、を備え、前記会議支援装置の前記発言を取得する取得部は、前記発言の内容が音声情報であるかテキスト情報であるか判別するようにしてもよい。
(7)また、本発明の一態様に係る会議支援システムであって、前記会議支援装置のテキスト修正部は、前記操作部が操作された後、テキスト表示を他のテキスト表示と色が異なるようにするようにしてもよい。
(8)また、本発明の一態様に係る会議支援システムであって、前記端末の重要コメント報知部は、前記操作部が操作された後、対象の重要コメント部分にマーキングするようにしてもよい。
(9)上記目的を達成するため、本発明の一態様に係る会議支援方法は、会議の複数の参加者それぞれが使用する端末を有する会議支援システムにおける会議支援方法であって、前記端末の操作部が、発言の内容が重要コメントであることを設定するステップと、前記端末の重要コメント報知部が、前記重要コメントであることを他の前記端末に報知するステップと、を含む。
(10)上記目的を達成するため、本発明の一態様に係る会議支援方法は、会議の複数の参加者それぞれが使用する端末と、会議支援装置と、を有する会議支援システムにおける会議支援方法であって、前記会議支援装置の取得部が、発言を取得するステップと、前記会議支援装置の通信部が、取得された前記発言のテキスト情報を複数の前記端末に送信するステップと、前記端末の表示部が、前記会議支援装置が送信した前記テキスト情報を表示するステップと、前記端末の操作部が、前記発言が重要コメントであることを設定するステップと、前記端末の重要コメント報知部が、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信するステップと、前記会議支援装置のテキスト修正部が、前記端末が送信した、前記発言が重要コメントであることを示す情報に応じて、前記重要コメントの発言に対応するテキスト情報の表示を変更するステップと、前記端末の表示部が、前記会議支援装置が送信した変更された前記テキスト情報を表示するステップと、を含む。
(11)上記目的を達成するため、本発明の一態様に係る会議支援装置のプログラムは、会議の複数の参加者それぞれが使用する端末と、会議支援装置と、を有する会議支援システムにおける前記会議支援装置のコンピュータに、発言を取得するステップと、取得された発言のテキスト情報を複数の前記端末に送信するステップと、前記端末が送信した、前記発言が重要コメントであることを示す情報に応じて、前記重要コメントの発言に対応するテキスト情報の表示を変更するステップと、を実行させる。
(12)上記目的を達成するため、本発明の一態様に係る端末のプログラムは、会議の複数の参加者それぞれが使用する端末と、会議支援装置と、を有する会議支援システムにおける前記端末のコンピュータに、前記会議支援装置が送信した前記参加者の発言のテキスト情報を表示するステップと、前記発言が重要コメントであることを設定するステップと、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信するステップと、前記端末の表示部が、前記発言が重要コメントであることを示す情報の送信に応じて前記会議支援装置が送信した変更された前記テキスト情報を表示するステップと、を実行させる。
(1)、(2)、(9)、(10)、(11)、(12)によれば、参加者が重要コメントであることを認識することができる。(1)、(2)、(9)、(10)、(11)、(12)によれば、特に聴覚障がい者等が重要コメントであることを認識することができる。
(3)、(4)によれば、発言のときに重要コメントであることを報知するので、参加者が重要コメントであることを認識することができる。
(5)によれば、発言後に重要コメントであることを報知するので、参加者が重要コメントであることを認識することができる。
(6)によれば、発言がテキスト情報であっても、参加者が重要コメントであることを認識することができる。
(7)によれば、重要コメントの部分を他のコメントに対して強調することができる。
(8)によれば、重要コメントを他のコメントに対して強調することができる。
(3)、(4)によれば、発言のときに重要コメントであることを報知するので、参加者が重要コメントであることを認識することができる。
(5)によれば、発言後に重要コメントであることを報知するので、参加者が重要コメントであることを認識することができる。
(6)によれば、発言がテキスト情報であっても、参加者が重要コメントであることを認識することができる。
(7)によれば、重要コメントの部分を他のコメントに対して強調することができる。
(8)によれば、重要コメントを他のコメントに対して強調することができる。
以下、本発明の実施の形態について図面を参照しながら説明する。
まず、本実施形態の会議支援システムが使用される状況例を説明する。
本実施形態の会議支援システムは、2人以上が参加して行われる会議で用いられる。参加者のうち、発話が不自由な人が会議に参加していてもよい。発話可能な参加者は、参加者毎にマイクロフォンを装着する。また、参加者は、端末(スマートフォン、タブレット端末、パーソナルコンピュータ等)を所持している。会議支援システムは、参加者の発話した音声信号に対して音声認識、テキスト化して、各自の端末にテキストを表示させる。また、利用者は、重要な発話を行うとき端末を操作してから発話を開始、または発話後に端末に表示されたテキストにマーカー等を付与させる指示を行う。会議支援システムは、このような操作に応じて、全ての参加者の端末それぞれに、重要な発話であることを報知する。
本実施形態の会議支援システムは、2人以上が参加して行われる会議で用いられる。参加者のうち、発話が不自由な人が会議に参加していてもよい。発話可能な参加者は、参加者毎にマイクロフォンを装着する。また、参加者は、端末(スマートフォン、タブレット端末、パーソナルコンピュータ等)を所持している。会議支援システムは、参加者の発話した音声信号に対して音声認識、テキスト化して、各自の端末にテキストを表示させる。また、利用者は、重要な発話を行うとき端末を操作してから発話を開始、または発話後に端末に表示されたテキストにマーカー等を付与させる指示を行う。会議支援システムは、このような操作に応じて、全ての参加者の端末それぞれに、重要な発話であることを報知する。
[第1実施形態]
図1は、本実施形態に係る会議支援システム1の構成例を示すブロック図である。
まず、会議支援システム1の構成について説明する。
図1に示すように、会議支援システム1は、入力装置10、端末20、会議支援装置30、音響モデル・辞書DB40、および議事録・音声ログ記憶部50を備える。また、端末20は、端末20−1、端末20−2、・・・を備える。端末20−1、端末20−2のうち1つを特定しない場合は、端末20という。
図1は、本実施形態に係る会議支援システム1の構成例を示すブロック図である。
まず、会議支援システム1の構成について説明する。
図1に示すように、会議支援システム1は、入力装置10、端末20、会議支援装置30、音響モデル・辞書DB40、および議事録・音声ログ記憶部50を備える。また、端末20は、端末20−1、端末20−2、・・・を備える。端末20−1、端末20−2のうち1つを特定しない場合は、端末20という。
入力装置10は、入力部11−1、入力部11−2、入力部11−3、・・・を備える。入力部11−1、入力部11−2、入力部11−3、・・・のうち1つを特定しない場合は、入力部11という。
端末20は、操作部201、処理部202(重要コメント報知部)、表示部203、および通信部204(重要コメント報知部)を備える。
会議支援装置30は、取得部301、音声認識部302、テキスト変換部303(音声認識部)、テキスト修正部305、議事録作成部306、通信部307、認証部308、操作部309、処理部310、および表示部311を備える。
端末20は、操作部201、処理部202(重要コメント報知部)、表示部203、および通信部204(重要コメント報知部)を備える。
会議支援装置30は、取得部301、音声認識部302、テキスト変換部303(音声認識部)、テキスト修正部305、議事録作成部306、通信部307、認証部308、操作部309、処理部310、および表示部311を備える。
入力装置10と会議支援装置30とは、有線または無線によって接続されている。端末20と会議支援装置30とは、有線または無線によって接続されている。
まず、入力装置10について説明する。
入力装置10は、利用者が発話した音声信号を会議支援装置30に出力する。なお、入力装置10は、マイクロフォンアレイであってもよい。この場合、入力装置10は、それぞれ異なる位置に配置されたP個のマイクロフォンを有する。そして、入力装置10は、収音した音からPチャネル(Pは、2以上の整数)の音声信号を生成し、生成したPチャネルの音声信号を会議支援装置30に出力する。
入力装置10は、利用者が発話した音声信号を会議支援装置30に出力する。なお、入力装置10は、マイクロフォンアレイであってもよい。この場合、入力装置10は、それぞれ異なる位置に配置されたP個のマイクロフォンを有する。そして、入力装置10は、収音した音からPチャネル(Pは、2以上の整数)の音声信号を生成し、生成したPチャネルの音声信号を会議支援装置30に出力する。
入力部11は、マイクロフォンである。入力部11は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を会議支援装置30に出力する。なお、入力部11は、アナログ信号の音声信号を会議支援装置30に出力するようにしてもよい。なお、入力部11は、音声信号を、有線のコードやケーブルを介して、会議支援装置30に出力するようにしてもよく、無線で会議支援装置30に送信するようにしてもよい。
次に、端末20について説明する。
端末20は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。端末20は、音声出力部、モーションセンサー、GPS(Global Positioning System;全地球測位システム)等を備えていてもよい。
端末20は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。端末20は、音声出力部、モーションセンサー、GPS(Global Positioning System;全地球測位システム)等を備えていてもよい。
操作部201は、利用者の操作を検出し、検出した結果を処理部202に出力する。操作部201は、例えば表示部203上に設けられたタッチパネル式のセンサー、またはキーボードである。
処理部202は、操作部201が出力した出力した操作結果に応じて送信情報を生成し、生成した送信情報を通信部204に出力する。送信情報は、会議への参加希望を示す参加要請、会議からの退出希望を示す退出要請、重要コメントの発話開始を示す情報、重要コメントの発話終了を示す情報、テキスト情報が重要コメントとして選択されたことを示す情報、過去の会議の議事録を再生する指示等のうちの1つである。なお、送信情報には、端末20の識別情報が含まれている。なお、処理部202は、発話後に、その発話が重要コメントであると選択された場合、そのコメントに対応するテキスト情報が重要コメントとして選択されたことを示す情報を会議支援装置30へ送信する。または、処理部202は、発話後に、その発話が重要コメントであると選択された場合、そのコメントに対応するテキスト情報を修正または変更(表示にマーカーを付加、フォントのサイズの変更、フォントの色の変更、下線等の追加)し、修正したテキスト情報を会議支援装置30へ送信する。なお、重要コメントの選択は、文章の一部、単語等であってもよい。このように、処理部202は、重要コメントを開始する前、重要コメントを終了するとき(重要コメント終了後)、または発話終了後に重要コメントを選択したとき、重要コメントであることを示す情報を、通信部204を介して会議支援装置30へ送信して報知する。
処理部202は、通信部204が出力するテキスト情報を取得し、取得したテキスト情報を画像データに変換し、変換した画像データを表示部203に出力する。なお、表示部203上に表示される画像については、図2、図6を用いて後述する。
処理部202は、通信部204が出力するテキスト情報を取得し、取得したテキスト情報を画像データに変換し、変換した画像データを表示部203に出力する。なお、表示部203上に表示される画像については、図2、図6を用いて後述する。
表示部203は、処理部202が出力した画像データを表示する。表示部203は、例えば液晶表示装置、有機EL(エレクトロルミネッセンス)表示装置、電子インク表示装置等である。
通信部204は、テキスト情報または議事録の情報を会議支援装置30から受信し、受信した受信情報を処理部202に出力する。通信部204は、処理部202が出力した指示情報を会議支援装置30に送信する。
次に、音響モデル・辞書DB40について説明する。
音響モデル・辞書DB40には、例えば音響モデル、言語モデル、単語辞書等が格納されている。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。なお、会議支援装置30は、音声認識辞書13に格納されていない単語等を、音響モデル・辞書DB40に格納して更新するようにしてもよい。
音響モデル・辞書DB40には、例えば音響モデル、言語モデル、単語辞書等が格納されている。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。なお、会議支援装置30は、音声認識辞書13に格納されていない単語等を、音響モデル・辞書DB40に格納して更新するようにしてもよい。
次に、議事録・音声ログ記憶部50について説明する。
議事録・音声ログ記憶部50は、議事録(含む音声信号)を記憶する。議事録・音声ログ記憶部50は、重要なコメントを示す情報も記憶するようにしてもよい。
議事録・音声ログ記憶部50は、議事録(含む音声信号)を記憶する。議事録・音声ログ記憶部50は、重要なコメントを示す情報も記憶するようにしてもよい。
次に、会議支援装置30について説明する。
会議支援装置30は、例えばパーソナルコンピュータ、サーバ、スマートフォン、タブレット端末等のうちのいずれかである。なお、会議支援装置30は、入力装置10がマイクロフォンアレイの場合、音源定位部、音源分離部、および音源同定部をさらに備える。会議支援装置30は、参加者によって発話された音声信号を音声認識してテキスト化する。そして、会議支援装置30は、テキスト化した発話内容のテキスト情報を、参加者の端末20それぞれに送信する。また、会議支援装置30は、発話前と発話終了後に重要コメントであることを示す情報を指示情報として端末20から受信した場合、テキスト情報を修正し、修正したテキスト情報を端末20それぞれに送信する。また、会議支援装置30は、発話後に重要コメントであることを示す情報を指示情報として端末20から受信した場合、端末20から指示情報として受信した修正されたテキスト情報を端末20それぞれに送信する。または、会議支援装置30は、発話後に重要コメントであることを示す情報を指示情報として端末20から受信した場合、端末20から受信した情報に応じて、対応するテキスト情報を修正し、修正したテキスト情報を、通信部307を介して端末20それぞれに送信する。
会議支援装置30は、例えばパーソナルコンピュータ、サーバ、スマートフォン、タブレット端末等のうちのいずれかである。なお、会議支援装置30は、入力装置10がマイクロフォンアレイの場合、音源定位部、音源分離部、および音源同定部をさらに備える。会議支援装置30は、参加者によって発話された音声信号を音声認識してテキスト化する。そして、会議支援装置30は、テキスト化した発話内容のテキスト情報を、参加者の端末20それぞれに送信する。また、会議支援装置30は、発話前と発話終了後に重要コメントであることを示す情報を指示情報として端末20から受信した場合、テキスト情報を修正し、修正したテキスト情報を端末20それぞれに送信する。また、会議支援装置30は、発話後に重要コメントであることを示す情報を指示情報として端末20から受信した場合、端末20から指示情報として受信した修正されたテキスト情報を端末20それぞれに送信する。または、会議支援装置30は、発話後に重要コメントであることを示す情報を指示情報として端末20から受信した場合、端末20から受信した情報に応じて、対応するテキスト情報を修正し、修正したテキスト情報を、通信部307を介して端末20それぞれに送信する。
取得部301は、入力部11が出力する音声信号を取得し、取得した音声信号を音声認識部302に出力する。なお、取得した音声信号がアナログ信号の場合、取得部301は、アナログ信号をデジタル信号に変換し、デジタル信号に変換した音声信号を音声認識部302に出力する。
音声認識部302は、入力部11が複数の場合、入力部11を使用する話者毎に音声認識を行う。
音声認識部302は、取得部301が出力する音声信号を取得する。音声認識部302は、取得部301が出力した音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部302は、発話区間の検出を周知の他の手法を用いて行ってもよい。または、音声認識部302は、端末20が送信した重要コメントの発話開始を示す情報、重要コメントの発話終了を示す情報を用いて、発話区間を検出する。音声認識部302は、検出した発話区間の音声信号に対して、音響モデル・辞書DB40を参照して、周知の手法を用いて音声認識を行う。なお、音声認識部302は、例えば特開2015−64554号公報に開示されている手法等を用いて音声認識を行う。音声認識部302は、認識した認識結果と音声信号をテキスト変換部303に出力する。なお、音声認識部302は、認識結果と音声信号とを、例えば1文毎、または発話句間毎、または話者毎に対応つけて出力する。
音声認識部302は、取得部301が出力する音声信号を取得する。音声認識部302は、取得部301が出力した音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部302は、発話区間の検出を周知の他の手法を用いて行ってもよい。または、音声認識部302は、端末20が送信した重要コメントの発話開始を示す情報、重要コメントの発話終了を示す情報を用いて、発話区間を検出する。音声認識部302は、検出した発話区間の音声信号に対して、音響モデル・辞書DB40を参照して、周知の手法を用いて音声認識を行う。なお、音声認識部302は、例えば特開2015−64554号公報に開示されている手法等を用いて音声認識を行う。音声認識部302は、認識した認識結果と音声信号をテキスト変換部303に出力する。なお、音声認識部302は、認識結果と音声信号とを、例えば1文毎、または発話句間毎、または話者毎に対応つけて出力する。
テキスト変換部303は、音声認識部302が出力した認識結果をテキストに変換する。テキスト変換部303は、変換したテキスト情報と音声信号をテキスト修正部305に出力する。なお、テキスト変換部303は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除してテキストに変換するようにしてもよい。
テキスト修正部305は、処理部310が出力した修正指示に応じて、テキスト変換部303が出力したテキスト情報の表示を、フォントの色を修正、フォントの大きさを修正、フォントの種類を修正、コメントに下線を追加、コメントにマーカーを付加等して修正する。テキスト修正部305は、テキスト変換部303が出力したテキスト情報、または修正したテキスト情報を処理部310に出力する。テキスト修正部305は、テキスト変換部303が出力したテキスト情報と音声信号を議事録作成部306に出力する。
議事録作成部306は、テキスト修正部305が出力したテキスト情報と音声信号に基づいて、発話者毎に分けて、議事録を作成する。議事録作成部306は、作成した議事録と対応する音声信号を議事録・音声ログ記憶部50に記憶させる。なお、議事録作成部306は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除して議事録を作成するようにしてもよい。
通信部307は、端末20と情報の送受信を行う。端末20から受信する情報には、参加要請、音声信号、指示情報(含む重要コメントであることを示す情報)、過去の会議の議事録を再生する指示等が含まれている。通信部307は、端末20から受信した参加要請から、例えば、端末20を識別するための識別子を抽出し、抽出した識別子を認証部308に出力する。識別子は、例えば、端末20のシリアル番号、MACアドレス(Media Access Control address)、IP(Internet Protocol)アドレス等である。通信部307は、認証部308が通信参加を許可する指示を出力した場合、会議に参加要請した端末20との通信を行う。通信部307は、認証部308が通信参加を許可しない指示を出力した場合、会議に参加要請した端末20との通信を行わない。通信部307は、受信した情報から指示情報を抽出し、抽出した指示情報を処理部310に出力する。通信部307は、処理部310が出力したテキスト情報または修正済みのテキスト情報を、参加要請のあった端末20に送信する。通信部307は、処理部310が出力した議事録の情報を、参加要請のあった端末20、または、過去の会議の議事録を再生する指示を送信した端末20に送信する。
認証部308は、通信部307が出力した識別子を受け取り、通信を許可するか否か判別する。なお、会議支援装置30は、例えば、会議への参加者が使用する端末20の登録を受け付け、認証部308に登録しておく。認証部308は、判別結果に応じて、通信参加を許可する指示か、通信参加を許可しない指示を通信部307に出力する。
操作部309は、例えばキーボード、マウス、表示部311上に設けられているタッチパネルセンサー等である。操作部309は、利用者の操作結果を検出して、検出した操作結果を処理部310に出力する。
処理部310は、通信部307が出力した指示情報に応じて修正指示を生成し、生成した修正指示をテキスト修正部305に出力する。処理部310は、発話前と発話終了後に重要コメントであることを示す情報を指示情報として端末20から受信した場合、テキスト情報を修正する修正指示をテキスト修正部305に出力する。なお、処理部310は、発話が終了したとき、終了を示す指示情報が送信されなくても、入力部11から所定時間、所定レベル以上の音声信号を取得できないとき、この話者の発話が終了したと見なし、発話終了を示す情報を含む指示情報の代わりに用いてもよい。また、処理部310は、発話後に重要コメントであることを示す情報を指示情報として端末20から受信した場合、端末20から指示情報として受信した修正されたテキスト情報を通信部307に出力する。または、処理部310は、発話後に重要コメントであることを示す情報を指示情報として端末20から受信した場合、端末20から受信した情報に応じて、対応するテキスト情報を修正する修正指示をテキスト修正部305に出力する。
処理部310は、テキスト修正部305が出力したテキスト情報または修正済みのテキスト情報を通信部307に出力する。
処理部310は、指示情報に応じて議事録・音声ログ記憶部50から議事録を読み出し、読み出した議事録の情報を通信部307に出力する。なお、議事録の情報には、話者を示す情報、テキスト修正部305が修正した結果を示す情報等が含まれていてもよい。
処理部310は、テキスト修正部305が出力したテキスト情報または修正済みのテキスト情報を通信部307に出力する。
処理部310は、指示情報に応じて議事録・音声ログ記憶部50から議事録を読み出し、読み出した議事録の情報を通信部307に出力する。なお、議事録の情報には、話者を示す情報、テキスト修正部305が修正した結果を示す情報等が含まれていてもよい。
表示部311は、処理部310が出力した画像データを表示する。表示部311は、例えば液晶表示装置、有機EL表示装置、電子インク表示装置等である。
なお、入力装置10がマイクロフォンアレイの場合、会議支援装置30は、音源定位部、音源分離部、および音源同定部をさらに備える。この場合、会議支援装置30は、取得部301が取得した音声信号に対して予め生成した伝達関数を用いて音源定位部が音源定位を行う。そして、会議支援装置30は、音源定位部が定位して結果を用いて話者同定を行う。会議支援装置30は、音源定位部が定位して結果を用いて、取得部301が取得した音声信号に対して音源分離を行う。そして、会議支援装置30の音声認識部302は、分離された音声信号に対して発話区間の検出と音声認識を行う(例えば特開2017−9657号公報参照)。また、会議支援装置30は、残響音抑圧処理を行うようにしてもよい。
また、会議支援装置30は、テキスト変換部303が変換したテキスト情報に対して、さらに形態素解析、係り受け解析を行うようにしてもよい。
次に、端末20の表示部203上に表示される画像の例を、図2を用いて説明する。
図2は、本実施形態に係る端末20の表示部203上に表示される画像の例を示す図である。
図2は、本実施形態に係る端末20の表示部203上に表示される画像の例を示す図である。
まず、画像g10について説明する。
画像g10は、Aさんが発話したときに、端末20の表示部203上に表示される画像例である。画像g10には、入室ボタンの画像g11、退出ボタンの画像g12、重要コメントボタンの画像g13、発話終了ボタンの画像g14、文字入力ボタンの画像g15、定型文入力ボタンの画像g16、絵文字入力ボタンの画像g17、およびAさんの発話のテキストの画像g21が含まれている。
画像g10は、Aさんが発話したときに、端末20の表示部203上に表示される画像例である。画像g10には、入室ボタンの画像g11、退出ボタンの画像g12、重要コメントボタンの画像g13、発話終了ボタンの画像g14、文字入力ボタンの画像g15、定型文入力ボタンの画像g16、絵文字入力ボタンの画像g17、およびAさんの発話のテキストの画像g21が含まれている。
入室ボタンの画像g11は、参加者が会議に参加するときに選択するボタンの画像である。
退出ボタンの画像g12は、参加者が会議から退出、または会議が終了したときに選択するボタンの画像である。
重要コメントボタンの画像g13は、重要な発言を開始するときに選択するボタンの画像である。
発話終了ボタンの画像g14は、重要な発言を終了するときに選択するボタンの画像である。
退出ボタンの画像g12は、参加者が会議から退出、または会議が終了したときに選択するボタンの画像である。
重要コメントボタンの画像g13は、重要な発言を開始するときに選択するボタンの画像である。
発話終了ボタンの画像g14は、重要な発言を終了するときに選択するボタンの画像である。
文字入力ボタンの画像g15は、参加者が音声による発話ではなく、端末20の操作部201を操作して文字入力するときに選択するボタンの画像である。
定型文入力ボタンの画像g16は、参加者が音声による発話ではなく、端末20の操作部201を操作して定型分を入力するときに選択するボタンの画像である。なお、このボタンが選択されると、複数の定型文が選択され、参加者は表示された複数の定型文から選択する。なお、定型文とは、例えば、「お早うございます。」、「こんにちは。」、「今日は寒いですね。」、「今日は暑いですね。」、「お手洗いに行ってきてもいいでしょうか?」、「ここで、少し休憩しませんか?」等である。
絵文字入力ボタンの画像g17は、参加者が音声による発話ではなく、端末20の操作部201を操作して絵文字入力するときに選択するボタンの画像である。
定型文入力ボタンの画像g16は、参加者が音声による発話ではなく、端末20の操作部201を操作して定型分を入力するときに選択するボタンの画像である。なお、このボタンが選択されると、複数の定型文が選択され、参加者は表示された複数の定型文から選択する。なお、定型文とは、例えば、「お早うございます。」、「こんにちは。」、「今日は寒いですね。」、「今日は暑いですね。」、「お手洗いに行ってきてもいいでしょうか?」、「ここで、少し休憩しませんか?」等である。
絵文字入力ボタンの画像g17は、参加者が音声による発話ではなく、端末20の操作部201を操作して絵文字入力するときに選択するボタンの画像である。
Aさんの発話のテキストの画像g21は、Aさんが発話した音声信号を音声認識部302、テキスト変換部303が処理した後のテキスト情報である。
次に、画像g20について説明する。
画像g20は、Aさんが発話した後にBさんが重要なコメントの発話した後に、端末20それぞれの表示部203ぞれぞれの上に表示される画像例である。画像g20には、画像g10に加えて、Bさんの発話のテキストの画像g22が含まれている。
図2に示す例では、Aさんの発話が重要コメントではなく、Bさんのコメントが重要コメントの例である。このため、画像g21に対して、画像g22は、フォントの色を修正し、さらに下線が追加さられて、テキスト情報が修正された例でもある。なお、重要コメントの表示方法は、例えばマーカーで色付けを行うようにしてもよい。
また、図2に示した例では、表示部203上に表示されるボタンの例を説明したが、これらのボタンは物理的なボタン(操作部201)であってもよい。
画像g20は、Aさんが発話した後にBさんが重要なコメントの発話した後に、端末20それぞれの表示部203ぞれぞれの上に表示される画像例である。画像g20には、画像g10に加えて、Bさんの発話のテキストの画像g22が含まれている。
図2に示す例では、Aさんの発話が重要コメントではなく、Bさんのコメントが重要コメントの例である。このため、画像g21に対して、画像g22は、フォントの色を修正し、さらに下線が追加さられて、テキスト情報が修正された例でもある。なお、重要コメントの表示方法は、例えばマーカーで色付けを行うようにしてもよい。
また、図2に示した例では、表示部203上に表示されるボタンの例を説明したが、これらのボタンは物理的なボタン(操作部201)であってもよい。
次に、会議支援システム1の処理手順例を説明する。
図3は、本実施形態に係る会議支援システム1の処理手順例のシーケンス図である。
図3に示す例では、3人の参加者(利用者)が会議に参加している例である。参加者Aは、会議支援装置30の利用者であり、入力部11−1を装着している。参加者Bは、端末20−1の利用者であり、入力部11−2を装着している。参加者Cは、端末20−2の利用者であり、入力部11を装着していない。例えば、参加者Bと参加者Cが難聴者等の聴覚障がい者であるとする。
図3は、本実施形態に係る会議支援システム1の処理手順例のシーケンス図である。
図3に示す例では、3人の参加者(利用者)が会議に参加している例である。参加者Aは、会議支援装置30の利用者であり、入力部11−1を装着している。参加者Bは、端末20−1の利用者であり、入力部11−2を装着している。参加者Cは、端末20−2の利用者であり、入力部11を装着していない。例えば、参加者Bと参加者Cが難聴者等の聴覚障がい者であるとする。
(ステップS1)利用者Bは、端末20−1の操作部201を操作して入室ボタンの画像g11(図2)を選択して、会議に参加する。端末20−1の処理部202は、操作部201によって入室ボタンの画像g11が選択された結果に応じて、参加要請を会議支援装置30に送信する。
(ステップS2)参加者Cは、端末20−2の操作部201を操作し入室ボタンの画像g11を選択して、会議に参加する。端末20−2の処理部202は、操作部201によって入室ボタンの画像g11が選択された結果に応じて、参加要請を会議支援装置30に送信する。
(ステップS3)会議支援装置30の通信部307は、端末20−1と端末20−2それぞれが送信した参加要請を受信する。続けて、通信部307は、端末20から受信した参加要請から、例えば、端末20を識別するための識別子を抽出する。続けて、会議支援装置30の認証部308は、通信部307が出力した識別子を受け取り、通信を許可するか否かの認証を行う。図3の例では、端末20−1と端末20−2の参加を許可した例である。
(ステップS4)参加者Aが発話を行う。入力部11−1は、音声信号を会議支援装置30に出力する。
(ステップS5)会議支援装置30の音声認識部302は、入力部11−1が出力した音声信号に対して音声認識処理を行う(音声認識処理)。
(ステップS5)会議支援装置30の音声認識部302は、入力部11−1が出力した音声信号に対して音声認識処理を行う(音声認識処理)。
(ステップS6)会議支援装置30のテキスト変換部303は、音声信号をテキストに変換する(テキスト変換処理)。
(ステップS7)会議支援装置30の処理部310は、通信部307を介してテキスト情報を端末20−1と端末20−2それぞれに送信する。
(ステップS7)会議支援装置30の処理部310は、通信部307を介してテキスト情報を端末20−1と端末20−2それぞれに送信する。
(ステップS8)端末20−2の処理部202は、会議支援装置30が送信したテキスト情報を、通信部204を介して受信し、受信したテキスト情報を端末20−2の表示部203上に表示させる。
(ステップS9)端末20−1の処理部202は、会議支援装置30が送信したテキスト情報を、通信部204を介して受信し、受信したテキスト情報を端末20−1の表示部203上に表示させる。
(ステップS9)端末20−1の処理部202は、会議支援装置30が送信したテキスト情報を、通信部204を介して受信し、受信したテキスト情報を端末20−1の表示部203上に表示させる。
(ステップS10)参加者Bは、発話前に端末20−1の操作部201を操作して、重要コメントボタンの画像g13(図2)を選択する。続けて、端末20−1の処理部202は、操作部201が操作されたことに応じて、重要コメントの開始を示す情報を含む指示情報を会議支援装置30に送信する。
(ステップS11)参加者Bが発話を行う。入力部11−2は、音声信号を会議支援装置30に送信する。
(ステップS12)参加者Bは、発話が終了したときに端末20−1の操作部201を操作して、発話終了ボタンの画像g14(図2)を選択する。続けて、端末20−1の処理部202は、操作部201が操作されたことに応じて、重要コメントの終了を示す情報を含む指示情報を会議支援装置30に送信する。
(ステップS12)参加者Bは、発話が終了したときに端末20−1の操作部201を操作して、発話終了ボタンの画像g14(図2)を選択する。続けて、端末20−1の処理部202は、操作部201が操作されたことに応じて、重要コメントの終了を示す情報を含む指示情報を会議支援装置30に送信する。
(ステップS13)会議支援装置30の音声認識部302は、入力部11−2が送信した音声信号に対して音声認識処理を行う。
(ステップS14)会議支援装置30のテキスト変換部303は、音声信号をテキストに変換する。
(ステップS14)会議支援装置30のテキスト変換部303は、音声信号をテキストに変換する。
(ステップS15)会議支援装置30のテキスト修正部305は、端末20−1が送信した指示情報に応じてテキスト情報を修正する。テキスト修正部305は、例えば、図2の画像g22のように、参加者Bの発話のテキスト情報のフォントの色を変更し、さらに下線を追加する。
(ステップS16)会議支援装置30の処理部310は、通信部307を介して修正したテキスト情報を端末20−1と端末20−2それぞれに送信する。
(ステップS16)会議支援装置30の処理部310は、通信部307を介して修正したテキスト情報を端末20−1と端末20−2それぞれに送信する。
(ステップS17)端末20−2の処理部202は、ステップS8と同様に処理を行う。
(ステップS18)端末20−1の処理部202は、ステップS9と同様に処理を行う。
以上で、会議支援システム1の処理を終了する。なお、ステップS19の処理については、後述する。
(ステップS18)端末20−1の処理部202は、ステップS9と同様に処理を行う。
以上で、会議支援システム1の処理を終了する。なお、ステップS19の処理については、後述する。
次に、端末20が行う処理手順例を説明する。
図4は、本実施形態に係る端末20が行う処理手順例を示すフローチャートである。
図4は、本実施形態に係る端末20が行う処理手順例を示すフローチャートである。
(ステップS101)処理部202は、操作部201が操作されて重要コメントボタンの画像g13(図2)が操作されたか否かを判別する。処理部202は、重要コメントボタンが操作されたと判別した場合(ステップS101;YES)、ステップS102の処理に進める。または、処理部202は、重要コメントボタンが操作されていないと判別した場合(ステップS101;NO)、ステップS105の処理に進める。参加者は、発話を開始する。続けて、入力装置10は、発話された音声信号を会議支援装置30に出力する。
(ステップS102)処理部202は、重要コメントの発話を開始することを示す情報を含む指示情報を、会議支援装置30に送信することで報知する。
(ステップS103)処理部202は、操作部201が操作されて会話終了ボタンの画像g14(図2)が操作されたか否かを判別する。処理部202は、会話終了ボタンが操作されたと判別した場合(ステップS103;YES)、ステップS104の処理に進め、会話終了ボタンが操作されていないと判別した場合(ステップS103;NO)、ステップS103の処理を繰り返す。
(ステップS103)処理部202は、操作部201が操作されて会話終了ボタンの画像g14(図2)が操作されたか否かを判別する。処理部202は、会話終了ボタンが操作されたと判別した場合(ステップS103;YES)、ステップS104の処理に進め、会話終了ボタンが操作されていないと判別した場合(ステップS103;NO)、ステップS103の処理を繰り返す。
(ステップS104)処理部202は、重要コメントの発話が終了したことを示す情報を含む指示情報を、会議支援装置30に送信することで報知する。
(ステップS105)処理部202は、会議支援装置30が送信したテキスト情報または修正後のテキスト情報を受信する。
(ステップS106)処理部202は、受信したテキスト情報または修正後のテキスト情報を表示部203上に表示させる。
以上で、端末20の処理を終了する。
(ステップS105)処理部202は、会議支援装置30が送信したテキスト情報または修正後のテキスト情報を受信する。
(ステップS106)処理部202は、受信したテキスト情報または修正後のテキスト情報を表示部203上に表示させる。
以上で、端末20の処理を終了する。
次に、会議支援装置30が行う処理手順例を説明する。
図5は、本実施形態に係る会議支援装置30が行う処理手順例を示すフローチャートである。
図5は、本実施形態に係る会議支援装置30が行う処理手順例を示すフローチャートである。
(ステップS201)処理部310は、端末20から重要コメントの発話を開始することを示す情報を含む指示情報を受信したか否かを判別する。処理部310は、指示情報を受信していないと判別した場合(ステップS201;NO)、ステップS202に処理を進め、指示情報を受信したと判別した場合(ステップS201;YES)、ステップS205に処理を進める。
(ステップS202)取得部301は、入力装置10が出力する音声信号を取得する。
(ステップS203)音声認識部302は、取得された音声信号に対して音声認識処理を行う。
(ステップS204)テキスト変換部303は、音声認識された結果に基づいて、発話内容をテキストに変換する(テキスト化)。処理後、テキスト変換部303は、ステップS210に処理を進める。
(ステップS203)音声認識部302は、取得された音声信号に対して音声認識処理を行う。
(ステップS204)テキスト変換部303は、音声認識された結果に基づいて、発話内容をテキストに変換する(テキスト化)。処理後、テキスト変換部303は、ステップS210に処理を進める。
(ステップS205)取得部301は、入力装置10が出力する音声信号を取得する。
(ステップS206)処理部310は、端末20から重要コメントの発話を終了することを示す情報を含む指示情報を受信したか否かを判別する。処理部310は、指示情報を受信していないと判別した場合(ステップS206;NO)、ステップS205に処理を戻し、指示情報を受信したと判別した場合(ステップS206;YES)、ステップS207に処理を進める。
(ステップS206)処理部310は、端末20から重要コメントの発話を終了することを示す情報を含む指示情報を受信したか否かを判別する。処理部310は、指示情報を受信していないと判別した場合(ステップS206;NO)、ステップS205に処理を戻し、指示情報を受信したと判別した場合(ステップS206;YES)、ステップS207に処理を進める。
(ステップS207)音声認識部302は、取得された音声信号に対して音声認識処理を行う。
(ステップS208)テキスト変換部303は、音声認識された結果に基づいて、発話内容をテキストに変換する。
(ステップS208)テキスト変換部303は、音声認識された結果に基づいて、発話内容をテキストに変換する。
(ステップS209)テキスト修正部305は、テキスト情報の表示を変更する(テキスト修正)。テキスト修正部305は、例えば、図2に示したように、重要コメントのテキスト情報のフォントの色を変更し、さらに下線を追加するように修正する。
(ステップS210)処理部310は、テキスト情報または修正されたテキスト情報を端末20に送信する。
以上で、会議支援装置30が行う処理を終了する。
以上で、会議支援装置30が行う処理を終了する。
なお、図2に示した例では、重要コメントボタンを設定し、そのボタンが操作された後の発話について、テキストに色づけ等をして表示させる例を説明したが、これに限られない。発話後、音声認識処理とテキスト化した後に、発話者が重要コメントの部分についてマーキングを行うようにしてもよい。
次に、参加者が、発話後にテキスト情報を選択して、重要なコメントであることを示すように表示を変更する例を説明する。
次に、参加者が、発話後にテキスト情報を選択して、重要なコメントであることを示すように表示を変更する例を説明する。
図6は、本実施形態に係る参加者が発話後にテキスト情報を選択して重要なコメントであることを示すように表示を変更する例を示す図である。
画像g30は、Aさんが発話した後にBさんが発話したときに、端末20の表示部203上に表示される画像例である。画像g30には、入室ボタンの画像g11、退出ボタンの画像g12、重要コメント選択ボタンの画像g13a、文字入力ボタンの画像g15、定型文入力ボタンの画像g16、絵文字入力ボタンの画像g17、Aさんの発話のテキストの画像g21、およびBさんの発話のテキスト画像g31が含まれている。
画像g30は、Aさんが発話した後にBさんが発話したときに、端末20の表示部203上に表示される画像例である。画像g30には、入室ボタンの画像g11、退出ボタンの画像g12、重要コメント選択ボタンの画像g13a、文字入力ボタンの画像g15、定型文入力ボタンの画像g16、絵文字入力ボタンの画像g17、Aさんの発話のテキストの画像g21、およびBさんの発話のテキスト画像g31が含まれている。
重要コメント選択ボタンの画像g13aは、発言後に、その発言が重要コメントである場合に選択するボタンの画像である。なお、選択は、発言の一部、単語等であってもよい。例えば、画像g31において、「Bさん:△△ではなく、○△にしたら如何でしょうか?」の領域を利用者がタッチすることで、処理部202は発言全てを選択する。または、「○△」をタッチすることで、処理部202は単語「○△」を選択する。なお、選択は、発言者が行ってもよく、他の参加者が行ってもよい。
画像g40は、Bさんが発話した発話内容を重要コメントに選択したときに、端末20の表示部203上に表示される画像例である。
画像g40は、Bさんの発話全てが選択され、この結果、画像g31「△△ではなく、○△にしたら如何でしょうか?」のテキスト情報にマーカー(画像g41)が付加されている例である。
画像g40は、Bさんの発話全てが選択され、この結果、画像g31「△△ではなく、○△にしたら如何でしょうか?」のテキスト情報にマーカー(画像g41)が付加されている例である。
なお、図6に示したような発話後の重要コメントの選択は、会議終了後に、議事録を端末20上に表示させたときに行うようにしてもよい。
次に、発話後に重要コメントを設定する場合に端末20が行う処理手順例を説明する。
図7は、本実施形態に係る発話後に重要コメントを設定する場合に端末20が行う処理手順例を示すフローチャートである。なお、図7に示す例は、マーカーの付与を端末20の処理部202が行う例である。また、重要コメントの選択を端末20−1の利用者が行い、他の端末20−2へ報知する例でもある。
図7は、本実施形態に係る発話後に重要コメントを設定する場合に端末20が行う処理手順例を示すフローチャートである。なお、図7に示す例は、マーカーの付与を端末20の処理部202が行う例である。また、重要コメントの選択を端末20−1の利用者が行い、他の端末20−2へ報知する例でもある。
(ステップS301)端末20−1の処理部202は、会議支援装置30が送信したテキスト情報または修正後のテキスト情報を受信する。
(ステップS302)端末20−1の処理部202は、受信したテキスト情報または修正後のテキスト情報を表示部203上に表示させる。
(ステップS302)端末20−1の処理部202は、受信したテキスト情報または修正後のテキスト情報を表示部203上に表示させる。
(ステップS303)端末20−1の処理部202は、操作部201が操作されて重要コメントボタンの画像g13a(図6)が操作されたか否かを判別する。端末20−1の処理部202は、重要コメントボタンが操作されたと判別した場合(ステップS303;YES)、ステップS304の処理に進め、重要コメントボタンが操作されていないと判別した場合(ステップS303;NO)、処理を終了する。
(ステップS304)端末20−1の処理部202は、発話がコメントにマーカーを不付加して修正したテキスト情報と、重要コメントであることを示す情報を含む指示情報を、会議支援装置30に送信することで報知する。
(ステップS305)端末20−2の処理部202は、会議支援装置30が送信した修正後のテキスト情報を受信する。
(ステップS106)端末20−2の処理部202は、受信した修正後のテキスト情報を表示部203上に表示させる。これにより、他の端末20−2の表示部203上にも図6の画像g40が表示される。
以上で、端末20の処理を終了する。
(ステップS305)端末20−2の処理部202は、会議支援装置30が送信した修正後のテキスト情報を受信する。
(ステップS106)端末20−2の処理部202は、受信した修正後のテキスト情報を表示部203上に表示させる。これにより、他の端末20−2の表示部203上にも図6の画像g40が表示される。
以上で、端末20の処理を終了する。
次に、発話後に重要コメントを設定する場合に会議支援装置30が行う処理手順例を説明する。
図8は、本実施形態に係る発話後に重要コメントを設定する場合に会議支援装置30が行う処理手順例を示すフローチャートである。
図8は、本実施形態に係る発話後に重要コメントを設定する場合に会議支援装置30が行う処理手順例を示すフローチャートである。
(ステップS401)処理部310は、端末20−1から修正されたテキスト情報と重要コメントであることを示す情報を含む指示情報を受信したか否かを判別する。処理部310は、指示情報を受信していないと判別した場合(ステップS401;NO)、ステップS403に処理を進め、指示情報を受信したと判別した場合(ステップS401;YES)、ステップS402に処理を進める。なお、処理部310は、指示情報に含まれる識別情報に基づいて、指示情報を送信した端末20を識別する。
(ステップS402)処理部310は、受信した修正されたテキスト情報を、通信部307を介して受信した端末20−1以外の端末20−2に送信する。なお、処理部310は、受信した修正されたテキスト情報を端末20−1にも送信するようにしてもよい。
(ステップS403)処理部310は、通信部307を介してテキスト情報を端末20に送信する。
以上で、会議支援装置30が行う処理を終了する。
(ステップS403)処理部310は、通信部307を介してテキスト情報を端末20に送信する。
以上で、会議支援装置30が行う処理を終了する。
なお、端末20の処理部202は、図3のステップS19のように、修正(変更)したテキスト情報を、指示情報を送信してきた端末20以外の他の端末20に送信するようにしてもよい。または、処理部202は、図3のステップS19のように、修正(変更)したテキスト情報を、会議支援装置30に送信するようにしてもよい。
なお、図7、図8に示した例では、テキスト情報が重要コメントの場合に、端末20の処理部202がテキスト情報の表示を変更する例を説明したが、会議支援装置30の処理部310が変更するようにしてもよい。この場合、端末20の処理部202は、コメントを変更したことを示す情報を含む指示情報を、会議支援装置30に送信するようにしてもよい。そして、会議支援装置30の処理部310は、受信した情報に応じて、テキスト修正部305に修正指示を出力し、テキスト修正部305が修正したテキスト情報を端末20それぞれに送信するようにしてもよい。
また、上述した例では、発話が重要なコメントの場合に、重要なコメントであることを報知するように表示を変化させる例を説明したが、発話者が不要なコメントを指定して削除させるようにしてもよい。
図9は、本実施形態に係る不要なコメントを指定して削除する例を示す図である。
画像g50には、入室ボタンの画像g11、退出ボタンの画像g12、文字入力ボタンの画像g15、定型文入力ボタンの画像g16、絵文字入力ボタンの画像g17、不要コメントボタンの画像g18、Aさんの発話のテキストの画像g21、およびBさんの発話のテキストの画像g31、コメント選択アイコンの画像g51が含まれている。
画像g50には、入室ボタンの画像g11、退出ボタンの画像g12、文字入力ボタンの画像g15、定型文入力ボタンの画像g16、絵文字入力ボタンの画像g17、不要コメントボタンの画像g18、Aさんの発話のテキストの画像g21、およびBさんの発話のテキストの画像g31、コメント選択アイコンの画像g51が含まれている。
不要コメントボタンの画像g18は、テキスト情報のうち、不要なコメントを選択して削除を行うためのボタンの画像である。不要コメントボタンの画像g18が選択されると、処理部202は、コメント選択アイコンの画像g51を表示部203上に表示させる。
コメント選択アイコンの画像g51は、テキスト情報のうち、不要な箇所を選択するためのアイコンの画像である。
コメント選択アイコンの画像g51は、テキスト情報のうち、不要な箇所を選択するためのアイコンの画像である。
図9に示す例では、Bさんの発話「そういえば、昨日は寒かったですね。それはおいといて。△△ではなく、○△にしたら如何でしょうか?」のうち、「そういえば、昨日は寒かったですね。それはおいといて。」が選択された例である。選択されたコメントの表示の修正は、端末20の処理部202が行う。または、会議支援装置30のテキスト修正部305が行うようにしてもよい。
このような不要なコメントがある場合、会議支援装置30のテキスト修正部305が、不要なコメントを削除したテキスト情報を議事録作成部306に出力する。これにより、議事録からも不要なコメントを削除することができる。
このような不要なコメントがある場合、会議支援装置30のテキスト修正部305が、不要なコメントを削除したテキスト情報を議事録作成部306に出力する。これにより、議事録からも不要なコメントを削除することができる。
なお、上述した例では、発話が日本語の場合、日本語にテキスト変換する例を説明したが、テキスト変換部303は、周知の翻訳手法を用いて、発話された言語と異なる言語のテキストに翻訳するようにしてもよい。この場合、端末20それぞれに表示される言語は、端末20の利用者が選択するようにしてもよい。例えば、端末20−1の表示部203上には、日本語のテキスト情報が表示され、端末20−2の表示部203には、英語のテキスト情報が表示されるようにしてもよい。
また、上述した例では、重要コメントであることを示す指示情報を会議支援装置30経由で他の端末20に送信する例を説明したが、これに限られない。発話後に重要コメントにマーカーを付加する場合、マーカー付加した端末20の処理部202が、会議支援装置30に加えて、他の端末20に修正したテキスト情報を直接送信することで報知するようにしてもよい。
以上、本実施形態では、図2、図4〜図5に示したように、重要コメントボタンと発話終了ボタンを端末20に設け、そのボタンが操作されたときの発話について、テキストに色づけ等をして参加者が使用する端末20に重要コメントであることを報知するようにした。
また、本実施形態では、テキスト翻訳(テキスト化)された内容のうち、発話者が重要コメントの部分についてマーキングを行い、参加者が使用する端末20に重要コメントであることを報知するようにした。
また、本実施形態では、テキスト翻訳(テキスト化)された内容のうち、発話者が重要コメントの部分についてマーキングを行い、参加者が使用する端末20に重要コメントであることを報知するようにした。
これにより、本実施形態によれば、参加者が重要コメントであることを認識することができる。本実施形態によれば、特に聴覚障がい者等が、端末20上の表示によって、重要コメントであることを認識することができる。
また、本実施形態によれば、発言のときに重要コメントであることを報知するので、参加者が重要コメントであることを認識することができる。
また、本実施形態によれば、発言後に重要コメントであることを報知するので、参加者が重要コメントであることを認識することができる。
また、本実施形態によれば、発言後に重要コメントであることを報知するので、参加者が重要コメントであることを認識することができる。
また、本実施形態によれば、重要なコメントに対して表示を修正(フォントの色、下線、マーカー、フォントの大きさ等)を行うようにしたので、重要コメントの部分を他のコメントに対して強調することができる。
また、本実施形態によれば、重要なコメントに対して表示を修正(フォントの色、下線、マーカー、フォントの大きさ等)を行うようにしたので、重要コメントを他のコメントに対して強調することができる。
また、本実施形態によれば、重要なコメントに対して表示を修正(フォントの色、下線、マーカー、フォントの大きさ等)を行うようにしたので、重要コメントを他のコメントに対して強調することができる。
[第2実施形態]
第1実施形態では、取得部301が取得する信号が音声信号の例を説明したが、取得する情報がテキスト情報であってもよい。この場合について、図1を参照して説明する。
第1実施形態では、取得部301が取得する信号が音声信号の例を説明したが、取得する情報がテキスト情報であってもよい。この場合について、図1を参照して説明する。
入力部11は、マイクロフォンまたはキーボード(タッチパネル式のキーボードを含む)である。入力部11がマイクロフォンの場合、入力部11は、参加者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を会議支援装置30に出力する。入力部11がキーボードの場合、入力部11は、参加者の操作を検出し、検出した結果のテキスト情報を会議支援装置30に出力する。入力部11がキーボードの場合、入力部11は、端末20の操作部201であってもよい。なお、入力部11は、音声信号またはテキスト情報を、有線のコードやケーブルを介して、会議支援装置30に出力するようにしてもよく、無線で会議支援装置30に送信するようにしてもよい。入力部11は、端末20の操作部201の場合、参加者は、例えば図2に示したように、文字入力ボタンの画像g15、定型文入力ボタンの画像g16、絵文字入力ボタンの画像g17を選択して操作する。なお、文字入力ボタンの画像g15が選択された場合、端末20の処理部202は、表示部203上にソフトウェアキーボードの画像を表示する。
取得部301は、取得した情報が音声信号であるかテキスト情報であるか判別する。取得部301は、テキスト情報であると判別した場合、取得したテキスト情報を音声認識部302とテキスト変換部303を介してテキスト修正部305に出力する。
本実施形態では、このようにテキスト情報が入力された場合であっても、そのテキスト情報を端末20の表示部203上に表示させる。
これにより、本実施形態によれば、入力がテキスト情報であっても、第1実施形態と同様の効果を得ることができる。
これにより、本実施形態によれば、入力がテキスト情報であっても、第1実施形態と同様の効果を得ることができる。
なお、本発明における会議支援システム1の全てまたは一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより会議支援システム1が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1…会議支援システム、10…入力装置、20,20−1,20−2…端末、30…会議支援装置、40…音響モデル・辞書DB、50…議事録・音声ログ記憶部、11−1,11−2,11−3…入力部、201…操作部、202…処理部、203…表示部、204…通信部、301…取得部、302…音声認識部、303…テキスト変換部、305…テキスト修正部、306…議事録作成部、307…通信部、308…認証部、309…操作部、310…処理部、311…表示部
Claims (12)
- 会議の複数の参加者それぞれが使用する端末と、会議支援装置と、を有する会議支援システムであって、
前記端末は、
発言の内容が重要コメントであることを設定する操作部と、
前記重要コメントであることを他の前記端末に報知する重要コメント報知部と、
を備える会議支援システム。 - 会議の複数の参加者それぞれが使用する端末と、会議支援装置と、を有する会議支援システムであって、
前記会議支援装置は、
発言を取得する取得部と、
前記端末が送信した、前記発言が重要コメントであることを示す情報に応じて、前記重要コメントの発言に対応するテキスト情報の表示を変更するテキスト修正部と、
前記テキスト情報を複数の前記端末に送信する通信部と、を備え、
前記端末は、
前記会議支援装置が送信した前記テキスト情報を表示する表示部と、
前記発言が重要コメントであることを設定する操作部と、
前記発言が重要コメントであることを示す情報を前記会議支援装置に送信する重要コメント報知部と、
を備える会議支援システム。 - 前記端末の重要コメント報知部は、
前記発言の開始前と前記発言の終了時に、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信する、請求項1または請求項2に記載の会議支援システム。 - 前記端末の重要コメント報知部は、
前記発言の開始前に、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信する、請求項1または請求項2に記載の会議支援システム。 - 前記端末の重要コメント報知部は、
前記発言の後に、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信する、請求項1または請求項2に記載の会議支援システム。 - 前記会議支援装置は、前記発言の内容が音声情報の場合に前記音声情報を認識してテキスト情報に変換する音声認識部、を備え、
前記会議支援装置の前記発言を取得する取得部は、前記発言の内容が音声情報であるかテキスト情報であるか判別する、請求項2に記載の会議支援システム。 - 前記会議支援装置のテキスト修正部は、
前記操作部が操作された後、テキスト表示を他のテキスト表示と色が異なるようにする、請求項1から請求項6のいずれか1項に記載の会議支援システム。 - 前記端末の重要コメント報知部は、
前記操作部が操作された後、対象の重要コメント部分にマーキングする、請求項1から請求項7のいずれか1項に記載の会議支援システム。 - 会議の複数の参加者それぞれが使用する端末を有する会議支援システムにおける会議支援方法であって、
前記端末の操作部が、発言の内容が重要コメントであることを設定するステップと、
前記端末の重要コメント報知部が、前記重要コメントであることを他の前記端末に報知するステップと、
を含む会議支援方法。 - 会議の複数の参加者それぞれが使用する端末と、会議支援装置と、を有する会議支援システムにおける会議支援方法であって、
前記会議支援装置の取得部が、発言を取得するステップと、
前記会議支援装置の通信部が、取得された前記発言のテキスト情報を複数の前記端末に送信するステップと、
前記端末の表示部が、前記会議支援装置が送信した前記テキスト情報を表示するステップと、
前記端末の操作部が、前記発言が重要コメントであることを設定するステップと、
前記端末の重要コメント報知部が、前記発言が重要コメントであることを示す情報を前記会議支援装置に送信するステップと、
前記会議支援装置のテキスト修正部が、前記端末が送信した、前記発言が重要コメントであることを示す情報に応じて、前記重要コメントの発言に対応するテキスト情報の表示を変更するステップと、
前記端末の表示部が、前記会議支援装置が送信した変更された前記テキスト情報を表示するステップと、
を含む会議支援システム。 - 会議の複数の参加者それぞれが使用する端末と、会議支援装置と、を有する会議支援システムにおける前記会議支援装置のコンピュータに、
発言を取得するステップと、
取得された発言のテキスト情報を複数の前記端末に送信するステップと、
前記端末が送信した、前記発言が重要コメントであることを示す情報に応じて、前記重要コメントの発言に対応するテキスト情報の表示を変更するステップと、
を実行させる会議支援装置のプログラム。 - 会議の複数の参加者それぞれが使用する端末と、会議支援装置と、を有する会議支援システムにおける前記端末のコンピュータに、
前記会議支援装置が送信した前記参加者の発言のテキスト情報を表示するステップと、
前記発言が重要コメントであることを設定するステップと、
前記発言が重要コメントであることを示す情報を前記会議支援装置に送信するステップと、
前記端末の表示部が、前記発言が重要コメントであることを示す情報の送信に応じて前記会議支援装置が送信した変更された前記テキスト情報を表示するステップと、
を実行させる端末のプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017071279A JP2018174442A (ja) | 2017-03-31 | 2017-03-31 | 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム |
US15/934,414 US20180288110A1 (en) | 2017-03-31 | 2018-03-23 | Conference support system, conference support method, program for conference support device, and program for terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017071279A JP2018174442A (ja) | 2017-03-31 | 2017-03-31 | 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018174442A true JP2018174442A (ja) | 2018-11-08 |
Family
ID=63670083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017071279A Pending JP2018174442A (ja) | 2017-03-31 | 2017-03-31 | 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180288110A1 (ja) |
JP (1) | JP2018174442A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020154093A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社With The World | 教育支援システム、方法及びプログラム |
US11569003B2 (en) | 2019-03-07 | 2023-01-31 | Hitachi Metals, Ltd. | Composite cable and composite harness |
JP7471979B2 (ja) | 2020-09-30 | 2024-04-22 | 本田技研工業株式会社 | 会議支援システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111554295B (zh) * | 2020-04-24 | 2021-06-22 | 科大讯飞(苏州)科技有限公司 | 文本纠错方法、相关设备及可读存储介质 |
US11736309B2 (en) | 2021-05-26 | 2023-08-22 | Microsoft Technology Licensing, Llc | Real-time content of interest detection and notification for meetings |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007274499A (ja) * | 2006-03-31 | 2007-10-18 | Sanyo Electric Co Ltd | 携帯電話機 |
JP2012257116A (ja) * | 2011-06-09 | 2012-12-27 | Hitachi Ltd | テキスト・電話会議システム及びテキスト・電話会議方法 |
JP2014035770A (ja) * | 2012-08-08 | 2014-02-24 | Samsung Electronics Co Ltd | 電子装置でメッセージを編集するための方法及びその電子装置 |
JP2015534664A (ja) * | 2012-08-15 | 2015-12-03 | インヴュー,インコーポレイテッド | ネットワーク通信における明確さ及び表現力を増大させるシステム及び方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7085842B2 (en) * | 2001-02-12 | 2006-08-01 | Open Text Corporation | Line navigation conferencing system |
US20090076825A1 (en) * | 2007-09-13 | 2009-03-19 | Bionica Corporation | Method of enhancing sound for hearing impaired individuals |
US20090076816A1 (en) * | 2007-09-13 | 2009-03-19 | Bionica Corporation | Assistive listening system with display and selective visual indicators for sound sources |
KR101522837B1 (ko) * | 2010-12-16 | 2015-05-26 | 한국전자통신연구원 | 대화 방법 및 이를 위한 시스템 |
-
2017
- 2017-03-31 JP JP2017071279A patent/JP2018174442A/ja active Pending
-
2018
- 2018-03-23 US US15/934,414 patent/US20180288110A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007274499A (ja) * | 2006-03-31 | 2007-10-18 | Sanyo Electric Co Ltd | 携帯電話機 |
JP2012257116A (ja) * | 2011-06-09 | 2012-12-27 | Hitachi Ltd | テキスト・電話会議システム及びテキスト・電話会議方法 |
JP2014035770A (ja) * | 2012-08-08 | 2014-02-24 | Samsung Electronics Co Ltd | 電子装置でメッセージを編集するための方法及びその電子装置 |
JP2015534664A (ja) * | 2012-08-15 | 2015-12-03 | インヴュー,インコーポレイテッド | ネットワーク通信における明確さ及び表現力を増大させるシステム及び方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11569003B2 (en) | 2019-03-07 | 2023-01-31 | Hitachi Metals, Ltd. | Composite cable and composite harness |
JP2020154093A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社With The World | 教育支援システム、方法及びプログラム |
JP7471979B2 (ja) | 2020-09-30 | 2024-04-22 | 本田技研工業株式会社 | 会議支援システム |
Also Published As
Publication number | Publication date |
---|---|
US20180288110A1 (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018174442A (ja) | 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム | |
JP6548045B2 (ja) | 会議システム、会議システム制御方法、およびプログラム | |
US20200043481A1 (en) | Method and system for processing audio communications over a network | |
JP2018174439A (ja) | 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム | |
JP2023022150A (ja) | 双方向音声翻訳システム、双方向音声翻訳方法及びプログラム | |
US8521525B2 (en) | Communication control apparatus, communication control method, and non-transitory computer-readable medium storing a communication control program for converting sound data into text data | |
WO2016194740A1 (ja) | 音声認識装置、音声認識システム、当該音声認識システムで使用される端末、および、話者識別モデルを生成するための方法 | |
US20180288109A1 (en) | Conference support system, conference support method, program for conference support apparatus, and program for terminal | |
JP2019179314A (ja) | 会議システム、会議システム制御方法およびプログラム | |
JPWO2018043138A1 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
KR101959439B1 (ko) | 통역방법 | |
WO2021153101A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP6172770B2 (ja) | 要約筆記支援システム、情報配信装置、要約筆記支援方法、及びプログラム | |
JP6950708B2 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
JP2014149571A (ja) | コンテンツ検索装置 | |
JP2020140169A (ja) | 話者決定装置、話者決定方法、および話者決定装置の制御プログラム | |
JP6962849B2 (ja) | 会議支援装置、会議支援制御方法およびプログラム | |
JP7471979B2 (ja) | 会議支援システム | |
JP7316971B2 (ja) | 会議支援システム、会議支援方法、およびプログラム | |
JP2020119043A (ja) | 音声翻訳システムおよび音声翻訳方法 | |
JP2019053251A (ja) | 情報処理装置、言語判定方法及びプログラム | |
JP2015207191A (ja) | 外国語会話理解支援装置、外国語会話理解支援方法及びプログラム | |
JP7384730B2 (ja) | 会議支援システム、会議支援方法、およびプログラム | |
US11804223B2 (en) | Information processing system, information processing method, and recording medium having stored thereon information processing program | |
WO2017187674A1 (ja) | 情報処理装置、情報処理システム、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190409 |