JP2020064300A - 備忘録作成システム、備忘録作成方法、および備忘録作成システムのログ管理サーバのプログラム - Google Patents

Abstract

【課題】発話者ごとにマイクを用意し、設置する手間を省き、手軽に導入することの可能な備忘録作成システムを提供する。【解決手段】多チャンネルマイクロフォンアレイを備えた音声入出力装置３により発話区間の抽出を行い、音声データ、タイムスタンプ、発話者の位置を示す角度情報を出力し、データ記録部に音声データをタイムスタンプ及び角度情報と対応付けて記録し、テキストデータを音声データに対応付けて記録する。音声認識サーバは、音声データを受信し、音声認識を行い、認識データを送信する。ログ管理サーバは、認識データを受信し、テキストデータを作成し、音声データに対応付けてデータ記録部に記録させ、テキストデータをタイムスタンプ及び発話者と対応付け、選択によりテキストデータに対応する音声データを再生可能に表示装置に出力する。表示装置にて音声データの再生が選択されると音声入出力装置に音声データの再生を指示する。【選択図】図１０

Description

本発明は、備忘録作成システム、備忘録作成システムの制御方法、および備忘録作成プログラムに関する。

従来から、音声認識を活用した議事録作成システムが提供されている。例えば、特許文献１においては、発話者ごとにマイクを用意して、議事録を作成するシステムが開示されている。

特開２００５−１６５０６６号公報

しかし、特許文献１のシステムでは、発話者ごとにマイクを用意し、設置する手間がとコストがかかる。また、会議の参加者は、マイクに向かって話をする必要があり、手軽に導入できるものではない。

そこで、本発明では、発話者ごとにマイクを用意し、設置する手間を省き、手軽に導入することの可能な備忘録作成システム、備忘録作成方法、および備忘録作成システムのログ管理サーバのプログラムを提供することを目的とする。

前記課題を解決するため、本発明に係る備忘録作成システムの一態様は、
音声入出力装置と、データ記録部と、音声データ送信部と、音声認識サーバと、ログ管理サーバと、を備える備忘録作成システムであって、
前記音声入出力装置は、
多チャンネルマイクロフォンアレイと、
３次元空間における音源定位を行う音源定位部と、
発話区間を抽出する発話区間抽出部と、
前記発話区間の音声データと、タイムスタンプと、発話者の位置を示す角度情報とを出力するデータ出力部と、を備え、
前記データ記録部は、
前記発話区間の音声データを、前記タイムスタンプおよび前記角度情報と対応付けて記録し、さらに、前記発話区間の音声データをテキスト化したテキストデータを、前記発話区間の音声データに対応付けて記録し、
前記音声データ送信部は、
前記データ記録部に記録された前記発話区間の音声データを前記音声認識サーバに送信し、
前記音声認識サーバは、
前記発話区間の音声データを受信する音声データ受信部と、
受信した前記発話区間の音声データの音声認識を行う音声認識部と、
前記音声認識の結果としての前記発話区間の認識データを送信する認識データ送信部と、を備え、
前記ログ管理サーバは、
前記音声認識サーバから音声認識による前記発話区間の認識データを受信する認識データ受信部と、
前記発話区間ごとの認識データからテキストデータを作成するテキストデータ作成部と、
前記テキストデータを、前記発話区間の音声データをテキスト化したテキストデータとして、前記発話区間の音声データに対応付けて前記データ記録部に記録させる記録制御部と、
前記テキストデータを、前記タイムスタンプおよび前記発話者と対応付け、選択により前記テキストデータに対応する前記発話区間の音声データを再生可能に表示装置に出力する出力制御部と、
前記表示装置において、前記発話区間の音声データの再生が選択された場合には、前記音声入出力装置に前記発話区間の音声データの再生を指示する再生制御部と、を備える。

本態様によれば、多チャンネルマイクロフォンアレイを備えた音声入出力装置により、発話者の識別と、発話区間の抽出が行われる。発話区間の音声データは、タイムスタンプおよび角度情報と対応付けてデータ記録部に記録され、さらに発話区間の音声データをテキスト化したテキストデータが、発話区間の音声データに対応付けて記録される。音声認識は、音声認識サーバにより行われる。ログ管理サーバにおいては、音声認識サーバから音声認識による発話区間の認識データを受信すると、発話区間ごとの認識データからテキストデータを作成し、発話区間の音声データに対応付けてデータ記録部に記録させる。また、ログ管理サーバは、テキストデータを、タイムスタンプおよび発話者と対応付け、選択によりテキストデータに対応する発話区間の音声データを再生可能に表示装置に出力する。表示装置において、発話区間の音声データの再生が選択された場合には、音声入出力装置に発話区間の音声データの再生を指示し、音声入出力装置または表示装置等において、音声の再生が行われる。したがって、本態様によれば、会議の場に音声入出力装置を置いておくだけで、備忘録の作成が可能になり、発話者ごとにマイクをセッティングする等の手間を省くことができる。音声入出力装置は、３６０度音を拾うことが可能であり、備忘録作成システムにより発話者の識別が可能になるので、参加者は会議に集中することができる。さらに、本実施形態の備忘録作成システム１によれば、音声認識により自動的に音声のテキスト化を行うことができ、テキスト情報は、インデックスとして使用することができる。その結果、テキストに対応した実際の音声情報そのものを備忘録として提供することができる。以上のように、本態様の備忘録作成システムによれば、インデックス化されたテキスト情報に基づいて、ある程度、会議の内容を確認することが可能であり、さらに、必要に応じて、実際の発言内容そのものを確認することができる。

また、本発明は、前記備忘録作成システムを利用した備忘録作成方法、および前記備忘録作成システムにおけるログ管理サーバのプログラムとしても実現可能である。

本発明によれば、発話者ごとにマイクをセッティングする手間を省き、インデックス化されたテキスト情報に基づいて、ある程度、会議の内容を確認することが可能であり、さらに、必要に応じて、実際の発言内容そのものを確認することができる。

本発明に係る第１実施形態の備忘録作成システムを概略的に示す図である。 ログ管理サーバの機能を説明するための機能ブロック図である。 スマートスピーカの外観を示す図である。 スマートスピーカの機能を説明するための機能ブロック図である。 音声認識サーバの機能を説明するための機能ブロック図である。 音声データを含む送受信データの構造を示す模式図である。 発話者に関する情報を示す発話者データの構造を示す模式図である。 備忘録のログデータの構造を示す模式図である。 第１実施形態における事前登録処理の流れを示すシーケンス図である。 第１実施形態における備忘録作成処理の流れを示すシーケンス図である。 開始方法の選択画面の表示例を示す図である。 事前登録画面の表示例を示す図である。 メッセージログ画面の表示例を示す図である。 備忘録の一覧画面の表示例を示す図である。 本発明の第２実施形態に係るスマートスピーカの機能を説明するための機能ブロック図である。 第２実施形態における備忘録作成システムを示す図である。 第３実施形態における備忘録作成システムを示す図である。

（第１実施形態）
以下、本発明の第１実施形態について図面を参照しつつ説明する。図１は、本発明に係る第１実施形態の備忘録作成システムを概略的に示す図である。

（備忘録作成システム）
図１に示すように、本発明の第１実施形態の備忘録作成システム１は、ログ管理サーバ２と、音声入出力装置としてのスマートスピーカ３と、音声認識サーバ４とを備えている。ログ管理サーバ２、スマートスピーカ３、および音声認識サーバ４は、インターネット等のネットワーク５を介して相互に通信可能となっている。また、ユーザが使用する表示装置としてのパーソナルコンピュータ（ＰＣ）６は、ネットワーク５を介して備忘録作成システム１に接続可能となっている。

図２に、ログ管理サーバ２の機能を説明するための機能ブロック図である。図２に示すように、ログ管理サーバ２は、記録制御部２０と、データ記録部２１と、テキストデータ作成部２２と、出力制御部２３と、再生制御部２４と、通信インターフェース（Ｉ／Ｆ）２５とを備える。ログ管理サーバ２は、例えば、パーソナルコンピュータ等のコンピュータを用いることが可能であり、記録制御部２０、テキストデータ作成部２２、出力制御部２３と、および再生制御部２４は、コンピュータのＣＰＵ等から実現される。

データ記録部２１は、例えばＨＤＤ（Hard Disk Drive）等の記憶媒体から構成される。本実施形態においては、一例として、データ記録部２１をログ管理サーバ２に備えた態様について説明するが、本発明は、このような態様に限定される訳ではなく、データ記録部２１をスマートスピーカ３に備えたり、あるいは、データ記録部２１を単体の記憶装置としてログ管理サーバ２に接続可能に設けたりしてもよい。本実施形態においては、データ記録部２１には、後述する備忘録作成に必要な種々のデータが記録される他、本発明の備忘録作成プログラムが記憶される。なお、備忘録作成プログラムを記憶する記憶部と、データ記録部２１とを別々に設けてもよい。

記録制御部２０は、スマートスピーカ３から送信されるタイムスタンプ、角度情報、および音声データ、並びに後述のテキストデータ作成部２２により作成されるテキストデータを対応付けてデータ記録部２１に記録させる機能を有する。また、記録制御部２０は、角度情報に対して話者ＩＤを設定し、パーソナルコンピュータ５において入力される発話者の名前と、話者ＩＤとを、角度情報に対応付けてデータ記録部２１に記録させる機能を有する。

テキストデータ作成部２２は、音声認識サーバ４から送信される音声認識データからテキストデータを作成する機能を有する。

出力制御部２３は、テキストデータと、タイムスタンプと、発話者の名前と対応付けた表示データをパーソナルコンピュータ５に送信する機能を有する。表示データには、音声データを再生するための再生ボタンが含まれる。

再生制御部２４は、パーソナルコンピュータ５において表示されるログ表示画面において、再生ボタンが選択されると、対応する音声データをデータ記録部２１から読み取り、スマートスピーカ３に送信する機能を有する。

通信インターフェース２５は、ネットワーク５を用いたデータの通信を行うインターフェースであり、記録制御部２０、データ記録部２１、テキストデータ作成部２２、出力制御部２３、および再生制御部２４により制御される。本実施形態においては、通信インターフェース２５は、データ記録部２１に記録された音声データを音声認識サーバ４に送信する音声データ送信部、および音声認識サーバ４から音声認識データを受信する認識データ受信部として機能する。

図３は、スマートスピーカ３の外観を示す図、図４は、スマートスピーカ３の機能を説明するための機能ブロック図である。図３に示すように、スマートスピーカ３は、円筒形の筐体を有しており、筐体の内部には、筐体の内周に沿った円周上に、多チャンネルのマイクが、筐体の縦方向に上下２段に配置されている。本実施形態では、一例として、８チャンネルのマイクが上下２段に配置された多チャンネルマイクロフォンアレイを採用している。

図４に示すように、スマートスピーカ３は、図４に示すように、多チャンネルマイクロフォンアレイ３０、音源定位部３１、発話区間抽出部３２、データ出力部３３、再生部３４、および通信インターフェース３５を備えている。音源定位部３１、発話区間抽出部３２、データ出力部３３、および再生部３４は、ＣＰＵ等により実現される。

多チャンネルマイクロフォンアレイ３０は、上述した８チャンネルのマイクが上下２段に配置されたマイクロフォンアレイであり、発話者の音声の入力を行う。

音源定位部３１は、多チャンネルマイクロフォンアレイ３０により入力した音声に基づいて、３次元空間における音源定位を行う機能を有する。音源定位を行うことにより、発話者の位置を角度で区別することができる。音源定位部３１は、音源定位の結果を角度情報として出力する。

発話区間抽出部３２は、発話区間を抽出する機能を有する。本実施形態における発話区間抽出部３２は、機械学習アルゴリズムにより、人間の発話の周波数特性を学習した検知モデルを作成し、この検知モデルにおける音声の周波数特性と、発話者の発話の周波数特性との類似度合いを判断することにより、発話区間を抽出している。

データ出力部３３は、抽出された発話区間の音声データと、音声データが抽出された時間を示すタイムスタンプと、発話者の位置を示す角度情報とを、ログ管理サーバ２に出力する機能を有する。

再生部３４は、ログ管理サーバ２から出力される音声データを音声信号として再生する機能を有する。再生部３４は、アンプおよびスピーカを備える。

通信インターフェース３５は、ネットワーク５を用いたデータの通信を行うインターフェースであり、データ出力部３３により制御される。本実施形態においては、通信インターフェース３５は、抽出された発話区間の音声データと、音声データが抽出された時間を示すタイムスタンプと、発話者の位置を示す角度情報とをネットワーク５を介してログ管理サーバ２に送信する機能を有する。

図５に、音声認識サーバ４の機能を説明するための機能ブロック図を示す。図５に示すように、音声認識サーバ４は、音声認識部４０と、通信インターフェース４１とを備える。音声認識サーバ４は、一例として、クラウド、オンプレミス等の比較的計算資源が多い環境から構成される。

音声認識部４０は、通信インターフェース４１を介して受信した音声データに基づいて、発話者の声を認識して、文字列からなる音声認識データに変換する機能を有する。また、音声認識部４０は、通信インターフェース４１を介して、音声認識データをログ管理サーバ２に送信する。

通信インターフェース４１は、ネットワーク５を用いたデータの通信を行うインターフェースであり、音声認識部４０により制御される。本実施形態においては、通信インターフェース４１は、音声認識部４０により出力される音声認識データをネットワーク５を介してログ管理サーバ２に送信する機能を有する。

ユーザが使用するパーソナルコンピュータ（ＰＣ）５は、コンピュータ本体、ディスプレイ、キーボード、およびマウス等を備えており、ネットワーク５を介して、ログ管理サーバ２にアクセス可能となっている。パーソナルコンピュータ５は、ログ管理サーバ２から表示データを受信することにより、備忘録作成システム１の操作画面、ログ管理画面をディスプレイに表示することができる。また、パーソナルコンピュータ５は、キーボード等を用いて、備忘録作成システム１の操作画面に、発話者の名前等を入力することができる。

（データ構造）
次に、図６から図８を参照しつつ、本実施形態の備忘録作成システム１において用いられるデータの構造について説明する。図６は、音声データを含む送受信データの構造を示す模式図である。図７は、発話者に関する情報を示す発話者データの構造を示す模式図である。図８は、備忘録のログデータの構造を示す模式図である。

スマートスピーカ３は、発話者の発話区間を検出すると、図６に示す構造の送受信データＤＴ１をログ管理サーバ２に送信する。送受信データＤＴ１は、図６に示すように、角度情報ＤＴ１１、タイムスタンプＤＴ１２、および音声データＤＴ１３から構成されている。

後述する事前登録処理においては、発話者ごとに発話を行い、ユーザのパーソナルコンピュータ６において、それぞれの発話者の名前を入力する。入力した名前は、ログ管理サーバ２により、図７に示す発話者データＤＴ２としてデータ記録部２１に記録される。発話者データＤＴ２は、図７に示すように、角度情報データＤＴ２１、話者ＩＤデータＤＴ２２、および名前データＤＴ２３から構成されている。なお、角度情報データＤＴ２１は、スマートスピーカ３から見た所定の方向を０度として設定し、その方向から、発話が検出された方向までの角度を表している。

後述する備忘録作成処理が開始されると、ログ管理サーバ２により、図８に示すログデータＤＴ３がデータ記録部２１に記録される。ログデータＤＴ３は、図８に示すように、備忘録ＩＤデータＤＴ３１、タイムスタンプＤＴ３２、話者ＩＤデータＤＴ３３、音声データアドレスＤＴ３４、およびテキストデータアドレスＤＴ３５から構成される。音声データアドレスＤＴ３４とは、音声データＤＴ１３が記録されたデータ記録部２１の記憶領域のアドレスを示す。また、テキストデータアドレスＤＴ３５は、音声データＤＴ１３を音声認識によりテキスト化したテキストデータが記録されたデータ記録部２１の記憶領域のアドレスを示す。

（事前登録処理）
次に、本実施形態の備忘録作成システム１における事前登録処理について、図９のシーケンス図、並びに図１１および図１２の画面表示例を参照しつつ説明する。図９は、本実施形態における事前登録処理の流れを示すシーケンス図である。図１１および図１２は、事前登録処理の際に、ユーザのパーソナルコンピュータ６において表示される画面の例を示す図である。

ユーザがパーソナルコンピュータ６により、備忘録作成システム１にアクセスすると、図１１に示す開始方法の選択画面１００が表示される。開始方法の選択画面１００には、「事前に情報を入力」と記載された事前登録処理開始ボタン１０１が表示されており、ユーザが事前登録処理開始ボタン１０１を選択することにより、事前登録処理が開始される（図９：Ｓ１）。

事前登録処理が開始されると、事前登録開始要求がパーソナルコンピュータ６からログ管理サーバ２に送信される（図９：Ｓ２）。ログ管理サーバ２は、事前登録開始要求を受信すると、スマートスピーカ３に対して、事前登録開始要求を送信する（図９：Ｓ３）。スマートスピーカ３は、事前登録開始要求を受信すると、発話区間の検出処理を開始する（図９：Ｓ４）。ここで、一人の発話者が発話を行うと、スマートスピーカ３は発話区間を検出し、角度情報ＤＴ１１、タイムスタンプＤＴ１２、および音声データＤＴ１３を含む送受信データＤＴ１をログ管理サーバ２に送信する（図９：Ｓ５）。

ログ管理サーバ２は、送受信データＤＴ１を受信すると、角度情報ＤＴ１１、タイムスタンプＤＴ１２、および音声データＤＴ１３をデータ記録部２１に記録する（図９：Ｓ６）。次に、ログ管理サーバ２は、音声データＤＴ１３と音声認識開始要求を音声認識サーバ４に送信する（図９：Ｓ７）。

音声認識サーバ４は、音声データＤＴ１３と音声認識開始要求を受信すると、音声認識処理を行う（図９：Ｓ８）。音声認識サーバ４は、音声認識処理が完了すると、音声認識データをログ管理サーバ２に送信する（図９：Ｓ９）。

ログ管理サーバ２は、音声認識を受信すると、表示用のテキストデータ作成処理を行う（図９：Ｓ１０）。ログ管理サーバ２は、テキストデータの作成処理を完了すると、発話が行われた際のタイムスタンプＤＴ１２および角度情報ＤＴ１１と共に、テキストデータをユーザのパーソナルコンピュータ６に送信する（図９：Ｓ１１）。

ユーザがパーソナルコンピュータ６において表示事前登録処理開始ボタン１０１を選択した後は、パーソナルコンピュータ６には、図１２に示す事前登録画面２００が表示される。事前登録画面２００には、収録情報入力欄２０１と参加者情報入力欄２０２が表示されており、ユーザはパーソナルコンピュータ６により、収録情報入力欄２０１に会議の名前、開始日時等を入力する。また、ユーザは参加者情報入力欄２０２に、参加者の名前を入力する（図９：Ｓ１２）。

パーソナルコンピュータ６は、ログ管理サーバ２から、タイムスタンプＤＴ１２、角度情報ＤＴ１１、およびテキストデータを受信すると、参加者情報入力欄２０２に角度ＤＴ１１に基づく角度を表示させる（図９：Ｓ１３）。なお、図１２には図示を省略するが、参加者情報入力欄２０２の下方には、テキストデータに基づくテキストと、タイムスタンプＤＴ１２に基づく発話時間も表示される。

ユーザは、参加者情報入力欄２０２に表示される角度を確認し、正しい角度で発話が検出されていると確認した場合には、図１２には図示を省略する確定ボタンを選択する（図９：Ｓ１３）。なお、参加者情報入力欄２０２に表示される角度が正しくない場合には、発話者にもう一度発話させ、図９のステップＳ４からステップＳ１３までの処理を行う。

ユーザが確定ボタンを選択すると、パーソナルコンピュータ６は、参加者情報入力欄２０２に入力された名前のデータおよび角度情報ＤＴ１１と共に、ログ管理サーバ２に対して、話者ＩＤ登録要求を送信する（図９：Ｓ１５）。

ログ管理サーバ２は、話者ＩＤ登録要求を受信すると、任意に決定した話者ＩＤと、角度情報ＤＴ１１と、名前のデータとを紐付けるため、これらのデータを図７に示す発話者データＤＴ２としてデータ記録部２１に記録する（図９：Ｓ１６）。

以下、図９のステップＳ４からステップＳ１６までの処理を全ての参加者について行い、ユーザが全ての参加者についての名前登録が終了したと判断した場合には、図１２には図示を省略する終了ボタンを選択し、事前登録処理を終了させる（図９：Ｓ１７）。

（備忘録作成処理）
次に、本実施形態の備忘録作成システム１における備忘録作成処理について、図１０のシーケンス図、並びに図１３および図１４の画面表示例を参照しつつ説明する。図１０は、本実施形態における備忘録作成処理の流れを示すシーケンス図である。図１２および図１３は、備忘録作成処理の際に、ユーザのパーソナルコンピュータ６において表示される画面の例を示す図である。

ユーザがパーソナルコンピュータ６により、終了ボタンを選択し、事前登録処理を終了させると、パーソナルコンピュータ６には、図１３に示すメッセージログ画面３００が表示され、備忘録作成処理が開始される（図１０：Ｓ２０）。

備忘録作成処理が開始されると、備忘録作成開始要求がパーソナルコンピュータ６からログ管理サーバ２に送信される（図１０：Ｓ２１）。ログ管理サーバ２は、備忘録作成開始要求を受信すると、スマートスピーカ３に対して、備忘録作成開始要求を送信する（図１０：Ｓ２２）。スマートスピーカ３は、備忘録作成開始要求を受信すると、発話区間の検出処理を開始する（図１０：Ｓ２３）。これ以降は、ここで、スマートスピーカ３は発話区間を開始し、発話者の発話区間を検出する度に、角度情報ＤＴ１１、タイムスタンプＤＴ１２、および音声データＤＴ１３を含む送受信データＤＴ１をログ管理サーバ２に送信する（図１０：Ｓ２４）。

ログ管理サーバ２は、送受信データＤＴ１を受信すると、角度情報ＤＴ１１、タイムスタンプＤＴ１２、および音声データＤＴ１３をデータ記録部２１に記録する（図１０：Ｓ２５）。ログ管理サーバ２は、備忘録作成開始要求を受信した際に、任意に備忘録ＩＤを決定し、ログデータＤＴ３として備忘録ＩＤデータＤＴ３１をデータ記録部２１に記録する。また、ログ管理サーバ２は、スマートスピーカ３から受信した角度情報ＤＴ１１に基づいて、発話者データＤＴ２から該当する話者ＩＤデータＤＴ２２を読み取り、ログデータＤＴ３の話者ＩＤデータＤＴ３３としてデータ記録部２１に記録する。さらに、ログ管理サーバ２は、スマートスピーカ３から受信したタイムスタンプＤＴ１２をログデータＤＴ３のタイムスタンプＤＴ３３としてデータ記録部２１に記録する。そして、ログ管理サーバ２は、スマートスピーカ３から受信した音声データＤＴ１３をデータ記録部２１に記録し、そのアドレスをログデータＤＴ３の音声データアドレスＤＴ３４としてデータ記録部２１に記録する。

次に、ログ管理サーバ２は、音声データＤＴ１３と音声認識開始要求を音声認識サーバ４に送信する（図１０：Ｓ２６）。音声認識サーバ４は、音声データＤＴ１３と音声認識開始要求を受信すると、音声認識処理を行う（図１０：Ｓ２７）。音声認識サーバ４は、音声認識処理が完了すると、音声認識データをログ管理サーバ２に送信する（図１０：Ｓ２８）。

ログ管理サーバ２は、音声認識を受信すると、表示用のテキストデータ作成処理を行う（図１０：Ｓ２９）。ログ管理サーバ２は、テキストデータの作成処理を完了すると、テキストデータをデータ記録部２１に記録し、そのアドレスをログデータＤＴ３のテキストデータアドレスＤＴ３５としてデータ記録部２１に記録する。

次に、ログ管理サーバ２は、発話が行われた際のタイムスタンプＤＴ１２、角度情報ＤＴ１１、および発話者の名前を含む表示データをユーザのパーソナルコンピュータ６に送信する（図１０：Ｓ３１）。

備忘録作成処理が開始されると（図１０：Ｓ２０）、ユーザのパーソナルコンピュータ６には、図１３に示すメッセージログ画面３００が表示される（図１０：Ｓ３２）。メッセージログ画面３００には、タイムスタンプＤＴ１２に基づく発話した時間情報３０１が表示され、時間情報３０１の右横には、吹き出し３０２が表示される。吹き出し３０２内には、発話者の名前３０３、テキストデータに基づくテキスト３０４が表示される。また、吹き出し３０２内には、再生ボタン３０５が表示される。

ユーザが再生ボタン３０５を選択すると（図１０：Ｓ３３）、パーソナルコンピュータ６は、タイムスタンプＤＴ１２、および発話者の名前と共に、音声データの再生要求を、ログ管理サーバ２に送信する（図１０：Ｓ３４）。

ログ管理サーバ２は、タイムスタンプＤＴ１２および発話者の名前を受信すると、ログデータＤＴ３から該当する音声データのアドレスＤＴ３４を読み出し、該当するアドレスの音声データをデータ記録部２１から読み出す。

ログ管理サーバ２は、読み出した音声データをスマートスピーカ３に送信し（図１０：Ｓ３５）、音声データを受信したスマートスピーカ３は、音声の再生を行う（図１０：Ｓ３６）。したがって、ユーザは、メッセージログ画面３００において、発話者の発言をテキストで確認できると共に、その時の音声を確認することができる。なお、音声の再生は、スマートスピーカ３ではなく、パーソナルコンピュータ６において行ってもよい。

以下、図１０のステップＳ２３からステップＳ３２までの処理を繰り返し、例えば会議が終了した場合に、図示を省略する備忘録作成終了ボタンを選択することにより、備忘録作成処理が終了する（図１０：Ｓ３７）。

本実施形態の備忘録作成システム１においては、以上のようにして、複数の備忘録の作成が可能であり、ユーザが図１１に示す開始方法の選択画面１００において、「既存の収録を閲覧」と記載された閲覧ボタン１０２を選択すると、パーソナルコンピュータ６には、図１４に示す備忘録の一覧画面４００が表示される。

備忘録の一覧画面４００には、会議の名前４０１、日時４０２、参加者名４０３が表示されており、ユーザは、備忘録の一覧画面４００を見ることにより、容易に所望の備忘録を確認することができる。また、備忘録の一覧画面４００には、閲覧ボタン４０４が表示されており、ユーザが閲覧ボタン４０４を選択することにより、パーソナルコンピュータ６には、該当する備忘録のメッセージログ画面３００が表示される。

以上のように、本実施形態の備忘録作成システム１によれば、会議の場にスマートスピーカ３を置いておくだけで、備忘録の作成が可能になり、発話者ごとにマイクをセッティングする等の手間を省くことができる。

また、スマートスピーカ３は、３６０度音を拾うことが可能であり、備忘録作成システム１により発話者の識別が可能になるので、参加者は会議に集中することができる。

さらに、本実施形態の備忘録作成システム１によれば、音声認識により自動的に音声のテキスト化を行うが、テキスト情報は、インデックスとして使用することができ、テキストに対応した実際の音声情報そのものを備忘録として提供することができる。

従って、本実施形態の備忘録作成システム１によれば、インデックス化されたテキスト情報に基づいて、ある程度、会議の内容を確認することが可能であり、さらに、必要に応じて、実際の発言内容そのものを確認することができる。

（第２実施形態）
次に、本発明の第２実施形態について図面を参照しつつ説明する。図１５は、本実施形態におけるスマートスピーカ３の機能を説明するための機能ブロック図である。図１６は、本実施形態における備忘録作成システム１を示す図である。

第１実施形態においては、ログ管理サーバ２に記録制御部２０とデータ記録部２１を設けた態様について説明したが、本発明はこのような態様に限定される訳ではなく、図１５に示すように、スマートスピーカ３に記録制御部３６とデータ記録部３７を設けてもよい。

また、図１６に示すように、データ記録部２１をネットワーク５に接続し、ログ管理サーバ２からネットワーク５を介してデータ記録部２１にアクセスできるようにしてもよい。この場合には、記録制御部２０をログ管理サーバ２に設けておけばよい。また、データ記録部２１を、外付けの記録媒体として有線または無線によりログ管理サーバ２に接続するようにしてもよい。

本実施形態によれば、第１実施形態と同様に、インデックス化されたテキスト情報に基づいて、会議の内容を確認することが可能で、必要に応じて実際の発言内容そのものを確認可能な備忘録を容易に作成できるだけでなく、ユーザのニーズまたは設備に応じて、備忘録作成システム１を構築することができる。

（第３実施形態）
次に、本発明の第３実施形態について図面を参照しつつ説明する。図１７は、本実施形態における備忘録作成システム１を説明するための図である。

上述した実施形態では、備忘録作成システム１にスマートスピーカ３を１台のみ設けた態様について説明した。しかしながら、本実施形態は、備忘録作成システム１に複数台のスマートスピーカ３を設ける態様について説明する。

図１７は、備忘録作成システム１に２台のスマートスピーカ３を設けた例を示している。例えば、会議室が広く参加人数が多い場合等においては、スマートスピーカ３が１台だけしか設けられていないと、発話者とマイクとの距離が物理的に遠くなり、認識精度が低下する。そこで、複数のスマートスピーカ３を設置することにより、発話者とマイクとの距離を適切に保ち、認識精度の低下を防ぐことができる。

また、例えば、会議室が同一空間ではなく、それぞれ別室に分かれている場合、あるいは、テレビ会議等のように遠隔地の参加者と会議等を行う場合にも、本実施形態は適用することができる。

上述したいずれの場合においても、本実施形態によれば、スマートスピーカ３を複数台設けることにより、単一の備忘録を残すことができる。

本実施形態においては、複数台のスマートスピーカ３のそれぞれに、例えば機器ＩＤを付与して、それぞれのスマートスピーカ３を識別すればよい。

また、図１７に示す例では、２台のスマートスピーカ３を設けたが、本発明はこのような態様に限定されるものではなく、３台以上の複数台のスマートスピーカ３を設けてもよい。

さらに、本実施形態に用いられるスマートスピーカ３は、第１実施形態で説明したスマートスピーカ３だけでなく、第２実施形態で説明したスマートスピーカ３を用いることも可能である。

以上のように、本実施形態の備忘録作成システム１によれば、会議の場に複数台のスマートスピーカ３を置いておくだけで、単一の備忘録の作成が可能になり、発話者ごとにマイクをセッティングする等の手間を省くことができる。

また、スマートスピーカ３は、３６０度音を拾うことが可能であり、備忘録作成システム１により発話者の識別が可能になるので、参加者は会議に集中することができる。

さらに、本実施形態の備忘録作成システム１によれば、音声認識により自動的に音声のテキスト化を行うが、テキスト情報は、インデックスとして使用することができ、テキストに対応した実際の音声情報そのものを備忘録として提供することができる。

従って、本実施形態の備忘録作成システム１によれば、インデックス化されたテキスト情報に基づいて、ある程度、会議の内容を確認することが可能であり、さらに、必要に応じて、実際の発言内容そのものを確認することができる。

（変形例）
上述した各実施形態においては、メッセージログ画面３００において、吹き出し３０２ごとに音声を再生する態様について説明したが、本発明はこのような態様に限定される訳ではない。例えば、再生を選択した吹き出し３０２以降の全ての吹き出し３０２に対応する音声を連続的に再生してもよいし、同一の発話者の吹き出し３０２に対応する音声を連続的に再生してもよい。

上述した実施形態においては、表示装置の一例として、パーソナルコンピュータ６のディスプレイを用い、このディスプレイ上に、図１１から図１４に示す画面を表示させる態様について説明した。また、音声入力装置の例としては、スマートスピーカ３を用いた態様について説明した。本発明の別の変形例としては、このディスプレイのような表示装置に、音声入力装置を内蔵するようにしてもよい。この場合には、発話区間抽出部を表示装置または音声認識サーバに備える必要がある。

音声入力装置は、上述したスマートスピーカ３や表示装置に内蔵した音声入力装置を用いることができるが、本発明はこのような態様に限定される訳ではなく、例えばヘッドセットなどの単一のユーザが用いる音声入力装置と併用することも可能である。この場合には、ヘッドセットなどの音声入力装置に機器ＩＤを付与して識別すればよい。

以上の態様に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、通信網を介した配信の形態で前述のプログラムを提供してコンピュータにインストールすることも可能である。

以上、本発明の実施形態に係る備忘録作成システム、備忘録作成方法、およびプログラムについて説明したが、本発明は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲で、種々の変更が可能である。

１ 備忘録作成システム
２ ログ管理サーバ
３ スマートスピーカ
４ 音声認識サーバ
５ ネットワーク
６ パーソナルコンピュータ
２０ 記録制御部
２１ データ記録部
２２ テキストデータ作成部
２３ 出力制御部
２４ 再生制御部
２５ 通信インターフェース
３０ 多チャンネルマイクロフォンアレイ
３１ 音源定位部
３２ 発話区間抽出部
３３ データ出力部
３４ 再生部
３５ 通信インターフェース
４０ 音声認識部
４１ 通信インターフェース
１００ 開始方法の選択画面
２００ 事前登録画面
３００ メッセージログ画面
４００ 備忘録の一覧画面

Claims (7)

1. 音声入出力装置と、データ記録部と、音声データ送信部と、音声認識サーバと、ログ管理サーバと、を備える備忘録作成システムであって、
   前記音声入出力装置は、
   多チャンネルマイクロフォンアレイと、
   ３次元空間における音源定位を行う音源定位部と、
   発話区間を抽出する発話区間抽出部と、
   前記発話区間の音声データと、タイムスタンプと、発話者の位置を示す角度情報とを出力するデータ出力部と、を備え、
   前記データ記録部は、
   前記発話区間の音声データを、前記タイムスタンプおよび前記角度情報と対応付けて記録し、さらに、前記発話区間の音声データをテキスト化したテキストデータを、前記発話区間の音声データに対応付けて記録し、
   前記音声データ送信部は、
   前記データ記録部に記録された前記発話区間の音声データを前記音声認識サーバに送信し、
   前記音声認識サーバは、
   前記発話区間の音声データを受信する音声データ受信部と、
   受信した前記発話区間の音声データの音声認識を行う音声認識部と、
   前記音声認識の結果としての前記発話区間の認識データを送信する認識データ送信部と、を備え、
   前記ログ管理サーバは、
   前記音声認識サーバから音声認識による前記発話区間の認識データを受信する認識データ受信部と、
   前記発話区間ごとの認識データからテキストデータを作成するテキストデータ作成部と、
   前記テキストデータを、前記発話区間の音声データをテキスト化したテキストデータとして、前記発話区間の音声データに対応付けて前記データ記録部に記録させる記録制御部と、
   前記テキストデータを、前記タイムスタンプおよび前記発話者と対応付け、選択により前記テキストデータに対応する前記発話区間の音声データを再生可能に表示装置に出力する出力制御部と、
   前記表示装置において、前記発話区間の音声データの再生が選択された場合には、前記音声入出力装置に前記発話区間の音声データの再生を指示する再生制御部と、を備える、備忘録作成システム。
2. 前記データ記録部は、前記音声入出力装置に設けられている、
   請求項１に記載の備忘録作成システム。
3. 前記データ記録部は、前記ログ管理サーバと通信可能に前記ログ管理サーバに接続されている、
   請求項１に記載の備忘録作成システム。
4. 前記データ記録部は、前記ログ管理サーバと通信可能にネットワークに接続されている、
   請求項１に記載の備忘録作成システム。
5. 前記音声入出力装置は、複数台設けられている、
   請求項１に記載の備忘録作成システム。
6. 音声入出力装置と、データ記録部と、音声データ送信部と、音声認識サーバと、ログ管理サーバと、を備える備忘録作成システムによる備忘録作成方法であって、
   前記音声入出力装置の多チャンネルマイクロフォンアレイにより音声を入力するステップと、
   前記音声入出力装置の音源定位部により、３次元空間における音源定位を行うステップと、
   前記音声入出力装置の発話区間抽出部により、発話区間を抽出するステップと、
   前記音声入出力装置のデータ出力部により、前記発話区間の音声データと、タイムスタンプと、発話者の位置を示す角度情報とを出力するステップと、
   前記データ記録部により、前記発話区間の音声データを、前記タイムスタンプおよび前記角度情報と対応付けて記録するステップと、
   前記データ記録部により、前記発話区間の音声データをテキスト化したテキストデータを、前記発話区間の音声データに対応付けて記録するステップと、
   前記音声データ送信部により、前記データ記録部に記録された前記発話区間の音声データを前記音声認識サーバに送信するステップと、
   前記音声認識サーバの音声データ受信部により、前記発話区間の音声データを受信するステップと、
   前記音声認識サーバの音声認識部により、受信した前記発話区間の音声データの音声認識を行うステップと、
   前記音声認識サーバの認識データ送信部により、前記音声認識の結果としての前記発話区間の認識データを送信するステップと、
   前記ログ管理サーバの認識データ受信部により、前記音声認識サーバから音声認識による前記発話区間の認識データを受信するステップと、
   前記ログ管理サーバのテキストデータ作成部により、前記発話区間ごとの認識データからテキストデータを作成するステップと、
   前記ログ管理サーバの記録制御部により、前記テキストデータを、前記発話区間の音声データをテキスト化したテキストデータとして、前記発話区間の音声データに対応付けて前記データ記録部に記録させるステップと、
   前記ログ管理サーバの出力制御部により、前記テキストデータを、前記タイムスタンプおよび前記発話者と対応付け、選択により前記テキストデータに対応する前記発話区間の音声データを再生可能に表示装置に出力するステップと、
   前記表示装置により、前記発話区間の音声データの再生が選択された場合には、前記ログ管理サーバの再生制御部により、前記音声入出力装置に前記発話区間の音声データの再生を指示するステップと、を備える、
   備忘録作成システムの備忘録作成方法。
7. 音声入出力装置と、データ記録部と、音声データ送信部と、音声認識サーバと、ログ管理サーバと、を備える備忘録作成システムにおける前記ログ管理サーバのプログラムであって、前記プログラムは、前記ログ管理サーバのコンピュータに、
   前記音声認識サーバから音声認識による前記発話区間の認識データを受信するステップと、
   前記発話区間ごとの認識データからテキストデータを作成するステップと、
   前記テキストデータを、前記発話区間の音声データをテキスト化したテキストデータとして、前記発話区間の音声データに対応付けて前記データ記録部に記録させるステップと、
   前記テキストデータを、前記タイムスタンプおよび前記発話者と対応付け、選択により前記テキストデータに対応する前記発話区間の音声データを再生可能に表示装置に出力するステップと、
   前記表示装置により、前記発話区間の音声データの再生が選択された場合には、前記音声入出力装置に前記発話区間の音声データの再生を指示するステップと、を実行させる、
   備忘録作成システムにおけるログ管理サーバのプログラム。

Images