JP2004287201A - 議事録作成装置及び方法、ならびに、コンピュータプログラム - Google Patents

Abstract

【課題】会議での発言、及び、会議中使用した画像情報や文書情報などのメディア情報からリアルタイムに議事録を作成することのできる議事録作成装置を提供する。
【解決手段】議事録作成装置１０に、参加者の識別情報と、該参加者の発言内容を示す文字情報とからなる音声入力情報を記録した議事録情報を記憶する記憶手段１３と、参加者の発言の音声データの入力を受け、該音声データが示す声紋から参加者を識別するとともに、該音声データを文字情報に変換する音声認識手段１４と、音声認識手段１４が識別した参加者の識別情報と、変換した文字情報とからなる音声入力情報を、入力された時刻順に記憶手段１３内の議事録情報に書き込む書込手段１５と、を備えた。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、自動で会議の議事録を作成する議事録作成装置及び方法に関する。
【０００２】
【従来の技術】
従来、会議の議事録を作成する場合、議事録作成担当者が参加者の発言内容を会議中に書き留めるか、録音を行うことにより記録し、会議終了後にこれらの記録を参考にしながら作成を行っていた。また、会議中に印刷機能つきのホワイトボードに記載した内容をその場で紙にコピーしたり、あるいは、会議中に使用したプロジェクタ等の画像ファイルを会議終了後に入手するなどして、議事録に貼付するなどしていた。
【０００３】
一方、特許文献１及び特許文献２には、繰り返し再生できる形式により記録媒体に記録されたマルチメディア情報（音声、音楽等のオーディオ情報、カメラ、ビデオ等から得られる映像情報、及びパーソナルコンピュータ、ワードプロセッサ等から得られるテキストデータ等のディジタルコードデータ、等）を再生出力できるようにするための技術について開示されている。
また、特許文献３には、例えばテレビ会議において、音声と音源の方向を検知できる複数のマイクロフォンを持つマイクロフォンアレイを使用し、表示されたビデオ画像上の発言した参加者に対応する仮想位置からステレオ音声を発するための技術について開示されている。
【０００４】
【特許文献１】
特許第３１８１８６６号明細書
【特許文献２】
特許第２８３３９７５号明細書
【特許文献３】
特許第２９７５６８７号明細書
【０００５】
【発明が解決しようとする課題】
上述したように、議事録担当者がパーソナルコンピュータの備える文書作成アプリケーション等により議事録を作成する場合、その作成作業に人的及び時間的リソースがかかってしまっていた。さらに、参加者の発言内容が記載されていない、あるいは、発言者が誰であったかを特定できないなどの問題がしばしば起こっていた。また、ホワイトボードやプロジェクタなどのメディアを利用した内容が、会議中のどの発言と結びついているのかを特定できないことがあった。
特許文献１〜３は、マルチメディア情報や音声を収集し、記録することがきるが、上述する問題を解決するものではない。
【０００６】
本発明は、このような事情を考慮してなされたもので、その目的は、会議での発言、及び、会議中使用した画像情報や文書情報などのメディア情報からリアルタイムに議事録を作成することのできる議事録作成装置及び方法等を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、会議の議事録を作成する議事録作成装置であって、参加者の識別情報と、該参加者の発言内容を示す文字情報とからなる音声入力情報を記録した議事録情報を記憶する記憶手段と、参加者の発言の音声データの入力を受け、該音声データが示す声紋から参加者を識別するとともに、該音声データを文字情報に変換する音声認識手段と、前記音声認識手段が識別した参加者の識別情報と、変換した文字情報とからなる音声入力情報を、入力された時刻順に前記記憶手段内の議事録情報に書き込む書込手段と、を備えることを特徴とする議事録作成装置である。
上記発明によれば、議事録作成装置は、会議の参加者が発言したときの音声データを受け、この音声データの声紋から発言を行った参加者の識別情報を得るとともに発言内容を文字情報に変換し、時刻順に、この参加者の識別情報及び発言内容を示す文字情報を議事録情報に記録する。
これにより、会議での発言内容を時刻順に漏らすことなく記載し、かつ、発言を行った参加者を特定した議事録を自動で生成することができる。
【０００８】
また、本発明は、上述する議事録作成装置であって、前記書込手段は、メディア端末から入力された画像あるいは文書の情報であるメディア情報を、前記記憶手段内の議事録情報に入力された時刻順に書き込む、ことを特徴とする。
上記発明によれば、議事録作成装置は、会議中に使用したメディア情報を、時刻順に議事録情報内に記録する。
これにより、会議中に使用したホワイトボードの記載内容や、プロジェクタ等で使用した画像などのメディア情報を、議事録に記録することができる。
【０００９】
また、本発明は、上述する議事録作成装置であって、前記音声入力情報を音声データの入力が行われる毎、あるいは、前記メディア情報を該メディア情報の入力が行われる毎リアルタイムに出力する出力手段、をさらに備えることを特徴とする。
上記発明によれば、議事録作成装置は、音声入力情報や、会議中に使用したメディア情報を、会議室に設置された端末やオブザーバーの端末などにリアルタイムに出力する。
これにより、会議の進行状況等をリアルタイムに確認することができる。
【００１０】
また、本発明は、上述する議事録作成装置であって、前記出力手段からの出力を受けた端末から、音声入力情報、または、メディア情報の記載順の変更の指示を受け、前記記憶手段に記憶される議事録情報内の対応する該音声入力情報、または、該メディア情報の記載順を変更する編集手段、をさらに備えることを特徴とする。
上記発明によれば、議事録作成装置は、編集者の端末から受けた指示に従い、議事録情報内の音声入力データやメディア情報の記載順の変更を行う。
これにより、編集者の端末からの操作で、リアルタイムに、発言内容やメディア情報など議事内容の記載順を変更し、読みやすい議事録を作成することができる。
【００１１】
また、本発明は、上述する議事録作成装置であって、前記音声認識手段は、変換された文字情報から会議に参加あるいは退場を示す言葉を認識し、前記書込手段は、参加あるいは退場を行った参加者の識別情報を前記記憶手段内の議事録情報に書き込む、ことを特徴とする。
上記発明によれば、議事録作成装置は、途中参加あるいは途中退場を行った参加者の識別情報を議事録情報に記録する。
これにより、会議に途中参加あるいは途中退場した参加者を議事録内で確認することができる。
【００１２】
また、本発明は、上述する議事録作成装置であって、前記記憶手段内の議事録情報を、所定のフォーマットを用いて出力する配信手段、をさらに備えることを特徴とする。
上記発明によれば、議事録作成装置は、会議の参加者の保有する端末や参加者の所属部署に設置されたプリンタに、所定のフォーマットを用いて記述された議事録情報を配信する。
これにより、企業内で標準的に使用する議事録フォーマットなどに合わせて議事録を作成し、配信することができる。
【００１３】
また、本発明は、会議の議事録を作成する議事録作成装置に用いられる議事録作成方法であって、参加者の識別情報と、該参加者の発言内容を示す文字情報とからなる音声入力情報を記録した議事録情報を記憶する記憶手段を用意し、参加者の発言の音声データの入力を受け、該音声データが示す声紋から参加者を識別するとともに、該音声データを文字情報に変換し、識別された参加者の識別情報と、変換された文字情報とからなる音声入力情報を、入力された時刻順に前記記憶手段内の議事録情報に書き込む、ことを特徴とする議事録作成方法である。
上記発明によれば、議事録作成装置は、会議の参加者が発言したときの音声データを受け、この音声データの声紋から発言を行った参加者の識別情報を得るとともに発言内容を文字情報に変換し、時刻順に、この参加者の識別情報及び発言内容を示す文字情報を議事録情報に記録する。
これにより、会議での発言内容を時刻順に漏らすことなく記載し、かつ、発言を行った参加者を特定した議事録を自動で生成することができる。
【００１４】
また、本発明は、会議の議事録を作成する議事録作成装置に用いられるコンピュータプログラムであって、参加者の発言の音声データの入力を受け、該音声データが示す声紋から参加者を識別するとともに、該音声データを文字情報に変換するステップと、識別された参加者の識別情報と、変換された文字情報とからなる音声入力情報を、入力された時刻順に自身の備える記憶手段が記憶する議事録情報に書き込むステップと、をコンピュータに実行させることを特徴とするコンピュータプログラムである。
上記発明によれば、議事録作成装置は、会議の参加者が発言したときの音声データを受け、この音声データの声紋から発言を行った参加者の識別情報を得るとともに発言内容を文字情報に変換し、時刻順に、この参加者の識別情報及び発言内容を示す文字情報を議事録情報に記録する。
これにより、会議での発言内容を時刻順に漏らすことなく記載し、かつ、発言を行った参加者を特定した議事録を自動で生成することができる。
【００１５】
【発明の実施の形態】
図１は、この発明の一実施形態の議事録作成装置の構成を示すブロック図である。なお、ここでの会議とは、カンファレンス、セミナー、パネルディスカッションなど、複数の参加者が発言を行う場を示す。
議事録作成装置１０は、例えばサーバを用いて実現することができ、制御手段１１、通信手段１２、記憶手段１３、音声認識手段１４、書込手段１５、出力手段１６、編集手段１７、及び、配信手段１８からなる。
【００１６】
記憶手段１３は、議事録情報、雛型情報、議事録設定情報、声紋情報、参加者情報、及び、ログ情報を記憶する。
＜議事録情報＞
議事録情報は、会議の議事内容を示す情報であり、以下に示す会議開催情報、音声入力情報、メディア入力情報、途中参加情報及び途中退場情報などからなる。
会議開催情報は、会議名、開催日時、開催場所、会議の開催者を示す開催者情報、会議への参加を依頼する対象者を示す参加依頼対象者情報、会議へ出席した参加者を示す出席者情報などからなる。この開催者情報、参加依頼対象者情報、及び、出席者情報は、参加者（開催者、参加依頼対象者、あるいは、出席者）の識別情報、氏名、所属、及び、連絡先（電話番号、電子メールアドレス）などの情報からなる。なお、参加者の識別情報には、社員コード、所属コードなどが使用されるが、氏名、所属も参加者の識別情報として使用しうる。
音声入力情報は、発言を行った参加者の識別情報、発言内容を示す文字情報、及び、発言が行われた時刻情報などからなる。
メディア入力情報は、会議中にメディア端末３０により使用されたメディア情報（画像、または、文書情報）、このメディア情報が使用された時刻情報、及び、メディア端末３０の識別情報からなる。
途中参加情報は、会議に途中参加した参加者の識別情報及び途中参加した時刻情報からなる。
途中退場情報は、会議の途中で退場した参加者の識別情報及び退場した時刻情報からなる。
【００１７】
＜雛型情報＞
議事録情報の配信時のファイルフォーマットや印刷フォーマットを規定する情報である。例えば、雛型情報を識別するための雛型識別情報毎に、会議開催情報内の各種情報のうち記載する項目とその記載順、フォント、色、罫線、データ形式、用紙の大きさなどを規定する。
【００１８】
＜議事録設定情報＞
議事録情報の作成条件などを示す情報であり、会議毎の設定が可能である。例えば、以下の情報からなる。
・音声入力情報とメディア入力情報とを時刻順に混在させて記載するか（ＴＩＭＥ起因）、あるいは、音声入力情報の後ろにメディア入力情報を記載するか（ＬＡＳＴ付与）の情報
・途中参加情報あるいは途中退場情報を記録するか否かの情報
・メディア情報の表示（印刷）サイズ
・使用する雛型識別情報
・編集担当者によるリアルタイム編集を行うか否かの情報
・使用するメディア端末３０の識別情報（メディア端末コード）、あるいは、メディア端末３０を使用しない旨（音声データのみ入力）の情報
なお、ユーザが明示的な設定をしない場合に使用するデフォルト設定も用意される。
【００１９】
＜声紋情報＞
参加者の識別情報毎の声紋を示す。
＜参加者情報＞
参加者（開催者も含む）の識別情報毎の、氏名、所属、連絡先（電子メールアドレス、電話番号など）、会議開催通知や議事録情報の配信先などの情報からなる。配信先の情報には、参加者が保有するＰＣ５０の電子メールアドレス、あるいは、参加者が所属する部署に設置されたプリンタ５１のＩＰアドレスなどのアドレス情報が示される。
＜ログ情報＞
議事録情報とは別に、音声入力情報、メディア入力情報、途中参加情報、途中退場情報などを時刻順に記録した情報である。
【００２０】
制御手段１１は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）及び各種メモリから構成され、各部の制御や、データの一時的な格納や、データの転送等を行う機能を有する。
通信手段１２は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＶＰＮ（ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）などのネットワークＮを介して、会議室に設置されたマイク２０、スピーカー２１、メディア端末３０及び編集担当者のパーソナルコンピュータ（以下、「ＰＣ」と記述）４０、ならびに、参加者の所属部署に設置された参加者のＰＣ５０及びプリンタ５１と接続され、データの送受信を行う機能を有する。
音声認識手段１４は、マイク２０により収集された参加者の発言の音声データを受け、声紋に変換して参加者を識別する機能と、この参加者の発言内容を文字情報に変換する機能を有する。このとき、「あー」、「えーっ」などの不要語を削除した文字情報を生成する。なお、この不要語は、カスタマイズ可能である。
書込手段１５は、音声認識手段１４が識別した参加者の識別情報や変換された文字情報を用いた音声入力情報、メディア端末３０から入力されたメディア情報を用いたメディア入力情報、途中参加情報及び途中退場情報を時刻順に記憶手段１３内の議事録情報及びログ情報に書き込む機能を有する。
出力手段１６は、音声データ、メディア情報の入力が行われる毎リアルタイムに、対応する音声入力情報、メディア入力情報、途中参加情報、途中退場情報を編集担当者のＰＣ４０へ出力する機能を有する。また、スピーカー２１へ音声を出力する機能を有する。
編集手段１７は、編集担当者のＰＣ４０から、音声入力情報や、メディア入力情報の記載順の変更を受け、記憶手段１３が記憶する議事録情報内の対応する音声入力情報、または、メディア入力情報の記載順を変更する機能を有する。
配信手段１８は、記憶手段１３内の議事録設定情報で指定された雛型情報を用いて、議事録情報を参加者のＰＣ５０に電子メール等により配信、あるいは、参加者の所属部署のプリンタ５１へ印刷させる機能を有する。また、会議開催前に、記憶手段１３内に登録された議事録情報の会議開催情報等を基に作成した会議開催通知を、参加者（参加依頼対象者）のＰＣ５０に電子メール等により配信、あるいは、参加者（参加依頼対象者）の所属部署のプリンタ５１へ印刷させる機能を有する。
【００２１】
会議室には、マイク２０、スピーカー２１、メディア端末３０、及び、議事録の編集担当者のＰＣ４０が設置され、ネットワークＮを介して議事録作成装置１０と接続される。
マイク２０は、会議の参加者の発言（声）を収集し、ネットワークＮを介してこの音声データを議事録作成装置１０へ送信する。
スピーカー２１は、議事録作成装置１０から指示された音声を出力する。
【００２２】
メディア端末３０は、ホワイトボード３０−１、ＰＣ３０−２、プロジェクタ３０−３及びプロジェクタ３０−３に接続されたＰＣ３０−４、デジタルカメラ３０−５、スキャナー３０−６などであり、ネットワークＮを介してメディア情報を議事録作成装置１０へ送信する。
ホワイトボード３０−１は、参加者の送信操作、描画面の切替え、所定の時間描画がなかったなどのタイミングにより、参加者が描画面にペンで記載した内容を、画像情報として議事録作成装置１０に送信する。ＰＣ３０−２は、参加者の送信操作、画面表示を行ったタイミングなどにより、内部に記憶している画像情報や文書情報を議事録作成装置１０に送信する。プロジェクタ３０−３は、参加者の送信操作、投影を行ったタイミングなどにより、ＰＣ３０−４の指示を受け投影した画像情報を議事録作成装置１０へ送信する。なお、この画像情報は、ＰＣ３０−４から送信してもよい。デジタルカメラ３０−５やスキャナー３０−６は、参加者の送信操作、画面表示を行ったタイミングなどにより、それぞれが内部に記憶している画像情報を議事録作成装置１０へ送信する。
なお、マイク２０、スピーカー２１、あるいは、メディア端末３０は、ケーブルなどにより直接議事録作成装置１０と接続されてもよい。
【００２３】
編集担当者のＰＣ４０（端末）は、議事録作成装置１０からリアルタイムに出力される音声入力情報、メディア入力情報、途中参加情報、及び、途中退場情報を、直前に受信した音声入力情報やメディア入力情報に順次追加してディスプレイに表示する機能を有する。また、マウスやキーボードなどの入力手段による編集担当者の操作により、音声入力情報あるいはメディア入力情報の記載順の変更を受け、議事録作成装置１０へ通知する機能を有する。
【００２４】
会議の参加者の所属部署には、ネットワークＮを介して議事録作成装置１０と接続される参加者のＰＣ５０（端末）やプリンタ５１が備えられる。参加者のＰＣ５０は、電子メールを送受信するためのメーラを備え、議事録作成装置１０が送信した議事録情報を受信して内部に保存したり、表示したりする機能を有する。また、プリンタ５１は、議事録作成装置１０からの指示を受け、議事録情報を印刷する機能を有する。
【００２５】
次に、図１に示す実施形態による、議事録作成装置１０の動作について説明する。
【００２６】
図２は、デフォルト設定の手順を示す図である。
議事録作成装置１０の管理者は、図示しない管理者のＰＣなどから議事録作成装置１０へアクセスし、記憶手段１３内の議事録設定情報のデフォルト設定を行う。管理者は、まず、これから行う設定を、デフォルト設定としてバックアップ記録するか否かを入力する（ステップＳ１００）。デフォルト設定を行う場合、続いて管理者は、メディア端末３０を使用するか否かを議事録設定情報へ書き込む。メディア端末３０を使用する場合には（ステップＳ１１０Ｙｅｓ）、使用するメディア端末３０の識別情報（メディア端末コード）を入力する（ステップＳ１２０）。そして、このメディア端末３０から入力されるメディア情報を基にしたメディア入力情報が、ＴＩＭＥ起因であるか、ＬＡＳＴ付与であるかを議事録設定情報へ書き込む（ステップＳ１３０）。さらに、メディア情報の表示（印刷）サイズを書き込む（ステップＳ１４０）。なお、このメディア情報の表示（印刷）サイズは、各メディア端末コード毎に設定してもよい。
続いて、管理者は、使用する雛型を選択し、この雛型に対応した雛型識別情報を議事録設定情報へ書き込む（ステップＳ１４０）。このとき、所望の雛型がない場合には、新たに雛型情報を生成して登録してもよい。次に、管理者は、議事録情報に途中参加情報及び途中退場情報を記録するか否か（ステップＳ１６０）、さらに、リアルタイム編集を行うか否かを議事録設定情報へ書き込む（ステップＳ１７０）。
なお、ステップＳ１１０において、メディア端末３０を使用しないことを受信した場合には、音声データのみにより議事録情報を生成する旨を議事録設定情報へ書き込み（ステップＳ１８０）、ステップＳ１５０以降の設定を行う。
【００２７】
図２のデフォルト設定後、会議の開催が決定すると、会議の開催者は、図示しない自身の保有するＰＣなどからネットワークＮを介して議事録作成装置１０へアクセスし、記憶手段１３の議事録情報へ会議名、開催日時、開催場所、開催者の識別情報、参加依頼対象者の識別情報などを登録する。このとき、書込手段１５は、受信した開催者及び参加依頼対象者の識別情報に対応した参加者情報（氏名、所属、連絡先、配信先）を読み出し、これらの情報を基にした開催者情報及び参加依頼対象者情報を議事録情報に書き込む。そして、配信手段１８は、会議名、開催日時、開催場所、開催者情報、参加者情報などを基に生成した会議開催通知を、配信先の情報で示されるＰＣ５０あるいはプリンタ５１へ出力する。
【００２８】
また、会議の開催者は、会議が開催される前までに、自身のＰＣやＰＣ４０などから議事録作成装置１０へアクセスし、対象となる会議名を指定して、図２のステップＳ１１０以降と同様の手順により議事録設定情報の登録（カスタマイズ）を行う。なお、カスタマイズを行わなかった項目には、図２で行ったデフォルト設定が適用される。また、明示的にデフォルト設定の適用を指定してもよい。
【００２９】
図３は、声紋登録の手順を示す図である。
会議の参加者は、会議開催前までに声紋登録を行う。例えば、会議のために会議開催会場に集まったときなどに、任意の参加者が、マイク２０に向かって声紋登録を行うための音声、例えば、「声紋登録」という言葉を発声する。
議事録作成装置１０の音声認識手段１４がマイク２０を介して受信した音声データを文字情報に変換し、「声紋登録」が要求されたことを認識すると、出力手段１６は、「声紋登録しますか？」という音声をスピーカー２１から出力する。声紋登録を行う参加者が「はい」と答え、議事録作成装置１０の音声認識手段１４が「はい」が発声されたことを認識すると（ステップＳ２００）、出力手段１６は、「人数は？」という音声をスピーカー２１から出力する。声紋登録を行う参加者が人数を答え、議事録作成装置１０の音声認識手段１４は、発声された人数を認識する（ステップＳ２１０）。この人数が「０」でなければ、出力手段１６は、「名前は？」という音声をスピーカー２１から出力する。参加者が自身の名前や社員コードなどの参加者の識別情報を発声すると（ステップＳ２２０）、議事録作成装置１０の音声認識手段１４は、この音声データを文字情報及び声紋に変換する（ステップＳ２３０）。書込手段１５は、文字情報に変換された参加者の識別情報と、声紋を記憶手段１３内の声紋情報に書き込む（ステップＳ２４０）。この声紋情報の登録が成功した場合（ステップＳ２５０Ｙｅｓ）、出力手段１６は、「登録できました」などの音声をスピーカー２１へ出力する。
さらに、次の声紋登録を行う参加者がいる場合には（ステップＳ２６０Ｎｏ）、ステップＳ２２０からの手順を繰り返す。また、ステップＳ２５０において、声紋情報の登録が失敗したと判断された場合は、もう一度同じ参加者により、ステップＳ２２０からの手順を繰り返す。
なお、編集担当者のＰＣ４０から、音声登録の開始の指示や、音声登録を行う参加者の人数を議事録作成装置１０へ送信してもよい。また、この声紋登録は、参加者のＰＣ５０あるいは編集担当者のＰＣ４０に備えられた音声入力手段などから行うことでもよい。このとき、議事録作成装置１０の出力手段１６は、スピーカー２１から出力する情報に対応した内容を、ＰＣ５０あるいはＰＣ４０のスピーカー２１に出力するか、あるいは、ダイアログとしてディスプレイに表示させる。
【００３０】
会議が開催されると、まず、全ての参加者は、会議へ出席していることを議事録情報に登録するために任意の言葉（自身の名前等）を発声する。議事録作成装置１０の音声認識手段１４は、マイク２０を介して受信した音声データから声紋を得る。そして、この声紋に合致する声紋情報から参加者の識別情報を取得し、記憶手段１３内の議事録情報の出席者情報に書き込む。全ての出席者の出席確認を終了すると、「開催」などの言葉やＰＣ４０からの操作により、議事録作成装置１０は入力スタンバイ状態となる。
なお、全出席者を確認する必要がない場合には、この出席の確認の手順を行う必要はない。また、会議開催前に行う声紋登録（図３）を、参加者の確認とすることもできる。
【００３１】
図４は、会議中の音声データの入力処理手順を示す図である。
会議中、議事録作成装置１０が入力スタンバイ状態であるときに（ステップＳ３００）参加者が発言を行うと、マイク２０は、この発言の音声データを議事録作成装置１０へ送信する。議事録作成装置１０の音声認識手段１４が音声データの入力を受けると（ステップＳ３０５）、この音声データを声紋に変換し（ステップＳ３１０）、この声紋と、記憶手段１３内の声紋情報とを照合する（ステップＳ３１５）。一致した声紋情報が存在しない場合には（ステップＳ３２０Ｎｏ）、その旨を記憶手段１３内のログ情報へ書き込み（ステップＳ３２５）、再びステップＳ３００の入力スタンバイ状態に戻る。
一方、ステップＳ３２０において、一致した声紋情報がある場合には、音声認識手段１４は、声紋情報から参加者の識別情報を取得するとともに、音声データ（発言内容）から不要語を取り除いた文字情報に変換する（ステップＳ３３０）。そして、取得した参加者の識別情報、発言内容の文字情報、入力時刻とからなる音声入力情報を記憶手段１３内の議事録情報へ書き込む（ステップＳ３３５）。この、音声入力情報は、記憶手段１３内の議事録設定情報にＬＡＳＴ付与が設定されている場合は、直前に出力された音声入力情報に続けて、ＴＩＭＥ起因の場合には直前に入力された音声入力情報あるいはメディア入力情報に続けて書き込まれる。
【００３２】
さらに、出力手段１６は、記憶手段１３内の議事録設定情報にリアルタイム編集を行う設定がなされているか否かを判断する（ステップＳ３４０）。リアルタイム編集を行う設定がなされていない場合には、再びステップＳ３００の入力スタンバイ状態へ戻る。
一方、ステップＳ３４０において、リアルタイム編集を行う設定がなされている場合、音声入力情報を編集担当者のＰＣ４０へ出力する（ステップＳ３４５）。なお、この音声入力情報は、議事録設定情報にＬＡＳＴ付与が設定されている場合は直前に出力された音声入力情報に続けて、ＴＩＭＥ起因の場合には直前に出力された音声入力情報あるいはメディア入力情報に続けて表示される。
編集担当者がＰＣ４０に表示された音声入力情報を確認し、記載順を変えるなどの編集を行いたい場合には、編集対象の音声入力情報を変更したい箇所にドラッグ＆ドロップする。ＰＣ４０は、音声入力情報の記載順の変更を示す情報を議事録作成装置１０へ送信する（ステップＳ３５０Ｙｅｓ）。議事録作成装置１０の編集手段１７は、音声入力情報の記載順の変更を示す情報に対応して、記憶手段１３に記憶される議事録情報内の音声入力情報の記載順を変更する（ステップＳ３５５）。
【００３３】
図５は、会議中のメディア情報の処理手順を示す図である。
会議中、議事録作成装置１０が入力スタンバイ状態であるときに（ステップＳ４００）、参加者がメディア端末３０の送信ボタンを押す、あるいは、画面表示や画面切替え等を行うことにより、メディア情報が議事録作成装置１０へ送信される。議事録作成装置１０の書込手段１５は、記憶手段１３内の議事録設定情報にメディア情報の入力を行うとが設定されているか否かを判断する。メディア情報の入力を行わないことが設定されている場合には、再び入力スタンバイ状態に戻る（ステップＳ４０５Ｎｏ）。
一方、メディア情報の入力を行うとが設定されている場合は（ステップＳ４０５Ｙｅｓ）、メディア情報を送信したメディア端末コード（メディア端末３０の識別情報）により、このメディア情報を送信したメディア端末３０を識別する（ステップＳ４１０）。そして、このメディア端末コードが、議事録設定情報に設定されたメディア端末コードと合致した場合（ステップＳ４１５Ｙｅｓ）、このメディア情報をＢＩＴＭＡＰ、ＪＰＥＧ等の所定のデータ形式及びサイズへ変換する（ステップＳ４２０）。さらに、この変換されたメディア情報、メディア端末コード及び入力時刻からなるメディア入力情報を生成し、記憶手段１３内の議事録情報へ書き込む（ステップＳ４２５）。ただし、記憶手段１３内の議事録設定情報にＬＡＳＴ付与が設定されている場合は、直前に出力されたメディア入力情報に続けて、ＴＩＭＥ起因の場合には直前に入力された音声入力情報あるいはメディア入力情報に続けて書き込みが行われる。
【００３４】
さらに、出力手段１６は、記憶手段１３内の議事録設定情報にリアルタイム編集を行う設定がなされているか否かを判断する（ステップＳ４３０）。リアルタイム編集を行う設定がなされていない場合には、再びステップＳ４００の入力スタンバイ状態へ戻る。
一方、ステップＳ４３０において、リアルタイム編集を行う設定がなされていると認識した場合、出力手段１６は、メディア入力情報を編集担当者のＰＣ４０へ出力する（ステップＳ４３５）。なお、このメディア入力情報は、議事録設定情報にＬＡＳＴ付与が設定されている場合は直前に出力されたメディア入力情報に続けて、ＴＩＭＥ起因の場合には直前に出力された音声入力情報あるいはメディア入力情報に続けて表示される。
【００３５】
編集担当者がＰＣ４０に表示されたメディア入力情報を確認し、記載順を変えるなどの編集を行いたい場合には、編集対象のメディア入力情報を指定し、移動先を入力する。例えば、音声入力情報やメディア入力情報の間など、データ間指定により指定を行う場合には、編集対象のメディア入力情報を変更したい箇所にドラッグ＆ドロップするか、どのデータ間に移動するかの情報を入力する。あるいは、時刻により移動先を指定したい場合には、移動先の時刻情報を入力する。
ＰＣ４０は、メディア入力情報の記載順の変更を示す情報を議事録作成装置１０へ送信する（ステップＳ４４０）。議事録作成装置１０の編集手段１７は、メディア入力情報の記載順の変更を示す情報に対応して、記憶手段１３に記憶される議事録情報内のメディア入力情報の記載順を変更する（ステップＳ４４５）。
なお、ステップＳ４１５において、メディア情報を送信したメディア端末３０が、議事録設定情報に設定されたメディア端末３０と合致しなかった場合、その旨のログを記憶手段１３内のログ情報へ書き込み（ステップＳ４５０）、再びステップＳ４００の入力スタンバイ状態に戻る。
【００３６】
図６は、途中参加の処理手順を示す図である。
会議中、議事録作成装置１０が入力スタンバイ状態であるときに（ステップＳ５００）参加者が会議への途中参加を行う場合には、途中参加を行う旨の音声、例えば、「参加」という言葉を発声する。マイク２０は、この音声データを議事録作成装置１０へ入力する（ステップＳ５１０）。
議事録作成装置１０の音声認識手段１４は、受信した音声データを文字情報に変換して「参加」を認識するとともに、声紋を得る。さらに、この声紋と、記憶手段１３内の声紋情報とを照合し、参加者の識別情報を取得する。そして、記憶手段１３内の議事録設定情報に途中参加を記載する設定がなされていた場合（ステップＳ５２０Ｙｅｓ）、書込手段１５は、記憶手段１３に記憶されている議事録情報内に途中参加情報（途中参加した参加者の識別情報及び時刻情報）を書き込む。さらに、記憶手段１３内の議事録設定情報にリアルタイム編集を行う設定がなされている場合（ステップＳ５４０）、出力手段１６は、この途中参加情報を編集担当者のＰＣ４０へ出力する（ステップＳ５５０）。
なお、途中参加情報は、議事録設定情報にＬＡＳＴ付与が設定されている場合は直前に出力された音声入力情報に続けて、ＴＩＭＥ起因の場合には直前に出力された音声入力情報あるいはメディア入力情報に続けて議事録情報内への書き込み、あるいは、ＰＣ４０への表示がなされる。
【００３７】
図７は、途中退場の処理手順を示す図である。
会議中、議事録作成装置１０が入力スタンバイ状態であるときに（ステップＳ６００）参加者が会議の途中退場を行う場合には、途中退場を行う旨の音声、例えば、「退場」という言葉を発声する。マイク２０は、この参加者の識別情報の音声データを議事録作成装置１０へ入力する（ステップＳ６１０）。
議事録作成装置１０の音声認識手段１４は、受信した音声データを文字情報に変換して「退場」を認識するとともに、声紋を得る。さらに、この声紋と、記憶手段１３内の声紋情報とを照合し、参加者の識別情報を取得する。そして、記憶手段１３内の議事録設定情報に途中退場を明記する設定がなされていた場合（ステップＳ６２０Ｙｅｓ）、書込手段１５は、記憶手段１３に記憶されている議事録情報内に途中退場情報（途中退場した参加者の識別情報及び時刻情報）を書き込む。さらに、記憶手段１３内の議事録設定情報にリアルタイム編集を行う設定がなされている場合（ステップＳ６４０）、出力手段１６は、この途中退場情報を編集担当者のＰＣ４０へ出力する（ステップＳ６５０）。
なお、この途中退場情報は、議事録設定情報にＬＡＳＴ付与が設定されている場合は直前に出力された音声入力情報に続けて、ＴＩＭＥ起因の場合には直前に出力された音声入力情報あるいはメディア入力情報に続けて議事録情報内への書き込み、あるいは、ＰＣ４０への表示がなされる。
【００３８】
図８は、議事録情報の配信の手順を示す図である。
会議に終了時に参加者が「会議終了」などの言葉を発するか、あるいは、ＰＣ４０（あるいは図示しない開催者のＰＣ）から操作を行うことなどにより、議事録作成装置１０は議事録情報の配信を行う。
議事録作成装置１０の配信手段１８は、記憶手段１３内の議事録設定情報を読み出し、雛型情報が選択されているか否かを判断する（ステップＳ７００）。雛型情報が選択されている場合、対応する雛型情報を記憶手段１３から読み出す（ステップＳ７１０）。そして、読み出した雛型情報で示されるフォーマットにより成形した議事録情報を、参加者のＰＣ５０へ配信、あるいは、プリンタ５１へ出力する。この配信先の情報は、議事録情報内の出席者情報に示される参加者の識別に対応した参加者情報から読み出す。
一方、ステップＳ７００において、雛型選択がないと認識した場合、議事録作成装置１０の配信手段１８は、ＰＣ４０に、雛形選択を行うかを問い合わせるダイアログを出力する。配信手段１８は、編集者のＰＣ４０から雛型を選択する旨の通知を受けると（ステップＳ７３０Ｙｅｓ）、雛型情報の一覧をＰＣ４０に表示させる。そして、編集者が選択した雛型の情報をＰＣ４０から受信すると（ステップＳ７４０）、対応する雛型情報を記憶手段１３から読み出す（ステップＳ７１０）。そして、読み出した雛型情報に従い成形した議事録情報を参加者のＰＣ５０へ配信、あるいは、プリンタ５１へ出力する（ステップＳ７２０）。
また、ステップＳ７３０において、配信手段１８が編集者のＰＣ４０から雛型を選択しない旨の通知を受けると、デフォルトの雛型情報を記憶手段１３から読み出す（ステップＳ７１０）。そして、読み出した雛型情報に従い成形した議事録情報を参加者のＰＣ５０へ配信、あるいは、プリンタ５１へ出力する。
【００３９】
図９は、本発明の応用例を示す図である。
多地点間で行う音声会議やテレビ会議などにおいては、音声の入出力を行う音声会議端末、あるいは、音声及び画像の入出力を行うテレビ会議端末が接続される回線と議事録作成装置１０との間に、データ変換装置を設置する。データ変換装置は、回線に流れる音声データを選択して取得し、また、必要に応じて議事録作成装置１０に対応するインタフェースを用いた音声データに変換して、議事録作成装置１０へ出力する。この音声データにより、議事録作成装置１０は、議事録の作成及び配信を行う。
【００４０】
なお、議事録作成装置１０の書込手段１５は、議事録情報とは別に、音声入力情報、メディア入力情報、途中参加情報、途中退場情報などを発生した時刻順に記憶手段１３内のログ情報に記録する。必要に応じて、管理者や開催者などが、収集するログ情報にどの情報を記録するかのカスタマイズを行う。
また、編集者のＰＣ４０の代わりに、ネットワークＮを介して接続されるオブザーバーなどのＰＣへ音声入力情報、メディア入力情報、途中参加情報、途中退場情報のリアルタイム出力を行ってもよい。
また、編集者のＰＣ４０等へ出力されるリアルタイム出力は、選択された（あるいは、デフォルトの）雛型情報を用いた表示、すなわち、配信される議事録情報と同じフォーマットを用いた表示であってもよい。
【００４１】
上記発明によれば、会議での発言内容を時刻順に漏らすことなく記載し、かつ、発言を行った参加者を特定した議事録を自動で生成することができる。さらに、会議で使用したホワイトボードの記載内容や、プロジェクタ等で使用した画像などのメディア情報、加えて、会議に途中参加あるいは途中退場した参加者を、時刻順に議事録に記録することができる。
また、発言内容やメディア情報を端末に出力することが可能なため、会議の進行状況等をリアルタイムに確認することができる。また、編集者の端末からの操作により、発言内容やメディア情報など議事内容の記載順を変更し、読みやすい議事録を作成することができる。また、企業内で標準的に使用する議事録フォーマットなどに合わせた議事録を作成し、配信することができる。また、蓄積されたログ情報を参加者の識別情報により検索することで、特定の参加者が過去に参加した会議の情報を得るなど、過去の会議の記録を得ることなどができる。
【００４２】
なお、上述の議事録作成装置１０は、内部にコンピュータシステムを有している。そして、上述した動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＯＳや周辺機器等のハードウェアを含むものである。
【００４３】
また、「コンピュータ読み取り可能な記録媒体」とは、ＲＯＭの他に、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のシステムやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【図１】本発明の一実施形態の議事録作成装置の構成を示すブロック図。
【図２】同実施形態によるデフォルト設定の手順を示す図。
【図３】同実施形態による声紋登録の手順を示す図。
【図４】同実施形態による音声データの入力処理手順を示す図。
【図５】同実施形態によるメディア情報の入力処理手順を示す図。
【図６】同実施形態による途中参加の処理手順を示す図。
【図７】同実施形態による途中退場の処理手順を示す図。
【図８】同実施形態による議事録情報の配信の手順を示す図。
【図９】本発明の応用例を示す図。
【符号の説明】
１０…議事録作成装置、 １１…制御手段、 １２…通信手段、 １３…記憶手段、 １４…音声認識手段、 １５…書込手段、 １６…出力手段、 １７…編集手段、 １８…配信手段、 ２０…マイク、 ２１…スピーカー、 ３０−１…ホワイトボード、 ３０−２，３０−４，４０，５０…ＰＣ、 ３０−３…プロジェクタ、 ３０−５…デジタルカメラ、 ３０−６…スキャナー、 ５１…プリンタ

Claims (8)

1. 会議の議事録を作成する議事録作成装置であって、
   参加者の識別情報と、該参加者の発言内容を示す文字情報とからなる音声入力情報を記録した議事録情報を記憶する記憶手段と、
   参加者の発言の音声データの入力を受け、該音声データが示す声紋から参加者を識別するとともに、該音声データを文字情報に変換する音声認識手段と、
   前記音声認識手段が識別した参加者の識別情報と、変換した文字情報とからなる音声入力情報を、入力された時刻順に前記記憶手段内の議事録情報に書き込む書込手段と、
   を備えることを特徴とする議事録作成装置。
2. 前記書込手段は、メディア端末から入力された画像あるいは文書の情報であるメディア情報を、前記記憶手段内の議事録情報に入力された時刻順に書き込む、
   ことを特徴とする請求項１に記載の議事録作成装置。
3. 前記音声入力情報を音声データの入力が行われる毎、あるいは、前記メディア情報を該メディア情報の入力が行われる毎リアルタイムに出力する出力手段、
   をさらに備えることを特徴とする請求項１または請求項２に記載の議事録作成装置。
4. 前記出力手段からの出力を受けた端末から、音声入力情報、または、メディア情報の記載順の変更の指示を受け、前記記憶手段に記憶される議事録情報内の対応する該音声入力情報、または、該メディア情報の記載順を変更する編集手段、
   をさらに備えることを特徴とする請求項３に記載の議事録作成装置。
5. 前記音声認識手段は、変換された文字情報から会議に参加あるいは退場を示す言葉を認識し、
   前記書込手段は、参加あるいは退場を行った参加者の識別情報を前記記憶手段内の議事録情報に書き込む、
   ことを特徴とする請求項１から請求項４のいずれかの項に記載の議事録作成装置。
6. 前記記憶手段内の議事録情報を、所定のフォーマットを用いて出力する配信手段、
   をさらに備えることを特徴とする請求項１から請求項５のいずれかの項に記載の議事録作成装置。
7. 会議の議事録を作成する議事録作成装置に用いられる議事録作成方法であって、
   参加者の識別情報と、該参加者の発言内容を示す文字情報とからなる音声入力情報を記録した議事録情報を記憶する記憶手段を用意し、
   参加者の発言の音声データの入力を受け、該音声データが示す声紋から参加者を識別するとともに、該音声データを文字情報に変換し、
   識別された参加者の識別情報と、変換された文字情報とからなる音声入力情報を、入力された時刻順に前記記憶手段内の議事録情報に書き込む、
   ことを特徴とする議事録作成方法。
8. 会議の議事録を作成する議事録作成装置に用いられるコンピュータプログラムであって、
   参加者の発言の音声データの入力を受け、該音声データが示す声紋から参加者を識別するとともに、該音声データを文字情報に変換するステップと、
   識別された参加者の識別情報と、変換された文字情報とからなる音声入力情報を、入力された時刻順に自身の備える記憶手段が記憶する議事録情報に書き込むステップと、
   をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images