JP2006050500A - 会議支援システム - Google Patents

Abstract

【課題】議事録の迅速な提供のみならず、会議の議事進行をリアルタイムで支援することで、参加者の判断や発言などを含めた会議の質の向上を図ると共に、会議時間の短縮も可能とし、又議事録についてもその内容を向上することができる。
【解決手段】各参加者にはクライアント装置７が配置され、参加者はそのクライアント装置７を介して、自らの会議中の発言の情報を会議サーバ装置５に送付すると共に、会議支援を受ける。音声の発言は、コンピュータ装置の音声認識によって、議事進行中にリアルタイムでテキストデータに変換する。該変換は、クライアント装置７又は会議サーバ装置５において行う。
【選択図】図１

Description

本発明は、会議支援方法、会議サーバ装置、及び会議支援用のクライアントＰＣ装置に係り、特に、議事録の迅速な提供のみならず、会議の議事進行をリアルタイムで支援することで、参加者の判断や発言などを含めた会議の質の向上を図ると共に、会議時間の短縮も可能とし、又議事録についてもその内容を向上することができる会議支援システムに関する。

会議の議事録作成を効率化するために、音声信号をコンピュータ装置で処理する音声認識を利用することが考えられる。

例えば特許文献１では、発言者の音声を音声認識によってテキストデータに変換して、テキストデータと発言者識別データを結びつけて保存することで、議事録の作成を省力化する仕組みが提案されている。特許文献２では、発言の意思を伝える発言意思データの収集・一覧表示共有による議事進行の効率化を提案している。特許文献３では、音声認識された発言データを、発言者に付与された識別情報を付与して時系列に並べることで、議事録を効率よく作成する方法について述べられている。特許文献４では、会議室に居ない外部の参加者に音声若しくはテキストで会議に参加する方法を提案する発明が述べられている。

特開２００４−２０７３９号公報 特開２００４−３２２２９号公報 特開２００４−８０４８６号公報 特開２００２−１０１２０５号公報

しかしながら、特許文献１は、会議の途中において各メンバーがテキストになっている発言内容を変更する手段は限定されており、又会議途中で議論の経過を参加者各人が把握できる情報共有機能は提案されていない。特許文献２は、意思伝達による議事進行の効率化について述べるが、議事の内容そのものに関して会議支援するというものではない。特許文献３は、発言データを編集したり、編集後に確定したりする手段について述べられていない。又、発言データの関連付けについては、発言者（所有者）と時間関係（時系列配列）が示されているのみである。特許文献４では、外部の参加者がどのように発言権を取得するのかについて述べられておらず、通常、会議室内の発言と外部からの発言をルールなく混在されることは、会議室内の議事進行の効率を損なうことになり、現実的ではない。会議室内と外部とを秩序立てて統合する仕組みが必要である。

本発明は、前記従来の問題点を解決するべくなされたもので、議事録の迅速な提供のみならず、会議の議事進行をリアルタイムで支援することで、参加者の判断や発言などを含めた会議の質の向上を図ると共に、会議時間の短縮も可能とし、又議事録についてもその内容を向上することができる会議支援システムを提供することを課題とする。

まず、本願の第１発明の会議支援方法は、会議の参加者から会議中にリアルタイムで、テキストデータ又は音声による発言を入力装置で受け付け、該音声発言は、発言−テキスト変換処理装置による音声認識処理により、テキストデータに変換し、発言テキスト編集・管理処理装置により、発言の前記テキストデータの少なくとも一部を参加者及び会議責任者に、会議中にリアルタイムで表示すると共に、参加者又は会議責任者からの訂正又は承認の入力を会議中にリアルタイムで、前記発言テキスト編集・管理処理装置において受け付けるようにしたことにより、前記課題を解決したものである。

次に、本願の第２発明の会議支援方法は、会議の参加者から会議中にリアルタイムで、音声による発言を入力装置で受け付け、該音声発言を、参加者が持参する携帯型コンピュータ装置に設けられ、参加者の音声認識用に適合可能な音声認識辞書を用いる、発言−テキスト変換処理装置による音声認識処理により、テキストデータに変換し、該テキストデータの少なくとも一部を、他の参加者が持参する携帯型コンピュータ装置に伝送し、会議中にリアルタイムで表示するようにしたことにより、前記課題を解決したものである。

次に、前記会議支援方法において、前記表示を参加者又は会議責任者に行いつつ、これらの者からの訂正又は承認の入力を会議中にリアルタイムで、前記発言テキスト編集・管理処理装置において受け付けるようにしたことにより、前記課題を解決したものである。

又、前記会議支援方法において、発言時刻を内蔵時計から自動的に読み取り、その発言のテキストデータに付加すると共に、直接肉声を聴取できない遠隔地に居る参加者に対して、該発言時刻情報を含めて前記表示を行うようにしたことにより、前記課題を解決したものである。

更に、前記会議支援方法において、参加者側にある装置が内蔵する時計の、誤差や時差に相当する日時補正を自動的に行って、前記表示を行うようにしたことにより、前記課題を解決したものである。

又、前記会議支援方法において、前記発言テキスト編集・管理処理装置により、参加者又は会議責任者からの複数の発言の前記テキストデータの検索を受け付けて、該検索結果を表示すると共に、これら発言間の相互関係を示す属性関係属性情報の入力を、会議中にリアルタイムで受け付けるようにしたことにより、前記課題を解決したものである。

次に、前記会議支援方法において、発言時刻を内蔵時計から自動的に読み取り、その発言のテキストデータに付加すると共に、該発言時刻及び前記属性関係属性情報に基づいて、前記表示をグラフィカルに行うようにしたことより、前記課題を解決したものである。

又、前記会議支援方法において、前記属性関係属性情報を検索キーの検索対象にした、前記テキストデータを検索する操作入力を受け付け、該検索の結果を表示するようにしたことにより、前記課題を解決したものである。

更に、前記会議支援方法において、前記発言テキスト編集・管理処理装置により、前記音声認識処理によって得られたテキストデータを、まず仮登録し、訂正・確認した後の該テキストデータを、発言として登録するようにしたことにより、前記課題を解決したものである。

又、前記会議支援方法において、前記音声発言の入力を、携帯電話から受け付けるようにしたことにより、前記課題を解決したものである。

ここで、本願の第３発明の会議サーバ装置は、会議の参加者から会議中にリアルタイムで、テキストデータ又は音声による発言を受け付ける入力装置と、該音声発言を、音声認識処理によりテキストデータに変換する発言−テキスト変換処理装置と、会議中にリアルタイムで、発言の前記テキストデータの少なくとも一部を参加者及び会議責任者に表示すると共に、これらの者からの訂正又は承認の入力を受け付ける発言テキスト編集・管理処理装置と、を備えるようにしたことにより、前記課題を解決したものである。

次に、本願の第４発明の会議支援用のクライアントＰＣ装置は、会議の参加者から会議中にリアルタイムで、音声による発言を受け付ける入力装置と、参加者の音声認識用に適合可能な音声認識辞書を用いた音声認識処理を行って、該音声発言を、テキストデータに変換する発言−テキスト変換処理装置と、該テキストデータの少なくとも一部をサーバ装置に送信し、又該サーバ装置から同様のテキストデータを受信するインターフェイス処理装置と、を、携帯型コンピュータ装置のハードウェアに構成したことにより、前記課題を解決したものである。

又、本願の第５発明のコンピュータ・プログラムは、前記第１発明又は前記第２発明の会議支援方法、又は、前記第３発明の会議サーバ装置、又は、前記第４発明の会議支援用のクライアントＰＣ装置を実施するためのコンピュータ・プログラムを提供するようにしたことにより、前記課題を解決したものである。

以下、本発明の作用について、簡単に説明する。

本願発明は、議事録の迅速な提供のみならず、会議の議事進行をリアルタイムで支援するため、下記に列挙する機能の１つ又は複数を実現する構成を提供している。

Ａ１．各参加者の発言履歴の状況を各参加者が共有する。
Ａ２．各発言をリアルタイムでシステムに取り込む。
Ａ３．各発言を発言者が履歴を保存しつつ修正する。
Ａ４．会議用の辞書を基に発言を自動的に要約する。
Ａ５．発言の集まりを望みの属性で検索し参照する。
Ａ６．発言間の関係を登録できる。
Ａ７．遠隔地から電子的に会議に参加する。
Ａ８．会議の責任者が各発言及び発言間の関係の編集を行うことができる。
Ａ９．発言履歴を元に会議議事録を作成する。
Ａ１０．会議で参照された電子文書を発言と関係付けて保存する。

図１は、本願発明に係るクライアント装置及び会議サーバ装置の構成を示すブロック図である。

図示されるように、各参加者にはクライアント装置７が配置され、参加者はそのクライアント装置７を介して、図中において一点鎖線で示されるように、自らの会議中の発言の情報を会議サーバ装置５に送付する。又参加者は該クライアント装置７を介して、図中において二点鎖線で示されるように、会議サーバ装置５から会議に係る種々の情報提供を受けるなど、会議支援を受けることになる。

会議室内の外部にいる者は、肉声での発言は不可能であるので、クライアント装置７を介して発言することになる。なお、会議室など、会議が催されている場所を、以下会議場と呼ぶ。

本願発明では、参加者及び会議責任者の会議中の発言は、主として肉声の音声によるものを主としているが、テキストデータの送付によるものも取扱い可能である。そして、音声の発言は、コンピュータ装置の音声認識によって、議事進行中にリアルタイムでテキストデータに変換する。該変換は、クライアント装置７又は会議サーバ装置５において行う。

このように変換されたテキストデータを含めて、議事に係る情報を参加者及び会議責任者が共有することになる。又、このようなテキストデータを中心とした処理を、会議サーバ装置５やクライアント装置７においてリアルタイムで行うことで、前述のＡ１〜Ａ１０を実現することになる。

このように、本願発明の会議支援システムによれば、議事録の迅速な提供のみならず、会議の議事進行をリアルタイムで支援することで、参加者の判断や発言などを含めた会議の質の向上を図ると共に、会議時間の短縮も可能とし、又議事録についてもその内容を向上することができる会議支援システムを提供することができる。

以下、図を用いて本発明の実施の形態を詳細に説明する。

まず、本実施形態は、前述の図１のように、各参加者に対してクライアント装置７が設けられる。又、会議責任者は、会議サーバ装置５を取り扱う。

図２は、本願発明が適用された実施形態の、会議支援システムを含む全体的な構成を示すブロック図である。

会議サーバ装置５は、本願発明に係るものを含めた、各種データベース５ａを有している。該会議サーバ装置５は、ネットワーク２に接続され、更にルータ装置９を介してネットワーク１にも接続されている。これらネットワーク１やネットワーク２には、クライアント装置７が接続されている。又、ネットワーク１には、ルータ装置９を介して、クライアント装置７が接続されている、別のネットワーク３が接続されている。このようなネットワーク１〜３を介した接続によって、会議サーバ装置５及びクライアント装置７の間において、データ通信が可能になり、又本願発明の図１で示したような運用を本実施形態において適用することができる。なお、この図において、ネットワーク１に対するクライアント装置７の接続に際したアクセスポイントの装置などは、一部省略されている。

更に、電話回線網４は、一般電話回線網や、これに接続される携帯電話などを含めた電話回線網である。該会議サーバ装置５は、電話回線網４にも接続され、これによって、一般の電話機７Ａや携帯電話機７Ｂなどと接続される。又、これによって、電話機７Ａや携帯電話機７Ｂから、会議の参加者は、肉声の音声によって会議に参加することができるようになっている。又、会議サーバ装置５は、モデムによって電話回線網４を介して、電話機７Ａや携帯電話機７Ｂからテキストデータを受けたり、これらに対してテキストデータを送付したりすることも可能になっている。

なお、ネットワーク１やネットワーク２やネットワーク３は、具体的に限定されるものではない。例えば、インターネットや、ＷＡＮ（Wide Area Network）や、ＶＡＮ（Value Added Network）、更にはＬＡＮ（Local Area Network）であってもよい。種々の形態の通信ネットワークであってもよく、電話やデータ通信の公衆回線網や専用回線網、あるいは携帯電話などの回線網を用いてもよい。更には、異なる形態のネットワークを組み合わせたものであってもよい。

ここで、図３〜図５は、それぞれ、本実施形態において用いられるクライアント装置７の第１例〜第３例の構成を示すブロック図である。

まず、図３に示す第１例のクライアント装置７は、例えば一般電話機や携帯電話機やＰＤＡ（Personal Digital Assistants）などである。該クライアント装置７は、音声入力装置１０及びテキスト入力装置１２を共に、あるいはこれら音声入力装置１０及びテキスト入力装置１２の内のいずれか一方を備えたものである。又、該クライアント装置７の場合、本願発明に係る音声認識の処理は、会議サーバ装置５側において行う。

音声入力装置１０は、一般電話機や携帯電話機の送話器から、あるいはＰＤＡなどではこれに接続されたマイクから、会議の参加者の肉声音声を入力する。そして、音声入力装置１０からの参加者の肉声音声は、電話回線網４を経由して、あるいはＩＰ（Internet Protocol）電話であればネットワーク１〜３を経由して、会議サーバ装置５へと送られる。

テキスト入力装置１２は、一般電話機や携帯電話機のダイヤルボタンなどであり、ＰＤＡのキーなどである。このようなテキスト入力装置１２から入力されるテキスト入力についても、電話回線網４やネットワーク１〜３を経由して、会議サーバ装置５へと送られる。

なお、会議サーバ装置５からこの第１例のクライアント装置７への情報提供は、例えば音声合成による音声を、一般電話機や携帯電話機の受話器において出力してもよい。あるいは、電子メールを送付するなどして、携帯電話機やＰＤＡの表示画面に表示してもよい。

次に、図４に示す第２例のクライアント装置７は、例えばＰＤＡやＰＣ（Personal Computer）装置などであり、アプリケーション・プログラムを読み込んだり組み込んだりし、又該アプリケーション・プログラムを実行することで、会議支援システムに係る処理の一部を担って提供する。該クライアント装置７は、音声入力装置１０及びテキスト入力装置１２に加えて、音声−テキスト変換処理装置２０や、該音声−テキスト変換処理装置２０に用いる音声認識辞書２１を備える。従って、この第２例のクライアント装置７の場合は、本願発明に係る音声認識の処理は、クライアント装置７側において行うことが可能になっている。

音声入力装置１０は、ＰＤＡやＰＣ装置に接続されたマイクから、会議の参加者の肉声音声を入力する。そして、音声入力装置１０からの参加者の肉声音声は、電話回線網４を経由して、あるいはＩＰ（Internet Protocol）電話であればネットワーク１〜３を経由して、会議サーバ装置５へと送られる。

又、音声−テキスト変換処理装置２０によって、テキストデータに変換された参加者の発言は、電話回線網４やネットワーク１〜３を経由して、会議サーバ装置５へと送られる。

テキスト入力装置１２は、ＰＤＡやＰＣ装置のキーなどである。このようなテキスト入力装置１２から入力されるテキスト入力についても、電話回線網４やネットワーク１〜３を経由して、会議サーバ装置５へと送られる。

なお、会議サーバ装置５からこの第２例のクライアント装置７への情報提供は、電話回線網４やネットワーク１〜３を経由して送付され、例えば音声合成による音声をスピーカにおいて出力してもよい。あるいは、文字情報やグラフィック情報として、該クライアント装置７の表示画面に表示してもよい。

次に、図５に示す第３例のクライアント装置７は、例えばＰＤＡやＰＣ（Personal Computer）装置などであり、アプリケーション・プログラムを読み込んだり組み込んだりし、該アプリケーション・プログラムを実行することで、会議支援システムに係る処理の一部を担って提供する。この第３例のクライアント装置７は、前述の第２例のクライアント装置７の構成に加えて、符号２２に示すように諸処理装置を有するものである。例えば、この第３例のクライアント装置７は、後述する図７及び図８に示すような構成であり、高機能なものである。

なお、本実施形態においては、第１例〜第３例のいずれのクライアント装置７を参加者が用いる場合でも、又会議責任者が会議サーバ装置５を用いる場合にも、その開始時にはまず、参加者や会議責任者の認証を行うようになっている。例えば、ＩＤ（IDentification）及びパスワードによる本人認証や、バイオメトリクス技術による本人認証によって、上記の認証を行うようにしている。

図６は、本実施形態の各装置に用いるハードウェアの構成を示すブロック図である。

この図６においては、ある種のコンピュータ装置のハードウェア構成が示される。該コンピュータ装置は、ＯＳ（Operating System）は一例として米国マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）を搭載する、一般的なＰＣ（Personal Computer）装置であってもよく、特に限定されものではない。あるいは、ＰＣ装置以外のハードウェアを用いてもよく、例えばＥＷＳ（Engineering Work Station）などの、いわゆるワークステーションなどのハードウェアを用いるようにしてもよい。なお、この図において、ハードウェア構成は、説明の関係上一部抽象化されている。

図６に示される、クライアント装置７や、ＰＣ装置などのコンピュータ装置によって実現した場合のクライアント装置７は、この図６に示すようなコンピュータ装置のハードウェアを用いてもよい。

この図において、コンピュータ装置は、ＣＰＵ（Central Processing Unit）３１０と、ＲＡＭ（Random Access Memory）３１１と、ＲＯＭ（Read Only Memory）３１２と、ＬＡＮ−Ｉ／Ｆ（Inter Face）３１３と、ＭＯＤＥＭ（modulator-demodulator）３１４と、種々のＩ／Ｆ（Inter Face）３２０〜３２２とを有している。これらは、バス３０１によって相互接続されている。

又、バス３０１に対して、Ｉ／Ｆ３２０を介して、画面表示装置３３０が接続されている。又、バス３０３によって相互接続されている、キーボード３３１と、マウス３３２と、プリンタ装置３３３とは、バス３０１に対して、Ｉ／Ｆ３２１を介して接続されている。

更に、バス３０１に対して、Ｉ／Ｆ３２２を介して、ＨＤＤ（Hard Disc Drive）装置３４０と、ＣＤ（Compact Disc）装置３４１と、ＦＤＤ（Floppy（登録商標） Disc Drive）装置３４２とが接続されている。これらはバス３０２によって相互接続されている。

以上のようなハードウェア構成において、記憶手段、又記憶装置は、ＲＡＭ３１１、ＲＯＭ３１２、ＨＤＤ装置３４０、ＣＤ装置３４１、ＦＤＤ装置３４２などである。このような記憶手段や記憶装置において、ＣＰＵ３１０で実行される様々なプログラムや、本実施形態においてアクセスされるデータベースや諸ファイルやデータが保存され、電子的にアクセスができるようになっている。例えば、ＯＳや、本実施形態に係るアプリケーション・プログラム、又ウェブ・ブラウザ・プログラムは、ＨＤＤ装置３４０に格納されていて、実行時には、ＲＡＭ３１１に読み出されてＣＰＵ３１０によって実行される。なお、ＬＡＮ−Ｉ／Ｆ３１３は、ＬＡＮ３に対する接続などに用いられるものであり、ＣＰＵ３１０で実行されるアプリケーション・プログラムには、ネットワーク１経由で取得される、ＪＡＶＡ（登録商標)のアプレットも含まれる。

又、ＯＳやアプリケーション・プログラムの実行に際して、オペレータは、画面表示装置３３０に表示出力される情報を参照しつつ、キーボード３３１によって文字入力や諸操作を行ったり、マウス３３２によって座標入力や諸操作の入力を行ったりする。又、適宜、プリンタ装置３３３からは、必要な情報を印字出力することができる。言うまでもなく、これら諸出力や入力は、ＣＰＵ３１０で実行されるプログラムによって、電子的な処理によって行われるものである。

なお、ＣＤ装置３４１やＦＤＤ装置３４２は、本願発明を適用して実施する際の、アプリケーション・プログラムのインストールや、その他のオフラインでの情報交換に用いられる。

次に、図７は、本実施形態のクライアント装置７の一例における構成を示すブロック図である。

この図においては、前述の第３例のクライアント装置７の一例の、本願発明に係る構成が示されている。

図示されるように、このクライアント装置７は、テキスト入力装置１２と、音声入力装置１０と、発言音声管理処理装置２３と、音声−テキスト変換処理装置２０と、発言テキスト編集・管理処理装置２６と、会議サーバ装置インターフェイス処理装置２７とを備えている。又、該クライアント装置７は、発言音声ＤＢ２４と、音声認識辞書ＤＢ２１と、参加者ＤＢ３０と、関連ドキュメントＤＢ３１と、専門用語辞書ＤＢ３２と、会議キーワードＤＢ３３と、キーワードＤＢ３４とを備えている。

発言音声ＤＢ２４は、発言音声管理処理装置２３の処理によって、音声入力装置１０においてマイクから取り込まれてＡ／Ｄ（Analog to Digital）変換された、参加者が発言する音声を保存するものである。

音声認識辞書ＤＢ２１は、Ａ／Ｄ変換されている発言の音声に対する、音声−テキスト変換処理装置２０おける音声認識処理の際に用いられる情報が保存されている。該情報は、該音声認識処理の際に、個々の語や語句や単語を認識するための、音声の照合用の情報である。クライアント装置７は、ある参加者の専用にすることもでき、特に、携帯型コンピュータ装置のハードウェアにクライアント装置７を構成した場合は、参加者は、特定のクライアント装置７を自分専用にして、該専用のクライアント装置７を会議に持参することができる。このようにクライアント装置７を専用にする場合は、音声認識辞書ＤＢ２１は、その参加者の発声を学習記憶させるなどして、その参加者専用にすることができる。このようにすることで、音声−テキスト変換処理装置２０の音声認識の音声−テキスト変換処理の精度を向上することができる。

参加者ＤＢ３０には、まず、そのクライアント装置７を利用する参加者に関する情報が保存されている。更に、該参加者ＤＢ３０には、会議に出席する参加者に関する情報が保存されている。該情報は、クライアント装置７の動作機能上において利用される。あるいは、該情報に他の出席者の内線電話番号や電子メールアドレスなどの連絡先情報を含めておけば、業務上有用である。

関連ドキュメントＤＢ３１には、会議に関係する、自分自身が既に提供したり、これらから提供する予定の資料や、会議に関係して他の参加者から受けたりした資料が、会議の進行に関係付けられて保存されている。該資料には、テキストデータファイルや、画像ファイルや、音声ファイルや、ワープロ文書ファイルや、表計算ファイルや、帳票ファイルや、パワーポイント（登録商標）などのプレゼンテーション・アプリケーション・プログラムのファイルなど、様々なものを含めることができる。又、該資料は、特定の発言において提供されたのであれば、その旨が関連ドキュメントＤＢ３１の管理情報に保存される。又、このような管理情報によって、参照している発言に関連する資料を閲覧したり、又逆に、資料を参照している際に該資料に関係する発言を参照したりすることを、利用者は容易に行うことができる。

専門用語辞書ＤＢ３２には、会議の発言に含まれたり、含まれる可能性があったりする専門用語の情報が保存されている。該専門用語辞書ＤＢ３２には、個々の専門用語の意味や解説の情報も含まれているので、会議中に参加者が参照すれば用語の意味を明確にすることができ、会議の質を向上でき、又用語の意味の質問の発言も削減できて会議時間の短縮も図ることができる。

なお、会議キーワードＤＢ３３も、専門用語辞書ＤＢ３２と同様の内容であり、会議の発言に含まれたり、含まれる可能性があったりする専門用語などの用語の情報が保存され、個々の用語の意味や解説の情報も保存されている。このような会議キーワードＤＢ３３は、上述の専門用語辞書ＤＢ３２と同様に用いられる。

ここで、該専門用語辞書ＤＢ３２や会議キーワードＤＢ３３やキーワードＤＢ３４には、音声−テキスト変換処理装置２０において音声認識する際に用いる情報や、テキストデータになっている会議中の発言を検索するための情報や、他の会議支援システムの処理に用いるための情報も格納されている。

ここで、図８は、クライアント装置７が有する、上記の発言テキスト編集・管理処理装置２６の構成を示すブロック図である。

この図に示されるように、該発言テキスト編集・管理処理装置２６は、登録管理処理部４０と、編集登録処理部４２と、属性編集処理部４３と、発言編集処理部４４と、発言検索処理部４６とを有している。

なお、図７や図８に示される各部については、フローチャートを用いて詳しく後述する。

次に、図９は、本実施形態の会議サーバ装置５の構成を示すブロック図である。

図示されるように、会議サーバ装置５は、発言音声登録受付処理装置５０と、発言音声登録管理処理装置５４と、発言テキスト登録受付処理装置５１と、クライアント装置インターフェイス装置５２と、発言テキスト編集・管理処理装置５６とを備える。更に、該会議サーバ装置５は、発言テキストＤＢ７３と、発言履歴ＤＢ７４と、発言データ・リストＤＢ７０と、属性・関係属性ＤＢ７１と、発言音声ＤＢ７６と、参加者ＤＢ８０と、関連ドキュメントＤＢ８１と、専門用語辞書ＤＢ８２と、キーワードＤＢ８３とを備えている。

ここで、発言テキストＤＢ７３は、会議における発言のテキストデータが保存されている。該テキストデータにおいて、あるものはテキスト入力装置１２から参加者がキー入力したものであり、あるものは参加者の発言の音声を音声認識処理によってテキストデータに変換したものである。該テキストデータには、後述するように、仮登録したものも含まれ、本登録したものも含まれる。

発言履歴ＤＢ７４には、発言テキストＤＢ７３の上述のような発言のテキストデータの訂正や修正や追加や修正の履歴を管理する情報が保存されている。

発言音声ＤＢ７６には、会議における発言の、Ａ／Ｄ変換された音声データが保存されている。

属性・関係属性ＤＢ７１には、個々の発言の属性を示す情報が保存されている。更に、該属性・関係属性ＤＢ７１には、発言間の関係を定義する関係属性を示す情報が保存されている。

ここで、発言データ・リストＤＢ７０には、会議サーバ装置５が有する諸データベースにある情報を総合的に管理する情報が保存されている。例えば、以上に述べたように、発言テキストＤＢ７３、発言履歴ＤＢ７４、発言音声ＤＢ７６、属性・関係属性ＤＢ７１には、会議における個々の発言に関する情報が保存されている。発言データ・リストＤＢ７０では、これらデータベース間において、同じ発言に関係する情報を、相互に参照するための情報が保存されいる。

なお、会議サーバ装置５における、参加者ＤＢ８０、関連ドキュメントＤＢ８１、専門用語辞書ＤＢ８２、キーワードＤＢ８３には、それぞれ、参加者ＤＢ３０、関連ドキュメントＤＢ３１、専門用語辞書ＤＢ３２、キーワードＤＢ３４と類似した内容の情報が保存されており、又それぞれ同様に用いられる。なお、会議キーワードＤＢ３３と同様の内容は、キーワードＤＢ８３に保存されている。

次に、図９に示されるように、上記の会議サーバ装置５の発言テキスト編集・管理処理装置５６は、登録管理処理部６０と、編集登録処理部６２と、属性編集処理部６３と、発言編集処理部６４と、自動要約処理部６５と、発言検索処理部６６と、議事録関係処理部６８とを備えている。

なお、前述の図９の発言音声登録受付処理装置５０は、前述の音声入力装置１０や音声−テキスト変換処理装置２０や音声認識辞書ＤＢ２１に相当するものを備え、これによる音声認識の機能を備えている。該機能によって、図３に示したクライアント装置７から得られる音声による参加者の発言を、テキストデータに変換し、該変換の結果は発言テキスト登録受付処理装置５１に出力される。

なお、発言テキスト登録受付処理装置５１は、前述のテキスト入力装置１２に相当するものを備え、これによって参加者のテキストデータによる発言を入力することができる。例えば、図３や図４のクライアント装置７からの発言を入力することができる。

以上に説明したような発言音声登録受付処理装置５０や発言テキスト登録受付処理装置５１によって、第３例のクライアント装置７で行われている、例えば音声認識処理を、会議サーバ装置５側ですることができる。従って、本実施形態の会議サーバ装置５では、第３例のクライアント装置７のみならず、音声認識処理ができないなど機能の限られた、第１例や第２例のクライアント装置７にも対応することができるようになっている。

以下、本実施形態の作用について、フローチャートを参照しながら説明する。

なお、以下に説明するフローチャートにおいて、「……処理」と図示される矩形は、該当装置によってなされる処理である。「＊……＊」のように、先頭及び尾端に「＊」が付されて図示される文字列が付された矢印は、装置間で受け渡される電文や、装置が他装置に対して行う処理要求である。これ以外で、「……操作」や「……入力」の図示は、会議サーバ装置５やクライアント装置７の利用者による人手によるものである。又、「……表示」は、このような利用者に対する、会議サーバ装置５やクライアント装置７からの表示出力を示す。

図１０は、本実施形態において、参加者の会議中の発言を会議サーバ装置５に登録する処理を示すフローチャートである。

会議場において、会議責任者は、議長や司会者の役目を果たしているものとする。

ステップ１１０において、会議責任者から発言の許可を得た参加者は、会議場において肉声で発言する。この肉声の発言の音声は、この発言者のクライアント装置７が備える音声入力装置１０において、そのマイクから取り込まれ、Ａ／Ｄ変換されてデジタル化される。発言音声管理処理装置２３は、デジタル化された該音声を逐次保存し、少なくとも１つの発言分は保存する。又可能であれば、デジタル化された該音声は、会議サーバ装置インターフェイス処理装置２７を介して会議サーバ装置５に逐次伝送され、発言音声登録受付処理装置５０に逐次受け取られる。

同時に、ステップ１１０で発言がなされている過程で逐次、ステップ１１１、１１２、１１３の処理がなされていく。ステップ１１１では、音声−テキスト変換処理装置２０は、音声認識辞書ＤＢ２１を用いながら、該発言の音声に対して音声認識処理を行って、該音声の発言内容をテキストデータに変換する。ステップ１１２では、発言者のクライアント装置７の音声−テキスト変換処理装置２０は、該変化によって逐次得られるテキストデータに対して表示処理を行い、ステップ１１３では、該処理によって発言者に対して、該テキストデータに基づく情報が逐次表示される。

音声−テキスト変換処理装置２０において、発言が終了されたと判定されると、発言音声管理処理装置２３は、今回の発言の全体の、Ａ／Ｄ変換された音声データを確定し、該データを発言音声ＤＢ２４に保存する。

又、このように発言が終了されたと判定されると、音声データがクライアント装置７から会議サーバ装置５に、既に逐次伝送されていたのであれば、これを、会議サーバ装置５の発言音声登録受付処理装置５０において、この終了判定の時点で、今回の発言の全体の音声データとして確定し、更に該確定の音声データを該発言音声登録受付処理装置５０から発言音声登録管理処理装置５４へ送る。あるいは、会議サーバ装置５へ発言中に逐次伝送していないのであれば、この終了判定の時点で、上記の発言音声管理処理装置２３の確定音声データを新たに、該発言音声管理処理装置２３から会議サーバ装置５の発言音声登録受付処理装置５０へ送付し、会議サーバ装置５において、該発言音声登録受付処理装置５０から発言音声登録管理処理装置５４に渡す。そして、このようにして発言音声登録管理処理装置５４が獲得した、今回の発言の全体の音声データは、該発言音声登録管理処理装置５４によって発言音声ＤＢ７６に保存する。

又、該発言終了判定時には、音声−テキスト変換処理装置２０は、音声認識処理により逐次変換されて生成されたテキストデータを、今回の発言のものとして確定し、発言テキスト編集・管理処理装置２６の編集登録処理部４２に出力する。すると、該編集登録処理部４２は、会議サーバ装置インターフェイス処理装置２７を介して会議サーバ装置５に対して、「＊仮登録要求＊」として図示される電文を送信する。該電文には、今回の発言として確定した発言全体のテキストデータも、送信データとして含む。

なお、上記の発言終了判定は、発言者からの発言終了の操作入力を、音声入力装置１０などで受け付け、音声−テキスト変換処理装置２０において、この音声入力装置１０からの通知を受けるようにしてもよい。あるいは、発言の音声がない空白時間が所定時間以上、例えば３０秒以上継続した場合に、発言が終了したと判定してもよい。なお、この場合、発言終了判定時に、Ａ／Ｄ変換された、今回の発言の全体の音声データから、尾端の音声なし部分を削除し、これを確定した音声データとするようにしてもよい。

ステップ１１４に示すように、「＊仮登録要求＊」の前述の電文は会議サーバ装置５の発言テキスト登録受付処理装置５１に受け取られ、発言テキスト編集・管理処理装置５６の編集登録処理部６２の処理によって発言テキストＤＢ７３に保存され、仮登録処理がなされる。

ここで、上述のように発言音声ＤＢ７６や発言テキストＤＢ７３に保存される情報は、発言データ・リストＤＢ７０に保存される管理情報や、発言履歴ＤＢ７４に保存される管理情報によって、発言毎の管理されている。これら管理情報によって、個々の発言の開始時刻や終了時刻、発言順序、訂正履歴が保存される。

以上の仮登録の後、ステップ１２０において、発言者は、自らのクライアント装置７の編集登録処理部４２により、今回の発言において音声認識されたテキストデータを表示しながら、音声認識の誤変換を適宜訂正し、又音声認識の誤りがないなどと、該テキストデータが妥当であると発言者が判断した場合、編集登録処理部４２に対して「確認操作」を発言者は入力する。この訂正や確認の作業に際して、発言者は、発言音声ＤＢ２４に保存されている音声を再生して、視聴することも可能である。該視聴の際には、発言データ・リストＤＢ７０に保存されている情報に基づいて、視聴箇所の位置に相当する、発言のテキストデータの位置を判別し、これを発言者に表示する。

「確認操作」が入力されると、編集登録処理部４２は、「＊本登録要求＊」として図示される電文を送信する。該電文には、「確認操作」の対象になった発言のテキストデータも、送信データとして含まれる。

ステップ１２２に示すように、該電文は会議サーバ装置５の発言テキスト登録受付処理装置５１に受け取られ、発言テキスト編集・管理処理装置５６の編集登録処理部６２によって、本登録処理がなされる。又該処理によって、ステップ１２３では、今回の電文のテキストデータが発言テキストＤＢ７３に保存され、本登録処理がなされる。

この本登録の際には、自動要約処理部６５によって自動的に、該テキストデータの要約が作成され、該作成の要約内容のテキストデータは、発言テキストＤＢ７３に保存される。又、該本登録の際に、発言データ・リストＤＢ７０や発言履歴ＤＢ７４には、該本登録処理の該テキストデータや上記要約内容テキストデータに係る管理情報が保存される。

なお、上記の発言の要約作成の際には、自動要約処理部６５において、専門用語辞書ＤＢ８２やキーワードＤＢ８３に保存されている情報が用いられる。例えば、これらデータベースに保存されている語句をキーワードとし、特に、その会議で発生頻度が高い該キーワードが含まれる文を、要約対象の発言のテキストデータから選択しつつ、短縮することで、要約を作成するようにしてもよい。キーワードＤＢ８３には、今回の会議に関係ある過去の会議の議事録に頻出した語句や、その会議におけるその語句の出現頻度に関する情報が格納されている。

ここで、以上のように、会議サーバ装置５において、仮登録されたり、本登録されたりした発言のテキストデータや音声データは、ネットワーク１〜３を介して、発言者以外のクライアント装置７によっても、参照することができ、会議の発言に関する情報が参加者や会議責任者において共有することができる。

なお、本実施形態において、上述のように仮登録された発言の訂正は、基本的には、音声認識の処理の誤りを解消するものであるが、発言の一部表現を、例えば誤解が生じないように訂正することを許してもよい。いずれにしても、発言テキストＤＢ７３や発言履歴ＤＢ７４に保存されている情報を参照することで、各参加者は、自分の発言でも他の参加者の発言でも、上記訂正の前後の、いずれの発言のテキストデータを参照することができる。

なお、このような発言の訂正は、その発言の発言者のみに許可するように、会議サーバ装置５の動作機能を設定することができる。更に、発言の訂正は、会議責任者も許可されるように設定することができる。

次に、図１１は、本実施形態において、会議サーバ装置５に登録されている参加者の会議中の発言を訂正する処理を示すフローチャートである。

本実施形態において、参加者は、会議サーバ装置５に保存されている自らの発言を、そのテキストデータを訂正し、随時訂正することができる。但し、訂正前のテキストデータは削除されず、発言テキストＤＢ７３にそのまま残されている。従って、該訂正の前後、更には複数の訂正の過程での任意の時点の発言のテキストデータを、参加者や会議責任者は参照することができる。訂正前のテキストデータであっても、発言テキストＤＢ７３や発言履歴ＤＢ７４に保存されている訂正履歴情報を利用するなどして、このように参照可能になっている。

なお、本実施形態において、発言の訂正は、その発言の発言者のみに許可するように、会議サーバ装置５の動作機能を設定することができる。又、発言の訂正は、会議責任者も許可されるように設定することができる。

参加者が発言を訂正する場合、ステップ１３０の発言参照処理を、自らのクライアント装置７の発言テキスト編集・管理処理装置２６の発言編集処理部４４において開始させ、ステップ１３１において、該発言編集処理部４４に対して、訂正しようとする発言を参照するための操作入力を行う。該操作入力は、発言の検索入力操作や一覧表示操作や、又訂正対象の発言を選択する入力などである。

これら操作入力により、会議サーバ装置インターフェイス処理装置２７やクライアント装置インターフェイス装置５２を経由して、「＊発言参照要求＊」が発言編集処理部４４から発言編集処理部６４に送られる。すると、ステップ１３２において、発言編集処理部６４は、登録管理処理部６０を介して発言データ・リストＤＢ７０や発言テキストＤＢ７３や発言履歴ＤＢ７４を参照し、該当の発言のテキストデータを「＊発言内容情報＊」として獲得する。又、この「＊発言内容情報＊」は、発言編集処理部６４から発言編集処理部４４に送られる。

この「＊発言内容情報＊」を受けると、ステップ１４０において発言編集処理部４４は、参照された発言のテキストデータの内容を表示する処理を実行する。該実行の結果、ステップ１４１では、該表示が参加者に対してなされる。

この後、発言編集処理部４４では訂正処理が行われ、該処理に対して参加者はステップ１４３で適宜訂正入力を行う。訂正が終了すると、発言編集処理部４４は、訂正内容を含む「＊訂正要求＊」の電文を発言編集処理部６４に対して送付する。該電文を受けると、ステップ１４４において発言編集処理部６４は、訂正処理を開始する。該処理においては、「＊訂正ＤＢ処理＊」で図示されるように、発言編集処理部６４は、ステップ１４５において発言データ・リストＤＢ７０や発言テキストＤＢ７３や発言履歴ＤＢ７４に必要な情報を書き込んだり、更新したりする。

以上のようにして、本実施形態においては、既になされている発言を訂正することができるが、同様の処理によって、補足説明を、個々の発言に付け加えることができる。

なお、補足説明は、いわば別の発言として、後から登録し、この後に該説明対象の元の発言に関係付けの属性を登録することによっても行うことができる。例えば、参加者がテキスト入力装置１２において、補足説明になる発言を入力して登録する。

次に、図１２〜図１４は、本実施形態において、発言と発言とを属性で関係付けする処理を示すフローチャートである。

図１２に示される処理の後に、図１３に示される処理、又該処理の後には図１４に示される処理が行われるものであり、これら図１２〜図１４は、本来は１つのフローチャートであり、作図上の都合で３つの図に分割されたものである。

会議における個々の発言は、相互に関係を持っている。

例えば、ある参加者が何らかの問題提起の発言をまずしたとする。この後の発言には、提起された問題を解決するための対策案を提案するものがある。

又、このような問題提起の発言や提案の発言に対して、討議の必要性を否定したり、提案が実現不可能であると否定したりするなどの、反論の発言もありえる。あるいは、問題提起や提案や反論の発言に対する、傍証となる発言もありえる。

以上のような提案や反論や傍証は、元になる発言に対して関係するものであり、複数の発言間における他の形態の関係もありえる。本実施形態は、発言と発言とを属性で関連付けする処理によって、参加者がこのような発言間の関係を定義できるようにしている。又、該定義の際には、元になる発言の発言者が該定義を承認するようにしており、本実施形態においては、該承認の後に、該関係の定義を登録できるようにしている。該登録は、属性として登録するものである。

図１２において、まずステップ１５０では、クライアント装置７の属性編集処理部４３において、発言参照処理を開始する。以上のような発言の関係付けをしようとする参加者は、ステップ１５１において、関係付ける発言間において、元になる発言を参照する操作入力を属性編集処理部４３に対して行う。すると、「＊発言参照要求＊」が該属性編集処理部４３から、会議サーバ装置インターフェイス処理装置２７やクライアント装置インターフェイス装置５２を経由して、属性編集処理部６３に送られる。ステップ１５２において、属性編集処理部６３は、登録管理処理部６０を介して発言データ・リストＤＢ７０や発言テキストＤＢ７３や発言履歴ＤＢ７４を参照し、該当の発言のテキストデータを「＊発言内容情報＊」として獲得する。又、この「＊発言内容情報＊」は、該属性編集処理部６３から、クライアント装置インターフェイス装置５２や会議サーバ装置インターフェイス処理装置２７を経由して、属性編集処理部４３に送られる。

この「＊発言内容情報＊」を受けると、ステップ１５４において属性編集処理部４３は、参照された発言のテキストデータの内容を表示する処理を実行する。該実行の結果、ステップ１５５では、該表示が参加者に対してなされる。

このようにして、関係付けの、元になる発言が参照された後には、該発言に関係付ける他方の発言を、ステップ１６０〜ステップ１６５の処理によって行う。このステップ１６０〜ステップ１６５の処理は、対象になる発言が異なるだけで、上述のステップ１５１〜ステップ１５５の処理と同様である。

以上のようにして、関係付ける、元になる発言が参照され、又該関係付けの他方の発言が参照されると、次には、図１３のステップ１７０では、クライアント装置７の属性編集処理部４３において、関係属性参照処理を開始する。発言の関係付けをしようとする参加者は、ステップ１７１において、関係付けをしようとする発言間の、現在登録されている関係付けの内容を参照するための操作入力を、属性編集処理部４３に対して行う。すると、「＊関係属性参照要求＊」が該属性編集処理部４３から、会議サーバ装置インターフェイス処理装置２７やクライアント装置インターフェイス装置５２を経由して属性編集処理部６３に送られる。ステップ１７２において、属性編集処理部６３は、登録管理処理部６０を介して、発言データ・リストＤＢ７０や発言テキストＤＢ７３や発言履歴ＤＢ７４を参照しつつ、属性・関係属性ＤＢ７１を参照し、該当の発言間の関係付けの関係属性の登録を「＊関係属性内容情報＊」として獲得する。又、この「＊関係属性内容情報＊」は、該属性編集処理部６３から、クライアント装置インターフェイス装置５２や会議サーバ装置インターフェイス処理装置２７を経由して、属性編集処理部４３に送られる。

この「＊関係属性内容情報＊」を受けると、ステップ１７４において属性編集処理部４３は、参照された発言間の関係の登録内容を表示する処理を実行する。該実行の結果、ステップ１７５では、該表示が参加者に対してなされる。

このように表示された後、続く図１４のステップ１８０では、属性編集処理部４３において、関係登録処理が開始される。該処理において、ステップ１８１では、発言間の関係についての、登録の内容を入力する。すると、「＊関係登録要求＊」が該属性編集処理部４３から、会議サーバ装置インターフェイス処理装置２７やクライアント装置インターフェイス装置５２を経由して属性編集処理部６３に送られる。ステップ１８２において、属性編集処理部６３は関係登録処理によって、関係付ける元になる発言の発言者のクライアント装置７（図１４のクライアント装置Ｂ）の属性編集処理部４３に対して、会議サーバ装置５のクライアント装置インターフェイス装置５２や、クライアント装置７（クライアント装置Ｂ）の会議サーバ装置インターフェイス処理装置２７を介して、「＊関係承認要求＊」を送付する。

ステップ１８３では、該属性編集処理部４３は、その関係承認処理を行う。又、該処理に対して、ステップ１８４では、クライアント装置７（クライアント装置Ｂ）の参加者（関係付けの元になる発言の発言者）は、登録しようとする発言の関係付けを承認するか、否か、いずれかを操作入力する。該操作入力の内容は、「＊関係承認通知＊」として属性編集処理部６３に伝達される。

ここで、関係付けが承認されたのであれば、ステップ１８２で起動されている関係登録処理は、「＊関係登録ＤＢ処理＊」を行い、発言間の関係付けの登録を属性・関係属性ＤＢ７１に対して行う。これによってステップ１８５の属性・関係属性ＤＢ処理が属性・関係属性ＤＢ７１において行われる。又、関係付けが承認された旨、又該関係付けの登録が完了した旨を示す情報を含んだ「＊関係承認通知＊」を、クライアント装置７（クライアント装置Ａ）に対して送付する。

他方、関係付けが否認されたのであれば、発言間の関係付けの登録は行わない。又、関係付けが否認された旨を示す情報を含んだ「＊関係承認通知＊」を、クライアント装置７（クライアント装置Ａ）に対して送付する。

この「＊関係承認通知＊」を受けると、クライアント装置７（クライアント装置Ａ）の属性編集処理部４３は、ステップ１８６の承認内容処理を行って、該「＊関係承認通知＊」の内容を表示する処理を行う。又、ステップ１８７では、該表示がなされる。

なお、以上のような発言間の関係の属性以外にも、個々の発言には属性定義が可能になっており、該定義は属性・関係属性ＤＢ７１に保存される。

又、以上のような属性定義は、該当の発言の発言者や、会議責任者が行うようになっている。又、その発言の発言者以外の者は、会議責任者を除いて、その発言の属性定義ができないように、会議サーバ装置５の動作機能を設定することもできるようになっている。

なお、以上の図１２〜図１４の処理において、発言間の関係の属性の登録は、関係の元になる発言の発言者（クライアント装置Ｂの参加者）の承認を得るようにしている。これを、会議責任者の承認に代えるようにしてもよい。あるいは、元になる発言の発言者の承認と会議責任者の承認とを、共に得てから登録するようにしてもよい。この場合、会議責任者からの承認の入力は、会議サーバ装置５において行うことになる。

次に、図１５及び図１６は、本実施形態において、関係付けの属性も参照しながら発言を検索する処理を示すフローチャートである。

図１５に示される処理の後に、図１６に示される処理が行われるものであり、これらの図は、本来は１つのフローチャートであり、作図上の都合で２つの図に分割されたものである。

前述のように、本実施形態においては、会議における個々の発言間の関係を定義することができる。更に、該定義の内容を、発言を検索する際の、検索キーの検索対象にすることができる。

図１５において、まずステップ２００では、クライアント装置７の発言検索処理部４６において、一覧参照処理を開始する。検索しようとする参加者は、ステップ２０１において、検索に必要な発言一覧表を指定する操作入力を発言検索処理部４６に対して行う。すると、「＊一覧参照要求＊」が該発言検索処理部４６から、会議サーバ装置インターフェイス処理装置２７やクライアント装置インターフェイス装置５２を経由して発言検索処理部６６に送られる。ステップ２０２において、発言検索処理部６６は、登録管理処理部６０を介して発言データ・リストＤＢ７０や発言テキストＤＢ７３や発言履歴ＤＢ７４を参照し、該当の発言の一覧表を表示するためのデータを「＊一覧内容情報＊」として獲得する。又、この「＊一覧内容情報＊」は、該発言検索処理部６６から、クライアント装置インターフェイス装置５２や会議サーバ装置インターフェイス処理装置２７を経由して、発言検索処理部４６に送られる。

この「＊一覧内容情報＊」を受けると、ステップ２１０において発言検索処理部４６は、この「＊一覧内容情報＊」のデータの内容を表示する処理を実行する。該実行の結果、ステップ２１１では、該表示が参加者に対してなされる。

次には、該表示の一覧表にある発言を、発言間の関係の定義の情報に基づいて絞るものとする。つまり、該定義の内容を、発言を検索する際の検索キーの検索対象として、絞込みを行うものとする。

まずステップ２１１では、クライアント装置７の発言検索処理部４６において、検索用情報参照処理を開始する。検索しようとする参加者は、ステップ２１１において、検索用情報を指定する操作入力を発言検索処理部４６に対して行う。すると、「＊検索用情報参照要求＊」が該発言検索処理部４６から、会議サーバ装置インターフェイス処理装置２７やクライアント装置インターフェイス装置５２を経由して発言検索処理部６６に送られる。ステップ２１２において、発言検索処理部６６は、登録管理処理部６０を介して発言データ・リストＤＢ７０や発言テキストＤＢ７３や発言履歴ＤＢ７４を参照しつつ、属性・関係属性ＤＢ７１を参照し、該当の検索用情報のデータを「＊検索用情報＊」として獲得する。又、この「＊検索用情報＊」は、該発言検索処理部６６から、クライアント装置インターフェイス装置５２や会議サーバ装置インターフェイス処理装置２７を経由して、発言検索処理部４６に送られる。

この「＊検索用情報＊」を受けると、図１６のステップ２２０において発言検索処理部４６は、この「＊検索用情報＊」のデータの内容を表示する処理を実行する。該実行の結果、ステップ２２１では、該表示が参加者に対してなされる。

このステップ２２０では、クライアント装置７の発言検索処理部４６において、発言検索理を開始する。検索しようとする参加者は、ステップ２２１において、検索用情報を活用しつつ、発言を検索する操作入力を発言検索処理部４６に対して行う。すると、「＊発言検索要求＊」が該発言検索処理部４６から、会議サーバ装置インターフェイス処理装置２７やクライアント装置インターフェイス装置５２を経由して発言検索処理部６６に送られる。ステップ２２２において、発言検索処理部６６は、登録管理処理部６０を介して発言データ・リストＤＢ７０や発言テキストＤＢ７３や発言履歴ＤＢ７４を参照しつつ検索を行って、該当の発言のデータを「＊発言内容情報＊」として獲得する。又、この「＊発言内容情報＊」は、該発言検索処理部６６から、クライアント装置インターフェイス装置５２や会議サーバ装置インターフェイス処理装置２７を経由して、発言検索処理部４６に送られる。

この「＊発言内容情報＊」を受けると、ステップ２２４において発言検索処理部４６は、この「＊発言内容情報＊」のデータの内容を表示する処理を実行する。該実行の結果、ステップ２２４では、該表示が参加者に対してなされる。

なお、これら図１５及び図１６により説明した検索処理は、会議中において随時参加者から発言がなされている最中にも、リアルタイムで行うことができる。又、このような会議中において、新たな発言がなされたり、属性・関係属性ＤＢ７１に保存される発言間の関係の登録が更新されたりするが、上述の「＊一覧内容情報＊」や「＊検索用情報＊」や「＊発言内容情報＊」は、極力最新のものがクライアント装置７側へと提供されるようになっている。このような最新情報提供は、会議サーバ装置５にある様々なデータベースを参照する際には、他の処理においても同様になされ、参加者は、クライアント装置７から参照することで、会議に係る発言その他の最新の情報を共有することができる。

なお、参加者は、自らの発言を検索するという状況が多くなる。本実施形態においては、そのための専用操作ボタンが画面表示されるなど、該検索がし易いように配慮されている。

次に、図１７及び図１８は、本実施形態において、会議場にはいない外部の参加者の発言の登録処理を示すフローチャートである。

図１５に示される処理の後に、図１６に示される処理が行われるものであり、これらの図は、本来は１つのフローチャートであり、作図上の都合で２つの図に分割されたものである。

会議は、基本的には会議場に出席する参加者のみが発言するものである。しかしながら、出張や、居所が遠地であるなどの理由で、会議場に居合わしていない外部の者でも、どうしても会議の参加者として発言する必要がある場合がある。又、このような外部参加者の人数比率が拡大する場合がある。更には、特定の会議場に居合わせることなく、通信手段を利用することで会議を進行させる場合もありえる。本願発明は、これらの場合についても、会議支援をすることができる。

これらの場合において、会議場にいない外部参加者の発言は、以下に説明するような処理によって、会議サーバ装置５に登録する。そうして、該登録の発言を、外部の者を含めた参加者が閲覧できるようにし、その情報を共有する。

外部参加者も、自身が操作するクライアント装置７によって、会議サーバ装置５に登録されている会議における発言を、会議の議事進行中にもリアルタイムで参照することができる。あるいは、他の参加者や会議責任者から電話の通話の口頭で、議事進行状況が連絡される場合もありえる。

外部参加者は、このようにして把握される議事進行状況に応じて、自身が発言しようとする場合は、ステップ２３０で、自身のクライアント装置７の編集登録処理部４２において、発言登録処理を開始させる。そうして、ステップ２３１において、音声入力装置１０及び音声−テキスト変換処理装置２０を用いて、肉声の発言の音声を音声認識して、今回の発言のテキストデータを生成する。あるいは、該ステップ２３１において、テキスト入力装置１２から今回の発言のテキストデータをキー入力したりする。このようなテキストデータは編集登録処理部４２に入力され、「＊発言登録要求＊」の電文に盛り込まれる。又、この「＊発言登録要求＊」は、会議サーバ装置インターフェイス処理装置２７や発言テキスト登録受付処理装置５１を経由して、ステップ２３２で処理を行っている編集登録処理部６２に送られる。

該電文を受けると、編集登録処理部６２は、ステップ２３３において、会議責任者に対して「外部参加者から発言の要求あり」の旨を表示する。ステップ２３４において、会議責任者が該表示に応じて所定の操作を編集登録処理部６２に対して入力すると、該編集登録処理部６２は、今回の外部参加者の発言の内容を表示する。そして、ステップ２３４において、該発言の仮登録を会議責任者が承認する旨を編集登録処理部６２に対して入力すると、編集登録処理部６２は図示されるように「＊仮登録ＤＢ処理＊」を行って、今回の発言が発言テキストＤＢ７３に登録され、更に、ステップ２３５において発言データ・リストＤＢ７０や発言履歴ＤＢ７４に該登録に係る管理情報が保存される。

この後、以上のように仮登録された発言を、会議の実際の発言とするには、本実施形態においては会議責任者の承認を得るようにしており、まず、ステップ２４１において、編集登録処理部４２における発言許可要求処理を開始させる。そうしてステップ２４１において、外部参加者は、仮登録の発言内容を、会議の発言とする許可を要請する入力操作を、編集登録処理部４２に対して行う。該入力操作があると、編集登録処理部４２は、「＊発言許可要求＊」の電文を編集登録処理部６２に対して送付する。

ステップ２４２において発言許可要求処理により編集登録処理部６２は、該電文を受け、ステップ２４３において会議責任者に対して「外部参加者から発言許可の要求あり」の旨を表示する。ステップ２４４において、会議責任者が該表示に応じて所定の操作により、該発言許可要求を会議責任者が承認する旨を編集登録処理部６２に対して入力すると、編集登録処理部６２は図示されるように「＊許可情報＊」の電文を編集登録処理部４２に送付する。該電文を受けると編集登録処理部４２の発言許可要求処理は、ステップ２４５において、「発言許可要求が会議責任者によって承認された」旨を、外部参加者に対して表示する。

ここで、上述の会議責任者の承認は、承認対象の外部参加者の仮登録されている発言の内容を配慮し、会議責任者が会議の進行状況を観察しながら、適切なタイミングを見計らって行うことができる。

この後、ステップ２５０において、編集登録処理部４２では発言処理が行われる。該承認を目視確認した外部参加者は、ステップ２５１において、「仮登録済みの発言を会議で発言する」旨を操作入力する。該操作入力がなされると、編集登録処理部４２は、「＊発言要求＊」の電文を送信する。ステップ２５２に示すように、該電文は会議サーバ装置５の発言テキスト登録受付処理装置５１に受け取られ、発言テキスト編集・管理処理装置５６の編集登録処理部６２によって、本登録処理がなされ、「＊登録ＤＢ処理＊」がなされる。又該処理によって、ステップ２５３では、今回の発言のテキストデータが本登録の発言として発言テキストＤＢ７３に保存され、本登録処理がなされる。この本登録の際には、自動要約処理部６５によって自動的に、該テキストデータの要約が作成され、該作成の要約内容のテキストデータは、発言テキストＤＢ７３に保存される。又、該本登録の際に、発言データ・リストＤＢ７０や発言履歴ＤＢ７４には、該本登録処理の該テキストデータや上記要約内容テキストデータに係る管理情報が保存される。

なお、外部の参加者の発言に関する、以上の図１７や図１８の説明は、外部参加者の前述の第３例のクライアント装置７を利用することが前提になっている。しかしながら、本実施形態においては、図３の第１例や図４の第２例のクライアント装置７を用いる場合、例えばクライアント装置７として携帯電話機を用いる場合にも、外部参加者が会議場外から発言することができる。

例えばクライアント装置７として携帯電話機を用いる場合は、携帯電話機の送話器から参加者が話す音声を、電話回線網４を介して発言音声登録受付処理装置５０に与えるようにする。又、発言テキスト登録受付処理装置５１が内蔵する音声−テキスト変換処理装置によって、該音声の発言をテキストデータに変換する。又、参加者による諸操作は、電話機のダイヤルボタンを用いたり、会議サーバ装置５が備えるＩＶＲ（Interactive Voice Response）装置を利用して、肉声発音によって行うようにしたりするようになっている。つまり、図１７や図１８において「クライアント装置Ａ」の処理として図示されるものは、会議サーバ装置５における、発言音声登録受付処理装置５０や発言テキスト登録受付処理装置５１や発言テキスト編集・管理処理装置５６において行うようにする。

ここで、図１９は、本実施形態における発言一覧表示画面を示す表示画面図である。又、図２０は、該発言一覧表示画面の表示内容に対して、表示する発言の絞込みをした後の、発言一覧表示画面を示す表示画面図である。

これらの画面図において、角に丸みがある矩形は、個々の発言である。この矩形内において、左端に「……さん」として発言者の氏名が表示されている。又、この発言者氏名に続いて、「：」の右に、「問題提起」、「提案」、「反論」、「傍証」などの、発言間の関係の内容が表示される。更にその右には、発言内容の要約が表示されている。該要約は、自動要約処理部６５により自動的に作成したものである。

そして、上述の発言間の関係は、発言を示す矩形間を結ぶ矢印によって表示され、矢印の方向は、該関係の、元発言から関係付けられた他方の発言への方向になっている。但し、「傍証」の場合は、矢印はこれとは逆方向である。

又、角に丸みがある矩形の発言の表示の外側で、左下近傍には、「06/10 14:11」などと、その矩形の発言の日時が表示される。該日時は、その発言が本登録された日付及び時間である。該日時は、本登録の際に、会議サーバ装置５が内蔵する時計から、デジタル情報として自動的に読み取り、本登録する発言のテキストデータに関連付けて発言データ・リストＤＢ７０に保存されるものである。

なお、会議サーバ装置５の内蔵時計に対して、クライアント装置７が内蔵する時計の日時や時刻に誤差や時差がある場合、参加者の承認操作を介在させて、会議サーバ装置５の日時に、クライアント装置７の内蔵時計の日時を合せることもできるようになっている。

あるいは、このような日時合せをせずに、クライアント装置７において発言の日時を表示する際に、クライアント装置７の内蔵時計の日時に合せるように日時換算処理を行って表示することもできるようになっている。例えば参加者が国外にいる場合に、そのクライアント装置７のある場所の時差の時間に、他の参加者の発言の時刻を換算して表示することができる。

図１９や図２０の表示では、各発言がグラフィカルに表示され、発言時刻や発言時間に従って、各発言が上から下に順に表示されている。又、上記のような発言間の関係に関する、関係内容や矢印の表示は、属性・関係属性ＤＢ７１に保存されている属性関係属性情報に基づいている。

ここで、図２０は、図１９の表示内容から、表示する発言の絞込みをした後であり、図２０は、ＡさんとＤさんの発言のみを表示するように検索条件を設定し、絞込みをした結果の表示である。

次に、本実施形態では、会議サーバ装置５において、発言テキスト編集・管理処理装置５６が備える議事録関係処理部６８は、会議後において、あるいは会議中にもリアルタイムで、議事録を作成することができる。

この議事録には、参加者の発言が網羅され記載されているのに加えて、自動要約処理部６５にて自動作成された発言要約も記載されている。又、発言履歴に関する情報も活用されている。更に、属性・関係属性ＤＢ７１において発言間の関係が属性で定義され登録されている発言で、該関係の元の発言との定義が、多くの発言から定義されている発言を優先的に表示し、該定義が少ない発言は省くようにして作成された、図１９や図２０のようなグラフィカルな図も記載されている。

なお、本実施形態においては、会議責任者は、種々の承認や許可及びその入力など、様々な役割がある。これらの役割は、個別にも、一括にも、時間範囲を指定してでも、取り扱うことができるようになっている。

以上に説明したように、本実施形態によれば、本願発明を効果的に適用することができる。

以上説明したとおり、本発明によれば、議事録の迅速な提供のみならず、会議の議事進行をリアルタイムで支援することで、参加者の判断や発言などを含めた会議の質の向上を図ると共に、会議時間の短縮も可能とし、又議事録についてもその内容を向上することができる。

本願発明に係るクライアント装置及び会議サーバ装置の構成を示すブロック図 本願発明が適用された実施形態の、会議支援システムを含む全体的な構成を示すブロック図 上記実施形態において用いられるクライアント装置の第１例の構成を示すブロック図 前記実施形態において用いられるクライアント装置の第２例の構成を示すブロック図 前記実施形態において用いられるクライアント装置の第３例の構成を示すブロック図 前記実施形態における各装置に用いるハードウェアの構成を示すブロック図 前記実施形態のクライアント装置の一例における構成を示すブロック図 前記クライアント装置が有する、上記の発言テキスト編集・管理処理装置の構成を示すブロック図 前記実施形態の会議サーバ装置の構成を示すブロック図 前記実施形態における参加者の会議中の発言を会議サーバ装置に登録する処理を示すフローチャート 前記実施形態における参加者の会議中の発言を会議サーバ装置に登録する処理を示すフローチャート 前記実施形態における発言と発言とを属性で関係付けする処理を示す第１のフローチャート 上記処理を示す第２のフローチャート 前記処理を示す第３のフローチャート 前記実施形態における関係付けの属性も参照しながら発言を検索する処理を示す第１のフローチャート 上記処理を示す第２のフローチャート 前記実施形態における会議場にはいない外部の参加者の発言の登録処理を示す第１のフローチャート 上記登録処理を示す第２のフローチャート 前記実施形態における発言一覧表示画面を示す表示画面図 上記発言一覧表示画面の表示内容に対して、表示する発言の絞込みをした後の、発言一覧表示画面を示す表示画面図

符号の説明

１〜３…ネットワーク
４…電話回線網
５…会議サーバ装置
７…クライアント装置
９…ルータ装置
１０…音声入力装置
１２…テキスト入力装置
２０…音声−テキスト変換処理装置
２１…音声認識辞書ＤＢ
２２…諸処理装置
２３…発言音声管理処理装置
２４…発言音声ＤＢ
２６…発言テキスト編集・管理処理装置
２７…会議サーバ装置インターフェイス処理装置
３０…参加者ＤＢ
３１…関連ドキュメントＤＢ
３２…専門用語辞書ＤＢ
３３…会議キーワードＤＢ
３４…キーワードＤＢ
４０…登録管理処理部
４２…編集登録処理部
４３…属性編集処理部
４４…発言編集処理部
４６…発言検索処理部
５０…発言音声登録受付処理装置
５１…発言テキスト登録受付処理装置
５２…クライアント装置インターフェイス装置
５４…発言音声登録管理処理装置
５６…発言テキスト編集・管理処理装置
６０…登録管理処理部
６２…編集登録処理部
６３…属性編集処理部
６４…発言編集処理部
６５…自動要約処理部
６６…発言検索処理部
６８…議事録関係処理部
７０…発言データ・リストＤＢ
７１…属性・関係属性ＤＢ
７３…発言テキストＤＢ
７４…発言履歴ＤＢ
７６…発言音声ＤＢ
８０…参加者ＤＢ
８１…関連ドキュメントＤＢ
８２…専門用語辞書ＤＢ
８３…キーワードＤＢ
３０１〜３０３…バス
３１０…ＣＰＵ
３１１…ＲＡＭ
３１２…ＲＯＭ
３１３…ＬＡＮ−Ｉ／Ｆ
３１４…ＭＯＤＥＭ
３２０〜３２２…Ｉ／Ｆ
３３０…画面表示装置
３３１…キーボード
３３２…マウス
３３３…プリンタ装置
３４０…ＨＤＤ装置
３４１…ＣＤ装置
３４２…ＦＤＤ装置

Claims (13)

1. 会議の参加者から会議中にリアルタイムで、テキストデータ又は音声による発言を入力装置で受け付け、
   該音声発言は、発言−テキスト変換処理装置による音声認識処理により、テキストデータに変換し、
   発言テキスト編集・管理処理装置により、発言の前記テキストデータの少なくとも一部を参加者及び会議責任者に、会議中にリアルタイムで表示すると共に、
   参加者又は会議責任者からの訂正又は承認の入力を会議中にリアルタイムで、前記発言テキスト編集・管理処理装置において受け付けるようにしたことを特徴とする会議支援方法。
2. 会議の参加者から会議中にリアルタイムで、音声による発言を入力装置で受け付け、
   該音声発言を、参加者が持参する携帯型コンピュータ装置に設けられ、参加者の音声認識用に適合可能な音声認識辞書を用いる、発言−テキスト変換処理装置による音声認識処理により、テキストデータに変換し、
   該テキストデータの少なくとも一部を、他の参加者が持参する携帯型コンピュータ装置に伝送し、会議中にリアルタイムで表示するようにしたことを特徴とする会議支援方法。
3. 請求項２に記載の会議支援方法において、
   前記表示を参加者又は会議責任者に行いつつ、これらの者からの訂正又は承認の入力を会議中にリアルタイムで、前記発言テキスト編集・管理処理装置において受け付けるようにしたことを特徴とする会議支援方法。
4. 請求項１乃至請求項３のいずれか１つに記載の会議支援方法において、
   発言時刻を内蔵時計から自動的に読み取り、その発言のテキストデータに付加すると共に、
   直接肉声を聴取できない遠隔地に居る参加者に対して、該発言時刻情報を含めて前記表示を行うようにしたことを特徴とする会議支援方法。
5. 請求項４に記載の会議支援方法において、
   参加者側にある装置が内蔵する時計の、誤差や時差に相当する日時補正を自動的に行って、前記表示を行うようにしたことを特徴とする会議支援方法。
6. 請求項１乃至請求項５のいずれか１つに記載の会議支援方法において、
   前記発言テキスト編集・管理処理装置により、参加者又は会議責任者からの複数の発言の前記テキストデータの検索を受け付けて、該検索結果を表示すると共に、これら発言間の相互関係を示す属性関係属性情報の入力を、会議中にリアルタイムで受け付けるようにしたことを特徴とする会議支援方法。
7. 請求項６に記載の会議支援方法において、
   発言時刻を内蔵時計から自動的に読み取り、その発言のテキストデータに付加すると共に、
   該発言時刻及び前記属性関係属性情報に基づいて、前記表示をグラフィカルに行うようにしたことを特徴とする会議支援方法。
8. 請求項６に記載の会議支援方法において、
   前記属性関係属性情報を検索キーの検索対象にした、前記テキストデータを検索する操作入力を受け付け、該検索の結果を表示するようにしたことを特徴とする会議支援方法。
9. 請求項１乃至請求項８のいずれか１つに記載の会議支援方法において、
   前記発言テキスト編集・管理処理装置により、前記音声認識処理によって得られたテキストデータを、まず仮登録し、訂正・確認した後の該テキストデータを、発言として登録するようにしたことを特徴とする会議支援方法。
10. 請求項１乃至請求項９のいずれか１つに記載の会議支援方法において、
    前記音声発言の入力を、携帯電話から受け付けるようにしたことを特徴とする会議支援方法。
11. 会議の参加者から会議中にリアルタイムで、テキストデータ又は音声による発言を受け付ける入力装置と、
    該音声発言を、音声認識処理によりテキストデータに変換する発言−テキスト変換処理装置と、
    会議中にリアルタイムで、発言の前記テキストデータの少なくとも一部を参加者及び会議責任者に表示すると共に、これらの者からの訂正又は承認の入力を受け付ける発言テキスト編集・管理処理装置と、を備えるようにしたことを特徴とする会議サーバ装置。
12. 会議の参加者から会議中にリアルタイムで、音声による発言を受け付ける入力装置と、
    参加者の音声認識用に適合可能な音声認識辞書を用いた音声認識処理を行って、該音声発言を、テキストデータに変換する発言−テキスト変換処理装置と、
    該テキストデータの少なくとも一部をサーバ装置に送信し、又該サーバ装置から同様のテキストデータを受信するインターフェイス処理装置と、を、
    携帯型コンピュータ装置のハードウェアに構成したことを特徴とする会議支援用のクライアントＰＣ装置。
13. 請求項１〜請求項１０のいずれか１つに記載の会議支援方法、又は請求項１１に記載の会議サーバ装置、又は請求項１２に記載の会議支援用のクライアントＰＣ装置を実施するためのコンピュータ・プログラム。

Images