JP2011043716A - 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】共有の画像上に、会議における発言者の音声を文字列化したものを自由に配置させることなどができ、会議参加者による会議のメモ作成を効果的に補助することができる情報処理装置、該情報処理装置を複数含む会議システム、情報処理方法及びコンピュータプログラムを提供する。
【解決手段】発言者が用いるＡ端末装置１にて、マイク１１７で音声を入力して音声認識処理及び形態素解析を行ない、解析の結果得られる文字列を所定の条件にて抽出し、会議サーバ装置３を介して他の端末装置１，１，…へ送信する。他の端末装置１，１，…では、受信した抽出された文字列を表示し、選択可能とする。選択された文字列は、共有ドキュメントデータの画像上に重畳して表示される。
【選択図】図８

Description

本発明は、ネットワークを介して接続される複数の情報処理装置間で、音声、映像及び画像を共有し、遠隔にあってもユーザ間での会議を実現できる会議システムに関する。特に、ユーザによる会議のメモ作成を効果的に補助することができる情報処理装置、該情報処理装置を複数含む会議システム、情報処理方法及びコンピュータプログラムに関する。

通信技術、画像処理技術等の進歩により、コンピュータを用い、遠隔地にいてもネットワークを介して会議ができるテレビ会議システムが実現されている。テレビ会議システムでは、複数の端末装置で夫々、共通する文書データなどを閲覧可能とし、文書データへの編集、追記工程も共有することが可能である。

会議参加者は会議中、大抵の場合、会議の内容のメモを各自作成する。議事録作成者に選ばれた人物は、全ての発言者の発言のメモを取る。このとき、発言は複数の人間から発せられ、且つ共通に閲覧している資料などを参照しながら会議が行なわれているから、聞き逃しが起きたり、資料との参照を追えなくなるなど、メモ作成の作業は負担が大きい場合がある。

特許文献１には、電子会議システムにて使用される端末装置に関し、重要データを予め蓄積しておき、会議参加者からの発言内容、又は会議参加者のランクを、蓄積してある重要データと比較し、発言内容又はランクに応じて、当該発言内容又は会議参加者の情報を会議参加者が共有可能な情報が表示される共有ウィンドウに表示する際に、表示形態を変更する発明が開示されている。例えば、発言内容が重要データに関するものである場合には、太文字化、文字色の変更、下線追加、マーキング追加などの強調表示がされる。

また、特許文献２には、音声認識技術を利用し、入力音声を形態素解析して文字列として求め、表示部に複数の候補を出力して選択可能とする発明が開示されている。当該発明を電子会議システムに適用することにより、発言者の音声入力を文字列化して、メモに用いることは可能である。

特開２００２−２９０９３９号公報 特開２００８−２０９７１７号公報

特許文献１に開示されている発明により、重要な情報に関する発言内容（音声ではない）などが共有画面で強調表示されることで、メモすべきポイントを把握しやすくなるので、会議のメモ作成の補助はある程度可能である。しかしながら、共有画面上で強調表示されるとしても、入力される音声などは、メモとして残されるわけではない。

特許文献２に開示されている発明により、発言者の音声が文字列化されるから、会議のメモの補助はある程度可能である。しかしながら、会議システムのような、文字列化する音声の内容が、他の情報例えば画像の内容を参照したものである場合のことは考慮されていない。

ネットワークを介した電子会議システムでは、各会議参加者の発言は、共有される資料の画像又は映像などを参照するものである。したがって、発言を文字列化することができるのみならず、参照される画像との関係を視覚的に把握できるような効果的なメモを、軽い作業負荷で作成することができることが望ましい。

本発明は斯かる事情に鑑みてなされたものであり、会議参加者が、自身が用いる情報処理装置にて共有の画像上に、会議における発言者の音声を文字列化したものを自由に配置させることなどができ、会議参加者による会議のメモ作成を効果的に補助することができる情報処理装置、該情報処理装置を複数含む会議システム、情報処理方法及びコンピュータプログラムを提供することを目的とする。

本発明に係る情報処理装置は、通信手段により画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させる情報処理装置において、前記画像情報に関連する音声データを取得して文字列に変換する手段と、変換後の文字列を形態素解析する手段と、該手段により解析した結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出する手段と、該手段が抽出した文字列を前記表示部に表示させる手段と、表示された文字列の内のいずれか１つ又は複数の選択を受け付ける選択手段と、前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示させる手段とを備えることを特徴とする。

本発明に係る情報処理装置は、通信手段により画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させる情報処理装置において、前記画像情報に関連する音声データに基づく複数の文字列を受信し、受信した複数の文字列を前記表示部に表示させる手段と、表示させた複数の文字列の内のいずれか１つ又は複数の選択を受け付ける選択手段と、前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示させる手段とを備えることを特徴とする。

本発明に係る情報処理装置は、前記選択手段が受け付けた選択された文字列の前記画像情報に基づく画像上の位置の変更を受け付ける手段を備えることを特徴とする。

本発明に係る情報処理装置は、前記選択手段が受け付けた選択された文字列の編集を受け付ける手段を更に備えることを特徴とする。

本発明に係る情報処理装置は、前記選択手段が受け付けた選択された文字列の書式の変更を受け付ける手段を更に備えることを特徴とする。

本発明に係る情報処理装置は、任意の複数の語を予め記憶しておく手段と、前記表示部に表示されている文字列に関連する語を前記複数の語から抽出する手段と、抽出した語を前記表示部に表示させる手段とを備えることを特徴とする。

本発明に係る情報処理装置は、前記予め設定された条件は、品詞の種類、又は品詞の種類の組み合わせであることを特徴とする。

本発明に係る情報処理装置は、任意の文字列又は画像の入力を受け付ける手段と、入力された文字列又は画像の位置の変更を受け付ける手段とを備え、入力された文字列又は画像を、前記位置に基づき表示させるようにしてあることを特徴とする。

本発明に係る会議システムは、画像情報を記憶するサーバ装置と、該サーバ装置と通信可能であり表示部を備える複数の情報処理装置とを含み、該複数の情報処理装置は前記サーバ装置から画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させ、複数の情報処理装置間で共通の画像を表示させるようにして情報を共有させ、会議を実現させる会議システムにおいて、前記サーバ装置、又は前記複数の情報処理装置の内の少なくとも１つの装置は、音声を入力する手段と、該手段が入力した音声を文字列に変換する変換手段とを備え、前記サーバ装置、又は前記複数の情報処理装置の内の任意の装置は、前記変換手段による変換後の文字列を形態素解析する手段と、該手段により解析した結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出する抽出手段と、該抽出手段が抽出した文字列を前記サーバ装置へ送信する手段とを備え、前記サーバ装置は、前記抽出手段により抽出された文字列を前記複数の情報処理装置の内のいずれか１つ又は複数へ送信する手段を備え、前記情報処理装置は、前記サーバ装置から受信した文字列を、前記表示部に表示させる手段と、表示された複数の文字列の内のいずれか１つ又は複数の選択を受け付ける手段と、前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示させる手段とを備えることを特徴とする。

本発明に係る情報処理方法は、通信手段及び表示部を備える情報処理装置で、受信した画像情報に基づく画像を前記表示部に表示させる情報処理方法において、前記画像情報に関連する音声データを取得して文字列に変換し、変換後の文字列を形態素解析し、解析した結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出し、抽出された文字列を前記表示部に表示し、表示された文字列の内のいずれか１つ又は複数の選択を受け付け、前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示することを特徴とする。

本発明に係る情報処理方法は、画像情報を記憶するサーバ装置と、該サーバ装置と通信可能であり表示部を備える複数の情報処理装置とを含むシステムで、前記複数の情報処理装置は前記サーバ装置から画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させ、複数の情報処理装置間で共通の画像を表示させて情報を共有する情報処理方法において、前記サーバ装置、又は前記複数の情報処理装置の内の少なくとも１つの装置が、表示中の画像に対応する音声を入力し、入力した音声を文字列に変換し、前記サーバ装置、又は前記複数の情報処理装置の内の任意の装置が、前記少なくとも１つの装置で変換された文字列を形態素解析し、形態素解析した結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出し、抽出した文字列を前記サーバ装置へ送信するか、又は自身で記憶しておき、前記サーバ装置は、抽出された文字列を前記複数の情報処理装置の内のいずれか１つ又は複数へ送信し、抽出された文字列を受信した情報処理装置が、受信した文字列を、前記表示部に表示し、表示された複数の文字列の内のいずれか１つ又は複数の選択を受け付け、前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示することを特徴とする。

本発明に係るコンピュータプログラムは、通信手段、及び表示部に接続する手段を備えるコンピュータに、受信した画像情報に基づく画像を前記表示部で表示させるコンピュータプログラムにおいて、コンピュータに、前記画像情報に関連する音声データを取得して文字列に変換するステップ、変換後の文字列を形態素解析するステップ、形態素解析の結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出するステップ、抽出された文字列を前記表示部に表示させるステップ、表示された文字列の内のいずれか１つ又は複数の選択を受け付けるステップ、及び、前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示するステップを実行させることを特徴とする。

本発明では、外部装置（サーバ装置）から受信する画像情報に関連する音声データが取得されて文字列に変換され、変換された文字列が形態素解析される。形態素解析された結果得られる文字列の内、予め設定された条件を満たす文字列が抽出され、抽出された文字列は、受信した画像情報に基づく画像と共に表示部に表示される。なお、抽出された文字列は、他の装置（サーバ装置又はサーバ装置を経由して他の情報処理装置）へ送信されてもよい。そして、抽出された文字列の内の１つ又は複数の選択が受け付けられる。選択された１つ又は複数の文字列は、画像情報に基づく画像上に表示される。
これにより、画像に関連する音声を変換した文字列の内、設定された条件を満たす文字列が選択可能に表示部に表示され、画像上に表示できる。条件の設定を任意に可能とすることにより、ユーザの意向を反映した文字列が抽出される。
なお、音声データからの文字列変換、形態素解析、及び文字列の抽出と、抽出された文字列の画像上への表示とは、同一の情報処理装置内で実施されてもよいし、異なる装置で夫々実施されてもよいし。抽出された文字列を、サーバ装置から複数のユーザが夫々用いる情報処理装置へ送信し、各情報処理装置にて夫々、ユーザによって任意に選択された文字列が表示されてもよい。

本発明では、外部装置（サーバ装置）から受信した画像情報に基づく画像が表示部にて表示されると共に、外部装置（サーバ装置又は他の情報処理装置）にて音声データから変換、抽出された複数の文字列が受信され、前記画像と共に表示され、選択が受け付けられる。選択された１つ又は複数の文字列は、外部装置から受信した画像情報に基づく画像上に表示される。
外部装置から受信する文字列の変換元が、外部装置から送信される画像情報に関連する音声データであれば、前記画像情報に基づく画像に関連する文字列が表示されてユーザにより選択可能であり、更に、選択された文字列は、前記画像上に表示される。
これにより、画像に関連する音声内容を視覚的に画像と共に把握させることができる。更に、手書きでメモを取らずとも、音声が文字列化したものが選択可能となる。

本発明では、選択された１つ又は複数の文字列が、受信した画像情報に基づく画像上に描画されるに際し、当該画面における位置の選択も自由に受け付けられる。例えば文書は、複数の画像又は文字を含むが、当該文書が表示されている場合、本発明ではそれらの画像又は文字のいずれに関する文字列であるのかを、前記画像情報に基づく画像との関連を視覚的に把握できるように画像上の位置を選択することが可能である。

本発明では、選択された１つ又は複数の文字列の編集が受け付けられる。これにより、文字列の追加、又は削除などが可能となる。

本発明では、選択された１つ又は複数の文字列の書式の変更が受け付けられる。これにより、文字列の文字の大きさの変更、フォントの変更、文字色の変更などが可能となる。

本発明では、予め任意の複数の語が記憶されており、表示部に表示されている文字列に表示されている語と関連する語が抽出され、表示部に更に表示される。これにより、音声データの形態素解析後、抽出された文字列と関連する語、又は既に選択された文字列と関連する語をも含め、表示させる文字列候補として選択を受け付けることが可能となる。音声データ自体に含まれる語以外の語をもメモに利用できる。

本発明では、文字列抽出のために予め設定された条件は、名詞、動詞、形容詞若しくは形容動詞などの品詞の種類、又はそれらの品詞の種類の組み合わせである。これにより、音声データから変換される文字列から、助詞、接続詞などの語を除外することができ、選択の対象を絞りこむことが可能である。また、特定の名詞のみなどと設定することにより、特定の条件の文字列のみ抽出されるようにすることも可能である。

本発明では、表示部に表示されている抽出された文字列から選択された文字列、又は該文字列の編集後若しくは書式変更後の文字列に加え、ユーザにより入力される任意の文字列又は画像をも表示される。選択された文字列に加え、任意の情報を表示させることも可能である。

本発明による場合、情報処理装置にて、表示させる画像に関連する音声内容を視覚的に前記画像と共に把握させることができる。ユーザは、手書きでメモを取らずとも、音声が文字列化したものを選択できる。任意の発言者の発声の聞き取りと手書きのメモ書きとの両方の作業には、労力が必要であるが、表示される画像と共に、当該画像に関連する音声の内容を示す文字列の候補が選択可能に表示されるから、手書きの作業の負担が軽減する。文字列を、受信した画像情報に基づく画像上に表示させることができる。

本発明に係る情報処理装置を、コンピュータを用いた会議システムに利用しているにも拘わらず、手書きのメモを紙媒体にとるなどの負担の重い作業をなくし、視覚的に効果的なメモの作成を補助することができる。ユーザは、本発明の情報処理装置を利用することにより、効果的なメモの作成を負担なく行なうことができる。

また、本発明による場合、表示させる画像に関連する音声を変換した文字列の内、任意に設定された条件により、ユーザの意向を反映した文字列を抽出させ、選択可能とさせることができる。ユーザは、効率的且つ効果的なメモの作成を負担なく行なうことができる。

本発明による場合は更に、表示させる画像に関連する音声に基づき抽出される文字列を、画像が含む複数の画像又は文字などのいずれの部分に関連するのかを、視覚的に把握できるように配置できる。単に音声を文字列に変換してメモの作成を補助するのみならず、視覚的に音声（会議内容）の内容を把握できるような効果的なメモを作成することができる。指示語などの音声が、共有して表示される画像に含まれる画像又は文字の内のいずれを示すのかなどを視覚的に把握できるようなメモを作成することも可能である。

本発明による場合は更に、表示された文字列の内から選択された文字列を更に編集可能である。したがって、音声データから文字列への変換時の誤りなどの修正も可能であるし、音声として存在していない内容の補足、追記などが可能である。会議システムに適用することにより、メモ作成の負担を軽減し、会議のメモ作成を効果的に補助することができる。

本発明による場合は更に、表示された文字列の内から選択された文字列の書式を変更可能である。したがって、重要な情報に関しては、文字列の文字の大きさの変更、フォントの変更、文字色の変更などによって強調表示させたメモを作成することができ、会議システムに適用することにより、メモ作成の負担を軽減し、会議のメモ作成を効果的に補助することができる。

本発明による場合は更に、文字列の変換元の音声データに含まれていなかった語以外の関連する語をもメモに利用でき、ユーザは、自身の意向を柔軟に反映させてメモの作成作業を負担なく行なうことができる。

本発明による場合は更に、抽出される文字列、即ち表示させる文字列の選択の対象を、名詞のみなど、特定の条件の文字列のみ抽出されるように、ユーザの意向を反映させて絞り込むことが可能である。ユーザは、自身の意向を反映させてメモの作成作業を負担なく行なうことができる。

本発明による場合は更に、ユーザは、音声データから変換された文字列の補助を受けつつも、誤認識を修正するなどメモの修正を適宜することもでき、更に、ユーザ自身の意見、又は枠囲み若しくは下線などの強調表示などの追記など効果的なメモの作成作業を負担なく行なうことができる。

実施の形態１における会議システムの構成を模式的に示す構成図である。 実施の形態１における会議システムを構成する端末装置の内部構成を示すブロック図である。 実施の形態１の会議システムを構成する会議サーバ装置の内部構成を示すブロック図である。 実施の形態１の会議システムの端末装置間でドキュメントデータが共有される仕組みを模式的に示す説明図である。 会議参加者が用いる端末装置のディスプレイに表示される会議端末用アプリケーションのメイン画面の一例を示す説明図である。 実施の形態１の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる処理手順の一例を示すフローチャートである。 実施の形態１の会議システムを構成する端末装置の制御部によって実行される形態素解析によって得られた文字列から、条件を満たすものを抽出する処理を示すフローチャートである。 図６及び図７に示された処理手順の具体例を模式的に示す説明図である。 図６及び図７に示された処理手順の具体例を模式的に示す説明図である。 実施の形態２における会議システムを構成する端末装置の内部構成を示すブロック図である。 実施の形態２の会議システムを構成する会議サーバ装置の内部構成を示すブロック図である。 実施の形態２の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる処理手順の一例を示すフローチャートである。

以下本発明をその実施の形態を示す図面に基づき具体的に説明する。

なお、以下の実施の形態では、本発明の情報処理装置を端末装置に用い、複数の端末装置を用いて音声、映像及び画像の共有を実現する会議システムの例を挙げて説明する。

（実施の形態１）
図１は、実施の形態１における会議システムの構成を模式的に示す構成図である。実施の形態１における会議システムは、会議参加者が用いる端末装置１，１，…と、端末装置１，１，…が接続されるネットワーク２と、端末装置１，１，…での音声、映像及び画像の共有を実現する会議サーバ装置３とを含んで構成される。

端末装置１，１，…及び会議サーバ装置３が接続されるネットワーク２は、会議が行なわれる会社組織の社内ＬＡＮでもよいし、インターネットなどの公衆通信網でもよい。端末装置１，１，…が会議サーバ装置３との接続の認証を受け、認証された端末装置１，１，…が会議サーバ装置３から共有の音声、映像及び画像の情報を送受信し、受信した音声、映像及び画像を出力することにより、他の端末装置１，…と音声、映像及び画像を共有してネットワークを介した会議を実現する。

図２は、実施の形態１における会議システムを構成する端末装置１の内部構成を示すブロック図である。

会議システムを構成する端末装置１はタッチパネルを搭載したパーソナルコンピュータ、若しくは会議システム専用端末を用い、制御部１００と、一時記憶部１０１と、記憶部１０２と、入力処理部１０３と、表示処理部１０４と、通信処理部１０５と、映像処理部１０６と、入力音声処理部１０７と、出力音声処理部１０８と、読取部１０９と、音声認識処理部１７１と、形態素解析部１７２とを備える。端末装置１は更に、キーボード１１２と、タブレット１１３と、ディスプレイ１１４と、ネットワークＩ／Ｆ部１１５と、カメラ１１６と、マイク１１７と、スピーカ１１８とを内蔵又は外部接続により備える。

制御部１００は、ＣＰＵ（Central Processing Unit）を用い、記憶部１０２に記憶されている会議端末用プログラム１Ｐを一時記憶部１０１に読み出して実行することにより、タッチパネルを搭載したパーソナルコンピュータ、若しくは会議システム専用端末を、本発明に係る情報処理装置として動作させる。

一時記憶部１０１にはＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などのＲＡＭを用いる。一時記憶部１０１には、上述のように読み出される会議端末用プログラム１Ｐが記憶されると共に、制御部１００の処理によって発生する情報が記憶される。

記憶部１０２はハードディスク、若しくはＳＳＤ（Solid State Drive）などの外部装置を用いる。記憶部１０２には、会議端末用プログラム１Ｐが記憶されている。他に、端末装置１における他のアプリケーションソフトウェアプログラムが記憶されていてもよいのは勿論である。

入力処理部１０３には、図示しないマウス、又はキーボード１１２などの入力用ユーザインタフェースが接続されている。実施の形態１では、端末装置１はペン１３０による入力を受け付けるタブレット１１３をディスプレイ１１４上に内蔵する。ディスプレイ１１４のタブレット１１３も入力処理部１０３に接続される。入力処理部１０３は、端末装置１上のユーザ（会議参加者）の操作により入力されるボタンの押下情報、画面中の位置を示す座標情報などの情報を受け付け、制御部１００へ通知する。

表示処理部１０４には、液晶ディスプレイなどを用いるタッチパネル型ディスプレイ１１４が接続されている。制御部１００は、表示処理部１０４を介し、ディスプレイ１１４に会議端末用のアプリケーション画面を出力し、アプリケーション画面内に共有させる画像を表示させる。

通信処理部１０５は、ネットワークカードなどを用い、端末装置１のネットワーク２を介した通信を実現させる。詳細には、ネットワーク２に接続されてネットワークＩ／Ｆ部１１５と接続されており、ネットワーク２を介して送受信される情報のパケット化、パケットからの情報の読み取りなどを行なう。なお、本実施の形態１の会議システムを実現するために、通信処理部１０５による画像、音声を送受信するための通信プロトコルは、Ｈ．３２３、ＳＩＰ（Session Initiation Protocol）、又はＨＴＴＰ（Hypertext Transfer Protocol ）などのプロトコルを用いればよい。通信プロトコルはこれらに限られない。

映像処理部１０６は、端末装置１が備えるカメラ１１６に接続され、カメラ１１６の動作の制御を行なうと共に、カメラ１１６にて撮像された映像（画像）のデータを取得する。映像処理部１０６は、エンコーダを含んでいてもよく、カメラ１１６にて撮像された映像をＨ．２６４、ＭＰＥＧ（Moving Picture Experts Group）などの映像規格のデータへ変換する処理を行なってもよい。

入力音声処理部１０７は、端末装置１が備えるマイク１１７に接続され、マイク１１７によって集音された音声をサンプリングしてデジタルの音声データへ変換して制御部１００へ出力するＡ／Ｄ変換機能を有する。エコーキャンセラを内蔵していてもよい。

出力音声処理部１０８は、端末装置１が備えるスピーカ１１８に接続される。出力音声処理部１０８は、制御部１００から音声データが与えられた場合に、音声としてスピーカ１１８から出力させるようにＤ／Ａ変換機能を有する。

読取部１０９は、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク又はフレキシブルディスクなどである記録媒体９から情報を読み取ることが可能である。制御部１００は、読取部１０９により記録媒体９に記録されているデータを一時記憶部１０１に記憶するか、又は記憶部１０２に記録する。記録媒体９には、コンピュータを本発明に係る情報処理装置として動作させる会議端末用プログラム９Ｐが記録されている。記憶部１０２に記録されている会議端末用プログラム１Ｐは、記録媒体９から制御部１００が読み出した会議端末用プログラム９Ｐの複製であってもよい。

音声認識処理部１７１は、音声と文字列との間の対応のための辞書を備えており、音声データを与えられた場合に文字列に変換して出力する音声認識処理を行なう。制御部１００は、入力音声処理部１０７によって得られたデジタルの音声データを一定の単位で音声認識処理部１７１へ与え、音声認識処理部１７１から出力される文字列を取得する。

形態素解析部１７２は、文字列を与えられた場合に形態素解析を行ない、与えられた文字列を形態素に分別して出力すると共に、いくつの形態素からなるのか、各形態素の品詞は何であるかを示す情報などを出力する。制御部１００は、音声認識処理部１７１から取得した文字列を形態素解析部１７２へ与えることにより、入力音声処理部１０７で得られた音声データを文章化することができる。例えば、制御部１００は、音声認識処理部１７１により「ココガジュウヨウデス。」という文字列を取得した場合、形態素解析部１７２により、「ココ（名詞）／ガ（助詞・格）／ジュウヨウ（重要）（名詞）／デス（判定詞）／。（句点）」のように形態素に分別された文字列を得ることができる。

図３は、実施の形態１の会議システムを構成する会議サーバ装置３の内部構成を示すブロック図である。

会議サーバ装置３は、サーバコンピュータを用い、制御部３０と、一時記憶部３１と、記憶部３２と、画像処理部３３と、通信処理部３４とを備え、更に、ネットワークＩ／Ｆ部３５を内蔵する。

制御部３０は、ＣＰＵを用い、記憶部３２に記憶されている会議サーバ用プログラム３Ｐを一時記憶部３１に読み出して実行することにより、サーバコンピュータを、本実施の形態１における会議用会議サーバ装置３として動作させる。

一時記憶部３１にはＳＲＡＭ、ＤＲＡＭなどのＲＡＭを用いて、上述のように読み出される会議サーバ用プログラム３Ｐが記憶されると共に、制御部３０の処理によって、後述するような画像情報などが一時的に記憶される。

記憶部３２にはハードディスク、若しくはＳＳＤなどの外部記憶装置を用いる。記憶部３２には、上述の会議サーバ用プログラム３Ｐが記憶されている。また、記憶部３２には、会議参加者が用いる端末装置１，１，…の認証を行なうための認証データが記憶されている。更に、会議システムで各端末装置１，１，…で共有の資料を表示できるようにするため、会議サーバ装置３の記憶部３２には、複数のドキュメントデータが共有ドキュメントデータ３６として記憶されている。ドキュメントデータは、テキストデータ、写真データ、図データなどであり、フォーマットなどは問わない。

画像処理部３３は、制御部３０からの指示に従って画像を作成する。具体的には、画像処理部３３は、記憶部３２に記憶してある共有ドキュメントデータ３６の内、各端末装置１，１，…にて表示対象となるドキュメントデータを受け付け、該ドキュメントデータを画像に変換して出力する。

通信処理部３４は、ネットワークカードなどを用い、会議サーバ装置３のネットワーク２を介した通信を実現させる。詳細には、ネットワーク２に接続されてネットワークＩ／Ｆ部３５と接続されており、ネットワーク２を介して送受信される情報のパケット化、パケットからの情報の読み取りなどを行なう。なお、本実施の形態１の会議システムを実現するために、通信処理部３４による画像、音声を送受信するための通信プロトコルは、Ｈ．３２３、ＳＩＰ、又はＨＴＴＰなどのプロトコルを用いる。通信プロトコルはこれらに限られない。

このように構成される本実施の形態１における会議システムを用いた電子会議に参加する会議参加者は、端末装置１を用い、キーボード１１２又はタブレット１１３（即ちペン１３０）を用いて会議端末用アプリケーションを起動させる。会議端末用アプリケーションが起動すると、認証情報の入力画面がディスプレイ１１４に表示される。会議参加者は、入力画面に、ユーザＩＤ及びパスワードなどの認証情報を入力する。端末装置１では、認証情報の入力を入力処理部１０３にて受け付け、制御部１００に通知する。制御部１００は、受け付けた認証情報を通信処理部１０５により会議サーバ装置３へ送信し、認証結果を受信する。このとき、認証情報と共に、端末装置１に割り振られているＩＰアドレスの情報が会議サーバ装置３へ送信されるようにしてある。これにより、以後、会議サーバ装置３は、ＩＰアドレスにて各端末装置１，１，…を識別することが可能である。

端末装置１を利用する会議参加者が、承認されている者である場合、端末装置１は会議端末用アプリケーション画面を表示し、会議参加者は会議用端末として端末装置１を利用することができるようになる。このとき、承認結果が未承認である場合、即ち会議に招待されていない人物である場合には、端末装置１から未承認である旨のメッセージがディスプレイ１１４に表示されるなどしてもよい。

ここで、端末装置１，１，…間でドキュメントデータが共有されて会議が実現される仕組みを模式的に示す図を用いて説明する。図４は、実施の形態１の会議システムの端末装置間でドキュメントデータが共有される仕組みを模式的に示す説明図である。

会議サーバ装置３の記憶部３２には、共有ドキュメントデータ３６が記憶されている。共有ドキュメントデータ３６の内、会議で使用される共有ドキュメントデータ３６が画像処理部３３によって頁毎に画像（イメージ）に変換される。画像処理部３３によって頁毎に画像へ変換されたドキュメントデータは、ネットワーク２を介して端末装置１，１で受信される。なお、以下、２つの端末装置を区別するために、一方をＡ端末装置１、他方をＢ端末装置１と呼ぶ。

Ａ端末装置１もＢ端末装置１も、会議サーバ装置３から共有するドキュメントデータの頁毎の画像を受信し、ディスプレイ１１４に表示させるべく表示処理部１０４から出力する。このとき、表示処理部１０４は、共有するドキュメントデータの各頁の画像を、表示する画面における最下層のレイヤに属するようにして描画する。

そして、Ａ端末装置１及びＢ端末装置１のいずれでも、タブレット１１３へのペン１３０によるメモの書き込みが可能である。制御部１００は、入力処理部１０３を介してペン１３０からの入力に応じて画像を作成する。各Ａ端末装置１，Ｂ端末装置１で作成された画像は、表示する画面において上層のレイヤに属するように描画される。

これにより、図４の最下部に示されるように、Ａ端末装置１及びＢ端末装置１のいずれでも、共有するドキュメントデータの画像の上にＡ端末装置１又はＢ端末装置１自身のタブレット１１３にて書き込まれた画像が表示される。

このようにして、各端末装置１，１，…にてドキュメントデータの画像を共有し、当該画像の上に、自身で作成された画像が表示される。したがって、各端末装置１，１，…を用いる会議参加者は、同じドキュメントデータを閲覧し、自身のメモを書き込むことができる。このとき、各端末装置１，１，…でマイク１１７により集音された音声データも、会議サーバ装置３へ送信され会議サーバ装置３で重ねられて各端末装置１，１，…へ送信され、各端末装置１，１，…にてスピーカ１１８から出力される。これにより、資料及び音声を共有する電子会議を実現できる。

このとき、Ａ端末装置１を使用する会議参加者が会議の議事録担当者であり、会議の発言者の発言内容をタブレット１１３、キーボード１１２等を用いてメモをする場合を考える。タブレット１１３とペン１３０を用いて手書きでメモを書き込む場合、発言者の話す速さに、書き込みが間に合わないときがある。議事録担当者は、メモを取る作業のみに追われ、負担が大きくなる。

そこで、本実施の形態１では、各端末装置１，１，…の主に制御部１００、一時記憶部１０１、記憶部１０２、入力処理部１０３、表示処理部１０４、通信処理部１０５、入力音声処理部１０７、音声認識処理部１７１、及び形態素解析部１７２の処理により、端末装置１，１，…を用いて、発言のメモと画像との関連を視覚的に把握させることができる有用なメモの作成を補助するための構成について説明する。

会議参加者が上述のように、会議端末用アプリケーションを起動させると、端末装置１の制御部１００は、記憶部１０２に記憶されている会議端末用プログラム１Ｐを読み出して実行し、まず入力画面が表示される。入力画面に入力される認証情報により、会議参加者が承認された場合、制御部１００は、メイン画面４００を表示させ、会議参加者は端末装置１を会議用端末として利用を開始できるようになる。図５は、会議参加者が用いる端末装置１のディスプレイ１１４に表示される会議端末用アプリケーションのメイン画面４００の一例を示す説明図である。

会議端末用アプリケーションのメイン画面４００は、一例として画面の大部分に共有対象のドキュメントデータの画像を表示する共有画面４０１を含む。図５に示す例では、共有画面４０１には、共有されているドキュメントデータのドキュメント画像４０２の全体が表示されるように表示されている。

共有画面４０１の高さ方向に略中央の左端の位置には、ドキュメントデータの前頁への移動を指示するための前頁ボタン４０３が表示されている。同様に、共有画面４０１の高さ方向に略中央の右端の位置には、ドキュメントデータの後頁（次頁）への移動を指示するための後頁ボタン４０４が表示されている。

端末装置１を用いる会議参加者が、ペン１３０又はマウスなどを用い、ディスプレイ１１４上のポインタを前頁ボタン４０３又は後頁ボタン４０４に重ねてクリック操作をした場合には、表示されているドキュメントデータの前頁又は後頁の画像が共有画面４０１に表示される。

メイン画面４００の内、共有画面４０１の右方には、後述するように、音声認識処理部１７１による処理、及び形態素解析部１７２による解析の結果得られる文字列の内、抽出された文字列が表示される文字列選択画面４０５が含まれる。文字列選択画面４０５では、表示する文字列の各別の選択を受け付ける。選択された文字列は、複製されて、共有画面４０１上の任意の位置に表示可能である。具体的には、会議参加者が文字列選択画面４０５に表示されている文字列の内の所望の文字列の上にポインタを重ねてクリックすると、文字列の複製が作成され、マウス又はペン１３０のクリックボタンが押されたままドラッグ操作がされるとポインタの位置に追随して選択された文字列が表示される。クリックボタンが離されると、その時点のポインタの位置に文字列がドロップされて表示される。

また、メイン画面４００の右端には、描画の際の道具を選択するための各種操作ボタンが表示されている。各種操作ボタンには、ペンボタン４０６、図形ボタン４０７、選択ボタン４０８、ズームボタン４０９、及び同期／非同期ボタン４１０が含まれる。

ペンボタン４０６は、ペンによる自由な線の描画を受け付けるためのボタンである。当該ペンボタン４０６により、ペン（線）の色、太さを選択することも可能とする。会議参加者は、ペンボタン４０６を選択した状態で共有画面４０１上にて、ペン１３０又はマウスなどをクリック、ドラッグする操作を行なうことにより、自由に手書きのメモを書き込むことが可能である。

図形ボタン４０７は、作成する画像の選択を受け付けるためのボタンである。図形ボタン４０７では、制御部１００により作成される画像の種類の選択を受け付ける。たとえば円形、楕円形、多角形などの選択を受け付ける。

選択ボタン４０８は、会議参加者の描画以外の操作を受け付けるためのボタンである。例えば、選択ボタン４０８が選択されている場合には、制御部１００は、入力処理部１０３を介して、文字列選択画面４０５に表示される文字列の選択、共有画面４０１上に既に配置された文字列の選択、既に描画されている手書き文字の選択、既に作成されている画像の選択などを受け付けることができる。共有画面４０１上に既に配置された文字列を選択した場合、当該文字列の書式の変更を受け付けるためのメニューボタンが表示されてもよい。

ズームボタン４０９は、共有画面４０１に表示されているドキュメントデータの画像の拡大、縮小の操作を受け付けるボタンである。会議参加者が、拡大が選択された状態で共有画面４０１上にポインタを重ねてマウス又はペン１３０をクリックすると、共有のドキュメントデータの画像と、当該画像上の書き込みとの両方が拡大されて表示される。縮小の場合も同様である。

同期・非同期ボタン４１０は、共有画面４０１に表示されているドキュメントデータの画像の表示を、端末装置１，１，…の内のいずれか特定の端末装置１での表示と同一となるように同期させるか否かの選択を受け付けるボタンである。同期が選択されている状態では、当該端末装置１を用いる会議参加者の前頁、後頁などの操作を受け付けることなく、特定の端末装置１での閲覧情報に基づき、他の端末装置１，１，…で表示されるドキュメントデータの頁が会議サーバ装置３からの指示に基づき制御部１００によって制御される。

このようなメイン画面４００に含まれる各種ボタンの操作を受け付け、制御部１００は、会議サーバ装置３から受信する共有ドキュメントデータ３６の画像を共有画面４０１に表示すると共に、操作に応じたメモの描画を受け付ける。

このとき、各端末装置１は夫々、マイク１１７によって集音した音声を入力音声処理部１０７によって音声データに変換し、変換した音声データに対して音声認識処理部１７１による音声認識処理及び形態素解析部１７２による解析を行ない、得られる文字列から予め設定される条件を満たす文字列を抽出する。そして端末装置１は、抽出した文字列を会議サーバ装置３へ通信処理部１０５を介して送信する。

会議サーバ装置３は、受信した文字列を会議中の発言を文字列化したものであると認識して会議参加者が用いる各端末装置１，１，…へ送信する。

各端末装置１，１，…の制御部１００は夫々、会議サーバ装置３から送信された文字列を受信すると、文字列選択画面４０５へ表示させ、選択を可能とする。これにより、発言者の音声が文字列化されて、会議参加者が用いる各端末装置１，１，…へ送信され、メイン画面４００の文字列選択画面４０５に時系列に表示されるので、メモを取る会議参加者は、メモを用いる場合にいずれか所望の文字列を選択することができる。

各端末装置１，１，…での処理の詳細を、フローチャートを参照して説明する。まず、音声を入力する場合の処理の例を説明する。図６は、実施の形態１の会議システムを構成する端末装置１，１，…及び会議サーバ装置３によって行なわれる処理手順の一例を示すフローチャートである。

発言者の音声を入力するＡ端末装置１において制御部１００は、入力音声を、マイク１１７を介して受け付け（ステップＳ１０１）、受け付けた入力音声を入力音声処理部１０７により音声データとして取得する（ステップＳ１０２）。制御部１００は、取得した音声データに対して音声認識処理部１７１による処理を実行して文字列を得る（ステップＳ１０３）。制御部１００は、得られた文字列を形態素解析部１７２へ与えて形態素解析を行ない（ステップＳ１０４）、解析の結果得られる文字列の内、予め設定されている条件を満たす文字列を抽出し（ステップＳ１０５）、抽出した文字列を会議サーバ装置３へ送信する（ステップＳ１０６）。ステップＳ１０５における抽出処理については後述にて詳細を説明する。

会議サーバ装置３は、Ａ端末装置１から抽出された文字列を受信すると、Ｂ端末装置１を含む他の端末装置１，１，…へ送信する（ステップＳ１０７）。

Ｂ端末装置１では、制御部１００が通信処理部１０５により文字列を受信したか否かを判断し（ステップＳ１０８）、受信していないと判断した場合は（Ｓ１０８：ＮＯ）、処理をステップＳ１０８へ戻して受信するまで待機する。制御部１００は、抽出された文字列を受信したと判断した場合（Ｓ１０８：ＹＥＳ）、表示処理部１０４により、受信した文字列をメイン画面４００の文字列選択画面４０５に表示する（ステップＳ１０９）。

制御部１００は、文字列選択画面４０５上でクリックがされたことなどを示す入力処理部１０３からの通知により、文字列選択画面４０５に表示させた文字列のいずれかの選択を受け付けたか否かを判断し（ステップＳ１１０）、選択を受け付けたと判断した場合（Ｓ１１０：ＹＥＳ）、上述のように、入力処理部１０３からの通知により、操作に応じて共有のドキュメントデータの画像上の任意の位置に、選択された文字列を重畳表示させる（ステップＳ１１１）。制御部１００は、選択を受け付けていないと判断した場合（Ｓ１１０：ＮＯ）、処理をステップＳ１１２へ進める。

制御部１００は、メモの作成終了を指示するメニューなどが選択されるなどしてメモ書きが終了したか否かを判断し（ステップＳ１１２）、終了してないと判断した場合（Ｓ１１２：ＮＯ）、処理をステップＳ１１０へ戻して他の文字列などの選択を受け付けたか否かなどを判断する。制御部１００は、ステップＳ１１２で終了したと判断した場合（Ｓ１１２：ＹＥＳ）、メモ書きの補助の処理を終了する。

図７は、実施の形態１の会議システムを構成する端末装置１の制御部１００によって実行される形態素解析によって得られた文字列から、条件を満たすものを抽出する処理を示すフローチャートである。図７のフローチャートに示す処理手順は、図６の処理手順の内のステップＳ１０５の詳細に対応する。

発言者が用いる端末装置１において制御部１００は、形態素解析部１７２での解析によって得られた結果を取得する（ステップＳ２１）。例えば、音声認識処理部１７１により得られた文字列が「ココガジュウヨウデス。」であった場合、形態素解析部１７２により、「ココ（名詞）／ガ（助詞・格）／ジュウヨウ（重要）（名詞）／デス（判定詞）／。（句点）」を取得できる。

制御部１００は、形態素解析結果から１つの形態素を選択し（ステップＳ２２）、選択した形態素が、以下のステップＳ２３，Ｓ２６，Ｓ２７にて、予め設定された条件を満たすか否かを判断する。つまり、図７のフローチャートにて説明する処理において予め設定された条件とは、名詞、動詞、形容動詞の形態素については抽出文字列とするという条件である。

制御部１００はまず、選択した形態素の品詞が名詞であるか否かを判断する（ステップＳ２３）。制御部１００は、名詞であると判断した場合（Ｓ２３：ＹＥＳ）、抽出文字列として記憶する（ステップＳ２４）。制御部１００は、全ての形態素について条件を照合したかを判断し（ステップＳ２５）、全てについて判断していないと判断した場合は（Ｓ２５：ＮＯ）、処理をステップＳ２２へ戻して次の形態素について処理を行なう。

制御部１００は、選択した形態素が名詞でないと判断した場合（Ｓ２３：ＮＯ）、動詞であるか否かを判断する（ステップＳ２６）。制御部１００は、動詞であると判断した場合（Ｓ２６：ＹＥＳ）、条件と満たすとして抽出文字列として形態素を記憶し（ステップＳ２４）、処理をステップＳ２５へ進める。

制御部１００は、選択した形態素が動詞でもないと判断した場合（Ｓ２６：ＮＯ）、形容動詞であるか否かを判断する（ステップＳ２７）。制御部１００は、形容動詞であると判断した場合（Ｓ２７：ＹＥＳ）、条件を満たすとして抽出文字列として形態素を記憶し（ステップＳ２４）、処理をステップＳ２５へ進める。

制御部１００は、選択した形態素が形容動詞でもないと判断した場合（Ｓ２７：ＮＯ）、ステップＳ２５へ処理を進める。

制御部１００は、ステップＳ２５において、全ての形態素について判断を行なったと判断した場合（Ｓ２５：ＹＥＳ）、抽出処理を終了し、図６のフローチャートに示す処理手順の内のステップＳ１０６へ処理を戻す。

ステップＳ２１にて、「ココ（名詞）／ガ（助詞・格）／ジュウヨウ（重要）（名詞）／デス（判定詞）／。（句点）」を取得した場合、ステップＳ２３，Ｓ２６，Ｓ２７の判断により、「ココ（名詞）」及び「ジュウヨウ（重要）（名詞）」が抽出文字列として記憶されている。なお、「ココ」は「ここ」、「ジュウヨウ」は「重要」が最も尤もらしいものとして変換がされることが望ましい。

図８及び図９は、図６及び図７に示された処理手順の具体例を模式的に示す説明図である。図８は、受信された文字列が文字列選択画面４０５に表示される例を示し、図９では文字列選択画面４０５から文字列を選択して共有のドキュメントデータの画像上に重畳表示される例を示す。いずれもメイン画面４００に、共有のドキュメントデータの画像が表示されている。

図８に示すように、Ａ端末装置１のマイク１１７にて発言者の音声データが取得されると、Ａ端末装置１にて上述のように、音声認識処理、形態素解析処理及び抽出処理がされ、「ここ」「重要」という文字列が送信される。会議サーバ装置３は、当該文字列を受信した各端末装置１，１，…へ送信する。メモを取る会議参加者が用いるＢ端末装置１へも「ここ」「重要」という文字列が送信される。

図８に示すように、Ｂ端末装置１では、制御部１００の処理により、「ここ」「重要」という文字列を受信し、制御部１００は、受信した文字列をメイン画面４００の文字列選択画面４０５に表示する。これにより、メモを取る会議参加者は、自らペン１３０又はキーボード１１２を用いて「ここ」「重要」などの文字列のメモを取ることなく、表示された文字列を選択するのみでメモを作成することができる。

また、図９に示すように、文字列選択画面４０５に文字列を選択した場合、共有画面４０１の共有のドキュメントデータの画像４０２の上に重畳表示できるので、「ここ」がどこであるかを共有のドキュメントデータの画像４０２上での位置で示すメモを作成することができる。

しかも、図９の下部に示すように、選択された文字列「重要」を共有のドキュメントデータの画像４０２上に表示した状態で、書式変更を選択することができ、図９の示すようにイタリックへの変更、囲みの追加が可能である。更に、ペンボタン４０６を選択して書き込みを行なうことも可能であるから、図９に示すように、「ポイント！」などのメモ書きも可能である。

このようにして、表示させる共有のドキュメントデータに関連する音声データを文字列に変換して会議参加者が用いる端末装置１，１，…にて表示し、共有のドキュメントデータの画像上に配置すべく選択可能に表示される。したがって、メモを作成する会議参加者の作業負担を軽くし、しかも、共有のドキュメントに関連する音声内容を視覚的に前記画像と共に把握させることが可能な有用なメモの作成を補助することができる。画像上の位置をも任意に選択して配置させることができるので、文字列と画像の各部分との関連を視覚的に把握させることができる有用なメモを作成できる。

なお、図７に示した文字列抽出のための条件は、予め自由な設定を行なうことができる。例えば、名詞のみ抽出するなどの条件を設定することもできるから、会議参加者の意向を反映した文字列を抽出させることができる。これにより、効率的且つ効果的なメモの作成を負担なく行なうことができる。しかも、特定の単語などの文字列のみ抽出されるように、会議参加者の意向を反映させて絞り込むことが可能であるから、自身の意向を反映させてメモの作成作業を負担なく行なうことができる。

更に、選択した文字の書式変更などの編集が可能であり、自身の書込みも混在させて共有のドキュメントデータの画像上に自由に配置させることができるから、音声認識における誤認識、漢字への誤変換などを修正することも可能である。枠囲み若しくは下線などの強調表示などの追記など効果的なメモの作成作業も可能であり、会議のメモ作成を効果的に補助することができる。

（実施の形態２）
実施の形態１では、端末装置１，１，…が各自、音声認識処理部１７１、形態素解析部１７２を備える構成とした。これに対し、実施の形態２では、サーバ装置にて音声認識処理部及び形態素解析部を備える構成とする。

図１０は、実施の形態２における会議システムを構成する端末装置５の内部構成を示すブロック図である。

端末装置５は、実施の形態１の端末装置１同様に、タッチパネルを搭載したパーソナルコンピュータ、若しくは会議システム専用端末を用い、制御部５００と、一時記憶部５０１と、記憶部５０２と、入力処理部５０３と、表示処理部５０４と、通信処理部５０５と、映像処理部５０６と、入力音声処理部５０７と、出力音声処理部５０８と、読取部５０９とを備える。そして端末装置５は更に、キーボード５１２と、タブレット５１３と、ディスプレイ５１４と、ネットワークＩ／Ｆ部５１５と、カメラ５１６と、マイク５１７と、スピーカ５１８とを内蔵又は外部接続により備える。

各構成部は、実施の形態１の端末装置１の構成部と同様であるので、対応する符号を付すことによって詳細な説明を省略する。つまり、実施の形態２における端末装置５は、音声認識処理部１７１と形態素解析部１７２に対応する構成部を備えていない。端末装置５は基本的に、音声認識処理部１７１と形態素解析部１７２に関係する処理以外については実施の形態１の端末装置１の処理と同様の処理を行なう。

図１１は、実施の形態２の会議システムを構成する会議サーバ装置６の内部構成を示すブロック図である。

会議サーバ装置６は、サーバコンピュータを用い、制御部６０と、一時記憶部６１と、記憶部６２と、画像処理部６３と、通信処理部６４と、音声認識処理部６７と、形態素解析部６８と、関連語辞書６９とを備え、更に、ネットワークＩ／Ｆ部６５を内蔵する。

制御部６０、一時記憶部６１、記憶部６２、画像処理部６３、通信処理部６４は、実施の形態１の会議サーバ装置３の構成部である制御部３０、一時記憶部３１、記憶部３２、画像処理部３３、通信処理部３４と同様であるため、詳細な説明を省略する。記憶部６２にも、実施の形態１の会議サーバ装置３と同様に会議サーバ用プログラム６Ｐ及び共有ドキュメントデータ６６が記憶されている。

音声認識処理部６７は、音声と文字列との間の対応のための辞書を備えており、音声データを与えられた場合に文字列に変換して出力する音声認識処理を行なう。制御部６０は、通信処理部６４により取得した音声データを一定の単位で音声認識処理部６７へ与え、音声認識処理部６７から出力される文字列を取得する。実施の形態１の端末装置１が備える音声認識処理部１７１と同様である。

形態素解析部６８は、文字列を与えられた場合に形態素解析を行ない、与えられた文字列を形態素に分別して出力すると共に、いくつの形態素からなるのか、各形態素の品詞は何であるかを示す情報などを出力する。実施の形態１の端末装置１が備える形態素解析部１７２と同様である。

関連語辞書６９は、文字列を形態素の単位で与えると、関連する語を１つ又は複数出力する。なおこのとき与えられる文字列は、名詞、動詞、形容詞又は形容動詞とする。

このように構成される実施の形態２においても、同様の過程で電子会議が実現される。サーバ装置６の記憶部６２に記憶されている共有ドキュメントデータ６６が画像処理部６３によって画像に変換され、通信処理部６４により各端末装置５，５，…へ送信される。端末装置５，５，…でこれらを受信して共有のドキュメントデータの画像を表示し、資料を共有する電子会議が実現される。

実施の形態２でも、各端末装置５，５，…にて、共有のドキュメントデータの画像上にメモ書きが可能であることは同様である。メイン画面４００の文字列選択画面４０５に、発言者の音声が文字列化されたものが表示され、会議参加者は、文字列を選択してメモを作成することができる。

このように、音声認識処理部６７及び形態素解析部６８の構成、並びに関連辞書６９が備えられている点が実施の形態１と相違することにより異なる処理手順を、以下説明する。

図１２は、実施の形態２の会議システムを構成する端末装置５，５，…及び会議サーバ装置６によって行なわれる処理手順の一例を示すフローチャートである。

各端末装置５，５，…では制御部５００が、入力音声を、マイク５１７を介して受け付け（ステップＳ３０１）、受け付けた入力音声を入力音声処理部５０７により音声データとして取得する（ステップＳ３０２）。端末装置５，５，…の制御部５００は、取得した音声データを通信処理部５０５により会議サーバ装置６へ送信する（ステップＳ３０３）。

会議サーバ装置６の制御部６０は、各端末装置５，５，…から送信される音声データを受信し（ステップＳ３０４）、各端末装置５，５，…から受信した音声データを重畳して１つの音声データとする（ステップＳ３０５）。会議全体の音声として文字列化するためである。制御部６０は、重畳処理によって得られる音声データに対し音声認識処理部６７により音声認識処理を実行し（ステップＳ３０６）、音声認識処理部６７から得られる文字列を形態素解析部６８によって解析する（ステップＳ３０７）。そして、制御部６０は、解析の結果得られる文字列の内、予め設定されている条件を満たす文字列を抽出する（ステップＳ３０８）。制御部６０は、抽出した文字列を関連語辞書６９に与えて関連語を取得し（ステップＳ３０９）、抽出した文字列及び関連語を各端末装置５，５，…へ送信する（ステップＳ３１０）。なお、ステップＳ３０８の詳細は、図７のフローチャートに示した処理手順と同様であるので詳細な説明を省略する。

各端末装置５，５，…では、制御部５００が通信処理部５０５により文字列を受信したか否かを判断し（ステップＳ３１１）、受信していないと判断した場合は（Ｓ３１１：ＮＯ）、処理をステップＳ３１１へ戻して受信するまで待機する。制御部５００は、抽出された文字列を受信したと判断した場合（Ｓ３１１：ＹＥＳ）、表示処理部５０４により、受信した文字列をメイン画面４００の文字列選択画面４０５に表示する（ステップＳ３１２）。

制御部５００は、文字列選択画面４０５上でクリックがされたことなどを示す入力処理部５０３からの通知により、文字列選択画面４０５に表示させた文字列のいずれかの選択を受け付けたか否かを判断し（ステップＳ３１３）、選択を受け付けたと判断した場合（Ｓ３１３：ＹＥＳ）、上述のように、入力処理部５０３からの通知により、操作に応じて共有のドキュメントデータの画像上の任意の位置に、選択された文字列を重畳表示させる（ステップＳ３１４）。制御部５００は、選択を受け付けていないと判断した場合（Ｓ３１３：ＮＯ）、処理をステップＳ３１５へ進める。

制御部５００は、メモの作成終了を指示するメニューなどが選択されるなどしてメモ書きが終了したか否かを判断し（ステップＳ３１５）、終了してないと判断した場合（Ｓ３１５：ＮＯ）、処理をステップＳ３１３へ戻して他の文字列などの選択を受け付けたか否かなどを判断する。制御部５００は、ステップＳ３１５で終了したと判断した場合（Ｓ３１５：ＹＥＳ）、メモ書きの補助の処理を終了する。

このようにして、各端末装置１，１，…ではなく会議サーバ装置６にて、音声認識処理及び形態素解析処理を行なう構成としても同様である。会議サーバ装置で行なう場合には、各端末装置５，５，…からの音声をまとめて認識することも可能となる。

実施の形態２の構成のように、関連語辞書６９を備えて関連語をも抽出して各端末装置５，５，…へ送信できることにより、文字列の変換元の音声データに含まれていた語以外であっても関連する語をもメモに利用でき、ユーザは、自身の意向を柔軟に反映させてメモの作成作業を負担なく行なうことができる。

なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１，５ 端末装置
１００，５００ 制御部
１０１，５０１ 一時記憶部
１０２，５０２ 記憶部
１０５，５０５ 通信処理部
１７１ 音声認識処理部
１７２ 形態素解析部
１Ｐ，５Ｐ 会議端末用プログラム（コンピュータプログラム）
９Ｐ，９０Ｐ 会議端末用プログラム（コンピュータプログラム）
２ ネットワーク
３，６ 会議サーバ装置
３０，６０ 制御部
３１，６１ 一時記憶部
３２，６２ 記憶部
３４，６４ 通信処理部
３６，６６ 共有ドキュメントデータ
６７ 音声認識処理部
６８ 形態素解析部

Claims (12)

1. 通信手段により画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させる情報処理装置において、
   前記画像情報に関連する音声データを取得して文字列に変換する手段と、
   変換後の文字列を形態素解析する手段と、
   該手段により解析した結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出する手段と、
   該手段が抽出した文字列を前記表示部に表示させる手段と、
   表示された文字列の内のいずれか１つ又は複数の選択を受け付ける選択手段と、
   前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示させる手段と
   を備えることを特徴とする情報処理装置。
2. 通信手段により画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させる情報処理装置において、
   前記画像情報に関連する音声データに基づく複数の文字列を受信し、受信した複数の文字列を前記表示部に表示させる手段と、
   表示させた複数の文字列の内のいずれか１つ又は複数の選択を受け付ける選択手段と、
   前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示させる手段と
   を備えることを特徴とする情報処理装置。
3. 前記選択手段が受け付けた選択された文字列の前記画像情報に基づく画像上の位置の変更を受け付ける手段を備えること
   を特徴とする請求項１又は２のいずれか１つに記載の情報処理装置。
4. 前記選択手段が受け付けた選択された文字列の編集を受け付ける手段を更に備えること
   を特徴とする請求項１から３のいずれか１つに記載の情報処理装置。
5. 前記選択手段が受け付けた選択された文字列の書式の変更を受け付ける手段を更に備えること
   を特徴とする請求項１から４のいずれか１つに記載の情報処理装置。
6. 任意の複数の語を予め記憶しておく手段と、
   前記表示部に表示されている文字列に関連する語を前記複数の語から抽出する手段と、
   抽出した語を前記表示部に表示させる手段と
   を備えることを特徴とする請求項１から５のいずれか１つに記載の情報処理装置。
7. 前記予め設定された条件は、品詞の種類、又は品詞の種類の組み合わせであること
   を特徴とする請求項１に記載の情報処理装置。
8. 任意の文字列又は画像の入力を受け付ける手段と、
   入力された文字列又は画像の位置の変更を受け付ける手段と
   を備え、
   入力された文字列又は画像を、前記位置に基づき表示させるようにしてあること
   を特徴とする請求項１から７のいずれか１つに記載の情報処理装置。
9. 画像情報を記憶するサーバ装置と、該サーバ装置と通信可能であり表示部を備える複数の情報処理装置とを含み、該複数の情報処理装置は前記サーバ装置から画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させ、複数の情報処理装置間で共通の画像を表示させるようにして情報を共有させ、会議を実現させる会議システムにおいて、
   前記サーバ装置、又は前記複数の情報処理装置の内の少なくとも１つの装置は、
   音声を入力する手段と、
   該手段が入力した音声を文字列に変換する変換手段と
   を備え、
   前記サーバ装置、又は前記複数の情報処理装置の内の任意の装置は、
   前記変換手段による変換後の文字列を形態素解析する手段と、
   該手段により解析した結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出する抽出手段と、
   該抽出手段が抽出した文字列を前記サーバ装置へ送信する手段と
   を備え、
   前記サーバ装置は、前記抽出手段により抽出された文字列を前記複数の情報処理装置の内のいずれか１つ又は複数へ送信する手段を備え、
   前記情報処理装置は、
   前記サーバ装置から受信した文字列を、前記表示部に表示させる手段と、
   表示された複数の文字列の内のいずれか１つ又は複数の選択を受け付ける手段と、
   前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示させる手段と
   を備えることを特徴とする会議システム。
10. 通信手段及び表示部を備える情報処理装置で、受信した画像情報に基づく画像を前記表示部に表示させる情報処理方法において、
    前記画像情報に関連する音声データを取得して文字列に変換し、
    変換後の文字列を形態素解析し、
    解析した結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出し、
    抽出された文字列を前記表示部に表示し、
    表示された文字列の内のいずれか１つ又は複数の選択を受け付け、
    前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示する
    ことを特徴とする情報処理方法。
11. 画像情報を記憶するサーバ装置と、該サーバ装置と通信可能であり表示部を備える複数の情報処理装置とを含むシステムで、前記複数の情報処理装置は前記サーバ装置から画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させ、複数の情報処理装置間で共通の画像を表示させて情報を共有する情報処理方法において、
    前記サーバ装置、又は前記複数の情報処理装置の内の少なくとも１つの装置が、
    表示中の画像に対応する音声を入力し、
    入力した音声を文字列に変換し、
    前記サーバ装置、又は前記複数の情報処理装置の内の任意の装置が、
    前記少なくとも１つの装置で変換された文字列を形態素解析し、
    形態素解析した結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出し、
    抽出した文字列を前記サーバ装置へ送信するか、又は自身で記憶しておき、
    前記サーバ装置は、抽出された文字列を前記複数の情報処理装置の内のいずれか１つ又は複数へ送信し、
    抽出された文字列を受信した情報処理装置が、
    受信した文字列を、前記表示部に表示し、
    表示された複数の文字列の内のいずれか１つ又は複数の選択を受け付け、
    前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示する
    ことを特徴とする情報処理方法。
12. 通信手段、及び表示部に接続する手段を備えるコンピュータに、受信した画像情報に基づく画像を前記表示部で表示させるコンピュータプログラムにおいて、
    コンピュータに、
    前記画像情報に関連する音声データを取得して文字列に変換するステップ、
    変換後の文字列を形態素解析するステップ、
    形態素解析の結果得られる１つ又は複数の形態素からなる文字列の内、予め設定された条件を満たす文字列を抽出するステップ、
    抽出された文字列を前記表示部に表示させるステップ、
    表示された文字列の内のいずれか１つ又は複数の選択を受け付けるステップ、及び、
    前記画像情報に基づく画像上の任意の位置に、選択された文字列を重畳表示するステップ
    を実行させることを特徴とするコンピュータプログラム。

Images