JP2014140121A - 会議支援システム - Google Patents

Abstract

【課題】特定の端末装置から入力した検索用データを用いて検索を実行して得られる検索結果を、会議の参加者全員が共有可能とする。
【解決手段】会議用サーバ装置Ｓｃで、データ作成手段とデータ送信手段とを有する端末装置Ｌを抽出して、これを入力用端末装置Ｌｘに設定し、入力用端末装置Ｌｘから送信される検索用データを用いて会議用サーバ装置Ｓｃが検索を実行し、得られた検索結果を主装置Ｍの表示部２３に表示させる。検索結果を会議に出席している参加者全員が共有可能となる。検索用データの送信は抽出した入力用端末装置Ｌｘで行い、検索結果の受信および表示は主装置Ｍで行うから、システム構築のための設定操作が短時間で済む。主装置Ｍの操作者に検索用のキーワードを伝えて入力してもらったり、主装置Ｍの操作者と交代して検索用キーワードを入力したりする必要がなくなる。
【選択図】 図１

Description

本発明は、検索手段を有する会議用サーバ装置と、表示部を有する主装置と、会議参加者が所持する端末装置とを通信可能に接続し、端末装置で作成した検索用データに基づき会議用サーバ装置で検索を実行し、検索結果を主装置の表示部に表示する会議支援システムに関するものである。

特許文献１に、通話を行う通信端末を用いた情報検索方法が記載されている。この情報検索方法は、通信端末どうしによる通話中に、音声データ内のキーワードを抽出し、このキーワードを外部の情報検索サーバへ送信し、情報検索サーバで得られた検索結果を、自己の通信端末と相手方の通信端末とに表示するものである。

特開２０１１−２０５２３８公報

主装置と、複数の端末装置とを通信可能に接続して構築される会議システムでは、様々な仕様の端末装置が接続されることが想定される。このような接続環境において、会議システムに対する端末装置の接続は一時的であるから、接続設定および動作設定に時間をかけることは会議運用の効率上好ましくない。

特許文献１に記載される通信端末は、各通信端末が音声データ内からキーワードを抽出する音声認識機能を有していることが前提となっている。しかしながら、一般的な会議システム環境では、端末装置の有する機能は多様であり、たとえば音声認識機能を有する端末装置と、音声認識機能を持たない端末装置とが混在して接続されている場合には、特許文献１の情報検索方法は、一部の端末装置の間でしか機能しないことになる。

本発明の目的は、特定の端末装置から入力した検索用データを用いて検索を実行して得られる検索結果を、主装置の表示部に表示して、検索結果を会議の参加者全員が共有可能とした会議システムを提供することである。

本発明は、通信部を有する会議用サーバ装置と、該会議用サーバ装置と通信する通信部および表示部を有する主装置と、該会議用サーバ装置と通信する通信部を有する端末装置とを含む会議支援システムであって、
前記端末装置は、少なくとも一部の装置が、検索用データを作成するデータ作成手段および該データ作成手段で作成した検索用データを送信するデータ送信手段をさらに有し、
前記会議用サーバ装置は、
通信可能な状態の端末装置のうちから、前記データ作成手段および前記データ送信手段を有する端末装置を抽出する端末抽出手段と、
前記端末抽出手段で抽出した前記端末装置を、入力用端末装置として設定する端末設定手段と、
該端末設定手段によって設定された前記入力用端末装置の前記データ送信手段から送信される検索用データを受信するデータ受信手段と、
受信した検索用データを用いて検索を実行する検索手段と、
該検索手段が検索を実行して得られた検索結果を表す検索結果データを、前記主装置へ送信する検索結果送信手段とをさらに有し、
前記主装置は、
前記会議用サーバ装置から送信される前記検索結果データを受信する検索結果受信手段と、
受信した前記検索結果データが表す検索結果を、前記表示部に表示させる表示制御手段とをさらに有することを特徴とする会議支援システムである。

また本発明は、通信部および表示部を有する主装置と、該主装置と通信する通信部を有する端末装置とを含む会議支援システムであって、
前記端末装置は、少なくとも一部の装置が、検索用データを作成するデータ作成手段および該データ作成手段で作成した検索用データを送信するデータ送信手段をさらに有し、
前記主装置は、
通信可能な状態の端末装置のうちから、前記データ作成手段および前記データ送信手段を有する端末装置を抽出する端末抽出手段と、
前記端末抽出手段で抽出した前記端末装置を、入力用端末装置として設定する端末設定手段と、
該端末設定手段によって設定された前記入力用端末装置の前記データ送信部から送信される検索用データを受信し、該検索用データを外部の検索装置へ転送するデータ転送手段と、
外部の検索装置から送信される検索結果データを受信する検索結果受信手段と、
受信した前記検索結果データが表す検索結果を、前記表示部に表示させる表示制御手段とをさらに有することを特徴とする会議支援システムである。

また本発明は、前記入力用端末装置が、音声入力手段と、該音声入力手段に入力された音声データをテキストデータに変換する音声テキスト化手段とをさらに有し、前記データ作成手段が、該音声テキスト化手段によって作成されたテキストデータを用いて前記検索用データを作成することを特徴とする。

また本発明は、前記会議用サーバ装置が、音声データをテキストデータに変換する音声テキスト化手段をさらに有し、
前記入力用端末装置は、音声入力手段をさらに有し、該音声入力手段に入力された音声データを、前記データ送信手段によって、検索用データとして前記会議用サーバ装置へ送信し、
前記会議用サーバ装置が、前記音声テキスト化手段によって、受信した前記音声データからテキストデータを作成し、該テキストデータを用いて前記検索手段が検索を実行することを特徴とする。

また本発明は、前記入力用端末装置が、画像データを取得する画像取得手段をさらに有し、前記データ作成部は、該画像取得手段が取得した画像データを用いて、前記検索用データを作成することを特徴とする。

本発明によれば、会議でファイルなどの検索を行う場合、会議の参加者それぞれが所持する端末装置から、データ作成手段とデータ送信手段とを有する端末装置を入力用端末装置として設定し、この入力用端末装置から検索用データを会議用サーバ装置へ送信し、会議用サーバ装置で検索した検索結果を主装置の表示部に表示させることができるので、会議に出席している参加者全員が、検索結果を共有することが可能となる。

検索用データの送信は、端末装置のうちから抽出して設定した入力用端末装置で行い、検索結果の受信および表示は主装置で行うから、システム構築のための接続設定操作が短時間で済み、効率的な会議運営を図れる。

従来は、表示部を有している主装置の操作者に、会議参加者が検索用のキーワードを伝えて入力してもらうか、あるいは、会議参加者が操作を交代して主装置に検索用のキーワードを入力することが行われている。これに対し、本発明では、会議参加者が所持する端末装置から検索用データを、会議用サーバ装置の検索手段に対し入力することが可能となるから、主装置の操作者に検索用のキーワードを伝えて入力してもらったり、主装置の操作者と交代して検索用キーワードを入力したりする必要がなくなる。

また本発明によれば、外部の検索装置で検索を実行するように構成したので、既存のコンピュータを検索装置として利用することが可能である。

また本発明によれば、入力用端末装置が音声入力手段と音声テキスト化手段とを有するので、主装置に音声入力機能がなくても、会議参加者が所持する入力用端末装置の音声入力機能および音声テキスト化機能を用いて、音声入力による検索を実行することが可能となる。

また本発明によれば、会議用サーバ装置が音声テキスト化手段を有するので、入力用端末装置が音声テキスト化手段を有していなくても、音声入力手段を有していれば、音声入力による検索を実行することが可能となる。

また本発明によれば、入力用端末装置が、画像データを取得する画像取得手段を有しているので、主装置に画像取得機能がなくても、会議参加者が所持する入力用端末装置の画像取得機能を使用することにより、入力用端末装置で取得した画像データを用いる検索を実行することが可能となる。この場合、画像データを用いる検索とは、画像から抽出した文字をテキストデータに変換し、これを用いる検索、または、画像の特徴点を抽出して類似する画像データを検索する態様などが考えられる。

本発明の第１の実施形態に係る会議支援システムＵ１の全体構成を概略的に示す図面である。 本発明の第１の実施形態に係る会議支援システムＵ１を構成する端末装置Ｌのうち、入力用端末装置Ｌｘに設定されるものの内部構成を概略的に示すブロック図である。 本発明の第１の実施形態に係る会議支援システムＵ１を構成する会議用サーバ装置Ｓｃの内部構成を概略的に示すブロック図である。 本発明の第１の実施形態に係る会議支援システムＵ１を構成する主装置Ｍの内部構成を概略的に示すブロック図である。 本発明の第１の実施形態に係る会議支援システムＵ１の動作を説明するフローチャートである。 本発明の第２の実施形態に係る会議支援システムＵ２の全体構成を概略的に示す図面である。 本発明の第２の実施形態に係る会議支援システムＵ２の動作を説明するフローチャートであって、前半部分を示すものである。 本発明の第２の実施形態に係る会議支援システムＵ２の動作を説明するフローチャートであって、後半部分を示すものである。

（第１の実施形態）
以下、図面に基づいて、本発明の第１の実施形態を説明する。図１は、本発明の第１の実施形態に係る会議支援システムＵ１の全体構成を概略的に示す図面、図２は、本発明の第１の実施形態に係る会議支援システムＵ１を構成する端末装置Ｌのうち、入力用端末装置Ｌｘに設定されるものの内部構成を概略的に示すブロック図、図３は、本発明の第１の実施形態に係る会議支援システムＵ１を構成する会議用サーバ装置Ｓｃの内部構成を概略的に示すブロック図、図４は、本発明の第１の実施形態に係る会議支援システムＵ１を構成する主装置Ｍの内部構成を概略的に示すブロック図、図５は、本発明の第１の実施形態に係る会議支援システムＵ１の動作を説明するフローチャートである。

図１に示すように、本実施形態の会議支援システムＵ１は、会議用サーバ装置Ｓｃ、主装置Ｍ、端末装置Ｌを含んで成り、これら全てが、ファイヤウオールなどで保護されたＬＡＮ（Local Area Network）内に在る場合を想定したものである。

端末装置Ｌは、たとえばスマートフォン装置、タブレット型コンピュータ、ノート型コンピュータ、ＰＤＡ（Personal Digital Assistants）などで実現される。なお図２に示す端末装置Ｌは、後述する会議用サーバ装置Ｓｃによって、入力用端末装置Ｌｘとして設定されるものである。

図２に示すように、端末装置Ｌは、通信ネットワークＮ経由で会議用サーバ装置Ｓｃと通信可能に接続する通信部３０、端末装置Ｌの各種動作を制御する制御部３１、後述の文字入力部３５、音声入力部３６またはカメラ部３７から入力されたデータを用いて検索用データを作成するデータ作成部３２、文字や画像などを表示するディスプレイなどの表示部３３、端末装置Ｌの各種動作を操作するための操作部３４、文字データを入力するための文字入力部３５、音声を入力するための音声入力部３６、静止画または動画を撮影して画像データを入力できるカメラ部３７を有している。なお、図示は省略するが、端末装置Ｌは、端末装置Ｌの動作を制御するための各種プログラムや設定情報データなどを記憶するための、たとえばハードディスク装置やフラッシュメモリで構成される記憶部を有する。

通信部３０の通信ネットワークＮに対する接続は、無線でも有線でもよい。制御部３１は、たとえばＣＰＵ（Central Processing Unit）を用いて実現される。データ作成部３２は、音声入力部３６から入力される音声データをテキストに変換する機能、カメラ部３７から入力された画像データから文字情報を抽出し、これをテキスト化する機能、あるいは、画像データから画像の特徴点を抽出する機能を備えてもよい。表示部３３は、たとえば液晶素子や有機ＥＬ素子などで製造されるディスプレイ装置が用いられる。操作部３４および文字入力部３５は、たとえばキーボードやタッチパネルなどで実現される。音声入力部３６は、たとえばマイクロフォンで実現される。カメラ部３７は、静止画および動画の撮影が可能なものである。

端末装置Ｌの検索用データを作成するデータ作成手段は、データ作成部３２で実現され、データ作成手段で作成した検索用データを送信するデータ送信手段は、通信部３０で実現される。また、音声入力手段は、音声入力部３６で実現され、音声データをテキストデータに変換する音声テキスト化手段は、データ作成部３２で実現される。さらに、画像データを取得する画像取得手段はカメラ部３７で実現され、画像データを用いた検索用データの作成は、データ作成部３２で実行される。

会議用サーバ装置Ｓｃは、たとえばサーバ用コンピュータで実現され、図３に示すように、通信ネットワークＮを経由して、主装置Ｍおよび端末装置Ｌ、およびインターネットなどの外部回線と通信可能に接続する通信部１０、会議用サーバ装置Ｓｃの各種動作を制御する制御部１１、端末装置Ｌから送られる検索用データを用いて検索を実行し、検索結果を出力する検索部１２、会議用サーバ装置Ｓｃの動作を制御するための各種プログラムデータ、設定情報データとともに、会議に際して必要とされる各種文書ファイルデータを記憶する記憶部１３を有している。

通信部１０の通信ネットワークＮに対する接続は、無線でも有線でもよい。制御部１１は、たとえばＣＰＵを用いて実現される。検索部１２は、制御部１１とは独立して検索動作を行う部分として構成することもできるが、制御部１１が検索部１２の機能を発揮するものであってもよい。記憶部１３は、たとえばハードディスク装置やフラッシュメモリで構成される。その他、図示は省略するが、会議用サーバ装置Ｓｃは、キーボードやマウスなどの操作部や、モニタなどの表示部を備えるものとすることができる。

さらに、図示は省略するが、会議用サーバ装置Ｓｃが、音声データをテキストデータに変換する音声テキスト化手段を備えることも可能である。あるいは、外部に設けられる音声テキスト化手段とネットワーク接続して、外部の音声テキスト化手段から、音声データを変換したテキストデータを取得するように構成してもよい。

会議用サーバ装置Ｓｃにおいて、端末装置Ｌのうちから予め定める種類のデータを作成可能なデータ作成手段、およびデータ送信手段を有する端末装置Ｌを抽出する端末抽出手段と、端末抽出手段で抽出した端末装置Ｌを入力用端末装置Ｌｘとして設定する端末設定手段とは、通信部１０と制御部１１とで実現される。入力用端末装置Ｌｘのデータ送信手段から送信される検索用データを受信するデータ受信手段は、通信部１０で実現される。検索を実行する検索手段は検索部１２で実現される。検索手段から得られる検索結果を表す検索結果データを主装置Ｍへ送信する検索結果送信手段は、通信部１０で実現される。

主装置Ｍは、たとえば表示部２３としてのモニターを備えるコンピュータで実現される。図４に示すように、主装置Ｍは、通信ネットワークＮによって会議用サーバ装置Ｓｃと通信可能に接続する通信部２０、主装置Ｍの各種動作を制御する制御部２１、会議用サーバ装置Ｓｃから検索結果データを受信する検索結果受信部２２、検索結果データに基づき検索結果を表示する表示部２３、主装置Ｍの動作を操作するための操作部２４で構成されている。なお図示は省略するが、主装置Ｍは、動作を制御するための各種プログラムや設定情報データなどを記憶するための、たとえばハードディスク装置やフラッシュメモリで構成される記憶部を有する。主装置Ｍは、その他、必要に応じ、スピーカなどの音声出力部、マイクなどの音声入力部、カメラなどの画像入力部を備えてもよい。

通信部２０の通信ネットワークＮに対する接続は、無線でも有線でもよい。制御部２１は、たとえばＣＰＵを用いて実現される。検索結果受信部２２は、会議用サーバ装置Ｓｃから送信されるさまざまなデータから、使用した検索用データと対応する検索結果データを選択し、必要に応じて図示しない記憶部に記憶させることも可能である。表示部２３は、たとえば液晶素子や有機ＥＬ素子などで製造されるディスプレイ装置が用いられる。操作部３４は、たとえばキーボード、マウス、ペンタブレット、タッチパネルなどで実現される。

主装置Ｍの検索結果受信手段は、検索結果受信部２２で実現され、表示制御手段は、制御部２１によって実現される。

次に、図５にしたがって、本実施形態の会議支援システムＵ１による処理手順を説明する。会議支援システムＵ１を機能させるには、はじめに、会議用サーバ装置Ｓｃと、会議主催者が操作する主装置Ｍ、および、会議参加者それぞれが所持する端末装置Ｌとを、通信可能に接続する。これは、まずステップＰ０１で、端末装置Ｌが、会議用サーバ装置Ｓｃに対し接続要求を行う。これにより、ステップＱ０１で、会議用サーバ装置Ｓｃが端末装置Ｌからの接続要求を受信し、ステップＰ０２およびステップＱ０２で、端末装置Ｌと会議用サーバ装置Ｓｃとの通信接続状態が確立する。

他方、ステップＲ０１で、主装置Ｍからも会議用サーバ装置Ｓｃに対し接続要求を行い、ステップＱ０１で、会議用サーバ装置Ｓｃが、主装置Ｍからの接続要求を受信し、ステップＰ０２およびステップＲ０２で、主装置Ｍと会議用サーバ装置Ｓｃとの通信接続が確立する。

主装置Ｍとして機能し得る表示装置が複数ある場合、複数の表示装置のうちから、検索結果の表示用として使用する主装置Ｍを指定した上で、端末装置Ｌを会議用サーバ装置Ｓｃに接続させるようにしてもよい。あるいは、複数の表示装置のうちから、検索結果を表示させる主装置Ｍを指定して、これを会議用サーバ装置Ｓｃに接続してもよい。

会議用サーバ装置Ｓｃは、端末装置Ｌとの通信が確立されたならば、ステップＱ０３で、端末抽出手段によって、接続された端末装置Ｌのうちから、特定種類の検索用データ、たとえば音声データや画像データを作成するデータ作成手段と、このデータを検索用データとして送信するデータ送信手段とを有する端末装置Ｌを抽出する。本実施形態では、音声入力部３６とカメラ部３７を有する端末装置Ｌが抽出対象である。

会議用サーバ装置Ｓｃは、ステップＱ０４で、接続されている端末装置Ｌから、音声入力手段および画像取得手段を有する装置を抽出できるかどうかを判断し、抽出できる端末装置Ｌがないときは、ステップＱ０８へ移行する。

ステップＱ０４で、音声入力手段および画像取得手段を有する端末装置Ｌを抽出できたときは、ステップＱ０５で、当該端末装置Ｌを、音声データまたは画像データに基づく検索用データを会議用サーバ装置Ｓｃに送信する入力用端末装置Ｌｘとして設定する。

ステップＰ０３で、入力用端末装置Ｌｘと設定された端末装置Ｌは、たとえば会議中に会議参加者が音声検索したい場面に遭遇したときに、入力用端末装置Ｌｘを所持する会議参加者の操作により、音声入力手段により音声データが入力され、画像取得手段により、画像データが入力される。入力用端末装置Ｌｘは、ステップＰ０４で、データ作成手段に含まれる音声テキスト化手段により、音声データを変換してテキストデータを作成する。また、データ作成手段によって、画像データから文字読取機能を用いて文字情報を抽出し、これをテキスト化した検索用データや、画像データの特徴点を抽出した検索用データを作成する。そしてステップＰ０５で、作成した検索用データを、データ送信手段により、会議用サーバ装置Ｓｃへ送信する。

端末装置Ｌの音声入力部３６で入力された音声データは、端末装置Ｌで、音声認識などの技術などを使ってテキストデータを抽出し検索用データを作成するほか、音声データを直接、会議用サーバ装置Ｓｃに送信し、会議用サーバ装置Ｓｃ上で音声データをテキスト化処理して、検索用データに変換する態様も考えられる。

画像データについても、端末装置Ｌのカメラ部３７で撮影して取得した画像データを、端末装置Ｌで処理して検索用データに変換するほか、入力用端末装置Ｌｘが取得した画像データを直接、会議用サーバ装置Ｓｃに送信し、会議用サーバ装置Ｓｃ上で画像データを処理して、検索用データを作成する態様も考えられる。なお、画像の特徴点を抽出することにより、類似した画像データを検索することが可能である。

入力用端末装置Ｌｘから、音声データや画像データを会議用サーバ装置Ｓｃへ直接送信する場合は、必要に応じ、テキストデータを作成して付属させてもよい。

会議用サーバ装置Ｓｃは、データ受信手段によって、入力用端末装置Ｌｘから送信される検索用データを受信すると、ステップＱ０６で、検索手段により、検索用データを用いて検索を実行する。検索処理は、会議用サーバ装置Ｓｃの記憶部１３に記憶されている保存データの検索や、インターネットを通じた検索を行う。そして、得られた検索結果を表す検索結果データを、ステップＱ０７で、検索結果送信手段によって、主装置Ｍに送信する。

主装置Ｍは、ステップＲ０３で、検索結果受信手段によって、検索結果データを受信すると、ステップＲ０４で、検索結果データに基づき、表示部２３に検索結果を表示する。会議参加者は、ステップＲ０５で、表示された検索結果から、使用するファイルまたは情報を指定し、その内容を確認する。これは、たとえば、会議用サーバ装置Ｓｃから送信されてくる検索結果データに対応するデータファイルの保存先が分かるときは、その保存先のファイルパスを、検索結果データに対応する情報がインターネットなどのＷｅｂサイトにアップロードされているときは、そのＵＲＬ（uniform resource locator）を、前記検索結果データに、各データとリンクするように含ませておき、主装置Ｍで、検索結果を表示させたときに、会議参加者が、前記ファイルパスまたはＵＲＬをクリックすることによって、必要な情報を入手することが可能である。

入力用端末装置Ｌｘとして設定されると、当該装置からの音声入力や画像入力が、主装置Ｍにおいて検索対象として処理される。入力用端末装置Ｌｘが複数存在する場合は、主装置Ｍの表示部２３に、検索用データを送信した入力用端末装置Ｌｘをリスト状に表示し、主装置Ｍにおいて選択することによって、表示部２３に表示させる検索結果を指定することも可能である。あるいは、主装置Ｍで、検索結果の表示対象となる入力用端末装置Ｌｘを指定し、指定された入力用端末装置Ｌｘにあっては、指定されたことが所持者に明示されるような表示を行うようにしてもよい。さらには、入力用端末装置Ｌｘにおいて、主装置Ｍによる指定を許可または拒否を選択できるようなたとえば「ＹＥＳ」「ＮＯ」のダイアログ表示を行い、会議参加者が選択できるようにしてもよい。

会議の終了に伴い、会議支援システムＵ１の機能を停止させるには、ステップＰ０６で、端末装置Ｌから会議用サーバ装置Ｓｃに対し、通信切断の指示を送信するとともに、ステップＲ０６で、主装置Ｍからも会議用サーバ装置Ｓｃへ通信切断の指示を送信する。これにより、ステップＱ０８で、会議用サーバ装置Ｓｃと、主装置Ｍおよび端末装置Ｌとの通信が切断され、一連の処理が終了する。

(第２の実施形態)
本発明の第２の実施形態として、主装置Ｍが外部の会議用サーバ装置Ｓｃに接続され、端末装置Ｌは主装置Ｍと接続される例を示す。図６は、本発明の第２の実施形態に係る会議支援システムＵ２の全体構成を概略的に示す図面、図７Ａは、本発明の第２の実施形態に係る会議支援システムＵ２の動作を説明するフローチャートであって、前半部分を示すものであり、図７Ｂは、本発明の第２の実施形態に係る会議支援システムＵ２の動作を説明するフローチャートであって、後半部分を示すものである。

図６に示すように、本実施形態の会議支援システムＵ２では、たとえば、端末装置Ｌと主装置Ｍとがファイヤウオールで保護されたＬＡＮ内で接続され、会議用サーバ装置Ｓｃは、このＬＡＮ外（ファイヤウオール外)である場合を想定している。

本実施形態では、会議用サーバ装置Ｓｃは、端末抽出手段および端末設定手段とを持たず、検索装置として機能する。

他方、主装置Ｍについては、端末抽出手段、端末設定手段、および、端末設定手段によって設定された入力用端末装置Ｌｘのデータ送信部から送信される検索用データを受信し、該検索用データを外部の検索装置（本実施形態の会議用サーバ装置Ｓｃ）へ転送するデータ転送手段を有することが必要である。

主装置Ｍの端末抽出手段、端末設定手段、および、データ転送手段は、通信部２０と制御部２１とで実現される。

図７Ａおよび７Ｂにしたがって、本実施形態に係る会議支援システムＵ２の処理手順を説明する。本実施形態では、会議支援システムＵ２を機能させるにあたり、はじめに、ステップＰ１１で、端末装置Ｌから、主装置Ｍに対し、接続要求を送信する。主装置Ｍは、ステップＲ１１で、端末装置Ｌからの接続要求を受信し、ステップＰ１２およびステップＲ１２で、端末装置Ｌと主装置Ｍとの通信接続を確立する。

また、主装置Ｍは、ステップＲ１３で、検索装置としての会議用サーバ装置Ｓｃに対し接続要求を送信し、会議用サーバ装置Ｓｃは、ステップＱ１１で、主装置Ｍから接続要求を受信し、ステップＱ１２で、会議用サーバ装置Ｓｃと主装置Ｍとの通信接続が確立する。

主装置Ｍは、端末装置Ｌとの通信が確立されたならば、ステップＲ１５で、端末抽出手段によって、接続された端末装置Ｌのうちから、特定種類の検索用データ、たとえば音声データや画像データを作成するデータ作成手段と、このデータを検索用データとして送信するデータ送信手段とを有する端末装置Ｌを抽出する。本実施形態では、音声入力部３６とカメラ部３７を有する端末装置Ｌが抽出対象である。

主装置Ｍは、ステップＲ１６で、接続されている端末装置Ｌから、音声入力手段および画像取得手段を有する装置が抽出できるかどうかを判断し、抽出できる端末装置Ｌがないときは、ステップＲ２３へ移行する。

ステップＲ１６で、音声入力手段および画像取得手段を有する端末装置Ｌを抽出できたときは、ステップＲ１７で、当該端末装置Ｌを、音声データまたは画像データに基づく検索用データを主装置Ｍに送信する入力用端末装置Ｌｘとして設定する。

ステップＰ１３で、入力用端末装置Ｌｘに設定された端末装置Ｌは、たとえば会議中に会議参加者が音声検索したい場面に遭遇したときに、入力用端末装置Ｌｘを所持する会議参加者の操作により、音声入力手段により音声データが入力され、あるいは画像取得手段により、画像データが入力される。入力用端末装置Ｌｘは、ステップＰ１４で、データ作成手段に含まれる音声テキスト化手段により、音声データを変換してテキストデータを作成する。また、データ作成手段によって、画像データから文字読取機能を用いて文字情報を抽出し、これをテキスト化した検索用データや、画像データの特徴点を抽出した検索用データを作成する。そしてステップＰ１５で、作成した検索用データを、データ送信手段により、主装置Ｍへ送信する。

主装置Ｍは、ステップＲ１８で、入力用端末装置Ｌｘから検索用データを受信すると、ステップＲ１９で、データ転送手段によって、検索用データを会議用サーバ装置Ｓｃへ転送する。

ステップＱ１３で、検索用データを受信した会議用サーバ装置Ｓｃは、ステップＱ１４で、検索手段によって、検索用データを用いて検索を実行する。検索処理は、会議用サーバ装置Ｓｃの記憶部１３に記憶されている保存データの検索や、インターネットを通じた検索である。そして、得られた検索結果を表す検索結果データを、ステップＱ１５で、検索結果送信手段によって、主装置Ｍに送信する。

なお、端末装置Ｌの音声入力部３６で入力された音声データは、端末装置Ｌで、音声認識などの技術などを使ってテキストデータを抽出し検索用データを作成するほか、音声データを直接、主装置Ｍに送信し、主装置Ｍが会議用サーバ装置Ｓｃへ転送し、会議用サーバ装置Ｓｃが、音声データをテキスト化処理して、検索用データに変換する態様も考えられる。

画像データについても、端末装置Ｌのカメラ部３７で撮影して取得した画像データを、端末装置Ｌで処理して検索用データに変換するほか、入力用端末装置Ｌｘが取得した画像データを直接、主装置Ｍへ送信し、主装置Ｍが会議用サーバ装置Ｓｃへ転送し、会議用サーバ装置Ｓｃが画像データを処理して、検索用データを作成する態様も考えられる。なお、画像の特徴点を抽出する場合は、類似した画像データを検索することが可能である。

主装置Ｍは、ステップＲ２０で、検索結果受信手段によって、検索結果データを受信すると、ステップＲ２１で、検索結果データに基づき、表示部２３に検索結果を表示する。会議参加者は、ステップＲ２２で、表示された検索結果から、使用するファイルまたは情報を指定し、その内容を確認する。これは、たとえば、会議用サーバ装置Ｓｃから送信されてくる検索結果データに対応するデータファイルの保存先が分かるときは、その保存先のファイルパスを、検索結果データに対応する情報がインターネットなどのＷｅｂサイトにアップロードされているときは、そのＵＲＬを、前記検索結果データに、各データとリンクするように含ませておき、主装置Ｍで、検索結果を表示させたときに、会議参加者が、前記ファイルパスまたはＵＲＬをクリックすることによって、必要な情報を入手することが可能である。

入力用端末装置Ｌｘとして設定されると、当該装置からの音声入力や画像入力が、主装置Ｍにおいて検索対象として処理される。入力用端末装置Ｌｘが複数存在する場合は、主装置Ｍの表示部２３に、検索用データを送信した入力用端末装置Ｌｘをリスト状に表示し、主装置Ｍにおいて選択操作することによって、表示部２３に表示させる検索結果を指定することも可能である。あるいは、主装置Ｍで、検索結果の表示対象となる入力用端末装置Ｌｘを指定し、指定された入力用端末装置Ｌｘにあっては、指定されたことが所持者に明示されるような表示を行うようにしてもよい。さらには、入力用端末装置Ｌｘにおいて、主装置Ｍによる指定を許可または拒否を選択できるような、たとえば「ＹＥＳ」「ＮＯ」のダイアログ表示を行い、入力用端末装置Ｌｘの所持者が選択できるようにしてもよい。

会議の終了に伴い、会議支援システムＵ２の機能を停止させるには、ステップＲ２３で、主装置Ｍから会議用サーバ装置Ｓｃに対し通信切断の指示を送信する。これにより、ステップＱ１６で、会議用サーバ装置Ｓｃと、主装置Ｍとの通信が切断される。さらに、ステップＰ１６で、端末装置Ｌから主装置Ｍに対し、通信切断の指示を送信する。これにより、ステップＲ２４で、主装置Ｍと端末装置Ｌとの通信が切断され、一連の処理が終了する。

(その他の実施形態)
音声データや画像データを入力できる特定の端末装置Ｌの抽出を実行する時期は、会議用サーバ装置Ｓｃまたは主装置Ｍを、会議主催者または会議参加者が操作することによって開始してもよい。あるいは、新たな端末装置Ｌが接続された時点で、抽出動作を開始してもよい。

また、端末設定手段によって設定される入力用端末装置Ｌｘは、１つまたは少数に限定することも可能である。複数個の端末装置Ｌを、入力用端末装置Ｌｘとして設定する場合は、入力用端末装置Ｌｘから順次送信される検索用データを用いて、会議用サーバ装置Ｓｃにおいて実行される検索処理は、時系列で実行されるように設定してもよく、または並列処理することも可能である。

Ｓｃ 会議用サーバ装置
Ｍ 主装置
Ｌ 端末装置
Ｌｘ 入力用端末装置
１０ 通信部
１２ 検索部
２０ 通信部
２２ 検索結果受信部
２３ 表示部
３０ 通信部
３２ データ作成部
３６ 音声入力部
３７ カメラ部

Claims (5)

1. 通信部を有する会議用サーバー装置と、
   該会議用サーバ装置と通信する通信部および表示部を有する主装置と、
   該会議用サーバ装置と通信する通信部を有する端末装置とを含む会議支援システムであって、
   前記端末装置は、少なくとも一部の装置が、検索用データを作成するデータ作成手段および該データ作成手段で作成した検索用データを送信するデータ送信手段をさらに有し、
   前記会議用サーバ装置は、
   通信可能な状態の端末装置のうちから、前記データ作成手段および前記データ送信手段を有する端末装置を抽出する端末抽出手段と、
   前記端末抽出手段で抽出した前記端末装置を、入力用端末装置として設定する端末設定手段と、
   該端末設定手段によって設定された前記入力用端末装置の前記データ送信手段から送信される検索用データを受信するデータ受信手段と、
   受信した検索用データを用いて検索を実行する検索手段と、
   該検索手段が検索を実行して得られた検索結果を表す検索結果データを、前記主装置へ送信する検索結果送信手段とをさらに有し、
   前記主装置は、
   前記会議用サーバ装置から送信される前記検索結果データを受信する検索結果受信手段と、
   受信した前記検索結果データが表す検索結果を、前記表示部に表示させる表示制御手段とをさらに有することを特徴とする会議支援システム。
2. 通信部および表示部を有する主装置と、
   該主装置と通信する通信部を有する端末装置とを含む会議支援システムであって、
   前記端末装置は、少なくとも一部の装置が、検索用データを作成するデータ作成手段および該データ作成手段で作成した検索用データを送信するデータ送信手段をさらに有し、
   前記主装置は、
   通信可能な状態の端末装置のうちから、前記データ作成手段および前記データ送信手段を有する端末装置を抽出する端末抽出手段と、
   前記端末抽出手段で抽出した前記端末装置を、入力用端末装置として設定する端末設定手段と、
   該端末設定手段によって設定された前記入力用端末装置の前記データ送信部から送信される検索用データを受信し、該検索用データを外部の検索装置へ転送するデータ転送手段と、
   外部の検索装置から送信される検索結果データを受信する検索結果受信手段と、
   受信した前記検索結果データが表す検索結果を、前記表示部に表示させる表示制御手段とをさらに有することを特徴とする会議支援システム。
3. 前記入力用端末装置は、音声入力手段と、該音声入力手段に入力された音声データをテキストデータに変換する音声テキスト化手段とをさらに有し、前記データ作成手段が、該音声テキスト化手段によって作成されたテキストデータを用いて前記検索用データを作成することを特徴とする請求項１または２に記載の会議支援システム。
4. 前記会議用サーバ装置は、音声データをテキストデータに変換する音声テキスト化手段をさらに有し、
   前記入力用端末装置は、音声入力手段をさらに有し、該音声入力手段に入力された音声データを、前記データ送信手段によって、検索用データとして前記会議用サーバ装置へ送信し、
   前記会議用サーバ装置が、前記音声テキスト化手段によって、受信した前記音声データからテキストデータを作成し、該テキストデータを用いて前記検索手段が検索を実行することを特徴とする請求項１に記載の会議支援システム。
5. 前記入力用端末装置は、画像データを取得する画像取得手段をさらに有し、前記データ作成部は、該画像取得手段が取得した画像データを用いて、前記検索用データを作成することを特徴とする請求項１〜４のいずれか１つに記載の会議支援システム。

Images