JP6914154B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

Description

本発明は、表示制御装置等に関する。

従来から、会議等の議事録を生成する装置が提案されている。例えば、実施した会議の情報を、アイコンを用いて時系列に表現し、各アイコンは議論内容および参照資料へリンクさせるようにして、一見して会議の状況及び参照資料が把握できると共に、所望の情報に容易にアクセスすることを可能とする発明が提案されている（例えば、特許文献１）。

特開２０１３−２２２３４７号公報

前述した特許文献１によれば、実際に会議中に話された内容を確認するには、アイコンをクリックすることによって再生される音声を再生しなければならない。また、テキストベースの議事録が表示されておらず、議事録を参照する際に、別の操作が必要となる。この場合、会議の全体の様子と、要約とを比較したい場合は、様々な操作が必要で、利便性が高くない。

上述した課題に鑑み、本発明の目的は、入力されたメッセージの中から必要なメッセージを抽出して表示することにより、利用者がメッセージの内容を容易に確認することができる表示制御装置等を提供することである。

上述した課題を解決するために、本発明の表示制御装置は、
入力されたメッセージを記憶するメッセージ記憶部と、
前記メッセージに属性情報を付加する属性情報付加部と、
前記メッセージを時系列に表示する第１表示領域と、前記メッセージの中から、前記属性情報に基づき抽出したメッセージを表示する第２表示領域とを有する第１表示画面を表示する制御を行う表示制御部と、
を備えたことを特徴とする。

本発明の表示制御方法は、
入力されたメッセージを記憶するメッセージ記憶ステップと、
前記メッセージに属性情報を付加する属性情報付加ステップと、
前記メッセージを時系列に表示する第１表示領域と、前記メッセージの中から、属性情報が付加されたメッセージを抽出して表示する第２表示領域とを有する第１表示画面を生成し、当該第１表示画面を表示する表示制御ステップと、
を含むことを特徴とする。

本発明のプログラムは、
コンピュータに、
入力されたメッセージを記憶するメッセージ記憶機能と、
前記メッセージに属性情報を付加する属性情報付加機能と、
前記メッセージを時系列に表示する第１表示領域と、前記メッセージの中から、属性情報が付加されたメッセージを抽出して表示する第２表示領域とを有する第１表示画面を生成し、当該第１表示画面を表示する表示制御機能と、
を実現させることを特徴とする。

本発明によれば、入力されたメッセージの中から、属性情報が付加されたメッセージを抽出して、メッセージを時系列に表示する領域とは別の領域に表示することとなる。したがって、利用者は、抽出されたメッセージを確認することにより、容易に入力されたメッセージの内容を確認することが可能となる。

第１実施形態における会議支援システムの概要を説明するための図である。 第１実施形態における表示装置の機能構成を説明するための図である。 第１実施形態における（ａ）基本情報、（ｂ）議題情報、（ｃ）メンバ情報のデータ構成の一例を示した図である。 第１実施形態におけるメッセージ情報のデータ構成の一例を示した図である。 第１実施形態におけるキャプチャ情報のデータ構成の一例を示した図である。 第１実施形態におけるメイン処理を説明するための動作フローである。 第１実施形態における会議記憶処理を説明するための動作フローである。 第１実施形態におけるサマライズ画面表示処理を説明するための動作フローである。 第１実施形態におけるサマライズ画面表示処理を説明するための動作フローである。 第１実施形態における要約表示処理を説明するための動作フローである。 第１実施形態における詳細画面表示処理を説明するための動作フローである。 第１実施形態における動作例（会議画面）を説明するための図である。 第１実施形態における動作例（サマライズ画面）を説明するための図である。 第１実施形態における動作例（サマライズ画面）を説明するための図である。 第１実施形態における動作例（サマライズ画面）を説明するための図である。 第１実施形態における動作例（サマライズ画面）を説明するための図である。 第１実施形態における動作例（サマライズ画面、詳細画面）を説明するための図である。 第２実施形態における動作例（サマライズ画面、詳細画面）を説明するための図である。

以下、図面を参照して本発明を実施するための一実施形態について図面を参照して説明する。なお、本実施形態としては、一例として、本発明における表示制御装置を含む会議支援システムについて説明する。

［１．第１実施形態］
［１．１ 全体構成］
まず、本発明の表示制御装置を含む表示装置１０と、サーバ装置２０と、端末装置３０と含む会議支援システム１を図１に示す。会議支援システム１において、表示装置１０と、サーバ装置２０と、端末装置３０とはネットワークＮＷ（ＬＡＮ（Local Area Network））を介して接続されている。なお、端末装置３０は複数接続されていてもよい。また、表示装置１０と、サーバ装置２０と、端末装置３０とは同一ネットワークに接続されていることとして説明しているが、外部のネットワークを介して接続されていてもよい。例えば、サーバ装置２０をクラウドに配備してもよい。

表示装置１０は、表示パネルに、コンピュータ等の表示制御装置が接続された装置であったり、単体の装置であったりする。表示装置１０においては、会議資料が表示されたり、資料に対する書き込み操作を受け付けたりすることが可能である。また、会議に関する情報を記憶したり、記憶した情報をサーバ装置２０へ送信したりする。

表示装置１０は、例えば液晶ディスプレイ（ＬＣＤ）や、有機ＥＬパネル（ＯＬＥＤ）といった表示装置であり、タッチ入力が可能なタッチパネルを備えて構成されている。タッチ入力の検出方式としては、静電容量方式のようなタッチパネルであってもよいし、感圧式のタッチパネルであってもよい。すなわち、タッチ入力といった、利用者の操作入力を適宜受け付けることが可能な装置であればよい。また、タッチする方法としては、利用者による指であってもよいし、操作ペンであってもよい。

このように、表示パネルと、表示制御装置とで異なる装置の場合もあれば、表示装置として一体に構成されている場合も含まれる。以下、本実施形態では、説明の都合上、表示装置が表示制御装置の機能を併せて有することとして説明する。

サーバ装置２０は、表示装置１０から受信したサマライズ情報を記憶し、端末装置３０からのサマライズ情報の送信要求に対して、要求されたサマライズ情報を送信する。サーバ装置２０は、コンピュータによって構成されてもよいし、仮想サーバ装置により実現されてもよい。

端末装置３０は、サーバ装置２０から提供されるサービスを利用することが可能な装置であり、本実施形態ではＰＣ（パーソナルコンピュータ）によって実現されているものとする。なお、端末装置３０は、画像を表示可能な携帯型の端末装置であればよく、例えばタブレットやスマートフォンのような小型の装置であってもよい。

［１．２ 機能構成］
表示装置１０の機能構成について、図２に基づいて説明する。表示装置１０は、制御部１００と、表示部１１０と、操作検出部１２０と、画像処理部１３０と、音声入力部１４０と、音声認識部１５０と、通信部１６０と、記憶部１７０とを備えて構成される。

制御部１００は、表示装置１０の全体を制御するための機能部である。制御部１００は、記憶部１７０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Processing Unit）等により構成されている。

表示部１１０は、操作者に対して各種情報を表示したり、オブジェクトが表示されたりする機能部である。また、本実施形態においては、会議において表示される資料の他に、発言を時系列順に表示したタイムラインが併せて表示される。表示部１１０は、例えば、液晶ディスプレイ（ＬＣＤ：liquid crystal display）や、有機ＥＬディスプレイ等により構成されている。

操作検出部１２０は、操作者からの操作を検出するための機能部である。例えば、表示部１１０と一体に構成されるタッチパネルや、ハードウェアボタン等により構成されている。タッチパネルによる操作の検出方式としては、静電容量方式であったり、抵抗膜方式等の感圧式や、赤外線方式、電磁誘導方式であったりと何れの方法であってもよい。

画像処理部１３０は、表示部１１０において表示される画像の処理を実行する機能部である。一般的な画像処理として、例えば画像データを鮮鋭化処理したり、色調整処理したりして出力することができる。

音声入力部１４０は、音声入力装置（例えば、マイク）から入力された音声を、音声データとして出力する機能部である。音声入力部１４０としては、マイク等の音声入力装置が予め備えられていてもよいし、入力ＩＦとして外部マイクやマイクミキサ等が接続されてもよい。

音声認識部１５０は，音声データを認識し、テキストデータに変換し、出力するための機能部である。音声データを認識してテキストデータに変換するために用いる技術としては、いずれか公知の手法を用いればよい。例えば、汎用大語彙連続音声認識エンジンであるＪｕｌｉｕｓ等を用いることができる。また、音声認識を行う外部サービスにネットワークを介して音声データを送信し、外部サービスからの認識結果を受信してもよい。

通信部１６０は、表示装置１０が外部機器と通信を行うための機能部である。例えば、有線／無線ＬＡＮで利用されるＮＩＣ（Network Interface Card）や、３Ｇ／ＬＴＥ回線に接続可能な通信モジュールにより実現されている。

記憶部１７０は、表示装置１０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１７０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。

記憶部１７０には、特に、会議に関する情報である会議情報１７２と、コンテンツデータ１９０とが記憶されている。会議情報１７２には、会議に関する基本的な情報を記憶した基本情報１７４と、会議において議論する内容に関する情報を記憶した議題情報１７６と、利用者の情報を記憶したメンバ情報１７８と、会議においてされた発言を記憶したメッセージ情報１８０と、コンテンツデータをキャプチャしているキャプチャ情報１８２とが含まれている。

会議情報１７２の具体的な内容について、図を参照して説明する。図３（ａ）は基本情報１７４のデータ構造の一例を示した図である。基本情報１７４には、会議を識別するための会議名（例えば、「新製品開発ＭＴＧ」）と、利用者（例えば、「Ａ、Ｂ、Ｃ」）と、会議の開催時に表示する資料（コンテンツデータ）を示す資料データ（例えば、「ＭＴＧ．ｐｐｔ， ＳＨＩＲＹＯ．ｐｎｇ」）と、会議の開始予定時刻と終了予定時刻を示す開催日時（例えば、「２０１７／０９／０１ １３：３０−１４：３０」）とが記憶されている。

資料データは、例えば、プレゼンテーション形式のファイルのデータをそのまま記憶させてもよいし、記憶部１７０のコンテンツデータ１９０として記憶され、当該コンテンツデータ１９０から読み出されたコンテンツデータが資料として表示される。そして、会議情報１７２においては、保存されているコンテンツデータのファイル名やファイルパスを記憶させてもよいし、実ファイルを記憶させてもよい。また、上述した属性に加えて、会議場所や、進捗状況や、音声認識部１５０についての設定情報（例えば、音声認識エンジン名や、認識する言語）といった、会議に関係する属性を記憶させてもよい。

図３（ｂ）は議題情報１７６のデータ構造の一例を示した図である。議題情報１７６には、会議を識別する会議名（例えば、「新製品開発ＭＴＧ」）と、議題を識別する議題名（例えば、「調達部材について」）とが記憶されている。これらの属性に加えて、議題について議論する予定時間や、当該議題に関するキーワードを記憶させてもよい。

図３（ｃ）はメンバ情報１７８のデータ構造の一例を示した図である。メンバとは、会議に参加する個人をいう。メンバ情報１７８には、メンバを識別するメンバ名（例えば、「Ａ」）と、メンバの役職（例えば、「課長」）と、メンバを識別表示するために用いられる画像データ（例えば、「ｓｈａｉｎ＿ａ．ｊｐｇ」）とが記憶されている。これ以外にも、例えば連絡先や、所属部署といった個人に関する情報を記憶させてもよい。

図４は、メッセージ情報１８０のデータ構造の一例を示した図である。メッセージ情報１８０には、会議を識別するための会議名（例えば、「新製品開発ＭＴＧ」）と、議題を識別するための議題名（例えば、「調達部材について」）と、メッセージを識別するためのメッセージ番号（例えば、「３」）と、発言をした発言者や、メッセージの送信者としての発言者（例えば、「Ｃ」）と、発言日時（例えば、「２０１７／０９／０１ １３：４２：３４」）と、メッセージ（例えば、「取引先のＡＢＣ様からもう少し…」）と、メッセージに関する属性情報（例えば、「課題」）とが記憶されている。

ここで、メッセージ関する属性情報とは、利用者又はシステムが付与する属性が記憶される。属性とは、メッセージの内容や重要度等を表すものであり、タグや、評価、フラグ等を付与することができる。例えば、本実施形態では、タグを一例とすると、新たに検討すべき事項を示すタグである「タスク」と、議論に対する結論を示すタグである「結論」と、会議を振り返る場合に参照すべき発言を示す「重要」との３つのうちいずれかをメッセージに付与できることとする。なお、説明のため、タグが付与されない場合を明確にするために、タグが付与されない場合は、メッセージ情報１８０のタグに「なし」と記載することとする。

上述したタグ以外にも、「疑問」、「賛成」、「反対」、「緊急」といったようなタグを付与できてもよく、また１つのメッセージに対して複数のタグを付与してもよい。付与できるタグは利用者によって設定されてもよいし、表示装置１０に予め設定されていてもよい。また、会議や議題毎に付与できるタグが選択できてもよい。

なお、メッセージに属性を付与する方法として、上述したようにタグ以外の方法を用いても構わないことは勿論である。例えば、メッセージに対して重要であるか否かのみを識別するフラグや、「いいね」「Ｇｏｏｄ」「Ｂａｄ」等の評価を用いてもよく、重要度といった値を用いて識別してもよい。

また、発言番号はメッセージを識別できればよく、本実施形態では議題毎に１から始まる連番を付与することとしている。なお、発言番号は、会議毎に１から始まる連番を付与してもよいし、会議開始時間からの経過時間でもよいし、発言日時やメッセージといった属性又はそれらの組み合わせから求められるハッシュ値を発言番号として用いてもよい。

図５は、キャプチャ情報１８２のデータ構造の一例を示した図である。キャプチャ情報１８２には、会議を識別するための会議名（例えば、「新製品開発ＭＴＧ」）と、議題を識別するための議題名（例えば、「調達部材について」）と、キャプチャデータを識別するためのキャプチャ番号（例えば、「１」）と、コンテンツ（資料）がキャプチャされた日時であるキャプチャ日時（例えば、「２０１７／０９／０１ １３：４２：００」）と、コンテンツ（資料）をキャプチャした画像であるキャプチャデータ（例えば、「２０１７０９０１１３４２００．ｊｐｇ」）と、そのキャプチャデータを特定するための特定フラグ（例えば、「Ｏｆｆ」）とが記憶されている。このキャプチャデータを特定するのは、例えば利用者が重要だと判断した場合や、後で利用したいと考えた場合に、フラグが付与される。

本実施形態において、キャプチャデータとは、表示装置１０に表示されているコンテンツを画像データとして表現したものをいう。また、コンテンツとは、会議において利用者に提示される内容をいい、資料データとして記憶されたデータ（ファイル）や、手書き入力された線や文字、アプリケーションの画面をいう。

キャプチャ情報１８２に記憶するキャプチャデータは、画像データをそのまま記憶させてもよいし、記憶部１７０にキャプチャデータの画像データをファイルとして格納する領域を設け、当該領域に保存したファイルのファイル名やファイルパスを記憶させてもよい。

また、特定フラグには、「Ｏｆｆ」又は「Ｏｎ」の何れかが記憶されることとし、特定フラグが「Ｏｎ」であるキャプチャデータは、例えば重要であるキャプチャデータであることを示す。本実施形態においては、キャプチャデータを特定するために、フラグによって示しているが、タグや値によって示してもよい。

また、キャプチャ番号は、本実施形態では議題毎に１から始まる連番を付与することとしているが、会議毎に１から始まる連番を付与してもよいし、会議開始時間からの経過時間でもよいし、キャプチャ日時やキャプチャデータといった属性又はそれらの組み合わせから求められるハッシュ値をキャプチャ番号として用いてもよい。

［１．３ 処理の流れ］
［１．３．１ メイン処理］
つづいて、本実施形態における処理の流れについて、図を参照して説明する。まず、図６を参照して、本実施形態におけるメイン処理について説明する。

まず、会議のメンバの登録を行う（ステップＳ１０２）。例えば、表示装置１０にメンバの登録を行うための画面を表示し、利用者の名前と役職と画像を入力させる。入力後、利用者の名前はメンバ名として、役職は役職名として、画像は画像データとして、メンバ情報１７８に記憶する。

つづいて、会議の登録を行う（ステップＳ１０４）。例えば、表示装置１０に会議の登録のための画面を設け、会議名、参加者（会議に参加する利用者）、資料データ、開催日時及び会議において議論する議題名を入力させる。入力された情報は、基本情報１７４と議題情報１７６とのデータ構造に対応させて記憶する。なお、会議を再開する場合は、既に登録されている会議情報から、再開を所望する会議を選択させてもよい。

つづいて、会議が開始したかを判定する（ステップＳ１０６）。会議の開始については、利用者による会議開始操作がなされた場合に会議を開始してもよいし、基本情報１７４に記憶されている会議の開催日時を読み込み、現在時刻と会議の開始予定時刻とが合致した場合に当該会議を開始してもよい。

会議が開始されたら、当該会議における議題のうち、１番目の議題を現在の議題とする（ステップＳ１０６；Ｙｅｓ→ステップＳ１０８）。ここで、議題の選択とは、発言やコンテンツが、どの議題に関連しているかを指定することであり、指定された議題を現在の議題という。本実施形態においては、会議を開始した直後においてはステップＳ１０４において記憶した議題のうち１番目の議題を現在の議題として選択することとしている。

つづいて、利用者により議題の選択操作がされたかを判定する（ステップＳ１１０）。議題の選択操作がされた場合は、当該選択された議題を現在の議題に変更する（ステップＳ１１０；Ｙｅｓ→ステップＳ１１２）。議題の選択操作は、例えば、ステップＳ１０４で入力された議題名を選択できるリストを表示し、利用者に当該リストに表示された議題名を選択させることにより実現する。

つづいて、会議記憶処理を行う（ステップＳ１１４）。会議記憶処理については後述する。

つづいて、利用者の操作により、サマライズ画面の表示指示がされた場合には、サマライズ画面表示処理を行う（ステップＳ１１６；Ｙｅｓ→ステップＳ１１８）。サマライズ画面表示処理については後述する。

つづいて、会議が終了したかを判定する（ステップＳ１２０）。会議が終了しない場合はステップＳ１１０へ戻り（ステップＳ１２０；Ｎｏ）、会議が終了する場合はメイン処理が終了する（ステップＳ１２０；Ｙｅｓ）。会議の終了については、利用者によって会議終了操作がなされた場合に会議を終了してもよいし、基本情報１７４に記憶されている会議の開催日時を読み込み、現在時刻と会議の終了予定時刻とが合致した場合に当該会議を終了してもよい。

［１．３．２ 会議記憶処理］
つづいて、図７を参照して、会議記憶処理について説明する。会議記憶処理とは、会議中に利用者によってなされた発言や、表示装置１０に表示されたコンテンツを記憶する処理である。会議記憶処理を会議の開始から終了に至るまで繰り返し行うことで、会議の内容を表示装置１０に記憶することができる。

はじめに、利用者によって発言がされたかを判定する（ステップＳ１５２）。例えば、音声入力部１４０に入力された音声信号が所定の音量以上であった状態が所定の長さ継続した場合に、発言がされたと判定すればよい。この場合、環境音やささやき声によっては発言がされたとは判定されず、また、大きな物音がしても、それが短い間に発音された場合には発言がされたとは判定されない。

発言がされた場合は、当該発言を音声認識することで発言をテキストデータ化する（ステップＳ１５２；Ｙｅｓ→ステップＳ１５４）。さらに、当該テキストデータをメッセージとして、会議名と、議題名と、発言者と、発言番号とともに、メッセージ情報１８０に記憶する（ステップＳ１５６）。なお、タグは「なし」として記憶（すなわち、メッセージに属性は付与されずに記憶）する。

発言者の特定は、例えば利用者ごとにマイクが割り当てられている場合は、音声入力部１４０に入力された信号の出力元を特定することによって行う。マイクミキサなどを用いていて、複数の利用者の音声信号が音声入力部１４０に入力される場合は、公知の話者認識によって発言者を特定してもよいし、ユーザの操作によって発言者を特定してもよい。

つづいて、タイムラインに表示されている発言に対して利用者による発言に対するタグ付け操作がされた場合は、メッセージ情報１８０から対応するメッセージを抽出し、タグを付与して更新する（ステップＳ１５８；Ｙｅｓ→；ステップＳ１６０）。タグ付け操作については後述する。

つづいて、メッセージ情報１８０に基づき、タイムラインを更新する（ステップＳ１６２）。すなわち、メッセージ情報１８０にメッセージが記憶されたり、既存のメッセージにタグが付与されたりした場合にタイムラインを更新する。具体的には、メッセージが記憶されたら、記憶されたメッセージをタイムラインに表示し、タグ付け操作されたら、当該メッセージを識別表示する。メッセージの識別表示としては、背景色や文字色を変えたり、付与されたタグを表すアイコンを表示したりしてもよく、これらを組み合わせてもよい。

つづいて、コンテンツキャプチャ条件に該当するかを判定し、コンテンツキャプチャ条件に該当する場合は、表示装置１０に表示されているコンテンツをキャプチャして、キャプチャ情報１８２に記憶する（ステップＳ１６４；Ｙｅｓ→；ステップＳ１６６）。キャプチャ情報１８２の記憶については、コンテンツをキャプチャすることで取得されるキャプチャデータとともに、会議名と、議題名と、キャプチャ番号と、キャプチャを行った日時とを記憶する。

コンテンツキャプチャ条件としては、例えば以下のものが挙げられる。
（１）コンテンツ（資料）のページめくりが起きたとき
（２）コンテンツ（資料）を閉じるとき
（３）コンテンツに手書き入力がされたとき
（４）アクティブウィンドウが変更されたとき
（５）新たなウィンドウが開かれたとき
（６）サマライズ画面の表示指示がされたとき
上述したコンテンツキャプチャ条件以外にも必要な条件を追加してもよい。また、複数の条件を組み合わせてもよい。これらの条件を満たしたタイミングで、コンテンツがキャプチャされ、キャプチャデータ（キャプチャ画像）が生成される。

つづいて、コンテンツ（コンテンツに基づくキャプチャデータ）に対して、コンテンツの特定操作がされたか否かを判定する（ステップＳ１６８）。コンテンツの特定操作がされた場合は、当該コンテンツに対応するキャプチャデータの特定フラグを更新する（ステップＳ１７０）。コンテンツの特定操作としては、例えば利用者によって、コンテンツに対して重要であることを示すボタンを選択する操作であってよい。

つづいて、会議情報１７２をサーバ装置２０へ送信する。すなわち、サーバ装置２０の記憶部にも表示装置１０の記憶部に記憶された内容と同一の内容を保存する。これにより、表示装置１０が動作していない状態であっても、会議支援システムの利用者は端末装置３０からサーバ装置２０へ接続することで、会議情報を確認することが可能となる。

［１．３．３ サマライズ画面表示処理］
つづいて、図８と図９を参照して、サマライズ画面表示処理について説明する。サマライズ画面とは、利用者が、会議の情報と会議の要約とを閲覧する場合に表示する画面である。

本実施形態において、サマライズ画面の生成は、タグが付与されたメッセージと、重要なキャプチャデータとを抽出し、表示することによって行う。このとき、タグが付与されたメッセージは、タグ毎に分類して表示可能である。

はじめに、閲覧の対象となる会議の会議情報１７２を読み込む（ステップＳ２０２）。つづいて、会議情報１７２に含まれる基本情報１７４から会議名と利用者とを読み込み、議題情報１７６から会議における議題名を読み込み、メンバ情報１７８から会議に参加した利用者の画像データを読み込み、表示する（ステップＳ２０４）。

つづいて、会議のキャプチャ情報１８２を読み込み、キャプチャデータを縮小してサムネイルの画像を生成し、当該生成されたサムネイルを表示する（ステップＳ２０６）。なお、サムネイルは、キャプチャデータ記憶時や会議終了時にキャプチャデータから生成して記憶されてもよい。

つづいて、サマライズ画面を表示するために、要約表示処理を行う（ステップＳ２０８）。要約表示処理については後述する。

つづいて、選択された議題についてのメッセージを、メッセージ情報１８０から読み込む（ステップＳ２１０）。なお、初めてステップＳ２１０の処理を行う場合など、議題の選択がされていない場合は、会議における１番目の議題が選択されたとして後続の処理を行ってもよいし、議題が選択されるまで処理を停止してもよい。

つづいて、サムネイル表示されたキャプチャデータに識別表示されているものがあるかを判定する（ステップＳ２１２）。識別表示されているものがない場合は、選択された議論における１番目のキャプチャデータを識別表示し、当該１番目のキャプチャデータのキャプチャ日時以降における最初の発言を選択する（ステップＳ２１２；Ｙｅｓ→ステップＳ２１４）。

キャプチャデータの識別表示としては、サムネイルを他のサムネイルよりも拡大して表示したり、サムネイルの周囲に表示する枠線の色や太さを変えたりしてもよく、これらを組み合わせてもよい。また、発言の識別表示としては、発言を表示する領域の背景を変えたり、当該領域の周囲に表示する枠線の色や太さを変えたりしてもよく、これらを組み合わせてもよい。

つづいて、別の議題に切替えられたかを判定する（ステップＳ２１６）。例えば、別の議題に切替える操作としては、例えば議題名を選択できるリストを表示し、当該リストに表示された議題名を選択するといった操作が考えられる。別の議題に切替えられた場合は、ステップＳ２１０の処理を行う（ステップＳ２１６；Ｙｅｓ→ステップＳ２１０）。

なお、議論が切り替えられた場合は、キャプチャデータが選択されていない状態に変えてもよい。キャプチャデータが選択されていない状態とすることで、ステップＳ２１４の処理を行うこととなり、選択された議題における１番目のサムネイルと、対応する発言とが選択される状態とすることができる。

つづいて、メッセージの絞込み条件が指定されたかを判定する（ステップＳ２１８）。メッセージの絞込み条件としては、例えば、タグ付けされたメッセージ、特定の利用者のメッセージ、指定した文字列を含むメッセージ等が考えられる。また、画面上には、絞り込むためのボタンやフィールドを設け、利用者によってメッセージの絞込み条件を指定できるようにする。

メッセージの絞込み条件が指定されている場合は、ステップＳ２１０で読み込んだメッセージのうち、絞込みの条件に合致したメッセージを抽出する（ステップＳ２１８；Ｙｅｓ→ステップＳ２２０）。メッセージの絞込みが指定されていない場合は、ステップＳ２１０で読み込んだメッセージの全てを抽出する（ステップＳ２１８；Ｎｏ→ステップＳ２２２）。

つづいて、抽出したメッセージを表示する（ステップＳ２２４）。このとき、メッセージの性質によって表示形態を変えてもよい。例えば、タグがついているメッセージである場合は、それを示す表示として、発言を表示する領域の背景を変えたり、当該領域の周囲に表示する枠線の色や太さを変えたり、文字の太さを変えてもよく、これらを組み合わせてもよい。

なお、本実施形態では、選択された議題に関するメッセージ情報１８０を読み込み、その後に絞込みを行うが、メッセージを絞り込んで表示することができれば別の方法によって実現されても構わないことは勿論である。例えば、議論の選択及び絞込みの条件が指定されるたびに、メッセージ情報１８０から、条件に合致する発言を抽出して表示してもよい。

つづいて、ステップＳ２２４で表示された発言のうちの１つの発言が選択する操作がされたかを判定する（ステップＳ２２６）。発言が選択された場合は、これまで選択されていた発言に代わって、当該選択された発言に対して識別表示を行う。また、その発言がされたときにおけるキャプチャデータを識別表示する（ステップＳ２２６；Ｙｅｓ→ステップＳ２２８）。なお、選択されたメッセージの横に、識別表示されたキャプチャデータが表示されるように、キャプチャデータの表示位置を変更（スクロール）してもよい。

つづいて、ステップＳ２０６で表示したキャプチャデータが選択されたかを判定する（ステップＳ２３０）。キャプチャデータが選択された場合は、当該選択されたキャプチャデータが既に識別表示されていたか判定する（ステップＳ２３０；Ｙｅｓ→ステップＳ２３２）。既に識別表示されていたキャプチャデータを選択した場合は、詳細表示処理を行う（ステップＳ２３２；Ｙｅｓ→ステップＳ２３４）。詳細表示処理については後述する。

識別表示がされていないキャプチャデータを選択した場合は、これまで識別表示されていたキャプチャデータは通常の表示に戻して、選択されたキャプチャデータに対して識別表示を行う。また、そのキャプチャデータのキャプチャ日時以降における最初の発言を選択し、識別表示する（ステップＳ２３２；Ｎｏ→ステップＳ２３６）。

つづいて、終了操作がされたかを判定する（ステップＳ２３８）。終了操作とは、例えば、サマライズ画面を閉じる操作であったりする。終了操作がされた場合は、サマライズ画面表示処理を終了する（ステップＳ２３８；Ｙｅｓ）。それ以外の場合は、ステップＳ２１６の処理を行う（ステップＳ２３８；Ｎｏ→図８ステップＳ２１６）。

［１．３．４ 要約表示処理］
つづいて、図１０を参照して、要約表示処理について説明する。要約表示とは、特定のメッセージ（例えば、重要なメッセージや、利用者が表示させたいメッセージ等）と、特定のキャプチャデータ（例えば、重要なキャプチャデータや、利用者が表示させたいキャプチャデータ等）をまとめて表示することをいう。

はじめに、会議名に基づき議題情報１７６を読み込み、その会議における議題名を抽出する（ステップＳ２５２）。つづいて、抽出した議題名のうち、１番目の議題名を抽出し（ステップＳ２５４）、会議名と議題名とを用いて、メッセージ情報１８０に記憶されているメッセージのうち、タグが付与されたメッセージを抽出する。

つづいて、抽出されたメッセージをタグの種類ごとにまとめて表示する（ステップＳ２５８）。例えば、タグが「結論」であるメッセージを表示し、その次にタグが「タスク」であるメッセージを表示する。これにより、メッセージを全て確認しなくても、重要なメッセージだけを確認する事が可能となる。また、タグが「重要」であるメッセージは表示しないなど、タグによって表示の有無を指定してもよい。表示するタグの種類は、利用者によって指定されてもよいし、表示装置１０に予め設定されていてもよい。

つづいて、会議名と議題名に基づき重要なキャプチャデータを表示する。すなわち、キャプチャ情報１８２から、特定フラグが「Ｏｎ」となっているキャプチャを抽出し表示する。これにより、全てのキャプチャデータを確認しなくても、重要なキャプチャデータだけを確認することが可能となる。

つづいて、全ての議題名を抽出したかを判定する（ステップＳ２６２）。全ての議題名を抽出していない場合は、次の議題名を抽出して、ステップＳ２５６に戻る（ステップＳ２６２；Ｙｅｓ→ステップＳ２６４）。すなわち、その会議における全ての議題に対して、重要なメッセージ及び重要なキャプチャデータの表示を行う。全ての議題名を抽出した場合は、要約表示処理を終わる（ステップＳ２６２；Ｙｅｓ）。

［１．３．５ 詳細表示処理］
つづいて、図１１を参照して、詳細表示処理について説明する。詳細表示画面とは、キャプチャデータと、そのキャプチャデータに基づく発言とを確認するための画面である。

はじめに、詳細表示画面を表示する（ステップＳ３０２）。例えば、詳細表示画面がサマライズ画面と重なるように、ダイアログ形式で表示すればよい。

つづいて、選択されたキャプチャデータと前後のキャプチャデータとを表示する（ステップＳ３０４）。ここで、選択されたキャプチャデータとは、図９のステップＳ２３０において選択されたキャプチャデータか、後述するステップＳ３０８によって選択されたキャプチャデータの何れかである。また、当該選択されたキャプチャデータの前後のキャプチャデータ、すなわち、時系列にキャプチャデータを並べたときに、当該選択されたキャプチャデータの前後に位置するキャプチャデータも読み込んで表示する。これにより、キャプチャデータの前後関係を表示することができる。

つづいて、選択されたキャプチャデータに対応するメッセージを表示する。例えば、選択されたキャプチャデータのキャプチャ日時と、その前にキャプチャされたキャプチャデータのキャプチャ日時の間に記憶されたメッセージを表示する。これにより、選択されたキャプチャが記憶されるまでにされた発言等を確認することができる。

つづいて、選択されたキャプチャデータの前後のキャプチャデータが選択された場合は、ステップＳ３０４へ戻り、新たに選択されたキャプチャデータ及びその前後のキャプチャデータとメッセージを表示する（ステップＳ３０８；Ｙｅｓ→ステップＳ３０４）。そうでない場合は、詳細表示画面を閉じる操作がされたかを判定し、閉じる操作がされた場合は、詳細表示画面を非表示にする（ステップＳ３１０；Ｙｅｓ→ステップＳ３１２）。

［１．４ 動作例］
つづいて、第１実施形態における動作例（画面例）を、図を参照して説明する。はじめに会議画面について説明する。会議画面とは会議において議論を進めているとき等に表示される画面であり、会議画面の一例である表示画面Ｗ１００を図１２（ａ）に示す。

図１２（ａ）に示すように、表示画面Ｗ１００には、コンテンツ表示領域Ｒ１００と、タイムライン領域Ｒ１１０と、議題を選択するための議題リストＬ１２０と、サマライズ画面表示指示を行うためのサマライズボタンＢ１２０とが表示されている。

コンテンツ表示領域Ｒ１００には、コンテンツＣ１００と、重要コンテンツ指定操作を行うためのボタンＢ１００とが表示されている。コンテンツＣ１００は、利用者による操作によりページ送りや手書き入力が可能である。また、ボタンＢ１００に対する操作（例えば、タッチ操作）により、コンテンツＣ１００のキャプチャデータを特定すること（例えば、重要なキャプチャデータであることを特定すること）ができる。

タイムライン領域Ｒ１１０には、メッセージが時系列に表示されている。本実施形態では、メッセージ毎に、メンバを識別する画像Ｓ１１２と、メッセージＳ１１４と、メッセージに付与されたタグを示すタグ画像Ｓ１１６とによって構成されるメッセージ領域Ｓ１１０を生成し、タイムライン領域Ｒ１１０に追加する。

メッセージ領域Ｓ１１０をタイムライン領域Ｒ１１０に追加する場合は、タイムライン領域Ｒ１１０の一番下に追加してもよいし、一番上に追加してもよい。また、タイムライン領域Ｒ１１０にメッセージ領域Ｓ１１０を追加する領域がない場合は、すでに表示されているメッセージ領域Ｓ１１０をスクロールさせ、新たに追加されるメッセージ領域Ｓ１１０がタイムライン領域Ｒ１１０の一番上又は一番下に表示させる。

ここで、メッセージに対する属性の付与方法の１つとして、タグの付与の操作について、図１２（ｂ）〜（ｄ）を参照して説明する。はじめに、利用者はタグを示す画像Ｓ１１６を長押しする（図１２（ｂ））。長押しをすると、タグ選択領域Ｓ１１８が表示される（図１２（ｃ））。タグ選択領域Ｓ１１８に表示されたタグを選択することで、メッセージにタグが付与され、識別表示がされる（図１２（ｄ））。既に付与したタグを変更する場合も、上述した操作によって新たに付与するタグを選択することが可能である。

また、利用者によってタグを示す画像Ｓ１１６が選択され、タグ選択領域Ｓ１１８を表示する前に選択状態が解除された場合には、タグを示す画像Ｓ１１６に対応するタグをメッセージに付与してもよい。なお、このような操作がされた場合に付与するタグは、表示装置１０に予め設定されていてもよいし、利用者によって設定されてもよい。

なお、メッセージ領域Ｓ１１０が識別表示されていないときに、画像Ｓ１１６として、タグ選択領域Ｓ１１８を用いないで付与するタグを示す画像を表示してもよい。本実施形態では、メッセージ領域Ｓ１１０が識別表示されていないときは、当該付与するタグの輪郭を表示している。

また、タグの付与を取り消す場合の操作については、図１２（ｅ）に示すようにメッセージを長押しする。長押しした結果、タグの付与が取り消され、図１２（ｆ）に示すように、メッセージの識別表示がされなくなる。

議題リストＬ１２０は、リストを選択（例えば、タッチ操作）することでリストが展開され、開催している会議における議題名が一覧表示されるリストである。また、一覧表示された議題名から１つの議題名を選択することで、議題を変更することができる。議題が変更された場合は、タイムライン領域Ｒ１１０は、当該議題におけるメッセージが表示される。

つづいて、サマライズ画面について説明する。サマライズ画面はサマライズ画面表示処理が実行されることにより表示される画面である。

はじめに、サマライズの一例である表示画面Ｗ２００を図１３に示す。表示画面Ｗ２００は、会議名、日時といった会議の基本情報を表示する領域Ｒ２００と、要約領域Ｒ２１０と、タイムライン領域Ｒ２２０と、サムネイル領域Ｒ２３０と、議題を選択するための議題リストＬ２４０と、メッセージの絞込みを行うボタンＢ２４０及びＢ２４２と、スクロールバーＢ２４４とから構成される。すなわち、表示画面Ｗ２００には、第１表示領域として、タイムライン領域Ｒ２２０（サムネイル領域Ｒ２３０）が、第２表示領域として要約領域Ｒ２１０が設けられている。

要約領域Ｒ２１０には議題毎に要約が表示される。また、要約の表示は、議題名を表示する領域Ｒ２１２と、タグが付与されたメッセージをタグの種類別に表示する領域Ｒ２１４と、重要キャプチャデータを表示する領域Ｒ２１６とから構成される。要約が要約領域Ｒ２１０に表示しきれない場合は、要約領域Ｒ２１０をスクロールさせることにより、表示されていなかった要約を表示させることができる。

タイムライン領域２２０には、議題リストＬ２４０で選択された議題におけるメッセージが時系列順に表示される。また、サムネイル領域Ｒ２３０は、会議におけるキャプチャデータが、時系列順にサムネイル表示で表示される。

サムネイル領域Ｒ２３０に表示されるキャプチャデータは、スクロールバーＢ２４４を操作することで変更することが可能である。このとき、識別表示されるキャプチャデータは、スクロールバーＢ２４４のつまみの位置によって変わる。また、それまで選択していた議題と異なる議題に関するキャプチャデータが識別表示された場合は、対応する議題を議題リストＬ２４０に表示させたり、対応する議題が要約領域Ｒ２１０に表示されるように要約領域Ｒ２１０をスクロールさせたりする。

さらに、スクロールバーＢ２４４の内部の余白部分に、タグ付けされたメッセージの位置を表示してもよい。これにより、利用者は、タグが付与されたメッセージを表示しようとする場合に、スクロールバーＢ２４４の表示を参考につまみを操作することが可能となる。

つづいて、メッセージの絞込みについて図１４を参照して説明する。図１４（ａ）はメッセージの絞込みを行うボタンＢ２４２を選択している状態における動作例である。ここで、ボタンＢ２４２は、タグが付与されたメッセージのみを表示することを指示するボタンである。

ボタンＢ２４２を選択した後の動作例を図１４（ｂ）に示す。ここで、ボタンＢ２４２の表示形態を変えることで、当該ボタンＢ２４２が選択されていることを示す。また、ボタンＢ２４２が選択されたことにより、タイムライン領域Ｒ２２０には、タグが付与されたメッセージに絞り込んで表示される。また、サムネイル領域Ｒ２３０は、タグが付与されたメッセージに対応するキャプチャデータのみが表示される。

なお、再度ボタンＢ２４２を選択することで、ボタンＢ２４２の選択されている状態が解除される。このとき、タグが付与されたメッセージ及び対応するキャプチャデータのみを表示するという指示が解除される。したがって、タイムライン領域Ｒ２２０には全てのメッセージが表示され、サムネイル領域Ｒ２３０には全てのキャプチャデータが表示されることとなる。

ボタンＢ２４０は、メッセージを発言者によって絞り込んで表示することを指示するボタンであり、利用者の画像が表示される。選択時の操作はボタンＢ２４２と同じであり、選択された利用者のメッセージのみがタイムライン領域Ｒ２２０に表示される。

なお、ボタンＢ２４０と、ボタンＢ２４２とは、同時に一つのボタンしか選択できなくてもよいし、同時に複数のボタンが選択できてもよい。複数のボタンが選択された場合は絞り込み条件を組み合わせてメッセージの絞込みを行う。また、上述したボタン以外にも、指定した文字列が含まれるメッセージを絞り込んで表示するためのテキストフィールドを表示してもよい。

つづいて、メッセージを選択した場合の挙動について図１５を参照して説明する。図１５（ａ）はタイムライン領域２４０に表示されたメッセージ領域Ｓ２０２を選択している状態を示した図である。また図１５（ｂ）はメッセージ領域Ｓ２０２を選択した後の状態を示した図である。

メッセージを選択した場合は、メッセージ領域Ｓ２０２が識別表示され、それまで識別表示されていたメッセージ領域Ｓ２００の識別表示が解除される。また、メッセージ領域Ｓ２０２のメッセージに対応するキャプチャデータＴ２０２が識別表示され、メッセージ領域Ｓ２０２の横に位置するようにスクロールする。このとき、それまで識別表示されていたキャプチャデータＴ２００の識別表示が解除される。

すなわち、メッセージを選択することで、対応するキャプチャデータが識別表示されるとともに、選択したメッセージの横に移動する。この動作により、発言がされた時に表示されていたコンテンツを容易に参照することができる。

つづいて、識別表示がされていないキャプチャデータを選択した場合の挙動について図１６を参照して説明する。図１６（ａ）は識別表示されていないキャプチャデータＴ２１２を選択している状態を示した図である。また図１６（ｂ）はキャプチャデータＴ２１２を選択した後の状態を示した図である。

キャプチャデータＴ２１２を選択することで、それまで識別表示されていたキャプチャデータＴ２１０に代わって、キャプチャデータＴ２１２が識別表示される。また、選択したキャプチャデータに対応するメッセージＳ２１０が、キャプチャデータＴ２１２横に位置するようにスクロールし、当該メッセージＳ２１０が識別表示される。この動作により、コンテンツに対応するメッセージを容易に参照することができる。

つづいて、識別表示がされているキャプチャデータを選択した場合の挙動について図１７を参照して説明する。図１７（ａ）は識別表示されているキャプチャデータＴ２２０を選択している状態を示した図である。また図１７（ｂ）はキャプチャデータＴ２２０を選択した後の状態を示した図である。

識別表示がされているキャプチャデータを選択することで詳細表示処理が実行され、サマライズ画面に重なるように、詳細画面の表示画面Ｗ３００が表示される。表示画面Ｗ３００には、選択されたキャプチャデータＲ３００と、その前後のキャプチャデータＲ３０２及びＲ３０４とが表示される。また、選択されたキャプチャデータＲ３００に対応するメッセージがＲ３０６に表示される。

前後のキャプチャデータＲ３０２又はＲ３０４のいずれかが選択されることにより、詳細表示処理を再度実行し、表示画面Ｗ３００を更新する。また、詳細画面を閉じるためのボタンＢ３００が選択された場合は、詳細画面を非表示にする。

［２．第２実施形態］
つづいて、第２実施形態について説明する。第２実施形態は、音声を録音データとして記憶し、サマライズ画面において録音データを再生する実施形態である。なお、本実施形態における機能構成及び処理フローは、第１実施形態と原則同じであるため、相違する点を中心に説明する。

本実施形態では、メッセージ情報１８０に、音声データを追加する。また、ステップＳ１５４において、音声認識部１５０に入力した音声を記憶する。すなわち、メッセージと音声データとが関連付けられる。

また、サマライズ画面又は詳細画面においては、メッセージを表示する領域に、音声データを再生するためのボタンを表示する。利用者はこのボタンを選択することで、音声データを再生することが可能となる。

図１８を参照して動作例を説明する。図１８（ａ）はサマライズ画面の動作例であり、メッセージ領域に音声データを再生するためのボタンＢ４００を表示する。また、図１８（ｂ）は詳細画面の動作例であり、メッセージが表示されている領域に、音声データを再生するためのボタンＢ４０２を表示する

なお、上述した実施形態では、１つのメッセージ毎に１つの音声データが対応付けられるが、会議毎又は議題毎の録音データを用いてもよい。この場合は、発言日時とともに発言終了日時（または発言の長さ）や、議題の開始時間を記憶し、音声データの再生開始位置と再生停止位置を制御することで、メッセージ単位の音声データの再生が可能である。

このように、本実施形態によれば、メッセージと併せて音声データを確認することができる。したがって、発言されたときの雰囲気といった、メッセージのみでは捉えることが難しい情報を認識することができ、会議の内容について、深く理解することが可能となる。

［３．第３実施形態］
つづいて、第３実施形態について説明する。第３実施形態は、音声入力及び音声認識を行わない実施形態である。なお、本実施形態における機能構成及び処理フローは、第１実施形態と原則同じであるため、相違する点を中心に説明する。

表示装置１０は、利用者から入力されるメッセージ（例えば、テキストデータ）を受信する。メッセージの受信は、通信部１６０を介してもよいし、表示装置１０に接続された入力装置によってもよい。

また、図７の会議記憶処理において、ステップＳ１５２〜ステップＳ１５６は、メッセージが入力された場合は、当該入力されたメッセージをメッセージ情報１８０に記憶する動作に置き換える。

このように、本実施形態によれば、利用者から入力されたメッセージに基づいて要約を行うことが可能となる。したがって、テキストチャットによるミーティングや、音声認識が実行できない環境下において有効な実施形態である。

［４．第４実施形態］
つづいて、第４実施形態について説明する。第４実施形態は、会議記憶処理において、メッセージに自動的にタグを付与する実施形態である。なお、本実施形態における機能構成は、第１実施形態と同じであるため、相違する点を中心に説明する。

本実施形態では、会議記憶処理のステップＳ１５４において、音声認識部１５０から出力されるテキストデータや、発言時に表示装置１０に対して行われた操作に基づいて、発言に対するタグ付けを行った後にメッセージを記憶する。

メッセージにタグを付与する方法としては、例えばメッセージ中においてタグ認識語句が含まれているか否かによって判定される。タグ認識語句は、あらかじめ記憶部１７０に記憶されていてもよいし、利用者により入力されてもよい。タグ認識語句は、付与されるべき属性ごとに記憶されている。例えば、タグ「タスク」に対応するタグ認識語句として「締め切り」「期日」「やるべきこと」といったものが記憶されている。

そして、メッセージに、上述したタグ認識語句が含まれている場合には、当該メッセージには自動的に対応する属性情報（タグ）が付与される。なお、タグ認識語句は１つであってもよいし、複数記憶されていてもよい。また、それぞれメッセージごとに重みをつけてタグが判定されてもよいし、機械学習によって付与されてもよい。

また、表示装置１０に対して行われた操作としては、資料の表示の拡大操作や、資料に対する描画操作、発言中に表示装置１０の表示内容が重要なものであるとする操作等が考えられ、このような操作がされたときにされた発言は適切なタグを付与してもよい。

上述した方法以外の方法でタグを付与しても構わないことは勿論である。例えば、メンバ情報１７８に記憶された役職の情報に基づいて、発言を重要とするかの判断基準を調整してもよい。

また同様に、キャプチャデータに対しても自動的に特定フラグを設定してよい。例えば、コンテンツに対する描画操作の数や、表示時間、表示時の発言の大きさ等からコンテンツの重要度を算出し、当該重要度が所定の閾値を超えた場合に特定フラグを「Ｏｎ」にすることが考えられる。

このように、本実施形態によれば、タグを付与する操作がされなかった場合であっても、表示装置１０により、発言に対して自動的にタグが付与される。したがって、会議に集中したりしてタグを付与する操作ができなかったり、タグを付与する操作をすることで会議の進行に影響が出てしまうといったことを防ぐことができ、利便性の向上が期待できる。

このように、上述した実施形態によれば、会議システムの利用者が、今までの発言（メッセージ）を、サマライズ画面を見ることで、容易に把握することができる。とくに、会議システムの利用者として、会議に参加していた利用者（参加者）と、会議に参加できなかった利用者がいた場合、会議に参加できかった利用者がサマライズ画面を確認することで、容易に会議の流れを確認することができる。また、参加者も、後で会議の流れを容易に振り返ることができる。

［５．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

また、上述した実施形態では、発話者が発話した内容を音声認識して表示することとして説明したが、音声認識をしなくてもよい。すなわち、テキスト入力によりメッセージ入力をし、当該メッセージに基づいて上述の実施形態の内容が実現されてもよい。

また、上述した実施形態では、同じ言語（例えば日本語）で表示されることとして説明したが、各メッセージを翻訳し表示してもよい。例えば、タグが付与されたメッセージについて他の言語（例えば、英語、ドイツ語、中国語等）に翻訳して表示してもよい。このようにすることで、例えば会議画面及びサマライズ画面においては、所望する言語で表示させるといったことが可能となる。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭやＨＤＤ、ＳＳＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバ装置コンピュータに転送したりすることができる。この場合、サーバ装置コンピュータの記憶装置も本発明に含まれるのは勿論である。

１０ 表示装置
１００ 制御部
１１０ 表示部
１２０ 操作検出部
１３０ 画像処理部
１４０ 音声入力部
１５０ 音声認識部
１６０ 通信部
１７０ 記憶部
１７２ 会議情報
１７４ 基本情報
１７６ 議題情報
１７８ メンバ情報
１８０ 発言情報
１８２ キャプチャ情報
１９０ コンテンツデータ
２０ サーバ装置
３０ 端末装置

Claims (7)

1. 入力されたメッセージと、当該メッセージに対応付けて第１の属性情報を記憶可能なメッセージ記憶部と、
   前記メッセージを時系列に表示する第１表示領域と、前記メッセージの中から、前記第１の属性情報に基づき抽出したメッセージを表示する第２表示領域とを有する第１表示画面を表示する制御を行う表示制御部と、
   を備え、
   前記表示制御部は、前記入力されたメッセージを時系列に表示する第３表示領域と、コンテンツを表示可能な第４表示領域とを有する前記第１表示画面とは異なる第２表示画面を生成し、当該第２表示画面を表示し、
   更に、
   前記第２表示画面において表示されているメッセージの中から選択されたメッセージに前記第１の属性情報を付加する第１の属性情報付加部と
   前記第４表示領域に表示されたコンテンツが所定の条件を満たすときに、前記コンテンツのキャプチャデータを生成するキャプチャデータ生成部と、
   を備え、
   前記表示制御部は、前記キャプチャデータを、前記第１表示画面の第１表示領域に前記メッセージと併せて表示することを特徴とする表示制御装置。
2. 前記第４表示領域に表示されたコンテンツが選択された場合、選択されたときの前記キャプチャデータに第２の属性情報を付加する第２の属性情報付加部を更に備え、
   前記表示制御部は、
   前記第２の属性情報が付加された前記キャプチャデータは、前記第２表示領域に前記抽出されたメッセージと併せて表示されることを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記第２表示画面を表示しているとき、利用者から表示切替の指示が入力された場合に前記第２表示画面から前記第１表示画面に表示を切り替える制御を行うことを特徴とする請求項１又は２に記載の表示制御装置。
4. 音声信号の入力を行う音声入力部と、
   前記音声入力部に入力された音声信号を認識し、前記メッセージを出力する音声認識部と、
   を更に備え、
   前記メッセージ記憶部は、前記音声認識部により出力された前記メッセージを記憶することを特徴とする請求項１から３の何れか一項に記載の表示制御装置。
5. 第３の属性情報と、認識語句とを対応付けて記憶する記憶部を更に有し、
   前記メッセージに前記認識語句が含まれているときには、対応する前記第３の属性情報を付加する第３の属性情報付加部を更に備えたことを特徴とする請求項１から４の何れか一項に記載の表示制御装置。
6. 入力されたメッセージと、当該メッセージに対応付けて第１の属性情報を記憶可能なメッセージ記憶ステップと、
   前記メッセージを時系列に表示する第１表示領域と、前記メッセージの中から、前記第１の属性情報に基づき抽出したメッセージを表示する第２表示領域とを有する第１表示画面を表示する表示制御ステップと、
   を含み、
   前記表示制御ステップは、前記入力されたメッセージを時系列に表示する第３表示領域と、コンテンツを表示可能な第４表示領域とを有する前記第１表示画面とは異なる第２表示画面を生成し、当該第２表示画面を表示し、
   更に、
   前記第２表示画面において表示されているメッセージの中から選択されたメッセージに前記第１の属性情報を付加する第１の属性情報付加ステップと
   前記第４表示領域に表示されたコンテンツが所定の条件を満たすときに、前記コンテンツのキャプチャデータを生成するキャプチャデータ生成ステップと、
   を含み、
   前記表示制御ステップは、前記キャプチャデータを、前記第１表示画面の第１表示領域に前記メッセージと併せて表示することを特徴とする表示制御方法。
7. コンピュータに、
   入力されたメッセージと、当該メッセージに対応付けて第１の属性情報を記憶可能なメッセージ記憶機能と、
   前記メッセージを時系列に表示する第１表示領域と、前記メッセージの中から、前記第１の属性情報が付加されたメッセージを表示する第２表示領域とを有する第１表示画面を表示する表示制御機能と、
   を実現させるプログラムであって、
   前記表示制御機能は、前記入力されたメッセージを時系列に表示する第３表示領域と、コンテンツを表示可能な第４表示領域とを有する前記第１表示画面とは異なる第２表示画面を生成し、当該第２表示画面を表示し、
   更に、
   前記第２表示画面において表示されているメッセージの中から選択されたメッセージに前記第１の属性情報を付加する第１の属性情報付加機能と
   前記第４表示領域に表示されたコンテンツが所定の条件を満たすときに、前記コンテンツのキャプチャデータを生成するキャプチャデータ生成機能と、
   を実現し、
   前記表示制御機能は、前記キャプチャデータを、前記第１表示画面の第１表示領域にメッセージと併せて表示することを特徴とするプログラム。

Images