図1は、本実施例に掛る会議情報記録システムの構成を示した構成図である。会議情報記録システム100は、会議情報収集装置101、会議情報記録サーバ102、コンピュータ103、コンピュータ104、コンピュータ105を備える。これらの装置/機器は、ネットワーク106を介して接続されている。ネットワーク106は、有線/無線を問わず、相互に通信可能であれば、任意のネットワークが使用されてよい。なお、図1に示す会議情報記録システム100は複数のコンピュータを備えているが、コンピュータは1台でもよく、4台以上のコンピュータを備えていてよい。
会議情報収集装置101は、会議室などの会議開催場所に配置され、動画、音声、会議シーンなど複数の種類のデータを収集する。以下では、会議に関して収集・生成して得た、複数の種類から成るデータを「会議情報」と呼称する。会議情報記録システム100では、会議情報に含まれる各種データを、時刻情報と共に記録することにより、データ間の関連付けを成す事ができる。そして、収集したデータと時刻情報とを会議情報とし、定期的に会議情報記録サーバ102に送信する。また、会議情報収集装置101は、プロジェクタデバイスを有しており、後述のコンピュータ103からの出力画像をスクリーンや壁面等に投影することができる。なお、会議情報収集装置101は、例えばオフィスや所定の会場等において開催される会議を記録するが、本発明が適用対象とする会議は、複数の人物の視認/発声行動を伴う集まりであればよく、オフィスや所定の会場等において開催される会議に限定されない。例えば、面接や、取り調べ等も本発明の適用対象となる。
会議情報記録サーバ102は、一般的なPCであり、会議情報収集装置101より複数項目のデータを会議情報として受信し、当該会議情報を解析・加工して生成した会議情報とを記録して管理する。本実施例では、会議情報収集装置101と会議情報記録サーバ102が別離した装置として記載しているが、両機器の機能を備えた単一の装置として構成されてよい。この場合、会議情報収集装置101と会議情報記録サーバ102が会議に関する複数項目のデータを収集し、収集したデータに基づいて会議情報を作成する会議情報作成装置として機能する。
コンピュータ103およびコンピュータ104、コンピュータ105は、一般的なPCであるが、例えばタブレットやスマートフォン等の端末装置であってもよい。本実施例では、コンピュータ103は会議開催場所に配置され、プレゼンテーション用途等の会議資料(電子文書)より出力画像を生成する。コンピュータ103は、出力画像を会議情報収集装置101へ送信し、会議情報収集装置101が備えるプロジェクタデバイスによって、その内容を投影して表示することができる。コンピュータ104も会議開催場所に配置され、入力デバイスを介して議事やメモを入力するために用いられる。コンピュータ105は、会議の後に、会議情報記録サーバ102が記録している会議情報を閲覧するための情報処理装置である。尚、ユーザは、会議情報の閲覧は、コンピュータ105を用いて行うに限らず、コンピュータ103やコンピュータ104を用いて行ってもよい。また、本実施形態の制御方法は、図1に示す会議情報記録システムの制御方法である。本実施形態のコンピュータプログラムは、この制御方法をコンピュータに実行させる。
図2は、図1の会議情報収集装置101のハードウェア構成例を示すブロック図である。会議情報収集装置101は、CPU201、ROM202、RAM204、ストレージ205、入力デバイス206、表示デバイス207、外部インタフェース208を備える。また、会議情報収集装置101は、カメラデバイス209、マイクデバイス210、プロジェクタデバイス211、センサ入力デバイス212、温度センサ213、音量センサ214、明度センサ215を備える。各部は、データバス203を介して相互にデータを送受信することができる。なお、CPUは、Central Processing Unitの略称である。RAMは、Random Access Memoryの略称である。ROMは、Read Only Memoryの略称である。
CPU201は、この会議情報収集装置全体を制御するためのコントローラである。CPU201は、不揮発メモリであるROM202に格納されているブートプログラムによりOS(オペレーティングシステム)を起動する。CPU201は、このOSの上で、ストレージ205に記憶されているコントローラプログラムを実行する。コントローラプログラムは、会議情報収集装置全体を制御するプログラムである。CPU201は、データバス203などのバスを介して各部を制御する。RAM204は、CPU201のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ205は、読み出しと書き込みが可能な不揮発メモリであり、前述のコントローラプログラムを保存する。また、会議情報収集装置101は、各種の会議情報を収集して定期的に会議情報記録サーバ102へ送信するが、送信するまで間、当該会議情報をストレージ205に一時的に保存する。
入力デバイス206は、タッチパネルやハードキー、マウスなどから構成さる入力装置である。また、表示デバイス207は、LCDやCRTなどの表示装置である。入力デバイス206は、ユーザの操作指示を受け付けると、CPU201に伝達する。表示デバイス207は、CPU201が生成した表示データを画面上に表示する。CPU201は、入力デバイス206から受信した指示情報と、表示デバイス207に表示させている表示データとに基づいて、操作を判定する。CPU201は、判定結果に応じて、会議情報収集装置101を制御するとともに、操作内容に応じて新たな表示データを生成し、表示デバイス207に表示させる。外部インタフェース208は、LANや電話回線、赤外線といった近接無線などのネットワークを介して、別体の外部機器と各種データの送信あるいは受信を行う。
カメラデバイス209は、いわゆるデジタルカメラであり、動画を撮影することができる。カメラデバイス209は、会議開催場所全体の様子を記録できるよう、360度方向の撮影ができるタイプのものや、複数のレンズおよび画像素子を具備して撮影することで会議開催場所全体の様子を撮影するよう構成することが好ましい。カメラデバイス209は、レンズおよび画像素子により取得される撮影画像を、1秒間に所定のフレーム分(例えば30フレーム、フレームレート30fps)を取得することで、MPEGなどの動画データとして取得する。
マイクデバイス210は、入力された音声をデジタル信号化し、例えばWAVEなどの音声データとして取得する。プロジェクタデバイス211は、光源と投射レンズにより、出力画像をスクリーンや壁面等に投影して表示することができる。センサ入力デバイス212は、各種センサと接続され、その入力信号をデジタル信号化して取得する。本実施例では、センサ入力デバイス212は、温度センサ213、音量センサ214、明度センサ215と接続されている。
図3は、図1の会議情報記録サーバ102とコンピュータ105の構成を示すブロック図である。まず、会議情報記録サーバ102について説明する。会議情報記録サーバ102は、CPU301、ROM302、RAM304、ストレージ305、入力デバイス306、表示デバイス307、外部インタフェース308を備える。各部は、データバス303を介して相互にデータを送受信することができる。CPU301は、この会議情報記録サーバ全体を制御するためのコントローラである。CPU301は、不揮発メモリであるROM302に格納されているブートプログラムによりOSを起動する。このOSの上で、ストレージ305に記憶されている会議情報記録サーバプログラムを実行する。CPU301がこの会議情報記録サーバプログラムを実行することより、会議情報記録サーバ102の各処理を実現する。CPU301は、データバス303などのバスを介して各部を制御する。
RAM304は、CPU301のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ305は、読み出しと書き込みが可能な不揮発メモリであり、前述のサーバプログラムを保存する。また、会議情報記録サーバ102は、会議情報収集装置101が収集した各種の会議情報や、当該会議情報を解析・加工して生成した会議情報をストレージ305に記録して管理する。
入力デバイス306、表示デバイス307、外部インタフェース308は、図2を用いて説明した各部と同様の構成であるため、説明を省略する。CPU301は、入力デバイス306より受信した指示情報と、表示デバイス307に表示させている表示データとから、操作を判定する。CPU301は、この判定結果に応じて、会議情報記録サーバ102を制御するとともに、操作内容に応じて新たな表示データを生成し表示デバイス307に表示させる。入力デバイス306や表示デバイス307は、主に、サーバ管理者が、会議情報記録サーバ102のメンテナンス等を行う目的で使用される。
次に、コンピュータ105について説明する。コンピュータ105は、CPU311、ROM312、RAM314、ストレージ315、入力デバイス316、表示デバイス317、外部インタフェース318を備える。各部は、データバス313を介して相互にデータを送受信することができる。各部は図3(A)を用いて説明した会議情報記録サーバ102の各部と同様の構成であるため、説明は省略する。CPU311は、ストレージ305に記憶されている会議情報表示プログラムを実行することより、コンピュータ105の各処理を実現する。尚、コンピュータ103やコンピュータ104の構成は、コンピュータ105の構成と同様であり、説明は省略する。
次に、会議情報収集装置101の表示デバイス207における表示内容について説明する。図4は、会議情報収集装置101の表示デバイス207の表示例を示す画面図である。図4(A)の画面400は、会議開始前に表示する画面である。
「会議開始」ボタン401は、ユーザが会議情報収集装置101に会議の開始を通知するためのものである。CPU201は、入力デバイス206を介して「会議開始」ボタン401への指示を受け付けると、表示デバイス207に、図4(B)に示す画面410を表示させる。画面410は、会議中に表示する画面である。会議情報の収集のためのユーザによる操作指示受け付けるための内容を表示する。
図4(B)は、会議シーン選択画面の一例を示す。表示デバイス207は、当該会議シーン選択画面を提示する提示手段として機能する。図4(B)に示す画面例では、表示デバイス207は、オープニング411、プレゼン412、質疑/応答413、議論414、熟考/沈黙415、まとめ416等のボタン群を表示する。各ボタン411〜416は、会議情報収集装置101に、現在の会議シーンを記録させるためのボタン群である。ユーザがこれらボタン群のうちのひとつを指示すると、その指示時刻から次に他のボタンを指示するまでの時間帯は、当該指示したボタンが示す会議シーンであることを会議情報収集装置101に記録させることができる。つまり、各々の会議シーンは、時間情報と紐付けて記録される。
ここで「会議シーン」について説明する。本実施例では、会議シーンを、会議の状態として以下のうちのいずれかの値を取り得るものとして定義する。「オープニング」は、会議の冒頭などにおいて、会議の背景や目的、アウトプット等を説明する状況である。「プレゼンテーション」は、会議で行われる、いわゆるプレゼンテーションであり、プレゼンターが他の会議参加者に対して、提案内容や計画案等を説明し、理解を得るための状況である。これには、一般的に、会議資料をプロジェクタやディスプレイに投影しながら行うことが多い。
「質疑/応答」は、いわゆる質疑応答であり、何らかの話題、例えばプレゼンテーションの内容、に対する質問と回答のやりとりを行う状況である。「議論」は、いわゆる議論であり、何らかの話題に対して合意に至るために、会議参加者達が意見を戦わせる状況である。「熟考/沈黙」は、会議において、会議参加者が、自分の意見や考えをまとめたり、アイデア出しを行う状況である。あるいは、議論が膠着・停滞してしまい、場が沈黙した状況である。「まとめ」は、会議の終了間際に、当該会議において決定した事項やアクションアイテムをまとめて振り返る状況である。
ユーザが、画面410に表示された各ボタン411〜416を入力デバイス206などを用いて押下することにより、現在行われている会議に会議シーンを割り当て、会議情報収集装置101のストレージ205に記録することができる。
「重要」ボタン417は、会議の重要ポイントを記録するためのアイコンである。効果としては、「重要」ボタン417を指示した時刻が記録されることであるが、例えば、重要な発言がなされたり、特徴的な出来事が生じた際に、ユーザはこのボタンにより重要性を記録させることができる。あるいは、ユーザは、これから重要な発言を行う、と言った際に当該ボタンを指示してもよい。ユーザにより、「重要」ボタン417が選択されると、CPU201は「重要」ボタン417が選択された時刻に紐付けて重要タグ情報を記録する。これにより、表示デバイス317は、重要タグ情報が記録された時刻に対応する単位時間の区間に対して描画処理を行う際に、重要度を示す目印を描画することが可能となる。つまり、「重要」ボタン417を用いることで、後に大量のデータである会議情報を振り返る際の“目印”を付けることが可能となる。「会議終了」ボタン418は、会議情報収集装置101に会議の終了を通知するためのボタンである。CPU201は、「会議終了」ボタン417への指示を受け付けると、表示デバイス207に画面400と同様の画面を表示させ、会議情報の記録を終了する。
ここで、「最小時間間隔」を定義する。本実施例における会議情報記録システムによれば、会議の様子を複数の種類のデータ項目からなる会議情報として記録する。本実施例では、コンピュータ105などが会議情報を画面上に表示する際には、タイムライン(時系列)に会議情報を並べて提示する。タイムラインにおける会議情報の提示間隔は、ユーザ操作により変更することができるよう構成するが、この時間間隔の最小値を「最小時間間隔」と定義する。本実施例においては、最小時間間隔を10秒と定義して説明する。
次に、会議情報収集装置101によって収集される会議情報について、図5と図6を用いて説明する。図5および図6は、会議情報収集装置101が収集してストレージ205に一時的に記録した、会議情報のデータ構成例を示す。会議情報記録サーバ102が会議情報収集装置101より受信してストレージ305に記録する会議情報も、図5や図6に示すものと同様の構成である。CPU201は、「会議開始」ボタン401への指示を受け付けると、以下に示す会議情報の収集処理を開始する。
図5(A)は、動画情報テーブル500を示す。CPU201は、カメラデバイス209により会議の様子を撮影し、動画データを収集し、収集したデータを動画情報テーブル500に記録する。CPU201は、撮影開始時刻列501に、撮影開始時刻(会議開始時刻)を記録し、撮影終了時刻列502に、撮影終了時刻を記録する。また、CPU201は、動画データをファイルとしてストレージ205に記録し、そのファイル名を動画データ列503に記録する。
図5(B)は、音声情報テーブル510を示す。CPU201は、マイクデバイス210により会議中の会話を録音し、音声データを収集し、収集したデータを音声情報テーブル510に記録する。CPU201は、録音開始時刻列511に録音開始時刻(会議開始時刻)を記録し、録音終了時刻列512に録音終了時刻を記録する。また、CPU201は、音声データをファイルとしてストレージ205に記録し、そのファイル名を音声データ列513に記録する。
図5(C)は、議事テキスト情報テーブル520を示す。コンピュータ104は、入力デバイスより入力されたテキストデータを、改行コードが入力される毎に会議情報収集装置101に送信する。このとき、改行コードが入力された時刻情報も合わせて送信する。CPU201は、受信したテキストデータと時刻情報を議事テキスト情報テーブル520に記録する。CPU201は、改行コードの入力時刻を入力時刻列521に、テキストデータを議事テキストデータ列522に、それぞれ記録する。
図5(D)は、会議資料情報テーブル530を示す。CPU201は、コンピュータ103が会議資料に基づいて生成した出力画像を、外部インタフェース208を介して受信し、プロジェクタデバイス211により投影する。この際、CPU201は、投影している出力画像を最小時間間隔おきに現在時刻(出力画像取得時刻)と共に会議資料情報テーブル530に記憶する。尚、プロジェクタデバイス211への出力画像の入力がない場合には、会議資料情報は収集しない。CPU201は、出力画像取得時刻を出力画像取得時刻列531に記録する。また、CPU201は、出力画像をファイルとしてストレージ205に記録すると共に、出力画像取得時刻にslide1などのファイル名を紐付けて出力画像列532に記録する。
図5(E)は、温度情報テーブル540を示す。CPU201は、会議開催会場の環境情報として、センサ入力デバイス212および温度センサ213より、最小時間間隔おきに温度データを取得する。そして、CPU201は、時刻情報(温度データ取得時刻)と共に温度情報テーブル540に記憶する。CPU201は、温度データ取得時刻を温度データ取得時刻列541に、温度データを温度データ列542に、それぞれ記録する。
図6(A)は、音量情報テーブル600を示す。CPU201は、会議の活性度を示す情報として、センサ入力デバイス212および音量センサ214より、最小時間間隔おきに音量データを取得する。そして、CPU201は、時刻情報(音量データ取得時刻)と共に音量情報テーブル600に記録する。CPU201は、音量データ取得時刻を音量データ取得時刻列601に記録し、音量データを音量データ列602に、それぞれ記録する。
図6(B)は、明度情報テーブル610を示す。CPU201は、会議開催会場の環境情報として、センサ入力デバイス212および明度センサ215より、最小時間間隔おきに明度データを取得する。そして、CPU201は、時刻情報(明度データ取得時刻)と共に明度情報テーブル610に記憶する。CPU201は、明度データ取得時刻を明度データ取得時刻列611に、明度データを明度データ列612に、それぞれ記録する。
図6(C)は、重要タグ情報テーブル620を示す。CPU201は、「重要」ボタン417への指示を受け付けると、時刻情報(重要タグ付与時刻)を重要タグ付与時刻列621に記録する。
図6(D)は、会議シーン情報テーブル630を示す。CPU201は、ボタン411〜416のいずれかのボタンへの指示を受け付けると、当該ボタンに該当する会議シーンを示す値を、時刻情報(会議シーン開始時刻)と共に会議シーン情報テーブル630に記録する。記録する会議シーンについては前述の通りである。会議シーン開始時刻を会議シーン開始時刻列631に、会議シーンを会議シーン列632に、それぞれ記録する。CPU201は、「会議終了」ボタン418への指示を受け付けると、会議情報の収集処理を終了する。そして、ストレージ205に記録した上述の会議情報を、外部インタフェース208を介して会議情報記録サーバ102に送信する。
次に、会議情報記録サーバ102によって解析・加工して生成される会議情報について、図7を用いて説明する。図7は、会議情報記録サーバ102が生成し、ストレージ305に記録した会議情報のデータ構成を示す。CPU301は、外部インタフェース308を介して、会議情報収集装置101が収集した会議情報を受信すると、ストレージ305に記録する。そして、記録した会議情報を次のように解析・加工して新たに会議情報を生成し、先に記録した会議情報と共にストレージ305に記録する。
図7(A)は、解析・加工された顔画像情報テーブルを示す。CPU301は、顔画像情報として、会議における会議参加者達の表情の移り変わりの様子を示す会議情報を生成する。CPU301は、動画データ列503が示すファイルに記録した動画データから、最小時間間隔毎にフレーム画像を抽出する。Haar−Like特徴による識別器等を用いて当該フレーム画像中の顔部分の位置を特定して顔画像として切り出す(会議参加者数に応じた複数の画像を得る)。また、撮影開始時刻と最小時間間隔、動画データのフレームレートとから、抽出したフレーム画像の時刻情報(顔画像取得時刻)を得ることができる。CPU301は、生成した顔画像情報を顔画像取得時刻と共に顔画像情報テーブル700に記録する。CPU301は、顔画像取得時刻を顔画像取得時刻列701に記録する。また、CPU301は、各顔画像をファイルとしてストレージ305に記録すると共に、そのファイル名をカンマ区切りで連結して、顔画像列702に記録する。
図7(B)は、解析・加工された話者情報テーブルを示す。CPU301は、音声情報に含まれる会話について、話者情報として、発言者の切り替わりの様子を示す会議情報を生成する。CPU301は、音声データ列513が示すファイルに記録した音声データより有音区間を抽出する。CPU301は、抽出したそれぞれの有音区間を幾つかの区間に分割して、各区間に含まれる音声データに対して音声信号処理を施して声紋を得る。こうして得られた声紋群についてマッチング処理を施せば、同一人物の発言を特定することができる。CPUは、このようにして特定された発言者に、発言者A、Bなどの発言者名を割り当てる。
また、音声情報の録音開始時刻と音声データのサンプリング周波数とから、当該発言の時刻情報(発言開始時刻から発言終了時刻)を得ることができる。以上より、会議参加者それぞれについて、会議中の個々の発言について、発言者を示す情報と当該発言の開始時刻と終了時刻を得ることができる。
更に、動画情報に含まれるフレーム画像から、発言開始時刻前後の複数のフレーム画像を得て前述の顔画像情報の生成と同様の方法で、顔画像を得ることができる。そして、複数フレームに渡り会議参加者の顔画像について口部分の動きを検出し解析すれば、当該発話者の顔画像を推定することができる。
CPU301は、生成した話者情報を話者情報テーブル710に記録するCPU301は、発言時刻(発言開始時刻と発言終了時刻を‘-’で連結)を発言時刻列711に、発言者を発言者列712に、それぞれ記録する。また、CPU301は、前述のようにして推定した顔画像について、発言時刻直近のフレーム画像から抽出したものを、ファイルとしてストレージ305に記録すると共に、そのファイル名を発言者顔画像列713に記録する。
図7(C)は、キーワード情報テーブル720を示す。CPU301は、会議情報からテキストを取得し、当該テキストからキーワードを抽出する。対象となる会議情報は、音声データ列513が示す音声データを音声認識処理して得るテキスト、議事テキストデータ列522に記録したテキストである。また、対象となる会議情報は、出力画像列532に記録したプロジェクタデバイス211への出力画像をOCR処理して得るテキストである。
キーワード抽出の例としては、例えば、次の方法を挙げることができる。CPU301は、これらのテキストを形態素解析して形態素に分解する。そして、分解した形態素それぞれについて、TF−IDF(Term Frequency−Inverse Document Frequency)による重要度の指標計算を行う。そしてその値が、一定値以上であるものをキーワードとして抽出する。
更に、抽出したキーワードのそれぞれについて、出現時刻列721と抽出源列723を計算する。抽出したキーワードが、音声認識処理して得たテキストに含まれていれば、抽出源として音声情報を挙げることができる。出現時刻列721は、認識処理した音声データの処理区間とサンプリングレートより算出することができる。抽出したキーワードが、議事テキスト情報に含まれていれば、抽出源として議事テキスト情報を挙げることができる。出現時刻は、キーワードを含む議事テキストデータ列522に該当する入力時刻列521の値により特定できる。抽出したキーワードが出力画像をOCR処理によって得たテキストに含まれていれば、抽出源として会議資料情報を挙げることができる。出現時刻は、キーワードを含んでいた出力画像の出力画像取得時刻列531の値により特定できる。CPU301は、このようにして得た出現時刻とキーワードと抽出源を、キーワード情報テーブル720に記録する。CPU301は、出現時刻を出現時刻列721に、キーワードをキーワード列722に、抽出源を抽出源列723に、それぞれ記録する。以上の処理により、会議情報収集サーバ102は、会議に関する会議情報を収集・生成して記録することができる。
次に、コンピュータ105(あるいはコンピュータ103、コンピュータ104)の画面上に表示される会議情報について説明する。会議情報は大量のデータから成る情報であるため、画面上には、ユーザが効率的に閲覧できるよう、注目すべきデータの種類が示唆されるように表示される。このために、会議シーン情報の種別に応じて、会議情報の各項目の表示方法を以下のように決定する。
会議シーン情報が「オープニング」の場合には、その会議の目的や背景などの重要情報が議事テキストとして記録されると考える。よって、この場合には、議事テキスト情報を強調して表示する。会議シーン情報が「プレゼン」の場合には、プレゼンターがプロジェクタデバイス211により投影される会議資料を用いてプレゼンテーションを行ったと考えられる。よって、注目すべきは会議資料である。また、プロジェクタを用いたプレゼンテーションの際には、照明を落として投影面が良く見えるようにすることが多い。何らかの理由でプレゼンテーションを中断する際には、一旦照明を上げるなどの操作をする。このように、プレゼンテーションと照明のレベルは関連性が高いと考える。よって、会議シーン情報が「プレゼン」の場合には、会議資料情報と明度情報を強調して表示する。
会議シーン情報が「質疑/応答」の場合には、誰がどのような内容を質問したか、そして誰がそのような内容を回答したか、が重要であると考える。更に、その際の話者(質問者や回答者)の表情も会議の振り返りにとって重要な情報であると考える。例えば、建設的な質問であったのか、それとも否定的であったか、などを把握することができる。よって、会議シーン情報が「質疑/応答」の場合には、議事テキスト情報と話者情報を強調して表示する。
会議シーン情報が「議論」の場合には、議論の流れや盛り上がりを容易に把握できることが、会議の振り返りにとって重要と考える。また、議論の質を類推するために、発言者以外の会議参加者の表情も有用な情報であると考える。よって、会議シーン情報が「議論」の場合には、話者情報と音量情報、顔画像情報を強調して表示する。なお、議論中の発言内容は途中経過であり、二転三転する可能性があり、後にまとめられる結論・決定事項が重要となる。よって、議論中の発言が記録されるであろう議事テキスト情報は重要視しない。
会議シーン情報が「熟考/沈黙」の場合は、会議の進行は停滞している状況であるため、振り返りに有用な情報は少ない。よって、会議シーン情報が「熟考/沈黙」の場合は、いずれの会議情報も強調した表示は行わない。
会議シーン情報が「まとめ」の場合には、その会議におけるまとめが成され、決定事項やアクションアイテムが議事テキストに記録されると考える。よって、会議シーン情報が「まとめ」の場合には、議事テキスト情報を強調してテキスト表示する。
以上を踏まえて、会議情報の表示について説明する。図8および図9は、本実施例に掛る、コンピュータ105の表示デバイス317が表示する画面例を示す。CPU311は、外部インタフェース318を介して、会議情報記録サーバ102より会議情報を受信し、これを元に表示画像800(会議情報画面)を生成して表示デバイス317に表示させる。
タイムライン表示部位801は、タイムラインを表示するものである。タイムラインには一定間隔で目盛りをふって表示する。この一定間隔(目盛りと目盛りの間隔)を、タイムラインの「単位時間」と呼称する。本実施例では、表示画像800は、タイムラインの単位時間が5分の場合を例として示しているものとする。表示画像800では、タイムラインに対して垂直となる方向(図8の例では水平方向)に、会議情報の各項目(種類)のデータが並べて表示される。ユーザが図9に示す単位時間縮小ボタン802を、入力デバイス316を介して指示すると、タイムラインの単位時間を5分よりも小さな値に変更することができる。ユーザが図9に示す単位時間拡大ボタン803を指示すると、タイムラインの単位時間を5分よりも大きな値に変更することができる。単位時間の最小値は最小時間間隔であり、最大値は、例えば10分、のようにすればよく、任意の単位時間が設定されてよい。
会議シーン情報表示部位804は、会議シーン情報を示す表示部位である。CPU311は、会議シーン情報テーブル630の内容に従って、会議シーン情報表示部位804の表示画像を生成する。CPU311は、「オープニング」、「プレゼン」、「質疑/応答」、「議論」、「熟考/沈黙」、「まとめ」の各会議シーンに模様ないし色を割当てる。そして、会議シーン開始時刻列631と会議シーン列632の値に従い、前述の模様(色)でタイムラインに沿った帯状の矩形を描画する。帯状の矩形の切り替わりが、会議シーンの変化を示す。本実施例では、色によって会議シーンの切り替わりが表示されているが、例えば、ユーザが入力デバイス316を用いて不図示のカーソルを帯状の矩形に合わせると会議シーン名がポップアップ表示される構成が用いられてもよい。
議事テキスト情報表示部位805は、議事テキスト情報を示す表示部位である。CPU311は、議事テキスト情報テーブル520の内容に従って、議事テキスト情報表示部位805の表示画像を生成する。タイムラインのある単位時間の区間について、入力時刻列521に記録した時刻が当該区間の時間帯に含まれるレコードを検索する。そして、該当レコードの議事テキストデータ列522の値をタイムライン方向に並べて描画する。このとき、CPU301は、タイムラインの当該区間の会議シーン情報が「オープニング」ないし「質疑/応答」、「まとめ」の場合には、そうでない場合に比して、議事テキスト情報表示部位805を強調して描画する。例えば、フォントサイズをより大きくし、書体をボールド体とし、また、議事テキスト情報表示部位805を赤枠で囲って描画する。尚、ある区間内に複数の会議シーンが含まれている場合には、その割合が最も大きなものをその区間の会議シーンと判定する。以降に示す他の表示部位の説明においても同様である。
会議資料情報表示部位806は、会議資料情報を示す表示部位である。CPU311は、会議資料情報テーブル530の内容に従って、会議資料情報表示部位806の表示画像を生成する。会議資料情報テーブル530には、タイムラインのある単位時間の区間に該当するレコードが複数記録されている場合がある。この場合は、それら複数のレコードのうち、出力画像取得時刻列531の時刻が、当該区間の開始時刻に最も近いレコードを選択する。そして当該レコードの出力画像列の値が示す出力画像を表示画像800に出力する。
このとき、CPU311は、タイムラインの当該区間の会議シーン情報が「プレゼン」の場合には、そうでない場合に比して、会議資料情報表示部位806を強調して描画する。例えば、出力画像をより大きく(例えば1.5倍に拡大)して描画し、また、会議資料情報表示部位806を赤枠で囲って描画する。尚、会議シーン情報が「プレゼン」であっても、ひとつ前の区間の会議シーン情報が「プレゼン」であって、当該ひとつ前の区間で描画した出力画像と、今回の区間で描画する出力画像とに差分がない場合は強調表示しないようにしてもよい。つまり、会議シーン情報が「プレゼン」の場合であっても、会議資料の内容が変化した場合のみ強調表示するものである。尚、図中の会議資料情報表示部位806の部分に示される各矩形は、出力画像を示す。
話者情報表示部位807は、話者情報を示す表示部位である。CPU311は、話者情報テーブル710の内容に従って話者情報表示部位807の表示画像を生成する。CPU311は、発言者列712に記録されている各発言者に線種(直線・破線・点線、等)ないし色を割り当てる。そして、発言時刻列711の時刻に従い、当該発言者が発言している時間の分、前述の線種ないし色でタイムラインに沿った線分を描画する。線分の切り替わりが話者の交代を示す。
また、発言者顔画像列713の値が示す発言開始時の顔画像を取得し、線分の描画開始位置近傍に描画する。このとき、CPU311は、タイムラインの当該区間の会議シーン情報が、「質疑/応答」や「議論」の場合には、そうでない場合に比して、話者情報表示部位807を強調して描画する。例えば、発言者顔画像をより大きく(例えば1.5倍に拡大)して出力し、また、発言者顔画像を破線枠ないし赤枠で囲って描画する。あるいは、会議シーンが「質疑/応答」および「議論」の場合には、発言開始時の発言者顔画像のみならず、発言中の複数の発言者顔画像を描画してもよい。尚、図中の話者情報表示部位807の部分に示される各矩形は、発言者顔画像を示す。
キーワード情報表示部位808は、キーワード情報を示す表示部位である。CPU311は、キーワード情報テーブル720の内容に従って、キーワード情報表示部位808の表示画像を生成する。タイムラインのある単位時間の区間について、出現時刻列721に記録した時刻が当該区間の時間帯に含まれるレコードを検索する。そして、検索したレコードのキーワード列722の値をタイムライン方向に並べて描画する。よって、単位時間が大きければある区間内に含まれるキーワード情報は多くなり、逆に単位時間が小さければある区間内に含まれるキーワード情報は少なくなる。尚、このとき、抽出源列723の値に従って、キーワードを表示する文字の色やフォントを変じてもよい。これにより、会議を特徴付けるキーワードが、いずれの会議情報に含まれるかを示すことができる。
重要タグ情報表示部位809は、重要タグ情報を示す表示部位である。CPU311は、重要タグ情報テーブル620の内容に従って、重要タグ情報表示部位809の表示画像を生成する。タイムラインのある単位時間の区間について、重要タグ付与時刻列621に記録した時刻が当該区間の時間帯に含まれるレコード検索する。そして、検索されたレコード数に応じて、重要タグを示すマーク(例えばチェックマーク)を並べて描画する。よって、単位時間が大きければある単位時間内に含まれる重要タグ情報は多くなり、逆に単位時間が小さければある単位時間内に含まれる重要タグ情報は少なくなる。
温度情報表示部位810は、温度情報を示す表示部位である。CPU311は、温度情報テーブル540の内容に従って、温度情報表示部位810の表示画像を生成する。温度データ取得時刻列541の時刻と温度データ列542の温度データとから、タイムラインに沿った折れ線グラフを描画する。折れ線グラフの山の変化により、会議開催場の環境(寒い日で会議室内も寒かった、等)を示す。
音量情報表示部位811は、音量情報を示す表示部位である。CPU311は、音量情報テーブル600の内容に従って、音量情報表示部位811の表示画像を生成する。音量データ取得時刻列601の時刻と音量データ列602の音量データとから、タイムラインに沿った折れ線グラフを描画する。折れ線グラフの山の変化により、会議の盛り上がりを示し、その会議の内容を想起させることに寄与する。このとき、CPU311は、タイムラインの当該単位時間の会議シーン情報が「議論」の場合には、そうでない場合に比して、音量情報表示部位811を強調して描画する。例えば、折れ線グラフの線を太くし、音量情報表示部位811を破線枠ないし赤枠で囲って描画する。
明度情報表示部位812は、明度情報を示す表示部位である。CPU311は、明度情報テーブル610の内容に従って、明度情報表示部位812の表示画像を生成する。明度データ取得時刻列611の時刻と明度データ列612の明度データとから、タイムラインに沿った折れ線グラフを描画する。折れ線グラフの山の変化により、会議開催場の環境(照明が消えて暗い状態だった、等)を示す。このとき、CPU311は、タイムラインの当該単位時間の会議シーン情報が「プレゼン」の場合には、そうでない場合に比して、明度情報表示部位812を強調して描画する。例えば、折れ線グラフの線を太くし、明度情報表示部位812を赤枠で囲って描画する。
動画情報表示部位813は、動画情報を示す表示部位である。CPU311は、動画データ列503が示す動画データから、タイムラインのある単位時間の区間について、その開始時刻に該当するフレーム画像を取得して描画する。尚、動画情報表示部位813に対して操作指示が成された場合には、当該区間の開始時刻から、動画データを再生して表示することができる。また、図中の動画情報表示部位813の部分に示される各矩形は、フレーム画像を示す。
顔画像情報表示部位814は、顔画像情報を表示する部位である。CPU311は、顔画像情報テーブル700の内容に従って、顔画像情報表示部位814の表示画像を生成する。タイムラインのある単位時間の区間について、その開始時刻の後であって最も近い時刻を記録した顔画像取得時刻列701のレコードを検索する。そして、当該レコードの顔画像列702に記録されている値が示す顔画像を取得して描画する。このとき、CPU311は、タイムラインの当該単位時間の会議シーン情報が「議論」の場合には、そうでない場合に比して、顔画像情報表示部位814を強調して表示する。例えば、顔画像をより大きく(例えば1.5倍に拡大)して描画し、また、顔画像情報表示部位814を赤枠で囲って描画する。尚、図中の顔画像情報表示部位814の部分に示される各矩形は、顔画像を示す。
次に、CPU311が、図8および図9に示した表示画像800を生成する方法について、図10乃至図14を用いて説明する。図10乃至図14は、表示画像生成処理の手順を示したフローチャートである。コンピュータ105のCPU311が、ストレージ315に記録されている会議情報表示プログラムを読み込み、RAM314に展開して実行する。これにより、コンピュータ105は、表示画像生成処理を実行し、図8および図9に示す画面を表示デバイス317に表示することが可能となる。コンピュータ105のCPU311は、ユーザにより会議情報の表示指示が成された場合や、ユーザにより単位時間縮小ボタン802や単位時間拡大ボタン803の操作指示が成された場合に表示画像生成処理を実行する。
まず、CPU311は、ステップ901において、外部インタフェース318を介して、会議情報記録サーバ102より表示対象の会議情報を受信し、ストレージ315に一時的に記録する。CPU311は、ステップ902において、タイムラインの単位時間を決定する。例えば、デフォルトでは5分と固定的に決定するが、単位時間縮小ボタン802や単位時間拡大ボタン803が操作指示された場合には、その操作内容に応じて5分よりも小さな値/大きな値に決定する。
CPU311は、ステップ903において、タイムラインの開始時刻と終了時刻を計算する。これには、まず、動画情報テーブル500の撮影開始時刻列501と撮影終了時刻列502を、それぞれ会議開始時刻と会議終了時刻として取得する。そして、会議開始時刻の直前の時刻であって、単位時間で割り切れる時刻をタイムラインの開始時刻として求める。例えば、会議開始時刻が13:00:15(13時00分15秒)であり、単位時間が5分であれば、13:00:00をタイムライン開始時刻として得る。別の例を挙げれば、会議開始時刻が13:08:00であり、同じく単位時間が5分であれば、13:05:00をタイムライン開始時刻として得る。また、会議終了時刻の直後の時刻であって、単位時間で割り切れる時刻をタイムラインの終了時刻として求める。例えば、会議終了時刻が14:28:55であれば14:30:00をタイムラインの終了時刻として得る。
CPU311は、ステップ904において、タイムライン開始時刻からタイムライン終了時刻までの間の、単位時間毎の区間の数を計算する。これは、タイムライン終了時刻とタイムライン開始時刻の差分を単位時間で割ることにより得られる。例えば、タイムライン開始時刻が13:00:00であり、タイムライン終了時刻が14:30:00であれば、その差分は90分である。単位時間5分で割ると、区間数は18と求められる。CPU311は、計算した区間毎に描画処理を行う。
CPU311は、ステップ905において、ステップ904で求めた区間数の数だけ、それら区間の会議情報を表示画像800に対して描画したか否かを判定する。言い換えると、ステップ906からステップ918の処理を、区間数分実行したか否かを判定する。YESと判定する場合にはステップ919に処理は遷移し、NOと判定する場合にはステップ906に処理は遷移する。
CPU311は、ステップ906において、処理対象の区間のタイムラインを、表示画像800に対して描画する。タイムラインの直線と、当該区間の開始時刻の目盛りを描画する。CPU311は、ステップ907において、処理対象の区間の会議シーン情報表示部位804を、表示画像800に対して描画する。CPU311は、会議シーン情報テーブル630から、会議シーン開始時刻列631の時刻が当該区間内に含まれるレコードを検索する。そして、取得したレコードの内容に従って、前述の通り、表示画像800に対して、各会議シーンに割り当てた模様や色などで帯状の矩形を描画する。
CPU311は、ステップ908において、ステップ907で取得した会議シーン情報テーブル630のレコードを集計し、処理対象の区間内に占める会議シーンの割合を計算する。当該区間に複数の会議シーンが含まれる場合には、その割合が大きいものを、本区間の会議シーンに決定する。そして、後述する他の会議情報の表示方法の決定に用いる。
CPU311は、ステップ909において、処理対象の区間の議事テキスト情報表示部位805を、表示画像800に対して描画する。CPU311は、ステップ910において、処理対象の区間の会議資料情報表示部位806を、表示画像800に対して描画する。CPU311は、ステップ911において、処理対象の区間の話者情報表示部位807を、表示画像800に対して描画する。こCPU311は、ステップ912において、処理対象の区間のキーワード情報表示部位808を、表示画像800に対して描画する。ステップ909乃至ステップ912の処理の詳細は、図11を用いて後述する。
CPU311は、ステップ913において、処理対象の区間の重要タグ情報表示部位809を、表示画像800に対して描画する。CPU311は、ステップ914において、処理対象の区間の温度情報表示部位810を、表示画像800に対して描画する。CPU311は、ステップ915において、処理対象の区間の音量情報表示部位811を、表示画像800に対して描画する。ステップ913乃至ステップ915の処理の詳細は、図12を用いて後述する。CPU311は、ステップ916において、処理対象の区間の明度情報表示部位812を、表示画像800に対して描画する。ステップ916の処理の詳細は、図13を用いて後述する。CPU311は、ステップ917において、処理対象の区間の動画情報表示部位813を、表示画像800に対して描画する。CPU311は、ステップ918において、処理対象の区間の顔画像情報表示部位814を、表示画像800に対して描画する。ステップ917およびステップ918の処理の詳細は、図14を用いて後述する。
CPU311は、区間数の数だけ、それら区間の会議情報を表示画像800に対して描画した後、ステップ905からステップ919に処理を進め、単位時間縮小ボタン802と単位時間拡大ボタン803を、表示画像800に対して描画する。そして処理を終了する。
次に、図11を参照し、図10で説明したステップ909乃至ステップ912の処理の詳細を説明する。図11(A)に示す処理1000は、ステップ909(議事テキスト情報表示部位805の描画)の詳細を示したフローチャートである。CPU311は、ステップ1001において、描画する議事テキスト情報を取得する。すなわち、CPU311は、議事テキスト情報テーブル520から、入力時刻列521の時刻が処理対象の区間内に含まれるレコードを検索して取得する。
CPU311は、ステップ1002において、ステップ1001で描画対象の議事テキスト情報を取得できたか否か、すなわち、取得したレコードの件数は1件以上であったか否かを判定する。YESと判定する場合にはステップ1003に処理は遷移し、NOと判定する場合には処理を終了する。
CPU311は、ステップ1003において、ステップ908で決定した当該区間の会議シーンが「オープニング」または「質疑/応答」、または「まとめ」であるか否かを判定する。YESと判定する場合には、ステップ1004に処理は遷移し、NOと判定する場合には、ステップ1005に処理は遷移する。
CPU311は、ステップ1004において、ステップ1001で取得したレコードの議事テキストデータ列522の値をタイムライン方向に並べ、表示画像800に対して強調して描画する。「強調」とは、前述の通り、例えば、フォントサイズをより大きくし、書体をボールド体とし、また、議事テキスト情報表示部位805を破線枠ないし赤枠で囲うことである。上述の強調処理は上述の例に限定されず、任意の強調処理が施されてよい。例えば、「オープニング」、「質疑/応答」、「まとめ」の各々に対し、異なる強調処理が施されてもよい。一方、CPU311は、ステップ1005において、ステップ1001で取得したレコードの議事テキストデータ列522の値をタイムライン方向に並べて(強調せずに)描画する。
図11(B)に示す処理1010は、ステップ910(会議資料情報表示部位806の描画)の詳細を示したフローチャートである。CPU311は、ステップ1011において、描画する会議資料情報を取得する。すなわち、CPU311は、会議資料情報テーブル530から、出力画像取得時刻列531の時刻が処理対象の区間内に含まれるレコードを検索して取得する。更に、取得したレコードのうち、当該区間の開始時刻に最も近いレコードを特定する。そして、当該レコードの出力画像列532が示す出力画像を取得する。
CPU311は、ステップ1012において、ステップ1011で描画対象の会議資料情報を取得できたか否か、すなわち、取得したレコードの件数は1件以上であったか否かを判定する。YESと判定する場合にはステップ1013に処理は遷移し、NOと判定する場合には処理を終了する。
CPU311は、ステップ1013において、ステップ908で決定した当該区間の会議シーンが「プレゼン」であるか否かを判定する。YESと判定する場合には、ステップ1014に処理は遷移し、NOと判定する場合には、ステップ1015に処理は遷移する。
CPU311は、ステップ1014において、ステップ1011で取得した出力画像を、表示画像800に対して強調して描画する。ステップ1014における「強調」処理とは、前述の通り、例えば、出力画像をより大きく(例えば1.5倍に拡大)し、また、会議資料情報表示部位806を破線枠ないし赤枠で囲うことである。一方、CPU311は、ステップ1015において、ステップ1011で取得した出力画像を(強調せずに)描画する。
図11(C)に示す処理1020は、ステップ911(話者情報表示部位807の描画)の詳細を示したフローチャートである。CPU311は、ステップ1021において、描画する話者情報を取得する。すなわち、CPU311は、話者情報テーブル710から、発言時刻列711の時刻が処理対象の区間内に含まれるレコードを検索して取得する。
CPU311は、ステップ1022において、ステップ1011で描画対象の話者情報を取得できたか否か、すなわち、取得したレコードの件数は1件以上であったか否かを判定する。YESと判定する場合にはステップ1023に処理は遷移し、NOと判定する場合には処理を終了する。CPU311は、ステップ1023において、ステップ908で決定した当該区間の会議シーンが「質疑/応答」、または「議論」であるか否かを判定する。YESと判定する場合には、ステップ1024に処理は遷移し、NOと判定する場合には、ステップ1025に遷移する。
CPU311は、ステップ1024において、前述のとおり、ステップ1021で取得したレコードの発言者列712の発言者に応じた線分と、発言者顔画像列713の値が示す発言者顔画像を、表示画像800に対して強調して描画する。ステップ1024における「強調」処理とは、前述の通り、発言者顔画像をより大きく(例えば1.5倍に拡大)して出力し、また、発言者顔画像を破線枠ないし赤枠で囲うことである。
一方、CPU311は、ステップ1025において、ステップ1021で取得したレコードの発言者列712の発言者に応じた線分と、発言者顔画像列713の値が示す顔画像を、表示画像800に対して(強調せずに)描画する。
図11(D)に示す処理1030は、ステップ912(キーワード情報表示部位808の描画)の詳細を示したフローチャートである。CPU311は、ステップ1031において、描画するキーワード情報を取得する。すなわち、CPU311は、キーワード情報テーブル720から、出現時刻列721の時刻が処理対象の区間内に含まれるレコードを検索して取得する。
CPU311は、ステップ1032において、ステップ1031で描画対象のキーワード情報を取得できたか否か、すなわち、取得したレコードの件数は1件以上であったか否かを判定する。YESと判定する場合にはステップ1033に処理は遷移し、NOと判定する場合には処理を終了する。CPU311は、ステップ1033において、ステップ1031で取得したレコードのキーワード列722の値をタイムライン方向に並べて、表示画像800に対して描画する。
次に、図12を参照し、図10で説明したステップ913乃至ステップ915の処理の詳細を説明する。図12(A)に示す処理1100は、ステップ913(重要タグ情報表示部位809の描画)の詳細を示したフローチャートである。CPU311は、ステップ1101において、描画する重要タグ情報を取得する。すなわち、CPU311は、重要タグ情報テーブル620から、重要タグ付与時刻列621の時刻が処理対象の区間内に含まれるレコードを検索して取得する。
CPU311は、ステップ1102において、ステップ1101で描画対象の重要タグ情報を取得できたか否か、すなわち、取得したレコードの件数は1件以上であったか否かを判定する。YESと判定する場合にはステップ1103に処理は遷移し、NOと判定する場合には処理を終了する。CPU311は、ステップ1103において、ステップ1101で取得したレコードの数に応じて、重要タグを示すマーク(例えばチェックマーク)を並べて、表示画像800に対して描画する。
図12(B)に示す処理1110は、ステップ914(温度情報表示部位810の描画)の詳細を示したフローチャートである。CPU311は、ステップ1111において、描画する温度情報を取得する。すなわち、CPU311は、温度情報テーブル540から、温度データ取得時刻列541の時刻が処理対象の区間内に含まれるレコードを検索して取得する。CPU311は、ステップ1112において、ステップ1111で取得したレコードの温度データ列542の値に従って、折れ線グラフを表示画像800に対して描画する。
図12(C)に示す処理1120は、ステップ915(音量情報表示部位811の描画)の詳細を示したフローチャートである。CPU311は、ステップ1121において、描画する音量情報を取得する。すなわち、CPU311は、音量情報テーブル600から、音量データ取得時刻列601の時刻が処理対象の区間内に含まれるレコードを検索して取得する。本実施例では、取得したレコードを、音量データ取得時刻列601に基づいて、昇順にソートしておく。CPU311は、ステップ1122において、ステップ1121で取得したレコードの数分、ステップ1123〜ステップ1129の処理を繰り返したか否か判定する。YESであれば処理を終了し、NOであればステップ1123に遷移する。
CPU311は、ステップ1123において、処理対象のレコードの音量データ取得時刻列601の時刻における会議シーンが、「議論」であるか否かを判定する。この判定のため、CPU311は会議シーン情報テーブル630を検索し、会議シーン開始時刻列631の時刻が、処理対象のレコードの音量データ取得時刻601の時刻に対して、直前最近であるレコードと、直後最近であるレコードを取得する。そして、CPU311は、取得した両レコードの会議シーンのいずれかが「議論」であれば、YESと判定し、処理はステップ1124に遷移する。NOであれば処理はステップ1128に遷移する。
CPU311は、ステップ1124において、会議シーンが「議論」の状態が続いているか否かを判定する。これには、RAM314に音量用議論中フラグデータを記憶しているか否かを判定する。音量用議論中フラグとは、以前にステップ1123を実行した際に、YESと判定(会議シーンが「議論」と判定)し、その状態が続いている事を示す情報である。換言すれば、一つ前の区間に対するステップ1123の判定が、「議論」の判定であったことを示す。YESと判定する場合には、ステップ1126に処理は遷移し、NOと判定する場合にはステップ1125に処理は遷移する。
ステップ1124においてNOと判定したことは、会議シーンが「議論」以外の状態から「議論」の状態に変化したことを示す。よって、CPU311は、ステップ1125において、強調表示のための枠(破線枠ないし赤枠)の下部水平線を描画する。また、このとき、音量用議論中フラグデータをRAM314に記憶する。
CPU311は、ステップ1126において、ひとつ前の処理対処のレコードと現在処理対象のレコードの音量データ列602の値を基に折れ線グラフを、表示画像800に対して強調して描画する。ステップ1126における「強調」処理とは、前述の通り、例えば、折れ線グラフの線を太くし、音量情報表示部位811を破線枠ないし赤枠で囲うことである。破線枠ないし赤枠の下部水平線と上部水平線はそれぞれステップ1125およびステップ1129において描画するので、ステップ1126では左部垂直線と右部垂直線のみを描画する。
一方、CPU311は、ステップ1127において、ひとつ前の処理対象のレコードと現在処理対象のレコードの音量データ列602の値を基に折れ線グラフを、表示画像800に対して(強調せずに)描画する。また、ステップ1123で、会議シーンは「議論」ではないと判定した場合(NOと判定した場合)には、ステップ1128において、これまで会議シーンが「議論」であったか否かを判定する。この判定のため、CPU311はRAM314に音量用議論中フラグデータを記憶しているか否かを判定する。音量用議論中フラグデータを記憶しており、CPU311がYESと判定する場合には、ステップ1129に処理は遷移し、NOと判定する場合にはステップ1127に処理は遷移する。
ステップ1128においてYESと判定したことは、会議シーンが「議論」の状態から「議論」以外の状態に変化したことを示す。よって、CPU311は、ステップ1129において、強調表示のための枠(破線枠ないし赤枠)の上部水平線を描画する。ステップ1129の処理により、強調表示のための枠が完成する。また、このとき、音量用議論中フラグデータをRAM314から消去する。そして、ステップ1127へ遷移する。
図13に示す処理1200は、図10を参照して説明したステップ916(明度情報表示部位812の描画)の詳細を示したフローチャートである。CPU311は、ステップ1201において、描画する明度情報を取得する。すなわち、CPU311は、明度情報テーブル610から、明度データ取得時刻列611の時刻が処理対象の区間内に含まれるレコードを検索して取得する。本実施例では、取得したレコードを、明度データ取得時刻列611に基づいて、昇順にソートしておく。
CPU311は、ステップ1202において、ステップ1201で取得したレコードの数分、ステップ1203〜ステップ1209の処理を繰り返したか否か判定する。YESであれば処理を終了し、NOであればステップ1203に遷移する。CPU311は、ステップ1203において、処理対象のレコードの明度データ取得時刻列611の時刻における会議シーンが、「プレゼン」であるか否かを判定する。この判定のため、CPU311は、会議シーン情報テーブル630を検索し、会議シーン開始時刻列631の時刻が、処理対象のレコードの明度データ取得時刻列611の時刻に対して、直前最近であるレコードと、直後最近であるレコードを取得する。そして、取得した両レコードの会議シーンのいずれかが「プレゼン」であれば、YESと判定し、ステップ1204に処理は遷移する。そうでなければ(NOであれば)ステップ1208に処理は遷移する。
CPU311は、ステップ1204において、会議シーンが「プレゼン」の状態が続いているか否かを判定する。この判定のため、CPU311はRAM314に明度用プレゼン中フラグデータを記憶しているか否かを判定する。明度用プレゼン中フラグとは、以前にステップ1203を実行した際に、YESと判定(会議シーンが「プレゼン」と判定)し、その状態が続いている事を示す情報である。YESと判定する場合には、ステップ1206に処理は遷移し、NOと判定する場合にはステップ1205に処理は遷移する。
ステップ1204においてNOと判定したことは、会議シーンが「プレゼン」以外の状態から「プレゼン」の状態に変化したことを示す。よって、CPU311は、ステップ1205において、強調表示のための枠(破線枠ないし赤枠)の下部水平線を描画する。また、このとき、CPU311は明度用プレゼン中フラグデータをRAM314に記憶する。
CPU311は、ステップ1206において、ひとつ前の処理対処のレコードと現在処理対象のレコードの明度データ列612の値を基に、折れ線グラフを、表示画像800に対して強調して描画する。ステップ1206における「強調」処理とは、前述の通り、例えば、折れ線グラフの線を太くし、明度情報表示部位812を破線枠ないし赤枠で囲うことである。破線枠ないし赤枠の下部水平線と上部水平線はそれぞれステップ1205およびステップ1209において描画するので、ステップ1206では左部垂直線と右部垂直線のみを描画する)。
一方、CPU311は、ステップ1207において、ひとつ前の処理対処のレコードと現在処理対象のレコードの明度データ列612の値を基に折れ線グラフを、表示画像800に対して(強調せずに)描画する。
また、ステップ1203で、会議シーンは「プレゼン」ではないと判定した場合(NOと判定した場合)には、CPU311はステップ1208において、これまで会議シーンが「プレゼン」であったか否かを判定する。この判定のため、CPU311は、RAM314に明度用プレゼン中フラグデータを記憶しているか否かを判定する。YESと判定する場合には、ステップ1209に処理は遷移し、NOと判定する場合にはステップ1207に処理は遷移する。
ステップ1208においてNOと判定したことは、会議シーンが「プレゼン」の状態から「プレゼン」以外の状態に変化したことを示す。よって、CPU311は、ステップ1209において、強調表示のための枠(破線枠ないし赤枠)の上部水平線を描画する。また、このとき、明度用プレゼン中フラグデータをRAM314から消去する。そして、ステップ1207へ遷移する。
次に、図14を参照し、図10で説明したステップ917およびステップ918の処理の詳細を説明する。図14(A)に示す処理1210は、ステップ917(動画情報表示部位813の描画)の詳細を示したフローチャートである。CPU311は、ステップ1211において、描画する動画情報を取得する。すなわち、CPU311は、動画データ列503が示す動画データ中のフレーム画像より、処理対象の区間の開始時刻に直近直後のフレーム画像を取得する。CPU311は、ステップ1212において、ステップ1211で取得したフレーム画像を、表示画像800に対して描画する。
図14(B)に示す処理1220は、ステップ918(顔画像情報表示部位814の描画)の詳細を示したフローチャートである。CPU311は、ステップ1221において、描画する顔画像情報を取得する。すなわち、CPU311は、顔画像情報テーブル700から、顔画像取得時刻列701の時刻が処理対象の区間内に含まれるレコードを検索して取得する。更に、取得したレコードのうち、当該区間の開始時刻に最も近いレコードを特定する。そして、当該レコードの顔画像列702が示す顔画像を取得する。
CPU311は、ステップ1222において、ステップ908で決定した当該区間の会議シーンが「議論」であるか否かを判定する。YESと判定する場合にはステップ1223に処理は遷移し、NOと判定する場合にはステップ1224に処理は遷移する。CPU311は、ステップ1223において、ステップ1221で取得した顔画像を、表示画像800に対して強調して描画する。「強調」とは、前述の通り、例えば、顔画像をより大きく(例えば1.5倍に拡大)し、また、顔画像情報表示部位814を破線枠ないし赤枠で囲うことである。一方、CPU311は、ステップ1224において、ステップ1221で取得した顔画像を(強調せずに)描画する。
以上のように、本実施例によれば、複数の項目から成る会議情報を表示する際、注目すべきデータの種類を示唆すべく、会議シーンに応じて注目すべき項目を強調して表示する。これによりユーザは、大量の会議情報であっても、効率よく好適に閲覧することができる。
尚、動画情報表示部位813に対して操作指示が成された場合には、表示デバイス317が、指示対象部位に該当する単位時間の区間の開始時刻から、動画データを再生して表示する。この際、動画データと共に他の会議情報を表示してもよい。このとき、それら会議情報も、タイムラインの進行に伴って表示内容を更新すると好ましい。更に、動画データと共に表示する会議情報の項目は、表示画像800の生成において強調表示したことと同様に、会議シーン情報に応じて表示すべき会議情報の項目を決定してもよい。
また、本実施例では、会議シーンの収集方法として、ユーザが、会議情報収集装置の入力デバイスを操作して会議シーンを選択入力する方法を示したが、他の方法であってもよい。例えば、特開2006−302045に開示されているように、発話者数と発話の重なり具合から会議シーンを推定するなどしてもよい。
本実施例では、会議シーンを「オープニング」、「プレゼンテーション」、「質疑/応答」、「議論」、「まとめ」とする例を示したが、この限りではない。これ以外の会議シーンを定義し、それに応じて注目すべきデータの種類を決定し、これに従って表示方法を決定してもよい。また、各会議シーンにおいて注目すべきデータの種類も、本実施例に示したものに固定されるものではなく、他の組み合わせを用いてもよい。更に、会議シーンや、当該会議シーンの際に注目すべきデータの種類を設定可能に構成してもよい。
また、本実施例では、会議情報記録システム100は複数の装置を備えて構成されているが、システム構成は本実施例に限定されない。例えば、会議情報収集装置101と会議情報記録サーバが一体となった装置が用いられてもよい。この装置に表示デバイスが搭載されていれば、一台の装置により本実施例で説明したシステムと同様の処理が実行可能となる。
(実施例2)
実施例1では、会議シーンに応じて会議情報の項目を強調して表示する例を示した。本実施例では、強調表示ではなく、注目すべき項目を抽出して表示する例について説明する。
図15は、実施例2において、コンピュータ105の表示デバイス317が表示する画面例を示す。実施例1では、CPU311は、会議情報収集サーバ102から受信した全ての会議情報を用い、会議シーンに応じて会議情報の項目を強調して表示画像800を生成した。本実施例では、会議シーンに応じて、会議情報の項目を抽出し、抽出した項目のみを用いて表示画像1300を生成する。各会議シーンに対して、重要とする会議情報の項目は、実施例1と同様であるが、本実施例では、図示のとおり、重要とする会議情報の項目のみを抽出して表示画像1300に描画する。
時間帯1301は、会議シーン情報が「オープニング」の時間帯である。CPU311は、この時間帯では、議事テキスト情報を抽出して、表示画像1300に描画する。時間帯1302は、会議シーン情報が「プレゼン」の時間帯である。CPU311は、この時間帯では、会議資料情報および明度情報を抽出して、表示画像1300に描画する。時間帯1303は、会議シーン情報が「質疑/応答」の時間帯である。CPU311は、この時間帯では、議事テキスト情報と話者情報を抽出して、表示画像1300に描画する。時間帯1304および時間帯1306は、会議シーンが「議論」の時間帯である。CPU311は、この時間帯では、話者情報と音量情報、顔画像情報を抽出して、表示画像1300に描画する。時間帯1305は、会議シーンが「熟考/沈黙」の時間帯である。CPU311は、この時間帯に抽出する項目はないと判定し、表示画像1300には、会議シーン情報以外には何も描画しない。時間帯1307は、会議シーンが「まとめ」の時間帯である。CPU311は、この時間帯では、議事テキスト情報を抽出して、表示画像1300に描画する。
全体表示ボタン1308は、上述の通り抽出した項目以外の項目についても表示を指示するためのボタンである。全体表示ボタン1308を指示すると、CPU311は表示画像800を生成して表示デバイス317に表示させる。
次に、CPU311が、図13に示した表示画像1300を生成する方法について、図16乃至図18を用いて説明する。図16乃至図18は、表示画像生成処理の手順を示したフローチャートである。コンピュータ105において、CPU311は、ストレージ315に記録されている会議情報表示プログラムを読み込み、RAM314に展開して実行する。これにより、コンピュータ105は、表示画像生成処理を実行し、図15に示す画面を表示デバイス317に表示することが可能となる。コンピュータ105のCPU311は、ユーザにより会議情報の表示指示が成された場合や、ユーザにより単位時間縮小ボタン802や単位時間拡大ボタン803の操作指示が成された場合に表示画像生成処理を実行する。
図16に示す、ステップ901からステップ908、ステップ919は、図10で説明したステップと同様の処理であるため、説明を省略する。CPU311は、S908で処理対象の区間の会議シーンを決定すると、処理をステップ1401に進める。ステップ1401において、CPU311は、処理対象の区間について、議事テキスト情報を描画する。CPU311は、ステップ1402において、処理対象の区間について、会議資料情報を描画する。CPU311は、ステップ1403において、処理対象の区間について、話者情報を描画する。ステップ1401乃至ステップ1403の処理の詳細は、図17を用いて後述する。
CPU311は、ステップ1404において、処理対象の区間について、音量情報を描画する。CPU311は、ステップ1405において、処理対象の区間について、明度情報を描画する。CPU311は、ステップ1406において、処理対象の区間について、顔画像情報を描画する。CPU311は、区間数の数だけ、それら区間の会議情報を表示画像1300に対して描画した後、ステップ1407に処理を進める。ステップ1404乃至ステップ1406の処理の詳細は、図18を用いて後述する。ステップ1407において、全体表示ボタン1308を、表示画像1300に対して描画する。そして処理を終了する。
次に、図17を参照し、図16で説明したステップ1401乃至ステップ1403の処理の詳細を説明する。図17(A)に示す処理1500は、ステップ1401(議事テキスト情報の描画)の詳細を示したフローチャートである。CPU311は、ステップ1501において、ステップ908で決定した当該区間の会議シーンが「オープニング」または「質疑/応答」、または「まとめ」であるか否かを判定する。YESと判定する場合には、ステップ1502に処理は遷移し、NOと判定する場合には、表示画像1300に何も描画せずに処理を終了する。CPU311は、ステップ1502において、描画する議事テキスト情報を取得する。すなわち、CPU311は、議事テキスト情報テーブル520から、入力時刻列521の時刻が処理対象の区間内に含まれるレコードを検索して取得する。CPU311は、ステップ1503において、ステップ1502で取得したレコードの議事テキストデータ列522の値をタイムライン方向に並べ、表示画像1300に対して描画する。
図17(B)に示す処理1510は、ステップ1402(会議資料情報の描画)の詳細を示したフローチャートである。CPU311は、ステップ1511において、ステップ908で決定した当該区間の会議シーンが「プレゼン」であるか否かを判定する。YESと判定する場合には、ステップ1512に処理は遷移し、NOと判定する場合には、表示画像1300に何も描画せずに処理を終了する。CPU311は、ステップ1512において、描画する会議資料情報を取得する。すなわち、CPU311は、会議資料情報テーブル530から、出力画像取得時刻531の時刻が処理対象の区間内に含まれるレコードを検索して取得する。更に、取得したレコードのうち、当該区間の開始時刻に最も近いレコードを特定する。そして、当該レコードの出力画像列532が示す出力画像を取得する。CPU311は、ステップ1513において、ステップ1512で取得した出力画像を、表示画像1300に対して描画する。
図17(C)に示す処理1520は、ステップ1403(話者情報の描画)の詳細を示したフローチャートである。CPU311は、ステップ1521において、ステップ908で決定した当該区間の会議シーンが「質疑/応答」、または「議論」であるか否かを判定する。YESと判定する場合には、ステップ1522に処理は遷移し、NOと判定する場合には、表示画像1300に何も表示せずに処理を終了する。CPU311は、ステップ1522において、描画する話者情報を取得する。すなわち、CPU311は、話者情報テーブル710から、発言時刻列711の時刻が処理対象の区間内に含まれるレコードを検索して取得する。CPU311は、ステップ1523において、前述のとおり、ステップ1522で取得したレコードの発言者列712の発言者に応じた線分と、発言者顔画像列713の値が示す発言者顔画像を、表示画像1300に対して描画する。
次に、図18を参照し、図16で説明したステップ1404乃至ステップ1406の処理の詳細を説明する。図18(A)に示す処理1530は、ステップ1404(音量情報の描画)の詳細を示したフローチャートである。CPU311は、ステップ1531において、描画する音量情報を取得する。すなわち、CPU311は、音量情報テーブル600から、音量データ取得時刻列601の時刻が処理対象の区間内に含まれるレコードを検索して取得する。本実施例では、取得したレコードを、音量データ取得時刻列601に基づいて、昇順にソートしておく。
CPU311は、ステップ1532において、ステップ1531で取得したレコードの数分、ステップ1533〜ステップ1535の処理を繰り返したか否か判定する。YESであれば処理を終了し、NOであればステップ1533に遷移する。
CPU311は、ステップ1533において、処理対象のレコードの音量データ取得時刻列601の時刻における会議シーンが、「議論」であるか否かを判定する。これには、会議シーン情報テーブル630を検索し、会議シーン開始時刻列631の時刻が、処理対象のレコードの音量データ取得時刻601の時刻に対して、直前最近であるレコードと、直後最近であるレコードを取得する。そして、取得した両レコードの会議シーンのいずれかが「議論」であれば、YESと判定し、ステップ1534に遷移する。そうでなければ(NOであれば)ステップ1532に遷移する。このとき、音量用議論中フラグデータ(後述)をRAM314から削除する。
CPU311は、ステップ1534において、会議シーンが「議論」の状態が続いているか否かを判定する。これには、RAM314に音量用議論中フラグデータを記憶しているか否かを判定する。音量用議論中フラグとは、以前にステップ1533を実行した際に、YESと判定(会議シーンが「議論」と判定)し、その状態が続いている事を示す情報である。音量用議論中フラグデータを記憶しておりYESと判定する場合には、ステップ1535に処理は遷移し、NOと判定する場合にはステップ1532に処理は遷移する。CPU311は、ステップ1535において、ひとつ前の処理対処のレコードと現在処理対象のレコードの音量データ列602の値を基に、折れ線グラフを表示画像1300に対して描画する。
処理1540は、ステップ1405(明度情報の描画)の詳細を示したフローチャートである。CPU311は、ステップ1541において、描画する明度情報を取得する。すなわち、CPU311は、明度情報テーブル610から、明度データ取得時刻列611の時刻が処理対象の区間内に含まれるレコードを検索して取得する。本実施例では、取得したレコードを、明度データ取得時刻列611に基づいて、昇順にソートしておく。
CPU311は、ステップ1542において、ステップ1541で取得したレコードの数分、ステップ1543〜ステップ1545の処理を繰り返したか否か判定する。YESであれば処理を終了し、NOであればステップ1543に遷移する。
CPU311は、ステップ1543において、処理対象のレコードの明度データ取得時刻列611の時刻における会議シーンが、「プレゼン」であるか否かを判定する。これには、会議シーン情報テーブル630を検索し、会議シーン開始時刻列631の時刻が、処理対象のレコードの明度データ取得時刻列611の時刻に対して、直前最近であるレコードと、直後最近であるレコードを取得する。そして、取得した両レコードの会議シーンのいずれかが「プレゼン」であれば、YESと判定し、ステップ1544に遷移する。そうでなければ(NOであれば)ステップ1542に遷移する。このとき、明度用プレゼン中フラグデータ(後述)をRAM314から削除する。
CPU311は、ステップ1544において、会議シーンが「プレゼン」の状態が続いているか否かを判定する。これには、RAM314に明度用プレゼン中フラグデータを記憶しているか否かを判定する。明度用議論中フラグとは、以前にステップ1543を実行した際に、YESと判定(会議シーンが「プレゼン」と判定)し、その状態が続いている事を示す情報である。明度用プレゼン中フラグデータを記憶しておりYESと判定する場合には、ステップ1545に遷移し、NOと判定する場合にはステップ1542に遷移する。
CPU311は、ステップ1545において、ひとつ前の処理対処のレコードと現在処理対象のレコードの明度データ列612の値を基に、折れ線グラフを表示画像1300に対して描画する。
図18(C)に示す処理1550は、ステップ1406(顔画像情報の描画)の詳細を示したフローチャートである。CPU311は、ステップ1551において、ステップ908で決定した当該区間の会議シーンが「議論」であるか否かを判定する。YESと判定する場合には、ステップ1552に処理は遷移し、NOと判定する場合には、表示画像1300に何も描画せずに処理を終了する。CPU311は、ステップ1552において、描画する顔画像情報を取得する。すなわち、CPU311は、顔画像情報テーブル700から、顔画像取得時刻列701の時刻が処理対象の区間内に含まれるレコードを検索して取得する。更に、取得したレコードのうち、当該区間の開始時刻に最も近いレコードを特定する。そして、当該レコードの顔画像列702が示す顔画像を取得する。CPU311は、ステップ1553において、ステップ1552で取得した出力画像を、表示画像1300に対して描画する。
以上のように、本実施例によれば、複数の項目から成る会議情報を表示する際、注目すべき項目を閲覧させるべく、会議シーンに応じて注目すべき項目を抽出して表示する。これにより、例えば、表示領域の小さな画面を有するコンピュータや端末において会議情報を参照する際に、ユーザは効率よく好適に会議情報を閲覧することができる。
(実施例3)
実施例3では、コンピュータ105の表示デバイス317に表示した会議情報について、タイムラインに従う方向へスクロール処理する方法を説明する。会議時間が長いと、表示デバイスの画面には、全ての会議情報が表示されない。また、ユーザが図9に示すような単位時間縮小ボタンを利用した場合、さらに多くの単位時間の区間が増加する。このような場合、ユーザは入力デバイス316を介してタイムラインに従う方向へスクロール指示を行うことができる。本実施例では、会議シーンに応じて、好適にスクロール表示の方法が決定される。
まず、CPU311は、各区間について、スクロール処理の制御情報を生成する。図19は、このスクロール処理の制御情報であるデータの構成を示すデータ構成図である。スクロール制御情報テーブル1620は、CPU311が表示画像800を生成する際に生成し、RAM314に記憶する。後述するように、CPU311は、スクロール制御情報テーブル1620の内容に従って、表示画像800のタイムライン方向へのスクロールの速度を制御する。
区間位置列1621には、スクロール時に速度を変じるべき区間の位置を記憶する。この位置とは表示画像800の下端からの高さ方向のピクセル数であり、速度を変じるべき区間の開始位置ピクセル数と終了位置ピクセル数をカンマで連結して記録したものである。CPU311は、会議シーンに応じて参照を促すべき表示画像上の部位を判定し、当該部位の位置を記録する。CPU311は、スクロール時に、この値に応じてスクロール速度を制御して変更する。CPU311は、減速度値列1622には、スクロール速度の減速度(加速度)を記憶する。区間位置列1621に示す区間に対して決定するスクロール速度の減速度値である。本実施例のおいては、CPU311は、減速度値として「A2」か「A3」を記録する。値はA2<A1<0<A3、A1とするが、詳細は後述する。
次に、スクロール制御情報テーブル1620を生成する手順について、図20乃至図25を用いて説明する。図20乃至図25は、本実施例における表示画像800の生成処理の手順を示すフローチャートである。なお、図20に示すステップ901からステップ919は、図10で説明した同符号における処理と同様である。
CPU311は、ステップ908で処理対象の区間の会議シーンを決定した後、ステップ1701において、当該区間の会議シーンは「熟考/沈黙」であるか否かを判定する。YESと判定する場合にはステップ1702に処理は遷移し、NOと判定する場合にはステップ909に遷移する。
CPU311は、ステップ1702において、処理対象の区間の位置を区間位置列1621に追加して記憶する。また、減速度値列1622にはA3を記録する。これにより、会議シーンが「熟考/沈黙」の区間をスクロール制御情報テーブル1620に記録することができる。尚、既に登録されているレコードについて、追加する区間と隣接する区間であって、減速度値列1622の値が同一のレコードがある場合には、新規にレコードを追加せずに、このレコードの区間位置列1621の値を更新する。例えば、区間位置列1621の値が「480,560」(減速度値列1622の値は「A2」)のレコードが既に存在し、区間位置列1621の値が「560,640」(減速度値列1622の値は「A2」)のレコードを追加したい場合、次のようにする。CPU311は、新規レコードは追加せず、当該登録済みレコードの区間位置列1621の値を「480,640」に更新する。このレコードの追加方法は、以降の各ステップにおけるスクロール制御情報テーブル1620への記憶処理においても同様である。
次に、図22乃至図25を参照し、図20のステップ909、910、911、915、918の処理の詳細を説明する。図21の処理1800は、議事テキスト情報の描画処理である。ステップ1001からステップ1005は、図11(A)で示した処理と同様であるため説明を省略する。CPU311は、ステップ1004で、処理対象の区間の議事テキスト情報を強調して描画した後、ステップ1801において、処理対象の区間の位置を区間位置列1621に追加して記憶する。また、減速度値列1622には減速度値A2を記録する。これにより、会議シーンが「オープニング」や「質疑/応答」、「まとめ」の場合であって、議事テキスト情報が存在する区間をスクロール制御情報テーブル1620に記録することができる。
図22は、会議資情報の描画処理である。処理1810において、ステップ1011からステップ1015は、図11(B)で示した処理と同様であるため説明を省略する。CPU311は、ステップ1014の描画処理の後、ステップ1811において、一つ前の区間は「プレゼン」であってその区間において描画した会議資料情報(出力画像)と、現在処理対象の区間の会議資料情報とに差分があるか否かを判定する。YESと判定する場合にはステップ1812に処理は遷移し、NOと判定する場合には処理は終了する。
CPU311は、ステップ1812において、処理対象の区間の位置を区間位置列1621に追加して記憶する。また、減速度値列1622には減速度値A2を記録する。これにより、会議シーンが「プレゼン」の場合であって、会議資料情報に変化があった区間をスクロール制御情報テーブル1620に記録することができる。
図23は、話者情報の描画処理である。処理1820において、ステップ1021からステップ1025は、図11(C)で示した処理と同様であるため説明を省略する。CPU311は、ステップ1024の描画処理の後、ステップ1821において、描画対象に複数の話者の線分を含む、つまり話者交代があるか否かを判定する。YESと判定する場合には、ステップ1822に処理は遷移し、NOと判定する場合には処理は終了する。
CPU311は、ステップ1822において、処理対象の区間の位置を区間位置列1621に追加して記憶する。また、CPU311は、減速度値列1622には減速度値A2を記録する。これにより、会議シーンが「質疑/応答」や「議論」の場合であって、話者交代があった区間をスクロール制御情報テーブル1620に記録することができる。
図24は、音情報の描画処理である。処理1900において、ステップ1121からステップ1127は、図12(C)で示した処理と同様であるため説明を省略する。CPU311は、ステップ1126で、処理対象の区間の音量情報を強調して描画した後、ステップ1901において、音量データの値が所定値以上であるか否かを判定する。この所定値とは、例えば、全音量データの平均値を算出し、算出された値を所定値と設定してよい。YESと判定する場合には、ステップ1902に処理は遷移し、NOと判定する場合には、ステップ1122に処理は遷移する。CPU311は、ステップ1902において、当該区間の位置を区間位置列1621に追加して記憶する。また、減速度値列1622には減速度値A2を記録する。これにより、会議シーンが「議論」の場合であって、所定値以上であった区間、つまり盛り上がりを見せたと推定される区間、をスクロール制御情報テーブル1620に記録することができる。
図25は、顔画像情報の描画処理である。処理2000において、ステップ1221からステップ1224は、図14(B)で示した処理と同様であるため説明を省略する。CPU311は、ステップ1223の描画処理の後、ステップ2001において各顔画像について笑顔判定を行い、いずれの顔画像も笑顔ではないか否かを判定する。笑顔判定は、例えば、口角が上がる、目尻が下がるなどの変化を統計的識別手法により解析して判定すればよい。YESと判定する場合には、ステップ2002に処理は遷移し、NOと判定する場合には処理は終了する。
CPU311は、ステップ2002において、当該区間の位置を区間位置列1621に追加して記憶する。また、減速度値列1622には減速度値A2を記録する。以上は、笑顔がないことをもって、議論への集中や白熱さと解釈するものである。これにより、会議シーンが「議論」の場合であって、議論に集中し白熱していると推定する区間、をスクロール制御情報テーブル1620に記録することができる。
次に、CPU311が、表示画像800をタイムライン方向にスクロールして、表示デバイス317の表示を更新する際の処理について説明する。図26は、当該処理の手順を示したフローチャートである。本処理は、ユーザが入力デバイス316を介してスクロール指示を行った場合に実行される。まず、CPU311は、ステップ2101において、スクロールの(初)速度vおよび減速度aを決定する。ここでは、速度vを速度値V1とし、減速度aを減速度値A1(A1<0)とする。
CPU311は、ステップ2102において、スクロールを停止するか否かを判定する。これは、速度vが所定の閾値以下であるならばYESと判定し、そうでないならばNOと判定する。所定の閾値とは値0に近い数値を予め決定しておけばよい。NOと判定する場合にはステップ2103に処理は遷移し、YESと判定する場合には、処理を終了する。
CPU311は、ステップ2103において、RAM314に終了位置が記憶されているか否かを判定する。終了位置については後述する。YESと判定する場合にはステップ2104に処理は遷移し、NOと判定する場合にはステップ2106に遷移する。
CPU311は、ステップ2104において、RAM314に記憶されている終了位置が示す表示画像800上の位置が、表示デバイス317の表示領域内に含まれているか否かを判定する。YESと判定する場合にはステップ2105に処理は遷移し、NOと判定する場合にはステップ2106に処理は遷移する。CPU311は、ステップ2105において、減速度aを減速度値A1に更新する。このとき、RAM314から終了位置を削除する。
CPU311は、ステップ2106において、移動量dを算出する。これは次の式により得ることができる。d = v * t + 0.5 * a * t * t。CPU311は、ステップ2107において、移動量dの分、表示画像800を移動した場合に、表示デバイス317の表示領域に対して現在表示領域外であって、移動後に表示領域内となる領域について、次を判定する。CPU311は、スクロール制御情報テーブル1620に登録されているレコードの中で、区間位置列1621の値の開始位置が、当該領域に含まれるか否かを判定する。YESと判定する場合にはステップ2108に処理は遷移し、NOと判定する場合にはステップ2110に処理は遷移する。
CPU311は、ステップ2108において、ステップ2107で判定に用いたスクロール制御情報テーブル1620のレコードの減速度値列1622の値を取得し、当該値で減速度aを更新する。減速度値列1622の値がA2ならば、次回の移動量dの計算時より、スクロール移動はより減速するよう制御される。また、減速度値1622の値がA3ならが、スクロール移動は加速するよう制御される。
CPU311は、ステップ2109において、ステップ2107で判定に用いたスクロール制御情報テーブル1620の区間位置列1621の値の終了位置を取得し、RAM314に記憶する。このRAM314に記憶した終了位置を、ステップ2103からステップ2105の処理において判定することにより、ステップ2108で更新した減速度aの値を元の値A1に戻すことができる。CPU311は、ステップ2110において、表示デバイス317の表示領域に対する表示画像800の位置を、移動量dの分だけタイムライン方向に移動する。そして、表示デバイス317に表示を更新させる。
以上により、表示画像800のスクロールを、会議シーンに応じて好適に決定することができる。より詳細には、表示画像800上の部位であって、会議シーンが「プレゼン」に該当する箇所においては、会議資料情報が変化した際に、スクロール速度を減速してユーザに閲覧を示唆する。同様に、会議シーンが「質疑/応答」に該当する箇所においては、議事テキスト情報が記録されていることや、話者情報について話者が切り替わったことに基づいて、スクロール速度を減速してユーザに閲覧を示唆する。
また、会議シーンが「議論」に該当する箇所においては、話者情報について話者が切り替わったことや、音量情報から推定される議論の盛り上がり、顔画像情報から推定される議論の白熱具合を考慮する。そしてこれに基づいて、スクロール速度を減速してユーザに閲覧を示唆する。会議シーンが「熟考/沈黙」に該当する箇所においては、会議の進行は停滞している状況であり、会議情報の閲覧による振り返りに有用な情報は少ないと考えられる。よって、この場合には、スクロール速度を加速し、早々に当該部位をスクロールして経過する。または、会議シーンが「熟考/沈黙」に該当する箇所はスクロールをスキップさせる構成としてもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そしてそのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。