JP2008017050A - 会議システム及び会議方法 - Google Patents

Abstract

【課題】所望の音声及び画像特徴を説明する情報に基づいて効率的に検索できる会議システム及び会議方法を提供する。
【解決手段】
会議で取得された音声である取得音声と取得音声を取得した時刻である音声取得時刻とを関連付け、会議で投影された画像であり、かつ会議で取得された画像である取得画像と取得画像を取得した時刻である画像取得時刻とを関連付け、かつ取得音声と取得画像とを音声取得時刻と画像取得時刻とに基づいて時刻で関連付けて記憶するよう制御する制御手段と、を備える会議システムであって、制御手段は、取得画像と取得画像と類似した画像の会議における投影回数とを関連付けて記憶するよう記憶部を制御する。
これにより類似した画像の投影回数が高いと言う特徴を有する画像を知ることができる。
【選択図】図１

Description

本発明は、会議における音声及び画像を記憶又は検索できる会議システム及び会議方法に関し、特に、音声及び画像を効率的に検索できる会議システム及び会議方法に関する。

会議又は講義等において、発表者等は、プロジェクタにより資料画像を投影し、投影した画像に対して発表等を行なう。このようにして行なわれた会議等において投影された画像及び発言された音声等を予め記録しておくことで、会議に出席しなかった者や会議の内容を再確認しようとする者等が会議の内容を参照することができる。
しかし、所望のスライド画像又は発言の検索を容易にするためには索引付け作業が必要であり、人手によらない索引付け処理が必要となる。
このような機能を有する会議システムとしては、マイクにより収音された会議の参加者の音声に対して、マイクロフォンアレイを利用した音源推定技術により推定された位置情報に基づいて判断した発言者を識別する情報、及びビデオカメラによる映像に基づいて取得した発言者の静止画像、を自動的に索引付けできる会議システムが知られている（例えば、特許文献１参照）。
特開２０００‐１２５２７４

ところで、上記のような会議システムでは、検索対象とする音声並びに画像又は映像（以下単に、音声等と言う）の索引として音声等の特徴を説明する情報を付すことができないため、特徴を説明する情報に従って所望の音声等を効率的に検索できないという問題があった。

本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、所望の音声及び画像を特徴付ける情報に基づいて効率的に検索できる会議システム及び会議方法を提供することにある。

本発明に係る会議システムは、会議において取得された音声である取得音声と取得音声を取得した時刻である音声取得時刻とを関連付け、会議で投影された画像であり、かつ会議において取得された画像である取得画像と取得画像を取得した時刻である画像取得時刻とを関連付け、かつ取得音声と取得画像とを音声取得時刻と画像取得時刻とに基づいて時刻で関連付けて記憶するよう記憶部を制御する制御手段と、を備える会議システムであって、制御手段は、画像取得時刻で区切られた時間区間である画像取得時間区間と、取得画像の内で画像取得時間区間において会議で投影された画像である区間取得画像と、区間取得画像を分類する基準となる区間取得画像分類基準と、を関連付けて記憶するよう記憶部を制御し、
区間取得画像分類基準は、分類対象である区間取得画像と類似した取得画像の会議における投影回数を含むことを特徴としている。
一般に会議において説明者が重要だと考える画像及び説明は、他の画像と比較して投影及び説明されると言う特徴を有する。よってこの構成によれば、会議において取得された音声及び画像を取得した時刻のみならず、類似した画像の投影回数に基づいても分類して記憶できるため、類似した画像の投影回数が高いと言う特徴を有する画像のみならず、そのような画像の投影時において取得された説明音声をも知ることができる。

上記構成において、区間取得画像分類基準は、分類対象である取得画像が会議において説明を省略された画像であるか否かを表す情報を含む構成を採用できる。
一般に会議において、説明者は、説明者が重要でないと考える画像には説明を行なわないと言う特徴的な行動を行う。よってこの構成によれば、制御手段は説明を省略された画像であるか否かを表す情報と取得画像とを関連付けて記憶するよう記憶部を制御するため、説明がなされないと言う特徴を有する画像を知ることができる。

上記構成において、検索に用いられるキーワードである検索キーワードを入力する入力手段と、入力手段で入力された検索キーワードに基づいて生成された検索条件を満たす区間取得画像分類基準に関連付けて、記憶部に記憶された区間取得画像を検索する検索手段と、検索手段の検索した区間取得画像の少なくとも１つ以上を表示する表示手段を更に有する構成を採用できる。
この構成によれば、所望の区間取得画像を、検索の手がかりとなる検索キーワードに基づいて検索手段により検索し、検索された画像を表示手段に表示して確認できるため、効率よく所望の画像を検索し、検索した画像を確認できる。

上記構成において、区間取得画像分類基準は、分類対象である区間取得画像であって、かつ検索手段で検索された区間取得画像が表示手段に表示された回数である表示回数を含む構成を採用できる。
一般に、区間取得画像を閲覧する者が重要であると考える画像ほど多く検索され、検索結果として表示されると言う特徴を有する。よってこの構成によれば、所望の区間取得画像の過去における表示回数を知ることができるだけでなく、表示回数が多い又は少ないと言った特徴を有する画像を知ることができる。

上記構成において、画像取得時間区間は、会議において投影された画像の投影を開始した時刻である投影開始時刻と投影を終了した時刻とで定められる時間区間である投影時間区間を含む構成を採用できる。
この構成によれば、制御手段は投影時間区間と取得画像とを関連付けて記憶するよう記憶部を制御するため、特定の時刻に会議において投影されていた画像を知ることができるだけでなく、特定の画像が投影されていた時間区間をも知ることができる。
またこの構成によれば、記憶部は、区間取得画像と画像の投影を開始した時刻とを関連付けて記憶するので、それぞれの画像を投影した順番を知ることができる。
更に、一例として、説明者が重要だと考える画像は会議の最後に結論、又は総論等として表示されると言う特徴を有する、画像を投影した順番が遅い又は早いと言った特徴を有する画像を知ることができる。

上記構成において、区間取得画像分類基準は、分類対象である画像取得時間区間の長さである画像取得時間区間長を含む構成を採用できる。
一般に説明者が重要だと考える画像ほど、長時間投影されると言う特徴を有する。よってこの構成によれば、記憶部は、画像取得時間区間は投影時間区間であり、かつ区間取得画像と投影時間区間長とを関連付けて記憶するので、長時間投影されていた区間取得画像を知ることができるだけでなく、投影時間区間長が長いという特長を有する区間取得画像を知ることができる。

上記構成において、区間取得画像分類基準は、分類対象である区間取得画像に対して文字認識処理を行なうことで抽出した文字情報を含む構成を採用できる。
この構成によれば、取得画像から文字認識処理により取得した文字情報と区間取得画像とを関連付けて記憶するよう記憶部を制御するため、区間取得画像を画像の有する文字情報に基づいて分類できる。

上記構成において、区間取得画像と類似した取得画像は、区間取得画像を構成する画素情報が類似した画像、又は区間取得画像に対して文字認識処理を行なうことで抽出した文字情報を構成する単語が類似した画像である構成を採用できる。
この構成によれば、類似した画像であるか否かを、画像の有する文字情報を構成する単語、又は画素情報に基づいて判断するため、類似・非類似を定量的に判断できる。

上記構成において、説明を省略された画像であるか否かを表す情報は、画像取得時間区間長が所定の閾値以下、又はより小さいか否かを表す情報である構成を採用できる。
この構成によれば、閾値を変化させることで、一例として、説明者の説明速度、又は会議システムの操作者の操作速度に対応して説明対象とした画像とそうでない画像とを分類できる。

上記構成において、区間取得画像分類基準は、分類対象である区間取得画像であって、かつ検索手段で検索された区間取得画像が表示手段に表示された時間長である表示時間長を含む構成を採用できる。
一般に、区間取得画像の閲覧者が重要だと考える画像ほど多く検索され、かつ長時間に渡り表示されると言う特徴を有する。よってこの構成によれば、所望の区間取得画像の過去における表示時間長を知ることができるだけでなく、表示時間長が長いと言う特徴を有する区間取得画像を知ることができる。

上記構成において、表示手段は、検索手段で検索された区間取得画像のサムネイルと、制御手段により区間取得画像に関連付けられた区間取得画像分類基準と、を関連付けて表示する構成を採用できる。
この構成によれば、検索された区間取得画像が所望の画像であるかをサムネイル及び区間取得画像分類基準に基づいて容易に確認できる。

上記構成において、入力手段は、表示手段が表示するサムネイルの並び順を指定するソートキーを入力し、検索手段は、検索した区間取得画像について入力手段が入力したソートキーに基づいて並び順を定め、表示手段は、検索手段が定めた並び順に従って、前期区間取得画像のサムネイルを並べて表示する構成を採用できる。
この構成によれば、所望の画像を特徴付ける並び順で画像を並べて、並び順を手がかりに画像を効率的に探し出すことができる。

上記構成において、区間取得画像分類基準は、分類対象である区間取得画像を検索手段が検索するためにソートキーを用いた回数を含み、
ソートキーは、ソートキーを用いた回数以外の区間取得画像分類基準である構成を採用できる。
一般に所望の画像を特定するためには、所望の画像を特徴付ける並び順で画像を並べて、並び順を手がかりに画像を探し出す。よってこの構成によれば、ソートキーの使用回数と区間取得画像とを関連付けて記憶するよう記憶部を制御手段が制御するため、区間取得画像を検索するために用いられた回数が多い又は少ないと言う区間取得画像を特徴付けるソートキーを知ることができる。これにより所望の画像を容易に検索できる。

上記構成において、入力手段は、区間取得画像を説明する情報であるアノテーション情報を入力し、区間取得画像分類基準は、分類対象である区間取得画像を説明するアノテーション情報であって、かつ入力手段が入力したアノテーション情報を含む構成を採用できる。
この構成によれば、制御手段は、アノテーション情報と区間取得画像とを関連付けて記憶するよう記憶部を制御するので、一例として、講演者、又はシステム管理者が、重要だと考える区間取得画像を視聴する者に対して追加の説明等をアノテーション情報として区間取得画像に関連付けることができる。また、区間取得画像を視聴する者が、重要だと考える区間取得画像を視聴した感想や質問等をアノテーション情報として区間取得画像に関連付けることができる。
よって、アノテーション情報の付されたと言う特徴を有する区間取得画像を知ることができる。

上記構成において、制御手段によって、表示手段が表示する区間取得画像と時刻に基づいて関連付けて記憶された取得音声を同期して出音する出音手段を更に有する構成を採用できる。
この構成によれば、区間取得画像分類基準に基づいて所望の区間取得画像を検索手段で検索し、検索された画像を表示手段で表示するだけでなく検索された画像の画像取得時間区間において収集された音声を出音手段から出音できる。よって、表示された画像が所望の画像であるかを表示された画像だけでなく出音された音声に基づいて容易に確認できる。また、区間取得画像分類基準に基づいて区間取得画像のみならず、画像取得時間区間における取得音声をも検索して視聴できる。

上記構成において、制御手段は、音声取得時刻で区切られた時間区間である音声取得時間区間と、音声取得時間区間において取得された取得音声である区間取得音声と、区間取得音声を分類する基準となる区間取得音声分類基準と、を関連付けて記憶するよう記憶部を制御し、区間取得音声分類基準は、区間取得音声として取得された取得音声の発言者を識別する情報である発言者識別情報を含む構成を採用できる。
この構成によれば、会議において取得された音声及び画像を、音声及び画像を取得した時刻のみならず発言者識別情報に基づいても分類して記憶できる。よって、特定の時刻における音声及び画像のみならず、特定の発言者に関連した音声及び画像を知ることができる。また逆に、特定の音声及び画像に関連した発言者を知ることもできる。

上記構成において、音声取得時間区間は、分類対象とする区間取得音声の発言者が発言を開始した時刻である発言開始時刻と、発言者が発言を終了した時刻である発言終了時刻と、で定まる発言区間である構成を採用できる。
この構成によれば、制御手段は発言区間と区間取得音声と発言者識別情報とを関連付けて記憶するよう記憶部を制御するため、特定の人物が会議においてした発言又は発言区間を知ることができるだけでなく、発言又は発言区間における発言者を知ることができる。
またこの構成によれば、記憶部は、発言である区間取得音声と発言開始時刻とを関連付けて記憶するので、それぞれの発言の順番を知ることができる。
更に、一例として、発言者が重要だと考える事項は、会議の最後に結論、又は総論等として発言されると言う特徴を有する。よって、発言した順番が早い又は遅いと言う特徴を有する区間取得音声を知ることができる。

上記構成において、音声取得時間区間は、分類対象とする区間取得音声の発言者が交代した時刻である発言者交代時刻と次の発言者交代時刻とで定まる時間区間である発言者同一区間である構成を採用できる。
この構成によれば、制御手段は発言者同一区間と区間取得音声と発言者識別情報とを関連付けて記憶するよう記憶部を制御するため、会議における特定の人物が交代することなくした一連の発言又は発言者同一区間を知ることができるだけでなく、そのような発言又は発言者同一区間における発言者を知ることができる。

上記構成において、取得音声分類基準は、分類対象とする区間取得音声から音声認識処理により取得した発言内容を表す文字情報を含む構成を採用できる。
この構成によれば、区間取得音声から文字認識処理により取得した文字情報と区間取得画像とを関連付けて記憶するよう記憶部を制御するため、区間取得音声である発言を発言内容である文字情報に基づいて分類できる。

上記構成において、取得音声分類基準は、分類対象とする区間取得音声の発話量を含む構成を採用できる。
一例として、会議の参加者が重要だと考える事項ほど活発に発言がなされるために発話量が多いと言う特徴を有する。よってこの構成によれば、区間取得音声と発話量とを関連付けて記憶部が記憶するため、発言量が多いと言う特徴を有する区間取得音声を知ることができる。
また、区間取得音声は取得音声であり、取得音声は時刻に基づいて取得画像である区間取得画像と関連付けられているので、投影時間区間における発話量が多いと言う特徴を有する区間取得画像を知ることができる。

上記構成において、発話量は、区間取得音声の発言内容を表す文字情報を構成する文字数、又は区間取得音声の音声取得時間区間の長さである音声取得時間区間長を含む構成を採用できる。
一般に、発言者が重要だと考えるな事項ほど説明が長いと言う特徴を有する。よってこの構成によれば、発言である区間取得音声と発言内容を表す文字情報、又は音声取得時間区間長とを関連付けて記憶部が記憶するため、発言内容が少ない又は多い発言、若しくは長時間に及ぶ又は短時間で終了した発言と言う特徴を有する区間取得音声を知ることができる。

上記構成において、取得音声分類基準は、分類対象とする区間取得音声の音声的特長を含む構成を採用できる。
一般に、発言者が重要だと考える事項の説明時には、音声的特長を変化させることが多い。よってこの構成によれば、音声的特長と区間取得音声とを関連付けて記憶部が記憶するため、音声的な特長を有する区間取得音声を知ることができる。

上記構成において、音声的特長は、分類対象とする区間取得音声の高さ、大きさ、又は単位時間当たりの発言内容を表す文字情報量である構成を採用できる。
一般に、発言者が重要だと考える事項の説明時における音声は、通常の説明時に比べて、声を低く、声を大きく、又はゆっくりと説明すると言う特徴を有する。よってこの構成によれば、音声の高さ、大きさ、又は単位時間当たりの発言内容を表す文字情報量と区間取得音声とを関連付けて記憶部が記憶するため、説明時の音声の高さ、大きさ、又は単位時間当たりの文字情報量が変化したと言う特徴を有する区間取得音声を知ることができる。

上記構成において、区間取得音声分類基準は、分類対象とする区間取得音声の発言者の位置に関する情報である位置情報を含む構成を採用できる。
一般に会議等における発言者の位置は、一例として、講演者と聴衆等の会議における役割によって位置関係が異なる。よってこの構成によれば、制御手段は、位置情報と区間取得音声とを関連付けて記憶するよう記憶部を制御するため、特定の役割を有する者が通常位置する場所から発せられた音声であると言う特徴を有する区間取得音声を知ることができる。

上記構成において、区間取得音声分類基準は、分類対象とする区間取得音声と類似した区間取得音声を、会議において取得した回数を含む構成を採用できる。
一般に会議において説明者が重要だと考える説明は、多少言葉を変えて繰返し説明されると言う特徴を有する。よってこの構成によれば、類似した区間取得音声を、会議において取得した回数が多いと言う特徴を有する音声のみならず、そのような音声の取得時において会議で投影された画像をも知ることができる。

上記構成において、区間取得音声と類似した取得音声は、区間取得音声に対して音声認識処理を行なうことで抽出した文字情報を構成する単語が類似した音声である構成を採用できる。
この構成によれば、類似した音声であるか否かを、音声認識処理を行なうことで抽出した文字情報を構成する単語に基づいて判断するため、類似・非類似を定量的に判断できる。

上記構成において、検索手段は、入力手段で入力された検索キーワードに基づいて生成された検索条件を満たす区間取得音声分類基準に関連づけて、記憶部に記憶された区間取得音声を検索し、出音手段は、検索手段の検索した区間取得音声の少なくとも１つ以上を出音することを特徴とする構成を採用できる。
この構成によれば、所望の区間取得音声を、検索の手がかりとなる検索キーワードに基づいて検索手段により検索し、検索された音声を出音手段から出音して確認できるため、効率よく所望の音声を検索し、検索した音声を確認できる。

上記構成において、区間取得音声分類基準は、分類対象とする区間取得音声であり、かつ検索手段で検索された区間取得音声が出音手段から出音された回数である出音回数を含む構成を採用できる。
一般に、視聴者が重要だと考える音声ほど多く検索され、検索結果として出音される。よってこの構成によれば、所望の区間取得音声の過去における出音回数を知ることができるだけでなく、出音回数が多い又は少ないと言った特徴を有する音声を知ることができる。

上記構成において、区間取得音声分類基準は、分類対象とする区間取得音声であり、かつ検索手段で検索された区間取得音声が出音手段から出音された時間長である出音時間長を含む構成を採用できる。
一般に、視聴者が重要だと考える音声ほど多く検索され、検索結果として繰返し出音されると言う特徴を有する。よってこの構成によれば、所望の区間取得音声の過去における出音時間長を知ることができるだけでなく、出音時間長が長い又は短いと言った特徴を有する音声を知ることができる。

上記構成において、説明を省略された画像であるか否かを表す情報は、取得音声分類基準に含まれる文字情報が「割愛」、又は「省略」と言う語を含むか否かを表す情報である構成を採用できる。
通常、会議において投影した画像の説明を省略する場合には、説明者は投影した画像の説明を「割愛」する、又は「省略」する旨を、その語を用いて会議の参加者に伝える。
よって、この構成によれば、説明者の発した特長的な言葉に基づいて説明対象とした画像とそうでない画像とを分類できる。

上記構成において、区間取得画像分類基準は、分類対象とする区間取得画像の画像取得時間区間に含まれる音声取得時間区間に関連付けて記憶部に記憶した区間取得音声の発言者が交代した回数を含む構成を採用できる。
一般に、会議の参加者が重要だと考える事項ほど活発に議論がなされ、検索結果として発言者が交代した回数が増えると言う特徴を有する。よってこの構成によれば、所望の区間取得画像の画像取得時間区間における発言者が交代した回数を知ることができるだけでなく、画像取得時間区間における発言者の交代回数が多い又は少ないと言った特徴を有する画像を知ることができる。

上記構成において、区間取得画像分類基準に含まれる交代した回数は、区間取得画像分類基準が分類対象とする区間取得画像の画像取得時間区間に含まれる音声取得時間区間に関連付けて記憶部に記憶した区間取得音声分類基準に含まれる発言者識別情報に基づいて、制御手段により算出される構成を採用できる。
この構成によれば、発言者識別情報に基づいて交代回数を算出するため、一例として、位置情報に基づいて交代回数を算出する場合と比べて、精度よく交代回数を算出できる。

上記構成において、区間取得画像分類基準に含まれる交代した回数は、区間取得画像分類基準が分類対象とする区間取得画像の画像取得時間区間に含まれる音声取得時間区間に関連付けて記憶部に記憶した区間取得音声分類基準に含まれる位置情報に基づいて、制御手段により算出される構成を採用できる。
この構成によれば、位置情報に基づいて交代回数を算出するため、一例として、発言者識別情報に基づいて交代回数を算出する場合と比べて、参加者の増加、又は減少に容易に対応できる。

上記構成において、区間取得音声分類基準は、分類対象である区間取得音声を検索手段が検索するためにソートキーを用いた回数を含み、ソートキーは、ソートキーを用いた回数以外の区間取得音声分類基準である構成を採用できる。 一般に所望の音声を特定するためには、所望の音声を特徴付ける並び順で音声を並べて、並び順を手がかりに音声を探し出す。よってこの構成によれば、ソートキーの使用回数と区間取得音声とを関連付けて記憶するよう制御手段が記憶部を制御するため、区間取得音声を検索するために用いられた回数が多い又は少ないと言う区間取得画像を特徴付けるソートキーを知ることができる。これにより所望の音声を容易に検索できる。

上記構成において、入力手段は、区間取得音声を説明する情報であるアノテーション情報を入力し、区間取得音声分類基準は、分類対象である区間取得音声を説明するアノテーション情報であって、かつ入力手段が入力したアノテーション情報を含む構成を採用できる。
この構成によれば、制御手段は、アノテーション情報と区間取得音声とを関連付けて記憶するよう記憶部を制御するので、一例として、講演者、又はシステム管理者が、重要だと考える区間取得音声を視聴する者に対して追加の説明等をアノテーション情報として区間取得音声に関連付けることができる。また、区間取得音声を視聴する者が、重要だと考える区間取得音声を視聴した感想や質問等をアノテーション情報として区間取得音声に関連付けることができる。
よって、アノテーション情報の付されたと言う特徴を有する区間取得音声を知ることができる。

上記構成において、アノテーション情報は、文字情報である構成を採用できる。
この構成によれば、アノテーション情報は文字情報であるので、一例として、文字情報量の多い又は少ないアノテーション情報が付されたと言う特徴を有する区間取得音声を知ることができる。

本発明に係る会議システムは、会議において取得された音声である取得音声と取得音声を取得した時刻である音声取得時刻とを関連付け、会議において取得された映像であり、かつ会議において投影された画像を撮影した映像である取得映像と取得映像を取得した時刻である映像取得時刻とを関連付け、かつ取得音声と取得映像とを音声取得時刻と映像取得時刻とに基づいて時刻で関連付けて記憶するよう記憶部を制御する制御手段と、を備える会議システムであって、制御手段は、映像取得時刻で区切られた時間区間である映像取得時間区間と、取得映像の内で映像取得時間区間において会議で投影された映像である区間取得映像と、区間取得映像を分類する基準となる区間取得映像分類基準と、を関連付けて記憶するよう記憶部を制御し、区間取得映像分類基準は、分類対象である区間取得映像と類似した区間取得映像を、会議において取得した回数を含むことを特徴としている。
一般に会議において説明者が重要だと考える画像及び説明は、他の画像と比較して投影及び説明されることが多く、そのような画像を撮影した映像同士は互いに類似すると言う特徴を有する。よってこの構成によれば、会議において取得された音声及び映像を取得した時刻のみならず、撮影対象とした画像と類似した画像の投影回数に基づいても分類して記憶できるため、撮影対象とした画像と類似した画像の投影回数が高いと言う特徴を有する映像のみならず、そのような画像の撮影時において取得された説明音声をも知ることができる。
において会議で投影された映像である区間取得映像と、区間取得映像を分類する基準となる区間取得映像分類基準と、を関連付けて記憶するよう記憶部を制御し、
区間取得映像分類基準は、分類対象である区間取得映像であって、かつ検索手段で検索された区間取得映像が表示手段に表示された回数である表示回数を含むことを特徴としている。

本発明に係る会議方法は、会議において取得された音声である取得音声と取得音声を取得した時刻である音声取得時刻とを関連付け、会議で投影された画像であり、かつ会議で取得された画像である取得画像と取得画像を取得した時刻である画像取得時刻とを関連付け、かつ取得音声と取得画像とを音声取得時刻と画像取得時刻とに基づいて時刻で関連付けて記憶するよう記憶部を制御する制御ステップと、を備える会議方法であって、制御ステップは、画像取得時刻で区切られた時間区間である画像取得時間区間と、取得画像の内で画像取得時間区間において会議で投影された画像である区間取得画像と、区間取得画像を分類する基準となる区間取得画像分類基準と、を関連付けて記憶するよう記憶部を制御し、区間取得画像分類基準は、区間取得画像と類似した取得画像の会議における投影回数を含むことを特徴としている。
一般に会議において説明者が重要だと考える画像及び説明は、他の画像と比較して投影及び説明されることが多く、そのような画像を撮影した映像同士は互いに類似すると言う特徴を有する。よってこの構成によれば、会議において取得された音声及び映像を取得した時刻のみならず、撮影対象とした画像と類似した画像の投影回数に基づいても分類して記憶できるため、撮影対象とした画像と類似した画像の投影回数が高いと言う特徴を有する映像のみならず、そのような画像の撮影時において取得された説明音声をも知ることができる。

本発明によれば、会議において取得した音声並びに画像の特徴を説明する情報を索引として付すことができるため、所望の音声及び画像を効率的に検索できる。

以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。図１は本発明の会議システム１０の一実施形態を示す構成図である。

本発明の会議システム１０は、情報処理装置１００、複数の音声取得装置１１１ないし１１ｎ、画像生成装置１２０、映像取得装置１３０、画像投影装置１４０、分配器１５０、入力手段である第１入力装置１６０及び第２入力装置２１０、表示手段である第１表示装置１７０及び第２表示装置２２０、及び出音手段である第１出音装置１８０及び第２出音装置２３０、遠隔端末２００、並びにネットワーク３００等から構成される。
情報処理装置１００は、例えば、パーソナルコンピュータ等で構成される。

ここで図２を参照して情報処理装置１００が実現する機能を説明する。図２は、本発明に係る会議システムを構成する情報処理装置１００の１実施形態の機能ブロック図である。

情報処理装置１００は、音声取得装置１１１ないし１１ｎ、映像取得装置１３０、分配器１５０、第１入力装置１６０、第１表示装置１７０、第１出音装置１８０、及びネットワーク３００に接続している。

情報処理装置１００は、Ａ／Ｄ変換部１０１０、発言メタ情報生成部１０２０、時間管理部１０３０、画像取得部１０４０、新規画像検出部１０５０、投影時間算出部１０６０、画像変換部１０７０、テキスト抽出部１０８０、制御手段である制御部１０９０、データ格納部１１００、検索手段である検索部１１１０、結果表示制御部１１２０、及び通信部１１３０等で構成される。

Ａ／Ｄ変換部１０１０は、例えば、Ａ／Ｄコンバータ等で構成され、音声取得装置１１１ないし１１ｎ、発言メタ情報生成部１０２０、及び時間管理部１０３０に接続している。

ここで、音声取得装置１１１ないし１１ｎは、所定の閾値以上の音量レベルの信号を出力する際には、音声信号のみならず音声取得装置１１１ないし１１ｎを識別する情報である音声取得装置識別情報をも送信する。よって、Ａ／Ｄ変換部１０１０は、音声取得装置１１１ないし１１ｎが取得した音声信号及び音声取得装置識別情報等を関連付けて受信する。その後、Ａ／Ｄ変換部１０１０は、音声取得装置１１１ないし１１ｎが取得した音声信号をＡ／Ｄ変換してデジタル信号に変換する。

また、Ａ／Ｄ変換部１０１０は、音声信号を取得した時刻（以下単に、音声取得時刻と言う）を時間管理部１０３０の管理するシステム時刻に基づいて取得する。その後、デジタル信号、音声取得時刻、及び音声取得装置識別情報等を関連付けて発言メタ情報生成部１０２０へ送信する。

発言メタ情報生成部１０２０は、発言検出部１０２１、発言者識別部１０２２、発言交代検出部１０２３、音声認識部１０２４、特徴取得部１０２５等から構成される。発言メタ情報生成部１０２０は、Ａ／Ｄ変換部１０１０、制御部１０９０、及びデータ格納部１１００に接続している。

発言メタ情報生成部１０２０は、音声取得装置１１１ないし１１ｎで取得された音声である取得音声に基づいて取得音声を説明する情報であるメタ情報を生成する。

ここで、発言メタ情報生成部１０２０、時間管理部１０３０、新規画像検出部１０５０、投影時間算出部１０６０、画像変換部１０７０、テキスト抽出部１０８０、制御部１０９０、検索部１１１０、及び結果表示制御部１１２０の有する各機能は、情報処理装置１００が実行するソフトウェア制御により実現できる。

ここで図３を参照して、ソフトウェア制御を実行するための情報処理装置１００のハードウェア構成について説明する。図３は、このソフトウェア制御を実現するための情報処理装置１００のハードウェアの一構成例を表すハードウェア構成図である。

情報処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置１００１、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の読み出し専用メモリであるＲＯＭ１００２（Read-Only Memory ）、ＤＲＡＭ（Dynamic RAM）又はＳＲＡＭ（Static RAM）等の揮発性メモリ及びＮＶＲＡＭ（Non Volatile RAM）等の不揮発性メモリで構成されるＲＡＭ１００３（Random Access Memory）、並びにＩ／Ｏポート（Input/Output Port）で構成され、演算装置１００１、ＲＯＭ１００２、ＲＡＭ１００３、及びＩ／Ｏポートは互いにバス１００５によって接続している。

ソフトウェア制御は、ＲＯＭ１００２に格納したプログラムをＣＰＵ１０１が読み、読込んだプログラムに従ってＣＰＵ１０１が演算を行うことにより上記各部の機能を実現する。なお、ＲＡＭ１００３には、演算結果のデータが書き込まれ、特にＮＶＲＡＭには、電源オフ時にバックアップが必要なデータが保存される。

ここで、図２に戻り、情報処理装置１００の構成について引き続き説明する。
発言検出部１０２１は、Ａ／Ｄ変換部１０１０、発言者識別部１０２２及び制御部１０９０に接続している。発言検出部１０２１は、Ａ／Ｄ変換部１０１０からデジタル信号、音声取得時刻、及び音声取得装置識別情報等を関連付けて受信する。

発言検出部１０２１は、Ａ／Ｄ変換部１０１０で変換されたデジタル信号に基づいて、取得音声から発言区間を抽出する。尚、発言区間とは、音声取得装置１１１ないし１１ｎで取得された取得音声に基づいて得られる発言のなされた時間区間を言い、取得音声の発言者が発言を開始した時刻である発言開始時刻と、発言者が発言を終了した時刻である発言終了時刻と、で定まる時間区間を言う。

具体的には、発言検出部１０２１は、取得音声の音量を検査し、所定の閾値以上の音量レベルが所定時間以上継続した場合に発言を開始したと判断し、所定の閾値以下の音量レベルが所定時間以上継続した場合に発言を終了したと判断する。尚、本実施例においては、所定時間を２秒とした。

これにより、発言検出部１０２１は、音声取得時刻の内で発言を開始した時刻を発言開始時刻とし、かつ、発言の終了した時刻を発言終了時刻とし、発言開始時刻及び終了時刻で表される発言区間を取得する。

その後、発言検出部１０２１は、デジタル信号、音声取得装置識別情報、及び発言区間等を関連付けた情報を発言者識別部１０２２へ送信する。

また、発言検出部１０２１は発言の開始を検出した場合に、発言の開始を検出した旨の通知を制御部１０９０へ通知し、発言の開始日時、及び音声取得装置識別情報等を関連付けて制御部１０９０へ送信する。同様に、発言の終了を検出した場合に、発言の終了を検出した旨の通知を制御部１０９０へ通知し、発言の終了時刻、及び音声取得装置識別情報等を関連付けて制御部１０９０へ送信する。

発言者識別部１０２２は、発言検出部１０２１、発言交代検出部１０２３、及び制御部１０９０に接続している。
発言者識別部１０２２は、音声取得装置識別情報と発言者識別情報とを関連付けて記憶装置に記憶している。尚、発言者識別情報とは、取得音声として取得した音声を発した者を識別する情報である。

発言者識別部１０２２は、デジタル信号、音声取得装置識別情報、及び発言区間等を関連付けた情報を発言検出部１０２１から取得する。次に、発言者識別部１０２２は、取得した音声取得装置識別情報に基づいて記憶装置に記憶した発言者識別情報を検索することで、デジタル信号の発言者識別情報を取得する。

次に、発言者識別部１０２２は、デジタル信号、音声取得装置識別情報、発言者識別情報、及び発言区間等を関連付けた情報を発言交代検出部１０２３及び制御部１０９０へ送信する。

発言交代検出部１０２３は、発言者識別部１０２２、制御部１０９０、及び音声認識部１０２４に接続している。発言交代検出部１０２３は、発言者識別部１０２２が発言区間において取得した発言者識別情報と直前の発言区間において取得した発言者識別情報とを比較して、両情報が異なる情報であるか否かを検出する。

つまり、発言交代検出部１０２３は、直前の発言区間の発言者と比べて発言者が異なるか否かに関する情報（以下単に、交代情報と言う）を取得する。
その後、発言交代検出部１０２３は、音声取得装置識別情報と発言区間と取得音声とを関連付けて音声認識部１０２４に送信し、また取得した交代情報と音声取得装置識別情報と発言区間とを関連付けて制御部１０９０へ送信する。

音声認識部１０２４は、制御部１０９０、発言交代検出部１０２３、及び特徴取得部１０２５に接続している。音声認識部１０２４は、音声取得装置識別情報と発言区間とデジタル情報である取得音声とを発言交代検出部１０２３から受信する。

次に、音声認識部１０２４は、発言区間における取得音声から音声認識処理により取得した発言内容を表す文字情報を取得する。最後に、取得した文字情報を音声取得装置識別情報と発言区間とに関連付けて制御部１０９０へ送信する。また、音声取得装置識別情報と発言区間と取得音声とを特徴取得部１０２５へ送信する。

特徴取得部１０２５は、例えば、フィルター・バンクで構成され、音声認識部１０２４、制御部１０９０、及びデータ格納部１１００に接続している。

特徴取得部１０２５は、音声認識部１０２４から音声取得装置識別情報と発言区間と取得音声とを受信する。次に、音声認識部１０２４は、メルケプストラル平均（Mel-Cepstral mean）、又は基底周波数、及び取得音声の音量を算出する。

次に、特徴取得部１０２５は、取得したメルケプストラル平均、又は基底周波数、及び取得音声の音量と音声取得装置識別情報と発言区間とを関連付けて制御部１０９０へ送信する。また、音声認識部１０２４は、デジタル信号をデータ格納部１１００の所定の位置に所定のファイル名で記憶させる。

時間管理部１０３０は、Ａ／Ｄ変換部１０１０、新規画像検出部１０５０、及び投影時間算出部１０６０に接続している。時間管理部１０３０は、例えば、システムクロック等を言い、ハードウェアクロックを基にシステム時刻を提供する。

画像取得部１０４０は、分配器１５０及び新規画像検出部１０５０に接続している。画像取得部１０４０は、例えば、ＲＧＢキャプチャカード等で構成されている。

画像取得部１０４０は、会議において投影される画像を取得する。具体的には、画像取得部１０４０は、分配器１５０から取得したＲＧＢ画像信号に基づいて、例えば、ＢＭＰフォーマットの画像を取得する。尚、画像取得部１０４０において取得した画像を取得画像と言う。次に、画像取得部１０４０は、取得した取得画像を新規画像検出部１０５０へ送信する。

新規画像検出部１０５０は、画像取得部１０４０、時間管理部１０３０、及び投影時間算出部１０６０に接続している。新規画像検出部１０５０は、画像取得部１０４０が新たに取得した取得画像と直前に取得画像した取得画像とを比較して、両者が異なる画像であるかを検出する。

具体的には、２つの画像データにおける各画素が変化したか否かを判断し、変化した画素が所定の閾値以上存在する場合に、２つの画像データは異なると判断する。尚、画素が変化したか否かについては、各画素のＲＧＢ値の差分が所定の閾値以上の場合に当該画素は変化したと判断する。

次に、新規画像検出部１０５０は、取得画像が変化したと判断する場合に取得画像と取得画像を取得した時刻（以下単に、画像取得時刻と言う）とを関連づけて投影時間算出部１０６０に送信する。

投影時間算出部１０６０は、時間管理部１０３０、新規画像検出部１０５０、及び画像変換部１０７０に接続している。投影時間算出部１０６０は、新規画像検出部１０５０から取得した取得画像をデータ格納部１１００に格納するか否かを判断する。

具体的には、投影時間算出部１０６０は、取得画像が会議において投影された時間区間である投影時間区間を求める。投影時間算出部１０６０は、それぞれの取得画像の取得時刻を投影開始時刻とし、次に続く取得画像の画像取得時刻又は会議の終了時刻を投影終了時刻とすることで、投影開始時刻と投影終了時刻とで表される投影時間区間を求める。

その後、投影時間算出部１０６０は、取得画像と取得した投影時間区間とを画像変換部１０７０へ送信する。

画像変換部１０７０は、映像取得装置１３０、投影時間算出部１０６０及びテキスト抽出部１０８０に接続している。画像変換部１０７０は、投影時間算出部１０６０から取得した取得画像を記憶サイズがより小さい画像ファイルフォーマットに変換する。本実施例においては、ＢＭＰファイルフォーマットからＪＰＧファイルフォーマットへ変換する。また、画像変換部１０７０は、取得画像に基づいてサムネイルを作成する。

また、画像変換部１０７０は、映像取得装置１３０で取得された映像である取得映像に基づいたキャプチャ画像である静止画像を作成し、作成した静止画像に基づいてサムネイルを作成する。

その後、画像変換部１０７０は、記憶サイズを軽量化した取得画像、取得映像に基づいて作成された静止画像、サムネイル、投影時間区間等を関連付けてテキスト抽出部１０８０へ送信する。

テキスト抽出部１０８０は、例えば、ＯＣＲ装置等で構成される。テキスト抽出部１０８０は、画像変換部１０７０及び制御部１０９０に接続している。

テキスト抽出部１０８０は、画像変換部１０７０から取得した取得画像及び取得映像に基づいて作成された静止画像に対し文字認識処理を実施して抽出された文字情報から構成される文字情報を抽出する。

次に、テキスト抽出部１０８０は、取得画像の変化があった旨の通知を制御部１０９０へ通知した後に、抽出した文字情報、サムネイル、及び投影時間区間等を関連付けて制御部１０９０へ送信する。

制御部１０９０は、発言検出部１０２１、発言者識別部１０２２、発言交代検出部１０２３、音声認識部１０２４、テキスト抽出部１０８０、データ格納部１０９０、及び結果表示制御部１１２０に接続している。

制御部１０９０は、取得音声と音声取得時刻とを関連付け、取得画像と画像取得時刻とを関連付け、かつ取得音声と取得画像とを音声取得時刻と画像取得時刻とに基づいて時刻で関連付けて記憶するようプログラムを制御する。

また、制御部１０９０は、取得映像と映像取得装置１３０が取得映像を取得した時刻である映像取得時刻とを関連付け、かつ取得音声と取得映像とを音声取得時刻と映像取得時刻とに基づいて時刻で関連付けて記憶するようプログラム制御する。

更に、制御部１０９０は、画像取得時間区間と区間取得画像と区間取得画像分類基準とを関連付けて記憶するようプログラムを制御する。

尚、画像取得時間区間とは、画像取得時刻で区切られた時間区間であり、投影時間算出部１０６０で取得した投影開始時刻と投影終了時刻とで表される投影時間区間を言う。具体的には、画像取得部１０４０で取得された画像が会議において投影された時間区間を言う。

区間取得画像とは、取得画像の内で画像取得時間区間において会議で投影された画像を言う。
区間取得画像分類基準とは、区間取得画像を分類する基準を言う。

具体的には、区間取得画像と類似した取得画像の会議における投影回数（以下単に、類似画像投影回数と言う）、取得画像が会議において説明を省略された画像であるか否かを表す情報（以下単に省略フラグ情報と言う）、投影時間区間、画像取得時間区間の長さである画像取得時間区間長、区間取得画像に対してテキスト抽出部１０８０が文字認識処理を行なうことで抽出した文字情報、画像取得時間区間において発言者が交代した回数、検索部１１１０で検索された区間取得画像が第１表示装置１７０又は第２表示装置２２０（以下単に、第１表示装置１７０等と言う）に表示された回数である表示回数、検索部１１１０で検索された区間取得画像が第１表示装置１７０等に表示された時間長である表示時間長、区間取得画像を検索部１１１０が検索するためにソートキーを用いた回数、取得画像に付されたアノテーション情報、アノテーション情報を構成するテキスト量、取得画像の記憶されたディレクトリパス、及び区間取得画像に基づいて画像変換部１０７０で作成されたサムネイル等を言う。

一般に会議において、説明者は、説明者が重要でないと考える画像には説明を行なわないと言う特徴的な行動を行う。よってこの構成によれば、制御手段は説明を省略された画像であるか否かを表す情報と取得画像とを関連付けて記憶するよう記憶部を制御するため、説明がなされないと言う特徴を有する画像を知ることができる。

また一般に、区間取得画像を閲覧する者が重要であると考える画像ほど多く検索され、検索結果として表示されると言う特徴を有する。よってこの構成によれば、所望の区間取得画像の過去における表示回数を知ることができるだけでなく、表示回数が多い又は少ないと言った特徴を有する画像を知ることができる。

一般に説明者が重要だと考える画像ほど、長時間投影されると言う特徴を有する。よってこの構成によれば、記憶部は、画像取得時間区間は投影時間区間であり、かつ区間取得画像と投影時間区間長とを関連付けて記憶するので、長時間投影されていた区間取得画像を知ることができるだけでなく、投影時間区間長が長いという特長を有する区間取得画像を知ることができる。

一般に、区間取得画像の閲覧者が重要だと考える画像ほど多く検索され、かつ長時間に渡り表示されると言う特徴を有する。よってこの構成によれば、所望の区間取得画像の過去における表示時間長を知ることができるだけでなく、表示時間長が長いと言う特徴を有する区間取得画像を知ることができる。

この構成によれば、所望の画像を特徴付ける並び順で画像を並べて、並び順を手がかりに画像を効率的に探し出すことができる。

一般に所望の画像を特定するためには、所望の画像を特徴付ける並び順で画像を並べて、並び順を手がかりに画像を探し出す。よってこの構成によれば、ソートキーの使用回数と区間取得画像とを関連付けて記憶するよう記憶部を制御手段が制御するため、区間取得画像を検索するために用いられた回数が多い又は少ないと言う区間取得画像を特徴付けるソートキーを知ることができる。これにより所望の画像を容易に検索できる。

この構成によれば、制御手段は、アノテーション情報と区間取得画像とを関連付けて記憶するよう記憶部を制御するので、一例として、講演者、又はシステム管理者が、重要だと考える区間取得画像を視聴する者に対して追加の説明等をアノテーション情報として区間取得画像に関連付けることができる。また、区間取得画像を視聴する者が、重要だと考える区間取得画像を視聴した感想や質問等をアノテーション情報として区間取得画像に関連付けることができる。
よって、アノテーション情報の付されたと言う特徴を有する区間取得画像を知ることができる。

一般に、会議の参加者が重要だと考える事項ほど活発に議論がなされ、検索結果として発言者が交代した回数が増えると言う特徴を有する。よってこの構成によれば、所望の区間取得画像の画像取得時間区間における発言者が交代した回数を知ることができるだけでなく、画像取得時間区間における発言者の交代回数が多い又は少ないと言った特徴を有する画像を知ることができる。

尚、省略フラグ情報は、制御部１０９０によって生成され、画像取得時間区間長が所定の閾値以下、又はより小さい場合に真、そうでない場合に偽の値を有する。

この構成によれば、閾値を変化させることで、一例として、説明者の説明速度、又は会議システムの操作者の操作速度に対応して説明対象とした画像とそうでない画像とを分類できる。

また、省略フラグ情報は、制御部１０９０によって生成され、取得音声分類基準に含まれる文字情報が「割愛」、又は「省略」と言う語を含む場合に真、そうでない場合に偽の値を有する構成を採用できる。

通常、会議において投影した画像の説明を省略する場合には、説明者は投影した画像の説明を「割愛」する、又は「省略」する旨を、その語を用いて会議の参加者に伝える。
よって、この構成によれば、説明者の発した特長的な言葉に基づいて説明対象とした画像とそうでない画像とを分類できる。

また、画像取得時間区間において発言者が交代した回数は、制御部１０９０によって生成され、区間取得画像の画像取得時間区間に含まれる音声取得時間区間に関連付けて記憶部に記憶した発言者識別情報に基づいて算出される。尚、音声取得時間区間及び区間取得音声分類基準については後述する。

この構成によれば、発言者識別情報に基づいて交代回数を算出するため、一例として、位置情報に基づいて交代回数を算出する場合と比べて、精度よく交代回数を算出できる。文字情報

更に、制御部１０９０は、映像取得時間区間と区間取得映像と区間取得映像分類基準とを関連付けて記憶するようプログラムを制御する。

尚、映像取得時間区間とは、映像取得時刻で区切られた時間区間であり、映像取得装置１３０で撮影された画像が会議において投影された時間区間を言う。つまり、投影時間算出部１０６０で取得した投影開始時刻と投影終了時刻とで表される投影時間区間を言う。

区間取得映像とは、映像取得時間区間において映像取得装置１３０で取得された取得映像を言う。区間取得映像分類基準とは、区間取得映像を分類する基準を言う。

具体的には、区間取得映像として撮影された画像と類似した画像の会議における投影回数、区間取得映像として撮影された画像が会議において説明を省略された画像であるか否かを表す情報、映像取得時間区間、映像取得時間区間の長さである映像取得時間区間長、区間取得映像に対してテキスト抽出部１０８０が文字認識処理を行なうことで抽出した文字情報、映像取得時間区間において発言者が交代した回数、取得映像に付されたアノテーション情報、アノテーション情報を構成するテキスト量、検索部１１１０で検索された区間取得映像が第１表示装置１７０等に表示された回数である表示回数、検索部１１１０で検索された区間取得映像が第１表示装置１７０等に表示された時間長である表示時間長、区間取得映像を検索部１１１０が検索するためにソートキーを用いた回数、取得映像の記憶されたディレクトリパス、及び区間取得映像に基づいて画像変換部１０７０で作成されたサムネイル等を言う。

尚、制御部１０９０は、ある区間取得画像とそれ以外の取得画像とが類似しているか否か、及びある区間取得映像とそれ以外の取得映像とが類似しているか否かに対する判断を全ての取得画像間、又は取得映像間で行なう。

具体的には、制御部１０９０は、テキスト抽出部１０８０においてそれぞれの取得画像又は取得映像から抽出した文字情報、取得画像又は取得映像を構成するピクセル毎の平均色の分布、若しくは取得画像又は取得映像に対してフーリエ変換を施すことで取得される周波数分布、をそれぞれ比較することで類似しているか否かを判断する。

この構成によれば、類似した画像であるか否かを、画像の有する文字情報を構成する単語、又は画素情報に基づいて判断するため、類似・非類似を定量的に判断できる。

また、区間取得映像として撮影された画像が会議において説明を省略された画像であるか否かを表す情報、及び映像取得時間区間において発言者が交代した回数の算出方法は、省略フラグ情報、及び画像取得時間区間において発言者が交代した回数の算出方法と同様であるため、説明を省略する。

更に、制御部１０９０は、音声取得時間区間と区間取得音声と区間取得音声分類基準とを関連付けて記憶するようプログラムを制御する。

尚、音声取得時間区間とは、音声取得時刻で区切られた時間区間であり、発言検出部１０２１で検出された発言区間又は発言者同一区間を言う。尚、発言者同一区間とは、音声取得装置１１１ないし１１ｎで取得された取得音声の発言者が交代した時刻である発言者交代時刻と次の発言者交代時刻とで定まる時間区間を言い、発言区間と発言交代検出部１０２３で検出した交代情報とに基づいて定められる。

区間取得音声とは、音声取得時間区間において音声取得装置１１１ないし１１ｎで取得された取得音声を言う。 区間取得音声分類基準とは、区間取得音声を分類する基準を言う。

具体的には、発言者識別部１０２２で取得された発言者識別情報、音声取得時間区間、音声取得時間区間の長さである音声取得時間区間長、音声取得装置１１１ないし１１ｎで取得された取得音声の発言者の位置に関する情報である位置情報、区間取得音声に対して音声認識部１０２４が音声認識処理を行なうことで抽出した文字情報（テキスト情報）、発話量、音声的特長、区間取得音声と類似した区間取得音声を会議において取得した回数、取得音声に付されたアノテーション情報、アノテーション情報を構成するテキスト量、検索部１１１０で検索された区間取得音声が第１出音装置１８０又は第２出音装置２３０（以下単に、第１出音装置１８０等と言う）から出音された回数である出音回数、検索部１１１０で検索された区間取得音声が第１出音装置１８０等から音声された時間長である音声時間長、区間取得音声を検索部１１１０が検索するためにソートキーを用いた回数、及び取得音声の記憶されたディレクトリパス等を言う。

この構成によれば、区間取得音声から文字認識処理により取得した文字情報と区間取得画像とを関連付けて記憶するよう記憶部を制御するため、区間取得音声である発言を発言内容である文字情報に基づいて分類できる。

一例として、会議の参加者が重要だと考える事項ほど活発に発言がなされるために発話量が多いと言う特徴を有する。よってこの構成によれば、区間取得音声と発話量とを関連付けて記憶部が記憶するため、発言量が多いと言う特徴を有する区間取得音声を知ることができる。
また、区間取得音声は取得音声であり、取得音声は時刻に基づいて取得画像である区間取得画像と関連付けられているので、投影時間区間における発話量が多いと言う特徴を有する区間取得画像を知ることができる。

一般に、発言者が重要だと考える事項の説明時には、音声的特長を変化させることが多い。よってこの構成によれば、音声的特長と区間取得音声とを関連付けて記憶部が記憶するため、音声的な特長を有する区間取得音声を知ることができる。

一般に会議において説明者が重要だと考える説明は、多少言葉を変えて繰返し説明されると言う特徴を有する。よってこの構成によれば、類似した区間取得音声を、会議において取得した回数が多いと言う特徴を有する音声のみならず、そのような音声の取得時において会議で投影された画像をも知ることができる。

この構成によれば、制御手段は、アノテーション情報と区間取得音声とを関連付けて記憶するよう記憶部を制御するので、一例として、講演者、又はシステム管理者が、重要だと考える区間取得音声を視聴する者に対して追加の説明等をアノテーション情報として区間取得音声に関連付けることができる。また、区間取得音声を視聴する者が、重要だと考える区間取得音声を視聴した感想や質問等をアノテーション情報として区間取得音声に関連付けることができる。
よって、アノテーション情報の付されたと言う特徴を有する区間取得音声を知ることができる。

この構成によれば、アノテーション情報は文字情報であるので、一例として、文字情報量の多い又は少ないアノテーション情報が付されたと言う特徴を有する区間取得音声を知ることができる。

一般に会議等における発言者の位置は、一例として、講演者と聴衆等の会議における役割によって位置関係が異なる。よってこの構成によれば、制御手段は、位置情報と区間取得音声とを関連付けて記憶するよう記憶部を制御するため、特定の役割を有する者が通常位置する場所から発せられた音声であると言う特徴を有する区間取得音声を知ることができる。

一般に、視聴者が重要だと考える音声ほど多く検索され、検索結果として出音される。よってこの構成によれば、所望の区間取得音声の過去における出音回数を知ることができるだけでなく、出音回数が多い又は少ないと言った特徴を有する音声を知ることができる。

一般に、視聴者が重要だと考える音声ほど多く検索され、検索結果として繰返し出音されると言う特徴を有する。よってこの構成によれば、所望の区間取得音声の過去における出音時間長を知ることができるだけでなく、出音時間長が長い又は短いと言った特徴を有する音声を知ることができる。

一般に所望の音声を特定するためには、所望の音声を特徴付ける並び順で音声を並べて、並び順を手がかりに音声を探し出す。よってこの構成によれば、ソートキーの使用回数と区間取得音声とを関連付けて記憶するよう制御手段が記憶部を制御するため、区間取得音声を検索するために用いられた回数が多い又は少ないと言う区間取得画像を特徴付けるソートキーを知ることができる。これにより所望の音声を容易に検索できる。

尚、制御装置は、複数の音声取得装置１１１ないし１１ｎで取得された取得音声を音源推定技術を用いて解析することで位置情報を取得する。

尚、画像取得時間区間において発言者が交代した回数は、区間取得画像分類基準が分類対象とする区間取得画像の画像取得時間区間に含まれる音声取得時間区間に関連付けて記憶部に記憶した位置情報に基づいて算出される構成を採用できる。

この構成によれば、位置情報に基づいて交代回数を算出するため、一例として、発言者識別情報に基づいて交代回数を算出する場合と比べて、参加者の増加、又は減少に容易に対応できる。

また、制御部１０９０は、発話量を、音声認識部１０２４が抽出した区間取得音声の発言内容を表す文字情報を構成する文字数、又は区間取得音声の音声取得区間の長さにより算出する。

一般に、発言者が重要だと考えるな事項ほど説明が長いと言う特徴を有する。よってこの構成によれば、発言である区間取得音声と発言内容を表す文字情報、又は音声取得時間区間長とを関連付けて記憶部が記憶するため、発言内容が少ない又は多い発言、若しくは長時間に及ぶ又は短時間で終了した発言と言う特徴を有する区間取得音声を知ることができる。

また、制御部１０９０は、区間取得音声と類似した区間取得音声を会議において取得した回数を、音声認識部１０２４が抽出した文字情報を構成する単語が類似した音声を取得した回数により算出する。

この構成によれば、類似した音声であるか否かを、音声認識処理を行なうことで抽出した文字情報を構成する単語に基づいて判断するため、類似・非類似を定量的に判断できる。

また、音声的特長とは、特徴取得部１０２５が取得したメルケプストラル平均（Mel-Cepstral mean）、又は基底周波数等の区間取得音声の高低、大きさ、若しくは音声認識部１０２４が抽出した区間取得音声の発言内容を表す文字情報量を発言区間長で除して算出する単位時間当たりの発言内容を表す文字情報量を含む。

一般に、発言者が重要だと考える事項の説明時における音声は、通常の説明時に比べて、声を低く、声を大きく、又はゆっくりと説明すると言う特徴を有する。よってこの構成によれば、音声の高さ、大きさ、又は単位時間当たりの発言内容を表す文字情報量と区間取得音声とを関連付けて記憶部が記憶するため、説明時の音声の高さ、大きさ、又は単位時間当たりの文字情報量が変化したと言う特徴を有する区間取得音声を知ることができる。

更に、制御部１０９０は、結果表示制御部１１２０から、第１出音装置１８０等から出音された区間取得音声を識別する情報、第１表示装置１７０等に表示された区間取得画像を識別する情報、又は区間取得映像を識別する情報と、それら区間取得音声、区間取得画像、又は区間取得映像を検索するために検索部１１１０が用いたソートキーの種類と、を関連付けて取得する。

次に、制御部１０９０は、取得した区間取得音声、区間取得音声、又は区間取得音声を識別する情報と、ソートキーの種類と、で特定される記憶されたソートキーの使用回数をインクリメントするようにプログラムを制御する。

また、制御部１０９０は、取得した区間取得音声、区間取得画像、又は区間取得映像を識別する情報と関連付けられた過去の表示又は出音回数の総和をインクリメントするようプログラムを制御する。

また更に、制御部１０９０は、結果表示制御部１１２０から、出音された区間取得音声を識別する情報、表示された区間取得画像を識別する情報、又は区間取得映像を識別する情報と、それら区間取得音声、区間取得画像、又は区間取得映像を表示又は出音した時間長と、を関連付けて取得する。

次に、制御部１０９０は、取得した区間取得音声、区間取得画像、又は区間取得映像を識別する情報と関連付けられた過去の表示又は出音した時間長の総和に対して、取得した表示又は出音した時間長を加算するようにプログラムを制御する。

更に、制御部１０９０は、発言者識別情報と発言者説明情報とを関連付けて記憶するよう制御する。発言者説明情報とは、発言者を説明する情報であり、具体的には発言者の氏名、所属、役職、電子メールアカウント、住所、電話番号、ＦＡＸ番号、ＵＲＬ、又は参加者撮影画像等を言う。

尚、参加者撮影画像とは、会議の参加者を撮影した画像を言い、予め会議の前、会議中、又は会議後に撮影された画像を用いる構成を採用できる。更に例えば、人事情報を扱う人事システム等の本会議システム以外のシステムが記憶する参加者撮影画像を用いる構成を採用できる。

具体的には、制御部１０９０は、各情報を関連付けて記憶する又は更新する命令を記述したＳＱＬ文を作成し、作成したＳＱＬ文を実行するようにデータ格納部１１００に格納された情報を管理するプログラムを実行制御する。

データ格納部１１００は、例えば、ハードディスク等の外部記憶装置で構成される。データ格納部１１００は、映像取得装置１３０、発言メタ情報生成部１０２０、制御部１０９０、及び検索部１１１０に接続している。

データ格納部１１００は、映像取得装置１３０により取得された取得映像を所定のディレクトリに所定のファイル名で記憶される。

データ格納部１１００は、発言メタ情報生成部１０２０により取得音声であるデジタル信号をデータ格納部１１００の所定のディレクトリに所定のファイル名で記憶される。

データ格納部１１００は、制御部１０９０により、取得音声と音声取得時刻とを関連付けられ、取得画像と画像取得時刻とを関連付けられ、かつ取得音声と取得画像とを音声取得時刻と画像取得時刻とに基づいて時刻で関連付けられて記憶する。また、取得音声と音声取得時刻とを関連付けられ、取得映像と映像取得時刻とを関連付けられ、かつ取得音声と取得映像とを音声取得時刻と映像取得時刻とに基づいて時刻で関連付けられて記憶する。

更に、データ格納部１１００は、制御部１０９０により、画像取得時間区間と区間取得画像と区間取得画像分類基準とを関連付けられて記憶し、映像取得時間区間と区間取得映像と区間取得映像分類基準とを関連付けられて記憶し、かつ音声取得時間区間と区間取得音声と区間取得音声分類基準とを関連付けられて記憶する。

また更に、データ格納部１１００は、発言者識別情報と発言者説明情報とを関連付けられて記憶する。

データ格納部１１００に記憶された情報は、検索部１１１０が検索する際、若しくは結果表示制御部１１２０が検索結果を第１表示装置１７０等に表示させる又は第１出音装置１８０等に出音させる際に参照される。

ここで、図４を参照してデータ格納部１１００の記憶する画像及び映像に関する情報について説明する。図４は、データ格納部１１００の記憶する映像及び画像に関する情報の一例を説明するための図である。

データ格納部１１００は、取得画像テーブルＴＰ、取得映像テーブルＴＭ、及び分割取得映像テーブルＴＳＭを有している。
取得画像テーブルＴＰは、取得画像識別情報カラム、投影開始日付カラム、投影開始時刻カラム、投影終了時刻カラム、格納アドレスカラム、及び類似画像数カラムを有する。

取得画像識別カラムは取得画像を識別する情報である取得画像識別情報を、投影開始日カラムは同一レコードの取得画像識別カラムに記憶された取得画像識別情報で識別される画像の投影開始日を、投影開始時刻カラムは投影開始時刻を、投影終了時刻カラムは投影終了時刻を、及び格納アドレスカラムは取得画像を記憶したディレクトリを表す情報を、類似画像数カラムは取得画像識別情報で識別される区間取得画像と類似した取得画像の会議における投影回数を記憶する。
尚、取得画像テーブルＴＰは、取得画像識別情報の重複するレコードを有する事はない。

つまり、取得画像テーブルＴＰは、取得画像と投影時間区間で表される画像取得時刻とを制御部１０９０により関連付けられて記憶している。

また、取得画像テーブルＴＰは、画像取得時間区間である投影時間区間と、区間取得画像を識別する取得画像識別情報と、区間取得画像分類基準である類似画像投影回数、を制御部１０９０により関連付けられて記憶している。

一般に会議において説明者が重要だと考える画像及び説明は、他の画像と比較して投影及び説明されると言う特徴を有する。よってこの構成によれば、会議において取得された音声及び画像を取得した時刻のみならず、類似した画像の投影回数に基づいても分類して記憶できるため、類似した画像の投影回数が高いと言う特徴を有する画像のみならず、そのような画像の投影時において取得された説明音声をも知ることができる。

取得映像テーブルＴＭは、取得映像識別情報カラム、撮影開始日付カラム、撮影開始時刻カラム、撮影終了時刻カラム、及び格納アドレスカラムを有する。

取得映像識別カラムは取得映像を識別する情報である取得映像識別情報を、撮影開始日カラムは同一レコードの取得映像識別カラムに記憶された取得映像識別情報で識別される映像の撮影開始日を、撮影開始時刻カラムは撮影開始時刻を、撮影終了時刻カラムは撮影終了時刻を、及び格納アドレスカラムは取得映像を記憶したディレクトリを表す情報を記憶する。
尚、取得映像テーブルＴＭは、取得映像識別情報の重複するレコードを有する事はない。

つまり、取得映像テーブルＴＭは、取得映像と映像取得時刻とを制御部１０９０により関連付けられて記憶している。

分割取得映像テーブルＴＳＭは、取得映像識別情報カラム、分割識別情報カラム、投影開始日付カラム、投影開始時刻カラム、投影終了時刻カラム、及び類似映像数カラムを有する。

取得映像識別カラムは取得映像テーブルＴＭの取得映像識別カラムに記憶された情報と同じ情報を、分割識別カラムは同一レコードの取得映像識別カラムに記憶された取得映像識別情報で識別される取得映像を投影時間区間に基づいて分割した部分映像を識別する情報である分割識別情報を、類似映像数カラムは取得映像識別カラム及び分割識別情報カラムに記憶された識別情報で識別される区間取得映像として撮影された画像と類似した画像の会議における投影回数を記憶する。

尚、投影開始日付カラム、投影開始時刻カラム、及び投影終了時刻カラムについては、取得画像テーブルＴＰの有する投影開始日付カラム、投影開始時刻カラム、及び投影終了時刻カラムと同様の情報を記憶する。

つまり、分割取得映像テーブルＴＳＭは、映像取得時間区間である投影時間区間と、区間取得映像を識別する取得映像識別情報及び分割識別情報の組合せ情報である区間取得映像識別情報と、区間取得画像分類基準である類似した取得画像の会議における投影回数と、を制御部１０９０により関連付けられて記憶している。

この構成によれば、制御手段は投影時間区間と取得画像とを関連付けて記憶するよう記憶部を制御するため、特定の時刻に会議において投影されていた画像を知ることができるだけでなく、特定の画像が投影されていた時間区間をも知ることができる。
またこの構成によれば、記憶部は、区間取得画像と画像の投影を開始した時刻とを関連付けて記憶するので、それぞれの画像を投影した順番を知ることができる。
更に、一例として、説明者が重要だと考える画像は会議の最後に結論、又は総論等として表示されると言う特徴を有する、画像を投影した順番が遅い又は早いと言った特徴を有する画像を知ることができる。

また図５を参照してデータ格納部１１００の記憶する発言に関する情報について引き続き説明する。図５は、データ格納部１１００の記憶する発言に関する情報の一例を説明するための図である。
データ格納部１１００は、更に発言イベントテーブルＴＳ、及び交代イベントビューＶＣを有している。

発言イベントテーブルＴＳは、発言識別情報カラム、発言開始日カラム、発言開始時刻カラム、発言終了時刻カラム、発言者識別情報カラム、交代情報カラム、及び格納アドレスカラムを有する。

発言識別情報カラムは発言を識別する情報である発言識別情報を、発言開始日時カラムは発言開始日を、発言開始時刻カラムは同一レコードの発言識別情報カラムに記憶された発言識別情報で識別される発言の発言開始時刻を、発言終了時刻カラムは発言終了時刻を、発言者識別情報カラムは発言者識別情報を、交代情報カラムは交代情報を、及び格納アドレスカラムは取得音声を格納したディレクトリを表す情報を記憶する。尚、交代情報は、発言者の交代の有無を表すコード（例えば「Ｙ」又は「Ｎ」）をを記憶する。

つまり、発言イベントテーブルＴＳは、会議において音声取得装置１１１ないし１１ｎによって取得した取得音声と、音声取得時刻で表される発言区間及び発言者識別情報等と、を制御部１０９０により関連付けられて記憶している。
また、発言イベントテーブルＴＳは、音声取得時間区間である発言区間と、区間取得音声と、区間取得音声分類基準である発言者識別情報と、を制御部１０９０により関連付けられて記憶している。

尚、発言イベントテーブルＴＳは、発言識別情報の重複するレコード、並びに、発言開始日、発言開始時刻、発言終了時刻、及び発言者識別情報の全てが重複するレコードを有する事はない。

交代イベントビューＶＣは、発言イベントテーブルＴＳに記憶された情報を加工して得られる情報を記憶する。
交代イベントビューＶＣは、発言者同一区間識別情報カラム、発言者同一区間開始日カラム、発言者同一区開始時刻カラム、発言者同一区間終了時刻カラム、遷移元発言者識別情報カラム、遷移先発言者識別情報カラム、及び発言者同一区間長カラムを有する。

交代イベントビューＶＣは、発言者同一区間に関する情報を記憶する。
発言者同一区間識別カラムは発言者同一区間を識別する情報である発言者同一区間識別情報を、発言者同一区間開始日カラムは同一レコードの発言者同一区間識別カラムに記憶した発言者同一区間識別情報で識別される発言者同一区間の開始日を、発言者同一区間開始時刻カラムは発言者同一区間の開始時刻を、発言者同一区間終了時刻カラムは発言者同一区間の終了時刻を、遷移元発言者識別情報カラムは当該発言者同一区間の発言者を識別する情報を、遷移先発言者識別情報カラムは当該発言者同一区間の直後の発言者同一区間の発言者を識別する情報を、及び発言者同一区間区間長カラムは発言者同一区間の時間長を記憶する。

つまり、交代イベントビューＶＣは音声取得時間区間である発言者同一区間と、区間取得音声と、区間取得音声分類基準である発言者識別情報と、を制御部１０９０により関連付けられて記憶している。

この構成によれば、制御手段は発言者同一区間と区間取得音声と発言者識別情報とを関連付けて記憶するよう記憶部を制御するため、会議における特定の人物が交代することなくした一連の発言又は発言者同一区間を知ることができるだけでなく、そのような発言又は発言者同一区間における発言者を知ることができる。

また図６を参照してデータ格納部１１００が関連付けて記憶する発言、画像、及び映像に関する情報の一例について引き続き説明する。図６は、データ格納部１１００が関連付けて記憶する発言、画像、及び映像に関する情報の一例を説明するための図である。

データ格納部１１００は、更に音声画像映像ビューＶＡを有している。
発言識別情報カラムは発言イベントテーブルＴＳの発言識別情報カラムと、取得音声識別情報カラムは取得画像テーブルＴＰの取得音声識別情報カラムと、取得映像識別情報カラムは分割取得映像テーブルＴＳＭの取得映像識別情報カラムと、及び分割識別情報カラムは分割取得映像テーブルＴＳＭの分割識別情報カラムと、それぞれ同様の情報を記憶する。

つまり音声画像映像ビューＶＡは、発言識別情報カラムに記憶された識別情報で識別される発言のなされた時間区間において取得された取得音声、取得画像及び取得映像を、音声取得時刻、画像取得時刻、及び映像取得時刻に基づいて制御部１０９０により時刻で関連付けられて記憶している。

ここで、図２に戻り会議システムの構成の一例について引き続き説明する。
検索部１１１０は、データ格納部１１１０、結果表示制御部１１２０、通信部１１３０、及び第１入力装置１６０に接続している。
検索部１１１０は、第１入力装置１６０等で入力された検索キーワードに従って、データ格納部１１００に記憶された情報を検索する。
尚、第１入力装置１６０等とは、第１入力装置１６０と図１に示すネットワーク３００を介して接続された遠隔端末２００に接続された第２入力装置２１０とを言う。

具体的には、検索部１１１０は、第１入力装置１６０等で入力された検索キーワードに基づいて生成された検索条件を満たす区間取得画像分類基準、区間取得映像分類基準、又は区間取得音声分類基準に従って、制御部１０９０によりデータ格納部１１００に記憶された区間取得音声、区間取得画像又は区間取得映像を検索する。

この構成によれば、所望の区間取得画像を、検索の手がかりとなる検索キーワードに基づいて検索手段により検索し、検索された画像を表示手段に表示して確認できるため、効率よく所望の画像を検索し、検索した画像を確認できる。

また、検索部１１１０は、検索した区間取得音声、区間取得画像又は区間取得映像について第１入力装置１６０等が入力したソートキーに基づいて並び順を定めてソートする。尚、ソートキーは、ソートキーを用いた回数以外の区間取得画像分類基準である。

具体的には、検索部１１１０は、例えば、第１入力装置１６０から取得した検索キーワード及びソートキーに基づいて検索条件を記述したＳＱＬ文を作成してＳＱＬ文による検索を実行する。その後、検索部１１１０は、区間取得音声を識別する情報である区間取得音声識別情報、区間取得画像を識別する情報である区間取得画像識別情報、又は区間取得映像を識別する情報である区間取得映像識別情報をソートして、検索結果として結果表示制御部１１２０へ送信する。また、検索部１１１０は、検索結果と関連付けて検索に使用したソートキーを結果表示制御部１１２０へ送信する。

尚、区間取得音声識別情報は発言識別情報又は発言区間識別情報で、区間取得画像識別情報は取得画像識別情報で、及び区間取得映像識別情報は取得映像識別情報及び分割識別情報の組合せ情報で、表される。

結果表示制御部１１２０は、制御部１０９０、データ格納部１１００、検索部１１１０、通信部１１３０、第１入力装置１６０、第１表示装置１７０、及び第１出音装置に接続している。

結果表示制御部１１２０は、検索部１１１０から検索結果である区間取得音声識別情報、区間取得画像識別情報又は区間取得映像識別情報を並べたリスト、並びに検索結果のソートに用いたソートキーを取得する。
結果表示制御部１１２０は、取得した検索結果で特定される区間取得音声、と区間取得画像又は区間取得映像とを、それぞれの取得時刻に基づいて同期して表示及び出音するよう第１表示装置１７０等及び第１出音装置１８０等を制御する。

また、結果表示制御部１１２０は、表示及び出音するよう制御する際に、表示及び出音するよう制御した区間取得音声、区間取得画像又は区間取得映像を識別する情報と、区間取得音声、区間取得画像又は区間取得映像の検索の際に用いたソートキーと、を関連付けて制御手段に送信する。

更に、結果表示制御部１１２０は、表示及び出音を終了するよう制御する際に、表示及び出音するよう制御した区間取得音声、区間取得画像又は区間取得映像を識別する情報と、出音又は表示するよう制御した時間長と、を関連付けて制御手段に送信する。

通信部１１３０は、例えば、ネットワークカード等で構成される。通信部１１３０は、検索部１１１０、結果表示制御部１１２０、及びネットワーク３００に接続している。

通信部１１３０は、ネットワークを介して遠隔端末２００に接続された第２入力装置２１０から送信された各種命令及び検索条件等を受信する。また、通信部１１３０は、遠隔端末２００に接続された第２表示装置２２０に表示させる情報及び第２出音装置２３０に出音させる情報等を送信する。

次に、図１に戻り本発明の会議システム１０の一構成について引き続き説明をする。
音声取得装置１１１ないし１１ｎは、例えば、マイクロフォン等で構成され、情報処理装置１００に接続している。音声取得装置１１１ないし１１ｎは、会議における音声を取得して音声信号を情報処理装置１００に送信する。

また、音声取得装置１１１ないし１１ｎは、それぞれ音声取得装置識別情報を有し、所定の閾値以上の音量レベルの信号を出力する際には、音声信号のみならず音声取得装置識別情報をも送信する。

画像生成装置１２０は、例えば、ノートパソコン等で構成され、分配器１５０に取外し可能に接続している。画像生成装置１２０は、会議において説明対象とする画像の画像信号を生成する。その後、画像生成装置１２０は、生成した画像信号を分配器１５０に送信する。

映像取得装置１３０は、例えば、ウェブカメラ、又はデジタルビデオカメラ等で構成され、情報処理装置１００に接続している。
映像取得装置１３０は、画像投影装置１４０により、例えば、会議等においてスクリーン等に投影された画像を撮影可能に設置されている。映像取得装置１３０は、会議において投影された画像を撮影した映像を取得し、取得した取得映像に撮影時刻（タイムスタンプ）を付けてデータ格納部１１００の所定のディレクトリに記憶する。また、映像取得装置１３０は、撮影した映像を図２で説明した情報処理装置１００の画像変換部１０７０へリアルタイム送信する。

画像投影装置１４０は、例えば、プロジェクタ等で構成され、分配器１５０に接続している。画像投影装置１４０は分配器１５０から入力された画像信号をスクリーンなどへ投影する。

分配器１５０は、例えば ＶＧＡスプリッタ等で構成され、画像生成装置１２０、画像投影装置１４０、及び情報処理装置１００の画像取得部１０４０に接続している。分配器１５０は、画像生成装置１２０から受信した画像信号を画像投影装置１４０及び図２に示した情報処理装置１００の画像取得部１０４０へ分配して送信する。

第１入力装置１６０は、例えば、キーボード、マウス、又はタッチパネル等で構成され、情報処理装置１００に接続している。第１入力装置１６０は、ユーザに操作されて検索に用いられるキーワードである検索キーワード、検索結果の並び順を指定するソートキー等で表される検索条件、各種の命令、若しくは区間取得画像、区間取得映像、又は区間取得音声を説明する情報であるアノテーション情報を入力する。

第１表示装置１７０は、例えば、液晶ディスプレイ、プラズマディスプレイ、又はＣＲＴディスプレイ等で構成され、情報処理装置１００に接続している。第１表示装置１７０は、情報処理装置１００により制御されて区間取得画像及び区間取得映像等の情報を表示する。特に、検索部１１１０で検索された区間取得画像及び区間取得映像の少なくとも１つ以上を表示する。

また、第１表示装置１７０は、検索部１１１０で検索された区間取得画像又は区間取得映像のサムネイルと、制御部１０９０により区間取得画像又は区間取得映像に関連付けられた区間取得画像分類基準又は区間取得映像分類基準と、を関連付けて表示する。

第１出音装置１８０は、例えば、スピーカ等で構成され、情報処理装置１００に接続している。第１出音装置１８０は、情報処理装置１００により制御されて、検索部１１１０で検索された区間取得音声の少なくとも１つ以上を出音する。

また特に、第１出音装置１８０は、第１表示装置１７０等が表示する区間取得画像又は区間取得映像に対して、制御部１０９０が時刻に基づいて関連付けて記憶されるよう制御した取得音声を出音する

この構成によれば、所望の区間取得音声を、検索の手がかりとなる検索キーワードに基づいて検索手段により検索し、検索された音声を出音手段から出音して確認できるため、効率よく所望の音声を検索し、検索した音声を確認できる。

ネットワーク３００は、ＬＡＮ、ＷＡＮ、又はインタネット等で構成され、情報処理装置１００と遠隔端末２００とに接続している。

遠隔端末２００は、例えば、パーソナルコンピュータ等で構成され、入力手段である第２入力装置２１０、表示手段である第２表示装置２２０、出音手段である第２出音装置２３０に接続している。

遠隔端末２００は、第２入力手段から受領した検索条件及び各種命令等をネットワーク３００を介して情報処理装置１００へ送信する。また、遠隔端末２００は、ネットワーク３００を介して情報処理装置１００の送信する制御情報を受信し、受信した制御情報に従って、第２表示装置２２０の表示、及び第２出音装置２３０の出音を制御する。

第２入力装置２１０、第２表示装置２２０、及び第２出音装置２３０は、遠隔端末に接続している。
第２入力装置２１０、第２表示装置２２０、及び第２出音装置２３０の構成及び機能については、第１入力装置１６０、第１表示装置１７０、及び第１出音装置１８０と同様であるため、説明を省略する。

ここで、図７を参照して、ユーザが第１入力装置１６０等により区間取得音声、区間取得画像又は区間取得映像を検索するためのキーワードを入力する際に第１表示装置１７０等が表示する画面であるキーワード検索画面について説明する。図７は、第１表示装置１７０等が表示するキーワード検索画面の一例である。

キーワード検索画面ＦＳＷは、区間取得音声、区間取得画像又は区間取得映像を検索するためのキーワードを入力する際に第１表示装置１７０等が表示する表示画面である。

キーワード検索画面ＦＳＷは、キーワード入力テキストボックスＴＢＷ１ないし５、発言者名入力テキストボックスＴＢＰ１ないし５、結合条件設定ラジオボタン、検索ボタンＢＴ、及びソートキー検索画面表示ボタンＢＴＳ等で構成されている。尚、キーワード入力テキストボックスＴＢＷ１ないし５及び発言者名入力テキストボックスＴＢＰ１ないし５について以下単に、テキストボックスと言う。

キーワード入力テキストボックスＴＢＷ１ないし５は、区間取得音声、区間取得画像又は区間取得映像を、区間取得音声分類基準、区間取得画像分類基準、又は取得映像分類基準である文字情報に従って検索するために用いられる検索キーワードであって、ユーザが第１入力装置１６０等を操作して入力したキーワードを表示する。

発言者名入力テキストボックスＴＢＰ１ないし５は、区間取得音声、区間取得画像又は区間取得映像を、区間取得音声分類基準である発言者識別情報に関連付けられた発言者名に従って検索するために用いられる検索キーワードであって、ユーザが第１入力装置１６０等を操作して入力したキーワードを表示する。

結合条件設定ラジオボタンは、ユーザが第１入力装置１６０等を操作して入力した複数のキーワードにより表される検索条件の結合条件を表示する。尚、結合条件設定ラジオボタンのグループは、結合条件はＡＮＤ結合とＯＲ結合とが択一的に選択可能であることを示している。

検索ボタンＢＴは、テキストボックスに表示されたキーワードを検索条件として確定し、確定した検索条件に従った検索の実行を検索部１１１０に命令する命令を、ユーザが第１入力装置１６０等を操作して入力できることを表すボタン表示である。

ソートキー検索画面表示ボタンＢＴＳは、ソートキー検索画面を表示する命令を、ユーザが第１入力装置１６０等を操作して入力できることを表すボタン表示である。尚、ソートキー検索画面とは、区間取得音声、区間取得画像又は区間取得映像を検索する際に過去に指定したソートキーを検索条件として指定するために第１表示装置１７０等が表示する画面である。

次に、図８を参照して、第１表示装置１７０等がキーワード検索をした結果を表示する画面であるキーワード検索結果表示画面について説明する。図８は、第１表示装置１７０等が表示するキーワード検索結果表示画面の一例である。

キーワード検索結果表示画面ＦＲＷは、結果表示領域ＡＲＷ１、キーワード検索画面表示ボタンＢＴＷ、及びソートキー検索画面表示ボタンＢＴＳ等で構成される。

結果表示領域ＡＲＷ１は、検索部１１１０で検索をした検索結果を表示する領域である。
キーワード検索画面表示ボタンＢＴＷは、キーワード検索画面ＦＳＷを表示する命令をユーザが第１入力装置１６０等を操作して入力できることを表すボタン表示である。
ソートキー検索画面表示ボタンＢＴＳは、ソートキー検索画面を表示する命令をユーザが第１入力装置１６０等を操作して入力できることを表すボタン表示である。

結果表示領域ＡＲＷ１は、検索部１１１０で検索された区間取得音声、区間取得画像又は区間取得映像に関連付けられた区間取得音声分類基準、区間取得画像分類基準又は区間取得映像分類基準を行毎に表示する。ただし、区間取得音声分類基準、区間取得画像分類基準又は区間取得映像分類基準の内で、区間取得音声、区間取得画像、又は区間取得映像を検索部１１１０が検索するためにソートキーを用いた回数についてのみ表示しない。

図８に示す結果表示領域ＡＲＷ１は、検索部１１１０で検索された区間取得画像に関連付けられた区間取得画像分類基準を行毎に、第２行から順に表示している。

具体的には、区間取得画像分類基準であるサムネイル、類似画像投影回数、投影開始日、投影開始時刻、投影終了時刻、投影時間区間長、表示回数、表示時間長、及び文字情報を表示する。

この構成によれば、検索された区間取得画像が所望の画像であるかをサムネイル及び区間取得画像分類基準に基づいて容易に確認できる。

結果表示領域ＡＲＷ１の第１行は、ソートボタンＢＴＴ１１ないし１８をそれぞれの区間取得音声分類基準に関連付けて表示している。具体的には、ソートボタンＢＴＴ１１は、区間取得音声分類基準である類似画像投影回数と表示位置によって関連付けられて表示されている。

ソートボタンＢＴＴ１１ないし１８は、結果表示領域ＡＲＷ１の表示する検索結果を、ソートボタンＢＴＴ１１ないし１８に関連付けられた区間取得音声分類基準の昇順又は降順でソートして表示する命令を、ユーザが第１入力装置１６０等を操作して入力できることを表すボタン表示である。

また、ソートボタンＢＴＴ１１ないし１８は、結果表示領域ＡＲＷ１に表示する情報を検索する際に検索条件として入力されたソートキーを表示する。尚、ソートキーは、ソートキーを用いた回数以外の区間取得画像分類基準である。

具体的に例を挙げると、ソートボタンＢＴＴ１１に関連付けられた類似画像投影回数の昇順で表示すると言うソート条件に従って並び順を定められた検索結果を結果表示領域ＡＲＷ１が表示している場合には、ソートボタンＢＴＴ１１は昇順を表す記号である下向きの三角形を表示する。

ユーザが第１入力装置１６０等を操作して、例えば、図示は省略するがポインタ等をソートボタンＢＴＴ１１ないしＢＴＴ１８のいずれか１つに重ねてソートボタンＢＴＴ１１をクリック等をすることで、第１入力装置１６０等は、クリックされたソートボタンＢＴＴに関連付けられた区間取得画像分類基準の昇順又は降順を表すソートキーを入力し、入力した新たなソートキーを追加して再検索を命ずる命令を入力する。

次に、検索部１１１０は入力されたソートキー及び命令を受信して、入力されたソートキーを検索条件に追加して再検索を行い、検索結果及び検索に使用したソートキーを結果表示制御部１１２０へ送信する。
最後に結果表示制御部１１２０は再検索された検索結果を表示するよう第１表示装置１７０等を制御する。

また、ユーザが第１入力装置１６０等を操作して、例えば、ポインタ等を結果表示領域ＡＲＷ１に表示されたサムネイルＳＮ１ないし５のいずれか１つをクリック等して選択すると、第１入力装置１６０等は選択されたサムネイルＳＮに関連付けられた区間取得画像を表示する命令を入力する。

次に、結果表示制御部１１２０は第１入力装置１６０等で入力された命令を受領する。次に、選択されたサムネイルＳＮに関連付けられた区間取得画像を表示するように第１表示装置１７０等を制御する。また結果表示制御部１１２０は同時に、選択されたサムネイルＳＮに関連付けられた画像取得時間区間において取得された取得音声を第１出音装置１８０等から同期して出音するよう制御する。

またこの構成によれば、所望の区間取得画像を検索手段により検索し、検索された画像を表示手段に表示して確認できる。

この構成によれば、区間取得画像分類基準に基づいて所望の区間取得画像を検索手段で検索し、検索された画像を表示手段で表示するだけでなく検索された画像の画像取得時間区間において収集された音声を出音手段から出音できる。よって、表示された画像が所望の画像であるかを表示された画像だけでなく出音された音声に基づいて容易に確認できる。また、区間取得画像分類基準に基づいて区間取得画像のみならず、画像取得時間区間における取得音声をも検索して視聴できる。

また結果表示制御部１１２０は、選択されたサムネイルＳＮに関連付けられた区間取得画像を識別する情報と検索条件として使用されたソートキーとを関連付けて制御部１０９０へ送信する。次に、制御部１０９０は、受信したソートキーの種類毎に取得した区間取得画像を識別する情報に関連付けられたソートキーを用いた回数をインクリメントするようプログラムを制御する。

更に結果表示制御部１１２０は、表示又は出音するよう制御した区間取得画像又は区間取得音声を識別する情報と、出音又は表示するよう制御した時間長とを関連付けて制御部１０９０へ送信する。

次に、制御部１０９０は、受信した識別情報で識別される区間取得画像又は区間取得音声に関連付けられた区間取得画像分類基準又は区間取得音声基準である総出音時間長又は総表示時間長に、受信した出音時間長又は表示時間長を加算して更新するようプログラムを制御する。

また、制御部１０９０は、受信した識別情報で識別される区間取得画像又は区間取得音声に関連付けられた区間取得画像分類基準又は区間取得音声基準である総出音回数又は総表示回数をインクリメントするようプログラムを制御する。

上記実施形態では、図８に示したキーワード検索結果画面ＦＲＷの有する結果表示領域ＡＲＷ１は、検索部１１１０で検索された区間取得画像に関連付けられた区間取得画像分類基準を行毎に表示する場合について説明したがこれに限定されるわけではなく、区間取得映像に関連付けられた区間取得映像分類基準、又は区間取得音声に関連付けられた区間取得画像分類音声を行毎に表示する構成を採用できる。

ここで、図９を参照して、ソートキー検索画面について説明する。図９は、第１表示装置１７０等が表示するソートキー検索画面の一例である。

ソートキー検索画面ＦＫは、区間取得音声、区間取得画像又は区間取得映像を検索するための過去に指定したソートキーを検索条件として入力する際に表示される画面であり、また過去に指定したソートキーを検索条件として検索した結果を表示する際に表示される画面でもある。

ソートキー検索画面ＦＫは、結果表示領域ＡＲＷ２、及びキーワード検索画面表示ボタンＢＴＷ等で構成される。
結果表示領域ＡＲＷ２は、図８に示したキーワード検索結果画面ＦＲＷの有する結果表示領域ＡＲＷ１と同様に検索部１１１０で検索をした検索結果を表示する領域である。
キーワード検索画面表示ボタンＢＴＷは、キーワード検索結果画面ＦＲＷの有するキーワード検索画面表示ボタンＢＴＷと同一であるため説明を省略する。

結果表示領域ＡＲＷ２は、キーワード検索結果画面ＦＲＷの結果表示領域ＡＲＷ１と異なり、検索部１１１０で検索された区間取得音声、区間取得画像又は区間取得映像に関連付けられた区間取得音声分類基準、区間取得画像分類基準又は区間取得映像分類基準の内で、区間取得音声、区間取得画像、又は区間取得映像を検索手段が検索するためにソートキーを用いた回数について、サムネイルと関連付けて表示する。

図９に示す結果表示領域ＡＲＷ２は、検索部１１１０で検索された区間取得画像のサムネイルと、区間取得画像分類基準をソートキーとして用いた回数とを関連付けて第２行から行毎に順に表示している。

具体的には、類似画像投影回数、投影開始日、投影開始時刻、投影終了時刻、投影時間区間長、表示回数、表示時間長、及び文字情報をソートキーとして区間取得画像を検索する際に用いた回数を、区間取得画像のサムネイルと同一行に表示することで関連付けて表示する。

結果表示領域ＡＲＷ２の第１行は、ソートボタンＢＴＴ２１ないし２８をソートキーとして用いられた区間取得音声分類基準に関連付けて表示している。具体的には、ソートボタンＢＴＴ２１はソートキーとして用いられた類似画像投影回数と表示位置によって関連付けられて表示されている。

ソートボタンＢＴＴ２１ないし２８は、結果表示領域ＡＲＷ２の表示する検索結果を、ソートボタンＢＴＴ２１ないし２８に関連付けられたソートキーの使用回数の昇順又は降順でソートして表示する命令を、ユーザが第１入力装置１６０等を操作して入力できることを表すボタン表示である。

また、ソートボタンＢＴＴ２１ないし２８は、結果表示領域ＡＲＷ２に表示する情報を検索する際に検索条件として入力されたソートキーを表示する。具体的に例を挙げると、ソートボタンＢＴＴ２１に関連付けられた類似画像投影回数をソートキーとした回数の昇順で表示すると言うソート条件に従って並び順を定められた検索結果を結果表示領域ＡＲＷ２が表示している場合には、ソートボタンＢＴＴ２１は昇順を表す記号である下向きの三角形を表示する。

ユーザが第１入力装置１６０等を操作して、例えば、ポインタ等をソートボタンＢＴＴ２１ないしＢＴＴ２８のいずれか１つに重てソートボタンＢＴＴ２１をクリック等をすることで、第１入力装置１６０等は、選択されたソートボタンＢＴＴに関連付けられたソートキーの使用回数の昇順又は降順で検索結果を並び替えると言うソートキーを入力し、入力した新たなソートキーを追加して再検索を命ずる命令を入力する。

次に、検索部１１１０は入力されたソートキー及び命令を受信して、入力されたソートキーを検索条件に追加して再検索を行う。最後に結果表示制御部１１２０は再検索された検索結果を表示するよう第１表示装置１７０等を制御する。

また、ユーザが第１入力装置１６０等を操作して、例えば、ポインタ等を結果表示領域ＡＲＷ２に表示されたサムネイルＳＮ１ないし５のいずれか１つをクリック等して選択することで、第１入力装置１６０等は選択されたサムネイルＳＮに関連付けられた区間取得画像を表示する命令を入力する。

次に、結果表示制御部１１２０は入力装置１６０で入力された命令を受領する。次に、選択されたサムネイルＳＮに関連付けられた区間取得画像を表示するように第１表示装置１７０等を制御する。また結果表示制御部１１２０は同時に、選択されたサムネイルＳＮに関連付けられた画像取得時間区間において取得された取得音声を第１出音装置１８０等から同期して出音する。

次に図１０を参照して、制御部１０９０がデータ格納部１１００に情報を格納するために実行する制御処理（以下単に、情報格納制御処理と言う）について説明する。図１０は、制御部１０９０の行なう情報格納制御処理の一例を説明するためのフローチャートである。

先ず、制御部１０９０は、取得画像の変更をテキスト抽出部１０８０により通知されるまで、発言の開始又は終了を発言メタ情報生成部１０２０から通知されるまで、第１入力装置１６０等から実行終了通知を通知されるまで、若しくは、所定の時刻を経過するまでスリープする（ステップＳＴ００１）。

次に、制御部１０９０は、発言検出部１０２１から通知を受けたかを判断する（ステップＳＴ００２）。発言検出部１０２１から通知を受けたと判断する場合にはステップＳＴ００３の処理を、そうでない場合にはステップＳＴ００７の処理を実行する。

ステップＳＴ００２において、制御部１０９０は、発言検出部１０２１から通知を受けたと判断する場合には、発言の開始を検出した旨の通知を受けたかを判断する（ステップＳＴ００３）。発言の開始を検出したと判断する場合にはステップＳＴ００４の処理を、そうでない場合にはステップＳＴ００６の処理を実行する。

ステップＳＴ００３において、制御部１０９０は、発言の開始を検出した旨の通知を受けたと判断した場合には発言開始時処理を実行する（ステップＳＴ００４）。

ステップＳＴ００４、ステップＳＴ００６、又はステップＳＴ００８の処理を実行した後には、制御部１０９０は、テキスト抽出部１０８０による通知、発言検出部１０２１による通知、第１入力装置１６０等からの通知、又は所定時刻の経過の全てに対して処理を実行したかを判断する（ステップＳＴ００５）。制御部１０９０は、全てを処理したと判断する場合にはステップＳＴ００１に戻り上記処理を繰り返し、そうでない場合にはステップＳＴ００２に戻り既に行なった処理以外の処理を実行する。

ステップＳＴ００３において、制御部１０９０は、発言の開始を検出した旨の通知を受けていないと判断した場合には発言終了時処理を実行する（ステップ００ＳＴ６）。その後、ステップＳＴ００５の処理を実行する。

ステップＳＴ００２において、制御部１０９０は、発言検出部１０２１から通知を受けていないと判断する場合には、取得画像の変更をテキスト抽出部１０８０から通知されたかを判断する（ステップＳＴ００７）。取得画像の変更を通知されたと判断する場合にはステップＳＴ００８の処理を、そうでない場合に実行停止指示を受領したと判断してステップＳＴ００９処理を実行する。

ステップＳＴ００７において、制御部１０９０は、取得画像の変更を通知されたと判断する場合には画像格納時処理を実行する（ステップＳＴ００８）。その後、ステップＳＴ００５の処理を実行する。

ステップＳＴ００７において、制御部１０９０は、取得画像の変更を通知されなかったと判断する場合には終了時処理を実行する（ステップＳＴ００９）。その後処理を終了する。

次に図１１を参照して、制御部１０９０が実行する発言開始時処理について説明する。図１１は、制御部１０９０の行なう発言開始時処理の一例を説明するためのフローチャートである。

先ず、制御部１０９０は、発言検出部１０２１が検出した発言を識別する発言識別情報を生成する（ステップＳＴ１０１）。次に、制御部１０９０は、発言検出部１０２１から発言開始時刻及び音声取得装置識別情報等を取得する（ステップＳＴ１０２）。その後、制御部１０９０は、発言者識別部１０２２から発言者識別情報及び音声取得装置識別情報等を取得する（ステップＳＴ１０３）。次に、制御部１０９０は、発言交代検出部１０２３から発言交代の有無に関する情報及び音声取得装置識別情報等を取得する（ステップＳＴ１０４）。その後、制御部１０９０は、処理を終了する。

次に図１２を参照して、制御部１０９０が実行する発言終了時処理について説明する。図１２は、制御部１０９０の行なう発言終了時処理の一例を説明するためのフローチャートである。

先ず、制御部１０９０は、発言検出部１０２１から発言の終了時刻及び音声取得装置識別情報等を取得する（ステップＳＴ２０１）。次に、制御部１０９０は、発言を記録した取得音声が保存された所定のディレクトリパスを取得する（ステップＳＴ２０２）。その後、制御部１０９０は、音声認識部１０２４から取得音声より抽出された文字情報及び音声取得装置識別情報等を取得する（ステップＳＴ２０３）。

次に、制御部１０９０は、特徴取得部１０２５から取得音声のメルケプストラル平均（Mel-Cepstral mean）、又は基底周波数、及び取得音声の音量を取得する。また、ステップＳＴ２０３で取得した文字情報、及びステップＳＴ２０１で取得した発言終了時刻等に基づいて単位時間当たりの発言内容を表す文字情報量を算出する（ステップＳＴ２０４）。

次に、制御部１０９０は、発言開始時処理で取得した情報及び上記ステップステップＳＴ２０１ないし２０３で取得した情報をそれぞれ関連付けて発言イベントテーブルＴＳ等に記憶する(ステップ２０５)。

この構成によれば、会議において取得された音声及び画像を、音声及び画像を取得した時刻のみならず発言者識別情報に基づいても分類して記憶できる。よって、特定の時刻における音声及び画像のみならず、特定の発言者に関連した音声及び画像を知ることができる。また逆に、特定の音声及び画像に関連した発言者を知ることもできる。

この構成によれば、制御手段は発言区間と区間取得音声と発言者識別情報とを関連付けて記憶するよう記憶部を制御するため、特定の人物が会議においてした発言又は発言区間を知ることができるだけでなく、発言又は発言区間における発言者を知ることができる。
またこの構成によれば、記憶部は、発言である区間取得音声と発言開始時刻とを関連付けて記憶するので、それぞれの発言の順番を知ることができる。
更に、一例として、発言者が重要だと考える事項は、会議の最後に結論、又は総論等として発言されると言う特徴を有する。よって、発言した順番が早い又は遅いと言う特徴を有する区間取得音声を知ることができる。

次に図１３を参照して、制御部１０９０が実行する画像格納時処理について説明する。図１３は、制御部１０９０の行なう画像格納時処理の一例を説明するためのフローチャートである。

先ず、制御部１０９０は、テキスト抽出部１０８０から取得画像及びキャプチャ画像、並びに画像取得時刻及び映像取得時刻を取得して、投影開始時刻を同時に取得する（ステップＳＴ３０１）。次に、制御部１０９０は、テキスト抽出部１０８０から取得した取得画像及び取得映像のキャプチャ画像を識別する識別情報を生成する（ステップＳＴ３０２）。

その後、制御部１０９０は、テキスト抽出部１０８０から取得画像及びキャプチャ画像のサムネイルを取得する（ステップＳＴ３０３）。次に、制御部１０９０は、テキスト抽出部１０８０からサムネイルを識別する情報であるサムネイル識別情報を生成する（ステップＳＴ３０４）。

その後、制御部１０９０は、テキスト抽出部１０８０から取得画像又は取得映像のキャプチャ画像により抽出した文字情報を取得する（ステップＳＴ３０５）。最後に、制御部１０９０は、上記ステップＳＴ３０１ないし３０５で取得した情報をそれぞれ関連付けてデータ格納部１１００へ記憶するよう制御する（ステップＳＴ３０６）。
この構成によれば、取得画像から文字認識処理により取得した文字情報と区間取得画像とを関連付けて記憶するよう記憶部を制御するため、区間取得画像を画像の有する文字情報に基づいて分類できる。

次に図１４を参照して、制御部１０９０が実行する終了時処理について説明する。図１４は、制御部１０９０の行なう終了時処理の一例を説明するためのフローチャートである。

先ず、制御部１０９０は、全ての区分取得画像及び区分取得映像（以下単に、区分取得画像等と言う）についてステップＳＴ４０２の処理を行なったかを判断する。全ての区分取得画像等についてステップＳＴ４０２の処理を行なったと判断する場合にはステップＳＴ４０３の処理をそうでない場合にはステップＳＴ４０２の処理を実行する。

ステップＳＴ４０１において、制御部１０９０は、全ての区分取得画像等についてステップＳＴ４０２の処理を行なっていないと判断した場合には、ステップＳＴ４０２の処理の処理を行なっていない区分取得画像について、他の全ての区分取得画像との類似を判断して、区間取得画像と類似した取得画像の会議における投影回数を取得する。

また、ステップＳＴ４０２の処理の処理をこなっていない区分取得映像として撮影された画像と、他の全ての区間取得映像として撮影された画像と、の類似を判断して区間取得映像として撮影された画像と類似した画像の会議における投影回数を取得する（ステップＳＴ４０２）。その後、ステップＳＴ４０１に戻り上記処理を繰り返す。

ステップＳＴ４０１において、制御部１０９０は、全ての区分取得画像等についてステップＳＴ４０２の処理を行なったと判断した場合には、全ての区分取得画像等について、それぞれ類似した画像の投影回数と区分取得画像等とを関連付けてデータ格納部１１００の取得画像テーブルＴＰ又は分割取得映像テーブルＴＳＭ等に記憶するよう制御する（ステップＳＴ４０３）。

上記実施形態では、図４に示す取得画像テーブルＴＰは、画像取得時間区間である投影時間区間と、区間取得画像を識別する取得画像識別情報と、区間取得画像分類基準である類似画像投影回数と、を制御部１０９０により関連付けられて記憶している場合について説明したがこれに限定されるわけではなく、例えば、取得画像テーブルＴＰは、投影時間区間と、取得画像識別情報と、区間取得画像分類基準である画像取得時間区間長、文字情報、表示回数、表示時間長、又はソートキーを用いた回数と、を制御部１０９０により関連付けられて記憶する構成を採用できる。

上記実施形態では、図４に示す分割取得映像テーブルＴＳＭは、映像取得時間区間である投影時間区間と、区間取得映像を識別する区間取得映像識別情報と、区間取得画像分類基準である類似した取得画像の会議における投影回数と、を制御部１０９０により関連付けられて記憶している場合について説明したがこれに限定されるわけではなく、例えば、分割取得映像テーブルＴＳＭは、投影時間区間と、区間取得映像識別情報と、区間取得画像分類基準である映像取得時間区間長、文字情報、表示回数、表示時間長、又はソートキーを用いた回数と、を制御部１０９０により関連付けられて記憶する構成を採用できる。

上記実施形態では、図５に示す発言イベントテーブルＴＳは、音声取得時間区間である発言区間と、区間取得音声と、区間取得音声分類基準である発言者識別情報と、を制御部１０９０により関連付けられて記憶し、また交代イベントビューＶＣは音声取得時間区間である発言者同一区間と、区間取得音声と、区間取得音声分類基準である発言者識別情報と、を制御部１０９０により関連付けられて記憶している場合について説明した。
しかし、これに限定されるわけではなく、例えば、発言イベントテーブルＴＳ又は交代イベントビューＶＣは、音声取得時間区間である発言区間又は発言者同一区間と、区間取得音声と、区間取得音声分類基準である音声取得時間区間長、位置情報、出音回数、出音時間長、又はソートキーを用いた回数と、を制御部１０９０により関連付けられて記憶する構成を採用できる。

上記実施形態では、図７に示したキーワード検索画面ＦＳＷは検索キーワードとして、区間取得画像分類基準である文字情報、並びに区間取得音声分類基準である発言者識別情報に関連付けられた発言者名を用いる場合について説明したがこれに限定されるわけではなく、例えば、区間取得音声分類基準である音声取得時間区間長、位置情報、文字情報、出音回数、音声時間長、ソートキーを用いた回数、及びディレクトリパス等、区間取得画像分類基準である類似画像投影回数、画像取得時間区間長、表示回数、表示時間長、ソートキーを用いた回数、ディレクトリパス等、並びに区間取得映像分類基準である類似画像投影回数、映像取得時間区間長、文字情報、表示回数、表示時間長、ソートキーを用いた回数、ディレクトリパス等を検索キーワードにより検索し、それぞれの入力されたキーワードを表示するテキストボックスを有する構成を採用できる。

上記実施形態では、画像取得部１０４０はＢＭＰフォーマットの画像を取得する場合について説明したがこれに限定されるわけではなく、例えば、ＪＰＧ、ＧＩＦ、ＴＩＦＦ、又は、ＰＮＧフォーマットの画像を取得する構成を採用することも可能である。

上記実施形態では、画像変換部１０７０はＪＰＧフォーマットの画像を取得する場合について説明したがこれに限定されるわけではなく、例えば、ＪＰＧ、ＢＭＰ、ＧＩＦ、ＴＩＦＦ、又は、ＰＮＧフォーマットの画像、画像データサイズの縮小された画像、若しくは、色情報の軽減された画像、であって画像変換部１０７０が取得した画像の情報量よりも少ない情報量で表される画像を取得する構成を採用することも可能である。

尚、画像生成装置１２０が画像信号を生成するために用いた電子ファイルから生成される画像と、データ格納部１１００に格納された画像とを比較することで、会議において投影されなかった電子ファイルから生成される画像を知ることができる。

上記実施形態では、区間取得画像、区間取得映像、又は区間取得音声を説明するアノテーション情報は、区間取得画像、区間取得映像、又は区間取得音声と関連付けてデータ格納部１１００に格納される場合について説明したが。
しかし限定されるわけではなく、アノテーション情報は、例えば、区間取得画像、区間取得映像、又は区間取得音声である電子ファイルのヘッダ部等に直接記載される構成を採用できる。
この構成によれば、例えば、Adobe Premier、又はAdapTVと言ったソフトウェアによって電子ファイルに記載されたアノテーションを区間取得画像分類基準、区間取得映像分類基準、又は区間取得音声分類基準とすることができる。

本発明の会議システムの一実施形態を示す構成図である。 本発明に係る会議システムを構成する情報処理装置の１実施形態の機能ブロック図である。 本発明の情報処理装置の実施形態を表すハードウェア構成図である。 データ格納部の記憶する映像及び画像に関する情報の一例を説明するための図である。 データ格納部の記憶する発言に関する情報の一例を説明するための図である。 データ格納部が関連付けて記憶する発言、画像、及び映像に関する情報の一例を説明するための図である。 表示装置等が表示するキーワード検索画面の一例である。 表示装置等が表示するキーワード検索結果表示画面の一例である。 表示装置等が表示するソートキー検索画面の一例である。 制御部の行なう情報格納制御処理の一例を説明するためのフローチャートである。 制御部の行なう発言開始時処理の一例を説明するためのフローチャートである。 制御部の行なう発言終了時処理の一例を説明するためのフローチャートである。 制御部の行なう画像格納時処理の一例を説明するためのフローチャートである。 制御部の行なう終了時処理の一例を説明するためのフローチャートである。

符号の説明

１０…会議システム
１００…情報処理装置
１１ｎ…音声取得装置
１２０…画像生成装置
１３０…映像取得装置（映像取得手段）
１４０…画像投影装置
１５０…分配器
１６０…第１入力装置（入力手段）
１７０…第１表示装置（表示手段）
１８０…第１出音装置（出音手段）
２００…制御装置
２１０…第２入力装置（入力手段）
２２０…第２表示装置（表示手段）
２３０…第２出音装置（出音手段）
３００…ネットワーク
１０１０…Ａ／Ｄ変換部
１０２０…発言メタ情報生成部
１０２１…発言検出部
１０２２…発言者識別部
１０２３…発言交代検出部
１０２４…音声認識部
１０２５…特徴取得部
１０３０…時間管理部
１０４０…画像取得部
１０５０…新規画像検出部
１０６０…投影時間算出部
１０７０…画像変換部
１０８０…テキスト抽出部
１０９０…制御部（制御手段）
１１００…データ格納部
１１１０…検索部（検索手段）
１１２０…結果表示制御部
１１３０…通信部
ＡＲＷ１、２…検索結果表示領域
ＢＴ…検索ボタン
ＢＴＳ…ソートキー検索画面表示ボタン
ＢＴＴ１１〜１８、２１〜２８…ソートボタン
ＢＴＷ…キーワード検索画面表示ボタン
ＦＫ…ソートキー検索画面
ＦＲＷ…キーワード検索結果画面
ＦＳＷ…キーワード検索画面
ＳＮ１〜５…サムネイル
ＴＢＰ１〜５…発言者名入力テキストボックス
ＴＢＷ１〜５…キーワード入力テキストボックス
ＴＭ…取得映像テーブル
ＴＰ…取得画像テーブル
ＴＳ…発言イベントテーブル
ＴＳＭ…分割取得映像テーブル
ＶＡ…音声画像映像ビュー
ＶＣ…交代イベントビュー

Claims (38)

1. 会議において取得された音声である取得音声と前記取得音声を取得した時刻である音声取得時刻とを関連付け、前記会議で投影された画像であり、かつ会議において取得された画像である取得画像と前記取得画像を取得した時刻である画像取得時刻とを関連付け、かつ前記取得音声と前記取得画像とを前記音声取得時刻と前記画像取得時刻とに基づいて時刻で関連付けて記憶するよう記憶部を制御する制御手段と、を備える会議システムであって、
   前記制御手段は、前記画像取得時刻で区切られた時間区間である画像取得時間区間と、前記取得画像の内で前記画像取得時間区間において会議で投影された画像である区間取得画像と、前記区間取得画像を分類する基準となる区間取得画像分類基準と、を関連付けて記憶するよう前記記憶部を制御し、
   前記区間取得画像分類基準は、分類対象である前記区間取得画像と類似した前記取得画像の前記会議における投影回数を含むことを特徴とする会議システム。
2. 前記区間取得画像分類基準は、分類対象である前記取得画像が会議において説明を省略された画像であるか否かを表す情報を含むことを特徴とする請求項１に記載の会議システム。
3. 検索に用いられるキーワードである検索キーワードを入力する入力手段と、
   前記入力手段で入力された検索キーワードに基づいて生成された検索条件を満たす区間取得画像分類基準に関連付けて、前記記憶部に記憶された区間取得画像を検索する検索手段と、
   前記検索手段の検索した区間取得画像の少なくとも１つ以上を表示する表示手段を更に有することを特徴とする請求項１又は２に記載の会議システム。
4. 区間取得画像分類基準は、分類対象である前記区間取得画像であって、かつ前記検索手段で検索された区間取得画像が前記表示手段に表示された回数である表示回数を含むことを特徴とする請求項３に記載の会議システム。
5. 前記画像取得時間区間は、前記会議において投影された画像の投影を開始した時刻である投影開始時刻と投影を終了した時刻とで定められる時間区間である投影時間区間を含むことを特徴とする請求項４に記載の会議システム。
6. 前記区間取得画像分類基準は、分類対象である前記区間の画像取得時間区間の長さである画像取得時間区間長を含むことを特徴とする請求項５に記載の会議システム。
7. 前記区間取得画像分類基準は、分類対象である前記区間取得画像に対して文字認識処理を行なうことで抽出した文字情報を含むことを特徴とする請求項５又は６に記載の会議システム。
8. 前記区間取得画像と類似した前記取得画像は、前記区間取得画像を構成する画素情報が類似した画像、又は前記区間取得画像に対して文字認識処理を行なうことで抽出した文字情報を構成する単語が類似した画像であることを特徴とする請求項７に記載の会議システム。
9. 前記説明を省略された画像であるか否かを表す情報は、前記画像取得時間区間長が所定の閾値以下、又はより小さいか否かを表す情報であることを特徴とする請求項５ないし８に記載の会議システム。
10. 前記区間取得画像分類基準は、分類対象である前記区間取得画像であって、かつ前記検索手段で検索された区間取得画像が前記表示手段に表示された時間長である表示時間長を含むことを特徴とする請求項５ないし９に記載の会議システム。
11. 前記表示手段は、前記検索手段で検索された区間取得画像のサムネイルと、前記制御手段により区間取得画像に関連付けられた区間取得画像分類基準と、を関連付けて表示することを特徴とする請求項５ないし１０に記載の会議システム。
12. 前記入力手段は、前記表示手段が表示する前記サムネイルの並び順を指定するソートキーを入力し、
    前記検索手段は、検索した前記区間取得画像について前記入力手段が入力したソートキーに基づいて並び順を定め、
    前記表示手段は、前記検索手段が定めた並び順に従って、前期区間取得画像のサムネイルを並べて表示することを特徴とする請求項１１に記載の会議システム。
13. 前記区間取得画像分類基準は、分類対象である前記区間取得画像を検索手段が検索するために前記ソートキーを用いた回数を含み、
    前記ソートキーは、前記ソートキーを用いた回数以外の区間取得画像分類基準であることを特徴とする請求項１２に記載の会議システム。
14. 前記入力手段は、前記区間取得画像を説明する情報であるアノテーション情報を入力し、
    前記区間取得画像分類基準は、分類対象である前記区間取得画像を説明するアノテーション情報であって、かつ前記入力手段が入力したアノテーション情報を含むことを特徴とする請求項５ないし１３に記載の会議システム。
15. 前記制御手段によって、前記表示手段が表示する区間取得画像と時刻に基づいて関連付けて記憶された取得音声を出音する出音手段を更に有することを特徴とする請求項５ないし１４に記載の会議システム。
16. 前記制御手段は、前記音声取得時刻で区切られた時間区間である音声取得時間区間と、前記音声取得時間区間において取得された取得音声である区間取得音声と、前記区間取得音声を分類する基準となる区間取得音声分類基準と、を関連付けて記憶するよう前記記憶部を制御し、
    前記区間取得音声分類基準は、前記区間取得音声として取得された取得音声の発言者を識別する情報である発言者識別情報を含むことを特徴とする請求項１５に記載の会議システム。
17. 前記音声取得時間区間は、分類対象とする前記区間取得音声の発言者が発言を開始した時刻である発言開始時刻と、発言者が発言を終了した時刻である発言終了時刻と、で定まる発言区間であることを特徴とする請求項１６に記載の会議システム。
18. 前記音声取得時間区間は、分類対象とする前記区間取得音声の発言者が交代した時刻である発言者交代時刻と次の発言者交代時刻とで定まる時間区間である発言者同一区間であることを特徴とする請求項１６に記載の会議システム。
19. 前記取得音声分類基準は、分類対象とする前記区間取得音声から音声認識処理により取得した発言内容を表す文字情報を含むことを特徴とする請求項１６ないし１８に記載の会議システム。
20. 前記取得音声分類基準は、分類対象とする前記区間取得音声の発話量を含むことを特徴とする請求項１６ないし１９に記載の会議システム。
21. 前記発話量は、前記区間取得音声の発言内容を表す文字情報を構成する文字数、又は前記区間取得音声の音声取得時間区間の長さである音声取得時間区間長を含むことを特徴とする請求項２０に記載の会議システム。
22. 前記取得音声分類基準は、分類対象とする前記区間取得音声の音声的特長を含むことを特徴とする請求項１６ないし２１に記載の会議システム。
23. 前記音声的特長は、分類対象とする前記区間取得音声の高さ、大きさ、又は単位時間当たりの発言内容を表す文字情報量であることを特徴とする請求項２２に記載の会議システム。
24. 前記区間取得音声分類基準は、分類対象とする前記区間取得音声の発言者の位置に関する情報である位置情報を含むことを特徴とする請求項１６ないし２３に記載の会議システム。
25. 前記区間取得音声分類基準は、分類対象とする前記区間取得音声と類似した前記区間取得音声を、前記会議において取得した回数を含むことを特徴とする請求項１６ないし２４に記載の会議システム。
26. 前記区間取得音声と類似した前記取得音声は、前記区間取得音声に対して音声認識処理を行なうことで抽出した文字情報を構成する単語が類似した音声であることを特徴とする請求項２５に記載の会議システム。
27. 前記検索手段は、前記入力手段で入力された検索キーワードに基づいて生成された検索条件を満たす区間取得音声分類基準に関連づけて、前記記憶部に記憶された区間取得音声を検索し、
    前記出音手段は、前記検索手段の検索した区間取得音声の少なくとも１つ以上を出音することを特徴とする請求項１６ないし２６に記載の会議システム。
28. 前記区間取得音声分類基準は、分類対象とする前記区間取得音声であり、かつ前記検索手段で検索された区間取得音声が前記出音手段から出音された回数である出音回数を含むことを特徴とする請求項２７に記載の会議システム。
29. 前記区間取得音声分類基準は、分類対象とする前記区間取得音声であり、かつ前記検索手段で検索された区間取得音声が前記出音手段から出音された時間長である出音時間長を含むことを特徴とする請求項２７又は２８に記載の会議システム。
30. 前記説明を省略された画像であるか否かを表す情報は、前記取得音声分類基準に含まれる文字情報が「割愛」、又は「省略」と言う語を含むか否かを表す情報であることを特徴とする請求項２６ないし２９に記載の会議システム。
31. 前記区間取得画像分類基準は、分類対象とする前記区間取得画像の画像取得時間区間に含まれる前記音声取得時間区間に関連付けて前記記憶部に記憶した区間取得音声の発言者が交代した回数を含むことを特徴とする請求項２６ないし３０に記載の会議システム。
32. 前記区間取得画像分類基準に含まれる交代した回数は、前記区間取得画像分類基準が分類対象とする前記区間取得画像の画像取得時間区間に含まれる前記音声取得時間区間に関連付けて前記記憶部に記憶した区間取得音声分類基準に含まれる発言者識別情報に基づいて、前記制御手段により算出されることを特徴とする請求項３１に記載の会議システム。
33. 前記区間取得画像分類基準に含まれる交代した回数は、前記区間取得画像分類基準が分類対象とする前記区間取得画像の画像取得時間区間に含まれる前記音声取得時間区間に関連付けて前記記憶部に記憶した区間取得音声分類基準に含まれる前記位置情報に基づいて、前記制御手段により算出されることを特徴とする請求項３１に記載の会議システム。
34. 前記区間取得音声分類基準は、分類対象である前記区間取得音声を前記検索手段が検索するためにソートキーを用いた回数を含み、
    前記ソートキーは、前記ソートキーを用いた回数以外の区間取得音声分類基準であることを特徴とする請求項１６ないし３３に記載の会議システム。
35. 前記入力手段は、前記区間取得音声を説明する情報であるアノテーション情報を入力し、
    前記区間取得音声分類基準は、分類対象である前記区間取得音声を説明するアノテーション情報であって、かつ前記入力手段が入力したアノテーション情報を含むことを特徴とする請求項１６ないし３４に記載の会議システム。
36. 前記アノテーション情報は、文字情報であることを特徴とする請求項３５に記載の会議システム。
37. 会議において取得された音声である取得音声と前記取得音声を取得した時刻である音声取得時刻とを関連付け、前記会議において取得された映像であり、かつ前記会議において投影された画像を撮影した映像である取得映像と前記取得映像を取得した時刻である映像取得時刻とを関連付け、かつ前記取得音声と前記取得映像とを前記音声取得時刻と前記映像取得時刻とに基づいて時刻で関連付けて記憶するよう記憶部を制御する制御手段と、を備える会議システムであって、
    前記制御手段は、前記映像取得時刻で区切られた時間区間である映像取得時間区間と、前記取得映像の内で前記映像取得時間区間において会議で投影された映像である区間取得映像と、前記区間取得映像を分類する基準となる区間取得映像分類基準と、を関連付けて記憶するよう前記記憶部を制御し、
    前記区間取得映像分類基準は、分類対象である前記区間取得映像と類似した前記区間取得映像を、前記会議において取得した回数を含むことを特徴とする会議システム。
38. 会議において取得された音声である取得音声と前記取得音声を取得した時刻である音声取得時刻とを関連付け、前記会議で投影された画像であり、かつ会議で取得された画像である取得画像と前記取得画像を取得した時刻である画像取得時刻とを関連付け、かつ前記取得音声と前記取得画像とを前記音声取得時刻と前記画像取得時刻とに基づいて時刻で関連付けて記憶するよう記憶部を制御する制御ステップと、を備える会議方法であって、
    前記制御ステップは、前記画像取得時刻で区切られた時間区間である画像取得時間区間と、前記取得画像の内で前記画像取得時間区間において会議で投影された画像である区間取得画像と、前記区間取得画像を分類する基準となる区間取得画像分類基準と、を関連付けて記憶するよう前記記憶部を制御し、
    前記区間取得画像分類基準は、前記区間取得画像と類似した前記取得画像の前記会議における投影回数を含むことを特徴とする会議方法。
    

Images