JP2004080750A - ホワイトボードおよび音声のキャプチャのためのシステムおよび方法 - Google Patents

Abstract

【課題】デジタルカメラおよびマイクロホンを使用して会議のホワイトボードの内容と音声信号の両方をキャプチャするシステムを提供する。
【解決手段】本システムは、任意の既存のホワイトボードに後付けすることができる。本システムは、キャプチャされたスナップショットのシーケンスを解析することにより、ホワイトボード上のペンストロークのタイムスタンプを計算する。また、本システムは、各回の消去前のホワイトボード上に書き込まれたすべての内容を代表する１組のキーフレームを自動的に生成することも行う。ホワイトボードの内容は、音声会議を効率的にブラウズするためのビジュアル式インデックスの役割をする。本システムは、ホワイトボードの内容をキャプチャするだけでなく、ユーザが、キャプチャされた会議の内容を効率的かつセキュアに閲覧し、管理するのにも役立つ。
【選択図】　　　　図５

Description

【０００１】
【発明の属する技術分野】
本発明は、会議を記録するためのシステムおよび方法を対象とする。より詳細には、本発明は、会議のホワイトボードの内容と音声をともにキャプチャするためのシステムおよび方法を対象とする。
【０００２】
【従来の技術】
会議は、多くの勤労者の労働時間の大きな部分を成している。会議で費やされる時間をより効率的に使用することにより、生産性が大幅に向上することになる。
【０００３】
多くの会議のシナリオは、ブレーンストーミング（ｂｒａｉｎｓｔｏｒｍｉｎｇ）セッション、講演、プロジェクト計画会議、特許情報公開等のために頻繁にホワイトボードを使用する。ボード上に書かれたものをノートに取り、コピーすることが、しばしば、この会議中の多くの参加者の積極的な貢献および関与の妨げとなる。この結果、何らかの自動化された仕方でホワイトボードの内容をキャプチャしようとするいくつかの試みがなされてきた。
【０００４】
ホワイトボードの内容を自動的にキャプチャするいくつかの技術が開発されている。最早期のものの１つである、ホワイトボード複写機は、組み込まれた複写機を備えた特殊なホワイトボードである。ボタンのクリックで、ホワイトボードの内容が走査され、印刷される。ホワイトボードの内容は、紙に印刷されると、複写する、ファックス送信する、ファイルキャビネットに収納する、または走査してデジタル形式にすることができる。
【０００５】
より新しい技術は、最初からデジタル形式でホワイトボードの内容をキャプチャしようとする。この技術は、２つのカテゴリに入る。すなわち、ホワイトボードのイメージをキャプチャする技術、およびペンの位置を追跡し、その位置からホワイトボードの内容を推測する技術である。
【０００６】
第１のカテゴリのデバイスは、ホワイトボードのイメージを直接にキャプチャする。ナショナルテレビジョンシステムコミティ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　ＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅ）（ＮＴＳＣ）解像度ビデオカメラが、しばしば、廉価であるために使用される。このカメラは、普通、通常の会議室サイズのホワイトボード上に書かれたものを鮮明にキャプチャするのに十分な解像度を有していないため、いくつかの映像フレームを一緒につなぎ合わせて単一のホワイトボードイメージを生成しなければならない。第１のカテゴリの別のデバイスは、デジタルスチールカメラ（ｓｔｉｌｌ　ｃａｍｅｒａ）である。高解像度のデジタルカメラがより安価になるにつれ、ボードのスナップショットをデジタルカメラで撮ることが一般的な選択になっている。
【０００７】
第２のカテゴリのデバイスは、高い頻度でホワイトボード上に書き込むのに使用されるペンの位置を追跡し、ペン座標の履歴からホワイトボードの内容を推測する。ときとして、このデバイスは、従来のホワイトボードの側部に取り付けられた付加デバイスを含み、ドライインク（ｄｒｙ−ｉｎｋ）ペンとイレーザ（ｅｒａｓｅｒ）のための特殊なケースを使用する。それぞれのペンが、ボードに押しつけられると超音波パルスを発する。付加デバイスにおける２つのレシーバが、音声パルスの到着時刻の差を使用してペン座標を三角法で測定する。ペン座標の履歴がキャプチャされるので、任意の所与の時点におけるホワイトボード上の内容を後に再構成することができる。このタイプのホワイトボード記録のユーザは、映画のようにホワイトボードの内容を再生することができる。内容は、ベクトル形式でキャプチャされるため、低帯域幅および小さいストーレッジの要件で伝送し、アーカイブする（ａｒｃｈｉｖｅ）ことができる。
【０００８】
また、電子ホワイトボードは、ペン追跡技術も使用する。電子ホワイトボードは、ホワイトボードを対話型デバイスにすることで、前述した付加デバイスを使用するシステムより一歩前進している。ユーザは、コンピュータによって追跡される特殊なスタイラス（ｓｔｙｌｕｓ）を使用してモニタ上に書き込む。コンピュータが、スタイラスがスクリーンに触れたところであればどこでも、スクリーン上にストローク（ｓｔｒｏｋｅ）を、あたかもインクがスタイラスによって付着させられたかのようにレンダリングする。ストロークは、コンピュータによって生成されたものであるため、編集すること、引き直す（ｒｅ−ｆｌｏｗ）こと、および動画化することが可能である。また、ユーザは、コンピュータにジェスチャコマンドを発行し、同じスクリーン上に他のコンピュータアプリケーションを示すこともできる。
【０００９】
ただし、電子ホワイトボードは、現在、高価であり、サイズが小さい（電子ホワイトボードのサイズが、対角線長で６フィート（１メートル８３センチメートル）を超えることはめったにない）ため、設置ベースがまだ限られている。さらに、ペン追跡デバイスを備えたシステムは、次の欠点を有する。すなわち、１）システムがオンになっていない、またはユーザが、特殊ペンを使用せずに書き込んだ場合、内容をデバイスが回復することができない。２）多くの人々は、ホワイトボード上の小さい誤りを訂正するのに、特殊イレーザではなく、自分の指を使うことを好む。この、よくある行動によりキャプチャされた内容には余分なストロークが現れることになる。３）人々が、特殊なドライインクペンアダプタを使用しなければならず、これにより、一部のデバイスに関して、ペンがより太く、押さえづらくなる。４）ペン追跡の不正確さにより、ときとして、隣接したペンストロークの位置ずれ（ｍｉｓ−ｒｅｇｉｓｔｒａｔｉｏｎ）が生じる。
【００１０】
ホワイトボードキャプチャ方法に関して前述した努力の他に、特に講演および会議に関して、マルチメディア体験のキャプチャ、統合、およびアクセスに関して大量の研究がなされている。手書きのノート、ホワイトボードの内容、スライド、または手書きの注釈を使用して、容易なアクセスのために記録された映像および音声にインデックスを付ける技術およびシステムが開発されている。
【００１１】
例えば、Ｃｌａｓｓｒｏｏｍ２０００プロジェクトと呼ばれるプロジェクトで、Ａｂｏｗｄ他が、電子ホワイトボードを使用してインクストロークにタイムスタンプを付けて、見る人（学生）が、そのインクストロークを記録されている映像および音声に対するインデックスとして使用することができるようにしている。キーフレーム（ページと呼ばれる）が、電子ホワイトボードによって提供された消去イベントに基づいて計算されている。ただし、Ｃｌａｓｓｒｏｏｍ２０００プロジェクトは、電子ホワイトボードを必要とした。電子ホワイトボードを使用すると、エンドユーザの視点から多くの欠点が存在する。第１に、ほとんどのオフィスおよび会議室には、電子ホワイトボードが設置されていない。第２に、人々は、電子ホワイトボードより、通常のホワイトボードを使用する方がはるかに自然であると感じることが示されている。第３に、カメラを使用してキャプチャされたイメージの方が、誰が書込みを行い、どのトピックが議論されていたか（通常、手による指し示しにより）などの、はるかに多くのコンテキスト情報を提供する。以上の欠点に加え、電子ホワイトボードは、高価である可能性があり、したがって、容易に入手することができない。
【００１２】
【発明が解決しようとする課題】
本発明は、ホワイトボードの内容および関連する音声をキャプチャするためのシステムにおける前述した限界を克服するシステムおよびプロセスを対象とする。
【００１３】
【課題を解決するための手段】
本ホワイトボードキャプチャシステムは、キャプチャされたイメージに対して解析を行うことによってペンストロークのタイムスタンプ、およびキーフレームを計算することで、ホワイトボードのイメージを直接にキャプチャする前述したシステムとは区別される。キーフレームイメージは、ホワイトボード上の重要な内容のすべてを含み、記録の要約の役割をする。キーフレームイメージは、他のドキュメントにカットアンドペースト（ｃｕｔ　ａｎｄ　ｐａｓｔｅ）すること、またはメモとして印刷することができる。タイムスタンプおよびキーフレームは、記録された音声に対する効果的なインデックスである。さらに、本ホワイトボードキャプチャシステムの発明は、一部の他のホワイトボードキャプチャシステムのように電子ホワイトボードではなく、通常のホワイトボードを使用する。したがって、このシステムは、変更することなしに任意の既存のホワイトボードで使用することができる。
【００１４】
本ホワイトボードキャプチャシステムは、非電子式のワイトボード上に書き込まれた内容のイメージのシーケンスをカメラを使用してキャプチャする。本ホワイトボードキャプチャシステムは、会議の音声信号を同時に記録する。記録が完了すると、イメージシーケンスが解析されて、ホワイトボード上に書き込まれた内容の重要なポイントを要約するキーフレームが分離される。音声記録は、記録された音声とイメージシーケンスの両方に関連付けられたタイムスタンプでキーフレーム上でペンストロークに相関させられる。このタイムスタンプは、イメージ解析を介して計算される。
【００１５】
キーフレームを獲得するための一般的な解析プロセスには、イメージのシーケンスの中のすべてのイメージの中でホワイトボードビューを修正することが関与する。また、ホワイトボード背景色も抽出され、イメージのシーケンスの各イメージが、セルに分割される。時間を経て同一であるセルイメージが、後により詳細に説明するとおり、一緒にクラスタ化される。次に、各セルイメージが、ストローク、前景オブジェクト、またはホワイトボードセルとして分類される。次に、この分類結果を使用してキーフレームイメージが抽出される。セルイメージは、キーフレーム抽出に先立って空間的および時間的にフィルタにかけて分類結果を精密にすることができる。さらに、キーフレームイメージは、抽出されると、カラーバランス処理（ｃｏｌｏｒ　ｂａｌａｎｃｅ）を行ってイメージ品質を向上させることができる。
【００１６】
より具体的には、ホワイトボードビューを修正することには、各イメージのホワイトボードでない領域をトリミングすることが関与する。次に、各イメージの中でホワイトボードの４つの隅が指定される。各イメージに関して、バイキュービック（ｂｉ−ｃｕｂｉｃ）補間を使用してバイリニアワープ（ｂｉ−ｌｉｎｅａｒ　ｗａｒｐ）を行って、それぞれのキャプチャされたイメージの中でトリミングされ、修正されたホワイトボードイメージを獲得する。
【００１７】
ホワイトボード背景色を抽出するために２つの方法を使用することができる。第１の方法は、最も明るい輝度および最も小さい変動を有するホワイトボードセルを判定することに関する。最も明るい輝度および最も小さい変動を有する色をホワイトボード背景色として指定する。このようにして、ホワイトボード背景色が決定されると、ホワイトボードの色におけるどんなホール（ｈｏｌｅｓ）も見出され、各ホールの周囲のホワイトボードセルを探索することによって埋められる。次に、各ホールの色は、ホールでない最も近接したセルの色に設定される。
【００１８】
ホワイトボード背景色を抽出するための第２の方法は、ホワイトボードイメージ輝度のヒストグラムを作成して、ピークのホワイトボード輝度を判定することに関する。ピークの輝度に対応する色が、初期のホワイトボードの色として指定される。次に、あらゆるホワイトボードの色の外れ値（誤ったデータ）が、最小２乗平均法を使用して判定される。この外れ値（ｏｕｔｌｉｅｒｓ）は、ホールとしてマークが付けられ、前述したホワイトボードの色を決定する第１の方法と同じやり方で埋められる。各ホールを埋めた後、ホワイトボードのカラーイメージをフィルタリングすることができる。
【００１９】
入力シーケンスの中の各イメージをセルに分割するプロセスにより、解析処理速度が向上する。通常、各イメージは、セルサイズが、ボード上の単一の文字とほぼ同じサイズになるようにセルに分割される。これは、縦１．５インチ（３．８センチメートル）、横１．５インチ（３．８センチメートル）、または通常の会議サイズのホワイトボードの場合、縦２５画素、横２５画素に等しい。ただし、別法では、すべての解析を画素ごとに行うことができる。
【００２０】
入力イメージのシーケンスが修正され、ホワイトボードの色が決定された後、セルイメージがクラスタ化される。時間を経て同一であると見なされるセルイメージが、グループに一緒にクラスタ化される。正規化された相互相関法およびマハラノビス（Ｍａｈａｌａｎｏｂｉｓ）距離試験を使用して、２つのセルが同一であるかどうかを判定する。
【００２１】
セル分類プロセスにより、セルイメージが、ホワイトボードセルであるか、ストロークであるか、または前景オブジェクトであるかが判定される。セルイメージは、レッド、グリーン、ブルー（ＲＧＢ）の値がほぼ同一である場合、ホワイトボードセルとして指定される。あるいは、セルイメージは、そのセルが大体において白またはグレーであり、１つまたは２つの原色が混じっている場合、ストロークセルとして指定される。そうでない場合、セルイメージは、前景セルとして指定される。セル分類プロセスにより、現行のセルイメージの色分布、および対応するホワイトボードセルの色分布が判定される。次に、セルは、現行のセルイメージおよび対応するホワイトボードセルの色分布が同一であるか、同一ではないが、強い類似性を有しているか、または全く異なっているかに基づいて分類される。
【００２２】
前述した分類手続きは、単一のセル内の色情報を使用するだけである。セルグループ間の空間的関係および時間的関係を利用することによってより正確な結果を得ることができる。空間的にフィルタをかける際、すべてのホワイトボードイメージに対して２つの動作を行うことができる。第１に、孤立した前景セルを識別し、ストロークとして分類しなおす。第２に、いくつかの前景セルに直結しているストロークセルを前景セルとして分類しなおす。時間的にフィルタをかけることに関して、基本的な知見は、ストロークが消去された後、まったく同一の位置に同じストロークを書き込むのは、実質的に不可能であるということである。言い換えれば、任意の所与のセルに関して、２つの異なるフレームのセルイメージが、同一のストロークを有する場合、その２つのフレームの間のすべてのセルイメージは、そのセルを遮る前景オブジェクトが存在しない限り、同一のストロークを有するはずである。時間的にフィルタをかけるステップで、このセルは、前景オブジェクトがこのセルを遮った前後にカメラに晒されている限り、ストロークとして分類される。
【００２３】
次に、キーフレームを抽出することができる。この目的で、イメージのシーケンスの中の各イメージまたは各フレームに関して、分類結果が使用され、ストロークセルが計数される。ストロークカウントのピーク（ｐｅａｋ）とくぼみ（ｖａｌｌｅｙ）が判定される。ストロークカウントのそれぞれ隣接するピークとくぼみの間の差が、規定されたしきい値を超えた場合、くぼみとくぼみの間のデータが、区分（ｃｈａｐｔｅｒ）（各区分は、異なるトピックを意味する）として指定され、また各区分の中のピークが、その区分を代表するキーフレームとして指定される。
【００２４】
次に、キーフレームイメージが再構成される。これには、分類されたセルイメージ、およびセルイメージに分割されたキーフレームを入力することが関与する。キーフレームのセルイメージが、ホワイトボードイメージまたはストロークイメージとして分類される場合、キーフレームのイメージは、それぞれ、ホワイトボードイメージまたはストロークイメージとしてレンダリングされる。あるいは、キーフレームの前景セルイメージが、ストロークの範囲内にある場合、そのセルイメージは、シーケンスの中の隣接するイメージからのストロークのセルイメージとともにレンダリングされる。キーフレームのセルイメージは、ホワイトボードイメージ、ストロークイメージ、またはストロークの範囲内の前景セルとして分類されない場合、ホワイトボードイメージとしてレンダリングされる。
【００２５】
次に、カラーバランス処理を使用して、平均のホワイトボードの色を使用してセル内の各画素の色を調整する（ｓｃａｌｅ）ことによって背景を一様に白くし、ペンストロークの色の彩度を高めることによってキーフレームのイメージ品質を向上させる。また、イメージノイズも低減される。
【００２６】
アナリシスサーバが、イメージシーケンスを処理し、インデックスおよびキーフレームイメージを生成した後、処理済みの記録のユニフォームリソースロケータ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）（ＵＲＬ）（Ｗｅｂサイトまたはその他のインターネットサービスの「アドレス」またはロケーション）を伴う電子メールを登録されたセッション参加者に送信する。ユーザは、そのＵＲＬをクリックして、ブラウズソフトウェアを立ち上げることができる。ブラウザにより、ユーザは、キーフレームイメージを閲覧し、特定のトピックに関連する音声に迅速にアクセスすることが可能になる。
【００２７】
ブラウズソフトウェアのユーザインターフェース（ＵＩ）は、様々な構成要素を有する。ブラウザＵＩの主要な要素には、キーフレームサムネールが表示されるキーフレームペイン（ｐａｎｅ）、並びにカメラからの生のイメージと現行のキーフレームイメージの合成を示すブラウザのメイン表示ペインが含まれる。
【００２８】
また、キーフレームペインには、ユーザが、メイン表示ペイン内に表示されたイメージを調整して生の入力イメージからキーフレームイメージにすることを可能にする背景透明スライダ（ｔｒａｎｓｐａｒｅｎｃｙ　ｓｌｉｄｅｒ）も組み込まれている。会議再生タイムラインにおいて既に書き込まれているストロークである現行のペンストロークが、将来のストロークよりも濃く、より明確にレンダリングされる。参加者が将来に書き込むことになるペンストロークは、ゴースト（ｇｈｏｓｔ）のようなスタイルで示される。この映像化の技法は、次のプロセスを使用して実現される。現行のホワイトボードの内容が、現行の区分のキーフレームイメージ、およびタイムスタンプ情報を使用してレンダリングされる。次に、将来のストロークが、ガウスフィルタを使用してグレースケールに変換され、ぼかされてレンダリングされる。次に、以上の２つのイメージが合わせられ、もたらされたイメージが、入力シーケンスからの修正されたイメージにアルファブレンド（ａｌｐｈａ−ｂｌｅｎｄ）される。ユーザは、レンダリングされたキーフレームホワイトボードイメージだけを示す０から、元のイメージそのものを示す１まで、ＧＵＩスライダを使用してアルファ値を制御することができる。
【００２９】
ＶＣＲ−標準タイムラインコントロールが、メイン表示ペインの下でブラウザＵＩの左下隅に提供される。ＶＣＲ−標準タイムラインコントロールにより、ユーザは、通常のビデオカセットレコーダ（ＶＣＲ）上に見られるコントロールと同じように、イメージ／音声シーケンスをゆっくりと、または迅速に戻すこと、または先に進めること、または停止させることが可能になる。タイムラインバーが、音声／イメージシーケンスの長さをバーとしてグラフィックスで表示し、会議再生の開始時刻、終了時刻、および現在時刻の数値を提供する。このバーの上のポインタを選択し、タイムラインバーに沿って前後にドラッグして、イメージ／音声シーケンスを直線的に先に進めること、および戻すことができる。
【００３０】
記録された音声に対する２つのレベルの非線形アクセスが、ビジュアル式インデックス付け（ｖｉｓｕａｌ　ｉｎｄｅｘｉｎｇ）のコンテキストで提供される。第１のレベルの非線形アクセスは、キーフレームサムネールの使用を介する。ユーザは、キーフレームサムネールをクリックして、対応するキーフレームに関する音声の開始ポイント（例えば、区分の先頭）にジャンプすることができる。各キーフレームには、その特定のキーフレームに関連する時間範囲を判定する際にユーザを助ける時間範囲が関連付けられている。記録された音声に対する第２のレベルの非線形アクセスは、各キーフレーム内のペンストロークの使用を介する。カーソルが、メインウインドウの中でペンストロークセル（現在のストロークセルまたは将来のストロークセル）の上を行き来（ｈｏｖｅｒ）しているとき、そのカーソルが、そのセルが選択可能（例えば、マウスで「クリック可能」）であることを示す「手」の記号に変化する。マウス、またはその他の入力デバイスでセルをダブルクリックすることにより、アプリケーションが、音声再生モードにされる。再生は、クリックされたストロークセルが書き込まれたセッションの時点から開始する。ユーザは、それでも、他のストロークセルをクリックしてセッションの他の部分にジャンプすることができる。ＶＣＲ−標準タイムラインコントロール１５１４と併せて、以上の２つのレベルのビジュアル式インデックス付けにより、ユーザは、非常に効率的な仕方で会議をブラウズすることが可能になる。
【００３１】
前述したとおり、キーフレームイメージのサムネールは、キーフレームペインの中にリストされる。サムネールの１つを選択することにより、対応するキーフレームイメージが、左側でメインウインドウにもたらされ、アプリケーションが、イメージビューイングモードにされ、このモードで、ユーザが、ズーム制御ボタンを使用してズームインおよびズームアウトを行うこと、イメージの中のテキストおよび図を読むこと、またはイメージの一部分を他のドキュメントにカットアンドペーストすることができる。さらに、キーフレーム全体を他のドキュメントにカットアンドペーストすること、またはメモとして印刷することができる。
【００３２】
本ホワイトボードキャプチャシステムでは、会議参加者が、会議記録の始めにキャプチャソフトウェアに登録するように求められる。すべての記録されたセッションが、Ｗｅｂサーバ上に常駐する。誰も登録しなかった場合、会議は、公衆アクセス可能なＷｅｂページに掲示される。少なくとも１名の参加者が登録した場合、会議の記録および解析の後、アクセストークンが生成される。トークンは、固有の会議識別子を含む長いランダムに生成されたストリングである。そのトークンを含むＵＲＬが、登録された参加者に電子メールで送信される。受け手は、そのＵＲＬに行ってＷｅｂブラウズソフトウェアを立ち上げて会議を綿密に見る（ｒｅｖｉｅｗ）。受け手は、その会議に出席しなかった人々にそのＵＲＬを転送することもできる。
【００３３】
前述した基本的なホワイトボードキャプチャシステムを多くの他の技術およびデバイスと組み合わせて代替の実施形態を提供することも可能である。１つのそのような実施形態では、キーフレームに対して従来の光学式文字認識（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ）（ＯＣＲ）が行われて、ドキュメントまたはプレゼンテーションビューグラフ（ｖｉｅｗｇｒａｐｈ）を作成するのに簡単に使用される編集可能なテキストが提供される。
【００３４】
別の実施形態では、従来の音声認識ソフトウェアを使用してキャプチャされたデータの音声部分がテキストに変換される。これにより、会議の議事録およびその他のドキュメントを容易に作成することが可能になる。また、会議情報を聴覚障害者に提供する比較的安価な手立ても提供される。
【００３５】
また、本ホワイトボードキャプチャシステムは、例えば、三脚の上に装着されたマイクロホンおよびカメラを備えたノートコンピュータを使用してポータブルにすることも可能である。この構成は、ホワイトボードに対するカメラの位置を決める追加の初期較正だけを必要とする。この較正は、イメージの中のパネルの４つの隅を手作業で決めることによって手作業で、またはエッジ検出などの方法を使用することによって自動的に行うことが可能である。
【００３６】
また、ホワイトボードの内容を推測するのにペン追跡を使用するホワイトボードキャプチャシステムとともに本ホワイトボードキャプチャシステムの解析ソフトウェアを使用して、キーフレームを決定することも可能である。そのようなシステムとともに本ホワイトボードキャプチャシステムの解析ソフトウェアを使用することにより、解析プロセスが単純化される。ホワイトボード背景色の決定、またはホワイトボード領域修正の必要性はなく、空間的にフィルタをかけること、および時間的にフィルタをかけることも必要なく、またセルイメージがストロークまたはホワイトボードであるため、ホワイトボードセルの分類がより簡単である。というのは、ホワイトボード上に書き込まれたテキストを妨げる前景イメージが存在しないからである。
【００３７】
さらに、より高いフレームレートを実現するため、スチールカメラの代わりに、ＨＤＴＶカメラなどの高解像度のビデオカメラを使用することができる。
【００３８】
さらに別の実施形態では、本ホワイトボードキャプチャシステムは、ジェスチャ認識を組み込んでジェスチャコマンドを使用する。例えば、ホワイトボード上のどこかにコマンドボックスが書き込まれていることが可能である。ユーザが動いたとき、またはボックスを指し示したとき、システムは、ジェスチャ認識を使用してそのジェスチャが行われた特定の時刻におけるイメージにタイムスタンプを付ける。
【００３９】
本ホワイトボードキャプチャシステムにより、会議参加者は、日常的なノートをとる作業を免れ、会議中に意見を出すこと、および意見を吸収することに集中できるようになる。ホワイトボードの内容を要約するキーフレームイメージ、および音声に対する構造化されたビジュアル式インデックス付けを提供することにより、システムは、参加者が、後の時点で会議を綿密に見ることを助ける。さらに、会議に出席しなかった人々が、しばしば、瞬時に会議の要点を理解することができる。
【００４０】
本発明の具体的な特徴、態様、および利点は、以下の説明、頭記の特許請求の範囲、および添付の図面に関連してよりよく理解される。
【００４１】
【発明の実施の形態】
本発明の好ましい実施形態の以下の説明では、説明の一部を成す添付の図面を参照する。図面では、例として、本発明を実施することができる特定の実施形態を示している。本発明の範囲を逸脱することなく、他の実施形態を利用することができ、また構造上の変更を加えることができることを理解されたい。
【００４２】
１．０　例示的な動作環境
図１は、本発明を実施することができる適切なコンピューティングシステム環境１００の例を示している。コンピューティングシステム環境１００は、適切なコンピューティング環境の一例に過ぎず、本発明の使用または機能の範囲に対する何らかの限定を示唆するものではない。また、コンピューティング環境１００は、例示的な動作環境１００に示した構成要素のいずれか１つ、またはいずれかの組合せに関連する依存性または要件を有するものと解釈してはならない。
【００４３】
本発明は、多数の他の汎用または特殊目的のコンピューティングシステム環境またはコンピューティングシステム構成で機能する。本発明で使用するのに適していることが可能な周知のコンピューティングシステム、コンピューティング環境、および／またはコンピューティング構成の例には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、前述したシステムまたはデバイスの任意のものを含む分散コンピューティング環境等が含まれるが、以上には限定されない。
【００４４】
本発明は、コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的なコンテキストで説明することができる。一般に、プログラムモジュールには、特定のタスクを行う、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等が含まれる。また、本発明は、通信網を介してリンクされた遠隔の処理デバイスによってタスクが行われる分散コンピューティング環境において実施することもできる。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含むローカルのコンピュータ記憶媒体と遠隔のコンピュータ記憶媒体の両方の中に配置されることが可能である。
【００４５】
図１を参照すると、本発明を実施するための例示的なシステムが、コンピュータ１１０の形態で汎用コンピューティングデバイスを含んでいる。コンピュータ１１０の構成要素には、処理ユニット１２０、システムメモリ１３０、並びにシステムメモリから処理ユニット１２０までを含む様々なシステム構成要素を結合するシステムバス１２１が含まれることが可能であるが、以上には限定されない。システムバス１２１は、様々なバスアーキテクチャの任意のものを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造の任意のものであることが可能である。例として、限定としてではなく、そのようなアーキテクチャには、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ　Ｓｔａｎｄａｒｄ　Ａｒｃｈｉｔｅｃｔｕｒｅ）（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ　Ｃｈａｎｎｅｌ　Ａｒｃｈｉｔｅｃｔｕｒｅ）（ＭＣＡ）バス、エンハンストＩＳＡ（Ｅｎｈａｎｃｅｄ　ＩＳＡ）（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｓｔａｎｄａｒｄｓ　Ａｓｓｏｃｉａｔｉｏｎ）（ＶＥＳＡ）ローカルバス、およびメザニン（Ｍｅｚｚａｎｉｎｅ）バスとしても知られるペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ）（ＰＣＩ）バスが含まれることが可能である。
【００４６】
コンピュータ１１０は、通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０によってアクセス可能な任意の利用可能な媒体であることが可能であり、揮発性の媒体と不揮発性の媒体、取外し可能な媒体と取外し不可能な媒体がともに含まれる。例として、限定としてではなく、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことが可能である。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータなどの情報を記憶するための任意の方法または任意の技術で実装される揮発性の媒体および不揮発性の媒体、取外し可能な媒体および取外し不可能な媒体がともに含まれる。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）または他の光ディスクストーレッジ、磁気カセット、磁気テープ、磁気ディスクストーレッジまたは他の磁気記憶デバイス、あるいは所望の情報を記憶するのに使用することができ、コンピュータ１１０がアクセスすることができる任意の他の媒体が含まれるが、以上には限定されない。通信媒体は、通常、搬送波などの変調されたデータ信号、または他のトランスポート機構でコンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを実体化し、あらゆる情報配信媒体が含まれる。「変調されたデータ信号」という用語は、信号に情報を符号化するような仕方で特徴の１つまたは複数が設定または変更されている信号を意味する。例として、限定としてではなく、通信媒体には、有線ネットワークまたは直接配線接続などの有線媒体、並びに音響媒体、ＲＦ媒体、赤外線媒体、およびその他の無線媒体などの無線媒体が含まれる。また、前述したもののいずれかの組合せも、コンピュータ可読媒体の範囲に含まれるべきものである。
【００４７】
システムメモリ１３０は、読取り専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２などの揮発性メモリおよび／または不揮発性メモリの形態でコンピュータ記憶媒体を含む。始動中など、コンピュータ１１０内部の要素間で情報を転送するのを助ける基本ルーチンを含む基本入力／出力システム１３３（ＢＩＯＳ）が、通常、ＲＯＭ１３１の中に記憶されている。ＲＡＭ１３２は、通常、処理ユニット１２０によって即時にアクセス可能であり、かつ／または現在、処理されているデータおよび／またはプログラムモジュールを含む。例として、限定としてではなく、図１は、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７を示している。
【００４８】
また、コンピュータ１１０は、他の取外し可能な／取外し不可能な、揮発性／不揮発性のコンピュータ記憶媒体を含むことも可能である。単に例として、図１は、取外し不可能な不揮発性の磁気媒体に対して読取りおよび書込みを行うハードディスクドライブ１４１、取外し可能な不揮発性の磁気ディスク１５２に対して読取りおよび書込みを行う磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭまたは他の光媒体などの取外し可能な不揮発性の光ディスク１５６に対して読取りおよび書込みを行う光ディスクドライブ１５５を示している。例示的な動作環境において使用することができる他の取外し可能な／取外し不可能な揮発性／不揮発性のコンピュータ記憶媒体には、磁気テープカセット、フラッシュメモリカード、デジタルバーサタイルディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭ等が含まれるが、以上には限定されない。ハードディスクドライブ１４１は、通常、インターフェース１４０のような取外し不可能なメモリインターフェースを介してシステムバス１２１に接続され、また磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常、インターフェース１５０のような取外し可能なメモリインターフェースでシステムバス１２１に接続される。
【００４９】
前述し、図１に示すドライバおよび関連するコンピュータ記憶媒体により、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータのストーレッジがコンピュータ１１０に提供される。図１では、例えば、ハードディスクドライブ１４１が、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を記憶しているものとして示されている。以上の構成要素は、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同じであることも、異なることも可能であることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７に、ここでは、少なくともそれらが異なるコピーであることを示すために異なる符号を付けている。ユーザは、キーボード１６２、および一般にマウス、トラックボール、またはタッチパッドと呼ばれるポインティングデバイス１６１などの入力デバイスを介してコンピュータ１１０にコマンドおよび情報を入力することができる。他の入力デバイス（図示せず）には、マイクロホン、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナ等が含まれる可能性がある。以上の入力デバイスおよび他の入力デバイスは、しばしば、システムバス１２１に結合されたユーザ入力インターフェース１６０を介して処理ユニット１２０に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）（ＵＳＢ）などの他のインターフェースおよびバス構造で接続してもよい。また、モニタ１９１または他のタイプの表示デバイスも、ビデオインターフェース１９０などのインターフェースを介してシステムバス１２１に接続される。モニタに加えて、コンピュータは、出力周辺インターフェース１９５を介して接続することができるスピーカ１９７やプリンタ１９６などの他の周辺出力デバイスも含むことが可能である。本発明に特に重要なこととして、一続きのイメージ１６４をキャプチャすることができるカメラ１６３（デジタル／電子式のスチールカメラまたはビデオカメラ、またはフィルム／写真スキャナ）も、パーソナルコンピュータ１１０に対する入力デバイスとして含まれることが可能である。さらに、１つのカメラだけを描いているが、複数のカメラが、パーソナルコンピュータ１１０に対する入力デバイスとして含まれることも可能である。１つまたは複数のカメラからのイメージ１６４が、適切なカメラインターフェース１６５を介してコンピュータ１１０に入力される。このインターフェース１６５は、システムバス１２１に接続され、これにより、イメージをＲＡＭ１３２、またはコンピュータ１１０に関連する他のデータ記憶デバイスの１つにルーチングして、その中に記憶することができるようになる。ただし、イメージデータは、カメラ１６３の使用を必要とすることなしに、前述したコンピュータ可読媒体の任意のものからもコンピュータ１１０に入力することができることに留意されたい。
【００５０】
コンピュータ１１０は、リモートコンピュータ１８０のような１つまたは複数のリモートコンピュータに対する論理接続を使用するネットワーク化された環境で動作することも可能である。リモートコンピュータ１８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードであることが可能であり、通常、コンピュータ１１０に関連して前述した要素の多く、またはすべてを含むが、メモリ記憶デバイス１８１だけを図１に示している。図１に描いた論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１およびワイドエリアネットワーク（ＷＡＮ）１７３を含むが、他のネットワークを含むことも可能である。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的である。
【００５１】
ＬＡＮネットワーキング環境で使用されるとき、コンピュータ１１０は、ネットワークインターフェースまたはネットワークアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用されるとき、コンピュータ１１０は、通常、インターネットなどのＷＡＮ１７３を介して通信を確立するためのモデム１７２、または他の手段を含む。内部にあることも、外部にあることも可能なモデム１７２は、ユーザ入力インターフェース１６０または他の適切な機構を介してシステムバス１２１に接続することが可能である。ネットワーク化された環境では、コンピュータ１１０に関連して描いたプログラムモジュール、またはプログラムモジュールの部分を遠隔のメモリ記憶デバイスの中に記憶することができる。例として、限定としてではなく、図１は、リモートアプリケーションプログラム１８５をメモリデバイス１８１上に常駐するものとして示している。図示したネットワーク接続は、例示的なものであり、コンピュータ間で通信リンクを確立する他の手段を使用してもよいことが認められよう。
【００５２】
以上、例示的な動作環境について述べたので、この説明のセクションの以下の部分は、本発明を実現するプログラムモジュールの説明に向けられる。
【００５３】
２．０　ホワイトボードキャプチャのシステムおよび方法
２．１　システムアーキテクチャ
概念上、本ホワイトボードキャプチャシステムは、図２に示すとおり、３つの主要な構成要素、すなわち、キャプチャユニット２０２、解析／処理サーバ２０４、およびブラウズソフトウェア２０６から成る。
【００５４】
１．キャプチャユニット：キャプチャユニットは、ホワイトボードの内容のイメージをキャプチャし、ホワイトボードの内容の生成に関連する音声を記録するのに使用される。キャプチャユニットは、会議が行われる部屋の中に設置される。図３に示すとおり、キャプチャユニットは、デジタルカメラ３０２、マイクロホン３０４、およびパーソナルコンピュータ（ＰＣ）３０６を含む。キャプチャユニットは、ホワイトボード３０８のイメージを取り込み、ＰＣ３０６に記憶される音声をマイクロホン３０４を介して記録する。取り込まれたイメージと音声の両方にタイムスタンプが付けられる。イメージおよび音声サンプルは、通常、システムクロックである共通クロックで獲得される。その共通クロックのタイミングが、イメージおよび音声サンプルに関連付けられ、イメージおよび音声サンプルのタイムスタンプとして記憶される。
【００５５】
２．アナリシスサーバ：アナリシスサーバ２０４は、中心的な場所に配置され、記録されたイメージデータを解析して記憶する。一実施形態では、ユーザが、キャプチャユニットにおける記録を停止した後、解析プログラムが自動的に立ち上げられる。記録されたデータを処理した後、会議記録が用意されているＵＲＬを含む電子メールが、登録済みの参加者に送信される。登録済みのユーザが存在しない場合、会議記録は、公衆アクセス可能なＷｅｂサイトに掲示されることが可能である。
【００５６】
３．ブラウズソフトウェア：ブラウズソフトウェア２０６により、ユーザは、記録され、解析された会議データを閲覧すること、および再生することができるようになる。ブラウズソフトウェア２０６は、好ましくは、会議記録を閲覧することを望むユーザによってインストールされるＷｅｂプラグインとして提供される。インストールされると、ユーザは、前述したＵＲＬをクリックしてそのソフトウェアを立ち上げてアナリシスサーバ上のデータにアクセスすることができる。
【００５７】
２．２　イメージ獲得
本ホワイトボードキャプチャシステムへの入力は、１組の静止デジタルイメージである。図４は、例示的な１組のそのようなイメージを示している。このイメージシーケンスを解析して、ユーザがボード上でいつどこに書込みを行ったかを判別し、セッション全体のホワイトボードの内容を要約する１組のキーフレームイメージを取り出す。
【００５８】
コンピュータによるカメラ制御を可能にする任意の比較的高解像度のカメラをイメージ獲得のために使用することができる。カメラは、好ましくは、会議室の側方または後方に設置される。カメラは、可能な限りホワイトボードに近接してズームインして有効解像度を最大化する。カメラは、設置後、固定であり、ホワイトボードは動かないことが想定され、したがって、ホワイトボードイメージは、キャプチャされたシーケンス全体で静止したものである。
【００５９】
使用されるカメラが自動焦点モードだけしか有さない場合、ホワイトボードの手前の被写体が、カメラの自動焦点機構の注意を引き起こしたとき、ホワイトボードに焦点が合わなくなる可能性がある。この問題は、カメラのイメージ平面を可能な限りホワイトボードに平行に揃えてシーン深度（ｓｃｅｎｅ　ｄｅｐｔｈ）を最小化し、かつ／または絞りを最小化して被写界深度を大きくすることによって緩和することができる。実際には、本ホワイトボードキャプチャシステムの実用の実施形態では、１〜２％のフレームだけで、焦点が合っていないことが見られた。
【００６０】
カメラは、できる限り迅速に写真を撮影し、そのイメージを、好ましくはＵＳＢ接続を介して、ＰＣに転送する。本ホワイトボードキャプチャシステムの実用の実施形態では、およそ５秒毎に１つのＪＰＥＧイメージが獲得された。露出およびホワイトバランス（ｗｈｉｔｅ−ｂａｌａｎｃｅ）パラメータは、通常、一定に保たれる。照明セッティングが１つのセッション中に変化しないと想定すると、ホワイトボード背景色は、シーケンスの中で一定に留まるはずである。
【００６１】
わずかに露出不足のイメージの方が、より良好な色の彩度をもたらし、これにより、以下に述べるストローク抽出プロセスがより正確になる。カラーバランス処理のステップを記録の後に行って、グレーがかったホワイトボードイメージをより見栄えのよいものにすることができる。
【００６２】
２．３　イメージシーケンス解析
ボードに書込みをしている人物は、デジタルカメラとホワイトボードの間の照準線上にいるので、しばしば、ホワイトボードのある部分を覆い隠し、別の部分に影を落とす。ストロークから、前景オブジェクト（例えば、ボード上に書込みをしている人物）およびホワイトボードを区別することが必要である。分類結果が分かると、キーフレームイメージおよびインデックスをブラウズソフトウェアが使用することができる。
【００６３】
画素ごとのレベルでイメージを解析するのではなく（それを行うことは可能であるが）、ホワイトボード領域を長方形のセルに分割して計算コストを下げる。セルサイズは、ボード上の単一の文字の予期されるサイズ（実用の実施形態では、縦１．５インチ（３．８センチメートル）、横１．５インチ（３．８センチメートル）、または縦２５画素、横２５画素）とほぼ同じになるように選択する。セル格子により、入力シーケンスの中の各フレームがセルイメージに分割されるので、入力は、セルイメージの３次元マトリックス（例えば、ｘ、ｙ、時間）として考えることができる。各イメージをセルに分割することは、通常、入力イメージが修正された後に行われる。
【００６４】
図５および以下に示すとおり、入力イメージシーケンスを解析する手続きの一般的なプロセスステップは、以下のとおりである。
１．シーケンスの中のすべてのイメージのホワイトボード領域を修正する（プロセスステップ５０２）
２．ホワイトボード背景色を抽出する（プロセスステップ５０４）
３．シーケンスの中のすべてのイメージを対応するセルイメージ（プロセスステップ５０６）に分割した後、同じセルに関してシーケンス全体のセルイメージをクラスタ化する。２つのセルイメージが時間を経て同じであると考えられる場合は、２つのセルイメージは同じグループにクラスタ化される
４．各セルイメージをストローク、前景オブジェクト、またはホワイトボードとして分類する（プロセスステップ５０８）
５．セルイメージを空間的にも、時間的にもフィルタにかけて分類結果を精密にする（プロセスステップ５１０）
６．分類結果を使用してキーフレームイメージを抽出する（プロセスステップ５１２）
７．キーフレームイメージのカラーバランス処理を行う（プロセスステップ５１４）
【００６５】
以下の段落では、図４に示した実用例を使用して入力イメージシーケンス解析手続きを例示する。
【００６６】
２．３．１　ホワイトボードイメージを修正すること
イメージシーケンスをストローク抽出プロセスに送り込む前に、ホワイトボードでない領域をトリミングして、イメージを修正する。実用の実施形態で使用されるカメラのレンズの径方向の歪みは相当に小さいので、ホワイトボードの４つの隅を特定するだけでよい（歪みが小さくない場合、イメージを修正することに先立って、従来の方法で径方向の歪みを補正する必要がある可能性がある）。これは、１回限りの較正ステップ中にキャプチャされたイメージの中でホワイトボードの４つの隅の位置をクリックすることにより、手作業で行われるが、自動的に（例えば、エッジ検出を使用することにより）行うことも可能である。その４つの隅で、バイキュービック補間を使用して各イメージに関して簡単な従来のバイリニアワープを行い、それぞれのキャプチャされたイメージの中でトリミングされ、修正されたビューを獲得する。
【００６７】
２．３．２　ホワイトボードの色を計算すること
セルの分類のため、各セルに関してホワイトボードの色がどのようなものであるか（つまり、何も書き込まれていないホワイトボード自体の色）を知ることが必要である。また、ホワイトボードの色は、キーフレームを生成する際のホワイトバランス処理のためにも使用され、したがって、正確に推定してキーフレームイメージの高い品質を確実にしなければならない。
【００６８】
ホワイトボードの色を計算するために２つの戦略が使用されてきた。図６Ａに概略を述べた第１の戦略は、ホワイトボードセルが、時間の経過で見ると最も明るい輝度を有し、小さい変動（すなわち、各セル内でほとんど一様である）という前提に基づいている。この前提は、ストロークの色（レッド、グリーン、ブルー、または黒）が輝度を低下させるので、妥当である。プロセスステップ６０２に示したとおり、最も明るい輝度および最も小さい変動（ｖａｒｉａｎｃｅ）を有するホワイトボードセルが計算される。ただし、これにより、最終のホワイトボードのカラーイメージにホールを生じさせる可能性がある。例えば、セルが、ストロークを含むか、またはシーケンス全体で前景オブジェクトによって遮られている場合、このセルに関して計算されたホワイトボードの色は正しくなくなる（このセルが、ホワイトボードの残りの部分とは異なって見え、したがって、ホールのように見える）。このため、プロセスステップ６０４に示すとおり、ホワイトボードのカラーイメージにおけるホールが存在すれば、最小２乗平均法と呼ばれる技法（次の段落で説明する外れ値検出方法と同様の）を使用してそのホールが検出される。次に、そのホールが埋められる（プロセスステップ６０６）。ホールを埋めるため、ホールの近辺が探索され、ホワイトボードの色は、ホールでない最も近接したセルの色に設定される。この戦略は、通常、極めてうまく行くが、人物が白いＴシャツを着ており、かつ／または白い紙を手に持っている場合、失敗する。図７の左側のイメージは、フレームのいくつかの中で人物が白い紙を手に持っている場合の、図４の入力シーケンスから計算されたホワイトボードのカラーイメージの結果を示している。計算されたホワイトボードの色が、白い紙によって損なわれているのを見て取ることができる。
【００６９】
ホワイトボードの色を判定する第２の戦略を図６Ｂに示しており、この戦略は、より高度である。前提は、時間の経過で見ると各セル内の画素の相当な部分が、ホワイトボードに属するということである。各セルに関する輝度のヒストグラムを作成することにより、高い輝度値を有するピークに対応する色が、そのセルに関するホワイトボードの色である可能性が非常に高い。したがって、第１のステップは、各セルに関してヒストグラムを作成し、ピークの輝度を計算して（プロセスステップ６１０ないし６１４）、このやり方で初期のホワイトボードの色を計算することである。この技法は、セルが、シーケンス全体でストロークを含む場合でもうまく行くが、人物が、白いＴシャツを着ており、かつ／または白い紙を手に持っている場合、またはセルが、人々またはその他の物体で常に隠れている場合、失敗する。そのような場合、計算されたホワイトボードのカラーイメージは、外れ値を含む。次の動作は、外れ値があれば、それを検出することである（プロセスステップ６１６）。外れ値検出は、最小２乗平均法と呼ばれる堅牢な技法に基づく。色が、ホワイトボード全体で平滑に変化するものと想定すると、２乗誤差の平均を最小化することによって輝度ＹまたはＲＧＢの空間に平面が合わせられる。色がこのモデルに従わないセルは、外れ値と見なされ、したがって、拒否される。すなわち、ホールとしてマークが付けられる（プロセスステップ６１８）。関心のある読者は、この技法の詳細については、付録を参照されたい。次に、プロセスステップ６２０に示すとおり、第１のホワイトボードの色を計算する戦略と同じ手続きを使用することによってホールが埋められる（プロセスステップ６２０）。最後に、結果をさらに向上させるため、平面をＲＧＢ空間に局所的に合わせることによってホワイトボードのカラーイメージをフィルタリングすることができる（プロセスステップ６２２）。関心のある読者は、やはり詳細については、付録を参照されたい。同一の例に対するこの新しい技法を使用して得られた結果を図７の中央のイメージに示している。左側に示した第１の戦略を使用して得られた結果に優る明らかな向上が見られる。実際の空白のホワイトボードも、比較のために右側のイメージで示している。
【００７０】
２．３．３　時間にわたってセルイメージをクラスタ化すること
会議中、各セルの内容は、通常、時間とともに変化する。各セルに関して、時間シーケンスの中のすべてのセルイメージを、時間を経て同じであると見なされるセルイメージをそれぞれが含むグループにクラスタ化することが望まれる。変更された正規化された相互相関アルゴリズムを使用して、２つのセルイメージが同じであるか否かを判定する。以下に、正規化された相互相関法をイメージの１つの色成分を使用して説明するが、この技法は、ＲＧＢ成分のすべてに適用される。
【００７１】
２つのセルイメージＩおよびＩ’を考慮されたい。
【００７２】
【数１１】

【００７３】
および
【００７４】
【数１２】

【００７５】
を平均の色とし、σおよびσ’を標準偏差とする。正規化された相互相関スコアは、
【００７６】
【数１３】

【００７７】
によって与えられ、ただし、総和は、すべての画素ｉを対象とし、Ｎは、画素の総数である。スコアは、２つのイメージが全く類似していない場合の−１から、２つのイメージがまったく同一である場合の１までの範囲にある。このスコアは、平均の色を引いた後に計算されるので、２のイメージが非常に異なる平均の色を有している場合でも、高い値を与える可能性がある。したがって、マハラノビス距離に基づいて平均の色の差に対してさらなる試験を使用し、この試験は、
【００７８】
【数１４】

【００７９】
によって与えられる。要約すると、２つのセルイメージＩおよびＩ’は、同一であると見なされ、したがって、ｄ＜Ｔ_ｄかつｃ＞Ｔ_ｃである場合にだけ、同じグループに入れられるべきである。本ホワイトボードキャプチャシステムの実用の実施形態では、Ｔ_ｄ＝２およびＴ_ｃ＝０．７０７が成功裏に使用された。
【００８０】
２．３．４　セルを分類すること
セルを分類するプロセスステップにより、セルイメージがホワイトボードであるか、ストロークであるか、または前景オブジェクトであるかが判定される。次のヒューリスティックが使用される。すなわち、１）ホワイトボードセルの色は、一様であり、グレーまたは白である（すなわち、ＲＧＢ値は、ほぼ同じである）、２）ストロークセルは、大体において白またはグレーであり、１つまたは２つの主要な色が混じっている、３）前景オブジェクトは、以上の特性を有さない。したがって、分類により、現行のセルイメージの色分布とホワイトボードの色分布が同じであるか、または同じではないが、強い重なり合いを有しているか、または全く異なるかが判別される。この場合も、以下に説明するとおり、マハラノビス距離が使用される。
【００８１】
ホワイトボードの色は、前述したとおり、既に計算済みであることに留意されたい。この場合も、ＲＧＢのどれかの色成分を例として使用する。
【００８２】
【数１５】

【００８３】
をホワイトボードの色とし、またσ_ｗを標準偏差とする（これは、ホワイトボードセルがほぼ一様であるため、小さい値である）。
【００８４】
【数１６】

【００８５】
およびσを現行のセルイメージの平均および標準偏差とする。セルイメージは、
【００８６】
【数１７】

【００８７】
かつσ／σｗ＜Ｔσである場合にだけ、ホワイトボードセルとして分類され、
【００８８】
【数１８】

【００８９】
かつ
【００９０】
【数１９】

【００９１】
である場合にだけ、ストロークセルとして分類され、それ以外の場合、前景オブジェクトセルとして分類される。本ホワイトボードキャプチャシステムの実用の実施形態では、Ｔ_ｗ＝２およびＴ_σ＝２が成功裏に使用された。
【００９２】
２．３．５　セル分類をフィルタリングすること
前述した分類手続きは、単一のセル内の色情報を使用するだけである。セルグループ間の空間的関係および時間的関係を利用することによってより正確な結果を得ることができる。
【００９３】
２．３．５．１　空間的にフィルタにかけること
空間的にフィルタにかけることに関して、基本的な知見は、人物が、通常、ホワイトボードの連続した領域を遮るので、前景セルは、空間的に孤立して現れないはずであるということである。空間的にフィルタにかける際、図８に示すとおり、すべてのホワイトボードイメージに対して２つの動作が行われる。第１に、孤立した前景セルが識別され、ストロークとして分類しなおされる（プロセスステップ８０２）。第２に、いくつかの前景セルに直結したストロークセルが、前景セルとして分類しなおされる（プロセスステップ８０４）。第２の動作の１つの主な目的は、前景オブジェクトの境界にあるセルに対処することである。そのようなセルがストロークを含む場合、第２の動作は、そのセルを前景オブジェクトとして誤って分類する。ただし、幸い、以下の時間的なフィルタリングにより、そのような誤りが生じた場合、それが訂正される。
【００９４】
２．３．５．２　時間的にフィルタにかけること
時間的にフィルタにかけることに関して、基本的な知見は、ストロークを消去した後、同じストロークをまったく同じ位置に書き込むことが実質的に不可能であるということである。言い換えれば、任意の所与のセルに関して、２つの異なるフレームのセルイメージが同じストロークを含む場合、その２つのフレームの間のすべてのセルイメージは、そのセルを遮る前景オブジェクトが存在しない限り、同一のストロークを有するはずである。この知見は、前景オブジェクトを分けて除くのに非常に役立つ。前景オブジェクトの境界にあるストロークセルが、前景セルとして誤って分類される前のセクションの例を考慮されたい。時間的にフィルタにかけるステップで、そのセルは、前景オブジェクトがそのセルを遮った前後にカメラに晒されている限り、ストロークとして分類される。
【００９５】
図９は、ストロークがグリーンであり、前景が黒であり、かつホワイトボードが白である場合の図４のサンプルイメージに関する分類結果を示している。
【００９６】
２．３．６　キーフレームイメージ抽出
キーフレームイメージは、ホワイトボード上のすべての重要な内容を含み、記録の要約の役割をする。ユーザは、キーフレームイメージが、次のプロパティを有することを予期しているはずである。すなわち、２）キーフレームイメージは、ボード上のすべての重要な内容をキャプチャしていなければならない、２）キーフレームの数は、最小限に抑えられなければならない、３）キーフレームイメージは、ペンストロークおよびホワイトボードだけを含み、手前に人物を含んでいてはならない、４）キーフレームイメージは、容易なカットアンドペーストおよび印刷のため、一様の白い背景、および飽和度に達したペンの色を有していなければならない。
【００９７】
キーフレーム抽出手続きは、前述したプロセスステップからのセルイメージ分類結果を使用する。この手続きは、まず、シーケンスの中のどのフレームがキーフレームとして選択されるべきかを決め、次に、キーフレームイメージを再構成する。これを以下により詳細に説明する。
【００９８】
２．３．６．１　キーフレーム選択
キーフレームを選択する際、会議を要約するのに唯一のやり方が存在しないのと同様に、唯一の解決策は存在しない。最も一般的な意味で、図１１を参照すると、ストローク、前景、またはホワイトボードとして分類されている入力イメージセルが使用されている（プロセスステップ１１０２）。会議は、まず、いくつかの区分（トピック）に分割される（プロセスステップ１１０４）。ボードの内容の大部分の消去により、普通、トピックの変化が示され、したがって、この消去が、区分の仕切りとして使用される。次に、ホワイトボードの内容を代表するキーフレームイメージが、その区分に関して生成される（プロセスステップ１１０６）。大部分の消去が始まる直前のフレームが、キーフレームとして選択され、これにより、そのフレーム内のコンテンツが保存されることが確実になる。図１２に示した詳細な手続きは、以下のとおり行われる。
【００９９】
１．シーケンスの中の各フレームに関するストロークセルの数が計数される（プロセスステップ１２０２）。１つのストロークセルイメージが、複数のフレームにまたがる、すなわち、そのフレームのそれぞれに関してカウントに含まれることが可能である。図１０は、例のセッション（図４）におけるフレーム数に対してプロットされたストロークセルカウントを示している。プロットの上昇により、より多くのストロークがボード上に書き込まれたことが示され、プロットの下降（ｄｉｐ）により、いくつかのストロークが消去されたことが示される。このグラフには、極めてノイズが多い。次の２つの理由が存在する。すなわち、１）ユーザは、ボード上で常に小さい調整を行っている、２）分類結果は、小さい誤りを含む。
【０１００】
２．様々なフレームに関するストロークカウントを使用して、ピークおよびくぼみが判別される（プロセスステップ１２０４）。各下降でキーフレームが生成された場合、数十のキーフレームがもたらされる。キーフレームの数を最小限に抑えるため、データをフィルタにかけて有意な消去イベントだけを留めておく。この手続きは、隣接するピークとくぼみの間の差が、あるしきい値を超えない限り、データの変動を無視する（プロセスステップ１２０６）。本システムの実用の実施形態では、最大ストロークカウントの２０パーセントが成功裏に使用された。
【０１０１】
３．次に、データにおけるくぼみを使用して、セッションが区分に分割される（プロセスステップ１２０８）。区分の中のピークを含むフレームが、その区分を代表するキーフレームとなるように選択される。
【０１０２】
２．３．６．２　イメージ再構成
フレームが選択されると、その時点でホワイトボードが呈していた様相に対応するイメージを再構成する必要がある。ただし、入力シーケンスからの生のイメージを単に使用することはできない。というのは、生のイメージは、前景オブジェクトを含む可能性があるためである。イメージは、フレーム内のセルイメージを集めることによって再構成される。図１３を参照すると、セルイメージに分割されたフレーム、およびセルイメージに分割されたキーフレームが入力されている（プロセスステップ１３０２）。セル分類に応じて３つのケースが存在する。
【０１０３】
１．キーフレームセルイメージがホワイトボードまたはストロークである場合、そのホワイトボードまたはストロークのイメージ自体が使用される（プロセスステップ１３０４、１３０６）。
【０１０４】
２．キーフレーム前景セルイメージが、ストロークの範囲内にある場合（すなわち、人物が、ボード上のストロークを覆い隠している。これは、解析段階中に時間的にフィルタにかけることで判定される）、そのセルイメージは、隣接するフレームからのストロークセルイメージで置き換えられる（プロセス１３０８、１３１０）。
【０１０５】
３．それ以外の場合、プロセスステップ１３１２および１３１４に示すとおり、前景オブジェクトが、そのセル内のホワイトボード背景を覆っているはずであり、前述したとおり計算されたホワイトボードの色で埋められる。
【０１０６】
２．３．７　キーフレームカラーバランス
再構成プロセスにより、ホワイトボードイメージから人物が除去されるが、それでもイメージは、入力シーケンスからの生のイメージのように見える。すなわち、グレーがかっていて、ノイズが多い。イメージにカラーバランス処理を行ってより良好なイメージを生成することができる。このプロセスは、図１４のとおり以下の２つのステップから成る。
【０１０７】
１．背景を一様に白くして、ペンストロークの色の彩度を高める。各セルに関して、前述したとおり計算されたホワイトボードの色、
【０１０８】
【数２０】

【０１０９】
を使用してセル内の各画素の色を調整する。
【０１１０】
【数２１】

【０１１１】
である（プロセスステップ１４０２）。
【０１１２】
２．イメージノイズを低減する。キーフレームの中の各画素の各色チャネルの値をＳ字型の曲線に従ってマップしなおす（プロセスステップ１４０４）。２５５／２より低い光度を０の方にスケールダウン（ｓｃａｌｅ　ｄｏｗｎ）し、２５５／２より高い光度を２５５の方にスケールアップ（ｓｃａｌｅ　ｕｐ）する。
【０１１３】
区分の開始時刻および終了時刻、および区分のキーフレームイメージのファイル名が、ストロークのタイムスタンプとともにインデックスに保存される。ストロークのタイムスタンプは、そのストロークが出現する最初のフレームである。この情報は、セクション２．３．３で計算済みである。
【０１１４】
２．４　ブラウザの動作およびユーザインターフェース
２．４．１　概要
アナリシスサーバは、イメージシーケンスを処理して、インデックスおよびキーフレームイメージを生成した後、処理済みの記録に対するＵＲＬを伴う電子メールを登録済みのセッション参加者に送信する。ユーザは、そのＵＲＬをクリックしてブラウズソフトウェアを立ち上げる。ブラウズソフトウェアの目的は、ユーザが、キーフレームイメージを閲覧することができ、特定のトピックに関連する音声に迅速にアクセスできるようにすることである。
【０１１５】
ブラウズソフトウェアのユーザインターフェース（ＵＩ）を図１５に示している。ＵＩの主要な領域は、キーフレームサムネール１５０２（キーフレームイメージのグラフィックス表示）が表示されるキーフレームペイン１５０４、並びにカメラからの生のイメージ１５１２、および現行のキーフレームイメージ１５０２の合成を示すブラウザのメイン表示ペインを含む。また、キーフレームペイン１５０４には、ユーザが、メイン表示ペイン内に表示されたイメージを調整して生の入力イメージからキーフレームイメージにすることを可能にする背景透明スライダも組み込まれている。会議再生タイムラインにおいて既に書き込まれているストロークである現行のペンストローク１５１０が、会議再生タイムラインにおいてまだ書き込まれていない将来のストローク１５０８よりも濃く、より明確にメイン表示ペイン内でレンダリングされる。参加者が将来に書き込むことになるペンストローク１５０８は、ゴーストのようなスタイルで示される。この映像化の技法は、後により詳細に説明する。
【０１１６】
ＶＣＲ−標準タイムラインコントロール１５１４が、メイン表示ペイン１５０６の下でブラウザＵＩの左下隅に提供される。ＶＣＲ−標準タイムラインコントロール１５１４により、ユーザは、通常のビデオカセットレコーダ（ＶＣＲ）上に見られるコントロールと同じように、イメージ／音声シーケンスをゆっくりと、または迅速に戻すこと、または先に進めること、または停止させることが可能になる。タイムラインバー１５１８が、音声／イメージシーケンスの長さをバーとしてグラフィックスで表示し、会議再生の開始時刻、終了時刻、および現在時刻の数値を提供する。このバー１５１８の上のポインタ１５２０を選択し、前後にドラッグして、イメージ／音声シーケンスを直線的に先に進めること、および戻すことができる。
【０１１７】
前述したＵＩ要素のいくつかの場所を提示しているが、これは限定することを意図するものではないことに留意されたい。以上のＵＩ要素は、ディスプレイ上の任意の場所に、単独で、または他の要素と組み合わせて提供することが可能である。
【０１１８】
２．４．２　会議データに対する非線形アクセス
記録済みの音声に対する２つのレベルの非線形アクセスが、ビジュアルのインデックス付けのコンテキストで提供されている。
【０１１９】
第１のレベルの非線形アクセスは、キーフレームサムネール１５０２の使用を介するものである。各キーフレームサムネールには、ディスプレイ上である時間範囲が関連付けられている。ユーザは、キーフレームサムネールをクリックして、対応するキーフレームに関する音声の開始ポイント（例えば、区分の先頭）にジャンプすることができる。
【０１２０】
記録済みの音声に対する第２のレベルのアクセスは、各キーフレーム内のペンストロークの使用を介するものである。カーソルが、メインウインドウ１５０６内でペンストロークセル（現行のストローク１５１０または将来のストローク１５０８）の上を行き来しているとき、そのカーソルは、そのセルが選択可能（例えば、マウスで「クリック可能」）であることを示す「手」の記号に変化する。マウスまたは他の入力デバイスでそのセルをダブルクリックすることにより、アプリケーションが音声再生モードにされる。再生は、クリックされたストロークセルが書き込まれたセッションの時点から開始する。クリックされたストロークが書き込まれた時点は、シーケンスの中で同一のパターンのセルイメージが出現した最も早期の時点である。メインウインドウは、その時点でイメージを示すことを開始する。ユーザは、それでも、他のストロークセルをクリックしてセッションの別の部分にジャンプすることができる。
【０１２１】
ＶＣＲ−標準タイムラインコントロール１５１４と併せて、以上の２つのレベルのビジュアル式インデックス付けにより、ユーザは、非常に効率的な仕方で会議をブラウズすることが可能になる。
【０１２２】
２．４．３　イメージビューイング
図１５に示すとおり、キーフレームイメージのサムネール（例えば、１５０２）が、キーフレームペイン１５０４内にリストされる。サムネール１５０２の１つをマウスのカーソルまたはその他の入力デバイスで選択することにより、対応するキーフレームイメージが、左側でメインウインドウ１５０６にもたらされ、アプリケーションが、イメージビューイングモードにされ、このモードで、ユーザは、ズーム制御ボタン１５２２を使用してズームインおよびズームアウトを行うこと、イメージの中のテキストおよび図を読み取ること、またはイメージの一部分を他のドキュメントにカットアンドペーストしてすることができる。さらに、キーフレーム全体を他のドキュメントにカットアンドペーストすること、またはメモとして印刷することが可能である。
【０１２３】
２．４．４　ホワイトボードの内容の映像化
キーフレームイメージおよびタイムスタンプ情報を所与として、任意の所与の時点におけるホワイトボードの内容に対応するイメージを再構成することができる。毎フレームのイメージが、タイムラインコントロール１５１４を使用する音声再生時刻に従ってレンダリングされた場合、メインウインドウは、ホワイトボードの内容を映画のように再生する。この手法を使用することで、ユーザは、セッションに対する聴覚のコンテキストと視覚のコンテキストをともに有する。ただし、ユーザは、ユーザを先の時刻に進めるペンストローク（将来のストローク１５０８）をクリックすることはできない。というのは、そのストロークが、メインウインドウ内でまだレンダリングされていないからである。
【０１２４】
本ホワイトボードキャプチャシステムの初期の実施形態では、将来のストロークは、色あせた（ｗａｓｈｅｄ　ｏｕｔ）モードで示されていた。しかし、短い試用期間の後、ブラウザのユーザは、しばしば、将来のストロークをきれいに消去されていないストロークと混同した。このインターフェースに関する別の苦情は、ユーザは、手前に人物のいないホワイトボードイメージを好んだが、ときとして、誰がストロークを書き込んだかを知ることを望んだということである。
【０１２５】
数回の設計を繰り返した後、前述した懸念のすべてに対処する図１６に示した以下の映像化プロセスが決められた。このプロセスのプロセスステップは、以下のとおりである。
【０１２６】
１．現行の区分のキーフレームイメージおよびタイムスタンプ情報を使用して現行のホワイトボードの内容をレンダリングする（プロセスステップ１６０２）。
【０１２７】
２．将来のストロークをレンダリングし、結果をグレースケールに変換し、ガウスフィルタを使用してぼかす（プロセスステップ１６０４）。
【０１２８】
３．ステップ１およびステップ２からのイメージを合わせる（プロセスステップ１６０６）。
【０１２９】
４．ステップ３からのイメージを入力シーケンスからの修正済みのイメージにアルファブレンドする（プロセスステップ１６０８）。修正済みのイメージは、入力シーケンスからの対応するイメージ（図４に示した）であるが、ホワイトボードでない領域がトリミングされた後、長方形の形状にマップしなおされたものである。ユーザは、レンダリングされたキーフレームホワイトボードイメージだけを示す０から、元の修正済みイメージそのものを示す１まで、ＧＵＩスライダ（図１５の１５１６）を使用してアルファ値を制御することができる。レンダリングされたキーフレームホワイトボードイメージは、前景オブジェクトが除去され、前景オブジェクトが遮っていたストロークで置き換えられたキーフレームイメージである。
【０１３０】
以上は、１）現在のストロークと将来のストロークがともに、レンダリングされたホワイトボードイメージ上に示され、ユーザが、過去にジャンプして戻ることも、将来にジャンプして進むこともできるようにするため、また２）修正済み入力イメージをキーフレームと融合させることにより、前景オブジェクトが追加されて、より多くのコンテキストが与えられるため、非常に有用な映像化の仕方であると考えられる。アルファ＝０．８を使用するそのような映像化の例に関して、図１５を参照されたい。
【０１３１】
２．５　セキュリティ
会議参加者は、機密に関わる情報が意図しない人々によって見られる可能性があるため、会議を記録することに関して、通常、危惧の念を抱いている。会議参加者には、記録されたデータをセキュアに保つことは、懸念すべき問題である。この問題に対処するため、簡単なトークンベースのアクセスセキュリティモデルが開発された。このプロセスのプロセスステップを図１７に示している。
【０１３２】
本ホワイトボードキャプチャシステムでは、会議参加者は、会議記録の開始時にキャプチャソフトウェアに登録するように求められる（プロセスステップ１７０２）。会議参加者は、コンピュータスクリーン上のダイアログボックスの中で自らの電子メールの別名を記入するか、またはプロセスをスピードアップするため、自らの企業ＩＤカードをスマートカード読取装置に挿入して登録することができる。
【０１３３】
すべての記録済みセッションは、Ｗｅｂサーバ上に存在する。誰も登録しなかった場合、会議は、公衆アクセス可能なＷｅｂページ上に掲示される（プロセスステップ１７０４、１７０６）。少なくとも１名の参加者が登録した場合、会議の記録および解析の後、アクセストークンが生成される（プロセスステップ１７０８）。トークンは、固有の会議識別子を含む長いランダムに生成されたストリングである。トークンを含むＵＲＬが、登録済み参加者に電子メールで送信される（プロセスステップ１７１０）。受け手は、そのＵＲＬに行ってＷｅｂブラウズソフトウェアを立ち上げて会議を綿密に見る（１７１２）。また、受け手は、そのＵＲＬを会議に出席しなかった人々に転送することもできる。
【０１３４】
この簡単な隠蔽によるセキュリティ（Ｓｅｃｕｒｉｔｙ　ｂｙ　Ｏｂｓｃｕｒｉｔｙ）モデルは、うまく機能するようである。ただし、その他のセキュリティ対策を使用することも可能である。
【０１３５】
本ホワイトボードキャプチャシステムの前述したセキュリティ機構に加えて、会議を記録している間のプライバシーモデルも用意されている。会議参加者が、記録されることを望まないことを何か言った、または書いた場合、前の１５秒（別の所定の期間を使用することも可能であるが）のイメージと音声データの両方を消去する機構が存在する。この消去は、物理的なボタン、またはＧＵＩのボタンを押すことによって開始される。
【０１３６】
２．６　代替の実施形態
前述した基本的なホワイトボードキャプチャシステムを多数の他の技術およびデバイスと組み合わせて代替の実施形態を提供することが可能である。以下に述べる様々な実施形態は、単独で、または組合せで使用することが可能である。
【０１３７】
１つのそのような実施形態では、キーフレームに対して従来の光学式文字認識（ＯＣＲ）を行って、ドキュメントまたはプレゼンテーションビューグラフを作成するのに容易に使用される編集可能なテキストが提供される。
【０１３８】
別の実施形態では、従来の音声認識ソフトウェアを使用してキャプチャされたデータの音声部分がテキストに変換される。これにより、会議議事録およびその他のドキュメントの容易な作成が可能になる。また、会議情報を聴覚障害者に提供する比較的安価なやり方も提供される。
【０１３９】
また、本ホワイトボードキャプチャシステムは、例えば、三脚上のマイクロホンおよびカメラを備えたノートブックコンピュータを使用することによってポータブルにすることができる。この構成は、ホワイトボードに対するカメラの位置を決める追加の初期較正だけを必要とする。この較正は、イメージの中のパネルの４つの隅を手作業で決めることによって手作業で、またはエッジ検出などの従来の方法を使用することによって自動的に行うことが可能である。
【０１４０】
また、本ホワイトボードキャプチャシステムの解析ソフトウェアを使用して、ホワイトボードの内容を推定するのにペン追跡を使用するホワイトボードキャプチャシステムでキーフレームを決定することも可能である。ペン座標の履歴は、通常、そのシステムにおいてベクトル形式でキャプチャされるので、任意の所与の時点におけるホワイトボード上の内容を後に再構成することができる。そのようなシステムで本ホワイトボードキャプチャシステムの解析ソフトウェアを使用することにより、解析プロセスが単純化される。セルイメージは、ストロークまたはホワイトボードであるため、ホワイトボード背景色の判定、またはホワイトボード領域修正は必要なく、空間的および時間的にフィルタにかけることも必要なく、またホワイトボードセルの分類もより簡単である。というのは、ホワイトボード上に書き込まれたテキストを妨げる前景オブジェクトが存在しないからである。次に、セル「イメージ」が、ホワイトボード領域上のペン位置で推定された内容から導出される。本発明のこの実施形態は、基本的に、図５のプロセスステップ５０６で述べたとおり、セル「イメージ」をクラスタ化し、前景セルが存在しないことを除けば、プロセスステップ５０８と同様に各セルをストロークまたはホワイトボードセルとして分類し、その分類結果を使用してキーフレームイメージを抽出する（プロセスステップ５１２）。その結果を低帯域幅および小さいストーレッジの要件で伝送し、アーカイブすることができる。さらに、この実施形態でも、ＯＣＲを使用してキャプチャ済みのキーフレームを複写することが可能である。
【０１４１】
さらに、本ホワイトボードキャプチャシステムの実用の実施形態では、システムのフレームレートは、市販のスチールカメラのフレームレートによって制限される。より高いフレームレートを実現するため、ＨＤＴＶカメラなどの高解像度ビデオカメラを使用することが可能である。
【０１４２】
さらに別の実施形態では、本ホワイトボードキャプチャシステムは、ジェスチャ認識を組み込んでジェスチャコマンドを使用する。例えば、ホワイトボード上のどこかにコマンドボックスが書き込まれていることが可能である。ユーザが動いたとき、またはボックスを指し示したとき、システムは、ジェスチャ認識を使用してそのジェスチャが行われた特定の時刻におけるイメージにタイムスタンプを付ける。
【０１４３】
基本的な適用例では、解析プロセスは、ホワイトボード背景色が、入力シーケンスの中で一定であるものと想定している。ただし、誰によってもカメラから隠される可能性がないホワイトボードの最上部に既知の色パッチを取り付けることができる。ソフトウェアは、この容易に検出可能なパッチの既知の色特性に基づき、フレームごとに異なる照明条件に合わせてカメラ露出パラメータを調整することができる。これは、次のとおり行われる。露出パラメータが一定のままである場合、室内の異なる照明条件でキャプチャされたイメージにおいてパッチの色が異なる可能性がある。カメラは、前のフレームの中でパッチがどのような色であるかということから、露出パラメータを調整することができる。パッチの色が指定された範囲内にとどまり、ホワイトボード領域も同様であることが可能である。
【０１４４】
３．０　システムのパフォーマンスおよび使用
３．１　背景
本ホワイトボードキャプチャシステムの設計目標は、本ホワイトボードキャプチャシステムが、１）任意の既存のホワイトボードで機能し、２）ホワイトボードの内容を自動的に信頼の置けるようにキャプチャし、３）ホワイトボードの内容をビジュアル式インデックスとして使用して、本システムを使用して記録された会議を効率的にブラウズすることである。
【０１４５】
感知機構または電子ホワイトボードを使用するホワイトボードキャプチャシステムと比べて、本ホワイトボードキャプチャシステムは、１組の独特な技術的課題も有している。第１に、ホワイトボード背景色は、通常、あらかじめ較正されない（例えば、空白のホワイトボードの写真を撮影することにより）。というのは、各部屋が、セッションごとに異なる可能性があるいくつかの照明セッティングを有するからである。第２に、しばしば、人々は、デジタルカメラとホワイトボードの間で動き、この前景オブジェクトが、ホワイトボードのいくらかの部分を覆い隠し、ホワイトボード上に影を落とす。シーケンスの中で、全く覆い隠されていないフレームが存在しない可能性がある。タイムスタンプを計算し、キーフレームを抽出するため、以上の問題に対処しなければならなかった。
【０１４６】
３．２　システム構成要素
本ホワイトボードキャプチャシステムの設計中、試作品のシステムを構築し、繰り返し改良を行った。３つの会議室に本ホワイトボードキャプチャシステムを備えた。この３つの部屋に関する情報を以下のテーブル１にリストしている。サンプルイメージ（ボード上で８０×８０画素、およそ９６ポイントのフォント）を図１８Ａに示している（イメージはそれぞれ、左から右に、部屋１、部屋２、および部屋３に対応する）。
【０１４７】
【表１】

【０１４８】
以上の部屋内のホワイトボードのサイズは異なり、生成されたキーフレームイメージの品質も異なっていた。サンプルイメージ（図１８Ａ）から見て取ることができるとおり、１２’×５’（３６６センチメートル×１５２センチメートル）のボード上の書込みは、４メガピクセルの入力イメージで解像度が限度に達したため、その他の２つのボード上の書込みよりも不明瞭である（一番右）。それでも、その書込みは、やはり極めて読みやすい。１２’×５’（３６６センチメートル×１５２センチメートル）のホワイトボードを使用するセッションからのいくつかの選択されたフレーム（図１８Ｂ）、および対応するキーフレームイメージ（図１８Ｃおよび１８Ｄ）も示している。
【０１４９】
本システムは、特殊なペンおよびイレーザを必要とすることなしに、任意の既存のホワイトボードで機能しなければならないので、ホワイトボードの内容をキャプチャするのに、直接キャプチャデバイスであるスチールカメラが選択された。本ホワイトボードキャプチャシステムの例示的な実用の実施形態では、４メガピクセルを有するキャノン（登録商標）ＰｏｗｅｒＳｈｏｔ　Ｇ２デジタルスチールカメラが使用された。このカメラは、２２７２画素×１７０４画素、つまり６’×４’（１８３センチメートル×１２１センチメートル）のボードの場合、３１．６ｄｐｉに等しいイメージを提供する。このカメラが選択された１つの重要な理由は、ＰＣからカメラを制御するようにカスタマイズされたソフトウェアソリューションを書くことを可能にするソフトウェア開発キットが入手できることである。このソフトウェアは、実質的にすべてのカメラパラメータをショットごとに指定することを可能にする。本システムは、ホワイトボードの写真を直接に撮影するので、ペンストロークの位置ずれは存在しない。ユーザが、消去を行う前にシステムをオンにする限り、内容は保存される。
【０１５０】
アナリシスサーバは、ペンティアム（登録商標）ＩＩＩ　８００ＭＨｚのデュアルＣＰＵ　ＰＣ上で動作する。解析プロセスは、セッション時間の毎時間におよそ２０分間かかる。１６ビット１１ＫＨｚのモノラルの音声に関する記憶要件は、ＭＰ３符号化を使用しておよそ毎時１５Ｍｂを要する。入力イメージシーケンスは、モーションＪＰＥＧ圧縮を使用しておよそ毎時間３４Ｍｂを要する。
【０１５１】
３つの会議室内に設置されたシステムは、様々なチームによって頻繁に使用された。６カ月の間に、合計４８時間の１０８回のセッションが記録された。すなわち、平均して１回のセッション当り２７分間であり、１週間当り４．５回のセッションになる。１回のセッション当りのキーフレームの平均数は、２．７であった。キーフレームイメージは、ＪＰＥＧ形式で保存した。平均イメージサイズは、５１．８Ｋｂであった。サイズは、１７Ｋｂから１５０Ｋｂまでの範囲内にあった。ＪＰＥＧ圧縮は、一様に白い背景に対して極めてよく機能したため、イメージサイズは、イメージの寸法よりも、どれだけ多くユーザがボード上に書込みを行ったかの方により強く関連していた。
【０１５２】
本システムのすべてのユーザが、本システムは、ホワイトボードを頻繁に使用する会議に非常に役立つと考えた。キーフレームイメージ、およびビジュアル式インデックス付けの機能により、参加者が、後の時点で会議を綿密に見る（ｒｅｖｉｅｗ）ことができるようになるだけでなく、会議に出席しなかったユーザが、実際の会議時間の数分の１の時間で会議の要点を理解することができるようになる。
【０１５３】
一部のユーザは、当初、意図されていなかった本システムの新しい用途を見出した。ホワイトボード上に書き込むことを通常、必要としなかった旧態依然の会議（ｓｔａｔｕｓ　ｍｅｅｔｉｎｇ）を例にとろう。人々は、やはり、ホワイトボードキャプチャシステムをオンにした。誰かが発言する順番になったとき、主任が、その人の名前をボード上に書き込んで、その発言のセグメントを後に記録された音声の中で、そのキーフレームイメージの中の名前をクリックすることによって容易に見出すことができるようにした。別の例は、ブレーンストーミングセッション中であり、誰かが、よい考えを思い付いたとき、その人が、ボードの脇に星印を書き込み、その考えを声に出して言った。音声は、後にその星印をクリックすることによって取り出すことができる。
【０１５４】
本発明の以上の説明は、例示および説明の目的で提示した。以上の説明は、すべてを網羅する、または本発明を開示した形態そのものに限定することを意図するものではない。以上の教示に鑑みて、多数の変更形態および変形形態が可能である。本発明の範囲は、以上の詳細な説明によってではなく、本明細書に頭記の特許請求の範囲によって限定されるものとする。
【０１５５】
付録：平面ベースのホワイトボードの色の推定
カラーイメージの１つの成分だけを考慮するが、以下に説明する技法は、すべての成分（Ｒ、Ｇ、Ｂ、またはＹ）に適用される。各セルｉが、イメージ座標（ｘ_ｉ，ｙ_ｉ）で定義される。セルの色は、ｚ_ｉ（ｚ＝Ｒ、Ｇ、Ｂ、またはＹ）で指定される。色は、セクション２．３．２に説明したとおり計算され、したがって、ノイズが多く、誤りさえある。会議室での体験では、ホワイトボードの色は、しばしば、一様ではない。ホワイトボードの色は、通常、上部ではるかに明るく、下部に向かって暗くなるか、あるいは上隅の１つではるかに明るく、反対側の下隅に向かって暗くなる。これは、照明が天井に対して設置されているためである。したがって、ある局所領域（例えば、７×７セル）に関して、平面を色に正確に適合させることができ、イメージ全体に関して、平面の適合（ｐｌａｎｅ　ｆｉｔｔｉｎｇ）はそれでも、非常に適切であり、セルの色が外れ値であるかどうかの堅牢な指示を提供する。
【０１５６】
平面は、ａｘ＋ｂｙ＋ｃ−ｚ＝０で表わすことができる。ｚｉにだけノイズを有する１組の３Ｄポイント｛（ｘｉ，ｙｉ，ｚｉ）｜ｉ＝１，．．．ｎ｝が与えられる。平面パラメータｐ＝［ａ，ｂ，ｃ］^Ｔは、次の目的関数を最小化することによって推定することができる。
【０１５７】
【数２２】

【０１５８】
ただし、ｆ_ｉ＝ａｘ_ｉ＋ｂｙ_ｉ＋ｃ−ｚ_ｉである。最小２乗の解が、以下のとおり与えられる。
【０１５９】
ｐ＝（Ａ^ＴＡ）^−１Ａ^Ｔｚ、
ただし、
【０１６０】
【数２３】

【０１６１】
であり、かつｚ＝［ｚ１，．．．ｚｎ］^Ｔである。平面パラメータが決まると、セルｉの色を
【０１６２】
【数２４】

【０１６３】
で置き換える。
【０１６４】
最小２乗法は、誤りのあるデータ（外れ値）に対して堅牢ではない。前述したとおり、最初に計算されたホワイトボードの色は、外れ値を含まない。外れ値を検出し、拒否するため、平面をホワイトボードイメージ全体に適合させる堅牢な技法を使用する。データの半分近くが外れ値であることを許容することができる非常に堅牢な技法である最小２乗平均法［１１］を使用する。考え方は、２乗された誤りの総和ではなく、中央値を最小化することによってパラメータ、すなわち、
【０１６５】
【数２５】

【０１６６】
を推定することである。３つのポイントの最初のｍ個のランダムなサブサンプルが取られる（３は、平面を定義する最小数である）。各サブサンプルにより、平面の推定値が与えられる。数ｍは、ｍ個のサブサンプルの少なくとも１つが良好である確率が１に近く、例えば、９９％になるだけ十分に大きくなければならない。データの半分が外れ値である可能性があるものと想定した場合、ｍ＝３５であり、したがって、ランダムなサンプリングを非常に効率的に行うことができる。各サブサンプルに関して、平面パラメータ、および２乗された誤り
【０１６７】
【数２６】

【０１６８】
の中央値を計算する。Ｍで表わされる２乗された誤りの最小中央値を与える平面パラメータが保持される。次に、いわゆる堅牢な標準偏差
【０１６９】
【数２７】

【０１７０】
（この係数を使用して、外れ値が存在しないときと同じ効率が実現される）を計算する。ポイントｉは、ポイントｉの誤りが｜ｆ_ｉ｜＞２．５σである場合、外れ値と見なし、廃棄する。最後に、前述した最小２乗法を使用してその良好なポイントに平面を適合させる。外れ値のセルｉの色を
【０１７１】
【数２８】

【０１７２】
で置き換える。
【図面の簡単な説明】
【図１】本発明を実施するための例示的なシステムを構成する汎用コンピューティングデバイスを描いた図である。
【図２】本ホワイトボードキャプチャシステムの３つの主な構成要素、すなわち、キャプチャユニット、アナリシスサーバ、およびブラウズソフトウェアを描いている、試作品のホワイトボードキャプチャシステムを使用してキャプチャされた図である。
【図３】本発明によるホワイトボードキャプチャシステムを示す概略図である。
【図４】入力イメージシーケンスからの選択されたフレームを示すイメージシーケンスを示す図である。
【図５】本発明によるシステムおよび方法のイメージ解析プロセスを描いた流れ図である。
【図６Ａ】ホワイトボードの色を計算する第１の技術を示す図である。
【図６Ｂ】ホワイトボードの色を計算する第２の技術を示す図である。
【図７】左側のイメージが、ホワイトボードの色を計算する第１の戦略の結果であり、中央のイメージが、ホワイトボードの色を計算する第２の戦略の結果であり、また右側のイメージが、実際の空白のホワイトボードイメージを示しているホワイトボード色抽出結果を示すイメージシーケンスを示す図である。
【図８】本発明によるシステムおよび方法のセル分類プロセスを描いた流れ図である。
【図９】上のイメージが、トリミングおよび修正の後の図５のイメージに対応する分類結果の一連のサンプルを示す図である。
【図１０】図４のシーケンスに関するストローク数対時間のプロットを示す図である。
【図１１】入力イメージのシーケンスからキーフレームを選択するのに使用される一般的なプロセスを描いた流れ図である。
【図１２】本発明によるシステムおよび方法において区分およびキーフレームを識別するプロセスを描いた流れ図である。
【図１３】本発明によるシステムおよび方法においてキーフレームイメージを再構成するプロセスを描いた流れ図である。
【図１４】本発明によるシステムおよび方法においてキーフレームイメージのカラーバランス処理を行うプロセスを描いた流れ図である。
【図１５】各キーフレームイメージが、記録の中の重要な時点のホワイトボードの内容を代表する、本ホワイトボードキャプチャシステムのブラウザインターフェースを描いたイメージを示す図である。
【図１６】本発明によるシステムおよび方法における現在のペンストロークおよび将来のペンストロークを表示するプロセスを描いた流れ図である。
【図１７】本発明によるシステムおよび方法において使用されるセキュリティ処理を描いた流れ図である。
【図１８Ａ】本発明の実用の実施形態の３つの設置場所において取り込まれたホワイトボードの内容のサンプルイメージを提供する図である。
【図１８Ｂ】本発明の実用の実施形態の入力キーフレームイメージを描いた図である。
【図１８Ｃ】本発明の実用の実施形態の出力キーフレームイメージを描いた図である。
【図１８Ｄ】本発明の実用の実施形態の出力キーフレームイメージを描いた図である。
【符号の説明】
１２０　処理ユニット
１２１　システムバス
１３０　システムメモリ
１３４　オペレーティングシステム
１３５　アプリケーションプログラム
１３６　他のプログラムモジュール
１３７　プログラムデータ
１４０　取外し不可能な不揮発性メモリのインターフェース
１４４　オペレーティングシステム
１４５　アプリケーションプログラム
１４６　他のプログラムモジュール
１４７　プログラムデータ
１５０　取外し可能な不揮発性メモリのインターフェース
１６０　ユーザ入力インターフェース
１６１　マウス
１６２　キーボード
１７０　ネットワークインターフェース
１７１　ローカルエリアネットワーク
１７２　モデム
１７３　ワイドエリアネットワーク
１８０　リモートコンピュータ
１８５　リモートアプリケーションプログラム
１９０　ビデオインターフェース
１９１　モニタ
１９２　カメラ
１９４　カメラインターフェース
１９５　出力周辺インターフェース
１９６　プリンタ
１９７　スピーカ
２０２　キャプチャユニット
２０４　アナリシス／処理サーバ
２０６　ブラウズソフトウェア
１５０２　キーフレームサムネール
１５０８　将来のストローク
１５１０　現在のストローク
１５１２　生のイメージ
１５１４　ＶＣＲ−タイムラインコントロール

Claims (82)

1. オーディオビジュアルの内容を要約し、インデックスを付けるためのプロセスであって、
   電子式でないホワイトボードに書き込まれた内容のイメージシーケンスをカメラを使用してキャプチャするプロセス動作と、
   前記イメージシーケンスに相関する音声信号を記録するプロセス動作と、
   前記イメージシーケンスを解析して前記ホワイトボードの内容の重要なポイントを要約するキーフレームを分離するプロセス動作
   を含むことを特徴とするプロセス。
2. 前記記録された音声信号を前記キーフレームに相関させるプロセス動作をさらに含むことを特徴とする請求項１に記載のプロセス。
3. 前記音声信号が、前記記録された音声信号と前記イメージシーケンスの両方に付けられたタイムスタンプで前記イメージシーケンスに相関させられることを特徴とする請求項２に記載のプロセス。
4. 前記音声信号を前記イメージシーケンスと相関させることは、
   前記イメージシーケンスがキャプチャされた時刻に共通クロックで前記イメージシーケンスにタイムスタンプを付けることと、
   前記音声信号が記録された時刻に共通クロックで前記音声信号にタイムスタンプを付けることと、
   前記共通クロックの前記タイムスタンプを使用して前記イメージシーケンスと前記音声信号を相関させること
   を含むことを特徴とする請求項３に記載のプロセス。
5. 前記イメージシーケンスの中の所望のポイントで前記イメージシーケンス、および前記相関させられた前記音声信号にアクセスすることをさらに含むことを特徴とする請求項３に記載のプロセス。
6. 前記キーフレームは、前記イメージシーケンスの中の前記所望のポイントを選択するのに使用されることを特徴とする請求項５に記載のプロセス。
7. 前記解析するプロセス動作は、
   前記イメージシーケンスの中のすべてのイメージ内の前記ホワイトボードのビューを修正するプロセス動作と、
   ホワイトボード背景色を抽出するプロセス動作と、
   セルイメージをそれぞれが表わすセルに前記イメージシーケンスの各イメージを分割するプロセス動作と、
   時間にわたる各セルに関する前記イメージシーケンス全体のセルイメージをクラスタ化するプロセス動作と、
   各セルイメージをストローク、前景オブジェクト、またはホワイトボードセルとして分類するプロセス動作と、
   当該分類結果を使用してキーフレームイメージを抽出するプロセス動作
   を含むことを特徴とする請求項１に記載のプロセス。
8. セルイメージを空間的にフィルタにかけて分類結果を精密にするプロセス動作をさらに含むことを特徴とする請求項７に記載のプロセス。
9. 前記セルイメージを時間的にフィルタにかけて分類結果を精密にするプロセス動作をさらに含むことを特徴とする請求項７に記載のプロセス。
10. 前記キーフレームイメージにカラーバランス処理を行ってイメージ品質を向上させることをさらに含むことを特徴とする請求項７に記載のプロセス。
11. 前記ホワイトボードを修正するプロセス動作は、
    イメージ内の前記ホワイトボードの４つの隅を指定することと、
    各イメージのホワイトボードでない領域をトリミングすることと、
    バイキュービック補間を使用して各ホワイトボード領域に関する長方形の形状に対してバイリニアワープを行い、前記イメージシーケンスのそれぞれのキャプチャされたイメージ内でトリミングされ、修正されたホワイトボードイメージを獲得すること
    をさらに含むことを特徴とする請求項７に記載のプロセス。
12. 前記ホワイトボード背景色を抽出するためのプロセス動作は、
    最も明るい輝度および最小の変動を有するホワイトボードセルを判別することと、
    ホワイトボードの色の中のホールを判別することと、
    前記ホールの周囲のホワイトボードセルを探索し、かつ、ホールでない最も近接したセルの色にカラー設定することによって各ホールを埋めること
    を含むことを特徴とする請求項７に記載のプロセス。
13. 前記ホワイトボードの中のホールを判別するためのプロセス動作は、
    ホワイトボードセルである可能性がある色の範囲を指定するプロセス動作と、色の前記範囲外にあるかどうか各ホワイトボードセルを検査するプロセス動作と、
    前記範囲外の色を有するセルをホールとして指定するプロセス動作
    を含むことを特徴とする請求項７に記載のプロセス。
14. 前記ホワイトボード背景色を抽出するプロセス動作は、
    ホワイトボードイメージ輝度のヒストグラムを作成することと、
    ピークのホワイトボード輝度を判定することと、
    ピークの輝度に対応する色を初期のホワイトボードの色として指定することと、
    誤りのあるデータを表わすホワイトボードの色の外れ値を判別することと、
    外れ値にホールとしてマークを付けることと、
    ホールの周囲のセルを探索し、ホールでない最も近接したセルの色にカラー設定することによって各ホールを埋めること
    を含むことを特徴とする請求項７に記載のプロセス。
15. 各ホールを埋めた後、ホワイトボードのカラーイメージをフィルタリングすることをさらに含むことを特徴とする請求項１４に記載のプロセス。
16. 最小２乗平均法を使用して外れ値が検出されることを特徴とする請求項１５に記載のプロセス。
17. 前記最小２乗平均法は、
    ２乗された誤りの中央値を最小化することによって輝度ＹまたはＲＧＢの空間に平面を合わせるプロセス動作と、
    上記モデルに従わないセルを外れ値として指定するプロセス動作
    を含むことを特徴とする請求項１６に記載のプロセス。
18. 前記ホワイトボードのカラーイメージをフィルタリングすることは、平面をレッド、グリーン、ブルー（ＲＧＢ）の色空間に合わせることを含むことを特徴とする請求項１５に記載のプロセス。
19. 前記セルに各イメージを分割するプロセス動作は、各イメージを長方形のセルに分割することを含むことを特徴とする請求項７に記載のプロセス。
20. 前記セルに各イメージを分割するプロセス動作は、セルサイズが前記ホワイトボード上の単一の書き込まれた文字のサイズとほぼ同じサイズであるセルに各イメージを分割することを含むことを特徴とする請求項７に記載のプロセス。
21. 前記セルのサイズは、前記ホワイトボードにおける縦１．５インチ（３．８センチメートル）、横１．５インチ（３．８センチメートル）の領域に対応することを特徴とする請求項２０に記載のプロセス。
22. 前記セルのサイズは、カメラ解像度およびホワイトボードサイズで決まることを特徴とする請求項１９に記載のプロセス。
23. 前記セルのサイズは、縦１画素、横１画素であることを特徴とする請求項１５に記載のプロセス。
24. 前記セルイメージをクラスタ化するプロセス動作は、時間を経て同じであると見なされるセルイメージをクラスタ化することを含むことを特徴とする請求項７に記載のプロセス。
25. 前記時間を経て同じであると見なされるセルイメージをクラスタ化することは、正規化された相互相関法を使用して一度に２つのセルを比較することにより、セルイメージが同じであるかどうかを判定する動作を含むことを特徴とする請求項２４に記載のプロセス。
26. 前記相互相関のスコアは、２つのイメージが全く似通っていないことを表わす−１から、２つの全く同一のイメージを表わす１までの範囲内にあることを特徴とする請求項２５に記載のプロセス。
27. マハラノビス距離試験を適用して２つのセルが同じであるかどうかを判定するプロセス動作をさらに含むことを特徴とする請求項２６に記載のプロセス。
28. 前記マハラノビス距離試験は、
    

    

    によって与えられ、ただし、Ｉは、第１のセルイメージであり、かつ、Ｉ’は、第２のセルイメージであり、
    

    

    は、前記第１のセルイメージの平均の色であり、
    

    

    は、前記第２のセルイメージの平均の色であり、σは、
    

    

    からの標準偏差であり、かつ、σ’は、
    

    

    からの標準偏差であるプロセスであって、
    ＩおよびＩ’は、ｄ＜Ｔ_ｄかつｃ＞Ｔ_ｃである場合にだけ、同一であると見なされ、かつ、１つの特定の実施形態では、Ｔ_ｄ＝２かつＴ_ｃ＝０．７０７であることを特徴とする請求項２７に記載のプロセス。
29. 前記各セルイメージを分類するプロセス動作は、
    ＲＧＢ値がほぼ同一である場合、セルイメージをホワイトボードのセルとして指定することと、
    前記セルが大体において白またはグレーであり、１つまたは２つの原色が混じっている場合、セルイメージをストロークとして指定することと、
    セルイメージがホワイトボードセルの特性、またはストロークセルの特性を有さない場合、セルイメージを前景セルとして指定すること
    をさらに含むことを特徴とする請求項７に記載のプロセス。
30. 前記各セルイメージを分類するプロセス動作は、
    現行のセルイメージの色分布を判定することと、
    対応するホワイトボードセルの色分布を判定することと、
    前記現行のセルイメージの前記色分布と前記対応するホワイトボードセルの色分布が同一であるか、同一ではないが強い類似性を有するか、または全く異なっているかを判定すること
    をさらに含むことを特徴とする請求項７に記載のプロセス。
31. 前記セルイメージは、
    

    

    であり、かつ、σ／σ_ｗ＜Ｔ_σである場合にだけ、ホワイトボードセルとして分類され、ただし、
    

    

    は、ホワイトボードの色であり、σ_ｗは、
    

    

    からの標準偏差であり、
    

    

    は、現行のセルの平均の色であり、かつ、σは、
    

    

    からの標準偏差であり、Ｔ_ｗ＝２かつＴ_σ＝２であり、それ以外の場合、前景オブジェクトセルとして分類されることを特徴とする請求項２９に記載のプロセス。
32. 前記セルイメージを空間的にフィルタにかけるプロセス動作は、
    孤立した前景セルを特定するプロセス動作と、
    孤立した前景セルをストロークセルとして分類しなおすプロセス動作と、
    前景セルに結合したストロークセルを特定するプロセス動作と、
    前景セルに結合した前記ストロークセルを前景セルとして分類しなおすプロセス動作
    を含むことを特徴とする請求項８に記載のプロセス。
33. 前記セルイメージを空間的にフィルタにかけるプロセス動作は、
    時間にわたって各セルを評価して、前記各セルが、前景セルとして分類された前後に同一のストロークセルを含んでいたかどうかを判定するプロセス動作と、セルが、前景セルとして分類された前後に同一のストロークセルとして分類されていた場合に、前記セルをストロークセルとして分類するプロセス動作
    を含むことを特徴とする請求項９に記載のプロセス。
34. 前記キーフレームイメージを抽出するプロセス動作は、
    前記分類結果を入力することと、
    前記イメージシーケンスの中の各フレームに関するストロークセルを計数することと、
    前記フレームに関する前記ストロークカウントを使用してストロークカウントのピークおよびくぼみを判定することと、
    それぞれの隣接するピークとくぼみの間の差が、所定のしきい値を超えた場合、くぼみとくぼみの間のデータを区分として指定し、各区分の中の前記ピークを前記区分を代表するキーフレームとして指定すること
    を含むことを特徴とする請求項７に記載のプロセス。
35. 前記所定のしきい値は、合計のストロークカウントの２０パーセントであることを特徴とする請求項３４に記載のプロセス。
36. 前記キーフレームイメージを再構成するプロセス動作をさらに含むことを特徴とする請求項３４に記載のプロセス。
37. 前記キーフレームイメージを再構成するプロセス動作は、前記イメージシーケンスの分類されたセルイメージ、およびセルイメージに分割されたキーフレームを入力するプロセス動作と、
    キーフレームセルイメージが、ホワイトボードイメージまたはストロークイメージとして分類された場合、ホワイトボードまたはストロークのイメージがレンダリングされるプロセス動作と、
    キーフレーム前景セルイメージが、ストロークの範囲内にある場合、そのセルイメージがシーケンスの中の隣接するイメージからのストロークセルイメージを使用してレンダリングされるプロセス動作と、
    前記キーフレームセルイメージが、ホワイトボードイメージとしても、ストロークイメージとしても、またはストロークの範囲内の前景セルとしても分類されない場合、ホワイトボードイメージとしてレンダリングされるプロセス動作
    をさらに含むことを特徴とする請求項３６に記載のプロセス。
38. 前記キーフレームイメージにカラーバランス処理を行ってイメージ品質を向上させることは、
    平均のホワイトボードの色を使用してセル内の各画素の色を調整することによって背景を一様に白くし、ペンストロークの色の彩度を高めるプロセス動作と、
    イメージノイズを低減するプロセス動作
    をさらに含むことを特徴とする請求項１０に記載のプロセス。
39. イベントデータを閲覧し、再生するためのグラフィカルユーザインターフェースであって、
    ホワイトボードに書き込まれた内容の生のイメージと、ホワイトボードに書き込まれた内容を要約するキーフレームイメージの合成を表示するメイン表示ペインを含むことを特徴とするグラフィカルユーザインターフェース。
40. ホワイトボードに書き込まれた内容を要約する少なくとも１つのキーフレームイメージのグラフィックス表現をさらに含むことを特徴とする請求項３９に記載のグラフィカルユーザインターフェース。
41. 前記メイン表示ペイン内に表示された前記生のイメージは、ホワイトボードに書き込まれた内容を、記録済みのイメージタイムラインの再生を表わすイベント再生タイムラインにおける何らかのポイントで描き、かつ、前記キーフレームイメージは、ホワイトボードに書き込まれた内容を、イベント再生タイムラインにおいて前記生のイメージより後の何らかのポイントで表示することを特徴とする請求項３９に記載のグラフィカルユーザインターフェース。
42. 音声が、前記生のイメージに関連付けられ、かつ、キーフレームイメージが、前記内容が書き込まれた時刻に記録された関連する音声信号に相関させられることを特徴とする請求項４１に記載のグラフィカルユーザインターフェース。
43. ユーザが、前記メイン表示ペイン内に表示されたイメージ合成を調整して前記生の入力イメージから前記キーフレームイメージにすることを可能にする背景透明スライダコントロールをさらに含むことを特徴とする請求項４１に記載のグラフィカルユーザインターフェース。
44. イベント再生タイムラインにおいて既に書き込まれているストロークを表わす現在のペンストローク、および前記イベント再生タイムラインにおいてまだ書き込まれていないストロークを表わす将来のペンストロークを表示することをさらに含むことを特徴とする請求項４１に記載のグラフィカルユーザインターフェース。
45. 現在のペンストロークが、将来のストロークよりもより濃く、より明確にレンダリングされることを特徴とする請求項４４に記載のグラフィカルユーザインターフェース。
46. 前記イベント再生タイムラインにおいてまだ書き込まれていないストロークである将来のストロークが、ゴーストのようなスタイルで示されることを特徴とする請求項４４に記載のグラフィカルユーザインターフェース。
47. 前記イメージ合成は、
    所与の時刻におけるイメージ、およびタイムスタンプ情報を使用して現行のホワイトボードの内容の第１の修正されたイメージをレンダリングすることと、
    前記第１の修正されたイメージに対する将来のペンストロークの第２のキーフレームイメージをレンダリングし、前記将来のストロークをグレースケールに変換し、ガウスフィルタを使用して前記将来のペンストロークをぼかすことと、
    前記第１の修正されたイメージと前記第２のキーフレームイメージを合わせて合成イメージを獲得することと、
    前記合成イメージを入力シーケンスからの前記修正されたイメージにアルファブレンドしてアルファブレンドされた合成イメージを得ること
    によって決まることを特徴とする請求項３９に記載のグラフィカルユーザインターフェース。
48. ユーザが、スライダコントロールを使用して、アルファブレンドに使用されるアルファ値を制御することを可能とすることを特徴とする請求項４７に記載のグラフィカルユーザインターフェース。
49. ユーザが、キーフレームイメージだけが示される０から、元の修正されたイメージそのものが示される１まで前記スライダを動かすことを可能とすることを特徴とする請求項４８に記載のグラフィカルユーザインターフェース。
50. ユーザが、
    イベント再生タイムラインにおいて順に戻ること、
    イベント再生タイムラインにおいて順に進むこと、および、
    イベント再生タイムラインにおいて停止すること
    の少なくとも１つを行うことを可能とするＶＣＲ−標準タイムラインコントロールをさらに含むことを特徴とする請求項４２に記載のグラフィカルユーザインターフェース。
51. イベント再生タイムラインをバーとしてグラフィックス表示するタイムラインバーをさらに含むことを特徴とする請求項４２に記載のグラフィカルユーザインターフェース。
52. 前記イベントタイムライン再生の開始時刻の数値、終了時刻の数値、および現在時刻の数値をさらに含むことを特徴とする請求項５１に記載のグラフィカルユーザインターフェース。
53. 選択して、前記タイムラインバーに沿って前後にドラッグして、イメージおよび音声のシーケンスの中で直線的に順に進むこと、および順に戻ることが可能な前記タイムラインバー上のポインタをさらに含むことを特徴とする請求項５２に記載のグラフィカルユーザインターフェース。
54. ユーザは、前記キーフレームのサムネールを選択することによって会議再生タイムラインにおいてキーフレームイメージに対応する音声の開始ポイントにジャンプできることを特徴とする請求項４２に記載のグラフィカルユーザインターフェース。
55. ユーザは、現在のペンストロークまたは将来のペンストロークを選択することによって前記イベント再生タイムラインにおける現在のペンストロークまたは将来のペンストロークが書き込まれた時刻の対応する記録された音声にアクセスできることを特徴とする請求項４２に記載のグラフィカルユーザインターフェース。
56. 現在のペンストロークまたは将来のペンストロークが書き込まれた前記時刻は、その現在のペンストロークまたはその将来のペンストロークが出現した最早期の時刻であることを特徴とする請求項５５に記載のグラフィカルユーザインターフェース。
57. 入力デバイスのカーソルは、メインウインドウ内の現在のストロークまたは将来のストロークの上で行き来しているときに、前記現在のストロークまたは前記将来のストロークが選択可能であることを示す記号に変化することを特徴とする請求項５５に記載のグラフィカルユーザインターフェース。
58. キーフレームのサムネールを選択することにより、対応するキーフレームイメージが前記メイン表示ペインに表示されることを特徴とする請求項４０に記載のグラフィカルユーザインターフェース。
59. ユーザに、
    ズーム制御ボタンを使用してズームインおよびズームアウトを行うこと、
    前記メイン表示ペイン内に表示されたイメージ内のテキストおよび図を読み取ること、
    前記メイン表示ペイン内に表示されたイメージを印刷すること、
    前記メイン表示ペイン内に表示されたイメージの部分を他のドキュメントにカットアンドペーストすること
    の少なくとも１つを行うことを可能とすることを特徴とする請求項５８に記載のグラフィカルユーザインターフェース。
60. 会議の音声の内容および映像の内容をキャプチャするためのシステムであって、
    ホワイトボードに書き込まれたデータのイメージシーケンス、および会議中に生じたサウンドに対応する音声信号をキャプチャするキャプチャシステムと、
    前記ホワイトボードに書き込まれたキーデータフレームを抽出し、前記音声信号を前記キーデータフレームに相関させる、前記イメージシーケンスを解析するためのアナリシスサーバと、
    前記解析された会議キーデータフレーム、および相関させられた音声を閲覧するためのブラウズモジュール
    を含むことを特徴とするシステム。
61. 前記キャプチャシステムは、
    イメージシーケンスをキャプチャするように配置されたカメラと、
    前記音声信号を記録するマイクロホンと、
    前記イメージシーケンスおよび前記音声信号を記録するためのコンピュータ
    をさらに含むことを特徴とする請求項６０に記載のシステム。
62. 前記カメラは、スチールカメラ、および、ビデオカメラの少なくともどちらかであることを特徴とする請求項６１に記載のシステム。
63. 前記カメラは、解像度を最大化するように可能な限り前記ホワイトボードに接近してズームインされることを特徴とする請求項６１に記載のシステム。
64. 前記カメラは、シーン深度を最小化するように可能な限り前記ホワイトボードに平行に揃えられることを特徴とする請求項６１に記載のシステム。
65. 前記アナリシスサーバは、前記キーデータフレームを、
    前記イメージシーケンスの中のすべてのイメージの中で前記ホワイトボードのビューを修正すること、
    ホワイトボード背景色を抽出すること、
    前記イメージシーケンスの各イメージをセルイメージのセルに分割すること、時間にわたって各セルに関して前記イメージシーケンス全体で似通っているセルイメージをクラスタ化すること、
    各セルイメージをストローク、前景オブジェクト、またはホワイトボードセルとして分類すること、および、
    前記分類結果を使用してキーフレームイメージを抽出すること
    によって特定することを特徴とする請求項６０に記載のシステム。
66. 前記アナリシスサーバは、前記キーデータフレームを、
    前記イメージシーケンスの中のすべてのイメージの中で前記ホワイトボードのビューを修正すること、
    ホワイトボード背景色を抽出すること、
    時間にわたって各セルに関して前記イメージシーケンス全体で似通っている画素をクラスタ化すること、
    各画素をストローク、前景オブジェクト、またはホワイトボードセルとして分類すること、および、
    前記分類結果を使用してキーフレームイメージを抽出すること
    によって特定することを特徴とする請求項６０に記載のシステム。
67. 記録が開始する前に、１名以上のユーザがキャプチャユニットにおいてユーザ識別子を登録し、
    少なくとも１名のユーザが、前記キャプチャユニットで登録した場合、前記アナリシスサーバはイベントの記録および解析の後にアクセストークンを生成し、前記アクセストークン、および解析された会議データのコンピュータメモリロケーションが前記登録されたユーザ識別子に提供され、さらに、
    前記１名以上のユーザが、前記解析されたイベントデータの前記コンピュータメモリロケーションにアクセスして前記解析された会議データを閲覧する
    ことを特徴とする請求項６０に記載のシステム。
68. 前記ユーザ識別子は電子メールアドレスであることを特徴とする請求項６７に記載のシステム。
69. 前記解析されたイベントデータの前記コンピュータメモリロケーションはインターネットＷｅｂサイトのアドレスであることを特徴とする請求項６７に記載のシステム。
70. 前記イメージシーケンスの部分、および、前記音声の部分の少なくともどちらかをユーザが消去することがかできるようにするプライバシー機構を前記キャプチャユニット内部にさらに含むことを特徴とする請求項６０に記載のシステム。
71. 前記プライバシー機構は、グラフィカルユーザインターフェースのボタン、または物理的ボタンを押すことによって起動されることを特徴とする請求項７０に記載のシステム。
72. 前記キャプチャシステムはポータブルであることを特徴とする請求項６０に記載のシステム。
73. イベントの内容を取り出すためのプロセスであって、
    電子式でないホワイトボードに書き込まれた内容のイメージシーケンスをカメラを使用してキャプチャするプロセス動作と、
    前記イメージシーケンスに相関する音声信号を記録するプロセス動作と、
    前記イメージシーケンスを解析して前記ボードの内容の要点を、
    前記イメージシーケンスの中の各イメージ内の前記ホワイトボードのビューを修正すること、
    ホワイトボード背景色を抽出すること、
    前記イメージシーケンスの各イメージをセルに分割すること、
    時間にわたって各セルに関して前記イメージシーケンス全体のセルイメージをクラスタ化すること、
    各セルイメージをストローク、前景オブジェクト、またはホワイトボードセルとして分類すること、および、
    前記分類結果を使用してキーフレームイメージを抽出すること
    によって要約するキーフレームを分離するプロセス動作
    を含むことを特徴とするプロセス。
74. 前記解析して分離するプロセス動作は、光学式文字認識技術を使用してキーフレームイメージから編集可能なテキストを提供するプロセスステップをさらに含むことを特徴とする請求項７３に記載のシステム。
75. 前記解析して分離するプロセス動作は、音声認識技術を使用して音声をテキストに変換することをさらに含むことを特徴とする請求項７３に記載のシステム。
76. ジェスチャ認識技術を使用することをさらに含むことを特徴とする請求項７３に記載のシステム。
77. 前記キャプチャするプロセス動作は、
    既知の色特性を有する色パッチを前記ホワイトボードの上方に取り付けることと、
    前記イメージシーケンスの中のイメージ内で前記色パッチをキャプチャすることと、
    前記イメージ内の前記色パッチが示す色を判別することと、
    前記イメージシーケンスの中の次のイメージ内で前記色パッチをキャプチャすることと、
    前記次のイメージ内の前記色パッチが示す色を判別することと、
    前記パッチが示す色が前記イメージと前記次のイメージの間で所定のしきい値を超えて変化しているかどうかを判定することと、
    示された前記色が、前記しきい値を超えている場合に、設定されていたとすれば、前記次のイメージ内の前記色パッチの色を前記イメージ内で示される前記色パッチの色と一致させたであろう前記カメラの露出設定に、前記カメラの露出パラメータを調整すること
    をさらに含むことを特徴とする請求項７３に記載のシステム。
78. 前記調整することは、キャプチャされたすべてのイメージに対して行われることを特徴とする請求項７７に記載のシステム。
79. 会議の内容を取り出すためのシステムであって、
    ホワイトボードに書き込まれたデータシーケンスをキャプチャし、ペン位置を追跡してホワイトボードに書き込まれた内容を推定し、かつ、ホワイトボードに書き込まれた前記内容に相関する音声信号を記録するキャプチャシステムと、
    前記ホワイトボードに書き込まれたキーデータフレームを抽出し、前記音声信号を前記キーデータフレームに相関させるイメージシーケンスを解析するためのアナリシスサーバ
    を含むことを特徴とするシステム。
80. 前記アナリシスサーバは、
    前記ホワイトボードの各領域をセルに分割する動作と、
    時間にわたって各セルに関して書き込まれた前記データシーケンス全体で同じであるセルをクラスタ化する動作と、
    各セルをストロークセルまたはホワイトボードセルとして分類すると、
    前記分類結果を使用してキーフレームイメージを抽出する動作
    を行うことを特徴とする請求項７９に記載のシステム。
81. 前記ホワイトボードセルは、１つの書き込まれた文字とほぼ同じサイズのセルに分割されることを特徴とする請求項８０に記載のシステム。
82. 会議中に記録されたデータに対する非線形アクセスを提供するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
    前記コンピュータ実行可能命令は、
    非電子式のワイトボードに書き込まれた内容のイメージシーケンスをカメラを使用してキャプチャするためのプログラムモジュールと、
    前記イメージシーケンスに相関する音声信号を記録するためのプログラムモジュールと、
    前記イメージシーケンスを解析して前記ホワイトボードの内容の要点を、
    前記イメージシーケンスの中の各イメージ内の前記ホワイトボードのビューを修正すること、
    ホワイトボード背景色を抽出すること、
    前記イメージシーケンスの各イメージをセルに分割すること、
    時間にわたって各セルに関して前記イメージシーケンス全体のセルイメージをクラスタ化すること
    各セルイメージをストローク、前景オブジェクト、またはホワイトボードセルとして分類すること、および、
    前記分類結果を使用してキーフレームイメージを抽出すること、
    によって要約するキーフレームを分離するためのプログラムモジュール
    を含むことを特徴とする媒体。

Images