JP2006309770A - スライド画像判定デバイスおよびスライド画像判定プログラム - Google Patents

Abstract

【課題】アプリケーションソフトウェアやオペレーティングシステムに依存せず、また、プレゼンタの負担ともならずに、スライド画像を判定することを提案する。
【解決手段】本発明のスライド画像判定デバイスは、映像ストリームの画像を分析し、該画像におけるテキストの高さを用いて、該画像がスライド画像であるかどうかを判定するプロセッサと、前記スライド画像を記憶するメモリと、を備える。プロセッサは前記画像の一の画像におけるテキストの平均高さと閾値とを比較するようにしてもよいし、画像の平均テキストサイズが前記閾値より大きい画像をスライド画像と判定するようにしてもよい。
【選択図】図３

Description

本発明は、一般に、画像群の処理および格納に関する。詳細には、映像プレゼンテーションから情報を抽出し、該映像プレゼンテーションを後の使用のために格納する処理に関し、より詳細には、スライド画像判定デバイスおよびスライド画像判定プログラムに関する。

スライドプレゼンテーション、特にコンピュータ生成のスライドプレゼンテーションは、ビジネス分野および学術分野でますます重要になりつつある。一般に、多数のプレゼンテーションが、企業および大学で使用されており、それらが、同僚達などに利用可能であれば、多数の有用な情報を含むことになるであろう。したがって、プレゼンテーションで用いられるスライド画像群は、アーカイブされることが、望ましい。

これを行なう一つの方法は、スライドプレゼンテーションソフトウェアとインターアクトするソフトウェアを用いることである。この追加のソフトウェアは、プレゼンテーションのスライド画像群を取得して、後の使用のために記憶することが可能である。この種のソリューションの問題点は、使用できるスライドプレゼンテーションソフトウェアおよびコンピュータオペレーティングシステムのタイプが、限定される場合があることである。この種のソリューションはまた、全てのプレゼンタのラップトップにロードされなければならず、したがって、プレゼンタの負担となる場合がある。

ディジタルビデオおよびデジタルインクによるメモに関する特許文献１、非特許文献１および２は、本願発明に関連する技術について記載している。
米国特許第６，４５２，６１５号明細書 Ａ．ギルゲンゾーン(Girgensohn)、Ｊ．フーテ(Foote)、「変換係数によるビデオ分類(Video Classification Using Transform Coeffts)」、ＩＥＥＥ ＩＣＡＳＳＰ予稿集、１９９９年、頁４ Ｐ．ジーベル(Ziewer)、「スクリーンレコードデータの自動解析によるナビゲーションインデックスおよびフルテキストサーチ(Navigational Indices and Full Text Search by Automated Analysis」、Ｅラーニング(E-Learn)２００４予稿集、ワシントンＤ．Ｃ．、２００４年１１月、頁８

本発明は、上記問題点に鑑み、スライド画像を判定することを目的とする。

本発明の一実施形態は、画像群をスライド画像群または非スライド画像群に分類する方法である。映像ストリームが取得されることができる。映像ストリームは、プロジェクタに送られるコンピュータの赤緑青（RGB）出力などの映像出力であってよい。一実施形態では、該映像ストリームをサンプリングして画像群を得ることができる。該映像ストリームの該画像群は、分析でき、また、与えられた画像がスライド画像かどうかが判定可能である。

一実施形態では、該システムは、プロセッサおよびメモリを含むスライドアナライザ装置（スライド画像判定デバイス）によって実装されてよい。該スライドアナライザ装置は、ノートブックコンピュータなどのプレゼンテーション装置とプロジェクタなどの表示装置との間で映像ストリームをインタセプトする機器であってよい。別法として、該スライドアナライザ装置は、該表示装置の一部であってよい。

該スライドアナライザ装置は、映像ストリーム出力を使用するため、該スライドアナライザ装置は、スライドプレゼンテーションソフトウェアおよびコンピュータオペレーティングシステムから独立している。また、プレゼンタのノートブックコンピュータは、プレロードされたソフトウェアを持たなくてよい。

本発明の第１の態様のスライド画像判定デバイスは、映像ストリームの画像を分析し、該画像におけるテキストの高さを用いて、該画像がスライド画像であるかどうかを判定するプロセッサと、前記スライド画像を記憶するメモリと、を備える。

本発明の第２の態様は、第１の態様のスライド画像判定デバイスであって、前記プロセッサは前記画像に対して光学文字認識を行なう。

本発明の第３の態様は、第１の態様のスライド画像判定デバイスであって、前記プロセッサは前記画像の一の画像におけるテキストの平均高さと閾値とを比較する。

本発明の第４の態様は、第３の態様のスライド画像判定デバイスであって、前記プロセッサは、画像の平均テキストサイズが前記閾値より大きい画像をスライド画像と判定する。

本発明の第５の態様は、第１の態様のスライド画像判定デバイスであって、前記プロセッサは前記画像を取得するために前記映像ストリームをサンプリングする。

本発明の第６の態様は、第１の態様のスライド画像判定デバイスであって、前記プロセッサは、前記画像のテキスト高さのヒストグラムを生成し、該画像がスライド画像であるかどうかを判定するために、該ヒストグラム群に対して最近傍分類を行う。

本発明の第７の態様は、第１の態様のスライド画像判定デバイスであって、前記プロセッサは、前記スライド画像を判定するために、少なくとも一の画像のテキスト高さと、少なくとも一のエッジ領域と、の両方を用いる。エッジ領域とはエッジを含む領域である。

本発明の第８の態様は、第１の態様のスライド画像判定デバイスであって、前記プロセッサは、第一のスライド画像セットを判定するためにテキスト高さを使用し、さらなるスライド画像を判定するために、残りの画像を評価し、該評価のために、該第一のスライド画像セットの少なくとも一のエッジ領域の特性を使用する。

本発明の第９の態様のスライド画像判定デバイスは、画像の少なくとも一のエッジ領域を分析し、該画像がスライド画像であるかどうかを判定するプロセッサと、前記スライド画像を記憶するメモリと、を備える。

本発明の第１０の態様は、第９の態様のスライド画像判定デバイスであって、少なくとも一の前記エッジ領域は所定数の行および列を含む。

本発明の第１１の態様は、第９の態様のスライド画像判定デバイスであって、少なくとも一の前記エッジ領域は複数のエッジ領域を含む。

本発明の第１２の態様は、第９の態様のスライド画像判定デバイスであって、少なくとも一の前記エッジ領域の輝度値を調べる。

本発明の第１３の態様は、第９の態様のスライド画像判定デバイスであって、前記プロセッサは、前記画像を取得するために、映像ストリームをサンプリングする。

本発明の第１４の態様は、第９の態様のスライド画像判定デバイスであって、前記プロセッサは、前記画像の少なくとも一のエッジ領域のヒストグラムを生成し、該画像がスライド画像であるかどうかを判定するために、該ヒストグラムに最近傍分類を行う。

本発明の第１５の態様は、第９の態様のスライド画像判定デバイスであって、前記プロセッサは、前記スライド画像を判定するために、前記画像のテキスト高さと、少なくとも一のエッジ領域と、の両方を使用する。

本発明の第１６の態様のスライド画像判定デバイスは、映像ストリームの画像を分析し、該画像がスライド画像であるかどうかを判定するために、該画像のテキスト高さと、少なくとも一のエッジ領域と、の両方を使用するプロセッサと、前記スライド画像を記憶するメモリと、を備える。

本発明の第１７の態様は、第１６の態様のスライド画像判定デバイスであって、前記プロセッサは、第一のスライド画像セットを判定するために、テキスト高さを使用し、さらなるスライド画像を判定するために、残りの画像を評価し、該評価のために、該第一のスライド画像セットの少なくとも一のエッジ領域の特性を使用する。

本発明の第１８の態様は、第１７の態様のスライド画像判定デバイスであって、前記プロセッサは、前記画像の一の画像におけるテキストの平均高さと、閾値と、を比較する。

本発明の第１９の態様は、第１８の態様のスライド画像判定デバイスであって、前記プロセッサは、前記画像の平均テキストサイズが前記閾値より大きい画像をスライド画像であると判定する。

本発明の第２０の態様は、第１７の態様のスライド画像判定デバイスであって、前記プロセッサは、前記画像の少なくとも一のエッジ領域のヒストグラムを生成し、該画像がスライド画像であるかどうかを判定するために、該ヒストグラムに対して最近傍分類を行う。

本発明の第２１の態様は、スライド画像判定プログラムであって、映像ストリームを取得し、前記映像ストリームの画像を分析し、前記画像がスライド画像であるかどうかを判定するために、該画像におけるテキスト高さを使用する、機能を実行するために、プロセッサによって実行可能な命令を含む。

本発明の第２２の態様は、第２１の態様のスライド画像判定プログラムであって、前記画像におけるテキスト高さの平均と閾値とを比較する。

本発明の第２３の態様は、第２１の態様のスライド画像判定プログラムであって、前記画像のテキスト高さと少なくとも一のエッジ領域との両方が、前記スライド画像を判定するために使用される。

本発明は、映像ストリームの画像を分析し、該画像におけるテキストの高さを用いて、該画像がスライド画像であるかどうかを判定し、前記スライド画像を記憶するようにしているので、アプリケーションソフトウェアやオペレーティングシステムに依存せず、また、プレゼンタの負担ともならずに、スライド画像を判定することができる。

一実施形態では、スライドアナライザを用いて、スライド群およびオーディオストリーム群などのプレゼンテーションメディアを取得し、索引を付け、および管理することができる。映像ストリームが取得されるので、システムは、プレゼンタの許可により、いかなるソフトウェアの条件も、また、不必要なユーザのインタラクションもなしに、プレゼンテーションメディアをシームレスに取得することができる。映像取得は、光学文字認識（ＯＣＲ）技術などの、引き続き行われる分析技術と対にすることができる。映像ストリーム取得に基づくシステムは、プレゼンタの装置ハードウェアまたはソフトウェアに依存しなくてもよい。プレゼンテーションが取得されると、ユーザは、結果として生ずるアーカイブを用いて、検索およびブラウズを行なって、興味あるコンテンツを見つけることができる。ユーザが、スライド画像と非スライド画像とを区別することができ、無関係なデスクトップ画像やメニュー画像ではないプレゼンテーションコンテンツに焦点を合わせることができることは有用である。また、スライド画像群は、組織内で再利用でき、コヒーシブでテクスチュアルな表現およびプレゼンテーションコンテキストは、正確なリトリーヴァル、翻訳、または、推奨サービスに利用できる。ユーザは、ウェブユーザインタフェースを用いて、取得されたコンテンツを検索、リプレイ、およびエクスポートすることができる。ある与えられた画像がスライド画像かどうかを知ることにより、システムは強化される。その情報によれば、インタフェースで非スライド画像群をフィルタリングして、プレゼンテーションの最初および最後のスライド画像を検出することにより、プレゼンテーションの境界を推論することが可能となる。これらの機能は、スライド群である画像群の割合が極めて低い場合があるため、インタフェースにとって重要となる場合がある。試行的な一試験では、画像群の２５％以下がスライド画像群であった。本発明の実施形態は、非スライド画像とスライド画像とを区別する方法を説明する。

図1は、スライドアナライザ装置10を示す。スライドアナライザ装置10は、プレゼンテーション装置12と表示装置14との間で映像ストリームをインタセプトする。プレゼンテーション装置は、ノートブックコンピュータなどのコンピュータであってよい。表示装置14は、映像出力をプレゼンテーションの視聴者に表示するのに使用される装置であってよい。表示装置は、液晶表示装置（LCD）プロジェクタ、アナログプロジェクタ、ブラウン管（CRT）表示装置、LCD表示装置または任意の他の種類の表示装置であってよい。

スプリッタ13は、映像ストリームをスプリットして、それをスライドアナライザ装置10および表示装置14に出力することができる。映像ストリームは、ディジタルでもアナログでもよく、また、任意数の信号フォーマットを含んでいてよい。一実施形態では、映像ストリームは、RGB映像ストリームである。映像信号はまた、バーチャルネットワークコンピューティング（VNC）信号などの映像情報を含むデータ信号であってもよい。一実施形態では、スプリッタ13は、データ信号の映像信号への変換を行なうこともできる。

図2は、別の実施形態を示し、この実施形態では、プレゼンテーション装置12は、映像ストリームを表示装置16に供給する。表示装置16は、スライドアナライザ装置18を含んでいる。スライドアナライザ装置18は、表示装置16の残部とプロセッサおよびメモリを共有できる。

一実施形態では、スライドアナライザ装置は、コンピュータシステムと表示装置14との間に在る。この実施形態では、メディアシステムは、映像信号を処理し、スライド画像群を生成し、該生成されたスライド画像群を表示装置14に表示する。

図3は、プロセッサ２２およびメモリ２４を備えるスライドアナライザ装置20を示す機能図である。本出願の趣旨の上では、用語「メモリ」および「プロセッサ」は、一またはそれ以上のメモリおよびプロセッサを指す。スライドアナライザプログラムコード26は、メモリ24に格納できる。スライド画像群は、メモリ24内のスライド画像記憶装置28にアーカイブできる。メモリ24は、一またはそれ以上のチップベース、フラッシュメモリまたはハードディスクドライブメモリを単独でまたは組み合わせて用いてよい。プロセッサ22は、マイクロプロセッサ、専用回路または任意の他の種類のプロセッサであってよい。

スライドアナライザ装置１０、２０は、また、入出力手段、プロセッサ２２、メモリ２４を備えるパーソナルコンピュータなどの情報処理装置であってもよい。入出力手段は、プレゼンテーションデバイス装置１２から送信される映像ストリームを受信し、表示装置１４へ処理した映像ストリームを出力する。

スライドアナライザ装置は、ソフトウェア、ファームウェア、または、集積回路などのハードウェアであってよく、当該ソフトウェア、ファームウェア、または、ハードウェアは、スライドアナライザのための専用の装置に組み込まれていてもよく、プレゼンテーション装置１２または表示装置などの別の装置に組み込まれていてもよい。

図4は、本発明の一方法の好適なフローチャートを示す。ステップ30では、映像ストリームがサンプリングされ、ステップ32では、サンプリングされた映像ストリームから、明瞭な画像群が選択される。ステップ34では、該画像群が分析され、スライド画像群が判定される。分析は、以下の例で示すように、テキストの高さおよび該画像のエッジ領域（群）の少なくとも一方に基づいて行なうことができる。ステップ36では、該スライド画像群がアーカイブされる。各プレゼンテーションのスライド画像群を、共にアーカイブすることができる。エッジ領域とはエッジを含む領域である。一般に、文字を含む領域は、グラフィックや写真画像を含む領域に比べ、より強いエッジをより多く含む傾向がある。

図5は、本発明の一実施形態のフローチャートを示す。ステップ40では、画像に対する光学文字認識が行なわれる。この光学文字認識は、画像の検索可能なレコードを取得するため、などの他の理由で有用かもしれない。したがって、このステップは、処理に不当な計算上の複雑さを加えるものではない。ステップ42では、該画像における平均テキスト高さが決定される。光学文字認識は、テキストを識別するバウンディングボックス群をリターンすることができる。バウンディングボックス群の高さは、テキスト高さの表示として用いることができる。画像の異なるテキスト要素群に対する該バウンディングボックスの平均値は、平均テキスト高さを決定し生成するのに使用することができる。ステップ44では、該画像の平均テキスト高さが閾値と比較される。ステップ46では、画像の平均テキスト高さが閾値より大きいかどうかが判定される。閾値より大きい場合には、該画像は、ステップ48でスライドとして分類される。閾値より大きくない場合には、該画像は、ステップ50で非スライド画像として分類される。

一実施形態では、閾値は、画像群のトレーニングセットを用いて決定される。例えば、１, ..., Ntrain によって索引付けされるトレーニングデータが与えられた場合、スライドiの平均バウンディングボックス高さをhiとする。一実施形態の閾値は、下記の式で表されるグローバル平均である。

トレーニングデータセットについて、 τ = 19.517268 であり、ここで、該画像の合計高さは、1000として校正されている。分類手順では、単に、テスト画像から抽出された該バウンディングボックス群の平均高さと閾値τとが次のように比較される。
スライド htest > τ
非スライド htest < τ

テスト画像の平均テキスト高さhtest が、τより大きい場合は、該画像は、スライドとして分類される。τより小さい場合は、該画像は、非スライド画像として分類される。

図6は、テキスト高さを用いる別の実施形態を示す。ステップ52では、画像の光学文字認識が行なわれる。ステップ54では、テキスト高さに基づくヒストグラムが生成される。該ヒストグラムは、例えば、画像上のテキストのバウンディングボックスサイズ群を示すことができる。ステップ56では、該ヒストグラムは、ヒストグラムトレーニングセットと比較される。ステップ58では、k-最近傍分類が行なわれ、k最近傍ヒストグラムの大部分がスライド画像ヒストグラムであるか、が判断される。もしそうであれば、該画像は、ステップ60で、スライド画像として分類される。もしそうでなければ、該画像は、ステップ62で、非スライド画像として分類される。

一実施形態では、k-最近傍（kNN）分類装置に対して、分類されたトレーニングデータセット、およびテスト画像が与えられた場合、第一のステップでは、特徴空間内で該テスト画像に最も近いトレーニングセットのkの要素が決定される。次いで、それらのkのトレーニング画像の中で、マジョリティークラスのラベルが決定され、そのラベルが該テスト画像に割り当てられる。バウンディングボックス高さ群のヒストグラム群は、特徴として用いることができる。

最近傍群を決定するためには、いくつかの距離尺度のうちのいずれを選択してもよい。第i番目のスライドのヒストグラムをベクトルXiによって表す。距離尺度群には、下記のカイ２乗尺度、L-1距離、およびL-2距離が含まれる。
カイ２乗尺度：

L-1距離：

L-2距離：

kNN法は、閾値処理に比べて柔軟性がある。プレシジョン（正確さ）とリコールとの間のトレードオフは、アプリケーションコンテキストに従って調整できる。kNN分類の感度は、整数パラメータκ: 1(κ(kを用いて制御できる。与えられたテストベクトルに対して、トレーニングデータにおけるkの最近傍のうちの少なくともκ／２が、「スライド」クラスからのものである場合は、該画像は、「スライド」として分類でき、さもなければ、「非スライド」として分類できる。フルリコール・プレシジョン曲線を生成するために、κを変えてもよい。

本発明の一実施形態は、画像群の少なくとも一のエッジの分析を用いる。一実施形態では、画像がデスクトップベースの画像であれば、画像のエッジ領域群における輝度は、比較的均一であろう、と考えられている。また、スライド(sides)画像は、（輝度が）より明確に変わり得るエッジ領域を有している傾向があろう、と考えられている。

図7は、エッジ分析法の一例を示す。ステップ64では、画像群のエッジ群のうちの少なくとも一が分析される。ステップ65では、エッジ群の画像特性に基づく少なくとも一のヒストグラムが生成される。ステップ66では、該ヒストグラムが、ヒストグラムのトレーニングセットと比較される。ステップ68では、kの最近傍ヒストグラム群の大部分がスライド画像であるかどうかチェックされる。そしてもしそうであれば、画像は、ステップ70でスライド画像として分類される。また、もしそうでないなら、画像は、ステップ72で非スライド画像として分類される。

一実施形態では、輝度値のヒストグラム群が用いられる。エッジ領域は、予め定められた数の行または列で定義できる。一実施形態では、上（北）、下（南）、左（西）、および右（東）に沿った１０行１０列を用いて、輝度値のヒストグラムを算出する。

本発明の一実施形態は、スライド画像または非スライド画像としてのテキスト高さベースとエッジ領域ベースとの画像特性を組合せて使用する方法を含んでいる。このような組合せ法の一例を図8を参照して説明する。

ステップ７４では、スライド画像群のテキスト高さベースの決定は、第１のスライド画像セットが、相対的な信頼度で特性付けされるように行なわれる。テキスト高さベースの決定は、その閾値を比較的高く設定した平均テキスト高さの決定であってよい。例えば、閾値は、通常の閾値より大きくてよい。閾値は、シングルパステキスト高さベースのスライド画像決定の場合の閾値より大きなパーセンテージ（50％など）に設定してよい。例えば、シングルパスアルゴリズムで、（あり得る値が1000である場合）20の閾値が一般に使用されるとすると、組合せ法では、（あり得る値が1000である場合）30の閾値が使用できるであろう。この方法で、第１のスライド画像セットは、比較的高い信頼度で、スライド画像であると、みなすことができる。ステップ76では、該第１のスライド画像セットを用いて、残りの画像群に対するエッジ領域群を特性付けする。ステップ78では、エッジ領域ベースの決定を用いて、残りの画像群からさらなるスライド画像群を検出する。

このスライドアナライザ装置は、プレゼンテーション映像の抽出、分類、記憶、および補足を可能にするメディアシステムの一部であってよい。メディアシステムは、プレゼンテーション映像を搬送する信号を受信することができる。メディアシステムは、映像ストリームを処理し、プレゼンテーションのスライドについての画像を生成することができる。メディアシステムは、次いで、画像からテキストを抽出し、テキストおよび他の特性を用いて、画像を分類し、それらをデータベースに記憶することができる。

メディアシステムは、プレゼンテーションの検出、取得、解釈、および記憶の処理を自動化することができる。システムは、プレゼンテーションの開始を検出し、コンテンツが静止画像か動画像を検出して適宜に記憶し分類する処理を開始することができる。システムはまた、コンテンツを編成および配布しやすいよう修正し、オリジナルのまたは修正されたフォーマットで視聴者に配布し、かつ、プレゼンテーションが最早検出されなくなった場合に動作を終了することができる。上記のステップは、動作を開始し、かつ、終了するためのいかなる直接的なユーザコマンドもなしに、または、ユーザによるメディアのいかなる分類・分離・編成もなしに行なうことができる。

メディアシステムは、映像ストリームを受信し、それを用いてプレゼンテーション用のオーディオおよび映像メディアを生成し、かつ、メディアから関連情報を抽出することができる。ある実施形態では、メディアシステムは、専用ソフトウェアを用いた従来のコンピュータであり、別の実施形態では、メディアシステムは、メディアシステムとして機能するよう特別に構成したコンピュータである。ある実施形態では、メディアシステムは、マイクロフォンまたは他の入力を介してオーディオを収集するよう構成されている。オーディオは、プレゼンテーション画像および映像と関連付けて記憶することができる。

メディアシステムはまた、画像オーバレイおよび補足または他の修正を受け入れ、それらを表示装置に出力することもできる。別法として、オーバレイは、プレゼンテーションのテキストを自動的に翻訳するトランスレータプログラムなどの自動エージェントによって生成することができる。メディアシステムはまた、入力映像信号が、修正無しに、出力装置に直接渡される「パススルー」モードを含んでいてもよい。

メディアシステムは、映像取得モジュール、画像サンプリングモジュール、画像コンバータ、更新モジュール、テキスト抽出モジュール、データベース、および入出力モジュールを含んでいてよい。これらの構成要素は、ハードウェア、ソフトウェア、およびファームウェアの任意の組合せを介して実装されてよい。

映像取得モジュールは、スプリッタまたはコンピュータシステムから映像信号を受信することができる。画像サンプリングモジュールは、映像取得モジュールによって取得された映像からスライド画像を生成することができる。一実施形態では、画像サンプリングモジュールは、特定の画像が、予め定められた量の時間の間に、着実にブロードキャストされたかどうかを検出し、それを単一のスライドとして処理する。別法として、連続的な映像は、フルに記録される。サンプリングモジュールが、画像は、スライドであると判定した場合は、画像に対するビットマップを生成する。メディアが映像であると判定した場合は、全取得映像、または映像を含むウィンドウのセグメント、のいずれかの映像記録が、取得される。

画像コンバータは、ビットマップを、JPEGまたは他のフォーマットなどの、サイズ効率のより高いフォーマットにオプションで変換することができる。更新モジュールは、メディアについてのカテゴリー分類情報を生成するよう、また、そのメディアをカテゴリー分類情報とともにデータベースに格納するよう、構成されてよい。ある実施形態では、更新モジュールは、まずテキスト抽出モジュールを利用し、これは、画像内のテキストを検出して、そのテキストを更新モジュールに供給する。

カテゴリー分類情報は、プレゼンテーションについての日付・時刻情報、提示されている特定のプレゼンテーションについての識別子、画像の特性、プレゼンタまたは視聴者のいずれか一方から受信した補足情報、および画像内のテキストを含んでいてよい。あるカテゴリー分類情報は、プレゼンテーションが記録された後で生成され、一方、あるカテゴリー分類情報は、リアルタイムに生成される。

入出力モジュールは、メディアシステムを構成するインタフェースを生成するのに使用することができる。インタフェースは、メディアシステムそれ自体のコンソールインタフェース、メディアシステムに接続されたキーボードおよびモニターなどの入出力装置を介してアクセスされるグラフィカルユーザインタフェース、またはネットワークを介してアクセスされるウェブインタフェースであってよい。入出力モジュールはまた、オーバレイおよび補足映像をメディアシステムに伝達するのに使用することもでき、メディアシステムは、オーバレイを用いて画像を修正する。一実施形態では、入出力モジュールは、メディアシステムで動くウェブサーバを含んでいる。プレゼンテーションの視聴者は、ウェブサーバ上のインタフェースページを見ることによって、質問およびコメントを、プレゼンテーションに対するオーバレイとして、提出することができる。ウェブサーバはまた、データベースに記憶された画像に対するサーチクエリーを提出するためのインタフェースとしても使用することができる。

カテゴリー分類情報は、記憶されたメディアに対して使用することができる。カテゴリー分類情報は、メタデータおよび分類情報を含んでいてよい。メタデータは、メディアと関連付けて記憶することができ、メディアが初めて取得された時に生成することができる。分類情報は、メディアと関連付けて、あるいは、主情報として記憶することができる。分類情報は、リアルタイムではなくプレゼンテーション後に生成することができる。メタデータは、コンテンツ情報を含んでいてよい。コンテンツ情報は、記憶された映像が、単一のスライド画像、連続的な映像を含む映像クリップ、オーディオ、または何か他の種類のメディアを含んでいるかどうかを示すことができる。

メタデータは、テキスト情報をさらに含んでいてよい。テキスト情報は、テキスト抽出モジュールによってスライド画像から抽出されたテキストを含んでいてよい。情報は、テキストの全てまたは検索のための代表的なワードとして指定された特定のキーワードを含んでいてよい。テキスト情報は、スライド内の特定のテキストの重要度を示すウェイトまたは他の情報を含んでいてよい。例えば、テキスト抽出モジュールは、スライド画像の分類の際、タイトルテキストまたはセクションの見出しを認識し、そのテキストにより高い重要度を与えるようプログラムされることができる。

メタデータは、映像特性をさらに含んでいてよい。映像特性は、スライド画像から抽出された画像特性を含んでいてよい。これらは、色または識別性のある形状または他の画像品質を含んでいてよい。メタデータは、補足情報をさらに含んでいてよい。補足情報は、プレゼンテーション中に、プレゼンタ、自動エージェント、または視聴者によって提供されるオーバレイおよび他の情報を含んでいる。

分類情報は、画像が抽出されたプレゼンテーションに対する識別子を含んでいてよい。それはまた、プレゼンテーションに対する時刻および日付情報を含んでいてもよい。例えば、単一のプレゼンテーションに対する映像またはスライドの全ては、分類情報内で同じ識別子を含んでいてよい。プレゼンテーションデータはまた、関連付けて分類された単一のミーティングまたは単一の日に対するプレゼンテーションデータの全てと共に、ミーティングまたは日によってグループ化することができる。他の方法で関連付けられているプレゼンテーション同士を関連付ける人工的なカテゴリー分類を追加することもできる。

カテゴリー分類情報は、提出された検索リクエストに応答して、関連検索ユーティリティが、プレゼンテーションコンテンツをリトリーブするのに使用することができる。検索ユーティリティのユーザは、コンテンツまたは組織的なデータ（すなわち、プレゼンテーションが提示された場合、ミーティングまたはプレゼンテーションで提示されたコンテンツ）に従って検索することができ、検索ユーティリティは、検索リクエストにマッチするメディア、プレゼンテーション、またはプレゼンテーションのセクションをリターンする。

メディアシステムは、プレゼンテーション映像およびオーディオの少なくとも一方を、望ましくは、映像取得モジュールを介して、受け入れることができる。ある実施形態では、システムは、到来する映像ストリームを分析し、プレゼンテーションを示す特性を検出することによって、プレゼンテーションの開始を検出することができる。この処理はまた、検出された映像特性が、プレゼンテーションが最早伝送されないことを示している場合、記録を停止するのに使用することができる。メディアシステムは、プレゼンテーション情報を抽出することができる。このステップは、どのような種類のメディアが提示されているかの判定、スライド画像または映像ストリームの映像からの抽出、スライド画像のJPEGへの変換、およびテキストの画像からの抽出を含んでよい。このステップはまた、映像ストリームおよびオーディオストリームの抽出を含んでもよい。このステップはまた、ボリュームの変化に対するオーディオコンテンツの分析、スピーチからのワードの検出によるテキスト抽出、およびオーディオの任意の他の有用なまたは関連する特性を含んでもよい。オーディオコンテンツは、オーディオの特性、同時に検出された映像の特性、または両方に従って分類することができる。

システムは、映像信号から受信された入力をカテゴリー分類するための各種の方法を使用することができ、当該方法に応じて入力をカテゴリー分類することができる。一実施形態では、システムは、予め定められた数の連続したフレームを分析し、それを適宜カテゴリー分類することができる。一実施形態では、システムは、予め定められた時間より長い間変化しない映像フレームを検出することによって、スライドまたは他の安定したプレゼンテーションを検出する。

映像は、同様な方法で検出されることができる。一実施形態では、システムは、一連の連続したフレーム間の差を計算する。システムは、フレームが絶えず変化している（連続するフレーム間の差がゼロではない）一連のフレーム内の一領域をチェックする。連続的に変化する領域が見つかった場合は、映像クリップが再生されている、と判定する。ある実施形態では、システムは、変化していないフレームのセクションをクロップすることができる。別の実施形態では、フレーム全体がクロップされる。

メディアは、映像、スライド、またはオーディオを含んでいてよく、プレゼンテーション情報と関連付けて記憶されることができる。プレゼンテーション情報は、オーバレイで補足することができる。これらオーバレイは、プレゼンタ、自動エージェント、または視聴者から、入出力モジュールによって生成されるウェブサーバを介して受信することができる。一実施形態では、プレゼンタは、ネットワークインタフェースを介して、視聴者メンバーから質問を受けることができる。質問は、スライド画像上にオーバレイすることができる。補足された画像は、表示装置に出力されてもよい。

画像サンプリングモジュールは、コンテンツの種類を判定することができる。例えば、画像のセクションが連続的に変化し、連続セグメントとして記憶されている場合、映像クリップを識別することができる。一実施形態では、画像サンプリングモジュールは、予め定められた時間の間連続的に表示される画像をチェックし、それらの画像を静止画像として指定し、画像のビットマップを生成する。システムは他の判定基準を適用することもできる。一実施形態では、画像における任意のテキストのフォントサイズが用いられ、より大きなテキストは、画像がスライドであるより大きな可能性を示す。画像サンプリングモジュールは、メディアストリームからオーディオを抽出し、同時に取得された映像または画像に関連付けて記憶することができる。

画像コンバータは、コンテンツを、画像ではGIFまたはJPEG、映像ではMPEGなどのよりコンパクトなフォーマットに変換することができる。このステップは、オプションであり、ある実施形態では、画像は、圧縮されていない形態で記憶される。更新モジュールは、データベース内に新しいエントリを生成することができる。エントリは、メディアのコンテンツ種類および映像特性などの初期のカテゴリー分類情報と共に生成されることができる。

更新モジュールは、テキスト抽出モジュールを利用して、画像または映像からテキストを抽出することができる。テキストは、スライド内の特定のテキストの重要度を示すウェイトまたは他の情報を含んでいてよい。例えば、テキスト抽出モジュールは、スライド画像の分類の際、タイトルテキストまたはセクションの見出しを認識し、そのテキストにより高い重要度を与えるようプログラムされることができる。コンテンツは、データベース内に記憶されることができる。このステップはまた、抽出されたテキストおよび任意の他の補足情報の追加を伴うこともできる。

ある実施形態では、メディアシステムは、ネットワーク接続を介して、特殊なプレゼンテーション表示情報を伝送し、該情報は、視聴者の端末またはコンピュータで受信されて、受信者のコンピュータ上のアプリケーションによって処理および表示される。メディアシステムは、入出力モジュールを介して、視聴者またはプレゼンタのいずれかからの注釈を受け入れることができる。注釈は、コメントまたは補足オーバレイ（マウスまたは書込みツールを介してスライドに追加された描画）であってよい。別法として、注釈は、視聴者から伝送された質問またはコメントであってよい。ある実施形態では、質問またはコメントは、画像のプリセットされたセクションに表示される。

注釈付きのプレゼンテーションは、リアルタイムに表示することができる。別の実施形態では、注釈はプレゼンテーション中に収集され、プレゼンタが、プレゼンテーションのより早期のステージに戻った時、表示される。

スライド画像は、補足情報に蓄積された注釈とともに、データベースまたは他のメモリに記憶することができる。

コンピュータシステム上のアプリケーションモジュールは、プレゼンテーション生成プログラムの一部であるか、独立であるか、に関わらず、新しいプレゼンテーションの生成を検出するよう構成されている。アプリケーションモジュールは、メディアサーバ上のデータベースにアクセスするよう構成することができる。アプリケーションモジュールは、プレゼンテーションにおけるテキスト入力に従って、プレゼンテーションに対するサーチタームを決定することができる。アプリケーションは、該サーチタームを用い、関連コンテンツに対するデータベースを検索し、識別情報によりサーチタームを相互参照することができる。システムは、サーチタームにマッチする画像を提供し、ユーザにそれらを組み込むようプロンプトすることができる。ユーザの受入れに応答し、サーチタームを、プレゼンテーションに組み込むことができる。

本発明の他の特徴、態様および対象物は、図およびクレームをレビューすることにより得られる。本発明の他の実施形態が開発可能であり、それらは、本発明の意図および範囲から逸脱しないことを理解すべきである。

本発明の好適な実施形態についての以上の説明は、例示および説明のために提供したものである。本発明を限定的にしたり、あるいは、本発明を開示された形態に詳細に限定したりする意図はない。当業者には、多くの変更態様および変形例が明白であろう。該実施形態を、本発明の原理およびその実用例を最も良く説明するために選択し、記述し、それによって他の当業者が、予期される特定の用途に適した各種の実施形態について、また、各種の変更態様と共に、本発明を理解できるようにした。本発明の範囲は、クレームおよびそれらの等価物によって定義されることが意図されている。

本発明は、具体的に設計された集積回路または他の電子装置からなる実施形態に加えて、従来の汎用または専用ディジタルコンピュータまたは本開示の教示に従ってプログラムされたマイクロプロセッサを用いて簡便に実装され得るが、これは、コンピュータ技術に長けた当業者には明白なことであろう。

熟練したプログラマーならば、本開示の教示に基づいて適切なソフトウェアコーディングを、容易に作成し得るが、これは、ソフトウェア技術に長けた当業者には明白なことであろう。本発明はまた、アプリケーション特定な集積回路の作成によって、あるいは従来の構成要素回路の適切なネットワークを相互接続することによっても実装され得るが、これは、当業者には極めて明白なことであろう。

本発明は、記憶された命令を有する記憶媒体（メディア）であるコンピュータプログラム製品を含み、それにより、コンピュータをプログラムして本発明の処理のうちのいずれかを行なうことができる。該記憶媒体は、フロッピー（登録商標）ディスクを含む任意の種類のディスク、光ディスク、DVD、CD-ROM、マイクロドライブ、および光磁気ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気または光カード、ナノシステム（分子メモリICを含む）、または任意の種類の命令および（または）データを記憶するのに適した適当なメディアまたは装置を含んでいてよいが、それらに限定されない。

コンピュータ読み取り可能媒体（メディア）のうちの任意の一に記憶される本発明は、汎用コンピュータ、専用コンピュータまたはマイクロプロセッサのハードウェアの両方を制御するための、また、コンピュータまたはマイクロプロセッサを本発明の結果を利用する人間のユーザまたは他の機構とインターアクトできるようにするためのソフトウェアを含んでいる。このようなソフトウェアは、デバイスドライバ、オペレーティングシステム、およびユーザアプリケーションを含んでいてよいが、それらに限定されない。

本発明の教示を実装するためのソフトウェアモジュールは、汎用コンピュータ、専用コンピュータまたはマイクロプロセッサのプログラミング（ソフトウェア）に含まれる。

プレゼンテーション装置と表示装置との間で映像ストリームをインタセプトするスライドアナライザ装置を示す図である。 表示装置の一部であるスライドアナライザ装置を示す。 プロセッサおよびメモリを含むスライドアナライザ装置の一実施形態の図である。 スライド画像群を判定する方法の一実施形態を示すフローチャートである。 一画像における平均テキスト高さを用いて画像をスライドまたは非スライド画像として分類する実施形態を示す図である。 一画像をスライドまたは非スライド画像として分類するためのテキスト高さヒストグラム群の利用を示す図である。 該画像がスライド画像か非スライド画像かを判定するための、該画像の一エッジ領域または領域群の画像特性に基づくヒストグラムの利用を示す図である。 テキスト高さと画像群の一エッジ領域または領域群との両方を用いて、画像群をスライド画像または非スライド画像として特性付けする方法を示すフローチャートである。

符号の説明

１０，１８，２０ スライドアナライザ装置
１２ プレゼンテーション装置
１４，１６ 表示装置
２２ プロセッサ
２４ メモリ

Claims (23)

1. 映像ストリームの画像を分析し、該画像におけるテキストの高さを用いて、該画像がスライド画像であるかどうかを判定するプロセッサと、
   前記スライド画像を記憶するメモリと、
   を備えるスライド画像判定デバイス。
2. 前記プロセッサは前記画像に対して光学文字認識を行なう、請求項１に記載のスライド画像判定デバイス。
3. 前記プロセッサは前記画像の一の画像におけるテキストの平均高さと閾値とを比較する、請求項１に記載のスライド画像判定デバイス。
4. 前記プロセッサは、画像の平均テキストサイズが前記閾値より大きい画像をスライド画像と判定する、請求項３に記載のスライド画像判定デバイス。
5. 前記プロセッサは前記画像を取得するために前記映像ストリームをサンプリングする、請求項１に記載のスライド画像判定デバイス。
6. 前記プロセッサは、前記画像のテキスト高さのヒストグラムを生成し、該画像がスライド画像であるかどうかを判定するために、該ヒストグラム群に対して最近傍分類を行う、請求項１に記載のスライド画像判定デバイス。
7. 前記プロセッサは、前記スライド画像を判定するために、少なくとも一の画像のテキスト高さと、少なくとも一のエッジ領域と、の両方を用いる、請求項１に記載のスライド画像判定デバイス。
8. 前記プロセッサは、第一のスライド画像セットを判定するためにテキスト高さを使用し、さらなるスライド画像を判定するために、残りの画像を評価し、該評価のために、該第一のスライド画像セットの少なくとも一のエッジ領域の特性を使用する、請求項１に記載のスライド画像判定デバイス。
9. 画像の少なくとも一のエッジ領域を分析し、該画像がスライド画像であるかどうかを判定するプロセッサと、
   前記スライド画像を記憶するメモリと、
   を備えるスライド画像判定デバイス。
10. 少なくとも一の前記エッジ領域は所定数の行および列を含む、請求項９に記載のスライド画像判定デバイス。
11. 少なくとも一の前記エッジ領域は複数のエッジ領域を含む、請求項９に記載のスライド画像判定デバイス。
12. 少なくとも一の前記エッジ領域の輝度値を調べる、請求項９に記載のスライド画像判定デバイス。
13. 前記プロセッサは、前記画像を取得するために、映像ストリームをサンプリングする、請求項９に記載のスライド画像判定デバイス。
14. 前記プロセッサは、前記画像の少なくとも一のエッジ領域のヒストグラムを生成し、該画像がスライド画像であるかどうかを判定するために、該ヒストグラムに最近傍分類を行う、請求項９に記載のスライド画像判定デバイス。
15. 前記プロセッサは、前記スライド画像を判定するために、前記画像のテキスト高さと、少なくとも一のエッジ領域と、の両方を使用する、請求項９に記載のスライド画像判定デバイス。
16. 映像ストリームの画像を分析し、該画像がスライド画像であるかどうかを判定するために、該画像のテキスト高さと、少なくとも一のエッジ領域と、の両方を使用するプロセッサと、
    前記スライド画像を記憶するメモリと、
    を備えるスライド画像判定デバイス。
17. 前記プロセッサは、第一のスライド画像セットを判定するために、テキスト高さを使用し、さらなるスライド画像を判定するために、残りの画像を評価し、該評価のために、該第一のスライド画像セットの少なくとも一のエッジ領域の特性を使用する、請求項１６に記載のスライド画像判定デバイス。
18. 前記プロセッサは、前記画像の一の画像におけるテキストの平均高さと、閾値と、を比較する、請求項１７に記載のスライド画像判定デバイス。
19. 前記プロセッサは、前記画像の平均テキストサイズが前記閾値より大きい画像をスライド画像であると判定する、請求項１８に記載のスライド画像判定デバイス。
20. 前記プロセッサは、前記画像の少なくとも一のエッジ領域のヒストグラムを生成し、該画像がスライド画像であるかどうかを判定するために、該ヒストグラムに対して最近傍分類を行う、請求項１７に記載のスライド画像判定デバイス。
21. 映像ストリームを取得し、
    前記映像ストリームの画像を分析し、
    前記画像がスライド画像であるかどうかを判定するために、該画像におけるテキスト高さを使用する、
    機能を実行するために、プロセッサによって実行可能な命令を含むスライド画像判定プログラム。
22. 前記画像におけるテキスト高さの平均と閾値とを比較する、請求項２１に記載のスライド画像判定プログラム。
23. 前記画像のテキスト高さと少なくとも一のエッジ領域との両方が、前記スライド画像を判定するために使用される、請求項２１に記載のスライド画像判定プログラム。

Images