JP2015508514A - アプリケーション・データファイルからの情報のコンピュータ支援消費のための方法およびシステム - Google Patents

Abstract

本発明は、ユーザ提供パラメータおよび元のコンテンツの関連性の尺度に基づいて、ユーザ生成データを集積および集約するシステムおよび方法を提供する。ユーザのデータは既に存在する集積データと組み合わせて、ドキュメントまたは音声もしくは映像などの他の消費可能なデータファイルの関連マークアップを生成する。さらにドキュメントまたはデータファイルのマークアップしたバージョンをユーザに表示して、特に、効率の向上を助けるとともに理解の支援を行う。【選択図】図１

Description

関連出願の相互参照
本特許出願は特許協力条約に基づき出願され、ＵＳＰＴＯに出願された過去の３件の仮特許出願、２０１１年５月２４日に本発明者らのうちの２名Ｉｎｄｕ Ｍ． ＡｎａｎｄおよびＡｎｕｒａｇ Ｗａｋｈｌｕが出願した「アプリケーション・データファイルのコンピュータ支援リーディングまたはリスニングまたはビューイングのための方法およびシステム」と題する出願番号第６１／５１９５７８号、２０１１年７月２３日に本発明者らのうちの３名Ｉｎｄｕ Ａｎａｎｄ、Ａｎｕｒａｇ ＷａｋｈｌｕおよびＰｒａｎａｖ Ａｎａｎｄが出願した「ドキュメントのコンピュータ支援リーディングおよびアプリケーション・データファイルのリーディング、リスニングまたはビューイングのための方法およびシステム」と題する出願番号第６１／５７２，８２６号、並びに２０１２年５月２４日に本発明者ら４名全員が出願した「アプリケーション・データファイルのコンピュータ支援リーディング、リスニングまたはビューイングのための方法およびシステム」と題する仮特許出願に関係する。過去のすべての仮出願の内容を参照によりこれに組み込む。

本発明は、消費、つまり読視聴および編集のために「クラウドベース（ｃｒｏｗｄ−ｂａｓｅｄ）」機能を採用する様々なドキュメントおよびデータファイルから、例えば、読む、見る、または聞くことにより、ユーザの情報およびコンテンツの消費を支援するコンピュータ化された方法およびシステムに関する。本ＰＣＴ特許出願は、過去の仮出願の３件すべての開示をまとめたものである。

コンピュータの支援は、特にインターネットへのアクセスが一般的になって以来、多くの人間の活動において普及しており、現在コンピュータは新しい「情報」および問題に対する「クラウドベース」の解決策を生み出す主要ツールであり、ある人にとっての解決策は一般にインターネットで提供される多くのユーザからの入力から取得される。しかし、その情報の消費および取り込みに関係する読視聴などの活動は、いまだにほとんど独りで行われる。本発明は、消費者、読者、受聴者または視聴者等の成果および経験をクラウドソースされるコンピュータ支援による改善のために、他のユーザの努力および経験を利用する方法およびシステムを開示する。

このようなユーティリティの基本例は、１人以上の以前の読者がテキストの重要なセグメントと考えるものを「強調表示」することにより、テキストファイルの読者を支援する方法およびシステムである。こうして、この例の読者はテキストの強調表示されたセグメントに特に注意を払うことができ、一般には読む時間を節約することができ、以前の読者が重要なセクションを正確に強調表示していた場合には、テキストの鍵となる部分の理解が高まる。他の読者が強調表示したセクションに付与される有意性に読者が同意する場合、正の強化となるが、いずれの場合も学生読者が習熟曲線をより簡単に進むのを助けるであろう。

このことは一般の人々にとって複雑な主題を扱う書籍および記事に当てはまることが多いであろう。例えば、新興市場諸国の工業化の影響に関する記事には、記事全体にわたり人口動態や都市化に関する情報が散りばめられているかもしれない。このような傾向の環境への影響を探す環境専門家にとっては、読む価値があるセグメントはほんのわずかしかないかもしれないが、経済学を学ぶ大学生にとっては、この現象における労働力の役割を理解するために、記事の中からはるかに多くのことを学習する必要があるかもしれない。専門家が価値あると認めたものを見ることは、学生が自分で記事を読むときに指南することができ、その学力に応じて、記事を始めから直線的に読むよりは、情報の重要度によってより効率的に編成することができる。

または、小説の読者の場合、以前の読者の注釈は、読者が本全体の文脈の中ですばやく様々なテーマに関するセクションを見極めるのに役立てられるであろう。

当該マークアップされた素材の使用は、「クラウドベースのインテリジェンス」の最も単純な形態の一例である。学術テキストの以前の読者はドキュメントの重要なセクションにマークを付け、それが後の読者に特定のテキストにおいてそれらや他の重要なセクションをより容易に特定する利点を残す。新たな読者がその強調表示または下線の重要性に同意しない、またはその読者がその特定の時にその読者の特定の興味により関係するテキストの他の分野により興味をもつかもしれないため、一部の読者は以前の読者の注釈を無視する選択をするかもしれない。しかし、その読者のドキュメントを読む興味または動機に関わらず、他の読者が繰り返し重要なセクションにマークを付けることは、読者にとって興味深いドキュメントのさらなる分野を継続的に特定していく。継続的な校閲およびマーク付けにより、ドキュメントの同じセクションまたは分野を何度も強調表示することになる。複数の視聴者による複数回のマーク付けは、すなわち、何か特定の目的のために他の読者にとってドキュメントのセクションまたは分野の重要度を読者に示すことになり、読者はそのセクションの理解により念入りに努めようとすることになるだろう。

クラウドベースのインテリジェンスの他の例も豊富にある。例えば、いくつものウェブサイトはこれを採用して、オンラインショッピング、有名人もしくは音楽の人気度の追跡、またはインターネットで発行される記事もしくはブログの噂のお勧めを使って意思決定するユーザを指南する。これらのアプリケーションにおいて以前のユーザの見解は、しばしば星などのアイコンを使用して、何らかの形態の指標または描写により集積的に示される。

ユーザが特定のトピックに関する情報を投稿して、集積的に編集できる「ウィキ（ｗｉｋｉ）」として知られるインターネットサイトは、いくらか関連する例である。投稿された情報はその妥当性を大衆の合意および知識に負っている。ウィキおよび他のウェブベースのコンテンツ・インテグレータの経験から、このクラウドベースの方法は優れた情報を提供することに多いに成功していることが証明されている。

しかし、ウィキのクラウドベース技術はコンテンツを積極的に形作る投稿者の大集団によってドキュメントの共同開発を提供するが、読者はドキュメントを読むことは自力に任されている。他方で、本発明の重点は、インテリジェントクラウドの助けを借りたコンテンツの消費である。また、コンテンツに関する情報を提供する他のクラウドベースのユーティリティおよびサービスとは異なり、本発明の方法論はユーザの実際の消費を助けるためにコンテンツを分類する。

例えば、書体、下線または色を含め、フォーマットの差異化により記事の部分を強調表示する本発明で採用する技術のいくつかの機械的側面は、当技術分野で周知である。記事のライター自身または読者は、例えばコンテンツを強調し、効果的にしまたは記憶する目的のために重要と見なす記事の部分に強調表示または下線を使用することがある。

しかし、その強調表示の使用とは異なり、本発明は、ユーザのファイルの読視聴などの活動を積極的に支援する形式にコンテンツを合成するために、多くのユーザによるファイルコンテンツの強調表示またはマークアップの新規な使用を開示する。

ここで記事またはアプリケーション・データファイルの強調表示またはマークアップの使用は、注釈が「クラウドベースのインテリジェンス」の直接の結果ではなく、多くのユーザからの入力から体系的にまとめられていない様々な注釈付きの出版物、例えば、文学、科学、医学、法律、政治および他の種類の定期刊行物または雑誌とも区別可能に異なる。

本出願および関連出願で開示される発明で使用されるとき、「クラウドベースのインテリジェンス」モデルは、多数の校閲者がコンテンツ素材を強調表示、編集および校閲して、その強調表示、校閲および編集を他のユーザと共有することのできる方法およびシステムの主要要素を形成する。本方法およびシステムは、ユーザが重要なファイルのセクションを特定すればするほど、後のユーザがその集積的に統合化された識見からより多くの便益を受けるように作用する。

本発明で使用される強調表示は、ユーザがウェブサイト内のコンテンツにコメントを投稿できる「Ｇｏｏｇｌｅ Ｓｉｄｅｗｉｋｉ」および「Ｒｅｆｒａｍｅ−Ｉｔ」など、プログラム内のウェブ注釈の形態とも大幅に異なる。これらのプログラムはウェブブラウザと連動して、ユーザがウェブ閲覧可能ページにアクセスすると、プログラムがそのウェブページに関連するコメントを検索できるように稼働する。そのため、プログラムがユーザに自身のコメントをするように促し、または許可することが多い。

しかし、この種のウェブ注釈のプログラムはウェブサイトにより多くのコンテンツを追加するだけであり、大勢のユーザからの入力を統合しようとはしていない。このため、クラウドインテリジェンスは本発明ほど十分に利用されていない。

本発明を案内し特徴付ける考えは次の通りである。クラウドベースシステムの真の利点は、多数のユーザ入力が、少なくとも統計用語でユーザにとっての「関連性」（または類似パラメータ）の測定可能な指数に最終的に結合する場合に実現される。このような結合がなければ、ユーザは最も正確で関連性があり、重要なものは何かを判断する助けなく、多くの個々の入力の注釈付きデータを苦労して読まざるを得ない。

さらに、他の普及している方法およびシステムと異なり、本発明は、コンテンツファイルを読むまたは聞くまたは見るかを問わず、コンテンツの消費に関するユーザの知識、理解および経験を向上させる目的で、クラウドソースの入力を結合していかにコンテンツの消費者を関連性のある重要なコンテンツの部分に支援して導くかを示すことができる。

本発明は、ユーザにコンテンツをマークアップさせて、そのマークアップ、強調表示、コメントおよび注釈を他のユーザと共有させることによって、コンテンツの消費者を支援する方法およびシステムを開示する。例えば、読者のドキュメントファイルのコンテンツを読む速度、理解および記憶力の向上を支援することができる。

より一般的には、本発明によりユーザは、例えばドキュメントまたは他のデータファイルを非線形的に読む、聞くまたは見ることにより、他のユーザの入力に案内されるが、ユーザの能力、興味および優先順位に一致するコンテンツの消費が可能となる。

読む、聞くまたは見る等の効率を改善するために、各ユーザ生成強調表示またはマークアップを以前に作成したマークアップの集積と合成する。合成アルゴリズムは一般に、コンテンツの性質並びに読者の能力および嗜好に依存する。各強調表示は、各注釈付きのセクションの関連性を判断するように設計されたアルゴリズム計算、算術計算または統計計算により既存のマークアップに統合してもよい。合成の計算は汎用であってもよく、または消費者が提供する基準に従いカスタム生成してもよい。以前のユーザ数が増え、コンテンツの同じセクションに次々にマークアップが付けられるにつれて、各注釈付きのセクションの関連性評価点はより正確で安定的になる。この文脈における「関連性」とは、「大衆」の入力を合成できるパラメータの例である。本明細書でパラメータの他の例をあげる。

大衆の「知恵」を利用する別の利点は、専用の編集者チームを必ずしも必要としない拡張性のあるアーキテクチャを提供することである。代わりに、システムはコンテンツの生成および消費両方のためにそのユーザに依拠する。

ドキュメントを読む状況において、方法は別の読者がドキュメントを読むのを助けるために「インテリジェントクラウド」を利用するのに対し、例えば音声または映像など他のフォーマットのデータファイルの消費の場合のためにアイデアが適切に修正および推定される。この文脈において「インテリジェントクラウド」とは、以前に同じドキュメント（またはデータファイル）を読んでおり（または消費、聞いたもしくは見た）、１以上の所定の有用性の定義に従って様々なセグメントの有用性を特定したユーザのグループを意味する。この文脈において、読者はそのドキュメントもしくは主題が初めてであっても、または初めてでなくてもよく、集積インテリジェンスがクラウド生成でマークアップされるドキュメントもしくはコンテンツ全体に貢献する大衆の一部であってもよい。

例えばドキュメントを読む特定の場合における方法および対応する実装システムは、そのドキュメントを読んだ多くの以前のユーザによって分類され、合成のための様々なパラメータ値が提供されるドキュメントのセグメントを想定しており、パラメータは、各ユーザ自身の主題の精通度もしくは専門知識および指定される目的の集合のためにそのセグメントの「有意性」のユーザの推定を含めた基準に基づいてもよい。ユーザの「インテリジェント」クラウドは総称的に「編集者」または「校閲者」と呼ばれ、人間のユーザとともに、その他関連する基準を満たし、指定される目的のためにドキュメントのセグメントの有用性に関する情報を提供するマシン、デバイスまたはプログラムを含んでもよい。編集者または校閲者として機能するマシン、デバイスまたはプログラムは、ハードウェアまたはソフトウェアによって作動可能でもよい。この文脈における「読者」とは、素材もしくはドキュメントに精通していなくてもよく、または以前にドキュメントを素早くスキャンして、それを詳しく読むために戻っている人でもよい。クラウドベースで集積化された強調表示またはマークアップは、セグメントのマークアップに対する読者の以前の入力であってもよい。

ドキュメントのセグメントの分類に使用する基準のいくつかの例を以下にあげるが、これは本発明の実際の実施の指針となるだろう。

より一般的には、本発明は、他の消費者の入力を活用したい消費者が所望もしくは判断する消費「効率」のために、セグメントレベルでドキュメントまたは音声もしくは映像などの代替媒体のデータファイルをマークアップする（例、差異を付けるために強調表示もしくはその他フォーマット化することにより）新規で汎用性のあるクラウドベースの方法およびシステムを開示する。例えばドキュメントの場合、これら他の消費者とは同じドキュメントを以前に読み、または他の媒体の場合は、データファイルを聞いたもしくは見て、合成された集積バージョンに含める入力を同様に提供した読者である。

データファイルのセグメントとは、編集者、校閲者または消費者がそのように参照できるデータファイルの識別可能部分である。例えばドキュメントの場合、ドキュメント内のある単語、句、文もしくは段落でよく、さらには単一のアルファベット文字もしくは特殊文字でもよく、または１以上のページ長でもよい。映像ファイルの場合、その中で識別できる個々のフレームもしくはセルまたはそのいずれかの部分であってもよい。音声ファイルの場合、楽曲のある音符、音節もしくはその断片、または１以上の歌詞であってもよい。他の例は、音声ファイルの場合、合奏のある単一楽器のサウンドストリーム、映像ファイルの場合は、ストリーム内のある単一の対象物である。データファイルのこのようなセグメントをマークアップし、前記マークアップをシステムに伝達することが可能であることが重要である。

前述したように、一方のサマライザまたは「インテグレータ」プログラムと、他方の本発明とは大きな違いがある。本発明はサマライザおよびインテグレータよりはるかに優れ、ユーザ制御下でより広い範囲のパラメータをカバーし、最も重要なことに、ドキュメントを効率的に読み、または他の媒体ファイルを聞くもしくは見ることによりコンテンツを消費するときに積極的に支援するために使用することができる。

しかし、Ｇｏｏｇｌｅ ＳｉｄｅｗｉｋｉおよびＲｅｆｒａｍｅ−Ｉｔなどの読者のコメントおよび強調表示を提供するプログラムにおいて、読者のコメントのランキング以外のコメントの結合はない。対して本発明は、ユーザ各人により強調表示されたセグメントを結合してから、最も関連性のあるセクションをオンデマンドでユーザ／読者に表示する。さらに強調表示した追加の挿入コメントを評価して、まとめることもできる。

例えば、Ｇｏｏｇｌｅ Ｓｉｄｅｗｉｋｉの１００人のユーザ全員がウェブサイトで同じ文に対してコメントする場合、そのプログラムは各々すべてのコメントとそれに関連した強調表示を表示し、または代わりに、十分高いランキングのものだけを表示する。本発明では、強調表示は重複している場合には結合して、「関連性」の計算もしくはランキング、またはその両方に基づいてより目立つように表示することができるだろう。これにより、集積ユーザのインテリジェンスの結合を可能にするとともに、大量のマークアップを表示する縮約方法を可能にする。加えて、各強調表示に関連するコメントを他の同様なコメントとまとめることもできるであろう。これにより読者は例えば共通のテーマおよび文字を見つけることができ、システムは任意でそれに関連するコメントに基づいて強調表示を分類することができるであろう。

コメントのクラスまたはカテゴリには非常に柔軟なスキームが考えられる。より広い範囲の視聴者と共有するため、または読者／受聴者／視聴者が個人的に使用するために、コメントのクラスもしくはカテゴリまたは強調表示の様々な差異化の要素を編集者／校閲者が作成して追加してもよい。このようにより多くのカテゴリが追加されるほど、集積的な入力に基づいてシステムの実装は有機的に成長することができ、カテゴリ／クラス構造は展開される。例えば、「労働関係の歴史」などのカテゴリは、ユーザがそのニーズに応じて、法律、歴史または経済のカテゴリ内で強調表示もしくはコメントするために興味ある１以上の記事を校閲しもしくは読みながら、タグとして作成することができる。システム・アプリケーションはこれらタグのライブラリを維持する。

所定のドキュメントについてユーザの数が増えるにつれて、データファイルの様々な部分について生成される「有意性」もしくは「重要度」のレベルがよりはっきり区別されるようになるとともに、消費者分類の多様性が大きくなる。ユーザの興味はカテゴリ体系を進化させ、より多くのカテゴリが浮上するのに対し、まれにしか購読されないカテゴリは階層内で低下する。本発明のこれらの側面は詳細な説明で詳しく説明する。

本発明の方法論は、他のユーザ、例えば利用できなかった方法でコンテンツの共同開発のためにも利用することができる。例えば、ドキュメントまたはデータファイルを複数の改訂にわたり合成することができる。例えばドキュメントに５つの版がある場合、その１４人の共同編集者は改訂版の一定のセグメントを強調表示することができ、本発明の方法およびシステムを使用することによって、改訂履歴の優先版を利用して集約化された最終コピーを自動的に生成することができる。

本発明の状況において考えられるのは、多段階プロセスとして強調表示するパワフルで新規な方法である。初回に、特殊マーキングコマンドにより重要なページ、段落または節を広く特定してから、次の段階で、特定したページ、段落または節の中で正確な１以上のセグメントを特定する。以下説明するように、この多段階強調表示プロセスは、他の媒体のデータファイル、テキストドキュメントおよびデータファイルのすべての種類を本発明の方法に従って処理する重要な利点を提供する。

さらに、データファイルの強調表示／マークアップ活動は本発明のシステムによって利用される一次機能であるため、「強調表示」を作成し通信する能力の新規な価値あるツールボックスを提供することが考えられる。システムの専用コンポーネントが「強調表示」機能のデータ維持および処理を実行してもよい。

図１は、本発明の基本構造のフローチャートである。 図２は、ドキュメントのために示される校閲プロセスのフローチャートである。このプロセスは代替媒体ファイルのものと同一である。これにより編集者はセグメントをマークアップし、ドキュメント／データファイルにコメントを追加できる。記憶された値または入力された値によって、編集者の専門レベルも処理する。 図３は、画像の粗い強調表示の図である。 図４は、以前の編集者がマークアップを付けたドキュメントに新たにマークアップしたドキュメントを統合するプロセスのフローチャートである。 図５は、視聴プロセスのフローチャートである。 図６は、ドキュメントを読むためのサンプルのユーザインターフェースのスクリーンショットである。 図７は、複数のユーザがどのように強調表示し、ドキュメントを読む場合にそれに関連するコメントを表示するかを実証するスクリーンショットである。 図８は、ドキュメントを読む場合に、ユーザがシステムのバックエンドといかに対話するかを説明するチャートである。視聴ユーザの場合のフローは、非常に類似した方法でシステムに対話する。 図９は、システムのバックエンドのあるレイアウトを図示するチャートである。 図１０は、強調表示を統合するある方法を示す図である。 図１１は、一対の統合によって強調表示の集積化のマトリックスを図示する。 図１２は、「多回数」強調表示で説明する粗から密へのマークアップを図示する。画像のすぐ内側の外枠は１回目での粗いマークアップであったが、影の反射周囲の内枠は２回目の精密なマークアップである。同様により多くの繰り返しを行うことができる。 図１３は、校閲者の記憶されているプロファイルの構造を図示する。

本発明の本質は、例えばコンテンツを読み、聞きまたは見ることによって、情報の消費の効率を高め、所望のコンテンツの最も関連のあるセグメントの正確な反映を作るためにクラウドソーシングを利用することによって理解を向上する方法およびシステムである。各編集者が強調表示（またはマークアップした）データファイルのセグメントを集積的に処理したファイルに追加すると、本発明のシステムは計算（これは統計計算もしくは確率計算でもよい）を実行して、セグメントの「有意性」または「関連性」を判定する。この文脈における有意性または関連性の意味は、主題、読者および／もしくは校閲者の嗜好、または有意性に影響を与え当業界で周知の他の特定の基準に依存してもよい。より多くの強調表示が追加されるほど、このプロセスはより安定し正確な結果を導く。

テキストファイルに関係する方法およびシステムは、関連の仮特許出願第６１／５７２，８２６号で説明した。他の関連の仮特許出願において、音声または映像または視覚画像などの代替媒体のコンテンツを含むデータファイルの場合に適用した。方法は、テキスト以外の媒体にも自明の方法で適用される。この中核概念は実際に、「セグメント」、「強調表示またはマークアップ」および「有意性」等の意味を確認もしくは指定することができる場合には必ず、また２つの非同一のセグメントの和集合および共通部分の集合論的観念を識別もしくは割当できる場合には、代替媒体に適用可能である。しかし、これらの他の媒体とテキストとのいくつかの違いは、本明細書に記載するように詳細に考察する価値がある。

映像セグメントは多様な方法で強調表示することができる。最も単純な形態は、ある映像内の単一の対象物を強調表示することである。映像のセグメントは単一画素程度に小さくてもよい。単一の対象物が映像の任意の数のフレームに存続してもよい。これによりユーザと強調表示に基づく計算のどちらにとっても精度を増すことが可能になる。強調表示は映像ファイルの単一のセグメントに限定される必要はなく、複数のセグメントおよびファイルに及んでもよい。複数の編集者が同じセグメントを強調表示すると、システムは入力を自動的に結合する。テキストと同様に、映像または画像ファイルについて複数の強調表示を結合して合成することで、多くの個人は最も関連のあるおよび／または正確なセグメントを判定できる。強調表示が結合されると、システムは最も関連のあるセクションのすべてから構成される個別の映像を生成してもよい。

画像に適用する場合の本発明の方法は、映像ファイルのモデルに密接に従う。ユーザは画像全体の任意の部分をマークアップしてもよく、画像の複数のセクションを単一の強調表示に連結することができる。強調表示はあらゆる利用可能な媒体を使用して複数の画像にまたがってもよい。

本発明は、映像またはテキストについて説明したのと同様な方法で、ユーザの消費のために音声データファイルを強調表示するために使用してもよい。音声は、音、電気またはその他の表現である。ある程度修正を加えると、請求されるシステムの指針原則は音声ファイルにも有効で、ユーザはデータのセグメントを強調表示することができ、さらにシステムは関連性について結合し、ユーザはより容易に情報を消費できるようになる。

絵文字的言語は、画像とテキストの両方の特徴を併せ持つため、興味深い同様な事例を提示する。修正を加えると、本方法は、自然的意味を「セグメント」、「強調表示」および「有意性」の用語に割り当てることができるため、この形態の言語に利用可能である。

強調表示の形態
ファイルの強調表示またはマークアップはいくつかの方法で達成することができ、セグメンテーション、有意性およびマークアップの伝達可能な定義を可能にするデータの媒体またはフォーマットに適した形態を選択してもよい。

このように、例えば、データファイルのフォーマットに応じて、マーキング／強調表示の動作は、次の数段落で説明する方法のいずれかで達成することができる。

テキストの場合：
ｉ． 紙上であるセグメントに下線を引くのと同様な動作、例えば、スタイラスの使用、タッチスクリーンへのタッチ、マウスのクリックおよび／またはドラッグ等により、ファンクションキーを介してセグメントの最初と最後をマーキングすることによってセグメントを特定する。
ｉｉ． 特別なコマンドの使用、適切なアイコンの挿入による文字の範囲の画定、または例えばスタイラスを使って一定時間量作業面をクリックもしくは画面をタッピングするなど特定の動作によりセグメントの最初と最後を指示してセグメントを特定する。
ｉｉｉ． 例えば、初回に広く特定するアイテム内に特殊マークを付けて有意なページ、段落もしくは節を広く特定してから、次の回で有意で正確なセグメントを特定して、複数回でセグメントを特定する。
ｉｖ． ユーザが有意なページ、段落もしくは節の粗い（広いレベル）の特定を素早く生成し、またはセグメントの精密な「精密レベル」の特定を指定することのできるコマンドおよび動作のツールボックスおよびそのシステムサポートを提供する。これらのコマンド／動作はグラフィックアイコンで実施してもよい。
ｖ． 単一のコマンド、ユーザによるアイコンのクリックもしくは配置から、広いセグメントの最初と最後を自動的に計算することにより、システムが粗いセグメンテーションを生成できるようにする。粗いセグメンテーションの例は、アイコンもしくはクリックを配置する線、段落またはページを含む。
ｖｉ． 特に、有意性のレベルもしくは階層を示すため、セグメントの境界を画定するため（例えば、長いセグメントにマウスをドラッグする代わりに特殊文字を採用してセグメントの始めもしくは終わりを示す）ための「強調表示」コマンド、「私用」対「共用可能」の強調表示を示すための特殊ツール／コマンド、対応するセグメントの強調表示の有無に関連したコメント表示もしくは配置のための特殊ツール／コマンド、コメントの媒体（例、テキスト／画像／映像または他の媒体）を示すための特殊ツール／コマンド、コメントの性質（例、コメントに関係するテーマ／主題、「強調表示されるセグメントに無関係」、「完全に一致」等などの一般的なコメント）を示すための特殊ツール／コマンドを含むツールボックスを提供する。
ｖｉｉ． 段階的なマーキングの利点。読者の速度を落とさず、要約を可能にし、システムはマークアップするために校閲で特定された節を持ち出すことができる。
ｖｉｉｉ． 粗いページ／段落／節等の識別子は、例えば有意性レベル、コメントの性質等のパラメータの差別化を表現するために「カラーコード化」またはその他の形で差異化してもよい。

音／音声の場合：
（ｉ）始めと終わりを指定するタイムスタンプで音声セグメントを特定する。
（ｉｉ）音声ファイルの付随する非言語部分に関連する場合、音声内の単語／テキストを指定する。
（ｉｉｉ）音声ファイルの合奏から特定の楽器を特定する。
（ｉｖ）音、音符または音節を指定する。
（ｖ）方法ｉ〜ｉｖのいずれかにより「粗い」セグメンテーションを指定してから、次の回で精密な詳細でマークアップを指定する。

視覚画像／映像の場合：
（ｖｉ）始めと終わりを指定するタイムスタンプで映像セグメントを特定する。
（ｖｉｉ）映像ファイルの映像または付随する非言語部分で単語／スクリプトを特定する。
（ｖｉｉｉ）特異的に特定可能な対象物を特定する。
（ｉｘ）特異的に特定可能な画素を特定する。
（ｘ）方法ｉ〜ｉｖのいずれかにより「粗い」セグメンテーションを指定してから、次の回で詳細にセグメントをマークアップする。
（ｘｉ）例えば興味のある分野の周囲に四角を描いて、簡単に配置するためにツールまたはアイコンでセグメントの「粗い」レベルの特定を指定する。

マークアップしたデータファイルの処理および合成
本発明の背後にある中心的な考えとは、情報の消費者（読者／受聴者／視聴者／等）が以前のすべてのユーザの知識および専門知識から便益を受けることである。集積的な「クラウドインテリジェンス」は効率および理解を高め、経験を改善しながら、消費者をデータファイルの最も重要なセクションに案内するのを助ける。

強調表示／マークアップしたデータファイルの処理の目的を達成するにはいくつかの可能性が存在する。したがって、本発明のある実施形態では、所定のドキュメントを読む、または音声ファイルを聞く、または画像もしくは映像ファイルを見る編集者は重要なセグメントをマークアップしてもよく、編集者が「重要」と見なすものを、編集者、コンテンツの消費者および他のユーザに発行される「重要」または「有意」の定義に応じて他のすべてのユーザと共有してもよい。データファイルの強調表示は、マークアップの結果として明示的なコマンドまたは黙示的のいずれかで、適切な素材を単に選択して、それを提出することによりいくつかの実施形態で達成してもよい。編集者は強調表示されたセグメントの共有の有無に関係なく別のコメントを追加する機会をもってもよい。

別の潜在的な実施形態では、重要であると実証するためにセグメントを強調表示することに加えて、編集者は、ある特定のセグメントが重要ではない、または関連がないと示してもよい。さらにシステムはこれを全体的な関連性計算で考慮するだろう。さらに、ユーザ（編集者／校閲者または読者／受聴者／視聴者）には、グラフィックまたは数値評価モデルを利用することによって、関連性基準または別の独立した基準に関してセグメントを評価する機会が与えられるであろう。

別の実施形態では、編集者はコメントを評価することもできるであろう。これはコメントの関連性の計算で考慮されよう。加えて、編集者はコメントにコメントすることもでき、反復のレベルを促進することができるであろう。

一旦選択が行われて提出されたら、以前の選択と結合される。２つの選択が重複する場合、それは１以上の算術的もしくは統計的な式またはアルゴリズムを使って結合してもよい。

ある可能な実施形態において、結合はマトリックスを使って行われる。この方法では、２人の編集者が同じ選択を強調表示すると、システムは記憶されたマトリックスを参照して、強調表示がどのように読者に現れるかを判定するであろう。２人の編集者が同じ選択を同じくマークする場合、マトリックス計算でシステムが強調表示をその共通の予め設定された方法で表示するかを伝えてもよい。２人の編集者が強調表示されたセクションの分類に同意見ではない場合、マトリックスは２つのコンポーネント別の強調表示のどれを表示し（およびどのように）、または２つのコンポーネント別の分類から合成される第三分類を計算して表示するであろう。これは、それぞれの強調表示に異なる重みを与え、任意で図１１に図示するマトリックスから逆斜線計算と組み合わせる。

本発明のシステムは、前述したように、テキストドキュメントまたは音声または画像または映像データファイルかどうかに関係なく、強調表示／マークアップしたデータファイルをいくつかの方法で表示することができる。２人以上の編集者の意見が異なる場合、最も意味ある方法で強調表示／マークアップしたデータファイルを合成して表示する方法に関する決定を行わなければならない。合成および表示を達成する方法は、データファイルの媒体および元の主題に基づいて決定するのが最もよいであろう。２人のユーザが強調表示されるセグメントの関連性に関して意見が異なる場合、システムは各ユーザの選択の重みを計算して、強調表示される素材を読者にどのように表示するかに関する決定のために関連性の重みを使用してもよい。分野の専門レベルが高いユーザは初学者が行う強調表示よりも高い重みをもつように、重みは、例えば、ユーザの専門レベルに基づいてもよい。

重みを使用する一般的な方法は、特殊な場合として、以前の編集者が作成した強調表示の集合にある編集者の強調表示を統合することを可能にするであろう。集積化された強調表示の重みは、多くの集積的な意見を表すため、一般に単一の編集者のものよりも高くなろう。ほとんどの場合、単一の編集者が集積に一致する強調表示を追加する場合、集積の重みは増す。編集者の意見が異なる場合、重みは減る。数人の編集者による強調表示の統合により重みが増減するにつれて、ユーザに対する表示は強調表示の関連性または意味の変化を反映する。

当業者に周知で、「関連性」などのパラメータの値を測定する統計計算および確率計算の他の方法が考えられる。例えば、強調表示および／または強調表示に関連するコメントをランク付けするために、ベイズモデルまたはカルマンフィルタリングを採用してもよい。

テキストファイルの場合、別の潜在的な実施形態は、セグメント内の各単語の強調表示の数に基づいて強調表示を結合してもよい。単語が強調表示される回数が多いほど、セグメント内の強調表示の総数に比例して、その評価点が高くなる。このプロセスは計算からストップワードを除外することにより一層改善できるであろう。

本実施形態の方法は、非テキストのデータファイルに適用してもよい。音声ファイルの場合、特定の言語、音符、音節または音（例、合奏内のある特定の楽器の音）がファイルに出現または優勢する回数の同様なカウントを維持して、集積的な強調表示の合成および表示のために使用する。画像または映像ファイルの場合、視覚的特徴または対象物がファイル内に出現する回数のカウントを同様に維持して、その結果集積的な強調表示で支持されてもよい。

ある潜在的な実施形態において、編集者の専門レベルは編集者自身によって提供される。システムは、編集者がその専門分野を入力する登録システムを含んでもよい。これは編集者がマークアップするカテゴリと比較してもよい。例えば、編集者のプロファイルが物理学カテゴリの記事の編集のために、物理学博士号を示す場合、システムは彼らを専門家として認識してもよい。編集者はドキュメントのサブフィールドに自分の専門を示すこともできるであろう（例えば、原子炉）。このように物理学博士号をもつ専門家は原子炉の専門ではないと主張してもよい。

ある実施形態において、システムが編集者の専門レベルを自動的に生成する場合、任意の数のパラメータに基づくことができるであろう。例えば、システムは編集者の以前の強調表示を見て、読者に各強調表示を評価させ、さらにその評価点を編集者の専門評価点に結合することができよう。システムは所定のカテゴリの以前の強調表示数、または学術的な公開データベースの引用を考慮することもできるであろう。

システムは強調表示を生成するために始めからクラウドソーシングだけに依拠する必要はない。ドキュメントは公開する前に人によって内部で校閲することができよう。このドキュメントの強調表示の「シード処理」は、編集者が自身の強調表示を始められる基盤を提供するだろう。十分な外部の編集者がドキュメントを強調表示してしまえば、シード処理された部分は希薄化されることになり、最終的には強調表示は主にインテリジェントクラウドに基づくことになる。

別の潜在的な実施形態において、システム自身が、例えばオンデマンドにより、強調表示を生成する能力をもっていてもよい。これはユーザの以前の履歴と同様なコンテンツおよび手段との比較によって達成できるであろう。例えば、システムは以前の編集者に対する現在の読者のドキュメントの閲覧履歴、または読者の経歴を使用してドキュメントを強調表示してもよく、または強調表示の根拠をドキュメントの最初の数セクションを読むときの読者の行動に置いてもよい。

システムは、全体としてのドキュメントのカテゴリに加えて、各強調表示のカテゴリを判定してもよい。例えば、ドキュメントが主に法律概念に関するものであったが、経済分析も含んでいた場合、システムはドキュメント全体を「法律」として分類するが、経済分析を強調表示して、「経済」カテゴリでそれをラベル付けすることもできるであろう。

別の実施形態は、ユーザが読者または編集者のいずれかとして自分の役割を選択することができる。「読書モード」では、ユーザは読者として行為し、付随する強調表示のあるドキュメントを見る。そのモードでは、読者は自身の個人的な利用のために自身のコメントまたは強調表示を追加することができるが、それを他者と共有しない選択をしてもよい。読者はディスプレイの個々の区画に各強調表示についてのすべてのコメントのリストを見ることもできる。読者はいつでも「編集者／校閲者モード」を切り換えられ、付随するコメント付きの強調表示を追加してから、それを他のユーザと共有することができる。

編集者として行為するユーザは、モードを明示的に切り換えなくとも読者／受聴者／視聴者として行為してもよい。当該ある実施形態において、ユーザは編集者または読者としてかに関係なく、自身に利用できるすべての潜在的な行動をとることができる。したがって、編集者としてのユーザは強調表示またはコメントを共有するが、いくつかの強調表示またはコメントを個人的な利用にのみとどめる機会も与えられてもよい。読者／受聴者／視聴者がモードを編集者に切り換えることは、例えばプロファイルを完成させるなど、編集者の要件を満たした後でのみ、いくつかの実施形態でのみ可能としてもよい。

関連性評価点または専門家評価点の判定を助けるために、システムは以前の活動のユーザデータを記憶して、それをこれらの計算に適用するだろう。例えば、編集者が先進的な物理学の出版物からのセグメントを頻繁に強調表示する場合、システムは物理学の分野におけるユーザの専門家評価点を自動的に上げることができるであろう。読者の場合、システムは読者が関連あると頻繁に評価する強調表示の種類を追跡して、それに応じて評価点を調整できるであろう。

データファイルの処理／合成におけるユーザコメントの役割
強調表示を合成するための一定のアルゴリズムでは、強調表示を伴うコメントを使用して、重みを提供または修正してもよい。この計算は強調表示されるセグメントの統計計算または確率計算に追加してもよい。

ユーザ評価点は粗い「統計に基づく」決定のために使用してもよい一つの要因であるが、他の潜在的な実施形態は当業界で周知のはるかに高度な統計手法を採用することができるであろう。あるシステムはコメントを比較し対比させるために潜在的ディリクレ配分法（ＬＤＡ）を適用する。

ドキュメントの場合、この方法はまず訓練データセットを取得して、それを予め設定した数のトピックに分割する。トピックの数は、システムにとって最も正確な表現を見つけるために調整する必要があるだろう。さらにアルゴリズムは各トピック内の各単語の確率分布を計算する。また、ドキュメントで発生する各トピックの確率を計算する。これらの確率が計算されると、アルゴリズムはさらに新たなデータにモデルを適用して、所定の記事またはトピックに出現する所定の単語の確率のベクトルを出力することができる。

本発明にＬＤＡを適用すると、編集者が新たなコメントを実装するとき、システムは新たなコメントの確率ベクトルを作成するであろう。さらにベクトルにすでに存在するコメントのベクトルを乗じることによって、システムはコメントの類似度を比較できる。計算結果が一定の閾値内にある場合、システムはコメントをまとめる。まとめられたコメントで読者は「大衆」が強調表示されたセグメントが有意であると考えていることを見ることができる。例えば、複数の編集者があるセグメントに「重要」、「必須」、「極めて重要」および「基本」とラベル付けしている場合、システムはこれらをまとめるであろう。これにより、強調表示の目的がすぐに読者に認識できるようになるだろう。このことは、強調表示されたセグメントが長く、複雑、または扱いにくい場合には特に便利である。

元のデータファイルが非テキストであるが、コメントがテキスト形式（一般にはそうであることが期待されるため）である場合にコメントを同様に編集してもよく、ＬＤＡを音声／映像／画像データファイルのコメントをまとめるために使用してもよい。

強調表示されたセクションへのコメントおよび他のコメントへのコメントは、何らかのデジタル表現を取ってもよい。したがって、ある実施形態では、動的に変更可能なコメントと組み合わせる強調表示は、コンテンツの消費およびコンテンツとの対話の他の新規な方法を導いてもよい。例えば、真に自己決定的な学習用にドキュメントの読者のために、講師が質問、またはカスタマイズ可能な質問を生成するための指示を埋め込んでもよいだろう。

別の実施形態では、編集者は強調表示同士の繋がりを入力してもよい。これは例えば、編集者が複数の強調表示への参照を指定できるコメントの形態をとることができるであろう。例えば、元のコンテンツが訴訟事件であった場合、編集者は裁判所が事実を説明するセグメントを強調表示し、さらに裁判所がその事実を法律の規則に適用するセグメントにそれを連結することができるであろう。これらの繋がりは読者が特定の文字またはテーマなどドキュメントの一定の側面を追跡することも可能にしてもよい。

さらに、この実施形態では、コメントと強調表示との繋がりを類似のコンテンツまたは関係あるコンテンツのあるドキュメントから別のドキュメントに引き継がせることが可能であり、２つの異なるドキュメントにおいて強調表示とコメントとの繋がりをシステムが示唆し、または読者が関連付けることが可能である。

この実施形態の変型例において、データファイルが音声、映像または画像ファイル等である場合に、編集者が強調表示同士の繋がりを入力できるようにすることも同様に可能である。ドキュメントがコメントフィールドに挿入してもよい楽曲および／またはフィルムクリップの録音・録画に関係する場合など、異なる媒体のファイル同士の繋がりを編集者が示すことも同様に可能である。本発明の方法は実際、このように使用される場合、通信の価値あるモダリティを提供することができる。

マークアップされたデータファイルの表示
本発明の背後にある中心的な考えとは、情報の消費者が同じまたは同様な情報の以前の消費者全員の集積的なインテリジェンスによってデータファイルの最も重要なセクションに関して指南される彼らの知識および専門から便益を受け、それによって消費効率と理解、およびユーザ経験を向上させることである。

元のコンテンツをそのまま残しながら、ドキュメント内のセグメントを強調表示することにより、本発明はユーザが全体の文脈内で関連のあるセクションを配置できることは注目に値する。これにより、ユーザは１以上の強調表示の付いたセクションを特定することによりファイルのどの一般分野がより重要であるかも識別できる。

関連性または重要度のいずれかのレベルで強調表示されない部分に対する強調表示された部分の表現は、視覚的または別の適格とされうる表示パラメータのいずれかにより、継続的な強調表示間で飛ばされるコンテンツの割合を示すことにより高めることができるであろう。したがって、例えば、一定の読者の興味のあるコンテンツが約１０％しかない１０ページの記事の場合、その読者は残りの９０％を精査せずにそのコンテンツをさっと見て、コンテンツの重要な１０％と重要でない９０％がどこにあるかを見ることができる。

潜在的な実施形態において、ユーザは幅広い範囲のパラメータから自分の個人的なニーズに合ったものを選択してもよい。ユーザは一定の専門レベルの編集者の強調表示だけを見るよう選択してもよい。読者はその分野の専門家で、他の専門家がデータの中で重要だと考えるものだけを見たいと思うかもしれない。または、読者は一定の主題に属する強調表示、もしくは関連性の一定の閾値を超える強調表示を見るように選択してもよい。

パラメータは、読者があるドキュメントに費やしたい時間量、または読みたい単語数も含んでもよい。当該他のパラメータも導入して採用してもよい。例えば、読者は同じ読者が以前に読んだ別のドキュメントと比較して関連性の指定レベルを超えるドキュメントのセクションを見ることを望むかもしれない。

消費者が自身のパラメータを入力することを加えて、システムがオプションとしてそれを自動的に生成することができるであろう。例えば、消費者の消費履歴および／または強調表示、最新の同様なデータファイルの何れかに基づいてそうすることができるであろう。さらに、システムは読者が好むまたは要求する関連性の閾値の統計的な判定に基づいて、パラメータのリストを生成することができるであろう。

より一般的には、ドキュメントを表示するいくつかの新規なパラダイムを本発明の範囲内で利用してもよい。

ある実施形態において、読者はファイルを素早くざっと読みやすい手段またはモダリティによりコンテンツの提示を制御してもよい。ドキュメントの場合、例えば、強調表示するセクションを色づけする代わりに、強調表示するセクション以外のすべての箇所を非表示することができるであろう。これにより読者は最も関連のあるコンテンツのみを素早く効率的に読むことができるだろう。また、表示を最も関連のあるコンテンツのセクション以外のすべての箇所を非表示にした状態から始めて、読者が読む気持ちを示す場合に関連性の劣る他のセクションを表示させてもよい。

理解を助け読書経験を向上させることに加えて、飛ばした部分の比例指示に応じて、関連のあるコンテンツの当該表示はスマートフォンの画面など小さな表示画面に合わせることができる。

読者にとっての有意性または関連性のレベルの順序でコンテンツを展開することは、読みまたは学習の障害のある特殊教育の生徒、第二言語の学習者、および学校に復帰する成人など、一定の生徒のカテゴリに特に役立てることができるであろう。

ある可能性のある実施形態において、システムは関連性に基づいて異なる色および陰影で強調表示を表示してもよい。例えば、前述したように、強調表示を結合するある可能性のある方法とは、特定の単語を強調表示する平均時間数である。この実施形態において、システムは強調表示される頻度の高い単語をより濃い陰影で表示し、強調表示される頻度の少ない単語を薄い陰影で表示してもよい。

別の実施形態において、ユーザはドキュメントを表示するペースを設定する。これにより、システムはユーザが選択する速度で次のページに自動的に切り換えることができる。設定はドキュメントのカテゴリ、ユーザの履歴、専門または当該他のパラメータに基づいてシステムが判断することもできるであろう。

本発明のある潜在的な実施形態は、ユーザがデータを視覚的形態で見ることを可能にする。これはハイパーグラフの形態をとってもよい。このハイパーグラフは強調表示されるセグメントを論理接続されるノードとして使用して、ドキュメントの異なる分野または異なるドキュメントがいかに関係するかを読者に示すであろう。

別の潜在的な実施形態において、読者はドキュメントの重要な部分を印刷し、またはその他別の携帯可能な形態に変えてもよい。例えば、現在のシステムおよび方法を使用することによって省略したドキュメントの形態を印刷してもよい。または、いくつかのドキュメントの縮小バージョンを、スマートフォン、タブレットまたはｉＰｏｄなどの携帯機器にダウンロードする。

ある潜在的な実施形態において、システムは読者に他の関連のあるドキュメントを示唆してもよい。これはシステムのパラメータ、読者の閲覧履歴、強調表示、コメント、専門レベル、またはこれらの属性のいずれかの組み合わせに基づいてもよい。さらに、読者はシステムが次の専門ランクに基づいて次の記事を生成するよう要求してもよいだろう。この実施態様において、ドキュメントは予め設定した基準に基づいて専門別にランク付けし、当該属性情報とともにシステムに記憶するであろう。

別の潜在的な実施形態において、システムは強調表示に加えて、ユーザがコメントにタグを付けられるようにすることができるであろう。タグはドキュメントのセグメントの定性的な記述子である。これにより編集者は例えば「重要な履歴事実」としてセグメントを記述することができよう。さらに読者はこれらタグを使用して、各「重要な履歴事実」を繰り返し表示することができるであろう。システムは、共通のタグを表示し、読者がその中から選択できるタグクラウドを含んでもよい。

データファイルの元のコンテンツが音声の場合、編集者はテキストと同様な方法で音声の関連ある部分を強調表示してもよい。例えば、楽曲の場合、編集者は特に複雑な音楽セクションまたは特定の意味をもつ歌詞にタグを付けることができるであろう。受聴者は楽曲のタグ付された部分のみを飛ばし聞きすることができるであろう。別の例は講義の録音またはオーディオブックで、編集者は最も重要なセクションを強調表示する。

元のコンテンツが映像または他の視聴覚作品の場合、編集者は、単一フレームのほんの小さな視覚部分を含め、映像の特定のセクションを強調表示してコメントすることができるであろう。代わりに差異化のために意味のあるタグを採用してもよい。

絵画または芸術作品もしくはフォログラフィー画像および映像の編集物など、テキストを含まない純粋な視覚作品の場合、それでも編集者は上記概説した方法に前述した修正を加えて、作品の関連ある部分を強調表示することができるであろう。

本発明のある潜在的な実施形態において、紙上に物理的に記載される強調表示を有する紙ドキュメントをシステムにスキャンして取り込むことができるであろう。システムはスキャン画像を読めるものに変換し、さらにそれを同様なドキュメントと同じフォーマットに変換するであろう。システムへの音声、視覚または視聴覚作品の入力にも同じ概念が適用できる。

他の特殊な場合は、方法を同様に拡張することによって処理してもよい。例えば、楽曲の強調表示される部分には何らかの音楽記述子をタグ付けしてもよい。または、算術、統計または科学的なコンテンツのセグメントの強調表示にはグラフまたは図形をタグ付けしてもよい。

発明の方法に関連するさらなる利点および問題点
発明の強調表示方法の利点
本明細書で開示するデータファイルの多段階マークアップは、大きな利点をもつ。主な利点は、初（または、いくつかの実施形態の場合、最初の数）回において、ユーザは重要または興味のあるセグメントを強調表示するために一次データの読み、聞くまたは見る速度を遅くする必要がない。代わりに、ユーザは単一の動作で広い／粗いセグメントを示し、システムに粗い強調表示の記録を維持させてから、より適切な時に戻って強調表示をより正確に画定するであろう。

この方法は情報の消費の効率を最適化する。情報取り込みの流れを中断することなく、ユーザは消費する情報の合成に自身の心的資源を利用できる。粗く強調表示したセクションに戻るとき、ユーザは素材を見直して補強する機会を得て、セクションに戻るときに実際に強調表示するべきわずかに異なるセグメンテーションにするか、またはそのセグメントが結局有意ではないと決めてもよい。これらの可能性のいずれもが、ユーザの情報の消費またはユーザが編集者である場合に生成される強調表示の質を高めることができる。

情報ファイルの多回数マークアップの別の大きな利点は次のとおりである。本発明のコンピュータ化システムはユーザへの支援をより効果的に行える。システムはオンデマンドで（または、プログラムから出るときに定期的に）粗い強調表示のすべてを提示して、ユーザに精密レベルでマークアップを完成させるよう促してもよい。

学習の困難なユーザ、または特に複雑な素材を扱うユーザ、または時間に追われるユーザなど、一定のユーザコミュニティの場合、この支援は恩恵になることができるだろう。

データファイルの多回数マークアップは、コンピュータ化システムの実装の部分としてハードウェア、ソフトウェアまたはハイブリッドコンポーネントを想定する。このようなシステムはユーザの決定を記憶するメモリユニット、および上記「強調表示の形態」で説明した粗いまたは精密な強調表示のための計算を行う内蔵処理能力を有する。特に、このようなコンポーネントの入出力サブコンポーネントは一般に、前述した強調表示機能に関連する特別なコマンドを実装してもよい。例として、粗い強調表示の境界内で１クリックまたはアイコンを配置してその境界の計算をすること、またはおそらく、２人以上の別の編集者が提供する強調表示の合成の重みである。

システムは、最終的な合成のために「生」（粗い）強調表示データを提示することにより、クラウドソースのマトリックスからの入力を結合する人間またはオートマトンを支援してもよい。

単一画像の場合はおそらくそれほどではないかもしれないが、「粗いレベル」の強調表示は映像の強調表示に特に便利である。精密な強調表示は制御が細かすぎ、中断が「長く」なりすぎるかもしれないが、興味のある対象物の粗い特定、つまり興味のある対象物の周囲に方形枠を描くことは、多くのユーザにとって速く効率的になる。

方法は、有意性マトリックスに従ってセクションの非表示から浮かび出る画像を示すことにより、画像のセグメントの有意性／関連性を表示することが望ましい場合、単一画像に便利であろう。

粗い強調表示のメカニズムは音声ファイルにうまく機能し（粗い強調表示の適切な意味をもつ）、それによりユーザはセグメントの始めと終わりを精密にマークする必要がなくなる。音声の場合、粗い強調表示は、視覚的な合図がないため、映像の略マーキングよりも難しい行為である。システムはマーキングを精密にするとき、ユーザが精密な強調表示を行っている間粗いセグメントを忠実に再生することにより、次のフレーズのマークアップに有用な支援を提供できる。

別の潜在的な実施形態において、システムは編集者に強調表示により２以上のドキュメントを比較させる。この比較強調表示により、読者はドキュメントの差異と類似度を効率的に見ることができる。このことは、例えば、２社の異なる携帯電話会社から２つの長い契約書が提示される場合に便利となることができよう。共通記事の多くは同じであるが、比較強調表示により読者は重要な条件の差異を素早く確認でき、複雑な法律用語を苦労して読む必要なく、より情報に基づく決定を行える。これはシステムにより自動的にも達成できるであろう。この実施形態のエンリッチドバージョンにおいて、システムはチャートまたは表計算に重要な差異の要約に関する表を作成することができるであろう。

関係するセグメントの粗い特定は、データファイル全体で対象物／セグメントを関係付けるために特に便利であろう。

問題点
ユーザ情報を記憶するシステムは、典型的には様々なプライバシーの問題を提起することになる。これらの問題点を緩和するために、いくつかの実施形態が可能である。システムは、ユーザが匿名のままでいる選択を可能にし、一定の重要なデータまたはユーザに関するいかなるデータも記憶させないようにすることができるであろう。代わりに、匿名ユーザに固有のユーザＩＤを割り当てることができるであろう。これにより、システムは個人の身元を一切記憶せずにユーザ履歴を追跡してとどめることができよう。別の可能性は、固有のユーザ名を持たせてログインさせるが、それを公に表示しないことである。ある実施形態はユーザにこれらの選択肢から選択させ、またはプライバシー管理を一切させない選択をさせることができるであろう。

しかし、本発明のシステムは、セキュリティに関して他の有利な含蓄ももつであろう。例えば、一定のドキュメントのクラスおよび慎重を要するベンダーのセキュリティ問題を実際的な解決策で処理する上で有利であろう。個人の読者がベンダーのサイトから消費者のマシンにドキュメントをダウンロードする必要性をなくして、マークアップされたドキュメントをクラウド上で直接読み／閲覧等させるシステムを実装してもよい。このような実施態様はベンダーまたはユーザのシステムのセキュリティを保護するという便益を提供するであろう。セキュリティの負担は本発明のシステムに移り、そこで積極的であるがセキュリティ保護の全体的なコストを下げて対処することができる。

図面の図に図示する実例により以下方法のさらなる説明を提供する。

図面の詳細な説明
図１は、本発明の基本構造を図示する。ドキュメントがサーバにより検索されるとき、まず正しいフォーマットであることを確認するために点検して、それに応じて変換する。さらに、ドキュメントが以前に校閲されていなかった場合、校閲プロセスに送られる。以前に校閲されていた場合、ユーザはドキュメントそのものを読むか校閲するかを選択することができる。読者はこの２つのプロセスの組み合わせを利用してもよい。この読み／校閲プロセスにおいて、ユーザは編集者と読者の役割をシームレスに切り換えることができ、これは以下詳細に説明する。

図２は、校閲プロセスを実証する。１０でユーザがまずドキュメントを検索する場合、２０でユーザはまず自分の専門レベル等を入力するか、または３０ですぐにドキュメントの編集に進むことができる。それから４０で、編集者はドキュメントにセグメントをマークアップし、コメントを追加してもよく、これが定期的に保存されてサーバに送信される。５０で、ユーザは集積ドキュメントと統合するためにドキュメントを提出したいかどうかを質問される。ユーザの入力に応じて、枠６０の統合のために提出か、または７０のドキュメントの校閲もしくは改訂に進むことができる。ドキュメントの種類および付けた強調表示とコメントに基づいて、システムは提出されたときに専門家レベル評価点も計算してもよい。編集者セッションの最後に、８０で、強調表示およびコメントがアップロードされて、他の全ユーザに利用できるようになる。編集者は自分のセッション中のいつでもマークアップを発行してもよい。

図３は、画像の例示的な「粗い」強調表示を図示する。ここで、ユーザは宇宙服のヘルメットの強調表示を試みると仮定されている。しかし、対象物を精密に定義するために速度を落とすのではなく、ユーザは興味のある対象物（つまり、ヘルメット）を含む「枠」を配置する。関係する図１２は、ユーザが後で枠内のヘルメットを精密に画定するための戻る方法を示す。

図４は、新たにマークアップされたドキュメントを統合するプロセスを実証する。編集者がドキュメントに強調表示およびコメントを追加した後、これはさらに以前のバージョンに結合される。この特定の実施形態において、これはマトリックス計算を使って行われる。それから出力が記憶されて、次の読者によって検索される処理済みドキュメントの新バージョンになる。

図５は読みプロセスを図示する。要求されるマークアップが統合されたドキュメントは、読者のためにユーザインターフェース制御を使って表示される。読者は任意で自分のユーザプロファイルを入力してもよい。読者は自身の個人的な利用のためにマークアップおよびコメントをしてもよいが、編集者プロファイルとは異なり、これは他のユーザと共有されたり、またはドキュメントに統合されることはない。付けられた強調表示およびコメントは読者が後で使用するために記憶される。

図６は、サンプルのユーザインターフェースのスクリーンショットである。ユーザが表示される強調表示に変更するために使用できるボタンが示されている。ユーザは高い専門レベルのユーザのみが付けた強調表示を示してもよく、自身のレベルを入力することができる。ユーザはドキュメントを読むために費やしたい時間量も設定することができる。例えば、ユーザが２分を選択すると、これはユーザが１０分を選択した場合よりも少ない強調表示を表示する。ユーザは編集者モードに切り換えて、他のユーザと共有する自身の強調表示およびコメントを入力してもよい。他の実施形態では、ユーザが両方の役割で同時に行為してもよいため、モードの切換えは必要ない。

図７は、複数の編集者が強調表示およびコメントを付けたときのシステムのユーザインターフェースを実証する。以前のユーザの強調表示が表示される。強調表示の色および／または陰影はその関連性を示す。この特定の実施形態では、濃い陰影は関連性の度合いが高いことを示す。前述したように、関連性の定義および計算はユーザ生成またはマシン生成としてもよい。

読者がこの実施形態で特定のセグメントを選択すると、ポップアップウィンドウが表示される。このウィンドウは過去のユーザからのコメントを含む。この特定の実施形態において、コメントは統計的な類似度に基づいて自動的にまとめられ、さらに各グループが関連性についてランク付けされる。ユーザはいずれかのグループまたは全グループを同時に見る選択をしてもよい。各ユーザのコメントはユーザの専門レベルとともに表示される。

図８は、ユーザがシステムのバックエンドとどのように対話するかを説明するチャートである。ユーザは１０で閲覧または編集したいドキュメントの選択から始める。１１でユーザはシステムに任意でログインしてもよく、記憶されたパラメータおよび専門レベルを使用できるようになる。１２でドキュメント要求およびログイン情報がサーバ１３に送信される。１６で、サーバ１３は要求されるデータ（図９に図示する）を検索し、ユーザデータに加えて、ユーザに関連強調表示およびコメントの付いたドキュメントを表示する。

１７で、ユーザはさらに編集者または読者のいずれかの役割で行為するかを選択してもよい。システムはユーザに明確な選択をさせることを要求する必要はなく、代わりに、取った行為に基づいてユーザが行為している役割をただ判定してもよい。例えば、ユーザが強調表示を追加してそれを発行する場合、ユーザは編集者として認識されるが、強調表示が記憶されるが発行されない場合、ユーザは読者として行為していると見なされる。

編集者モードでは、１８で、システムはドキュメントを以前のユーザからの関連強調表示およびコメントとともに編集者に表示する。１９で、さらに編集者は関連あると見なされるセクションに強調表示を追加する。２０で、編集者は任意で強調表示にコメントを追加してもよい。別の潜在的な実施形態において、ユーザはどの強調表示とも完全に独立してコメントを追加してもよい。

次に、編集者は２セットのデータをサーバに送信する。２１で、まず新たに追加された強調表示およびコメントが送信され、そこでシステムのバックエンドはそれを以前のバージョン（図９）と統合する。さらに、２２で、編集者のユーザ情報がアップデートされ、これには付けた強調表示およびコメントに関する情報が含まれる。これら２つのデータセットは編集者が行為している間定期的に、強調表示またはコメントが入力される度に自動的に、編集者が「提出」ボタンを押したとき、またはこれら３つの事象のいずれかの組み合わせでサーバに送信してもよい。１３で、新たな強調表示およびコメントがサーバで統合されると、２５でアップデートされたドキュメントがユーザに表示される。

読者モードでは、２５で、システムは記憶されたドキュメントをその関連強調表示およびコメントとともに表示する。２７で、さらに読者はパラメータを入力して、表示されるマークアップをカスタマイズする。これは２８で指定される専門家レベル閾値よりも上のユーザからのマークアップだけを含んでもよく、２９で特定の主題からの強調表示およびコメントだけを含んでもよく、または３０で特定の速度または設定された単語数内で読者がドキュメントを読める一定数のマークアップだけを含んでもよい。

パラメータの入力とは別に、読者は表示方法も変更できる。３１で読者は強調表示されないテキストを隠す拾い読みモードを使用してもよい。３２で、読者は指定速度でページを自動的に切り換えるようにシステムを設定してもよい。３３で、別の選択肢は、グラフィック表現または当該他の視覚的表現など、別の方法で強調表示およびコメントを見ることである。

２６で、読者としてのユーザは他者と共有せずに強調表示およびコメントを追加してもよい。読者がそのようにする場合、マークアップは後で使用するためにユーザデータとともに記憶され、さらにユーザがドキュメントを見るときはいつでも表示される。

図９は、本発明の例示的な実施形態を模式的に図示する。これはサーバ１００と、データ記憶手段１０１、１０２および１０３と、１１０および１１０ｎの記号が付される複数のユーザのコンピュータとを備える。

ユーザコンピュータ１１０は通信ネットワーク１１１を使用してサーバ１００に接続している。通信ネットワークはインターネットまたはあらゆるサイズのローカルネットワークであってもよい。ユーザのバックエンドでのシステムとの対話は図８に詳述する。

システムのバックエンドは記憶機能および計算機能を提供する。新たなドキュメントがシステムにアップロードされると、ドキュメントデータベース１０１に記憶される。さらにシステムはユーザの要求があるとドキュメントを検索する。別の潜在的な実施形態において、ドキュメントのデータベースは存在せず、ドキュメントはシステムの外部に記憶される。例えば、ユーザが別のソースからウェブサイトにロードし、おそらくシステムから関連強調表示およびコメントを計算してから、ロードしようとした場合、システムにこれらのマークアップを外部コンテンツの上にオーバーレイするよう要求する。

システムのバックエンドがドキュメントの要求を受信すると、ドキュメント自体を検索することに加えて、強調表示／コメントデータベース１０２から関連の統合された強調表示およびコメントも取得する。強調表示およびコメントはドキュメントにオーバーレイする。これらマークアップはユーザ生成またはシステム生成にして、さらに読む効率および理解を考慮するために結合することができるであろう。ユーザが新たな強調表示またはコメントを提出すると、１２０および１２１で、集積化の方法のうちの１つにより既存の強調表示およびコメントと結合される。別々の性質のために、強調表示およびコメントは集積化の別の方法を使って統合してもよい。

システムはユーザデータベース１０３に各ユーザからのデータを記憶する。この詳細な説明で述べるように、１３０で、データは表示のために選択されるパラメータおよび閲覧されて注釈を付けられるドキュメントの履歴を含んでもよい。１３１で、ユーザデータベース１０３は特定の主題におけるユーザの専門家評価点も記憶する。

図１０は、異なる編集者からの強調表示を統合するためのある方法を実証する。２人の編集者があるドキュメント内の全く別のセグメントを強調表示する場合、両方の強調表示が表示される。

さらに別の編集者が別のユーザと同じセグメントを強調表示すると、重複する部分はより強い関連性が与えられ、そのため異なる陰影または色など、差異化された方法で表示される。図１０では、より強い関連性は濃い陰影で示される。このように、１人のユーザだけが強調表示するセグメントは、２人のユーザが強調表示するセグメントよりも薄い陰影である。陰影／関連性は必ずしも所定のセグメントを強調表示するユーザの数だけに依存する必要はない。詳細な説明で述べた専門家レベル、および他の要因を考慮してもよい。

システムは、編集者が全く同じセグメントの関連性を示すことを意図するが、セグメントが始まって終わる箇所に関してわずかに異なることも考慮する。図１０では、２つのセグメントは、「この学説はその・・・を覆すだろう」と「学説は覆すだろう」である。２人の編集者は同じセグメントを関連性があると示しているが、一方は「この」と「その」という単語を含んでいる。これらはストップワードとして知られ、非常に一般的で、句に意味を追加しない単語である。この点において、システムは「この」と「その」を当該単語のリストを使用してストップワードとして特定し、それを重複分析から除外する。したがって、結果はセグメントの関連性が「この」または「その」を強調表示せずに適切にアップデートされることになる。

図１１は、２人のユーザ（編集者／校閲者）の強調表示がいかにドキュメントの集積的な強調表示に合成されるかのある実例であり、一般的には繰り返しになる１人のユーザの強調表示の集積的な強調表示への合成を図示する。この例は、ユーザを横列に、集積を縦列に示して、強調表示する関連性の４つのレベルを仮定している。

この場合の重複する強調表示の「関連性」レベルは、単純な逆斜線アルゴリズムによって判定する。また、この例はあるユーザの強調表示に集積と等しい重みを与えるが、一般にはこれは当てはまらない。

異なる重みまたは「関連性」以外で強調表示するための基準、４より多い差異化のレベル数、および合成される強調表示を計算するための異なるアルゴリズム等に関わる他の場合も同様にシステムによって扱える。

図１２は、ある画像について粗い強調表示をした後に精密なスケールで強調表示する方法を例示する。この図は、図３に図示する枠内にある宇宙服のヘルメットに関して精密に強調表示する陰影を示している。

図１３は、校閲者の記憶されたプロファイルの例示的な構造を図示する。ユーザがシステムにログインすると、サーバは関連ユーザデータを検索して、セッションを開始する。前述したように、ユーザのプロファイルには特にその専門レベル、履歴およびディフォルトパラメータが含まれる。ユーザがシステムで機能を実行すると、データはユーザデータベースに記憶される。

用語集
本明細書における「強調表示」および「マークアップ」という用語は、コンテンツ全体の一部を区別して選択し、さらにその選択を読者に表示する何らかの方法をいう。これは、下線引き、タグ付け、またはセグメントの重要度を強勢もしくは強調するあらゆる方法を含む。

「コメント」という用語は、ドキュメントのある特定のセグメントに向けられて、１以上のユーザによって意味を関連付けられる単語、絵、図形、音声または同様な表現のあらゆる組み合わせをいう。コメントは強調表示に関連付けてもよい。これは強調表示全体または一部をいってもよい。またいずれの強調表示とも関連付けられなくてもよい。

「ユーザ」という用語は、システムと対話する主体をいう。これは編集者、読者、または両方同時に行為する者を含んでもよい。また、データファイルのコンテンツの受聴者、視聴者または他の消費者として行為する主体を含んでもよい。

「編集者」および「校閲者」という用語は、以前にドキュメントを読み、またはデータファイルを消費して、強調表示またはコメントを追加したユーザの「インテリジェントクラウド」をいう。人間のユーザまたはマシンのいずれであってもよいであろう。

「読者」という用語は、システムの出力、強調表示付きドキュメントを読み取るユーザをいい、適したマシンを含んでもよい。

「ドキュメント」または「記事」という用語は、表現のあらゆる有形媒体をいう。これは特にテキスト、音声および映像を含んでもよい。また、あらゆる方法で組み合わされる複数の個人的な作品をいうこともある。この用語はファイルに限定されない。また、フィードまたはデータストリームの形態をとってもよい。「アプリケーション・データファイル」および「データファイル」という用語は、使用される場合必ず「ドキュメント」および「記事」を含み、これらのファイルのいずれかの中の実際のデータがファイルの「コンテンツ」である。本発明の方法は、システムが処理の少なくとも一部を実行するために、ドキュメントがコンピュータ読取可能フォーマットであることを要する。

データファイルのセグメントとは、編集者、校閲者または消費者のように参照できるデータファイルの特定可能な部分である。例えばドキュメントの場合、これはドキュメント内の単語、句、文もしくは段落、またはさらには文字、アルファベット文字もしくは特殊文字、または１以上のページ長であってもよい。映像ファイルの場合、これはその中で特定できる個々のフレームもしくはセルまたはいずれかの部分であってもよい。音声ファイルの場合、これは音符、音節もしくはその断片、または楽曲の１以上の歌詞であってもよい。ファイルのセグメンテーションとは、その分割およびセグメントへの再構成をいう。

本明細書で使用する「効率」という用語は、指定の時間量内、指定の単語数内、指定のコンテンツの有意性内で、以前の校閲者の専門の指定レベルにマークアップされたドキュメントを読むことを含む。

「クラウドソース」または「クラウドソーシング」という用語は、エンドユーザにシステムに貢献させ、それによりその効率性を高めるシステムをいう。

「タグ」という用語は、ドキュメントのセグメントの定性的な記述子をいう。

Claims (27)

1. （ａ）データファイルを検索して記憶することのできる１以上のコンポーネントと、
   （ｂ）複数のユーザから入力を受信して記憶することのできる１以上のコンポーネントと、
   （ｃ）データファイルのうちの１以上のセグメントの前記ユーザの強調表示を受信して記録することのできる１以上のコンポーネントと、
   （ｄ）前記ユーザが強調表示したデータファイルのセグメンテーションを記憶することのできる１以上のコンポーネントと、
   （ｅ）２以上の強調表示されたセグメントを合成することにより前記強調表示されたデータファイルのセグメントを予め設定された規則で計算することのできる１以上のコンポーネントと、
   （ｆ）２以上のユーザが強調表示したデータファイルのセグメンテーションを合成することにより、前記データファイルの集積化された強調表示を生成することのできる１以上のコンポーネントと、
   を備えるデータファイルを処理するコンピュータ化システム。
2. コンピュータ支援リーディングのためにドキュメントを処理する方法であって、
   （ａ）複数のユーザから前記ドキュメントの１以上のセグメントの強調表示を受信するステップと、
   （ｂ）前記複数のユーザによる強調表示を、前記ドキュメントの集積化された強調表示に合成するステップと、
   を含む方法。
3. 更に、
   （ｃ）前記ドキュメントの前記集積化された強調表示を表示するステップを、
   含む請求項２の方法。
4. 前記複数のユーザの各々からの強調表示が１以上の所定の基準またはマシン計算した基準に基づくことを特徴とする請求項２の方法。
5. 前記所定の基準またはマシン計算した基準の各々が前記複数のユーザ全員にとって同じであることを特徴とする請求項４の方法。
6. 前記複数のユーザの１以上が、ドキュメントの１以上のセグメントに関連する注記またはコメントを提供することを特徴とする請求項２の方法。
7. 前記基準のうちの１つが、ユーザが提供する前記１以上のセグメントの関連性であることを特徴とする請求項５の方法。
8. 前記ユーザ提供の関連性は測定可能であり、ユーザの強調表示はユーザ提供の関連性の尺度によって差異化されることを特徴とする請求項７の方法。
9. 前記合成するステップは、
   （ａ）２人のユーザによる強調表示を集積化された強調表示に合成するステップと、
   （ｂ）次のユーザによる前記強調表示を前記集積化された強調表示に合成するステップと、
   （ｃ）前記複数のユーザの全ユーザによる強調表示が前記ドキュメントの集積化された強調表示に合成されるまで、ステップ（ｂ）を繰り返すステップと、
   を含むことを特徴とする請求項２の方法。
10. ドキュメントのコンピュータ支援リーディングの方法は、
    （ａ）複数のユーザから前記ドキュメントの１以上のセグメントの強調表示を受信するステップと、
    （ｂ）前記複数のユーザのうちの２以上による強調表示の、前記ドキュメントの集積化された強調表示へのコンピュータ生成による合成を受信するステップと、
    （ｃ）前記ドキュメントの前記集積化された強調表示の表示を受信するステップと、
    （ｄ）前記ドキュメントの前記集積化された強調表示の表示を読むステップと、
    を含む方法。
11. 前記ドキュメントの読者が、前記ドキュメントの１以上のセグメントに関連する注記またはコメントを提供することを特徴とする請求項１０の方法。
12. １以上のセグメントの前記強調表示は、ユーザ提供の注記またはコメントに基づくことを特徴とする請求項１０の方法。
13. １以上のセグメントの強調表示を含む前記表示は、読者提供の注記またはコメントに基づくことを特徴とする請求項１０の方法。
14. 前記集積化された強調表示は、注記またはコメントから予め設定された式によって選択される１以上のセグメントから生成されることを特徴とする請求項１１の方法。
15. 更に、
    （ａ）前記データファイルの１以上のセグメントに関連するユーザの注記またはコメントを受信することのできる１以上のコンポーネントと、
    （ｂ）前記ユーザの注記またはコメントを保存することのできる１以上のコンポーネントと、
    （ｃ）前記注記またはコメントから前記１以上のセグメントを選択する指示を実行して、集積化された強調表示を生成することのできる１以上のコンポーネントと、
    （ｄ）選択された１以上のセグメントの前記強調表示から合成される集積化された強調表示を生成することのできる１以上のコンポーネントと、
    を備える請求項１のシステム。
16. コンピュータ支援リスニングのために音声ファイルを処理する方法で、
    （ａ）複数のユーザから前記音声ファイルの１以上のセグメントの強調表示を受信するステップと、
    （ｂ）前記複数のユーザによる前記強調表示を前記音声ファイルの集積化された強調表示に合成するステップと、
    を含む方法。
17. 前記複数のユーザの各々からの前記１以上のセグメントの強調表示は、所定の基準またはマシン計算した基準に基づくことを特徴とする請求項１６の方法。
18. 前記所定の基準またはマシン計算した基準は、前記複数のユーザの各々について同じであることを特徴とする請求項１７の方法。
19. コンピュータ支援ビューイングのために映像ファイルを処理する方法で、
    （ａ）複数のユーザから前記映像ファイルの１以上のセグメントの強調表示を受信するステップと、
    （ｂ）前記複数のユーザによる前記強調表示を前記映像ファイルの集積化された強調表示に合成するステップと、
    を含む方法。
20. 前記複数のユーザの各々からの前記１以上のセグメントの強調表示は、所定の基準またはマシン計算した基準に基づくことを特徴とする請求項１７の方法。
21. 前記基準は前記複数のユーザの各々について同一であることを特徴とする請求項２０の方法。
22. 強調表示するステップは、
    （ａ）前記データファイルのうちのあるセグメントを特定するステップと、
    （ｂ）前記セグメントに興味あるセグメントとマーキングするステップと、
    （ｃ）前記興味あるセグメント内の１以上のセグメントを強調表示するステップと、
    を含むことを特徴とする請求項２、１０、１６または１９のいずれか１項の方法。
23. 前記マーキングステップは、
    （ｂ１）前記データファイル内で前記マーキングに関連するポイントを受信するステップと、
    （ｂ２）前記データファイル内で前記マーキングに関連する前記ポイントが、興味あるセグメントの境界内または興味あるセグメントの境界上にあるように、興味あるセグメントの境界をマシンによって計算するステップと、
    を含むことを特徴とする請求項２２の方法。
24. 興味あるセグメントの境界は、ドキュメント内のある段落の始点および終点であることを特徴とする請求項２３の方法。
25. 興味あるセグメントの境界は、音声ファイルに関連するある時間間隔の始点および終点であることを特徴とする請求項２３の方法。
26. 興味あるセグメントの境界は、あらゆる形状の枠の辺であることを特徴とする請求項２３の方法。
27. 前記１以上のセグメントは、音声の混成合奏から個々に特定可能な音声を含むことを特徴とする請求項１６の方法。