JP2017199343A - 卓上カメラ−プロジェクタシステムでの文書閲覧時における関連文書及び人物を可視化するための計算実行方法、プログラムおよび計算処理システム - Google Patents

Abstract

【課題】卓上カメラ−プロジェクタシステムでの文書閲覧時における関連文書及び人物を可視化する方法を提供する。
【解決手段】処理ユニットとメモリとプロジェクタ（１０６）とカメラ（１０１）とを備え、前記プロジェクタと前記カメラは面（１０３）の上方に配置された計算処理システム（１００）において実行される計算実行方法は、カメラ（１０１）を利用して面上に置かれた文書の画像を取得し、文書の取得画像を利用して文書（１０４）の少なくとも一部のテキストを取得し、取得された文書の少なくとも一部のテキストを利用してその文書に関連する複数の文書を見出し、取得された文書の少なくとも一部のテキストを利用してその文書に関連する複数の人物を見出し、プロジェクタ（１０６）を利用して複数の関連文書に対応する第１の複数のサムネール画像の少なくとも１つと複数の関連人物に対応する第２の複数のサムネール画像の少なくとも１つとを表示する。
【選択図】図１

Description

開示の実施形態は、一般的に文書とのインタラクティブ技術に関し、より具体的には卓上カメラ−プロジェクタシステムでの文書閲覧時に関連文書および人物を可視化するための計算実行方法、プログラムおよび計算処理システムに関する。

当業者には周知のように、テーブル上方にプロジェクタとカメラを取り付けることにより通常のテーブル面をインタラクティブなコンピュータディスプレイに変えることができる。初期の研究システムでは、例えば、非特許文献１に記載のデジタルデスクや、非特許文献２に記載のカムワークスなどが、この概念を論証した。あるシステムではビデオカメラを利用した指やジェスチャによる入力を支援した（非特許文献３を参照）。その一方で、より最新のシステムでは深度カメラを利用する（非特許文献４を参照）。

ユーザが卓上におかれた文書を読むシナリオでは、文書のコンテンツを自動的に解析して、上記のインタラクティブなテーブルトップを利用し所定の追加情報をユーザに提供することが望ましい。従って、この目的に対して適応可能な新規で改良されたシステムと方法が必要である。

Ｗｅｌｌｎｅｒ，Ｐ．による「デジタルデスク計算器：卓上ディスプレイでの触覚操作（Ｔｈｅ ＤｉｇｉｔａｌＤｅｓｋ ｃａｌｃｕｌａｔｏｒ：ｔａｎｇｉｂｌｅ ｍａｎｉｐｕｌａｔｉｏｎ ｏｎ ａ ｄｅｓｋ ｔｏｐ ｄｉｓｐｌａｙ）」（Ｐｒｏｃ．ＵＩＳＴ’９１，ｐｐ．２７−３３） Ｎｅｗｍａｎ，Ｗ．，Ｄａｎｃｅ，Ｃ．，Ｔａｙｌｏｒ，Ａ．，Ｔａｙｌｏｒ，Ｓ．，Ｔａｙｌｏｒ，Ｍ．，Ａｌｄｈｏｕｓ，Ｔ．による「カムワークス：紙のソース文書から効率的キャプチャをするための映像ベースツール（ＣａｍＷｏｒｋｓ：ａ ｖｉｄｅｏ−ｂａｓｅｄ ｔｏｏｌ ｆｏｒ ｅｆｆｉｃｉｅｎｔ ｃａｐｔｕｒｅ ｆｒｏｍ ｐａｐｅｒ ｓｏｕｒｃｅ ｄｏｃｕｍｅｎｔ）」（Ｐｒｏｃ，Ｉｎｔｌ．Ｃｏｎｆ． ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＣＭＣＳ’９９），ｐｐ６４７−６５３） Ｐｉｎｈａｎｅｚ，Ｃ．，Ｋｊｅｌｄｓｅｎ，Ｒ．，Ｔａｎｇ，Ｌ．，Ｌｅｖａｓ，Ａ．，Ｐｏｄｌａｓｅｃｋ，Ｍ．，Ｓｕｋａｖｉｒｉｙａ，Ｎ．及びＰｉｎｇａｌｉ，Ｇ．による「インタラクティブな投影ディスプレイを用いた任意場所でのタッチスクリーンの生成（Ｃｒｅａｔｉｎｇ ｔｏｕｃｈ−ｓｃｒｅｅｎｓ ａｎｙｗｈｅｒｅ ｗｉｔｈ ｉｎｔｅｒａｃｔｉｖｅ ｐｒｏｊｅｃｔｅｄ ｄｉｓｐｌａｙｓ）」（Ｐｒｏｃ．ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ’０３（Ｄｅｍｏ），ｐｐ．４６０−４６１） Ｋａｎｅ，Ｓ．Ｋ．，Ａｖｒａｈａｍｉ，Ｄ．，Ｗｏｂｂｒｏｃｋ，Ｊ．Ｏ．，Ｈａｎｉｓｏｎ，Ｂ．，Ｒｅａ，Ａ．Ｄ．，Ｐｈｉｌｉｐｏｓｅ，Ｍ．，ＬａＭａｒｃａ，Ａ．Ｂｏｎｆｉｒｅによる「ラップトップ−テーブルトップ混合インタラクションのためのノマディックシステム（ａ ｎｏｍａｄｉｃ ｓｙｓｔｅｍ ｆｏｒ ｈｙｂｒｉｄ ｌａｐｔｏｐ−ｔａｂｌｅｔｏｐ ｉｎｔｅｒａｃｔｉｏｎ）」（Ｐｒｏｃ．ＵＩＳＴ’９０９，ｐｐ．１２９−１３８） Ｓｃｈｉｌｉｔ，Ｂ．Ｎ．，Ｇｏｌｏｖｃｈｉｎｓｋｙ，Ｇ．，Ｐｒｉｃｅ，Ｍ．Ｎ．Ｂｅｙｏｎｄによる「紙を超えて：自由形式デジタルインク注釈を有する能動的読み方支援（Ｂｅｙｏｎｄ ｐａｐｅｒ：ｓｕｐｐｏｒｔｉｎｇ ａｃｔｉｖｅ ｒｅａｄｉｎｇ ｗｉｔｈ ｆｒｅｅ ｆｏｒｍ ｄｉｇｉｔａｌ ｉｎｋ ａｎｎｏｔａｔｉｏｎｓ）」（Ｐｒｏｃ．ＣＨＩ’９８，ｐｐ．２４９−２５６） Ｌｉａｏ，Ｃ．，Ｔａｎｇ，Ｈ．，Ｌｉｕ，Ｑ．，Ｃｈｉｕ，Ｐ．，Ｃｈｅｎ，Ｆ．による、「ＦＡＣＴ：ポータブルな紙−ラップトップ混合インタフェースを介した文書とのきめ細かい媒体間相互作用（ＦＡＣＴ：Ｆｉｎｅ−ｇｒａｉｎｅｄ ｃｒｏｓｓ−ｍｅｄｉａ ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ ｄｏｃｕｍｅｎｔｓ ｖｉａ ａ ｐｏｒｔａｂｌｅ ｈｙｂｒｉｄ ｐａｐｅｒ−ｌａｐｔｏｐ ｉｎｔｅｒｆａｃｅ）」（Ｐｒｏｃ．ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ ２０１０，ｐｐ．３６１−３７０） Ｌｉｍ，Ｓ．，Ｃｈｉｕ，Ｐ．による「共同作業マップ：小グループ共同作業の時間力学の可視化（Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｍａｐ：Ｖｉｓｕａｌｉｚｉｎｇ ｔｅｍｐｏｒａｌ ｄｙｎａｍｉｃｓ ｏｆ ｓｍａｌｌ ｇｒｏｕｐ ｃｏｌｌａｂｏｒａｔｉｏｎ）」（ＣＳＣＷ２０１５ Ｃｏｍｐａｎｉｏｎ（Ｄｅｍｏ），ｐｐ．４１−４４） Ｃｈｉｕ，Ｐ．，Ｃｈｅｎ，Ｆ．，Ｄｅｎｏｕｅ，Ｌ．による「文書ページ画像内の図形検出（Ｐｉｃｔｕｒｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｄｏｃｕｍｅｎｔ ｐａｇｅ ｉｍａｇｅｓ）」（Ｐｒｏｃ． ＡＣＭ ＤｏｃＥｎｇ ２Ａ１０，ｐｐ．２１１−２１４） ＰｉｎｈａｎｅＺ，Ｃ．，Ｋｊｅｌｄｓｅｎ，Ｒ．，Ｔａｎｇ，Ｌ．，Ｌｅｖａｓ，Ａ．，Ｐｏｄｌａｓｅｃｋ，Ｍ．，Ｓｕｋａｖｉｒｉｙａ，．Ｎ．及びＰｉｎｇａｌｉ，Ｇ．による「インタラクティブ投影表示を用いた場所を問わないタッチスクリーンの生成（Ｃｒｅａｔｉｎｇ ｔｏｕｃｈ−ｓｃｒｅｅｎｓ ａｎｙｗｈｅｒｅ ｗｉｔｈ ｉｎｔｅｒａｃｔｉｖｅ ｐｒｏｊｅｃｔｅｄ ｄｉｓｐｌａｙｓ）」（Ｐｒｏｃ．ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ’０３（Ｄｅｍｏ），ｐｐ．４６０−４６１） ＡＣＭ Ｄｉｇｉｔａｌ Ｌｉｂｒａｒｙ（ｈｔｔｐ：／／ｄｌ．ａｃｍ．ｏｒｇ、２０１６年４月２５日） Ａｒａｉ， Ｔ．，Ｍａｃｈｉｉ Ｋ．，及びＫｕｚｕｎｕｋｉ，Ｓ．，による「インタラクティブデスク上で実世界上の物体を含む電子文書を取得する方法（Ｒｅｔｒｉｅｖｉｎｇ ｅｌｅｃｔｒｏｎｉｃ ｄｏｃｕｍｅｎｔｓ ｗｉｔｈ ｒｅａｌ−ｗｏｒｌｄ ｏｂｊｅｃｔｓ ｏｎ ＩｎｔｅｒａｃｔｉｖｅＤＥＳＫ）」（Ｐｒｏｃ． ＵＩＳＴ’９５，ｐｐ．３７−３８） Ｄｕｎｎｉｇａｎ， Ｉ．らによる「芸術及び技術におけるテーブルトップテレプレゼンスシステムの歴史（Ｅｖｏｌｕｔｉｏｎ ｏｆ ａ ｔａｂｌｅｔｏｐ ｔｅｌｅｐｒｅｓｅｎｃｅ ｓｙｓｔｅｍ ｔｈｒｏｕｇｈ ａｒｔ ａｎｄ ｔｅｃｈｎｏｌｏｇｙ）」（Ｐｒｏｃ． ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ ２０１５（動画）、ｐｐ．７７５−７７６） Ｋｉｍ， Ｃ．，Ｃｈｉｕ， Ｐ．，及びＴａｎｇ， Ｈ．，による「４Ｋビデオカメラにより乱雑なテーブルトップ上の文書を高画質で撮像する方法（Ｈｉｇｈ−ｑｕａｌｉｔｙ ｃａｐｔｕｒｅ ｏｆ ｄｏｃｕｍｅｎｔｓ ｏｎ ａ ｃｌｕｔｔｅｒｅｄ ｔａｂｌｅｔｏｐ ｗｉｔｈ ａ ４Ｋ ｖｉｄｅｏ ｃａｍｅｒａ）」（Ｐｒｏｃ． ＡＣＭ ＤｏｃＥｎｇ ２０１５、ｐｐ．２１９−２２２） Ｋｉｍ， Ｊ．，Ｓｅｉｔｚ， Ｓ．，及びＡｇｒａｗａｌａ， Ｍ．による「ビデオに基づく文書トラッキング：物理的及び電子的デスクトップを統合する（Ｖｉｄｅｏ−ｂａｓｅｄ ｄｏｃｕｍｅｎｔ ｔｒａｃｋｉｎｇ：Ｕｎｉｆｙｉｎｇ ｙｏｕｒ ｐｈｙｓｉｃａｌ ａｎｄ ｅｌｅｃｔｒｏｎｉｃ ｄｅｓｋｔｏｐｓ）」（Ｐｒｏｃ． ＵＩＳＴ’０４， ｐｐ．９９−１０７） ＰｙＰＤＦ２ソフトウェアツール（ｈｔｔｐｓ：／／ｐｙｐｉ．ｐｙｔｈｏｎ．ｏｒｇ／ｐｙｐｉ／ＰＹＰＤＦ２，２０１６年４月２５日） Ｘｐｄｆソフトウェアツール（ｈｔｔｐ：／／ｗｗｗ．ｆｏｏｌａｂｓ．ｃｏｍ／ｘｐｄｆ， ２０１６年４月２５日）

本明細書で記述する実施形態は、面上に存在する文書に関連する他の電子的な文書や、面上に存在する文書に関連する人物の情報をユーザに提供する方法、プログラムおよび計算処理システムを開示する。

本発明の第１の態様によれば、処理ユニットとメモリとプロジェクタとカメラを備える計算処理システムにおいて実行される計算実行方法が提供される。ここでプロジェクタとカメラは面の上方に配置される。計算実行方法は、カメラを利用して面上に配置された文書の画像を取得することと、取得された文書の画像を利用して文書の少なくとも一部のテキストを取得することと、取得された文書の少なくとも一部のテキストを利用して文書に関連する複数の関連文書を見出すことと、取得された文書の少なくとも一部のテキストを利用して文書に関連する複数の関連人物を見出すことと、プロジェクタを利用して複数の関連文書のそれぞれに対応する第１のサムネール画像の少なくとも一つと複数の関連人物のそれぞれに対応する第２のサムネール画像の少なくとも一つとを表示すること、とを含む。

本発明の第２の態様によれば、カメラは処理ユニットに動作可能に結合されたタレット上に装着され、かつ処理ユニットがタレットを動作させることでカメラを動かし、面上の文書を撮影するように構成されている。

本発明の第３の態様によれば、取得された文書の画像を利用して文書の少なくとも一部のテキストを得ることが、取得された文書の画像上で光学文字認識を実行して文書のテキストの少なくとも一部を得ることを含む。

本発明の第４の態様によれば、取得された文書の画像上で光学文字認識を実行することにより文書の全テキストを得る。

本発明の第５の態様によれば、取得された文書の画像を利用して文書の少なくとも一部のテキストを得ることが、取得された文書の画像内のキーポイントを判定することと、判定したキーポイントを電子文書コレクションのキーポイントと照合することと、電子文書コレクション内の一致する電子文書を一致するキーポイントと一緒に配置することと、配置された一致する電子文書から文書の少なくとも一部のテキストを抽出することとを含む。

本発明の第６の態様によれば、複数の関連文書のそれぞれに対応する第１のサムネール画像が、対応する関連文書から抽出された画像である。

本発明の第７の態様によれば、関連文書から第１のサムネール画像を抽出することが、図形検出を用いて対応する関連文書から複数の図形を抽出し、抽出された複数の図形のうちの一つの図形を第１のサムネール画像として選択することとを含む。

本発明の第８の態様によれば、文書の選択された図形は、コレクション中の他の文書の図形に比べて最も独自の色と模様の特徴を有する。

本発明の第９の態様によれば、文書の得られた少なくとも一部のテキストを利用して文書に関連する複数の人物を見出すことが、文書の少なくとも一部のテキストを用いてウェブ検索を実行することを含む。

本発明の第１０の態様によれば、関連人物に対応する第２のサムネール画像は、関連人物のそれぞれに対応する複数の写真を検索して、そのうち１枚の写真を選択することによって得られる。

本発明の第１１の態様によれば、検索された関連人物の複数の写真のそれぞれの画像特徴を算出し、複数の写真の画像特徴の中心値に近い画像特徴を有する写真を、第２のサムネール画像として得る。

本発明の第１２の態様によれば、プロジェクタとカメラは、ユーザに着用されるヘッドマウント型拡張現実システムの部品である。

本発明の第１３の態様によれば、プロジェクタは面の上方に固定装着され、複数の関連文書に対応する複数の第１のサムネール画像の少なくとも一つと、複数の関連人物に対応する複数の第２のサムネール画像の少なくとも一つとが、プロジェクタによって面上に表示される。

本発明の第１４の態様によれば、この方法は、複数の第１のサムネール画像の少なくとも一つをユーザが選択することを検出し、選択された第１のサムネール画像に対応する関連文書に関する情報を表示することをさらに含む。

本発明の第１５の態様によれば、この方法は、複数の第１のサムネール画像の少なくとも一つをユーザが選択することを検出し、選択された第１のサムネール画像に対応する関連文書を表示することをさらに含む。

本発明の第１６の態様によれば、この方法は、複数の第２のサムネール画像の少なくとも一つをユーザが選択することを検出し、選択された第２のサムネール画像に対応する関連人物に関する情報を表示することをさらに含む。

本発明の第１７の態様によれば、この方法は、複数の第２のサムネール画像の少なくとも一つをユーザが選択することを検出し、選択された第２のサムネール画像に対応する関連人物にユーザが連絡するための情報を表示することをさらに含む。

本発明の第１８の態様によれば、面とはテーブル上面である。

本発明の第１９の態様によれば、処理ユニットとメモリとカメラとプロジェクタとを備え、カメラとプロジェクタは面の上方に配置された計算処理システムにおいて実行されるプログラムであって、カメラを利用して面上に配置された文書の画像を取得し、取得された文書の画像を利用して文書の少なくとも一部のテキストを取得し、取得された文書の少なくとも一部のテキストを利用して文書に関連する複数の関連文書を見出し、取得された文書の少なくとも一部のテキストを利用してその文書に関連する複数の関連人物を見出し、プロジェクタを利用して複数の関連文書のそれぞれに対応する第１のサムネール画像の少なくとも一つと複数の関連人物のそれぞれに対応する第２のサムネール画像の少なくとも一つとを表示することを含む方法を、計算処理システムに実行させるプログラムが提供される。

本発明の第２０の態様によれば、処理ユニットとメモリとカメラとプロジェクタとを備え、カメラとプロジェクタは面の上方に配置された計算処理システムが提供される。メモリは、カメラを利用して面上に配置された文書の画像を取得し、取得された文書の画像を利用して文書の少なくとも一部のテキストを取得し、取得された文書の少なくとも一部のテキストを利用して文書に関連する複数の関連文書を見出し、取得された文書の少なくとも一部のテキストを利用してその文書に関連する複数の関連人物を見出し、プロジェクタを利用して複数の関連文書のそれぞれに対応する第１のサムネール画像の少なくとも一つと複数の関連人物のそれぞれに対応する第２のサムネール画像の少なくとも一つとを表示することを含む方法を、計算処理システムに実行させる。

本発明に関連するさらなる態様は、一部が以下の記載で説明され、一部はその記載によって明白であるか、又は本発明の実施によって習得することができる。本発明の態様は、要素ならびに様々な要素と以下の詳細な説明および添付の特許請求の範囲において具体的に示される態様との組合せにより実現及び達成することが可能である。

上記及び以下の記載はいずれも単なる例示と説明であり、請求範囲に記載の発明またはその適用をいかなる形であれ制限することを意図するものではないことを理解されたい。

本明細書に組み込まれ、本明細書の一部を成す添付の図面は、本発明の実施形態を例示し、説明と相俟って本発明概念の原理の説明および例示に供する。具体的には以下の通りである。
卓上カメラ−プロジェクタシステムで文書を閲覧中に、関連する文書と人物を可視化するためのシステムの例示的実施形態を示す図である。 卓上カメラ−プロジェクタシステムで文書を閲覧中に関連する文書と人物を可視化するためのシステムによる、関連する文書と人物の可視化の例を示す図である。 関連文書と人物の可視化のための拡張現実デバイスを利用したシステムの例示的実施形態を示す図である。 関連する文書と人物を示す半透明スクリーンを有する、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）のような拡張現実デバイスを用いたシステムによる、関連文書と人物の可視化の例を示す図である。 卓上カメラ−プロジェクタシステムで文書を閲覧中に関連文書と人物を可視化するシステムの例示的操作シーケンスを示す図である。 卓上カメラ−プロジェクタシステムで文書を閲覧中に関連文書と人物を可視化する計算処理システムの例示的実施形態を示す図である。

以下の詳細な記述において添付の図面を参照する。ここで同一の機能的要素は同様の参照符号で表す。上記の添付図面は、本発明の原理に合致する特定の実施形態および実装形態を限定としてではなく例示として示す。これらの実装形態は、当業者が本発明を実施できるように十分詳細に記述される。また、他の実装形態が利用されてもよいこと、および本発明の趣旨および範囲を逸脱することなしに、構成の変更および／または様々な要素の置換が行われてもよいことを理解されたい。したがって、以下の詳細な記述は限定的な意味に解釈されるべきではない。さらに、記述される本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェアの形態または専用ハードウェアの形態、あるいはソフトウェアとハードウェアの組合せ、のいずれで実装されてもよい。

ユーザが紙の文書（またはタブレット上のデジタル文書）を読んでいる場合、本発明のシステムの一実施形態は、ユーザが関連する文書と人物を見つけ、それらをテーブルトップの文書の近くに表示することを支援できる。一つ又は複数の実施形態において、これは、テーブル上方の高解像度カメラを使用して文書をキャプチャし、ＯＣＲ処理によって得られたテキストを利用して関連部署と人物を検索し、関連文書から代表的図形を抽出し、関連人物の写真を見つけ出し、そしてそれらをサムネールとしてテーブルトップに投影することによって達成される。様々な実施形態において、文書のサムネールを選択して文書に関するより多くの情報を示すか又は文書を取り出してもよいし、人物のサムネールを選択してその人物に関するより多くの情報を示すか、又はその人物にコンタクトを取ってもよい。

図１は、文書を卓上カメラ−プロジェクタシステムで閲覧中に関連する文書と人物を可視化するためのシステム１００の一例示的実施形態を示す。一つ又は複数の実施形態において、卓上カメラ−プロジェクタシステムで文書を閲覧中に関連する文書と人物を可視化するための上記のシステム１００には、テーブルトップ又はその他の面１０３の上方に、任意選択の台座に装着された高解像度（例えば４Ｋ）カメラ１０１が組み込まれていてもよい。台座は、パン（水平方向の回転）やチルト（垂直方向の回転）といったカメラの撮影方向を有したものが好適で、人の操作指示により、またはプログラムからの操作指示信号により、カメラの撮影向きを制御することが可能となる。このような台座として、本実施形態では、カメラのパン−チルト式ロボットタレット１０２上に高解像度カメラ１０１を組み込んだ形態を用いて説明をする。任意選択のロボットタレット１０２は、カメラ１０１を移動させて、テーブルトップ１０３の任意の場所に置かれた文書１０４を探索する。文書１０４が検出されると、ロボットタレット１０２によってカメラ１０１を移動させて検出された文書のページに合わせて文書１０４の高解像度画像をキャプチャする。高解像度画像は次に計算処理システム１０５上で作動するＯＣＲ機械を利用して、キャプチャされた文書コンテンツをテキストに変換する。代替実施形態においては、パン−チルト式ロボットタレット１０２が備えられていなくて、その視野内にテーブルトップ１０３全体が入るようにカメラ１０１をテーブルトップ１０３上方に固定装着する。様々な実施形態において、文書１０４は、典型的な例として、テーブルトップ１０３の面上に存在する物理的文書であり、それは物理的な紙であってもよいし、デジタルコンテンツを表示するタブレットコンピュータ、携帯電話、電子ペーパー等の表示装置であってもよい。物理的文書として表示装置に適用する場合には、実質的に文書１０４は表示装置に表示されている表示文書が文書として扱われる。

一つ又は複数の実施形態において、カメラ１０１の画像解像度は少なくとも４０９６×２１６０ピクセルである。ただし、当業者には分かるように、本発明はカメラ１０１の特定の解像度に限定されるものではなく、他の任意の好適な解像度を有するカメラを使用してもよい。一つ又は複数の実施形態において、カメラ１０１からテーブルトップ１０３の中央までの距離は、最適なＯＣＲ性能を得るために、約２０ピクセルのエックスハイト（ｘ−ｈｅｉｇｈｔ）の文書１０４の取得画像が約３００ｄｐｉの解像度となるように計算される。

カメラ１０１の他に、卓上カメラ−プロジェクタシステム上で文書を閲覧中に関連文書と人物を可視化するシステム１００は、コンテンツをテーブルトップ又はその他の面１０３に投影するように構成されたプロジェクタ１０６を含んでいる。そのために、プロジェクタ１０６は計算処理システム１０５と通信可能に接続されている。一つ又は複数の実施形態において、システム１００は、ユーザが関連文書と人物を見つけ出すことを支援して、それらをテーブルトップ１０３の文書近くに表示するように構成されている。読んでいるときに関連文書を見つけ出すことは、「能動的読み方」をサポートする方法の一つである。これは例えば、非特許文献５に記述されており、参照によりこれを本明細書に援用する。関連する人物を見つけることは、その文書のコレクションが、ユーザがメンバであってその人物に簡単に接触できる組織からのものである場合に特に適用可能である。関連文書と人物を容易に見つけ出すために、計算処理システム１０５はインターネット及び／又は一つ以上のローカル及び／又はリモートデータベースシステムまたはサービス又は検索エンジンに接続されて、関連する人物と文書の検索を実行できるようになっていてもよい。一つ又は複数の実施形態において、システム１００は、上記の文書のＯＣＲ処理されたテキストを検索クエリとして利用して、関連する文書及び／又は人物をそれぞれのコレクション内に見つけ出す。

一実施形態において、文書１０４はタブレットコンピュータを用いて表示されてもよい。これは文書１０４の電子版をユーザに示す。この実施形態では、分解能の低いカメラ１０１が使用されてもよい。このカメラではＯＣＲ操作向きの文書をキャプチャすることはできないが、カメラ１０１によってキャプチャされた画像を利用してコレクション内の文書のキーポイントに照合可能なキーポイントのセットを作成できる。これは例えば、非特許文献６に記述されており、これを参照により本明細書に援用する。対応する電子文書が見つかった後、その文書の電子版（ＰＤＦやワードなど）からテキストを取得することができ、ＯＣＲの実行を必要とせずに、前述した検索クエリとしてリモート検索エンジンやデータベースシステムへ使用できる。

一つ又は複数の実施形態において、例えば非特許文献７に記載されているように、文書のメタデータのコレクション上で標準的な類似性尺度を用いて、クエリから関連文書および人物を見つけ出すことができる。ＣｏＭａｐと称する上記のシステムを用いて、共著者関係から関連する人物が識別される。このようにクエリを文書と照合することで、このシステムでは関連文書の組を得ることができる。これらの関連文書から、一実施形態において上位Ｍ個の文書と上位Ｎ人の人物のリストが導出される。

一つ又は複数の実施形態において、卓上カメラ−プロジェクタシステム上で文書を閲覧中に関連する文書と人物を可視化するためのシステム１００は、インタラクティブなテーブルトップ上での可視化のために見つけた文書から図形を抽出するように構成されている。前述のクエリを用いて見つけた各関連文書に対して、代表的な図形を使ってプロジェクタ１０６でサムネールを表示することができる。当業者には理解されるように、電子文書のフォーマットによって図形抽出法は異なっている。多くの文書はＰＤＦフォーマットで記憶されているが、文書のコンテンツは、埋め込み式画像要素又はスキャンページ画像などの色々な方法で符号化される。文書から図形を抽出する技術の例示的実施形態を以下で詳細に述べる。

図２は、卓上カメラ−プロジェクタシステムで文書を閲覧中に関連する文書と人物を可視化するためのシステム１００による、関連する文書と人物の可視化２００の例を示している。可視化２００はプロジェクタ１０６を用いてテーブルトップ１０３上のシステム１００で行われる。図２に示すようにシステム１００は、テーブルトップ１０３に置かれた文書１０４の横に、関連する人物２０１と関連する文書２０２を表示するようになっている。様々な実施形態において、関連する文書２０２と関連する人物２０１を表すサムネールは、文書１０４の横に互いに隣接する２列として配置される。

別の実施形態では、スマートフォンやタブレットなどのモバイルデバイス、あるいはＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標）のような拡張現実デバイスが関連する文書と人物の可視化に用いられる。関連文書と人物の可視化のための拡張現実デバイスを利用したシステム３００の例示的実施形態を図３に示す。システム３００においてユーザは、テーブルトップ１０３上の文書１０４を拡張現実デバイス３０１で閲覧している。この実施形態では、カメラ３０２とディスプレイ３０３は一つの拡張現実デバイス３０１の一部である（これはプロジェクタ１０６とカメラ１０１が分離した別々のものである、図１に示すテーブルトップシステムの実施形態１００とは違う）。この実施形態では、ユーザが紙の文書１０４を閲覧すると、拡張現実デバイス３０１が関連する情報を半透明スクリーン上に重ねることができる。図４は関連する文書４０１と人物４０２のサムネールを示す半透明スクリーンを有する、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）のような拡張現実デバイス３０１を用いたシステム３００による関連文書と人物の可視化４００の例を示す。一つの実施形態では、スクリーンのスペースが限られているので一つの関連文書と一人の人物の２つのサムネールを有する１列のみを示し、ユーザにはランク分けされたサムネールリストをスクロールして上下させるインタフェースが与えられる。

図５は、卓上カメラ−プロジェクタシステムでの文書の閲覧中に関連文書と人物を可視化するシステム１００の例示的操作シーケンス５００を示す図である。先ずステップ５０１でユーザが文書１０４をテーブルトップ１０３に置く。ステップ５０２で、テーブルトップの上方に装着された高解像度カメラによって文書の高解像度画像がキャプチャされる。ステップ５０３で、画像化された文書のＯＣＲを実行して文書のテキストと図形を抽出する。ステップ５０４で、抽出した文書のテキストを基に文書コレクション内に上位Ｍ個の関連文書が見つけ出される。ステップ５０５で、Ｍ個の関連文書のそれぞれから代表的図形が抽出される。ステップ５０６で、コレクション中に上位Ｎ人の関連人物が識別される。ステップ５０７で、各関連人物の代表的写真が取得される。ステップ５０８で、Ｍ個の代表的文書図形とＮ人の関連人物の写真がテーブルトップの文書の横にサムネールとして表示される。

ステップ５０９で、システム１００がユーザ入力を待つ。ステップ５１０で、システム１００はユーザが文書のサムネールを選択したかどうかを判定する。選択した場合にはステップ５１１において、選択文書の情報が検索されてユーザに表示されるか、又は文書全体が取り出されて表示される。ステップ５１２で、システム１００はユーザが人物のサムネールを選択したかどうかを判定する。選択した場合にはステップ５１３で、システムが選択された人物の情報又はその連絡先を検索して表示する。ユーザは選択した人物に接触するオプションが与えられる場合もある。

次に、可視化のために関連文書からの図形抽出に利用される技術を詳細に記述する。以下の記述ではコレクション内の文書はＰＤＦフォーマットであることを仮定する。課題は、ＰＤＦフォーマットは、埋め込み画像要素又はスキャンページ画像のような色々な方法で符号化され得ることである。前者の場合、文書からサムネール写真を抽出するのにシステム１００はＰｙＰＤＦ２のようなソフトウェアツールを使用してもよい。後者の場合、先ずシステム１００は最後の参照文献にも記述されているＸｐｄｆのようなソフトウェアツールを用いてページを画像として抽出する。そしてレイアウト解析又は図形検出のような文書画像解析手法を適用する。これについては例えば、非特許文献８を参照されたい。

一つ又は複数の実施形態において、関連文書に関する代表的サムネール図形を見つけるために、抽出図形の一つが自動的に選択される。一つの例示的実施形態において、システム１００が、抽出図形セットの中から、またコレクション内の全文書の抽出図形からも、最も独自の色と模様の特徴を持つ図形画像を選択する。

一つ又は複数の実施形態において、関連人物に関する代表的なサムネール写真を見つけるために、その人物の写真の一つが自動的に選択される。関連人物に関する写真サムネールを取得するために、組織はウェブサイトまたはデータベース内にメンバの写真を保持していることが多い。ウェブ検索を利用して人物の写真を見つけることも可能である。たとえば、特定の人物に関する写真として、複数の写真が取得されたとすると、その複数の写真から代表的サムネール写真を決定するための一つの方法として、複数の写真のそれぞれの画像特徴（たとえば色や明度など画像を表す特徴量や、ヒストグラム、模様等の画像の特徴）を求めて、取得された複数の写真の画像特徴の中心値や平均値を求め、その中心値や平均値に最も近い画像特徴を有する写真画像を決定することができる。また、他の人物の写真も考慮に入れて、コレクション内の他の人物の代表的写真とは可能な限り視覚的に異なる写真をそれぞれの人物の代表的写真として選択することもできる。一つ又は複数の実施形態において、図形も写真もない場合には１ページ目の画像又は一般的な写真アイコンを使用することもできる。一実施形態において、上位Ｍ個の図形と上位Ｎ人の人物が取得されると、図２に示すようにそれらを見えるように配置してテーブルトップ上に投影する。

これらのサムネールとインタラクトするために、指又は手のジェスチャを利用してもよい。これは例えば、非特許文献９及び非特許文献４に記述されている。参照によりこれらを本明細書に援用する。一実施形態において、文書２０２のサムネールが選択（タップジェスチャと等価）されると、選択された文書に関する情報（例えば、タイトル、著者、日付など）が表示されたり、あるいはその文書が図示しない記憶手段から読み出されてポップアップウィンドウで表示して閲覧することができるようにしてもよい。さらに、人物２０１のサムネールが選択されると、その人物に連絡を取るための手段として、連絡先情報が表示されたり、又はその人物に（ｅメール、テキストメッセージ、音声会議、ビデオ会議などを介して）連絡をすることができるようにしてもよい。

コンピュータプラットフォームの例
図６は、卓上カメラ−プロジェクタシステムで文書を閲覧中に関連文書と人物を可視化する計算処理システム６００の例示的実施形態を示す。一つ又は複数の実施形態において、計算処理システム６００は、当業者に周知のデスクトップコンピュータのフォームファクタ内に実装されてもよい。代替実施形態においては、計算処理システム６００は、ラップトップ、ノートブックコンピュータ、タブレット、又はスマートフォンをベースとして実装されてもよい。

計算処理システム６００は、計算処理システム６００の様々なハードウェア部品の部品間または部品全体に情報を通信するためのデータバス６０４あるいはその他の相互接続、通信機構と、そのデータバスに電気接続され、情報処理とその他の計算、制御タスクを遂行するための中央処理ユニット（ＣＰＵあるいは単にプロセッサ）６０１とを含んでいてもよい。また、計算処理システム６００は、ランダムアクセスメモリ（ＲＡＭ）や他の動的記憶装置のようなメモリ６１２も含む。メモリは、データバス６０４に接続され、様々な情報及びプロセッサ６０１で実行される命令を記憶する。メモリ６１２はまた、磁気ディスク、光ディスク、半導体フラッシュメモリデバイス、その他の不揮発性固体素子記憶デバイスのような永久記憶装置を含んでいてもよい。

一つ又は複数の実施形態においてメモリ６１２は、プロセッサ６０１による命令の実行時の一時変数またはその他の中間情報の記憶に使用されてもよい。任意選択により計算処理システム６００は、読出し専用メモリ（ＲＯＭまたはＥＰＲＯＭ）６０２や、データバス６０４に接続されたその他の静的記憶装置をさらに含んでいて、計算処理システム６００の操作に必要なファームウェアや基本入出力システム（ＢＩＯＳ）、並びに計算処理システム６００の様々な構成パラメータなどの、プロセッサ６０１のための静的情報及び命令を記憶するようになっていてもよい。

一つ又は複数の実施形態において計算処理システム６００はディスプレイ装置６０９を含んでいてもよい。これもデータバス６０４に電気接続されて、計算処理システム６００のユーザへ上述のキャプチャしたテキスト情報などの様々な情報を表示するようになっていてもよい。代替実施形態においてディスプレイ装置６０９は、グラフィックコントローラ及び／又はグラフィックプロセッサ（図示せず）に関連付けられていてもよい。ディスプレイ装置６０９は液晶ディスプレイ（ＬＣＤ）として実装されていてもよい。これは、いずれも当業者には周知の、例えば薄膜トランジスタ（ＴＦＴ）技術または有機発光ダイオード（ＯＬＥＤ）技術を利用して製造されてもよい。様々な実施形態においてディスプレイ装置６０９は、計算処理システム６００のその他の部品と共通の筐体に組み込まれていてもよい。代替実施形態において、ディスプレイ装置６０９はそのような筐体の外側、例えばテーブル又は机の面などに置かれてもよい。また、様々なモータ及び／又はアクチュエータが組み込まれて、カメラ１０１を前述したように移動及び／又は回転させるためのカメラタレット６０３（図１の要素１０２）が備えられていてもよい。カメラタレット６０３もデータバス６０４に接続される。

一つ又は複数の実施形態において、計算処理システム６００は、方向情報やコマンド選択をプロセッサ６０１に通信し、ディスプレイ装置６０９上のカーソル移動を制御するための、マウス／ポインティングデバイス６１０のようなカーソル制御デバイスを含む一つ以上の入力デバイスを備えてもよい。これは例えば、マウス、トラックボール、タッチパッド、又はカーソル方向キーなどである。この入力装置は一般的には第１の軸（例えばｘ軸）と第２の軸（例えばｙ軸）の２つの軸内での２自由度を有し、それによってデバイスに面内位置を特定させる。

計算処理システム６００はさらに、上述したように机やその上にある文書の画像を取得するための高解像度カメラ６１１と、キーボード６０６を備えていてもよい。これらはすべてデータバス６０４に接続されて、これに限らないが画像や映像を含む情報及びユーザコマンド（ジェスチャを含む）をプロセッサ６０１へ通信してもよい。

一つ又は複数の実施形態において計算処理システム６００は、データバス６０４に接続されたネットワークアダプタ６０５などの通信インタフェースをさらに含んでいてもよい。ネットワークアダプタ６０５は、計算処理システム６００とインターネット６０８の間の接続を、少なくともローカルエリアネットワーク（ＬＡＮ）及び／又はＩＳＤＮアダプタ６０７を利用して確立するようになっていてもよい。ネットワークアダプタ６０５は、計算処理システム６００とインターネット６０８との間の双方向のデータ通信を可能とするように構成されていてもよい。計算処理システム６００のＬＡＮアダプタ６０７が、例えば総合デジタル通信網（ＩＳＤＮ）カード又はモデムを利用して実装されて、対応する種類の電話回線へのデータ通信接続を提供してもよい。電話回線はインターネットサービスプロバイダのハードウェア（図示せず）を利用してインターネット６０８に接続される。別の例として、ＬＡＮアダプタ６０７はローカルエリアネットワークインタフェースカード（ＬＡＮ ＮＩＣ）であって、互換性を有するＬＡＮ及びインターネット６０８にデータ通信接続を提供してもよい。例示的実装形態においてはＬＡＮアダプタ６０７が、種々のタイプの情報を表すデジタルデータストリームを伝送する電気信号、電磁信号を送受信する。

一つ又は複数の実施形態において、インターネット６０８は一般的には１つ以上のサブネットワークを介して他のネットワークリソースへデータ通信を提供する。こうして計算処理システム６００は、リモートウェブサーバ、ウェブサーバ、その他のコンテンツサーバ、並びにその他のネットワークデータストレージリソースなどの、インターネット６０８上の任意の場所にある様々なネットワークリソースにアクセス可能である。一つ又は複数の実施形態において計算処理システム６００は、ネットワークアダプタ（ネットワークインタフェース）６０５によって、メッセージ、メディア、またはアプリケーションプログラムコードを含むその他のデータを、インターネット６０８を含む様々なネットワークを介して送受信するように構成されている。インターネットの例では、計算処理システム６００がネットワーククライアントとして動作する場合に、計算処理システム６００上で実行するアプリケーションプログラムのためのコードやデータを要求してもよい。同様に、様々なデータ又は計算処理コードを他のネットワークリソースに送信してもよい。

一つ又は複数の実施形態において本明細書に記載の機能は、メモリ６１２に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ６０１に応答して、計算処理システム６００によって実装される。そのような命令は別のコンピュータ可読媒体からメモリ６１２へ読み込まれてもよい。メモリ６１２に含まれる命令のシーケンスを実行することで、本明細書に記載した様々なプロセスステップをプロセッサ６０１が遂行する。代替実施形態において、ソフトウェアによる命令の代わりとして、あるいはソフトウェアによる命令と組み合わせて、配線による回路を使用して本発明の実施形態が実行されてもよい。したがって上記の実施形態は、ハードウェア回路及び／又はソフトウェアのいかなる特定の組み合わせにも限定されるものではない。

本明細書で使用される「コンピュータ可読媒体」という用語は、プロセッサ６０１に実行命令を与えることに関与する任意の媒体を指す。コンピュータ可読媒体はマシン可読媒体の単なる一例であって、本明細書に記載の任意の方法および／または技術を実装するための命令を伝送することができる。このような媒体には多くの形態があり、不揮発性媒体および揮発性媒体が含まれるがそれらに限定されるものではない。

非一時的なコンピュータ可読媒体の一般的形態として、例えばフロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、あるいは他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、孔パターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、任意の他のメモリチップまたはメモリカートリッジ、あるいはコンピュータが読み取り可能な任意の他の媒体が含まれる。様々な形態のコンピュータ可読媒体が、プロセッサ６０１での実行のために、１つまたは複数の命令の１つまたは複数のシーケンスの伝送に関与してもよい。例えば、先ず命令がリモートコンピュータから磁気ディスクへ伝送されてもよい。もしくは、リモートコンピュータが命令をそのダイナミックメモリに書込み、インターネット６０８を介して命令を送信してもよい。具体的にはコンピュータ命令は、当分野で周知の各種のネットワークデータ通信プロトコルを用いてインターネット６０８経由で、上記のリモートコンピュータから計算処理システム９００のメモリ６１２へダウンロードされてもよい。

一つ又は複数の実施形態において計算処理システム６００のメモリ６１２は、以下に述べるソフトウェアプログラム、アプリケーション、又はモジュールの任意のものを記憶してもよい。

１．オペレーティングシステム（ＯＳ）６１３。オペレーティングシステム（ＯＳ）６１３は、基本システムサービスを実装し、計算処理システム６００の様々なハードウェア構成要素を管理する。オペレーティングシステム６１３の例示的実施形態は当業者にはよく知られており、既知又は今後開発される任意のモバイルオペレーティングシステムを含んでもよい。

２．ネットワークコミュニケーションモジュール６１４。ネットワークコミュニケーションモジュール６１４は、例えば計算処理システム６００とインターネット６０８の様々なネットワークエンティティ間のネットワーク接続を、ネットワークアダプタ６０５を用いて確立するために利用される、一つもしくは複数のネットワークプロトコルスタックを含んでもよい。

２．アプリケーション６１５。アプリケーション６１５は、例えば、計算処理システム６００のプロセッサ６０１によって実行されるソフトウェアセットを含んでよい。これにより、計算処理システム６００は、例えばここに記述された技術を用いてカメラ６１１による机とその上の文書画像の取得のような所定のある処理を実行させる。一つ又は複数の実施形態においてアプリケーション６１５には、上記の機能を組み込んだ本発明のアプリケーション６１６が含まれてもよい。

一つ又は複数の実施形態において、本発明のテキスト検出とキャプチャのアプリケーション６１６は、紙文書又は電子文書１０４の画像をキャプチャするためのテキスト検出モジュール６１７を含んでいる。さらに本発明のテキスト検出とキャプチャのアプリケーション６１６は、文書ページのキャプチャと再構築のための、文書ページキャプチャ及び再構築モジュール６１８を含んでもよい。さらにはキャプチャしたページ画像をテキスト変換するためのＯＣＲモジュール６１９が含まれていてもよい。任意選択により、計算処理システム６００のメモリ６１２に展開されるその他のアプリケーションとして、ＯＣＲモジュール６１９で生成されたテキストを受信することのできる、索引付けと検索のシステム、文書保管及び／又は言語翻訳アプリケーション（図示せず）が含まれてもよい。

最後に、本明細書で説明したプロセスおよび技術はいかなる特定の装置にも固有に関係するものではなく、構成要素の任意の適切な組み合わせによって実装可能であることを理解されたい。さらに種々のタイプの汎用デバイスを、ここで説明した教示にしたがって使用してもよい。ここで説明した方法のステップを実行するための専用装置を構築することが有利な場合もあるであろう。本発明を特定の例に関連して説明したが、これらは全ての点において限定ではなく例示であることを意図している。本発明の実行には、ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが適することが、当業者には理解されるであろう。例えば、説明したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ−Ｃ、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などの広範なプログラム言語又はスクリプト言語、並びに既知又は今後開発される任意のプログラム言語又はスクリプト言語によって実装することが可能である。

さらに本発明の他の実装は、ここに開示した本発明の詳細及び実行を考慮すれば当業者には明らかとなるであろう。記述した実施形態の様々な態様及び／又は構成要素は、卓上カメラ−プロジェクタシステム上での文書の閲覧中に関連文書及び人物を可視化するためのシステムと方法において、単独又は任意の組合せで使用することができる。詳細および例は例示としてのみ考慮されるべきであり、本発明の真の範囲と趣旨は添付の特許請求の範囲に示されている。

１００ システム
１０１ カメラ
１０２ ロボットタレット
１０３ 面
１０４ 文書
１０５ 計算処理システム
１０６ プロジェクタ
２００ 可視化
２０１ サムネール
２０１ 人物
２０２ 文書

Claims (20)

1. 処理ユニットとメモリとプロジェクタとカメラとを備え、前記プロジェクタと前記カメラは面の上方に配置された計算処理システムにおいて実行される計算実行方法であって、
   ａ．前記カメラを利用して前記面上に配置された文書の画像を取得することと、
   ｂ．取得された前記文書の画像を利用して、前記文書の少なくとも一部のテキストを取得することと、
   ｃ．取得された前記文書の前記少なくとも一部のテキストを利用して、前記文書に関連する複数の関連文書を見出すことと、
   ｄ．取得された前記文書の前記少なくとも一部のテキストを利用して、前記文書に関連する複数の関連人物を見出すことと、
   ｅ．前記プロジェクタを利用して、複数の前記関連文書のそれぞれに対応する第１のサムネール画像の少なくとも一つと、複数の前記関連人物のそれぞれに対応する第２のサムネール画像の少なくとも一つとを表示することと、
   を含む計算実行方法。
2. 前記カメラは前記処理ユニットに動作可能に結合されたタレット上に装着され、かつ前記処理ユニットが前記タレットを動作させることで前記カメラを動かし、前記面上の前記文書を撮影するように構成された、請求項１に記載の計算実行方法。
3. 取得された前記文書の画像を利用して前記文書の前記少なくとも一部のテキストを得ることが、取得された前記文書の画像上で光学文字認識を実行して、前記文書のテキストの少なくとも一部を得ることを含む、請求項１又は２に記載の計算実行方法。
4. ステップｂにおいて、取得された前記文書の画像上で光学文字認識を実行することにより前記文書の全テキストを得る、請求項１〜３のいずれか一項に記載の計算実行方法。
5. 取得された前記文書の画像を利用して前記文書の前記少なくとも一部のテキストを得ることが、取得された前記文書の画像内のキーポイントを判定することと、前記判定したキーポイントを電子文書コレクションのキーポイントと照合することと、前記電子文書コレクション内の一致する電子文書を一致するキーポイントと一緒に配置することと、前記配置された一致する電子文書から前記文書の前記少なくとも一部のテキストを抽出することと、を含む請求項１〜４のいずれか一項に記載の計算実行方法。
6. 複数の前記関連文書のそれぞれに対応する前記第１のサムネール画像が、対応する前記関連文書から抽出された画像である、請求項１〜５のいずれか一項に記載の計算実行方法。
7. 前記関連文書から前記第１のサムネール画像を抽出することが、図形検出を用いて対応する前記関連文書から複数の図形を抽出し、前記抽出された複数の図形のうちの一つの図形を前記第１のサムネール画像として選択することとを含む、請求項６に記載の計算実行方法。
8. 前記文書の前記選択された図形は、前記コレクション中の他の文書の図形に比べて最も独自の色と模様の特徴を有する、請求項７に記載の計算実行方法。
9. 前記文書の前記少なくとも一部のテキストを利用して前記文書に関連する複数の人物を見出すことが、前記文書の前記少なくとも一部のテキストを用いてウェブ検索を実行することを含む、請求項１〜８のいずれか一項に記載の計算実行方法。
10. 前記関連人物に対応する前記第２のサムネール画像は、前記関連人物のそれぞれに対応する複数の写真を検索して、そのうち１枚の写真を選択することによって得られる、請求項１〜９のいずれか一項に記載の計算実行方法。
11. 検索された前記関連人物の複数の写真のそれぞれの画像特徴を算出し、前記複数の写真の画像特徴の中心値に近い画像特徴を有する写真を、前記第２のサムネール画像として得る、請求項１０に記載の計算実行方法。
12. 前記プロジェクタと前記カメラは、ユーザに着用されるヘッドマウント型拡張現実システムの部品である、請求項１〜１１のいずれか一項に記載の計算実行方法。
13. 前記プロジェクタは前記面の上方に固定装着され、複数の前記関連文書に対応する複数の前記第１のサムネール画像の少なくとも一つと、複数の前記関連人物に対応する複数の前記第２のサムネール画像の少なくとも一つとが、前記プロジェクタによって前記面上に表示される、請求項１〜１２のいずれか一項に記載の計算実行方法。
14. 複数の前記第１のサムネール画像の少なくとも一つをユーザが選択することを検出し、選択された前記第１のサムネール画像に対応する前記関連文書に関する情報を表示することをさらに含む、請求項１〜１３のいずれか一項に記載の計算実行方法。
15. 複数の前記第１のサムネール画像の少なくとも一つをユーザが選択することを検出し、選択された前記第１のサムネール画像に対応する前記関連文書を表示することをさらに含む、請求項１〜１４のいずれか一項に記載の計算実行方法。
16. 複数の前記第２のサムネール画像の少なくとも一つをユーザが選択することを検出し、選択された前記第２のサムネール画像に対応する前記関連人物に関する情報を表示することをさらに含む、請求項１〜１５のいずれか一項に記載の計算実行方法。
17. 複数の前記第２のサムネール画像の少なくとも一つをユーザが選択することを検出し、選択された前記第２のサムネール画像に対応する前記関連人物にユーザが連絡するための情報を表示することをさらに含む、請求項１〜１６のいずれか一項に記載の計算実行方法。
18. 前記面はテーブル上の面である、請求項１〜１７のいずれか一項に記載の計算実行方法。
19. 処理ユニットとメモリとカメラとプロジェクタとを備え、前記カメラと前記プロジェクタは面の上方に配置された計算処理システムにおいて実行されるプログラムであって、
    ａ．前記カメラを利用して前記面上に配置された文書の画像を取得し、
    ｂ．取得された前記文書の画像を利用して、前記文書の少なくとも一部のテキストを取得し、
    ｃ．取得された前記文書の前記少なくとも一部のテキストを利用して、前記文書に関連する複数の関連文書を見出し、
    ｄ．取得された前記文書の前記少なくとも一部のテキストを利用して、前記文書に関連する複数の関連人物を見出し、
    ｅ．前記プロジェクタを利用して、複数の前記関連文書のそれぞれに対応する第１のサムネール画像の少なくとも一つと、複数の前記関連人物のそれぞれに対応する第２のサムネール画像の少なくとも一つとを表示する、
    ことを含む方法を前記計算処理システムに実行させるためのプログラム。
20. 処理ユニットとメモリとカメラ、プロジェクタとを備え、前記カメラと前記プロジェクタは面の上方に配置された計算処理システムであって、前記メモリは、
    ａ．前記カメラを利用して前記面上に配置された文書の画像を取得し、
    ｂ．取得された前記文書の画像を利用して、前記文書の少なくとも一部のテキストを取得し、
    ｃ．取得された前記文書の前記少なくとも一部のテキストを利用して、前記文書に関連する複数の関連文書を見出し、
    ｄ．取得された前記文書の前記少なくとも一部のテキストを利用して、前記文書に関連する複数の関連人物を見出し、
    ｅ．前記プロジェクタを利用して、複数の前記関連文書のそれぞれに対応する第１のサムネール画像の少なくとも一つと、複数の前記関連人物のそれぞれに対応する第２のサムネール画像の少なくとも一つとを表示する、
    ことを含む方法を前記計算処理システムに実行させるコンピュータ実行可能命令セットを記憶する、計算処理システム。