JP2015207258A - 情報出力装置、情報出力方法及びプログラム、情報提供装置、情報提供方法及びプログラム - Google Patents

Abstract

【課題】 文書などの情報を再確認する際に、一つの文書情報に対して同じ関連情報のコンテンツしか用意されていないため、文書情報に対する閲覧者の状態に応じた関連情報のコンテンツを提供することができなかった。【解決手段】 表示対象の情報に対する閲覧者の既読状態を取得する第一取得手段と、前記情報に関連付けられた複数の関連情報から、前記閲覧者の前記情報に対する既読状態に応じた関連情報を取得する第二取得手段と、前記情報の表示とともに、前記第二取得手段で取得した関連情報を出力する出力手段と、を有することにより、閲覧時の文書等の表示対象の情報に対する閲覧者の既読状態に応じて関連情報のコンテンツを選択して提供することができる。【選択図】 図１０

Description

本発明は、情報の閲覧者に好適な関連情報を出力する情報出力装置、情報出力方法及びプログラム、情報提供装置、情報提供方法及びプログラムに関する。

カメラで撮像した現実空間の画像が表示される画面において、コンピュータグラフィックスによる拡張情報（関連情報）を画像に重ね合わせて表示する拡張現実感技術が普及している。拡張現実感技術では、撮像画像の画像特徴量を用いて、現実空間の物体の撮像画像に対応づけられた、拡張現実感を与える関連情報（以下、ＡＲコンテンツとも記載する）を検索する。検索された関連情報を、撮像した画像に重畳表示することができる。

予め、紙ドキュメントの撮像画像の画像特徴量や、紙ドキュメントに印刷したマーカの画像特徴量に対してＡＲコンテンツを対応付けて格納しておく。そして、撮像機能を持った端末で紙ドキュメントを撮像することで、紙ドキュメントの撮像画像の画像特徴量を認識して、画像特徴量に対応付けられたＡＲコンテンツを、表示された紙ドキュメントの画像に重畳表示するという利用形態の普及が進んでいる。例えば、特許文献１では携帯端末を通して紙媒体に印刷された特定の原オブジェクトを、撮像した画像又は映像の表示に代えて対応する代替オブジェクトを表示している。

また音声コンテンツの再生方法として、特許文献２で示されているような、重要部分につけられたインデックスを基にコンテンツの再生位置を変更するといったものも存在する。

特開２００９−２５８３４０号公報 特開２００５−１０９９２８号公報

特許文献１では、紙ドキュメントの撮像画像に１つだけ関連付けたＡＲコンテンツが常に表示される。閲覧者がその紙ドキュメントについて既に説明を受けたに、常に同じＡＲコンテンツが表示されると、冗長となり関連情報として適さないことがあるという課題が存在する。表示時間の長いＡＲコンテンツを閲覧する場合は、閲覧効率の低下につながる。

コンテンツから重要な部分を抽出する技術として、特許文献２では会議の発言記録に対して重要部分にインデックスを付けることによって、会議中に注目した発言を抽出して再生している。しかし、特許文献２のように、インデックスを付けた発言記録を再生するだけでは、会議に参加していない人間にとっては聞く必要のある会議内容が再生されない可能性がある。

従って、従来技術では文書等の表示対象の情報を閲覧する時に、閲覧者の文書等の情報に対する既読状態に適合していないＡＲコンテンツを提供してしまっているという課題が存在している。

本発明は、この課題を鑑みてなされたものであり、表示対象の情報を閲覧する閲覧者の、表示対象の情報に対する既読状態に基づいて、複数の関連情報のうち、閲覧者に適した関連情報を表示又は再生する情報出力装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。

上記の問題を解決するための情報出力装置は以下の構成を備える。すなわち、表示対象の情報に対する閲覧者の既読状態を取得する第一取得手段と、前記情報に関連付けられた複数の関連情報から、前記閲覧者の前記情報に対する既読状態に応じた関連情報を取得する第二取得手段と、前記情報の表示とともに、前記第二取得手段で取得した関連情報を出力する出力手段と、を備える。

本発明によれば、情報出力装置において情報を閲覧する閲覧者の情報に対する既読状態に基づいて、複数の関連情報のうち、閲覧者に適した関連情報を出力することができる。

本発明の第１の実施形態に係るＡＲ端末とサーバの概略構成の一例を示す模式図 本発明の第１の実施形態における機能ブロックを示した構成図 本発明の第１の実施形態における文書の説明を受ける際の模式図 本発明の第１の実施形態における文書の説明を受ける際の処理を示したフローチャート 本発明の第１の実施形態における文書の説明を受ける際の詳細な模式図 本発明の第１の実施形態における判断結果による出力内容の違いを示した表 本発明の第１の実施形態における文書を振り返る際の模式図 本発明の第１の実施形態における出力コンテンツの用意および組合せの一例を示した図 本発明の第１の実施形態におけるサーバ内でのコンテンツ及び説明を受けたかどうかの状態を管理するテーブルの一例を示した図 本発明の各実施形態における文書を再確認する際の処理を示したフローチャート 本発明の第２の実施形態における文書への書き込みの一例を表した模式図 本発明の第２の実施形態における文書への複数の書き込みの一例を表した模式図 本発明の第２の実施形態における文書への複数の書き込みがある際の出力コンテンツの選択方法の処理を示したフローチャート 本発明の第２の実施形態における判断結果による出力内容の違いを示した表 本発明の第３の実施形態における文書の説明を受ける際の模式図 本発明の第３の実施形態における文書の説明を受ける際の処理を示したフローチャート 本発明の第３の実施形態における判断結果による出力内容の違いを示した表

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
図１は本発明の情報表示装置と情報提供装置の第１の実施形態に係るＡＲ端末１０１とサーバ１１１の概略構成の一例を示す模式図である。

本実施形態に係るＡＲ端末１０１とサーバ１１１は、通信部１０５および通信部１１３を介して、インターネットやイントラネット経由で接続することができる。ＡＲ端末１０１は、さらに現実空間の撮像機能を備えた撮像部１０９及び、撮像した映像にＡＲコンテンツを重畳表示する表示部１０４等を備えている。ＡＲ端末１０１は、例えばタブレット端末、携帯電話端末、デジタルカメラ等である。即ち、ＡＲ端末１０１は撮像機能、音声再生機能と画像の表示機能を備えた情報出力装置である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２は、記憶部１０６に格納されている制御プログラムを実行することにより、ＡＲ端末１０１の制御を行う。記憶部１０６は、ＡＲ端末１０１が実行するプログラムや入出力データ、各種情報を格納する。これらのデータ及びプログラムを格納する記憶媒体としては、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等を用いることができる。

ＡＲ端末１０１がプログラムを実行することにより、後述するフローチャートに示す各処理を実行する。ＲＡＭ１０７は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、ＡＲ端末１０１によって実行する。ＲＯＭ１０８は処理プログラム等の制御プログラムや各種データを記憶する。撮像部１０９は、光学装置および撮像素子等によって構成され、ＣＰＵ１０２からの指示に応じて、被写体の撮像を行う。

入力部１０３は、操作ボタン、タッチパネル等で構成され、ユーザからの指示を受け付ける。表示部１０４は、液晶パネル等で構成され、本実施形態の表示処理の対象となるデータを表示する。本実施形態では、表示処理の対象は文書情報のデータ、撮像された画像情報の画像データ、又はＡＲコンテンツの画像データである。ＡＲコンテンツが音声情報である場合は、音声データは非図示の再生部によって再生される。また、画像データを表示する表示機能及び音声データを再生する再生機能を有する出力部（非図示）として設けることもできる。これら全ての構成要素はＢＵＳ１１０で接続されている。

サーバ１１１は、ＡＲ端末１０１に提供するＡＲコンテンツを管理・処理するものである。ＣＰＵ１１２は、記憶部１１４に格納されている制御プログラムを実行することにより、サーバ１１１の制御を行う。記憶部１１４は、本実施形態の処理対象となるデータを保持している。例えば、ＡＲコンテンツの識別を行うための識別情報やＡＲコンテンツのデータを保持している。記憶部１１４としては、ハードディスク、フラッシュメモリ等を用いることができる。サーバ１１１がプログラムを実行することにより、後述するフローチャートに示す各処理を実行する。ＲＯＭ１１６は、処理プログラム等の制御プログラムや各種データを記憶する。ＲＡＭ１１５は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、サーバ１１１によって実行する。フラッシュメモリ、ＨＤＤなどを用いることができる。

なお、本実施形態では後述するフローチャートの各ステップに対応する処理を、ＣＰＵ１０２およびＣＰＵ１１２を用いてソフトウェアで実現するが、その処理の一部又は全部を電子回路などのハードウェアで実現するようにしても良い。

図２は、本実施形態における機能ブロックを示した構成図である。図２のＡＲ端末２０１とサーバ２０４は図１のＡＲ端末１０１とサーバ１１１と対応する。ＡＲ端末２０１の撮像部２０２は現実空間にある紙文書等の物体を撮像し、撮像した撮像結果（静止画又は動画を含む画像情報）をサーバ２０４に送信する。

サーバ２０４では、受信した撮像結果に基づいて、次に説明する処理を行って、ＡＲ端末２０１にＡＲコンテンツを提供する。まず、撮像結果の紙文書等の画像情報を認識部２０５で解析し、紙文書であれば、文書の識別情報を認識する。その識別情報は、例えば紙ドキュメントに印刷された画像を識別するための画像特徴量、または、紙ドキュメントに印刷されるマーカである。認識部２０５の識別結果を基に、認識された文書に関連付けられた文書関連情報としてのコンテンツをコンテンツ取得部２０６で取得する。文書関連情報としてのコンテンツが複数ある場合、コンテンツ取得部２０６はすべてのコンテンツを取得してもよい。複数のコンテンツから閲覧者に適したコンテンツだけを取得してもよい。ここでは、コンテンツは、画像、映像又は音声データの何れか又はその組み合わせである。コンテンツの詳細及びコンテンツの取得方法については、次に説明する。

なお、本実施形態では認識部２０５及びコンテンツ取得部２０６はサーバ２０４側に設けているが、認識部２０５及びコンテンツ取得部２０６のいずれか又は両方をＡＲ端末２０１側に設けることができる。

コンテンツ取得部２０６で取得されたコンテンツは、コンテンツ決定部２０９に送られる。ここでは、出力するコンテンツの選択を行う。本実施形態ではコンテンツ決定部２０９はサーバ２０４側に設けているが、ＡＲ端末２０１側に設けることができる。

コンテンツ決定部２０９によって選択されたコンテンツはＡＲ端末２０１に送信される。ＡＲ端末２０１の受信したコンテンツを閲覧者へ提供する提供方法はコンテンツの種類によって異なる。選択されたコンテンツは画像データであれば、ＡＲ端末２０１は、サーバ２０４から受信したＡＲコンテンツをコンテンツ出力部２０３が表示する、又は表示されている文書等の表示対象の上に重畳して表示する。出力部２０３の替わりに、又は出力部２０３と連携して表示部１０４が表示する、又は表示部１０４に表示されている文書等の表示対象の上に重畳して表示することもできる。選択されたコンテンツが音声データであれば、コンテンツ再生部２０３によって音声情報を再生する。

ＡＲ端末２０１とサーバ２０４の動作をフローチャートと併せて説明する。

まず、閲覧者が最初に文書の説明を受ける際に、説明を受ける文書と関連付けた関連情報としてのコンテンツのコンテンツ作成方法について図３〜図６を用いて説明する。本実施形態における文書は、例えば銀行の金融サービスを説明するための販促用のカタログやパンフレット等の説明資料である。説明資料の閲覧者（以下、閲覧者と記載する）は銀行のカウンターにおいてユーザとして説明資料を閲覧しながら、銀行側の説明者（以下、説明者と記載する）から説明資料について説明を受ける。以降、銀行側の担当者の説明したことを補足説明資料として作成された場合に、その補足説明資料を関連情報のコンテンツ（以下、コンテンツと記載する）として説明する。

図３は、閲覧者３０１が最初に説明者３０２から文書３０３の説明を受ける際の模式図である。ここでは、閲覧者３０１が初めて文書３０３を受け取り、文書３０３について説明を受ける人物である。この際、説明場所に備え付けられたカメラ等の撮像装置、もしくはマイクなどの集音装置によって、閲覧者３０１に、どの文書が説明されたか、もしくはどの文書のどの部分が説明されたかが記録される。記録された映像や音声のデータはサーバ１１１の記憶部１１４に保存され、ＡＲコンテンツとして又はＡＲコンテンツを作成するためのデータとして利用可能である。

ここで、この文書３０３の説明を受けるべき人物として関係者３０４も存在しているが、何らかの理由によりこの場に立ち会っていないものとする。このため、閲覧者３０１と関係者３０４の間で文書３０３に対する理解度合いに差が生じているので、作成された同一のＡＲコンテンツは閲覧者３０１と関係者３０４にとって有用性は異なるという課題が発生している。

この課題を解決するための方法について説明する。まず、閲覧者が文書の説明をどれぐらい受けているかを判定する処理について説明したフローチャートが図４である。ステップＳ４０１において、文書が会話の場に置かれたかどうかを検出する。これは例えば、固定カメラで会話の場を撮像しておき、撮像された映像と予め用意しておいた文書とのテンプレートマッチングを行うといった方法で検出を行う。もしくは予め用意しておいた文書をクエリにして撮像された画像内を検索し、文書が発見できるかを確認するといった方法で検出を行う。

ステップＳ４０１で、文書が検出された場合には検出された文書の座標を記録し、ステップＳ４０２に進む。ここでは、文書についての説明が始まったかどうかの判定を行う。ここで例えば映像データを用いる場合には、検出された文書領域を説明者３０２が一定時間以上指したかによって説明が始まったかどうかを判定する。より具体的には、文書の座標からどの文書領域を他のオブジェクト（例えば、指や指し棒など）が一定時間隠したかによって判定する。例えば、文書領域の画像から、該文書領域又はその近傍が何らかのオブジェクトによって隠されたかを認識する。隠されたと認識された場合に、該文書領域又はその近傍が隠された時間を計測して、一定時間以上を超えた場合に、該文書領域又は文書の説明が始まったと判定する。

また音声データを用いる場合には、予め文書、もしくは文書の各部分毎にキーワードを設定しておく。会話時はマイクで内容を録音し、録音した音声情報のコンテンツから設定したキーワードを一定回数以上発話したことを検出したら、当該キーワード設定箇所を説明し始めたと判定する。

これらの方法により文書の説明が開始されたと判断されると、次にステップＳ４０３に進み、説明が最後まで完了したかを判断する。これはステップＳ４０２と同様に、他のオブジェクトが一定時間隠したか、設定したキーワードを一定回数以上発話したことを検出したかといったことで判定する。無論、この判断を行う時間・回数などの閾値はステップＳ４０２よりも長い、もしくは多いものになっている。なお、このステップＳ４０２、Ｓ４０３は画像、音声の一方を用いてもよいし、双方を合わせて処理を行ってもよい。

説明が最後まで完了したと判定されるとステップＳ４０５に進み、文書、もしくは文書の特定部分の説明を完了したことの判定結果が関係記録部２０８によってサーバ１１１の記憶部１１４に記録される。

文書のどこを説明したかまで記録する場合には、隠れた部分のうち一番閲覧者３０１に近い部分を説明したと判断し記録する。この処理が行われる場面の模式図が図５である。ここで、閲覧者５０１は説明者５０２から文書５０３の説明を受けているものとする。この際、説明者５０２は文書５０３の任意の部分を自らの手５０４で指し示しながら説明を行っているため、文書５０３は手５０４で一部分が隠れる。そこで、その隠れた部分のうち一番閲覧者５０１に近い部分、図５では手５０４の伸びている指の先にある画像５０５を説明していると判定し、記録する。

図４のフローチャートに戻る。ステップＳ４０３で説明が最後まで終わらなかった、つまり途中で終了してしまった場合には、ステップＳ４０６に進む。ステップＳ４０６での判定の閾値（時間・回数）は、ステップＳ４０３で設定されている、説明が最後まで完了したかどうかを判断する閾値と、ステップＳ４０２で設定されている、説明が始まったかどうかを判定する閾値の間にある値を設定する。

ステップＳ４０６では、ステップＳ４０５と同様に文書、もしくは文書の特定部分を説明したことが関係記録部２０８によってサーバ１１１の記憶部１１４に記録されるが、完了ではなく途中までで終わったことの判定結果が記録される。

もし、ステップＳ４０１で文書が検出されない、またはステップＳ４０２で文書の説明がされなかったと判定された場合には、ステップＳ４０４に進む。ここでは、説明者３０２による説明が終わったかどうかを判定する。説明が終わったかどうかの判定は、固定カメラの画像に文書３０３もしくは閲覧者３０１と説明者３０２が一定時間以上映らない、マイクから閲覧者３０１と説明者３０２に音声が一定時間以上検出されないことによって行う。この処理もステップＳ４０２ならびにステップＳ４０３同様、画像もしくは音声の一方のみを用いてもよいし、双方を合わせて処理してもよい。説明が終わった場合にはステップＳ４０７に進み、閲覧者３０１には文書３０３の説明が行われていないことの判定結果をサーバ１１１の記憶部１１４に記録する。ステップＳ４０４において、説明が終わっていないと判定された場合には、ステップＳ４０１に戻り再度文書の検出を行う。

この処理を行うことにより、閲覧者３０１の文書３０３に関する説明を受けた状態としては全部説明されている（既読）、途中まで説明されている（途中）、説明されていない（未読）という３つの状態が存在することになる。この３つの状態は、閲覧者３０１にとって、文書３０３に関する説明を受けた程度でもある。本実施形態では、この３つの状態のいずれを閲覧者３０１の文書３０３に対する既読状態と呼ぶ。即ち、閲覧者３０１の既読状態は、さらに既読、途中、未読のいずれの状態に分けられる。なお、図４で説明した処理は一例であって、他の方法によって、閲覧者の既読状態に合わせた関連情報を作成してもよい。

閲覧者３０１は銀行から販促用のカタログやパンフレット等の説明資料を持ち帰って、後に再確認のためにＡＲ端末を用いて説明資料の文書３０３の情報を閲覧する。また、閲覧者３０１は銀行から持ち帰った説明資料を初めてその資料を閲覧する閲覧者３０４に見せて、閲覧させることもできる。

ここでは、説明資料の文書３０３は紙に印刷された文書であるが、記憶媒体に記憶された電子データ又はＷＥＢからダウンロードした電子データの説明資料であってもよい。ここで、その説明資料の関連情報としてのコンテンツは複数用意されている場合と１つしかない場合がありうる。コンテンツは複数用意されている場合は、閲覧者３０１又は閲覧者３０４の既読状態に応じて、閲覧者３０１又は閲覧者３０４が文書３０３を閲覧する際に、表示・再生されるコンテンツが選択される。

閲覧者３０１又は閲覧者３０４の文書３０３に対する既読状態に応じたコンテンツの例について図６に示す表６０１を用いて説明する。なお、この表６０１では説明を簡単にするため、前述の、説明されているという状態を「既読」、説明されていないという状態を「未読」、途中まで説明されているという状態を「途中」とそれぞれ表記している。

ここでいうコンテンツは、実際に文書３０３に関する説明を行う際に撮像装置もしくは集音装置によって記録された画像や音声のデータから作成してもよいし、別途に用意された画像や音声のデータであってもよい。

コンテンツ候補が１つしかなければ元々用意されているコンテンツを表示・再生する。ここではこのコンテンツをデフォルトコンテンツと呼ぶことにする。このデフォルトコンテンツは図４で説明した３つの状態に対応したコンテンツの中で、既読に対応したコンテンツは未読に対応したコンテンツと同じであるので、閲覧者の状態が既読である場合は、デフォルトコンテンツを表示・再生する。

また、コンテンツ候補が複数あるならば（未読に対応したコンテンツは既読に対応したコンテンツと異なる）、閲覧者の状態（既読）に合わせて、図４のＳ４０５で文書を説明したと記録された場合の既読コンテンツを表示・再生する。

同様に、コンテンツ候補がデフォルトコンテンツの１つしかなければ、閲覧者の状態が未読である場合でも、デフォルトコンテンツを表示・再生する。

コンテンツ候補が複数あれば、図４のＳ４０７で文書を説明していないと判断された場合の未読用のコンテンツを選択して表示・再生する。更に、閲覧者の状態が途中である場合、図４のＳ４０６で説明が途中で終わったと判断された場合の途中用のコンテンツを表示・再生する。

ここで、既読用のコンテンツは文書３０３について少なくとも一度説明を受けた人物が視聴対象である。従って、詳細な説明内容を一から振り返る必要はない。この場合は、例えば説明時の内容をサマライズしたもの等が既読用のコンテンツとなる。一方、未読用のコンテンツは文書３０３について一度も説明を受けていない人物が視聴対象となる。よって、文書の内容を詳細に説明するもの等が未読用のコンテンツとなる。

また、デフォルトコンテンツは作成者側がどのような場合でも再生されるものとして１つだけ用意したものである。よって、その内容は作成者側が自由に決められるものであるが、未読用のコンテンツと同じ内容のコンテンツが望ましい。なお、コンテンツの作成者は、文書３０３の説明者と同じであることが望ましい。本実施形態では、文書３０３の説明者及びコンテンツの作成者は、顧客に資料を説明する銀行などの説明者である。

さらに途中用のコンテンツは図４のＳ４０６で途中まで説明を受けていたと判断された人間が視聴対象となる。これは、文書３０３について、一部の説明を受けた（既読）が、残りの説明は受けていない（未読）であるとみなすことができる。よって、既読部分に対してはその部分に対応する既読用コンテンツと、未読部分に対してはその部分に対応する未読用コンテンツを合わせて、表示・再生するコンテンツとして作成することができる。また既読部分と未読部分のコンテンツを合わせるのではなく、途中用のコンテンツを別途用意しておいてもよい。

なお、デフォルトコンテンツはコンテンツ候補が複数ある際、その候補の１つとして作られるものとする。そして、閲覧者が既読・未読・途中用のコンテンツの表示・再生を希望しなかった場合にはこのデフォルトコンテンツが表示・再生されるものとする。ただし、作成者の判断によりデフォルトコンテンツが既読・未読・途中用のコンテンツのいずれかと一致していてもよいものとする。また、コンテンツの作成者は文書３０３の説明者３０２であってもよいし、説明者３０２と異なる第三者であってもよい。

以上は、ある文書に関する説明用のコンテンツを、閲覧者の説明を受けた程度に応じて作成する一例について説明したが、具体的なコンテンツ作成方法は本実施形態に限らない。

次に閲覧者３０１が説明を受けた文書３０３を、説明を受けていない関係者３０４と共に閲覧する場面について説明する。

図７は説明を受けた既読閲覧者７０１と説明を受けていない未読閲覧者７０２がそれぞれＡＲ端末を用いて文書を閲覧する際の模式図である。ここで既読閲覧者７０１は図３の閲覧者３０１と、未読閲覧者７０２は図３の関係者３０４と、文書７０３は図３の文書３０３とそれぞれ同一であり、既読閲覧者７０１は文書７０３の説明を少なくとも一度以上受けているものとする。また未読閲覧者７０２は文書７０３の説明を受けていないものとする。更に、既読閲覧者７０１と未読閲覧者７０２はＡＲ端末７０４を用いて文書７０３の閲覧を行う。ここで、ＡＲ端末７０４はタブレット端末、携帯電話端末、デジタルカメラ等であり、図２のＡＲ端末２０１と同じである。サーバ７０５は図２のサーバ２０４と同じである。

この処理は、図２で説明した構成を用いて行われる。すなわち、ＡＲ端末７０４が撮像した紙文書の画像又は映像データをサーバ７０５に送り、サーバ７０５が文書の内容を特定・識別する特定情報を認識する。その特定情報を基にサーバ７０５で特定された文書に関連付けられた文書関連情報としてのコンテンツが選択され、このコンテンツがＡＲ端末７０４に送られ表示・再生される。また、サーバ７０５は図２のサーバ２０４と同様である。

ここで、既読閲覧者７０１にとっては文書内容の再確認を行うことになるが、未読閲覧者７０２にとっては文書の内容をはじめて聞くことになる。既読閲覧者７０１にとって、図６に示すところの既読状態となり、用意されているコンテンツに応じて既読用コンテンツ７０６があれば、既読用コンテンツ７０６が表示・再生される。一方、未読閲覧者７０２にとって、図６に示すところの未読状態となる。説明を受けていないという未読状態の選択が優先されることとなる。つまり、未読用コンテンツ７０７が用意されているのであれば、未読用コンテンツ７０７が表示・再生される。

ここで表示・再生されるコンテンツは、例えば単純な写真、ビデオや音声データであってもよいし、ＡＲ端末のディスプレイに表示された文書に重畳し説明用の画像（ＡＲコンテンツ）であってもよい。ＡＲコンテンツがディスプレイに表示された文書に重畳して表示・再生される場合は、文書の内容を合わせて確認できるので、文書内容の把握がより簡単にできる。なお重畳を行う際の表示位置合わせは、認識部２０５を用いて表示位置を認識して行うこととする。

また、閲覧者の状態に応じた表示・再生内容（コンテンツ）を作成するために、表示・再生コンテンツを内容ごとに細分化して用意しておいてもよい。例えば図８に示すように、コンテンツが文書３０３の内容によってパートごとに分けられてパートＡ８０１、パートＢ８０２、パートＣ８０３・・・と用意されている。これらに対し、例えば閲覧者が既読の場合にはパートＡ８０１のみ、未読の場合にはパートＡ８０１〜パートＣ８０３すべてを、途中の場合にはパートＡ８０１とパートＣ８０３だけを、それぞれの状態に基づいて表示・再生するということができる。またこれらのパートは別々のコンテンツとして用意されていてもよいし、一つのコンテンツのうちの再生位置の違いとして実現されていてもよい。例えば再生時間１０分のビデオがコンテンツとして用意されている場合、パートＡは０分〜３分、パートＢは３分〜７分、パートＣは７分〜１０分という形になる。

これらの文書３０３の関連情報としてのコンテンツの管理はサーバ７０５内で行われる。具体的な例としては、図９に示すような管理テーブルを用いる方法が挙げられる。ここでは、人物と閲覧状態を対応付けるテーブル９０１と、閲覧状態と表示・再生されるコンテンツを対応付けるテーブル９０１が用意されている。本実施形態では、この管理テーブルは、サーバ１１１の記憶部１１４に保持されている。文書３０３について説明を行った後に説明者側が作成してサーバに保管する。ただし、この構成に限定する必要はない。例えば、文書３０３の関連情報とともに、管理テーブルをＡＲ端末７０４に全てダウンロードして記憶部１０６に保持してもよい。

コンテンツの表示・再生要求時には、以下のような処理が行われる。まず特定された人物Ａが特定された文書の関連情報の表示・再生を要求すると、テーブル９０１が参照され人物Ａの閲覧状態が既読であることが分かる。次にテーブル９０２を参照し、既読の人物に対する表示・再生コンテンツがαであることが分かる。この結果サーバは表示・再生するコンテンツを決定することができる。なお、図８を用いて説明したコンテンツ作成方法に合わせれば、このコンテンツαがパートＡということになる。ただし、図６の表６０１で示すところのコンテンツが単数しか用意されていない状態のときは、テーブル９０２の再生コンテンツα、β、γは全てデフォルトコンテンツとなる。また、この管理テーブルを参照し表示・再生するコンテンツを決定する処理は、図２のコンテンツ決定部２０９で行われる。

上記の要求を満たすための処理を行うフローチャートが図１０である。まず、ステップＳ１００１においてＡＲ端末７０４の閲覧者は、ＡＲ端末７０４に表示された文書７０３を閲覧する。本実施形態では、ＡＲ端末７０４に表示された文書７０３は電子データを利用して表示されたものであってもよいし、又は撮像部２０２が紙に印刷された文書７０３を撮像し、撮像データである画像又は映像を用いて表示されたものであってもよい。

この際、ＡＲ端末７０４の閲覧者が誰であるかを識別し、閲覧者が閲覧している文書７０３が何であるかを認識する。閲覧者を識別する具体的な方法としては、ＡＲ端末７０４が備えているカメラ等の撮像部１０９を用いて閲覧者の顔や指紋、虹彩といった生体情報を撮像して、生体情報をサーバ７０５に送って、サーバ７０５が認証（識別）を行う。また、ＡＲ端末７０４の入力部１０３に入力された識別ＩＤをサーバ７０５に送って、サーバ７０５が認証（識別）を行う。また、前述した認証処理をＡＲ端末７０４が行って、認証した結果をサーバ７０５に送ってもよい。閲覧者の認証（識別）は非図示の認証部もしくは識別部が行う。

また、文書を認識する際に、文書の電子データは不明な場合、例えば紙などの媒体に印刷された文書を撮像して認識をする場合の認識方法は図４のステップＳ４０１で説明した方法と同様の方法である。また、文書７０３の一部を閲覧していることを認識したい場合は、図４のステップＳ４０５で説明した方法と同様の方法である。

この処理が終わるとステップＳ１００２に進み、閲覧者を識別する情報と閲覧文書を認証する情報が通信部１０５とサーバ１１１の通信部１１３を通してサーバ１１１に送られる。ここでは、通信部１０５は、ＡＲ端末７０４の送信部又は受信部であり、通信部１１３はサーバの送信部又は受信部である。そして。閲覧者の識別情報及び文書の認識結果を基に、テーブル９０１を参照して、閲覧者の状態（既読状態）に応じた関連情報が特定されて、記憶部１１４からＲＡＭ１１５に読み込まれる。ここで読み込まれる関連情報は、図４のステップＳ４０５、ステップＳ４０６およびステップＳ４０７においてサーバ１１１の記憶部１１４に記録されたものである。これによって、文書に対する閲覧者の既読状態に応じた文書の関連情報が取得されることになる。なお、ここでは、取得する関連情報を特定して取得するための専用の取得部を設けても良い。

ここでは、閲覧者の認証部もしくは識別部が閲覧者の認証を行って、テーブル９０１を参照して、閲覧者の状態（既読状態）を特定しているので、閲覧者の認証部もしくは識別部は、閲覧者の状態（既読状態）を識別していることになる。

次にステップＳ１００３に進み、文書に予め関連付けられた関連情報、つまり説明用のコンテンツをサーバ１１１の記憶部１１４からＲＡＭ１１５に読み込む。またこのタイミングでは、選択する可能性のある全てのコンテンツを読み込んでおく。選択する可能性のあるコンテンツとは、図６の表６０１で示されるところの、コンテンツ候補が複数ある際の全候補もしくはコンテンツ候補が単数である際のデフォルトコンテンツのことである。また、次に説明した処理によって、予め選択したコンテンツを記憶部１１４からＲＡＭ１１５に読み込んでもよい。

サーバ１１１の記憶部１１４からＲＡＭ１１５にコンテンツを読み込むために、ＡＲ端末７０４からサーバ１１１へコンテンツを特定するためのデータとコンテンツの取得要求を送信する。

選択する可能性のある全てのコンテンツを読み込んだ状態でステップＳ１００４ではコンテンツを選択できる状態かどうかの判定を行う。具体的には、ステップＳ１００１で取得した閲覧者識別情報とステップＳ１００３で読み込まれたコンテンツから判断を行う。例えば、ステップＳ１００１で識別した閲覧者は既読閲覧者７０１のみであり、ステップＳ１００３で再生コンテンツが複数存在する場合、コンテンツ決定部２０９は表６０１における既読用コンテンツを表示・再生するコンテンツとして決定する。

一方、ステップＳ１００１で識別した閲覧者は未読閲覧者７０２であり、ステップＳ１００３で表示・再生コンテンツが複数存在する場合、コンテンツ決定部２０９は表６０１における未読用コンテンツの表示・再生を選択する。なお、既読閲覧者７０１と未読閲覧者７０２が同時に閲覧している場合でも、未読閲覧者７０２の閲覧が優先される時も、同様に未読用コンテンツの表示・再生を選択する。

また、ステップＳ１００１で閲覧者に未読閲覧者７０２が存在しても、ステップＳ１００３で表示・再生できるコンテンツがデフォルトコンテンツ（単数）しかない場合には、コンテンツ決定部２０９は表６０１におけるデフォルトコンテンツの出力を行うと判断する。

既読閲覧者７０１と未読閲覧者７０２が同時に閲覧する場合は、事前に決めた優先順位に従って表示・再生するコンテンツを決定してもよい。閲覧時に優先される閲覧者を決定してもよい。

この処理により、選択できる表示・再生コンテンツ候補が複数あると判断された場合にはステップＳ１００５に移る。ステップＳ１００５では、実際に表示・再生コンテンツの選択を行う。これは、既読閲覧者７０１もしくは未読閲覧者７０２がＡＲ端末１０１の備えている入力部１０３に閲覧者特定情報等を入力することによって判断される。

ここでデフォルトコンテンツ以外のコンテンツにすることが選択されると、ステップＳ１００６に遷移する。ステップＳ１００６では、コンテンツ決定部２０９が英津乱射のそれぞれの既読状態に応じたコンテンツを選択する。その後サーバ１１１から通信部１１３を介してＡＲ端末１０１の通信部１０５へとコンテンツを送信する。そして、コンテンツ再生部２０３が選択されたコンテンツを表示・再生する。選択されたコンテンツは画像や映像コンテンツであれば、コンテンツ再生部２０３が表示部１０４に画像や映像コンテンツを表示する。選択されたコンテンツは音声コンテンツであれば、コンテンツ再生部２０３が音声コンテンツを再生する。

また、ステップＳ１００４で選択の候補となるコンテンツがデフォルトコンテンツしかない、もしくはステップＳ１００５でデフォルトコンテンツ以外のコンテンツを選択しない場合にはステップＳ１００７に遷移し、デフォルトコンテンツが表示部１０４に表示・再生される。

表示した後はステップＳ１００８に移り、まだ閲覧したい文書がある場合にはステップＳ１００１に戻り、閲覧したい文書がない場合には一連の処理を終了させる。

なお、本実施形態のステップＳ１００４〜ステップＳ１００６の処理、即ちコンテンツを選択する処理は、ステップＳ１００３の文書関連情報の読み込みの前に行ってもよい。即ち、サーバ１１１において、ＡＲ端末１０１で表示・再生するコンテンツを選択してから、選択されたコンテンツを読み込ませることもできる。このようにすることによって、読み込ませるデータ量が少なくても済むメリットがある。このことは、以下の実施形態についても、同様である。

本実施形態によれば、文書を閲覧する際の閲覧者の既読状態に応じて、ＡＲ端末１０１を用いた文書内容の再確認なのか、閲覧する文書の全部もしくは文書の一部について初めて理解するかによって、表示・再生するコンテンツの内容を選択することができる。これにより、文書を閲覧する人物に対して適切なコンテンツを提供することが可能となる。

本実施形態では、ＡＲ端末７０４を用いて文書を閲覧する場合について説明したが、これに限る必要はない。文書の閲覧に代わって、ＡＲ端末７０４を用いて物体の映像を観賞する場合や、実際の物体を撮像して観測する場合でも同様に本実施形態を適用できる。なお、以下の実施形態についても、同様なことが言える。

（第２の実施形態）
本実施形態では、主に同一の文書の再確認を既に少なくとも１回行っている際に、再度再確認を行う場合について着目し、２回目以降の再確認に対して適切なコンテンツを提供する。

なお、以下の第２の実施形態の説明では、第１の実施形態と同様の内容については説明を省略し、第１の実施形態の内容と異なる部分について説明を行う。

図２のサーバ２０４にある差分認識部２１０は閲覧者が文書情報に対して行った書き込みを認識する。

図１１は過去に１回以上再確認を行った文書１１０１を示すものである。この文書１１０１には、過去の再確認の際に閲覧者が重点的に再確認したい、より詳しく知りたい、もしくは重要であると感じて記入した目印１１０２が書き込まれている。なお、図１１では目印１１０２は楕円形として記されているが、元の文書との変化とその変化が起きた位置情報が認識できればその形態は問わない。

第２の実施形態では、閲覧者がＡＲ端末７０４を通して閲覧する文書７０３は、紙などの媒体に印刷された文書であれば、目印１１０２は閲覧者が媒体に書き込んだものである。文書７０３は、電子データであれば、目印１１０２は文書編集ソフトを用いて挿入した図形である。

第２の実施形態の処理も図１０を用いて説明する。図１０のステップＳ１００１では、差分認識部２１０が目印１１０２を差分として検出し、記録する。これは例えば、ＡＲ端末２０１の撮像部２０２を用いて文書１１０１を撮像し、サーバ２０４内の認識部２０５によってその撮像画像に対して特徴点抽出や背景差分画像作成などの処理を行うことによって実行される。なお、あまりにも多くの目印が記入され、元の文書が認識できない可能性もある。この場合には、類似度が一定以上である文書全てを候補として表示部１０４に表示し、閲覧者に正しい文書を選ばせるという形式を取ってもよい。

また、目印がある場合にはどの目印について再確認を行うかの選択を行う必要がある。例えば、図１２の文書１２０１のように目印となるものが書き込み１２０２、楕円印１２０３、円印１２０４の３つある場合を考える。この場合には、ＡＲ端末５０４を通して文書１２０１を見ることにより、各目印に対応する位置に選択ボタン１２０５、１２０６、１２０７がＡＲ端末７０４の画面上に表示される。そして、この選択ボタンをタッチすることにより再確認したいものを選ぶことができる。なお、選択の仕方は再確認を希望する各選択候補の区別がつけば問題がない。例えば、タッチの変わりに視線入力や音声入力などを用いてもよい。また、選択数に制限はなく、一つのみの選択でも複数選択してもよい。

この際の処理の流れを示したものが図１３である。まずステップＳ１３０１でＡＲ端末２０１の撮像部２０２によって文書画像の撮像を行う。次にステップＳ１３０２で、撮像された画像はサーバ２０４に送られ、認識部２０５によって文書の種類及び目印の有無とその位置が取得される。認識部２０５はさらに取得された文書画像における書き込み位置から目印に対応する特定の文書情報を特定する。なお、認識部２０５がＡＲ端末７０４に設けられた場合は、撮像された画像はサーバ２０４に送信する必要はない。

認識部２０５の特定した文書情報を基に、ステップＳ１３０３では図１２に示すような選択ボタン１２０５〜１２０７がコンテンツ再生部２０３によってＡＲ端末２０１の画面上の対応する位置に表示される。次に閲覧者が再確認を希望するボタンをタッチすると、ステップＳ１３０４においてタッチされたボタンが認識され、その結果がサーバに送られる。この結果に応じて表示・再生されるコンテンツが変化する。なお、この図１３のフローにおけるステップＳ１３０２の処理は必ずしもサーバ２０４で行う必要はなく、ＡＲ端末７０４に同様の機能を有した記憶部を持たせて行ってもよい。

次に、図１０のステップＳ１００３で読み込まれるコンテンツの内訳は図１４に示す表１４０１のようになる。基本的な考えは実施形態１で示した表６０１と同じである。具体的には以下のとおりになる。まず用意されているコンテンツが１つしかない場合に表示・再生されるコンテンツはデフォルトコンテンツである。コンテンツが複数ある場合に、そして書き込み箇所に対応した書き込み箇所説明用コンテンツは含まれている場合、目印１１０２が書き込まれている文書１１０１を閲覧し、重点的に再確認したい時に、書き込み箇所説明用コンテンツは表示・再生される。

その後、図１０のステップＳ１００４では図１０のステップＳ１００１で検出した目印１１０２の情報を、コンテンツを選択できる状態かの判断に用いる。具体的には、ステップＳ１００１で目印１１０２が検出され、かつステップＳ１００３で再生コンテンツが複数存在していることを読み込んでいると、コンテンツ決定部２０９は閲覧者に特定の部分の詳しい説明の要求があると認識できる。

そして、特定部分の詳細な説明を行うことができる書き込み箇所説明用コンテンツの表示・再生を選択できる。なお、実施形態１と同じく、ステップＳ１００１で目印１１０２が検出されていてもステップＳ１００３で再生コンテンツが単数しかない場合には、コンテンツ決定部２０９はデフォルトコンテンツしか表示・再生できないと判断できる。

また、図１２の文書１２０１のように目印となる書き込みが複数ある場合には、図１３で示した処理によって選択された目印それぞれに対してこの判断が行われる。以上の処理により、再生対象コンテンツが複数ある、かつステップＳ１００５で再生コンテンツとして書き込み箇所説明用コンテンツが選択されると、ステップＳ１００６では目印１１０２をつけた部分の詳細な説明を行うコンテンツが表示・再生される。

本実施形態によれば、同じ文書内容の再確認を行う際に閲覧者は既読者用のコンテンツを選択できるだけではなく、文書に書き込みなどの目印が記入されている場合には、目印に対応した再生するコンテンツを選択することができる。これにより、同じ文書に対して複数回閲覧する人物に対して適切なコンテンツを提供することが可能となる。

（第３の実施形態）
本実施形態では、主に複数の文書について再確認する場合について着目し、閲覧者が文書間の関連性を考慮しなくとも適切に再確認を行えるようにコンテンツを提供する。

第１および第２の実施形態では、閲覧者に最初に説明した文書は複数あっても、互いに関係のない独立した文書として扱っていた。第３の実施形態では、閲覧者に最初に説明した複数の文書の中に、一定の関係を持つ文書同士を関連付けてコンテンツを作成し、コンテンツを提供する装置および方法について説明する。

なお、以下の第３の実施形態の説明では、第１および第２の実施形態と同様の内容については説明を省略し、第１および第２の実施形態の内容と異なる部分について説明を行う。

図２のサーバ２０４にある関係判定部２０７及び関係記録部２０８について説明する。関係判定部２０７は閲覧者が複数の文書を再確認する場合において、一つの文書ともう一つの文書が関係するかを判定する。関係記録部２０８は、関係あると判定された複数の文書に対する閲覧者の状態、複数の文書に関連付けられた関連情報や閲覧順序等を記録する。

図１５は、図３と同じく文書の説明を受ける際の模式図である。ただしここでは、閲覧者１５０１が説明者１５０２から文書１５０３と文書１５０４という、２つの文書を関連付けて説明されているとする。この際、説明場所に備え付けられたカメラ等の撮像装置、もしくはマイクなどの集音装置によって記録されるデータから、閲覧者１５０１にどの文書が、もしくはどの文書のどの部分が説明されたか、複数の文書が関連付けられて説明されたかを検出する。

この処理のうち、複数の文書が関連付けられて説明されたかの判断について説明したフローチャートが図１６である。まずステップＳ１６０１において、複数の文書が会話の場に置かれたかどうかを検出する。これはステップＳ４０１と同じく、固定カメラで会話の場を撮像しておき、撮像された画像と予め用意しておいた文書とのテンプレートマッチングを行うといった方法で検出を行う。もしくは予め用意しておいた文書をクエリにして撮像された画像内を検索し、文書が発見できるかを確認するといった方法で検出を行う。

複数の文書が検出された場合には検出された座標を記録し、ステップＳ１６０２に進む。ここでは、複数文書を関連付けて説明が行われたかどうかの判定を関係判定部２０７により行う。本実施形態の判定方法では、まず、それぞれの文書について説明が行われたかを判定する。次に、それぞれの文書について説明されたと判定した場合、一つの文書についての説明ともう一つの文書についての説明との時間間隔が一定時間以下であるかを判定する。一定時間以下であれば、それらの文書を関連付けて説明したと判定する。

ある文書について説明が行われたかの判定方法の例として、例えば画像データを用いる場合には、文書の領域を隠した場合、つまり文書の一部を指や棒等で一定時間以上に指していたと認識できた場合、その文書について説明したと判定する。文書の領域が隠されたことの認識方法は、第１の実施形態（図４のステップＳ４０２又はステップＳ４０３）と同じであるため、その説明を省略する。

また音声データを用いる場合には、予め文書、もしくは文書の各部分毎にキーワードを設定しておく。会話時はマイクで内容を録音し、一定時間間隔未満で複数文書の設定したキーワードを一定回数以上検出したら、関連して説明したと判断する。

これらの方法により文書の説明を行ったと判断されると、ステップＳ１６０４に進み、文書、もしくは文書の特定の部分を関連付けて説明したことが関係記録部２０８によってサーバ１１１の記憶部１１４に記録される。

またこの際、文書を説明した順番も記録しておく。これは画像を用いた場合には文書を最初に隠した順番、音声を用いた場合には最初にキーワードを発話した順番で判断する。文書のどこを説明したかまで記録する場合には、隠れた部分のうち一番閲覧者１５０１に近い部分を説明したと判断し、記録する。これは、複数の文書を関連付けて説明した場合、後に説明された文書は、先に説明された文書の内容を前提にして説明されることが多いためである。今回の場合は、文書１５０３、文書１５０４の順で説明されたと仮定しておく。なお、このステップＳ１６０２、Ｓ１６０４は画像、音声の一方を用いてもよいし、双方を合わせて処理を行ってもよい。

もし、ステップＳ１６０１で文書が複数検出されない、またはステップＳ１６０２で複数の文書を関連付けて説明されなかったと判断された場合には、ステップＳ１６０３に進む。ここでは、説明者１５０２による説明が終わったかどうかを判断する。終わっていない場合には、ステップＳ１６０１に戻り再度文書の検出を行う。

説明が終わった場合にはステップＳ１６０５に進み、閲覧者１５０１には文書１５０３と文書１５０４を関連付けて説明されていないとサーバ１１１の記憶部１１４に記録する。ここで説明が終わったかどうかの判断は、固定カメラの画像に文書１５０３と文書１５０４、もしくは閲覧者１５０１と説明者１５０２が一定時間以上映らない、マイクから閲覧者１５０１と説明者１５０２に音声が一定時間以上検出されないことによって行う。この処理もステップＳ１６０２ならびにステップＳ１６０４同様、画像もしくは音声の一方のみを用いてもよいし、双方を合わせて処理してもよい。

再確認を行う際には、図１０のステップＳ１００２での処理と同様に文書１５０３と文書１５０４を関連付けて説明されているという情報がＲＡＭ１１５に読み込まれる。ここで読み込まれる情報は、ステップＳ１６０４及びステップＳ１６０５においてサーバ１１１の記憶部１１４に記録されたものである。

次に図１０のステップＳ１００３では、ステップＳ１００２において読み込まれた情報を元に、文書１５０３と文書１５０４に予め関連付けられた情報、つまり説明、再確認用のコンテンツをサーバ１１１の記憶部１１４からＲＡＭ１１５読み込む。

ここで読み込まれるコンテンツの内訳を示したものが図１７の表１７０１である。複数文書を関連付けて説明する場合に表示・再生される、関連文書説明用逐次再生コンテンツと文書１５０３、文書１５０４それぞれを説明する単独文書説明用コンテンツが読み込まれる。

ここで関連文書説明用逐次再生コンテンツとは、関連する複数の文書についての内容を説明された順に再生するために、複数の単独文書説明用コンテンツを一つのコンテンツ（関連情報）にまとめたものである。例えば本実施形態では、文書１５０３に関連付けられたコンテンツが表示・再生された後、文書１５０４に関連付けられたコンテンツが表示・再生される。また、文書１５０３、文書１５０４それぞれの文書に関連付けられたコンテンツは、先に述べた単独文書説明用コンテンツでもよいし、別途逐次再生用に用意されたコンテンツでもよい。また、未読・既読・途中といった閲覧者の状態を考慮して逐次表示・再生用のコンテンツを表示・再生内容として用意する。

例えば、閲覧者が文書１５０３と文書１５０４の既読者であれば、文書１５０３と文書１５０４のそれぞれに関連付けられた既読者用コンテンツが逐次表示・再生される。

図１０のステップＳ１００４では、ステップＳ１００２において複数文書が関連付けられて説明されたという情報が読み込まれたかどうかで、コンテンツを選択できるかどうかの判断を行う。複数文書が関連付けられて説明されたという場合、コンテンツ決定部２０９はコンテンツを選択できる状態であると判断し、ステップＳ１００５に移る。

図１０のステップＳ１００５では、実際に表示・再生するコンテンツを選択する。第３実施例では逐次表示・再生するものにするかどうかの選択を行う。逐次表示・再生コンテンツを選択した場合は、ステップＳ１００６に移る。そして、文書１５０３、文書１５０４どちらを閲覧している場合にも、文書１５０３の説明用コンテンツ、文書１５０４の説明用コンテンツの順にコンテンツが表示・再生される。逐次表示・再生コンテンツを選択しなかった場合には、ステップＳ１００７に移り現在閲覧している文書の説明コンテンツのみ、つまり単独文書用コンテンツが表示・再生される。

本実施形態によれば、ＡＲ端末１０１を用いた文書内容の再確認、理解を行う際に、複数の文書が関連付けられて説明されているという情報がある場合には、複数の文書それぞれに関連するコンテンツの表示・再生を選択することができる。これにより、同時に複数文書を閲覧する場合にも、閲覧する人物が説明を受けた順番に対して適切なコンテンツを提供することが可能となる。

（その他の実施形態）
上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して情報提示システム又は情報提示装置に供給することが可能である。また、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＡＲ端末
１０４ 表示部
１０６ 記憶部
１０９ 撮像部
２０３ コンテンツ出力部
２０４ サーバ
２０６ コンテンツ取得部
２０９ コンテンツ決定部

Claims (23)

1. 表示対象の情報に対する閲覧者の既読状態を取得する第一取得手段と、
   前記情報に関連付けられた複数の関連情報から、前記閲覧者の前記情報に対する前記既読状態に応じた関連情報を取得する第二取得手段と、
   前記情報の表示とともに、前記第二取得手段で取得した関連情報を出力する出力手段と、
   を有することを特徴とする情報出力装置。
2. 表示対象の情報に対する閲覧者の既読状態を取得する第一取得手段と、
   前記情報に関連付けられた複数の関連情報を取得する第二取得手段と、
   前記情報の表示とともに、前記複数の関連情報のうち、前記閲覧者の前記情報に対する前記既読状態に応じた関連情報を出力する出力手段と、
   を有することを特徴とする情報出力装置。
3. 前記閲覧者の前記情報に対する前記既読状態は、前記閲覧者が前記情報について、説明を受けた状態と、途中までの説明を受けた状態と、説明を受けなかった状態のいずれかであることを特徴とする請求項１乃至２のいずれか１項に記載の情報出力装置。
4. 前記関連情報に画像情報を含む場合は、前記出力手段は表示された前記情報に重畳して前記画像情報を表示することを特徴とする請求項１乃至２のいずれか１項に記載の情報出力装置。
5. 前記関連情報に音声情報を含む場合は、前記出力手段は表示された前記情報に関連した前記音声情報を再生することを特徴とする請求項１乃至２のいずれか１項に記載の情報出力装置。
6. 前記第二取得手段は、前記閲覧者の識別情報と表示対象の前記情報の特定情報と前記関連情報の取得要求を情報提供装置に送信して、前記関連情報を前記情報提供装置から受信することを特徴とする請求項１乃至２のいずれか１項に記載の情報出力装置。
7. 表示対象の前記情報は、文書情報であることを特徴とする請求項１乃至６のいずれか１項に記載の情報出力装置。
8. 前記文書は説明資料であって、前記関連情報は前記説明資料の補足説明資料であることを特徴とする請求項７に記載の情報出力装置。
9. 前記文書情報を表示する表示手段をさらに有し、前記文書情報について説明を受けた後に、前記閲覧者は前記表示手段に表示された前記文書情報を閲覧する際に、前記出力手段は前記関連情報を出力することを特徴とする請求項７又は８に記載の情報出力装置。
10. 前記文書情報への書き込みを認識する認識手段をさらに有し、前記書き込みによって前記文書情報の一部が特定された場合、前記取得手段は、前記特定された文書情報の一部に関連付けられた前記関連情報を取得することを特徴とする請求項７に記載の情報出力装置。
11. 前記表示対象を撮像する撮像手段をさらに有し、前記表示対象の前記情報は前記撮像手段が前記表示対象を撮像した画像情報であることを特徴とする請求項１に記載の情報出力装置。
12. 前記文書が複数ある場合、複数ある前記文書の関係を判定する関係判定手段をさらに有し、関係あると判定された場合、複数ある前記文書のそれぞれに対する前記閲覧者の既読状態に基づいて、前記文書のそれぞれに関連付けられた関連情報を一つの関連情報として取得することを特徴とする請求項７に記載の情報出力装置。
13. 複数ある前記文書のそれぞれに対する前記閲覧者の既読状態が異なる場合、前記閲覧者の異なる既読状態に基づいて、前記文書のそれぞれに関連付けられた関連情報を一つの関連情報として取得することを特徴とする請求項１２に記載の情報出力装置。
14. 前記関係判定手段は、複数ある前記文書について、前記閲覧者が説明を受けた時に、一つの前記文書についての説明ともう一つの前記文書についての説明との時間間隔が一定時間以下であれば、前記一つの前記文書と前記もう一つの前記文書とが関係あると判定することを特徴とする請求項１２に記載の情報出力装置。
15. 情報の閲覧者の前記情報に対する既読状態と、前記情報に関連付けて前記既読状態に対応する複数の関連情報を保持する保持手段と、
    前記閲覧者の識別情報と前記情報の特定情報と、前記情報に対する関連情報の取得要求とを受信する受信手段と、
    前記識別情報と前記特定情報と前記取得要求とに基づいて、前記保持手段に保持されている前記複数の関連情報のうち、前記情報を閲覧する前記閲覧者の既読状態に応じた関連情報を取得する取得手段と、
    前記取得手段で取得した前記関連情報を送信する送信手段と、
    を有することを特徴とする情報提供装置。
16. 前記情報は文書情報である場合、前記保持手段は、前記文書情報における書き込みによって特定された前記文書情報の一部に関連付けられた関連情報を保持することを特徴とする請求項１５記載の情報提供装置。
17. 前記保持手段は、関連する複数の前記文書のそれぞれに関連付けられた関連情報を一つの関連情報として保持することを特徴とする請求項１５記載の情報提供装置。
18. 表示対象の情報に対する閲覧者の既読状態を取得する第一取得工程と、
    前記情報に関連付けられた複数の関連情報から、前記閲覧者の前記情報に対する既読状態に応じた関連情報を取得する第二取得工程と、
    前記情報の表示とともに、前記第二取得工程で取得した関連情報を、出力する出力工程と、
    を有することを特徴とする情報出力方法。
19. 表示対象の情報に対する閲覧者の既読状態を取得する第一取得工程と、
    前記情報に関連付けられた複数の関連情報を取得する第二取得工程と、
    前記情報の表示とともに、前記複数の関連情報のうち、前記閲覧者の前記情報に対する既読状態に応じた関連情報を出力する出力工程と、
    を有することを特徴とする情報出力方法。
20. 情報の閲覧者の前記情報に対する既読状態によって異なる、前記情報に関連付けられた複数の関連情報を保持する保持工程と、
    特定の情報の閲覧者の前記情報に対する既読状態の識別情報と、特定の情報に対する関連情報の取得要求とを受信する受信工程と、
    前記識別情報と前記取得要求とに基づいて、前記保持手段に保持されている前記複数の関連情報のうち、前記特定された情報を閲覧する前記閲覧者の既読状態に応じた関連情報を取得する取得工程と、
    取得した前記関連情報を送信する送信工程と、
    を有することを特徴とする情報提供方法。
21. コンピュータに
    表示対象の情報に対する閲覧者の既読状態を取得する第一取得手順と、
    前記情報に関連付けられた複数の関連情報から、前記閲覧者の前記情報に対する既読状態に応じた関連情報を取得する第二取得手順と、
    前記情報の表示とともに、前記第二取得手順で取得した関連情報を、出力する出力手順と、
    を実行させるためのプログラム。
22. コンピュータに
    表示対象の情報に対する閲覧者の既読状態を取得する第一取得手順と、
    前記情報に関連付けられた複数の関連情報を取得する第二取得手順と、
    前記複数の関連情報のうち、前記閲覧者の前記情報に対する既読状態に応じた関連情報を出力する出力手順と、
    を実行させるためのプログラム。
23. コンピュータに
    情報の閲覧者の前記情報に対する既読状態によって異なる、前記情報に関連付けられた複数の関連情報を保持する保持手順と、
    特定の情報の閲覧者の前記情報に対する既読状態の識別情報と、特定の情報に対する関連情報の取得要求とを受信する受信手順と、
    前記識別情報と前記取得要求とに基づいて、前記保持手段に保持されている前記複数の関連情報のうち、前記特定された情報を閲覧する前記閲覧者の既読状態に応じた関連情報を取得する取得手順と、
    取得した前記関連情報を送信する送信手順と、
    を実行させるためのプログラム。

Images