JP2014160412A - 閲覧装置及び閲覧システム - Google Patents

Abstract

【課題】表示装置に近い撮影対象と遠い撮影対象とを共に撮影できる閲覧装置を提供する。
【解決手段】液晶表示装置３２は、コンテンツを表示する。ＣＣＤカメラ４０は、液晶表示装置３２に近い例えば使用者の指又は使用者が持つスタイラスを撮影する。また、ＣＣＤカメラ４０は、液晶表示装置３２から遠い例えば使用者の視線を撮影する。
【選択図】図２

Description

本発明は、閲覧装置及び閲覧システムに関する。

特許文献１は、利用者の視線入力情報、音声入力情報、操作入力情報、画像入力情報及び動作入力情報のうち、少なくとも一つ以上の情報を認識する入力手段と、前記入力情報の少なくとも一種類以上の情報を受け利用者の意図情報を検出する意図検出手段と、意図検出結果に基づき利用者にフィードバックを返す出力手段と、過去の動作実行系列を保持する動作履歴保持手段と、利用者が操作内容を登録する利用者操作登録手段とから構成されるマルチモーダル入出力装置を開示する。
特許文献２は、カメラにより撮影された画像をもとに、ユーザの前記コンテンツに対する注視点を検出する注視点検出手段と、前記注視点が前記特定のエリアに含まれる場合、前記特定のエリアと対応付けられた処理により、前記コンテンツの表示対象とする範囲を変更する変更手段とを具備する情報表示装置を開示する。
特許文献３は、映像提示手段に対してユーザに待ち受け情報を提示するように指示を行う待ち受け情報提示手段と、前記ユーザを含む画像を撮像する撮像手段と、前記画像内のユーザの特定部位を検出する特定部位検出手段と、前記映像提示手段に対して前記特定部位に詳細情報を提示するように指示を行う詳細情報提示手段とを有することを特徴とする情報提示装置を開示する。

特開２００１−１００８７８号公報 特開２０１２−０１４４５５号公報 特開２００６−２１５８６３号公報

本発明の目的は、表示装置に近い撮影対象と遠い撮影対象とを共に撮影できる閲覧装置を提供することである。

請求項１にかかる本発明は、 コンテンツを表示する表示装置と、使用者がコンテンツを閲覧する際に動作するものであり、前記表示装置と同じ面に配置され、使用者に関するもので互いに距離が異なる複数の撮影対象を撮影する撮像装置とを有する閲覧装置である。

請求項２にかかる本発明は、前記撮像装置は、前記複数の撮影対象のうち第１の撮影対象の像を反射させ、前記複数の撮影対象のうち第２の撮影対象の像を透過させるように配置されている半透明鏡をさらに有する請求項１に記載の閲覧装置である。

請求項３にかかる本発明は、複数の撮影対象それぞれに対応する、前記表示装置によって表示されたコンテンツの位置を検知する検知手段をさらに有する請求項１に記載の閲覧装置である。

請求項４にかかる本発明は、前記撮像装置によって撮影された複数の撮影対象と対応付けて、使用者のコンテンツに対する閲覧履歴を生成する閲覧履歴生成手段をさらに有する請求項１に記載の閲覧装置である。

請求項５にかかる本発明は、前記第２の撮像対象は、使用者の視線である請求項２に記載の閲覧装置である。

請求項６にかかる本発明は、前記第１の撮像対象は、使用者の指又は使用者が持つスタイラスである請求項２に記載の閲覧装置である。

請求項７にかかる本発明は、前記撮像装置が前記複数の撮影対象のうち第１の撮影対象を撮影できるように配置され、曲面を有する半透明鏡をさらに有する請求項１に記載の閲覧装置である。

請求項８にかかる本発明は、前記撮像装置が前記複数の撮影対象のうち第１の撮影対象を撮影できるように配置され、２つの反射面を有する半透明鏡をさらに有する請求項１に記載の閲覧装置である。

請求項９にかかる本発明は、前記撮像装置が前記複数の撮影対象のうち第１の撮影対象を撮影できるように配置され、透過光と反射光とで焦点の位置が異なる半透明鏡をさらに有し、前記撮像装置は、前記半透明鏡に反射した前記第１の撮影対象の像と、前記複数の撮影対象のうち前記半透明鏡を透過した第２の撮影対象の像とを撮影する請求項１に記載の閲覧装置である。

請求項１０にかかる本発明は、前記撮像装置が前記複数の撮影対象のうち第１の撮影対象を撮影できるように配置され、透過光を遮断又は透過させる偏光素子を有する半透明鏡
をさらに有する請求項１に記載の閲覧装置である。

請求項１１にかかる本発明は、使用者に対して前記撮像装置が撮像することを許可するか否かを確認する許可手段をさらに有し、前記撮像装置は、前記許可手段によって使用者が許可した場合に、撮影を行う請求項１に記載の閲覧装置である。

請求項１２にかかる本発明は、閲覧対象のコンテンツと、使用者がコンテンツを閲覧する際に動作する、使用者に関するもので互いに距離が異なる複数の撮影対象とを撮影する撮像装置と、前記撮像装置がコンテンツを撮影できるように配置され、かつ前記複数の撮影対象のうち第１の撮影対象の像を反射させ、前記複数の撮影対象のうち第２の撮影対象の像を透過させるように配置されている半透明鏡とを有する閲覧装置である。

請求項１３にかかる本発明は、使用者がコンテンツを閲覧する際に使用される閲覧装置と、使用者のコンテンツの閲覧履歴を管理する管理装置とを有し、前記閲覧装置は、使用者がコンテンツを閲覧する際に動作する、使用者に関するもので互いに距離が異なる複数の撮影対象を撮影する撮像装置と前記撮像装置によって得られたデータに関する情報を送信する送信手段とを有し、前記管理装置は、前記送信手段によって送信された情報を受信する受信手段と、前記撮像装置によって撮影された複数の撮影対象と対応付けて、使用者のコンテンツに対する閲覧履歴を生成する閲覧履歴生成手段とを有する閲覧システムである。

請求項１に係る本発明によれば、表示装置に近い撮影対象と遠い撮影対象とを共に撮影できる閲覧装置を提供できる。

請求項２に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、１つの撮像装置で複数の撮影対象を撮影できる。

請求項３に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、複数の撮影対象それぞれについて、コンテンツのどの位置に使用者が着目したかを検知できる。

請求項４に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、複数の撮影対象それぞれについて、コンテンツのどの位置に使用者が着目したかを閲覧履歴として生成できる。

請求項５に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、使用者が注視するコンテンツの位置を検知できる。

請求項６に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、使用者が興味を持つコンテンツの位置を検知できる。

請求項７に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、表示装置近傍の撮像装置で、表示装置に表示されたコンテンツ及びその周辺の撮影対象を撮影できる。

請求項８に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、撮影対象の立体画像を撮影できる。

請求項９に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、第１の撮影対象と第２の撮影対象との両方に焦点を合わせることができる。

請求項１０に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、透過光による撮像データと反射光による撮像データとを分離できる。

請求項１１に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、使用者の意図しないときに撮像データが取得されることを防止できる。

請求項１２に係る本発明によれば、コンテンツに近い撮影対象と遠い撮影対象とを共に撮影できる閲覧装置を提供できる。

請求項１３に係る本発明によれば、複数の撮影対象それぞれについて、コンテンツのどの位置に使用者が着目したかを閲覧履歴として生成できるシステムを提供できる。

第１の実施形態に係るタブレット装置を示す平面図である。 図１に示すタブレット装置１０の断面図である。 図２に示す半透明鏡の斜視図である。 ＣＣＤカメラによって結像された撮影対象を例示する図である。 タブレット装置の制御部の構成を示すブロック図である。 第１の実施形態にかかるタブレット装置の制御部において動作する閲覧プログラムを示すブロック・ダイアグラムである。 閲覧履歴を例示する図である。 第２の実施形態に係るタブレット装置を示す平面図である。 第３の実施形態に係るタブレット装置に用いられる半透明鏡の斜視図である。 第４の実施形態に係る閲覧装置を示す図である。 第４の実施形態にかかる閲覧装置の制御部において動作する閲覧プログラムを示すブロック・ダイアグラムである。

［第１の実施形態］
まず、第１の実施形態を説明する。
図１及び図２には、第１の実施形態に係るタブレット装置１０（閲覧装置）が示されている。
ここで、図１においては後述する半透明鏡５０が取り外された状態のタブレット装置１０を示しており、図２においては後述する半透明鏡５０が装着された状態のタブレット装置１０を示している。
また、図３には、半透明鏡５０が示されている。半透明鏡５０は、円錐形状の一部を外周形状として有する反射部５２と、反射部５２を支持する支持部６０とを有する。詳しくは後述する。

タブレット装置１０は、使用者が文書等のコンテンツを閲覧するための処理を行う。
なお、以下の各実施形態において、使用者の閲覧の対象となるものは文書であるとしたが、使用者の閲覧の対象となるものは、文書に限定されず、文書、画像、音声、映像、各種情報等を包含するコンテンツであってもよい（他の実施形態においても同様）。
ここで、コンテンツとは、使用者の閲覧の対象となる各種情報であって、スキャン等及び電子的に生成される等の何らかの電子的な処理によって、電子化（デジタル化）され得るもの、既に電子化されたもの、及び紙媒体等の電子化されていないものをいう。
コンテンツは、例えば、文字及び（静止）画像で構成される文書、画像、音声、及び、動画像を含む映像等を含む。
また、文書は、紙媒体に印刷等されたもの、及び、電子化されている文書ファイル（文書データ）等を含む。音声は、テープに録音されたもの、及び、電子化されている音声ファイル等を含む。映像は、ビデオテープに録画されたもの、及び、電子化されている映像ファイル等を含む。
また、コンテンツを電子化して得られたデータ、又は既に電子化されているコンテンツを示すデータを、コンテンツデータと称することがある。

タブレット装置１０は、タブレット装置本体１２と、タッチパネル３０と、電源スイッチ３４と、ＣＣＤカメラ４０と、半透明鏡５０と、制御部１００と、インターフェイス回路１６０とを有する。
タブレット装置本体１２の上向きの面には装着用開口部１４が形成されていて、装着用開口部１４に嵌め込むようにして、画面を表示する表示部として用いられている液晶表示装置３２が装着されている。

タッチパネル３０は、データを入力するための入力部として用いられていて、液晶表示装置３２に重なるように配置されている。
使用者が閲覧しているコンテンツが液晶表示装置３２に表示され、タッチパネル３０のコンテンツに重なる位置を使用者が操作することで、コンテンツに関する操作をするための入力がなされる。
より具体的には、例えばタッチパネル３０の表示されているコンテンツに重なる位置を、使用者が使用者自身の指又はタッチペン等の操作用のスタイラス（不図示）で触れることで入力操作がなされるようになっている。

電源スイッチ３４は、タブレット装置１０の電源をオンにし、オフにするために用いられ、タブレット装置本体１２の上向きの面から操作することができるようにタブレット装置本体１２に取り付けられている。

制御部１００は、例えばＣＰＵ等の制御回路及びメモリ等の記憶装置を有し、例えば基板として構成されていて、タブレット装置本体１２のタッチパネル３０及び液晶表示装置３２に下側の位置に取り付けられている。
制御部１００は、後述する撮影対象の位置を演算する位置演算部として用いられているとともに、後述する撮影対象の動作を演算する動作演算部として用いられている。
また、制御部１００は、演算された撮影対象の位置及び動作の少なくともいずれか一方に基づいて液晶表示装置３２の表示を制御する表示制御部として用いられている。

インターフェイス回路１６０は、例えばＣＰＵ等及びメモリ等からなる回路であり、例えば基板として構成されていて、タブレット装置本体１２のタッチパネル３０及び液晶表示装置３２に下側の位置に取り付けられている。
インターフェイス回路１６０は、タッチパネル３０と制御部１００とに接続されていて、インターフェイス回路１６０を介してタッチパネル３０から制御部１００への入力がなされる。

ＣＣＤカメラ４０は、撮像装置として用いられていて、例えば液晶表示装置３２の画面と同一平面上に配置されている。
ここで、同一平面上とは、略同一平面上にあることを意味し、例えば液晶表示装置３２の画面と垂直な方向において、タブレット装置本体１２の厚さＴの範囲内において上下した位置も含むものとする。
また、ＣＣＤカメラ４０は、タブレット装置本体１２に形成された撮影用開口部１６を介して入射してきた光を撮影することができるように、タブレット装置本体１２の上向きの面に取り付けられている。

ＣＣＤカメラ４０は、主として使用者の顔等を撮影するように設計されている。このため、ＣＣＤカメラ４０で撮影できる範囲は、タブレット装置本体１２に対して上向きの一定の角度の範囲内となっている。
そして、液晶表示装置３２の表示画面は撮影が可能な角度の範囲外となり、ＣＣＤカメラ４０を通常に用いた場合には、ＣＣＤカメラ４０を用いて液晶表示装置３２の表示面を撮影することはできない。

半透明鏡５０は、液晶表示装置３２の表示部の少なくとも一部、及び、表示部の近傍にある使用者の指又はスタイラス等を、ＣＣＤカメラ４０が撮影することができるように配置されている鏡として用いられている。
さらに、半透明鏡５０は、液晶表示装置３２に表示された文書を閲覧する使用者の顔（使用者の視線）をＣＣＤカメラ４０が撮影できるよう、半透明になっている。
つまり、１つのＣＣＤカメラ４０が、半透明鏡５０に反射された撮影対象だけでなく、半透明鏡５０の向こう側にある撮影対象も、同時に撮影し得るようになっている。
言い換えれば、１つのＣＣＤカメラ４０が、半透明鏡５０の反射光及び透過光の両方を、同時に結像し得るようになっている。

半透明鏡５０は、光を反射する反射部５２と、反射部５２を支持する支持部６０とを有する。
反射部５２は、外周部で光を反射する部材であり、外周部の形状が、例えば曲面形状となっている。
ここで、曲面形状の例としては、例えば、球面形状と非球面形状とを挙げることができ、非球面形状との例としては、例えば双曲面等を挙げることができ、楕円放物面の一部、回転放物面の一部等を挙げることができる。
また、反射部５２の表面形状は、例えば、表面における互いに交わる二方向において、少なくともいずれかの方向において湾曲している形状となっている。

図１及び図２に示す例においては、半透明鏡５０は、例えば円錐形状の一部からなる表面形状を有する。この場合、表面における母線の方向は直線であり、この母線の方向と交わる方向においては湾曲している。
上述のように、反射部５２としては、外周部の形状が様々な形状のものを用いることができるものの、ＣＣＤカメラ４０で、液晶表示装置３２の表示画面の全範囲を撮影できるような外周形状を用いることが望ましい。

図２に示す半透明鏡５０は、外周形状が非球面であり、円錐形状の一部をなす形状であるため、図２に二点鎖線ａで示すように、ＣＣＤカメラ４０を用いて液晶表示装置３２の表示画面の全範囲を撮影することができる形状となっている。
また、図２に二点鎖線ｂに示すように、半透明鏡５０をタブレット装置本体１２に取り付けた状態において、液晶表示装置３２の表示画面の近傍を、ＣＣＤカメラ４０で撮影することができる。
さらに、図２に二点鎖線ｃで示すように、半透明鏡５０をタブレット装置本体１２に取り付けた状態において、液晶表示装置３２の表示画面から離れた位置にある例えば使用者の顔を、ＣＣＤカメラ４０で撮影することができる。

また、反射部５２には、レンズ５４と、偏光素子５６とが設けられている。
レンズ５４は、例えば円錐形状に形成された反射部５２の底面（上側面）に設けられている。
レンズ５４は、例えば凹面形状になっており、ＣＣＤカメラ４０が液晶表示装置３２の表示画面から離れた位置にある撮影対象（例えば使用者の顔）を撮影する場合（つまり透過光を結像する場合）に、その撮影対象に焦点が合うようになっている。
つまり、ＣＣＤカメラ４０が結像する際、半透明鏡５０の透過光と反射光とで、焦点の位置が異なる（透過光の方が遠い）ようになっている。

偏光素子５６は、例えば円錐形状に形成された反射部５２の側面の少なくとも一部に設けられている。
偏光素子５６は、制御部１００の制御によって、光を透過及び遮断する。
偏光素子５６が光を遮断している場合、ＣＣＤカメラ４０は、反射部５２を反射した液晶表示装置３２の表示画面及び表示画面の近傍を撮影できるが、液晶表示装置３２の表示画面から離れた位置にある例えば使用者の顔を撮影することはできない。
一方、偏光素子５６が光を透過している場合、ＣＣＤカメラ４０は、反射部５２を反射した液晶表示装置３２の表示画面及び表示画面の近傍を撮影し、さらに、液晶表示装置３２の表示画面から離れた位置にある例えば使用者の顔を撮影できる。

支持部６０は、一端部が反射部５２の光を反射する面以外の部分に固定されている。また、支持部６０の他端部は、例えばタブレット装置本体１２に嵌め込むようにして、タブレット装置本体１２に対して着脱することができるようになっている。
より具体的には、例えばタブレット装置本体１２の被装着部１８に支持部６０を嵌め込むようにして、支持部６０を用いて半透明鏡５０をタブレット装置本体１２に装着することができ、被装着部１８から支持部６０を取り外すことで、半透明鏡５０をタブレット装置本体１２から取り外すことができるようになっている。

支持部６０を用いて半透明鏡５０をタブレット装置１０に装着すると、半透明鏡５０はＣＣＤカメラ４０近傍に固定された状態となり、半透明鏡５０とＣＣＤカメラ４０との位置関係が固定された状態となる。

図４は、ＣＣＤカメラ４０によって結像された撮影対象を例示する図である。
図４（Ａ）は、撮影対象を例示し、図４（Ｂ）は、ＣＣＤカメラ４０によって結像された像を例示する。
図４においては、簡単のため、撮影対象として、使用者の眼球Ａと指Ｂとが示されている。
図４（Ａ）に例示するように、眼球Ａはタッチパネル３０から離れており、指Ｂはタッチパネル３０の近傍にあるが、図４（Ｂ）に例示するように、ＣＣＤカメラ４０は、半透明鏡４０を介して、眼球Ａ及び指Ｂを、同時に撮影する。

図５は、タブレット装置１０の制御部１００の構成を示すブロック図である。
図５に示すように、制御部１００は、ＣＰＵ等の演算部１０２及びメモリ等の記憶部１０４を有する。
また、制御部１００に、先述のＣＣＤカメラ４０と、電源スイッチ３４と、液晶表示装置３２と、タッチパネル３０と、ネットワークを介して通信を行う通信装置１７０が連結されている。
そして、制御部１００には、ＣＣＤカメラ４０、電源スイッチ３４、及びタッチパネル３０からの入力がなされ、制御部１００によりＣＣＤカメラ４０、液晶表示装置３２、タッチパネル３０、及び通信装置１７０が制御される。
つまり、タブレット装置１０は、情報処理および他の処理装置又は端末との通信が可能なコンピュータとしてのハードウェア構成部分を有している、情報処理装置である。

また、制御部１００は、ＣＣＤカメラ４０からの入力データを用いて、ＣＣＤカメラ４０で撮影された液晶表示装置３２の表示画面に対する使用者の指やスタイラス（不図示）等の撮影対象の位置を演算することができる。
また、制御部１００は、ＣＣＤカメラ４０からの入力データを用いて、ＣＣＤカメラ４０で撮影された液晶表示装置３２の表示画面に対する使用者の指やスタイラス等の撮影対象の動作を演算することができる。

さらには、制御部１００は、ＣＣＤカメラ４０で撮影された液晶表示装置３２の表示画面に対する使用者の指やスタイラス等の撮影対象の位置や動作に基づいて液晶表示装置３２の表示を制御することができる。
より具体的には、制御部１００は、例えば液晶表示装置３２に、使用者の指やスタイラスが接近した場合に、その近傍の液晶表示装置３２の表示画面の位置に、強調表示を追加する（例えば色を変化させる等）ことができる。
さらに、制御部１００は、使用者の視線を検知して、その視線に対応する液晶表示装置３２の表示画面の位置に、強調表示を追加する（例えば色を変化させる等）ことができる。

図６は、第１の実施形態にかかるタブレット装置１０の制御部１００において動作する閲覧プログラム２０を示すブロック・ダイアグラムである。
閲覧プログラム２０は、たとえば、記録媒体（図示せず）又は通信装置１７０を介してタブレット装置１０に供給され、記憶部１０４にロードされ、制御部１００にインストールされたＯＳ（図示せず）上で、タブレット装置１０の演算部１０２及び記憶部１０４等のハードウェア資源を具体的に利用して実行される（他の実施形態においても同様）。
図６に示すように、閲覧プログラム２０は、文書データ取得部２０２と、文書表示処理部２１０と、操作受付部２１２と、撮像データ取得許可部２２０と、撮像データ取得部２２２と、顔認識部２２４と、視線検知部２２６と、指位置検知部２２８と、閲覧履歴生成部２４０と、閲覧履歴記憶部２５０とから構成される。

文書データ取得部２０２は、使用者の閲覧の対象となる文書（コンテンツ）を示す文書データを取得し、文書表示処理部２１０に対して出力する。
具体的には、例えば、文書データ取得部２０２は、記録媒体又は記憶部１０４等に記憶された文書データを取得し、又は、ネットワークを介してサーバ（図示せず）からダウンロードすることによって文書データを取得し、又は、読取装置（図示せず）が紙媒体に形成された文書を読み取ることによって得られた文書データを取得する。

文書表示処理部２１０は、文書データを液晶表示装置３２に表示させるための処理を行う。
操作受付部２１２は、使用者がタッチパネル３０に対して行った操作を示す情報（操作情報）を受け付けて、文書表示処理部２１０に対して出力する。
このとき、操作受付部２１２は、操作情報を、その操作に対応する文書の位置と対応付ける。
具体的には、使用者が、指又はスタイラス等をタッチパネル３０に接触させて操作を行った場合、操作受付部２１２は、その接触された位置が、液晶表示装置３２に表示されている文書のどの位置に対応するかを判断する。

文書表示処理部２１０は、操作受付部２１２から受け付けた操作情報に応じて、表示を変化させる。
具体的には、使用者が、文書データが表示された画面をスクロールするような操作をした場合、文書表示処理部２１０は、表示される文書の位置を変更する。
また、使用者が、文書が表示された画面を拡大（又は縮小）するような操作をした場合、文書表示処理部２１０は、表示される文書を拡大（又は縮小）させるように表示をさせる。
一方、操作受付部２１２が、タップ操作等の文書の表示を変化させない操作を受け付けた場合、文書表示処理部２１０は、液晶表示装置３２における文書表示を変化させず、操作された位置に強調表示（色を追加する等）をさせる。

撮像データ取得許可部２２０は、使用者に対し撮像データ（例えば使用者の顔及び指に対応する撮像データ）を取得してもよいかを確認するための表示を、液晶表示装置３２に表示させる。
使用者がタッチパネル３０を用いて、撮像データを取得することを許可する旨の操作をした場合、撮像データ取得許可部２２０は、ＣＣＤカメラ４０に対し、撮影をするように制御し、撮像データ取得部２２２に対し、ＣＣＤカメラ４０から撮像データを取得するように制御する。
なお、撮像データ取得許可部２２０は、使用者が文書の閲覧を開始するとき、及び、すでに文書を閲覧し撮像データを取得しているときのいずれにおいても、使用者に対し撮像データの取得許可を確認させるようにしてもよい。

撮像データ取得部２２２は、ＣＣＤカメラ４０から撮像データを取得する。
さらに、撮像データ取得部２２２は、半透明鏡５０の反射光と透過光とを区別し、透過光に対応する撮像データを顔認識部２２４に対して出力し、反射光に対応する撮像データを指位置検知部２２８に対して出力する。

具体的には、撮像データ取得部２２２は、まず、偏光素子５４を制御して光を透過させ、その際にＣＣＤカメラ４０によって結像された撮像データを取得する。
次に、撮像データ取得部２２２は、偏光素子５４を制御して光を遮断させ、その際にＣＣＤカメラ４０によって結像された撮像データを取得する。
液晶表示装置３２から離れた位置の撮影対象（例えば使用者の顔）は、光が透過された際の撮像データには示されているが、光が遮断された際の撮像データには示されていない。
したがって、撮像データ取得部２２２は、光が透過された際の撮像データと光が遮断された際の撮像データとの差分の撮像データを、顔認識部２２４に対して出力する。
一方、撮像データ取得部２２２は、光が透過された際の撮像データと光が遮断された際の撮像データとの両方に示された像の撮像データを、指位置検知部２２８に対して出力する。

顔認識部２２４は、撮像データ取得部２２２から取得した撮像データから、使用者の顔に該当する像を認識する。
具体的には、顔認識部２２４は、例えば肌色認識処理及びパターン認識等を行って、撮像データ中の顔に該当する部分を抽出する。
さらに、顔認識部２２４は、例えばアフィン変換処理等を行うことによって、顔の向きを補正し、顔データを生成して、視線検知部２２６に対して出力する。

視線検知部２２６は、顔認識部２２４からの顔データから、眼球を認識する。
具体的には、視線検知部２２６は、顔データの目に該当する部分を、例えばパターン認識等で認識する。
また、視線検知部２２６は、眼球の黒部分（黒目）と白部分（白目）とを認識し、黒目の位置及び形状から、例えばパターン認識等によって、液晶表示装置３２のどの位置（領域）に視線が向いているかを認識する。
さらに、視線検知部２２６は、液晶表示装置３２上で視線が向いている領域を示す位置情報（視線位置情報）を、閲覧履歴生成部２４０に対して出力する。
例えば、視線が向いている領域が矩形の領域の場合、その視線位置情報は、画面上の左上の座標及び右下の座標を示す。
また、視線が向いている領域が一点を示す場合、その視線位置情報は、画面上のその点に対応する座標を示す。

指位置検知部２２８は、撮像データ取得部２２２から取得した撮像データから、使用者の指（又はスタイラス等）に該当する像を認識する。
具体的には、指位置検知部２２８は、例えば肌色認識処理及びパターン認識等を行って、撮像データ中の指に該当する部分を抽出する。
また、指位置検知部２２８は、指（又はスタイラス等）の先端が、液晶表示装置３２のどの位置（領域）に向いているかを認識する。
具体的には、指位置検知部２２８は、指（又はスタイラス等）の像を直線近似し、その直線と液晶表示装置３２とが交差する位置を検出する。
さらに、指位置検知部２２８は、液晶表示装置３２上で指（又はスタイラス等）の先端が向いている領域を示す位置情報（指位置情報）を、閲覧履歴生成部２４０に対して出力する。

なお、指位置情報は、液晶表示装置３２上の一点の座標を示してもよいし、ある点を中心とした予め定められた面積の領域（例えば直径１ｃｍの領域）を示してもよい。
また、指位置検知部２２８は、指（又はスタイラス等）の先端とタッチパネル３０との間隔が予め定められた範囲（例えば０．５ｍｍ〜５ｃｍ）にある場合に、指（又はスタイラス等）の位置を認識するようにしてもよい。
指位置検知部２２８は、指（又はスタイラス等）がタッチパネル３０に接触している場合に指（又はスタイラス等）の位置を認識しないが、その場合であっても認識するようにしてもよい。

さらに、視線検知部２２６は、視線位置情報を文書表示処理２１０に対して出力し、指位置検知部２２８は、指位置情報を文書表示処理２１０に対して出力する。
文書表示処理２１０は、視線位置情報及び指位置情報に対応する位置に強調表示をさせるように、液晶表示装置３２を制御する。

閲覧履歴生成部２４０は、文書表示処理部２１０、操作受付部２１２、視線検知部２２６及び指位置検知部２２８からの情報から、閲覧履歴を生成し、閲覧履歴記憶部２５０に記憶する。
なお、閲覧履歴生成部２４０は、タブレット装置１０と例えばネットワークを介して接続されたサーバ（図示せず）に対して閲覧履歴を送信し、そのサーバが、閲覧履歴を管理するようにしてもよい。

図７は、閲覧履歴生成部２４０によって生成される閲覧履歴を例示する図である。
図７（Ａ）に例示するように、閲覧履歴は、時刻と、文書を閲覧している使用者の使用者識別情報（又はタブレット装置１０の識別情報）と、その時刻に閲覧されている文書の文書識別情報と、その時刻に液晶表示装置３２に表示されている文書の位置を示す文書位置情報と、その時刻に使用者がタッチパネル３０に対して行った操作を示す操作情報と、その時刻にＣＣＤカメラ４０に検知された動作を示す動作情報とを含む。

文書位置情報は、液晶表示装置３２の画面に表示されている文書上の範囲を示す情報（つまり、文書のどの範囲が表示されているかを示す情報）であって、例えば、矩形の画面の左上に対応する文書上の座標と右下に対応する文書上の座標とを含む。
なお、文書がページごとに区切られている場合、文書位置情報は、表示されているページのページ番号を含んでもよい。

図７（Ｂ）は、操作情報を例示する図である。
図７（Ｂ）に例示するように、操作情報は、操作の種類を示す操作種類情報と、その操作がなされた文書上の位置を示す文書上操作位置情報とを含む。
操作種類情報は、例えば、表示された文書を移動させるスクロール操作、表示された文書を拡大／縮小させる拡大／縮小操作、表示された文書を回転させる回転操作、タップ操作、長押し操作等を示す。

文書上操作位置情報は、例えば、タッチパネルに文書が表示された状態において、指又はタッチペン等が接触した位置に対応する文書上の座標を含む。
閲覧履歴生成部２４０は、液晶表示装置３２に表示されている文書の位置情報と、タッチパネル３０上の操作位置とを対応付けて、その操作が文書上のどの位置に対してなされたかを判断して、文書上操作位置情報を生成する。

図７（Ｃ）は、動作情報を例示する図である。
図７（Ｃ）に例示するように、動作情報は、使用者の視線が文書上のどの位置を向いているかを示す文書上視線位置情報と、使用者の指（又はスタイラス等）の先端が文書上のどの位置を向いているかを示す文書上指位置情報とを含む。
閲覧履歴生成部２４０は、液晶表示装置３２に表示されている文書の位置情報と、液晶表示装置３２上の位置を示した視線位置情報とを対応付けて、使用者の視線が文書上のどの位置に対して向いているかを判断して、文書上視線位置情報を生成する。
同様に、閲覧履歴生成部２４０は、液晶表示装置３２に表示されている文書の位置情報と、液晶表示装置３２上の位置を示した指位置情報とを対応付けて、使用者の指（又はスタイラス等）が文書上のどの位置に対して向いているかを判断して、文書上指位置情報を生成する。
なお、文書がページごとに区切られている場合、文書位置情報、文書上操作位置情報、文書上視線位置情報及び文書上指位置情報は、表示されているページのページ番号を含んでもよい。

閲覧履歴生成部２４０は、例えば予め定められた時間間隔ごと（例えば１秒ごと）に閲覧履歴を生成する。
なお、閲覧履歴生成部２４０は、例えばイベントトリガ（文書位置情報、操作情報又は動作情報が変化した場合）により閲覧履歴を生成してもよい。
例えば、閲覧履歴生成部２４０は、液晶表示装置３２に表示されている文書の位置が移動した場合、タッチパネル３０が新たな操作を受け付けた場合、視線検知部２２６が使用者の視線が動いたことを検出した場合、指位置検知部２２８が使用者の指又はスタイラス等が動いたことを検出した場合等に、閲覧履歴を生成してもよい。

［第２の実施形態］
図８には、本発明の第２の実施形態に係るタブレット装置１０が示されている。
先述の第１の実施形態に係るタブレット装置１０は、半透明鏡５０を１つ有し、半透明鏡５０がタブレット装置本体１２の被装着部１８に取り付けられていた。
これに対して、この第２の実施形態に係るタブレット装置１０においては、タブレット装置本体１２が複数の被装着部１８を有し、これらの複数の被装着部１８に複数の半透明鏡５０が装着される。
より具体的には、この第２の実施形態に係るタブレット装置１０においては、タブレット装置本体１２が２つの被装着部１８を有し、２つの装着部のそれぞれに対して各１つの合計２つの半透明鏡５０が取り付けられる。
また、この第２の実施形態においては、制御部１００が、２つの半透明鏡５０のそれぞれに反射された光の視差に基づいての演算をすることで、例えば図２に二点鎖線ｂで示す範囲内にある撮影対象の立体画像を撮影することができるようになっている。

以上で説明した第１の実施形態に係るタブレット装置１０との異なる部分以外の第２の実施形態に係るタブレット装置１０の構成は第１のタブレット装置１０と同じであるので繰り返しての説明を省略する。

［第３の実施形態］
図９には、第３の実施形態に係るタブレット装置１０に用いられる半透明鏡５０が示されている。なお、第３の実施形態においては、半透明鏡５０以外の構成は、第１の実施形態と同様である。
先述の第１の実施形態に係るタブレット装置１０においては、半透明鏡５０として、反射面を１つ有する鏡が用いられていた（図３参照）。
これに対して、第３の実施形態に係るタブレット装置１０においては、一般に多面鏡と称されていて、図９に示すように２つの反射面にあたる反射部５２ａ，５２ｂを有する半透明鏡５０が用いられている。
反射部５２ａ，５２ｂの形状は、それぞれが非球面である。

また、先述の第２の実施形態に係るタブレット装置１０においては、撮影対象の立体画像を撮影するために、２つの半透明鏡５０を用いていた。
これに対して、この第３の実施形態においては、先述の第２の実施形態と同様に立体画像を撮影することができるものの、半透明鏡５０そのものの数は１つであり、２つの半透明鏡５０を用いることに替えて、１つの半透明鏡５０の２つ反射部（反射面）を用いて立体画像を撮影することができるようなっている。
すなわち、この第３の実施形態においては、制御部１００（図５参照）が、反射部５２ａ，５２ｂのそれぞれに反射された光の視差に基づいての演算をすることで、例えば図２に二点鎖線ｂで示す範囲内にある撮影対象の立体画像を撮影することができるようになっている。

［第４の実施形態］
図１０には、第４の実施形態に係る閲覧装置１０Ａが示されている。
閲覧装置１０Ａは、紙媒体に印刷された文書を閲覧するための装置である。
なお、以下の各図において、実質的に同じ構成部分および処理には同じ番号が付される。
閲覧装置１０Ａは、撮像装置であるＣＣＤカメラ４０と、反射部５２及び支持部６０を有する半透明鏡５０と、使用者が文書Ｄを閲覧する際に文書Ｄを載せるための文書台９０と、制御部１００と、ユーザインターフェース装置（ＵＩ装置）１１０とを有する。
ＣＣＤカメラ４０は、例えば支持部６０の脚部等に設けられており、他の実施形態と同様に、半透明鏡５０の反射光及び透過光の両方を、同時に結像し得るようになっており、半透明鏡５０を介して、文書台９０に置かれた文書Ｄの近傍の撮影対象、及び、文書Ｄから離れた位置にある撮影対象を撮影できるようになっている。
ＵＩ装置１１０は、例えば表示装置と入力装置とが組み合わされたタッチパネル等のＧＵＩ（Graphical User Interface）であるが、これに限定されない。

図１１は、第４の実施形態にかかる閲覧装置１０Ａの制御部１００において動作する閲覧プログラム２０Ａを示すブロック・ダイアグラムである。
図１１に示すように、閲覧プログラム２０Ａは、撮像データ取得許可部２２０と、撮像データ取得部２２２と、顔認識部２２４と、視線検知部２２６と、指位置検知部２２８と、文書認識部２６０と、文書座標割当部２６２と、閲覧履歴生成部２６０と、閲覧履歴記憶部２５０とから構成される。

文書認識部２６０は、撮像データ取得部２２２から取得した撮像データから、文書台９０に置かれた文書Ｄを認識する。
具体的には、文書認識部２６０は、例えば図４（Ｂ）に例示したタッチパネル３０のような湾曲した形状の撮影対象を文書Ｄと認識し、文書Ｄに対応する撮像データを抽出して、文書座標割当部２６２に対して出力する。
文書座標割当部２６２は、文書Ｄに対応する撮像データに対し、文書Ｄ上の位置を示す座標を割り当てる。
具体的には、文書座標割当部２６２は、文書Ｄに対応する撮像データの湾曲を補正して、文書Ｄ上に、仮想の位置座標を割り当てて、その座標を示す位置情報を、閲覧履歴生成部２６０に対して出力する。

閲覧履歴生成部２６０は、視線検知部２２６、指位置検知部２２８及び文書座標割当部２６２からの情報から、閲覧履歴を生成し、閲覧履歴記憶部２５０に記憶する。
閲覧履歴生成部２６０は、図７（Ａ）の文書位置情報及び操作情報を除いた閲覧履歴を生成する。
閲覧履歴生成部２６０は、文書座標割当部２６２によって割り当てられた文書の位置座標と、文書Ｄ上の位置を示した視線位置情報とを対応付けて、使用者の視線が文書上のどの位置に対して向いているかを判断して、文書上視線位置情報を生成する。
同様に、閲覧履歴生成部２４０は、文書座標割当部２６２によって割り当てられた文書の位置座標と、文書Ｄ上の位置を示した指位置情報とを対応付けて、使用者の指（又はスタイラス等）が文書上のどの位置に対して向いているかを判断して、文書上指位置情報を生成する。

［変形例］
上述した実施形態においては、液晶表示装置３２（又は文書Ｄ）から離れた位置にある撮影対象を、使用者の視線であるとしたが、視線に限定されず、例えば、マイクロサッカード等の眼球運動、使用者の表情、口の動き、首の動き（頷き動作）等の動作でもよい。
この場合、例えば、使用者の指が文書中のどの位置を指している場合に使用者がどのような動作をしたかが、履歴として記憶される。

また、上述した実施形態においては、閲覧装置が閲覧履歴を生成するとしたが、閲覧装置に例えばネットワークを介して接続された管理装置が閲覧履歴を生成し閲覧履歴を管理するようにしてもよい。
この場合、閲覧装置は、撮像データ（又は視線位置情報及び指位置情報）を管理装置に送信し、管理装置が送信された情報を受信するようにしてもよい。

また、上述した実施形態においては、半透明鏡は偏光素子を有するとしたが、偏光素子はなくてもよい。
この場合、顔認識部及び指位置検出部は、使用者の顔及び指の両方が撮影された撮像データから、例えばパターン認識を行って、顔及び指を認識するようにしてもよい。

１０・・・タブレット装置，
１８・・・被装着部，
２８・・・液晶表示装置，
３０・・・タッチパネル，
４０・・・ＣＣＤカメラ，
５０・・・半透明鏡，
５２・・・反射部，
６０・・・支持部，
１００・・・制御部，
２０・・・閲覧プログラム，
２０２・・・文書データ取得部，
２１０・・・文書表示処理部，
２１２・・・操作受付部，
２２０・・・撮像データ取得許可部，
２２２・・・撮像データ取得部，
２２４・・・顔認識部，
２２６・・・視線検知部，
２２８・・・指位置検知部，
２４０・・・閲覧履歴生成部，
２５０・・・閲覧履歴記憶部，

Claims (13)

1. コンテンツを表示する表示装置と、
   使用者がコンテンツを閲覧する際に動作するものであり、前記表示装置と同じ面に配置され、使用者に関するもので互いに距離が異なる複数の撮影対象を撮影する撮像装置と
   を有する閲覧装置。
2. 前記撮像装置は、前記複数の撮影対象のうち第１の撮影対象の像を反射させ、前記複数の撮影対象のうち第２の撮影対象の像を透過させるように配置されている半透明鏡をさらに有する請求項１に記載の閲覧装置。
3. 複数の撮影対象それぞれに対応する、前記表示装置によって表示されたコンテンツの位置を検知する検知手段をさらに有する請求項１に記載の閲覧装置。
4. 前記撮像装置によって撮影された複数の撮影対象と対応付けて、使用者のコンテンツに対する閲覧履歴を生成する閲覧履歴生成手段をさらに有する請求項１に記載の閲覧装置。
5. 前記第２の撮像対象は、使用者の視線である請求項２に記載の閲覧装置。
6. 前記第１の撮像対象は、使用者の指又は使用者が持つスタイラスである請求項２に記載の閲覧装置。
7. 前記撮像装置が前記複数の撮影対象のうち第１の撮影対象を撮影できるように配置され、曲面を有する半透明鏡をさらに有する請求項１に記載の閲覧装置。
8. 前記撮像装置が前記複数の撮影対象のうち第１の撮影対象を撮影できるように配置され、２つの反射面を有する半透明鏡をさらに有する請求項１に記載の閲覧装置。
9. 前記撮像装置が前記複数の撮影対象のうち第１の撮影対象を撮影できるように配置され、透過光と反射光とで焦点の位置が異なる半透明鏡をさらに有し、
   前記撮像装置は、前記半透明鏡に反射した前記第１の撮影対象の像と、前記複数の撮影対象のうち前記半透明鏡を透過した第２の撮影対象の像とを撮影する請求項１に記載の閲覧装置。
10. 前記撮像装置が前記複数の撮影対象のうち第１の撮影対象を撮影できるように配置され、透過光を遮断又は透過させる偏光素子を有する半透明鏡をさらに有する請求項１に記載の閲覧装置。
11. 使用者に対して前記撮像装置が撮像することを許可するか否かを確認する許可手段をさらに有し、前記撮像装置は、前記許可手段によって使用者が許可した場合に、撮影を行う
    請求項１に記載の閲覧装置。
12. 閲覧対象のコンテンツと、使用者がコンテンツを閲覧する際に動作する、使用者に関するもので互いに距離が異なる複数の撮影対象とを撮影する撮像装置と、
    前記撮像装置がコンテンツを撮影できるように配置され、かつ前記複数の撮影対象のうち第１の撮影対象の像を反射させ、前記複数の撮影対象のうち第２の撮影対象の像を透過させるように配置されている半透明鏡とを有する閲覧装置。
13. 使用者がコンテンツを閲覧する際に使用される閲覧装置と、
    使用者のコンテンツの閲覧履歴を管理する管理装置と
    を有し、
    前記閲覧装置は、
    使用者がコンテンツを閲覧する際に動作する、使用者に関するもので互いに距離が異なる複数の撮影対象を撮影する撮像装置と
    前記撮像装置によって得られたデータに関する情報を送信する送信手段と
    を有し、
    前記管理装置は、
    前記送信手段によって送信された情報を受信する受信手段と、
    前記撮像装置によって撮影された複数の撮影対象と対応付けて、使用者のコンテンツに対する閲覧履歴を生成する閲覧履歴生成手段と
    を有する閲覧システム。

Images