JP2017182647A - 現実の書籍と電子書籍が連携した書籍システム - Google Patents

Abstract

【課題】 アノテーションについて、電子書籍と現実の書籍との間での連携を図ることができるシステムを提供する。
【解決手段】 電子書籍サーバ装置Ｓは、現実の書籍を撮像した画像を、アノテーション処理端末装置ＡＴから受信する。書籍箇所特定手段２２は、受信した画像または画像に基づくデータに基づいて、撮像された現実の書籍５０に対応する電子書籍を特定する。アノテーション送信手段２４は、特定された電子書籍の箇所に対応づけて記録されているアノテーションデータを、記録部２６から読み出してアノテーション処理端末装置ＡＴに送信する。アノテーション処理端末装置ＡＴのアノテーション表示手段６は、表示部８を制御して、仮想現実として現実の書籍５０の頁の上に、受信したアノテーション５２を表示する。
【選択図】 図１

Description

電子書籍の普及とともに、ユーザが、同じ本を電子書籍と現実の書籍の双方で読む場面が生じている。このような場合、電子書籍と現実の書籍との間での連携をとる必要が生じている。

たとえば、現実の書籍にて読んだ箇所を、電子書籍において引き継ぐことができるように、特許文献１のようなシステムが提案されている。このシステムでは、現実の書籍のしおりとして電子的なしおりを用いるようにしている。この電子的なしおりと電子書籍端末とが通信を行って、電子書籍端末にて読んだ箇所を、電子的しおりに表示する。

特許文献１のシステムによれば、読み終えた箇所について、電子書籍と現実の書籍との間での連携を図ることができる。

特開２０１３−１６８０８２

しかしながら、特許文献１のような従来技術では、読み終えた箇所について電子書籍と現実の書籍との間での連携を図ることが可能であるものの、マーカーやメモなどのアノテーションについて、相互に連携を図ることはできなかった。

この発明は、上記のような問題点を解決して、アノテーションについて、電子書籍と現実の書籍との間での連携を図ることができるシステムを提供することを目的とする。

また、この発明の他の目的は、電子書籍でありながら、現実の書籍であるかのうように見ることができるシステムを提供することを目的とする。

この発明の独立して適用可能ないくつかの特徴を列挙する。

(1)(3)(6)(8)この発明に係る書籍システムは、電子書籍サーバ装置とアノテーション処理端末装置とを備えた書籍システムであって、
前記電子書籍サーバ装置は、現実の書籍に対応する電子書籍を記録するとともに、当該電子書籍の該当箇所情報が付されたアノテーションを記録する記録部と、現実の書籍を撮像した撮像情報をアノテーション処理端末装置から受けて、当該撮像情報に基づいて、撮像された現実の書籍に対応する電子書籍を特定するとともに、撮像箇所が電子書籍のいずれの箇所に対応するかを特定する書籍箇所特定手段と、前記記録部を参照し、書籍箇所特定手段によって特定された電子書籍の該当箇所とともに、当該電子書籍の箇所に関連づけられたアノテーションをアノテーション処理端末装置に送信するアノテーション送信手段とを備え、
前記アノテーション処理端末装置は、現実の書籍を撮像するための撮像部と、撮像された現実の書籍の撮像情報を前記電子書籍サーバ装置に送信する撮像情報送信手段と、電子書籍の箇所に関連づけられたアノテーションを、前記電子書籍サーバ装置から受信し、撮像部による撮像情報を参照して、当該箇所に対応する現実の書籍の箇所に、当該アノテーションを仮想現実として表示部によって表示させるためのアノテーション表示手段とを備えている。

したがって、現実の書籍の上で、アノテーションを仮想現実としてみることができる。

(2)この発明に係る書籍システムは、電子書籍端末装置が、電子書籍サーバ装置から電子書籍およびアノテーションを受信する受信手段と、受信した電子書籍およびアノテーションを電子書籍端末装置の表示部に表示する表示手段と、表示された電子書籍に対して、電子書籍端末装置の入力部からのアノテーション操作を受け付けるアノテーション操作手段と、前記アノテーション操作の内容を、電子書籍サーバ装置の記録部に記録するために、電子書籍サーバ装置に送信するアノテーション操作送信手段とを備えている。

したがって、現実の書籍の上で、仮想現実としてアノテーションを付加することができる。

(4)この発明に係る書籍システムは、電子書籍サーバ装置の記録部に記録されたアノテーションには、当該アノテーションを付したユーザのユーザＩＤが対応付けて記録されており、電子書籍サーバ装置のアノテーション送信手段は、前記アノテーション処理端末装置またはこれに関連づけられた携帯端末装置から受信したユーザＩＤに基づいて、当該ユーザＩＤに対応するアノテーションを選択して送信することを特徴としている。

したがって、当該ユーザが付したアノテーションのみを表示することができる。

(5)この発明に係る書籍システムは、電子書籍サーバ装置が、現実の書籍に関連づけられた操作部の動きを撮像した画像をアノテーション処理端末装置から受けて、当該操作部の動きに基づいて、電子書籍の対応する箇所にアノテーションを生成して記録するアノテーション記録手段を備えたことを特徴としている。

したがって、現実の書籍の上で、仮想現実としてアノテーションを付加することができる。

(7)(9)この発明に係る書籍システムは、撮像部が、現実の書籍に関連づけられた操作部の動きを撮像し、前記撮像部によって撮像された、当該現実の書籍に関連づけられた操作部の動きに基づいて、電子書籍の対応する箇所にアノテーションを生成して前記電子書籍サーバ装置に送信するアノテーション登録手段とを備えている。

したがって、現実の書籍の上で、仮想現実としてアノテーションを付加することができる。

(10)(11)(12)この発明に係る書籍システムは、電子書籍サーバ装置と電子書籍端末装置とを備えた書籍システムであって、
前記電子書籍サーバ装置は、電子書籍を記録する記録部と、電子書籍ＩＤを電子書籍端末装置から受けて、当該電子書籍ＩＤに対応する電子書籍を電子書籍端末装置に送信する送信手段とを備え、
前記電子書籍端末装置は、前記電子書籍サーバ装置に対して、表示したい電子書籍の電子書籍ＩＤを送信する電子書籍ＩＤ送信手段と、前記電子書籍サーバ装置から、前記電子書籍ＩＤに対応する電子書籍を受信する電子書籍受信手段と、電子書籍を表示するための空白領域を有し各頁を示す表示が付された空白書籍を撮像するための撮像部と、前記撮像された空白書籍の撮像画像に基づいて、前記空白書籍の頁を特定する頁特定手段と、撮像部による撮像情報を参照して、前記空白書籍の前記空白領域に、電子書籍の特定した頁を仮想現実として表示部によって表示させるための表示手段とを備えている。

したがって、文字等の印刷されていない書籍の上に、仮想現実として文字等を表示させ、現実の本であるかのように提供することができる。

この発明において「アノテーション」とは、書籍の内容、位置などに対応づけられた付加情報をいう。実施形態においては、マーカ、メモ、しおり、翻訳、辞書の意味、検索結果などが該当する。

「書籍箇所特定手段」は、実施形態においては、ステップＳ５４がこれに対応する。

「アノテーション送信手段」は、実施形態においては、ステップＳ５７がこれに対応する。

「撮像画像送信手段」は、実施形態においては、ステップＳ２１がこれに対応する。

「アノテーション表示手段」は、実施形態においては、ステップＳ２２がこれに対応する。

「アノテーション記録手段」は、実施形態においては、ステップＳ６６がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

この発明の一実施形態による書籍システムの機能ブロック図である。 書籍システムのシステム構成である。 サーバ装置Ｓのハードウエア構成である。 アノテーション処理端末装置ＡＴを装着した状態を示す図である。 アノテーション処理端末装置ＡＴのハードウエア構成である。 アノテーション表示処理のフローチャートである。 アノテーション表示処理のフローチャートである。 電子書籍データの例である。 アノテーションの位置座標の正規化を説明するための図である。 仮想現実としてのアノテーションの表示を説明するための図である。 仮想現実としてのアノテーションの表示を説明するための図である。 仮想現実として表示されたアノテーションを示す図である。 アノテーション付与処理のフローチャートである。 アノテーション付与処理のフローチャートである。 第２の実施形態による書籍システムの機能ブロック図である。 書籍システムのシステム構成図である。 電子書籍表示処理のフローチャートである。 空白書籍５１の例である。 アノテーション付与処理のフローチャートである。

１．第１の実施形態
1.1システムの構成
図１に、この発明の一実施形態による書籍システムの全体構成を示す。電子書籍サーバ装置Ｓの記録部２６には、電子書籍のデータおよびこれに付されたアノテーションのデータが記録されている。また、電子書籍データには、それぞれ、電子書籍ＩＤが付されて記録されている。

電子書籍サーバ装置Ｓの記録部２６に記録された電子書籍データは、一般的な電子書籍端末装置ＥＴにおいて閲覧することができる。また、ユーザは、電子書籍端末装置ＥＴを操作して、表示された電子書籍にアノテーションを付すことができる。付与されたアノテーションデータは、電子書籍サーバ装置Ｓに送信され、電子書籍データの対応箇所に関連づけて、記録部２６に記録される。

アノテーション処理端末装置ＡＴは、たとえば、カメラ、ヘッドマウントディスプレイを搭載した眼鏡型ウエアラブルコンピュータを用いることができる。アノテーション処理端末装置ＡＴの撮像部２（たとえばカメラ）は、現実の書籍５０の特定の頁が開かれた状態で、これを撮像する。撮像画像送信手段４は、このようにして撮像された現実の書籍５０の特定頁の画像もしくは当該画像に基づくデータ（これら画像および画像に基づくデータを撮像情報という）を、電子書籍サーバ装置Ｓに送信する。

電子書籍サーバ装置Ｓの書籍箇所特定手段２２は、受信した画像または画像に基づくデータに基づいて、撮像された現実の書籍５０に対応する電子書籍を特定する。特定頁の画像が送信されてきた場合、たとえば、その画像から文字テキストデータを抽出し、当該文字テキストデータと合致する電子書籍データを検索する。合致するものがあれば、その電子書籍の当該箇所が、現実の書籍５０の開かれている頁に対応すると判断する。

あるいは、撮像画像に基づくデータとしてアノテーション処理端末装置ＡＴにおいてテキスト化された文字テキストデータが送られてくる場合には、当該文字テキストデータと合致する電子書籍データを検索すればよい。

アノテーション送信手段２４は、特定された電子書籍の箇所に対応づけて記録されているアノテーションデータを、記録部２６から読み出してアノテーション処理端末装置ＡＴに送信する。

アノテーション処理端末装置ＡＴのアノテーション表示手段６は、表示部８を制御して、仮想現実として現実の書籍５０の頁の上に、受信したアノテーション５２を表示する。この際、アノテーション表示手段６は、撮像部２によって撮像されている現実の書籍５０の画像を参照して、電子書籍においてアノテーションが付されている位置に合致するように、仮想現実のアノテーションの表示位置を制御する。したがって、現実の書籍５０を見ているユーザは、電子書籍に付されたマーカのアノテーション５２を、当該現実の書籍５０の上で仮想現実として見ることができる。

以上のようにして、電子書籍のアノテーションを現実の書籍に連携させることができる。

図２に、書籍システムのシステム構成を示す。アノテーション処理端末装置ＡＴは、たとえば、ユーザの眼鏡などに装着されており、無線通信によってサーバ装置Ｓと通信可能である。電子書籍端末装置ＥＴは、たとえば、タブレットコンピュータを用いることができ、無線通信によってサーバ装置Ｓと通信可能である。また、ユーザの有するスマートフォンＳＰは、アノテーション処理端末装置ＡＴと通信可能であり、さらに、サーバ装置Ｓとも通信可能である。

図３に、サーバ装置Ｓのハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、通信回路３４、ハードディスク３６、ＤＶＤ−ＲＯＭドライブ４２、電子書籍データベース４４が接続されている。なお、電子書籍データベース４４は、サーバ装置Ｓの本体と同一筐体に設けられていてもよいが、他の筐体として設けられ、独立した別のコンピュータとして構成されていてもよい。この実施形態では、上記、一体として構築された電子書籍データベース４４であっても、別体として構築された電子書籍データベース４４であっても、サーバ装置Ｓの一部であるとする。

通信回路３４は、インターネットに接続するための回路である。ハードディスク３６には、オペレーティングシステム３８、サーバプログラム４０が記録されている。サーバプログラム４０は、オペレーティングシステム３８と協働してその機能を発揮するものである。

これらプログラムは、ＤＶＤ−ＲＯＭ４３に記録されていたものを、ＤＶＤ−ＲＯＭドライブ４２を介して、ハードディスク３６にインストールしたものである。

電子書籍データベース４４には、電子書籍データ４６が記録されている。各電子書籍データ４６には、その電子書籍を識別するための電子書籍ＩＤが付されている。また、電子書籍にアノテーションが付されている場合、当該電子書籍の箇所（頁や行、最初からの文字数など）を特定してアノテーションデータが記録されている。この実施形態では、アノテーションを付したユーザが誰であるか分かるように、ユーザＩＤが対応づけて記録されている。

図４に、アノテーション処理端末装置ＡＴを装着した状態を示す。この実施形態では、眼鏡にアノテーション処理端末装置ＡＴを取り付けて、ユーザが装着するようにしている。このアノテーション処理端末装置ＡＴは、ユーザの視線と同方向を撮像するカメラ１７、カメラの反対側（つまり、ユーザの目の側）に設けられたヘッドマウントディスプレイ１６（図示せず）を備えている。ヘッドマウントディスプレイ１６は、ユーザが肉眼で見ている対象に仮想現実としての画像を重ねて表示するものである。

図５に、アノテーション処理端末装置ＡＴのハードウエア構成を示す。ＣＰＵ１０には、メモリ１１、通信回路１２、不揮発性メモリ１３、ヘッドマウントディスプレイ１６、カメラ１７、近距離通信回路１８が接続されている。通信回路１２は、無線通信によってインターネットに接続するための回路である。近距離通信回路１８は、Bluetooth（商標）などの規格によって、スマートフォンＳＰとの間で通信を行うためのものである。

不揮発性メモリ１３には、オペレーティングシステム１４、アノテーション端末プログラム１５が記録されている。アノテーション端末プログラム１５は、オペレーティングシステム１４と協働してその機能を発揮するものである。これらプログラムは、通信回路１２を介してインターネット上のサーバ装置からダウンロードして、不揮発性メモリ１３にインストールしたものである。

ヘッドマウントディスプレイ１６は、ユーザに対して仮想現実の画像を与えるものである。この実施形態では、光学透過方式のものを使用している。なお、外界が見えるものであれば、ビデオシースルー方式のものを用いてもよい。カメラ１７は、外部を撮像するためのものである。

図２の電子書籍端末装置ＥＴとしては、タッチスクリーンディスプレイを有する一般的な電子書籍端末装置を用いることができる。ここでは、そのハードウエアの説明は省略する。たとえば、アマゾン・ドット・コム社のKindle（商標）を用いることができる。ユーザは、電子書籍端末装置ＥＴから電子書籍サーバ装置Ｓにアクセスして、電子書籍を表示したり、スタイラスペンなどでアノテーションを書き込んだりすることができる。書き込まれたアノテーション情報は、電子書籍ＩＤ、アノテーション箇所情報、ユーザのユーザＩＤとともに、電子書籍サーバ装置Ｓに送信される。送信されたアノテーション情報は、対応する電子書籍の対応する箇所に関連づけて、ユーザＩＤとともに電子書籍データベース４４に記録される。

図２のスマートフォンＳＰとしては、bluetooth（商標）通信などの近距離通信を備えた一般的なスマートフォンを用いることができる。また、この実施形態では、スマートフォンＳＰには、電子書籍サーバ装置Ｓと認証を行い、アノテーション処理端末装置ＡＴとの連携を図るための連携アプリケーションがインストールされている。

1.2アノテーション表示処理
図６、図７に、アノテーション処理端末装置ＡＴにおいて現実の書籍の上に仮想現実としてアノテーションを表示する処理のフローチャートを示す。この図においては、スマートフォンＳＰの連携アプリケーション、アノテーション処理端末装置ＡＴのアノテーション端末プログラム１５、電子書籍サーバ装置Ｓのサーバプログラム４０のフローチャートが示されている。

ユーザは、スマートフォンＳＰの連携アプリケーションを起動し、ユーザＩＤ、パスワードを入力し、送信ボタンをクリックする。これを受けて、スマートフォンＳＰのＣＰＵ（以下、スマートフォンＳＰと省略することがある）は、入力されたユーザＩＤ、パスワードを、電子書籍サーバ装置Ｓに送信する（ステップＳ１）。

電子書籍サーバ装置ＳのＣＰＵ３０（以下、電子書籍サーバ装置Ｓと省略することがある）は、送られてきたユーザＩＤ、パスワードの組合せが登録されていれば、認証ＯＫをスマートフォンＳＰに送信する（ステップＳ５１）。これを受けたスマートフォンＳＰは、ユーザＩＤをアノテーション処理端末装置ＡＴに、Bluetooth（商標）などの近距離通信によって送信する（ステップＳ２）。なお、ここでは、スマートフォンＳＰとアノテーション処理端末装置ＡＴのペアリングは既に済んでいるものとする。

アノテーション処理端末装置ＡＴのＣＰＵ１０（以下、アノテーション処理端末装置ＡＴと省略することがある）は、現実の書籍５０をカメラ１７によって撮像した撮像画像を、ユーザＩＤとともに電子書籍サーバ装置Ｓに送信する（ステップＳ２１）。したがって、ユーザが開いている現実の書籍５０の頁を撮像した画像が送信されることになる。

電子書籍サーバ装置Ｓは、この書籍画像を受信し、文字をテキストデータ化する（ステップＳ５２）。撮像された書籍画像において、書籍の外枠が長方形として撮像されていない場合（たとえば台形や菱形である場合）、電子書籍サーバ装置Ｓは、長方形になるように全体を座標変換した後、文字のテキスト化を行う。

文字のテキスト化は、各文字画像を画像認識してテキストデータとすることによって行う。この際、電子書籍サーバ装置Ｓは、書籍画像の各文字画像と認識された各テキストデータとの対応づけを記録するようにしている。

次に、電子書籍サーバ装置Ｓは、電子書籍データベース４４の電子書籍データ４６を検索し、当該ユーザが購入済みの電子書籍について、当該テキストデータに合致する電子書籍の箇所があるかどうかを判断する（ステップＳ５３）。

図８Ａに、電子書籍データベース４４に記録された電子書籍データ４６の例を示す。電子書籍ＩＤは、電子書籍を区別するためのＩＤである。購入ユーザＩＤは、当該電子書籍を購入したユーザのユーザＩＤが記録されている。電子書籍ＩＤ「14876」については、ユーザＩＤ「3546」のユーザが購入済みである。電子書籍ＩＤ「14877」については、ユーザＩＤ「1048」「1220」の２人のユーザが購入済みである。タイトルは当該電子書籍の題号であり、作者は著者の氏名である。内容は、当該電子書籍の内容テキストや画像などである。

ステップＳ５３における検索処理の詳細は、以下のとおりである。電子書籍サーバ装置Ｓは、まず、アノテーション処理端末装置ＡＴから送信されてきたユーザＩＤに基づいて、当該ユーザが購入済みの電子書籍を抽出する。続いて、送信されてきた書籍画像から変換したテキストデータに合致する箇所が、抽出した電子書籍の内容にあるかどうかを判断する。

合致する箇所が見いだされなければ、ステップＳ５２に戻って処理を繰り返す。合致する箇所が見いだされれば、電子書籍サーバ装置Ｓは、当該電子書籍の電子書籍ＩＤを特定し、合致した箇所を特定する。たとえば、内容テキストデータの３２１４文字目から３６５７文字目というように合致箇所の特定を行う。

電子書籍サーバ装置Ｓは、次に、電子書籍データベース４４のアノテーションデータ４８を参照して、当該電子書籍の合致した箇所に当該ユーザが付したアノテーションがあるかどうかを判断する（ステップＳ５５）。

図８Ｂに、アノテーションデータ４８の例を示す。ユーザＩＤの欄には、当該アノテーションを付したユーザのユーザＩＤが記録されている。種類の欄には、アノテーションの種類が示されている。マーカ、しおり、メモ、傍線などの種類である。箇所の欄には、アノテーションの付された箇所が示されている。たとえば、「マーカ」のアノテーションについて、箇所が「1235-1260」と記録されていれば、１２３５文字目から１２６０文字目までにマーカが付されていることを示している。

電子書籍サーバ装置Ｓは、当該ユーザＩＤのユーザが、合致した箇所内においてアノテーションを付しているかどうかを判断する。アノテーションが見いだされれば、電子書籍サーバ装置Ｓは、当該アノテーションを現実の書籍の頁上に表示するための情報を、アノテーション処理端末装置ＡＴに送信する（ステップＳ５６、Ｓ５７）。見いだされなければステップＳ５２に戻って処理を繰り返す。

なお、電子書籍サーバ装置Ｓは、以下のようにしてアノテーションを表示するための情報を生成する。ここでは、マーカを例として説明する。まず、アノテーションデータを参照して、テキストデータのどの範囲にマーカが施されているかを取得する。たとえば、１２３５文字目から１２４２文字目というように取得する。続いて、ステップＳ５２において受信した書籍画像を長方形変換した画像上において、当該マーカの対応する箇所を特定する。

前述のように、テキスト化する際に、各テキストの文字と書籍画像の文字との対応付けを行っているので、これをもとに特定することができる。たとえば、図９に示すように、マーカの範囲１００を特定することができる。なお、たとえば、マーカは、文字幅に対して左右に所定割合（たとえば５％）外側となるような幅とし、文字高さに対して上下に所定割合（たとえば５％）外側となるような長さとして設定するように定めておくことができる。

次に、電子書籍サーバ装置Ｓは、マーカ範囲１００の右上の位置Ａと左下の位置Ｂを正規化された座標にて表す（図９参照）。この実施形態では、位置ＡのＸ座標は、現実の書籍の右上の点（紙の端部）から位置ＡまでのＸ方向距離X1の、現実の書籍の幅Wに対する比率（X1／W）とし、Ｙ座標は、現実の書籍の右上の点（紙の端部）から位置ＡまでのＹ方向距離Y1の、現実の書籍の長さLに対する比率（Y1／L）として算出している。同様にして、位置ＢのＸ座標をX2／W、Ｙ座標をY2／Lとして算出する。

電子書籍サーバ装置Ｓは、ステップＳ５６において、アノテーションの種類と上記位置Ａ、Ｂの正規化座標を送信する。

アノテーション処理端末装置ＡＴは、これを受信して、カメラ１７による現在の撮像画像に基づいて、現実の書籍の対応する位置に、アノテーションであるマーカが仮想現実として表示されるように、ヘッドマウントディスプレイ（ＨＭＤ）に表示を行う（ステップＳ２２）。

たとえば、現在の撮像画像が図１０のように現実の書籍を撮像していれば、その幅RWに、X1／Wを乗じて、Ａ点のX座標RX1を算出し、その長さRLに、Y1／Lを乗じて、Ａ点のＹ座標RY1を算出する。また、同様にして、Ｂ点のＸ座標、Ｙ座標も算出する。アノテーション処理端末装置ＡＴは、このＡ点とＢ点による矩形が仮想現実として認識されるように、ヘッドマウントディスプレイ（ＨＭＤ）の対応する位置にマーカの表示出力を行う。

なお、撮像画像において、図１１に示すように、書籍がひずんで長方形でない場合には、図１０のようにして算出したマーカの４隅Ａ〜Ｄの座標位置を、ひずみにあわせて補正することで正しく表示を行うことができる。

なお、アノテーションがしおりである場合には、当該アノテーションの付された文字が含まれる頁において、文字の印刷されていない右上の空白部分に、しおりの画像が仮想現実として認識されるように表示を行う。メモである場合も、予め定められた空白の位置に、メモの画像が仮想現実として認識されるように表示を行う。

以上のようにして、現実の書籍を読んでいるユーザは、アノテーション処理端末装置ＡＴの処理によって、図１２に示すように仮想現実として現実の書籍５０の上にマーカ５２を認識することができる。

1.3アノテーション付与処理
図１３、図１４に、アノテーション処理端末装置ＡＴにおいて現実の書籍の上で、操作部材（たとえばペン状の部材）を操作して、アノテーションを付与する処理のフローチャートを示す。この図においては、スマートフォンＳＰの連携アプリケーション、アノテーション処理端末装置ＡＴのアノテーション端末プログラム１５、電子書籍サーバ装置Ｓのサーバプログラム４０のフローチャートが示されている。

ステップＳ１１、Ｓ６１、Ｓ１２によるユーザ認証処理は、図６と同様の処理である。アノテーション処理端末装置ＡＴを装着したユーザは、操作部材を現実の書籍の上に置き、メニューモードとするために予め定められたアクションを行う。たとえば、操作部材を上下に振るというアクションを行う。このアクションは、カメラ１７によって撮像され、その画像が電子書籍サーバ装置Ｓに送信される（ステップＳ３１）。

これを受信した電子書籍サーバ装置Ｓは、操作部材のアクションを検出して、アクションに対応して予め定められた命令を特定する。ここでは、操作部材を上下に振るというアクションが、メニュー表示に対応しているものとする。電子書籍サーバ装置Ｓは、メニュー画面をアノテーション処理端末装置ＡＴに送信する（ステップＳ６２）。アノテーション処理端末装置ＡＴは、送信されてきたメニューをヘッドマウントディスプレイ１６に表示する（ステップＳ３２）。

ユーザは、操作部材を移動させて表示されたメニューの中からアノテーション付与を選択して、操作部材を横方向に移動させて決定を行う。これらメニュー項目の移動や決定は、上記と同じように、予め定められた操作部材のアクションを電子書籍サーバ装置Ｓが認識することによって実現している。

アノテーション付与の決定（に対応するアクション）が、電子書籍サーバ装置Ｓに送信される（ステップＳ３２）。これを受けて、電子書籍サーバ装置Ｓは、アノテーション付与モードとなる。

続いて、ユーザは、現実の書籍の上でマーカを付与したい箇所に対し、操作部材を移動させる。この動作は、書籍の上に蛍光マーカを引く動作と同様の動作となるので、ユーザにとって違和感が少ない。

アノテーション処理端末装置ＡＴは、操作部材の動きを含む現実の書籍を撮像した画像およびユーザＩＤを、電子書籍サーバ装置Ｓに送信する（ステップＳ３３）。電子書籍サーバ装置Ｓは、受信した画像に基づいて、文字のテキスト化を行う（ステップＳ６３）。この処理は、図６のステップＳ５２と同様である。さらに、電子書籍サーバ装置Ｓは、当該ユーザが購入している電子書籍の内容中に、対応するテキストがあるかどうかを検索する（ステップＳ６４）。あれば、対応する電子書籍を特定し、その該当箇所を特定する（ステップＳ６５）。この処理は、図７のステップＳ５３、Ｓ５４と同様である。

続いて、電子書籍サーバ装置Ｓは、操作部材が現実の書籍の上でスライドされた位置（開始位置および終了位置）を特定する。書籍画像上での位置は、受信した書籍画像における操作部材の位置によって容易に特定することができる。電子書籍サーバ装置Ｓは、マーカの開始位置および終了位置を正規化して記録する。

さらに、電子書籍サーバ装置Ｓは、電子書籍データベース４４に登録するためのアノテーションデータを生成する。前述のように、書籍画像における各文字の画像と、テキスト化された文字とは対応づけられている。したがって、上記画像におけるマーカ開始位置と終了位置に対応する文字テキストデータを特定して、アノテーションデータを生成することができる。生成されたアノテーションデータは、図８Ｂに示すように電子書籍データベース４４に登録される（ステップＳ６６）。

続いて、電子書籍サーバ装置Ｓは、アノテーション処理端末装置ＡＴにおいてアノテーションを表示するための情報を、アノテーション処理端末装置ＡＴに送信する（ステップＳ６７）。このアノテーション情報は、図７のステップＳ５７において送信するものと同様である。

アノテーション処理端末装置ＡＴは、これを受信して、カメラ１７による現在の撮像画像に基づいて、現実の書籍の対応する位置に、アノテーションであるマーカが仮想現実として表示されるように、ヘッドマウントディスプレイ（ＨＭＤ）に表示を行う（ステップＳ３４）。この処理は、ステップＳ２２と同様である。

ユーザは、操作部材を操作することによって、その軌跡にマーカが引かれたように知覚することになる。また、電子書籍データベース４４に、アノテーションデータとしてマーカが登録されることになる。

上記では、マーカについて説明したが、しおりやメモについても同様である。なお、メモにおける文字入力は、操作部材の動きを電子書籍サーバ装置Ｓの側で検出して文字として認識することで可能である。あるいは、ヘッドマウントディスプレイ１６にてキーボードを表示し、その位置を操作部材で選択することで入力を行うようにしてもよい。

上記では、アノテーションの付与について説明した。しかし、電子書籍サーバ装置Ｓに辞書を記録しておき、ユーザが操作部材によって選択した箇所の単語に対応する意味内容や翻訳を、当該単語の近傍や余白部分にアノテーション処理端末装置ＡＴに表示するようにしてもよい。

また、アノテーション処理端末装置ＡＴを装着したユーザが操作部材によって選択した単語を、電子書籍サーバ装置Ｓが受け取り、サーチエンジンのキーワードとしてインターネット検索を行い、その結果をアノテーション処理端末装置ＡＴに送信するというような場合にも適用することができる。

1.4その他
(1)上記実施形態では、電子書籍サーバ装置Ｓにおいて書籍画像のテキスト化を行うようにしている。しかし、これをアノテーション処理端末装置ＡＴの側で行うようにしてもよい。

(2)上記実施形態では、スマートフォンＳＰを用いて、ユーザを認証するようにしている。しかし、スマートフォンＳＰを用いずに、アノテーション処理端末装置ＡＴから、ユーザＩＤ、パスワードを入力して、ユーザ認証を行うようにしてもよい。

(3)上記実施形態では、ユーザが購入した電子書籍についてのみアノテーションの表示、付与を可能としている。しかし、未購入の電子書籍についてもこれを可能としてもよい。さらに、他人が付与したアノテーションも表示できるようにしてもよい。

(4)上記実施形態では、アノテーションのために、書籍画像中の各文字画像、これに対応するテキスト文字、テキスト文字に対応付けられた情報、当該情報をテキスト文字に対応する書籍画像中の文字画像に対して適用する、という処理を行っている。しかし、このような対応づけ処理は、アノテーション以外の処理にも用いることができる。

(5)上記実施形態では、操作部材を用いているが、指などの人体の一部を操作部として用いてもよい。

(6)上記実施形態では、現実の書籍の頁を撮像し、これに対応するアノテーションを表示するようにしている。しかし、現実の書籍の表紙や背表紙を撮像し、それに含まれる文字画像をテキスト化して、書籍のタイトルを取得して、書籍を特定するようにしてもよい。さらに、これに対応して、電子書籍サーバ装置Ｓから、当該書籍に含まれるアノテーションの一覧を、アノテーション処理端末装置ＡＴにおいて表示するようにしてもよい。

(7)上記実施形態では、文字テキストを書籍の内容としたが、絵や図形や写真などを書籍の内容としてもよい。これらの場合、撮像した絵、図形、写真などが電子書籍データと画像として合致するかどうかを判断して、該当箇所を特定すればよい。

(8)上記実施形態では、アノテーション処理端末装置ＡＴから操作部材の動き画像を送信し、電子書籍サーバ装置Ｓにおいてアノテーションデータを生成するようにしている。しかし、操作部材の動きに基づくアノテーションデータの生成をアノテーション処理端末装置ＡＴにて行い、生成したアノテーションデータを電子書籍サーバ装置Ｓに送信するようにしてもよい。

(9)上記実施形態では、電子書籍サーバ装置ＳにおいてステップＳ６３、Ｓ６４、Ｓ６５、Ｓ６６を行うようにしている。しかし、アノテーション処理端末装置ＡＴに電子書籍データが記録されていれば、これら処理を、アノテーション処理端末装置ＡＴにおいて行うようにしてもよい。

(10)上記実施形態では、テキスト化した文字データによって、電子書籍を特定し、さらに、電子書籍内での箇所を特定するようにしている。しかし、電子書籍の特定は他の方法によって行い（たとえば、ユーザが電子書籍ＩＤを入力する）、電子書籍内での箇所の特定を、テキスト化した文字データによって行うようにしてもよい。

(11)この実施形態および上記変形例は、その本質に反しない限り、第２の実施形態にも適用することができる。

２．第２の実施形態
2.1システムの構成
図１５に、この発明の他の実施形態による書籍システムの全体構成を示す。電子書籍サーバ装置Ｓの記録部２７には、電子書籍のデータが記録されている。また、電子書籍データには、それぞれ、電子書籍ＩＤが付されて記録されている。

電子書籍端末装置ＥＴは、たとえば、カメラ、ヘッドマウントディスプレイを搭載した眼鏡型ウエアラブルコンピュータを用いることができる。ユーザの操作により、電子書籍端末装置ＥＴの電子書籍ＩＤ送信手段３は、電子書籍ＩＤを電子書籍サーバ装置Ｓに送信する。

電子書籍サーバ装置Ｓの電子書籍データ送信手段２９は、受け取った電子書籍ＩＤに対応する電子書籍データを記録部２７から読み出して、電子書籍端末装置ＥＴに送信する。電子書籍端末装置ＥＴの電子書籍受信手段５は、これを受信して、電子書籍記録部７に記録する。

撮像部９は、現実の空白書籍（内容文字の印刷されていない書籍）５１を撮像する。頁特定手段２１は、撮像画像に基づいていずれの頁が開かれているかを特定する。たとえば、空白書籍の各頁において頁番号を印刷しておき、これを認識するようにすればよい。

表示手段２３は、電子書籍記録部７から電子書籍データを読み出し、特定した頁に対応する箇所を表示部２５によって表示させ、仮想現実として、空白書籍５１に文字があるようにユーザに認識させる。

ユーザが、空白書籍５１の頁をめくると、頁特定手段２１が新たな頁を認識する。これにより、表示手段２３は、当該新たな頁に対応する箇所を表示部２５によって表示させる。

このようにして、あたかも、空白書籍５１に文字が印刷されているかのように仮想現実を提供することができる。

図１６に、書籍システムのシステム構成を示す。電子書籍端末装置ＥＴは、たとえば、ユーザの眼鏡などに装着されており、無線通信によってサーバ装置Ｓと通信可能である。ユーザは、この電子書籍端末装置ＥＴを装着し、空白書籍５１を見ることで、空白書籍５１の上に文字を見ることができる。

サーバ装置Ｓのハードウエア構成は、図３に示すとおりである。

電子書籍端末装置ＥＴを装着した状態は、図４と同様である。図４においては、アノテーション処理端末装置ＡＴを示しているが、本実施形態による電子書籍端末装置ＥＴも同様である。この実施形態では、眼鏡に電子書籍端末装置ＥＴを取り付けて、ユーザが装着するようにしている。この電子書籍端末装置ＥＴは、ユーザの視線と同方向を撮像するカメラ１７、カメラの反対側（つまり、ユーザの目の側）に設けられたヘッドマウントディスプレイ１６（図示せず）を備えている。ヘッドマウントディスプレイ１６は、ユーザが肉眼で見ている対象に仮想現実としての画像を重ねて表示するものである。

電子書籍端末装置ＥＴのハードウエア構成は、図５に示すものと同様である。ただし、不揮発性メモリ１３には、アノテーション端末プログラム１５に代えて、電子書籍端末プログラム１９が記録されている点が異なる。

2.2電子書籍表示処理
図１７に、電子書籍表示処理のフローチャートを示す。電子書籍端末装置ＥＴのＣＰＵ１０（以下、電子書籍端末装置ＥＴと省略することがある）は、ユーザによる操作部材の動きをカメラ１７で撮像し、動きに対応する入力を受け付ける。また、ヘッドマウントディスプレイ１６に仮想キーボードを表示し、これを操作部材によって選択する動作を行うことで、文字などの入力を行うこともできる。

ユーザは、操作部材を操作して電子書籍端末装置ＥＴに、ユーザＩＤ、パスワードを入力する。これを受けて、電子書籍端末装置ＥＴは、ユーザＩＤ、パスワードを、電子書籍サーバ装置Ｓに送信する（ステップＳ１０１）。

電子書籍サーバ装置Ｓは、ユーザＩＤ，パスワードに基づいて当該ユーザの認証を行う。ユーザ認証ができると、電子書籍サーバ装置Ｓは、当該ユーザが購入済みの電子書籍（およびそのＩＤ）の一覧を送信する（ステップＳ２０１）。なお、この際、既にダウンロード済みの電子書籍は一覧から外すようにしてもよい。

電子書籍端末装置ＥＴは、ヘッドマウントディスプレイ１６に、受信した電子書籍の一覧を表示する（ステップＳ１０２）。ユーザは、操作部材を操作して、一覧の中から電子書籍を選択する。これに応じて、電子書籍端末装置ＥＴは、選択された電子書籍の電子書籍ＩＤを、電子書籍サーバ装置Ｓに送信する（ステップＳ１０３）。

電子書籍サーバ装置Ｓは、この電子書籍ＩＤに対応する電子書籍データを、電子書籍データベース４４から読み出して、電子書籍端末装置ＥＴに送信する（ステップＳ２０２）。電子書籍端末装置ＥＴは、受信した電子書籍データを、不揮発性メモリ１３に記録する（ステップＳ１０４）。

ユーザは、図１８に示す空白書籍５１を見る。これにより、装着されている電子書籍端末装置ＥＴのカメラ１７が、空白書籍５１を撮像する。空白書籍５１は、内容の印刷されていない書籍であり、頁を示す識別記号（図では頁数）５５が印刷されている。

電子書籍端末装置ＥＴは、撮像した空白書籍５１の画像に基づいて、識別記号５５を解析し、現在開かれている箇所の頁数を判断する（ステップＳ１０５）。図１８の例では、６頁および７頁であると認識されることになる。

続いて、電子書籍端末装置ＥＴは、当該頁に対応する電子書籍データの箇所を不揮発性メモリ１３から読み出す。なお、この実施形態では、１頁に表示できる文字数を予め定めている。したがって、所定の頁に対応する箇所を抽出することができる。

電子書籍端末装置ＥＴは、電子書籍データの該当箇所を、ヘッドマウントディスプレイ１６に表示する（ステップＳ１０６）。この際、電子書籍端末装置ＥＴは、カメラ１７による撮像画像を参照して、空白書籍５１の上に文字が印刷されているかのごとくユーザが感じられるよう仮想現実として表示を行う。

ユーザが空白書籍５１の頁をめくると、その頁に対応する箇所が仮想現実として表示される。

なお上記の例においては、電子書籍の表示のみを行っているが、アノテーションについても同様にして表示することができる。

2.3アノテーション付与処理
図１９に、アノテーション付与の際のフローチャートを示す。電子書籍端末装置ＥＴを装着したユーザは、操作部材を現実の書籍の上に置き、メニューモードとするために予め定められたアクションを行う。たとえば、操作部材を上下に振るというアクションを行う。このアクションは、カメラ１７によって撮像され、電子書籍端末装置ＥＴによって、アクションに対応する命令が特定される。

ここでは、操作部材を上下に振るというアクションが、メニュー表示に対応しているものとする。したがって、電子書籍端末装置ＥＴは、ヘッドマウントディスプレイ１６にメニューを表示する。

ユーザは、操作部材を移動させて表示されたメニューの中からアノテーション付与を選択して、操作部材を横方向に移動させて決定を行う。これらメニュー項目の移動や決定は、上記と同じように、予め定められた操作部材のアクションを電子書籍端末装置ＥＴが認識することによって実現している。

アノテーション付与の決定（に対応するアクション）により、電子書籍端末装置ＥＴは、アノテーション付与モードとなる。

続いて、ユーザは、空白書籍５１の上でマーカを付与したい箇所に対し、操作部材を移動させる。この動作は、書籍の上に蛍光マーカを引く動作と同様の動作となるので、ユーザにとって違和感が少ない。

電子書籍端末装置ＥＴは、ヘッドマウントディスプレイ１６にて、操作部材によってなぞられた箇所に、マーカが引かれたかのように仮想現実を表示する（ステップＳ１１２）。

さらに、電子書籍端末装置ＥＴは、マーカの引かれた部分が、電子書籍データのいずれの部分にあたるかを判断する。当該電子書籍データの箇所に対応づけて、アノテーションデータを生成し、ユーザＩＤを付して、電子書籍サーバ装置Ｓに送信する（ステップＳ１１３）。

これを受けた電子書籍サーバ装置Ｓは、アノテーションデータを電子書籍データベース４４に記録する（ステップＳ２１１）。

1.4その他
(1)上記実施形態では、電子書籍端末装置ＥＴは、空白書籍５１の識別記号５５を読み取って、表示すべき対象箇所を特定するようにしている。しかし、空白書籍５１の各頁の識別符号５５を解析せず（あるいは、識別符号５５を印刷せず）、電子書籍サーバ装置Ｓに記録されている既読頁情報に基づいて、当該既読頁を対象箇所として表示するようにしてもよい。購入後初めて開く本の場合には、最初のページを表示する。また、頁がめくられたこと（戻されたこと）を撮像画像から判断し、次の頁（前の頁）に対応する箇所を表示するようにする。

また、空白書籍５１を用いることなく、机の上などに文字を仮想現実として表示するようにしてもよい。この場合、頁めくりや頁戻しは、操作部材のアクションによって行うようにすればよい。

(2)上記実施形態では、電子書籍データを電子書籍サーバ装置Ｓから電子書籍端末装置ＥＴにダウンロードして閲覧する方式を説明した。しかし、電子書籍端末装置ＥＴから電子書籍サーバ装置Ｓに対して何頁を表示すべきかを送信し、これを受けて、電子書籍サーバ装置Ｓから該当箇所の電子書籍データを送信するようにしてもよい。

(3)この実施形態および上記変形例は、その本質に反しない限り、第１の実施形態にも適用することができる。

Claims (12)

1. 電子書籍サーバ装置とアノテーション処理端末装置とを備えた書籍システムであって、
   前記電子書籍サーバ装置は、
   現実の書籍に対応する電子書籍を記録するとともに、当該電子書籍の該当箇所情報が付されたアノテーションを記録する記録部と、
   現実の書籍を撮像した撮像情報をアノテーション処理端末装置から受けて、当該撮像情報に基づいて、撮像された現実の書籍に対応する電子書籍を特定するとともに、撮像箇所が電子書籍のいずれの箇所に対応するかを特定する書籍箇所特定手段と、
   前記記録部を参照し、書籍箇所特定手段によって特定された電子書籍の該当箇所とともに、当該電子書籍の箇所に関連づけられたアノテーションをアノテーション処理端末装置に送信するアノテーション送信手段とを備え、
   前記アノテーション処理端末装置は、
   現実の書籍を撮像するための撮像部と、
   撮像された現実の書籍の撮像情報を前記電子書籍サーバ装置に送信する撮像情報送信手段と、
   電子書籍の箇所に関連づけられたアノテーションを、前記電子書籍サーバ装置から受信し、撮像部による撮像情報を参照して、当該箇所に対応する現実の書籍の箇所に、当該アノテーションを仮想現実として表示部によって表示させるためのアノテーション表示手段と、
   を備えた書籍システム。
2. 請求項１の書籍システムにおいて、さらに電子書籍端末装置を備え、
   前記電子書籍端末装置は、
   前記電子書籍サーバ装置から電子書籍およびアノテーションを受信する受信手段と、
   受信した電子書籍およびアノテーションを電子書籍端末装置の表示部に表示する表示手段と、
   表示された電子書籍に対して、電子書籍端末装置の入力部からのアノテーション操作を受け付けるアノテーション操作手段と、
   前記アノテーション操作の内容を、電子書籍サーバ装置の記録部に記録するために、電子書籍サーバ装置に送信するアノテーション操作送信手段と、
   を備えたことを特徴とする書籍システム。
3. 現実の書籍に対応する電子書籍を記録するとともに、当該電子書籍の該当箇所情報が付されたアノテーションを記録する記録部と、
   現実の書籍を撮像した撮像情報をアノテーション処理端末装置から受けて、当該撮像情報に基づいて、撮像された現実の書籍に対応する電子書籍を特定するとともに、撮像箇所が電子書籍のいずれの箇所に対応するかを特定する書籍箇所特定手段と、
   前記記録部を参照し、書籍箇所特定手段によって特定された電子書籍の該当箇所とともに、当該電子書籍の箇所に関連づけられたアノテーションをアノテーション処理端末装置に送信するアノテーション送信手段と、
   を備えた電子書籍サーバ装置。
4. 請求項１〜３のいずれかのシステムまたは装置において、
   前記電子書籍サーバ装置の記録部に記録されたアノテーションには、当該アノテーションを付したユーザのユーザＩＤが対応付けて記録されており、
   前記電子書籍サーバ装置のアノテーション送信手段は、前記アノテーション処理端末装置またはこれに関連づけられた携帯端末装置から受信したユーザＩＤに基づいて、当該ユーザＩＤに対応するアノテーションを選択して送信することを特徴とするシステムまたは装置。
5. 請求項１〜４のいずれかのシステムまたは装置において、
   前記電子書籍サーバ装置は、
   現実の書籍に関連づけられた操作部の動きを撮像した画像をアノテーション処理端末装置から受けて、当該操作部の動きに基づいて、電子書籍の対応する箇所にアノテーションを生成して記録するアノテーション記録手段をさらに備えたことを特徴とするシステムまたは装置。
6. 現実の書籍を撮像するための撮像部と、
   撮像された現実の書籍の撮像情報を電子書籍サーバ装置に送信する撮像情報送信手段と、
   前記現実の書籍に対応する電子書籍の箇所に関連づけられたアノテーションを、前記電子書籍サーバ装置から受信し、撮像部による撮像画像を参照して、当該箇所に対応する現実の書籍の箇所に、当該アノテーションを仮想現実として表示部によって表示させるためのアノテーション表示手段と、
   を備えたアノテーション処理端末装置。
7. 請求項６のアノテーション処理端末装置において、
   前記撮像部は、現実の書籍に関連づけられた操作部の動きを撮像し、
   前記撮像部によって撮像された、当該現実の書籍に関連づけられた操作部の動きに基づいて、電子書籍の対応する箇所にアノテーションを生成して前記電子書籍サーバ装置に送信するアノテーション登録手段と、
   をさらに備えるアノテーション処理端末装置。
8. アノテーション処理端末装置を、コンピュータによって実現するためのアノテーション処理端末プログラムであって、コンピュータを、
   撮像された現実の書籍の撮像情報を電子書籍サーバ装置に送信する撮像情報送信手段と、
   前記現実の書籍に対応する電子書籍の箇所に関連づけられたアノテーションを、前記電子書籍サーバ装置から受信し、撮像部による現実の書籍の撮像情報を参照して、当該箇所に対応する現実の書籍の箇所に、当該アノテーションを仮想現実として表示部によって表示させるためのアノテーション表示手段として機能させるためのアノテーション処理端末プログラム。
9. 請求項８のアノテーション処理端末プログラムにおいて、コンピュータをさらに、
   前記撮像部によって撮像された、当該現実の書籍に関連づけられた操作部の動きに基づいて、電子書籍の対応する箇所にアノテーションを生成して前記電子書籍サーバ装置に送信するアノテーション登録手段として機能させるためのアノテーション処理端末プログラム。
10. 電子書籍サーバ装置と電子書籍端末装置とを備えた書籍システムであって、
    前記電子書籍サーバ装置は、
    電子書籍を記録する記録部と、
    電子書籍ＩＤを電子書籍端末装置から受けて、当該電子書籍ＩＤに対応する電子書籍を電子書籍端末装置に送信する送信手段とを備え、
    前記電子書籍端末装置は、
    前記電子書籍サーバ装置に対して、表示したい電子書籍の電子書籍ＩＤを送信する電子書籍ＩＤ送信手段と、
    前記電子書籍サーバ装置から、前記電子書籍ＩＤに対応する電子書籍を受信する電子書籍受信手段と、
    電子書籍を表示するための空白領域を有し各頁を示す表示が付された空白書籍を撮像するための撮像部と、
    前記撮像された空白書籍の撮像画像に基づいて、前記空白書籍の頁を特定する頁特定手段と、
    撮像部による撮像情報を参照して、前記空白書籍の前記空白領域に、電子書籍の特定した頁を仮想現実として表示部によって表示させるための表示手段と、
    を備えた書籍システム。
11. 電子書籍を記録する電子書籍記録部と、
    電子書籍を表示するための空白領域を有し各頁を示す表示が付された空白書籍を撮像するための撮像部と、
    前記撮像された空白書籍の撮像画像に基づいて、前記空白書籍の頁を特定する頁特定手段と、
    撮像部による撮像情報を参照して、前記空白書籍の前記空白領域に、電子書籍の特定した頁を仮想現実として表示部によって表示させるための表示手段と、
    を備えた電子書籍端末装置。
12. コンピュータによって電子書籍端末装置を実現するための電子書籍端末プログラムであって、
    電子書籍を表示するための空白領域を有し各頁を示す表示が付された空白書を撮像した籍撮像画像に基づいて、前記空白書籍の頁を特定する頁特定手段と、
    前記特定した空白書籍の頁に対応する電子書籍の頁を、電子書籍を記録する電子書籍記録部から取得し、撮像部による撮像情報を参照して、前記空白書籍の前記空白領域に、前記電子書籍の特定した頁を仮想現実として表示部によって表示させるための表示手段と、
    を備えた電子書籍端末プログラム。