以下、本発明による読書支援システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。また、本実施の形態において説明する各情報の形式、内容などは、あくまで例示であり、各情報の持つ意味を示すことができれば、形式、内容などは問わない。
(実施の形態1)
本実施の形態において、書籍のページごとに対応するARコンテンツを、サーバ装置にて管理し、端末装置から送信され、受信した書籍のページの画像に対応するARコンテンツを取得し、当該取得したARコンテンツを端末装置にて出力する読書支援システム1について説明する。
ここで、ARコンテンツとは、いわゆるAR(Augmented Reality;拡張現実)を実現するためのコンテンツである。ARコンテンツは、通常、いわゆるストリームコンテンツであるが、ストリームコンテンツでなくてもよい。ストリームコンテンツとは、時間の流れと共に変化するコンテンツである。ストリームコンテンツは、例えば、動画や、映像などである。また、ストリームコンテンツではないコンテンツは、例えば、画像や、写真、文字などである。また、ARコンテンツは、いわゆる画面(ディスプレイ)に表示できるものであればよい。また、ARコンテンツには、通常、楽曲や、音声は含まないが、含むとしてもよい。
図1は、本実施の形態における読書支援システム1の概念図である。図1において、端末装置11と、サーバ装置12とは、ネットワーク13を介して接続されている。端末装置11は、例えば、スマートフォンや携帯電話などの携帯端末や、パソコンなどである。当該パソコンは、例えば、デスクトップ型や、ノート型、タブレット型などであり、形態は、問わない。また、端末装置11は、通常、いわゆるカメラを備える。また、端末装置11は、通常、いわゆる画面(ディスプレイ)を備える。また、サーバ装置12は、例えば、端末装置11に提供するARコンテンツを、書籍のページごとに管理するためのサーバである。また、ネットワーク13は、有線または無線の通信回線であり、例えば、インターネットやイントラネット、LAN(Local Area Network)などである。
図2は、本実施の形態における端末装置11のブロック図である。端末装置11は、端末識別子格納部111、端末撮影部112、端末関連情報取得部113、端末送信部114、端末受信部115、端末出力部116、端末通知部117を備える。また、端末関連情報取得部113は、端末動的情報取得手段1131、端末静的情報取得手段1132を備える。
また、図3は、本実施の形態におけるサーバ装置12のブロック図である。サーバ装置12は、ARコンテンツ管理情報格納部121、閲覧ページ管理情報格納部122、受信部123、ページ識別子取得部124、閲覧ページ管理情報蓄積部125、閲覧ページ識別子取得部126、ARコンテンツ取得部127、送信部128を備える。また、閲覧ページ識別子取得部126は、補間ページ識別子取得条件格納手段1261、閲覧ページ識別子取得手段1262、補間ページ識別子取得手段1263を備える。
端末識別子格納部111には、端末識別子が格納される。端末識別子とは、端末装置11を識別するものである。また、端末識別子は、例えば、IPアドレスや、MACアドレスなどである。また、端末識別子は、例えば、端末装置11を使用しているユーザを識別するユーザ識別子であってもよい。ユーザ識別子は、通常、任意の文字列である。当該文字列が有する文字の種類は、問わない。
端末撮影部112は、書籍が有するページを撮影し、ページ画像を取得する。ページ画像とは、書籍が有するページの画像である。また、ページ画像は、例えば、2以上の画像を有する映像であってもよい。また、ページ画像は、ページ全体の画像であってもよいし、ページの一部の画像であってもよい。なお、ページ画像のデータ形式や、データ構造などは、問わない。また、以下、「書籍が有するページ」を、適宜、「書籍中のページ」とする。
また、書籍は、通常、非電子の書籍である。つまり、書籍は、何らかの材料で出来ているものであればよい。当該素材は、通常、紙である。また、当該素材は、例えば、プラスチックや、金属などであってもよい。また、書籍の種類は、問わない。書籍の種類は、例えば、雑誌や、絵本、小説などである。また、書籍は、挿絵が存在することが好適である。
また、端末撮影部112は、通常、CMOSやCCDなどのイメージセンサ(固体撮像素子)や、イメージセンサを用いたカメラ(デジタルスチルカメラ、デジタルビデオカメラ)などから、ページ画像を取得する。また、この場合、端末撮影部112は、例えば、これらの装置を有していてもよいし、これらの装置で実現され得てもよい。また、端末撮影部112の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。
また、端末撮影部112は、通常、上記イメージセンサやカメラなどの前方に、ユーザが書籍を配置することにより、ページ画像を取得する。また、当該前方に書籍が配置されていない場合、端末撮影部112は、通常、前方の対象物を撮影し、当該対象物の画像を取得する。また、端末撮影部112は、通常、常に前方の対象物を撮影する。また、端末撮影部112は、例えば、ユーザからなどの指示に応じて前方の対象物を撮影してもよい。また、端末撮影部112が撮影により取得した画像などは、通常、後述の端末出力部116により、端末装置11が備える画面に出力される。
端末関連情報取得部113は、端末関連情報を取得する。端末関連情報とは、端末装置11に関する情報である。また、端末関連情報は、例えば、端末動的情報や、端末静的情報などである。端末動的情報とは、端末装置11に関する動的な情報である。また、端末静的情報とは、端末装置11に関する静的な情報である。
端末動的情報は、端末装置11に関する情報のうち、動的に変化するものである。端末動的情報は、例えば、現在位置や、現在時刻、移動速度、加速度、周囲の明るさなどを示す情報である。現在位置は、通常、経緯度である。また、現在位置は、例えば、地図上の座標であってもよい。また、端末静的情報は、端末装置11に関する情報のうち、動的に変化しないものである。端末静的情報は、例えば、端末装置11が備える画面のサイズ(いわゆる解像度)や、3D表示の可否、音声再生機能の有無などを示す情報である。また、端末関連情報取得部113は、通常、後述の各手段により、端末関連情報を取得する。
端末動的情報取得手段1131は、端末動的情報を取得する。例えば、現在位置を示す現在位置情報を取得する場合、端末動的情報取得手段1131は、例えば、衛星航法システム(GPS受信機など)や、移動体通信用の基地局から位置情報を受信する装置などから、現在位置情報を取得する。この場合、端末動的情報取得手段1131は、例えば、これらの装置を有していてもよいし、これらの装置で実現され得てもよい。
また、例えば、現在時刻を示す現在時刻情報を取得する場合、端末動的情報取得手段1131は、例えば、いわゆる時計や、標準電波を受信する装置などから、現在時刻情報を取得する。この場合、端末動的情報取得手段1131は、例えば、これらの装置を有していてもよいし、これらの装置で実現され得てもよい。
また、例えば、移動速度を示す移動速度情報を取得する場合、端末動的情報取得手段1131は、例えば、速度センサや、速度計、これらの装置から取得した情報を表示する装置などから、移動速度情報を取得する。この場合、端末動的情報取得手段1131は、例えば、これらの装置を有していてもよいし、これらの装置で実現され得てもよい。
また、例えば、加速度を示す加速度情報を取得する場合、端末動的情報取得手段1131は、例えば、加速度センサや、加速度計、これらの装置から取得した情報を表示する装置などから、加速度情報を取得する。この場合、端末動的情報取得手段1131は、例えば、これらの装置を有していてもよいし、これらの装置で実現され得てもよい。
また、例えば、周囲の明るさを示す照度情報を取得する場合、端末動的情報取得手段1131は、例えば、照度センサや、照度計、これらの装置から取得した情報を表示する装置などから、照度情報を取得する。この場合、端末動的情報取得手段1131は、例えば、これらの装置を有していてもよいし、これらの装置で実現され得てもよい。
また、端末動的情報取得手段1131の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。
端末静的情報取得手段1132は、端末静的情報を取得する。画面のサイズや、3D表示の可否などを示す端末静的情報は、通常、所定の記憶領域または任意の記憶領域に格納されている。従って、端末静的情報取得手段1132は、通常、所定の記憶領域または所定の記憶領域から、端末静的情報を取得する。
端末送信部114は、端末撮影部112が取得したページ画像を、サーバ装置12に送信する。端末送信部114は、通常、端末撮影部112がページ画像を取得するたびに、当該ページ画像を、サーバ装置12に送信する。また、端末送信部114は、例えば、所定のタイミングごとに、当該ページ画像を送信してもよい。所定のタイミングとは、例えば、ページ画像の取得の回数や、時間、ページめくりなどである。
また、例えば、端末関連情報取得部113が端末関連情報を取得した場合、端末送信部114は、通常、端末撮影部112が取得したページ画像と、端末関連情報取得部113が取得した端末関連情報とを、サーバ装置12に送信する。また、端末送信部114は、通常、端末識別子格納部111に格納されている端末識別子も、サーバ装置12に送信する。また、2種類以上の情報を送信する場合、端末送信部114は、通常、当該2種類以上の情報を対応付けて、サーバ装置12に送信する。また、この場合、端末送信部114は、当該2種類以上の情報を、別々にサーバ装置12に送信してもよい。
また、例えば、端末送信部114は、後述の端末受信部115がARコンテンツを受信し、後述の端末出力部116が当該ARコンテンツを出力している間は、端末撮影部112が取得したページ画像を、サーバ装置12に送信しない、としてもよい。
端末受信部115は、ARコンテンツを、サーバ装置12から受信する。当該ARコンテンツは、端末送信部114が送信したページ画像に対応するARコンテンツである。また、端末受信部115は、通常、端末送信部114によるページ画像の送信に対応して、ARコンテンツを受信する。
端末出力部116は、端末受信部115が受信したARコンテンツを出力する。出力とは、ディスプレイへの表示、プロジェクターを用いた投影、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。なお、送信や蓄積、処理結果の引渡しについては、出力対象が最終的にユーザに提示されるものとする。
また、端末出力部116は、端末撮影部112が取得したページ画像を出力する。従って、端末出力部116は、通常、当該ページ画像を出力しながら、端末受信部115が受信したARコンテンツを出力する。つまり、端末出力部116は、出力しているページ画像に重ねて、ARコンテンツである画像や動画などを出力する。また、ARコンテンツがストリームコンテンツである場合、当該ストリームコンテンツを出力することとは、通常、当該ストリームコンテンツを再生することと同義である。
また、端末出力部116は、例えば、ストリームコンテンツの再生が完了した場合に、その旨を、後述の端末通知部117に通知してもよい。当該通知とは、ストリームコンテンツの再生が完了したことを示す情報を送信することである。
端末通知部117は、端末出力部116によるARコンテンツの出力が完了した旨を通知する。当該通知とは、例えば、画面に出力することや、音を出力すること、端末装置11を振動させること、通知ランプなどを点滅させることなどである。また、当該ARコンテンツは、通常、ストリームコンテンツである。つまり、当該「出力が完了した」とは、ストリームコンテンツの再生が完了したことや、ページをめくることの指示などを意味する。
また、端末通知部117は、通常、端末出力部116によるストリームコンテンツの再生が完了したか否かを判断する。そして、端末出力部116によるストリームコンテンツの再生が完了した場合に、端末通知部117は、端末出力部116によるストリームコンテンツの再生が完了した旨を通知する。例えば、端末出力部116が、ストリームコンテンツを再生している状態から、ストリームコンテンツを再生していない状態となった場合に、端末通知部117は、端末出力部116によるストリームコンテンツの再生が完了したと判断する。また、例えば、端末出力部116からストリームコンテンツの再生が完了した旨を示す情報を受信した場合に、端末通知部117は、端末出力部116によるストリームコンテンツの再生が完了したと判断する。
ARコンテンツ管理情報格納部121には、1以上のARコンテンツ管理情報が格納される。ARコンテンツ管理情報とは、書籍が有するページを識別するページ識別子と、当該ページに対応するARコンテンツとを有する情報である。
ページ識別子は、通常、ページ番号である。また、ページ識別子は、例えば、任意の文字列や、任意の記号列などであってもよい。また、ページ識別子は、ページが識別できるものであれば、その形式や内容などは、問わない。また、一のページ識別子は、通常、一のページを識別する。また、ページ識別子は、ページ識別子に関する条件であるページ条件であってもよい。
また、ARコンテンツは、ARコンテンツを識別するARコンテンツ識別子であってもよい。ARコンテンツ識別子は、ARコンテンツが識別できるものであれば、その形式や内容などは、問わない。また、ARコンテンツ管理情報がARコンテンツ識別子を有する場合、当該ARコンテンツ識別子により識別されるARコンテンツは、通常、ARコンテンツ管理情報格納部121に格納されている。
また、ARコンテンツ管理情報は、例えば、端末関連条件や、閲覧ページ条件、書籍識別子などを有していてもよい。端末関連条件とは、端末関連情報に関する条件である。端末関連条件は、例えば、現在位置が所定の範囲内であることや、現在時刻が所定の範囲内であること、照度が所定の閾値以下であることなどである。また、閲覧ページ条件とは、ユーザが閲覧したページに関する条件である。閲覧ページ条件は、通常、ページ識別子に関する条件である。閲覧ページ条件は、例えば、ユーザが所定のページを閲覧したことや、ユーザが所定の閾値以上のページ数を閲覧したことなどである。また、書籍識別子とは、書籍を識別する情報である。書籍識別子は、例えば、書籍のタイトルや、任意の文字列、任意の記号列などである。また、書籍識別子は、書籍が識別できるものであれば、その形式や内容などは、問わない。
閲覧ページ管理情報格納部122には、1以上の閲覧ページ管理情報が格納される。閲覧ページ管理情報とは、端末識別子と、閲覧ページ識別子とを有する情報である。また、閲覧ページ識別子とは、ユーザが閲覧したページを識別するページ識別子である。また、閲覧ページ管理情報において、一の端末識別子は、通常、1以上の閲覧ページ識別子と対応付いている。
また、閲覧ページ管理情報は、例えば、閲覧書籍識別子を有していてもよい。閲覧書籍識別子とは、ユーザが閲覧した書籍を識別する書籍識別子である。この場合、閲覧ページ管理情報において、一の端末識別子は、通常、1以上の閲覧書籍識別子と対応付いている。また、当該1以上の各閲覧書籍識別子は、通常、1以上の閲覧ページ識別子と対応付いている。
受信部123は、ページ画像を、端末装置11から受信する。受信部123は、通常、ページ画像に対応付いている情報と共に、ページ画像を受信する。当該対応付いている情報とは、例えば、端末関連情報や、端末識別子などである。
ページ識別子取得部124は、受信部123が受信したページ画像に対応するページ識別子を取得する。当該ページ画像に対応するページ識別子とは、通常、当該ページ画像が示すページを識別するページ識別子である。また、ページ識別子取得部124は、通常、当該ページ画像を用いて、当該ページ識別子を取得する。
ページ識別子取得部124は、例えば、ページ特定用画像と、ページ識別子との対応表を保持している。ページ特定用画像とは、例えば、ページ全体画像や、ページ内の1以上の各コンテンツの画像であるページコンテンツ画像などである。そして、ページ識別子取得部124は、受信部123が受信したページ画像が、上記対応表が有するページ特定用画像のいずれに合致するか否かを判断する。そして、ページ識別子取得部124は、合致すると判断したページ特定用ページ画像に対応付いているページ識別子を取得する。
なお、受信部123が受信したページ画像が、ページ特定用画像に合致すると判断する場合は、例えば、以下の様な場合である。
(1)ページ画像と、ページ特定用画像とが、一致する場合
(2)ページ画像と、ページ特定用画像の一部とが、一致する場合
(3)ページ画像の一部と、ページ特定用画像とが、一致する場合
(4)ページ画像の一部と、ページ特定用画像の一部とが、一致する場合
また、上記(1)〜(4)における一致するか否かの判断は、通常、パターンマッチングなどの画像認識により行う。なお、画像認識は、公知の技術であるので、詳細な説明を省略する。
また、ページ識別子取得部124は、受信部123が受信したページ画像が示すページを識別するページ識別子を取得できればよく、その方法や手順などは、問わない。また、ページ識別子取得部124は、例えば、上記と同様の方法や手順などにより、ページ画像が示すページを有する書籍を識別する書籍識別子を取得してもよい。
閲覧ページ管理情報蓄積部125は、端末識別子と、ページ識別子とを対応付け、閲覧ページ管理情報格納部122に蓄積する。当該端末識別子は、通常、受信部123が受信した端末識別子である。また、当該ページ識別子は、通常、ページ識別子取得部124が取得したページ識別子である。これは、つまり、ユーザが閲覧したページの履歴を蓄積することである。また、これにより閲覧ページ管理情報格納部122に蓄積されたページ識別子は、閲覧ページ識別子となる。また、例えば、ページ識別子取得部124が書籍識別子を取得した場合、閲覧ページ管理情報蓄積部125は、当該書籍識別子も対応付けて、端末識別子を蓄積してもよい。
閲覧ページ識別子取得部126は、1以上の閲覧ページ識別子を、閲覧ページ管理情報格納部122から取得する。当該1以上の閲覧ページ識別子は、通常、受信部123が受信した端末識別子に対応するものである。また、閲覧ページ識別子取得部126は、通常、後述の各手段により、1以上の閲覧ページ識別子を取得する。
補間ページ識別子取得条件格納手段1261には、1以上の補間ページ識別子取得条件が格納される。補間ページ識別子取得条件とは、補間ページ識別子を取得するか否かを判断するための条件である。また、補間ページ識別子とは、2以上の各閲覧ページ識別子間を補間するページ識別子である。言い換えると、補間ページ識別子とは、2以上の閲覧ページ識別子で識別される2以上の各ページ間のページを識別するページ識別子である。
例えば、閲覧ページ識別子が、「1」と「5」であるとする。この場合、補間ページ識別子は、当該「1」から「5」までのページを識別する「2」、「3」、「4」である。また、例えば、閲覧ページ識別子が、「1」と「5」と「10」であるとする。この場合、補間ページ識別子は、当該「1」から「5」までのページと、「5」から「10」までのページを識別する「2」、「3」、「4」、「6」、「7」、「8」、「9」である。
また、補間ページ識別子取得条件は、通常、閲覧ページ識別子に関する条件である。補間ページ識別子取得条件は、例えば、閲覧ページ識別子の数が所定の閾値以上であることや、2つの閲覧ページ識別子の差が所定の閾値以下であることなどである。
閲覧ページ識別子取得手段1262は、端末識別子に対応する1または2以上の閲覧ページ識別子を、閲覧ページ管理情報格納部122から取得する。当該端末識別子は、受信部123が受信した端末識別子である。
閲覧ページ識別子取得手段1262は、通常、閲覧ページ管理情報格納部122に格納されている1以上の閲覧ページ管理情報のうち、どの閲覧ページ管理情報が、受信部123が受信した端末識別子と同一の端末識別子を有するか否かを判断する。そして、閲覧ページ識別子取得手段1262は、当該有すると判断した閲覧ページ管理情報が有する閲覧ページ識別子を取得する。
補間ページ識別子取得手段1263は、補間ページ識別子を取得する。閲覧ページ識別子を補間できるのは、通常、閲覧ページ識別子が2以上の場合である。従って、補間ページ識別子取得手段1263は、通常、閲覧ページ識別子取得手段1262が2以上の閲覧ページ識別子を取得した場合に、当該2以上の各閲覧ページ識別子間を補間するページ識別子である補間ページ識別子を取得する。
また、補間ページ識別子取得手段1263は、例えば、閲覧ページ識別子取得手段1262が取得した1または2以上の閲覧ページ識別子が、補間ページ識別子取得条件格納手段1261に格納されている1以上の補間ページ識別子取得条件のいずれかに合致する場合に、補間ページ識別子を取得してもよい。
例えば、閲覧ページ識別子が「1」と「5」と「10」であるとする。また、補間ページ識別子取得条件が「ページ数≧2」であるとする。当該補間ページ識別子取得条件は、閲覧ページ数(閲覧ページ識別子の数)が2以上であることを意味する。この場合、補間ページ識別子取得手段1263は、当該閲覧ページ識別子が、当該補間ページ識別子取得条件に合致すると判断する。
また、例えば、閲覧ページ識別子が「5」と「10」であるとする。また、補間ページ識別子取得条件が「ページ差≦10」であるとする。当該補間ページ識別子取得条件は、閲覧ページ識別子の差が10以下であることを意味する。この場合、補間ページ識別子取得手段1263は、当該閲覧ページ識別子が、当該補間ページ識別子取得条件に合致すると判断する。
なお、例えば、補間ページ識別子取得手段1263が補間ページ識別子を取得した場合、当該補間ページ識別子と、閲覧ページ識別子取得手段1262が取得した閲覧ページ識別子とが、閲覧ページ識別子取得部126が取得した閲覧ページ識別子となる。
ARコンテンツ取得部127は、ページ識別子に対応するARコンテンツを、ARコンテンツ管理情報格納部121から取得する。当該ページ識別子は、ページ識別子取得部124が取得したページ識別子である。これは、言い換えると、受信部123が受信したページ画像に対応するARコンテンツを取得することである。この場合、ARコンテンツ取得部127は、通常、ARコンテンツ管理情報格納部121に格納されている1以上のARコンテンツ管理情報のうち、どのARコンテンツ管理情報が、ページ識別子取得部124が取得したページ識別子と同一のページ識別子を有するか否かを判断する。そして、ARコンテンツ取得部127は、当該有すると判断したARコンテンツ管理情報が有するARコンテンツを取得する。なお、上記において、ARコンテンツ取得部127は、ページ識別子取得部124が取得したページ識別子に対応するARコンテンツを、ARコンテンツ管理情報格納部121から取得できればよく、その方法や手順などは、問わない。
例えば、ページ識別子取得部124が取得したページ識別子が「P12」であるとする。また、一のARコンテンツ管理情報が有するページ識別子が「P12」であるとする。この場合、ARコンテンツ取得部127は、当該2つのページ識別子が同一であると判断する。そして、ARコンテンツ取得部127は、当該ARコンテンツ管理情報が有するARコンテンツを取得する。
また、例えば、ARコンテンツ管理情報が端末関連条件を有する場合、ARコンテンツ取得部127は、ページ識別子に対応するARコンテンツであり、端末関連情報が合致する端末関連条件に対応するARコンテンツを、ARコンテンツ管理情報格納部121から取得してもよい。当該端末関連情報は、受信部123が受信した端末関連情報である。
この場合、ARコンテンツ取得部127は、例えば、ARコンテンツ管理情報格納部121に格納されている1以上のARコンテンツ管理情報のうち、どのARコンテンツ管理情報が、ページ識別子取得部124が取得したページ識別子と同一のページ識別子を有するか否かを判断する。次に、ARコンテンツ取得部127は、当該有すると判断した1以上のARコンテンツ管理情報のうち、どのARコンテンツ管理情報が、受信部123が受信した端末関連情報が合致する端末関連条件を有するか否かを判断する。そして、ARコンテンツ取得部127は、当該有すると判断したARコンテンツ管理情報が有するARコンテンツを取得する。
例えば、端末関連情報が、端末の現在位置を示す「(N35°18’,E135°25’)」であるとする。また、一のARコンテンツ管理情報が有する端末関連条件が、現在位置に関する条件「(N35°00’,E135°00’)〜(N36°00’,E136°00’)」であるとする。当該端末関連条件は、現在位置が「N35°00’,E135°00’」と「N36°00’,E136°00’」の2つの位置を対角の頂点とする矩形の範囲内にあることを意味する。この場合、ARコンテンツ取得部127は、当該端末関連情報が、当該端末関連条件に合致すると判断する。
また、例えば、端末関連情報が、端末の画面サイズを示す「540×960」であるとする。また、一のARコンテンツ管理情報が有する端末関連条件が、端末の画面サイズに関する条件「(480×800)〜(720×1280)」であるとする。当該端末関連条件は、端末の画面サイズが「480×800」以上「720×1280」以下であることを意味する。この場合、ARコンテンツ取得部127は、当該端末関連情報が、当該端末関連条件に合致すると判断する。
なお、上記において、ARコンテンツ取得部127は、ページ識別子取得部124が取得したページ識別子に対応するARコンテンツであり、受信部123が受信した端末関連情報が合致する端末関連条件に対応するARコンテンツを、ARコンテンツ管理情報格納部121から取得できればよく、その方法や手順などは、問わない。
また、例えば、ARコンテンツ管理情報が閲覧ページ条件を有する場合、ARコンテンツ取得部127は、ページ識別子に対応するARコンテンツであり、1以上の閲覧ページ識別子が合致する閲覧ページ条件に対応するARコンテンツを、ARコンテンツ管理情報格納部121から取得する。当該1以上の閲覧ページ識別子は、閲覧ページ識別子取得部126が取得した閲覧ページ識別子である。
この場合、ARコンテンツ取得部127は、例えば、ARコンテンツ管理情報格納部121に格納されている1以上のARコンテンツ管理情報のうち、どのARコンテンツ管理情報が、ページ識別子取得部124が取得したページ識別子と同一のページ識別子を有するか否かを判断する。次に、ARコンテンツ取得部127は、当該有すると判断した1以上のARコンテンツ管理情報のうち、どのARコンテンツ管理情報が、閲覧ページ識別子取得部126が取得した1以上の閲覧ページ識別子が合致する閲覧ページ条件を有するか否かを判断する。そして、ARコンテンツ取得部127は、当該有すると判断したARコンテンツ管理情報が有するARコンテンツを取得する。
例えば、閲覧ページ識別子が「P1」、「P2」、「P3」であるとする。また、一のARコンテンツ管理情報が有する閲覧ページ条件が、閲覧したページに関する条件「P1orP3」であるとする。当該閲覧ページ条件は、ユーザが閲覧したページが「P1」または「P3」であることを意味する。この場合、ARコンテンツ取得部127は、当該閲覧ページ識別子が、当該閲覧ページ条件に合致すると判断する。
また、例えば、閲覧ページ識別子が「AA1」、「AB2」、「AC3」であるとする。また、一のARコンテンツ管理情報が有する閲覧ページ条件が、閲覧したページ数に関する条件「1≦ページ数<10」であるとする。当該閲覧ページ条件は、ユーザが閲覧したページ数が1以上10未満であることを意味する。この場合、ARコンテンツ取得部127は、当該閲覧ページ識別子が、当該閲覧ページ条件に合致すると判断する。
なお、上記において、ARコンテンツ取得部127は、ページ識別子取得部124が取得したページ識別子に対応するARコンテンツであり、閲覧ページ識別子取得部126が取得した1以上の閲覧ページ識別子が合致する閲覧ページ条件に対応するARコンテンツを、ARコンテンツ管理情報格納部121から取得できればよく、その方法や手順などは、問わない。
また、ページ識別子取得部124が書籍識別子も取得した場合、ARコンテンツ取得部127は、通常、当該書籍識別子も用いて、当該書籍識別子にも対応するARコンテンツを取得する。また、当該取得の方法や手順などは、上記と同様であるので、説明を省略する。また、ARコンテンツ取得部127は、通常、少なくともページ識別子取得部124が取得したページ識別子を用いて、上記と同様の方法や手順などにより、当該ページ識別子に対応するARコンテンツが取得できればよい。
送信部128は、ARコンテンツ取得部127が取得したARコンテンツを、端末装置11に送信する。
なお、端末識別子格納部111、ARコンテンツ管理情報格納部121、閲覧ページ管理情報格納部122、補間ページ識別子取得条件格納手段1261は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。また、端末識別子格納部111などに所定の情報が記憶される過程は、問わない。例えば、当該所定の情報は、記録媒体や、通信回線、入力デバイスなどを介して端末識別子格納部111などに記憶されてもよい。
また、端末関連情報取得部113、端末動的情報取得手段1131、端末静的情報取得手段1132、ページ識別子取得部124、閲覧ページ管理情報蓄積部125、閲覧ページ識別子取得部126、閲覧ページ識別子取得手段1262、補間ページ識別子取得手段1263、ARコンテンツ取得部127は、通常、MPUやメモリ等から実現され得る。また、端末関連情報取得部113などの処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。なお、端末関連情報取得部113などは、ハードウェア(専用回路)で実現されてもよい。
また、端末送信部114、送信部128は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されてもよい。
また、端末受信部115、受信部123は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されてもよい。
また、端末出力部116は、ディスプレイやスピーカーなどの出力デバイスを含むと考えてもよいし、含まないと考えてもよい。端末出力部116は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイスなどで実現され得る。
また、端末通知部117は、ディスプレイやスピーカーなどの出力デバイスを含むと考えてもよいし、含まないと考えてもよい。端末通知部117は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイスなどで実現され得る。また、端末通知部117は、例えば、推奨振動子などの端末装置11を振動させる装置で実現され得てもよい。
次に、読書支援システム1の全体動作について、フローチャートを用いて説明する。なお、所定の情報におけるi番目の情報は、「情報[i]」と記載するものとする。まず、端末装置11の全体動作について、図4のフローチャートを用いて説明する。
(ステップS401)端末撮影部112は、撮影を開始する。以降、端末撮影部112は、端末装置11の電源がOFFになるまで、または、ユーザからの指示があるまで、撮影を続ける。
(ステップS402)端末出力部116は、端末撮影部112が撮影した結果を出力する。
(ステップS403)端末送信部114は、端末撮影部112がページ画像を取得したか否かを判断する。取得した場合は、ステップS404に進み、そうでない場合は、ステップS403に戻る。
(ステップS404)端末関連情報取得部113は、端末関連情報を取得する。
(ステップS405)端末送信部114は、端末識別子格納部111に格納されている端末識別子を取得する。
(ステップS406)端末送信部114は、ステップS403で取得したページ画像を、ステップS404で取得した端末関連情報と、ステップS405で取得した端末識別子とを対応付け、サーバ装置12に送信する。
(ステップS407)端末出力部116は、端末受信部115がサーバ装置12からARコンテンツを受信したか否かを判断する。受信した場合は、ステップS408に進み、そうでない場合は、ステップS407に戻る。
(ステップS408)端末出力部116は、ステップS407で受信したARコンテンツを出力する。
(ステップS409)端末通知部117は、端末出力部116によるARコンテンツの出力が完了したか否かを判断する。完了した場合は、ステップS410に進み、そうでない場合は、ステップS409に戻る。
(ステップS410)端末通知部117は、ARコンテンツの出力が完了した旨を、ユーザに通知する。
なお、図4のフローチャートにおいて、電源オフや処理終了の割り込みにより処理を終了してもよい。
次に、サーバ装置12の全体動作について、図5のフローチャートを用いて説明する。な、図5のフローチャートにおいて、ARコンテンツ管理情報格納部121には、m個のARコンテンツ管理情報が格納されているものとする。
(ステップS501)ページ識別子取得部124は、受信部123がページ画像を受信したか否かを判断する。受信した場合は、ステップS502に進み、そうでない場合は、ステップS501に戻る。
(ステップS502)ページ識別子取得部124は、ステップS501で受信したページ画像を用いて、当該ページ画像が示すページを識別するページ識別子を取得する。
(ステップS503)ARコンテンツ取得部127は、配列Target[]に、ステップS502で取得したページ識別子をセットする。
(ステップS504)ARコンテンツ取得部127は、ステップS501で受信したページ画像に、端末関連情報が対応付いているか否かを判断する。対応付いている場合は、ステップS505に進み、そうでない場合は、ステップS506に進む。
(ステップS505)ARコンテンツ取得部127は、Target[]に、ステップS501で受信したページ画像に対応付いている端末関連情報を追加する。
(ステップS506)閲覧ページ識別子取得手段1262は、ステップS501で受信したページ画像に、端末識別子が対応付いているか否かを判断する。対応付いている場合は、ステップS507に進み、そうでない場合は、ステップS512に進む。
(ステップS507)閲覧ページ識別子取得手段1262は、ステップS501で受信したページ画像に対応付いている端末識別子に対応する閲覧ページ識別子を、閲覧ページ管理情報格納部122から取得する。
(ステップS508)閲覧ページ管理情報蓄積部125は、ステップS501で受信したページ画像に対応付いている端末識別子と、ステップS502で取得したページ識別子とを対応付け、閲覧ページ管理情報格納部122に蓄積する。
(ステップS509)補間ページ識別子取得手段1263は、ステップS507で取得した閲覧ページ識別子が、補間ページ識別子取得条件格納手段1261に格納されている1以上の補間ページ識別子取得条件のいずれかに合致するか否かを判断する。合致する場合は、ステップS510に進み、そうでない場合は、ステップS511に進む。
(ステップS510)補間ページ識別子取得手段1263は、ステップS507で取得した閲覧ページ識別子を用いて、補間ページ識別子を取得する。
(ステップS511)ARコンテンツ取得部127は、Target[]に、ステップS507およびステップS510で取得した閲覧ページ識別子を追加する。
(ステップS512)ARコンテンツ取得部127は、カウンタiに1をセットする。
(ステップS513)ARコンテンツ取得部127は、Target[]が有する各情報が、ARコンテンツ管理情報[i]が有する各情報や条件などに合致するか否かを判断する。例えば、ARコンテンツ取得部127は、Target[]が有するページ識別子と、ARコンテンツ管理情報[i]が有するページ識別子とが同一であるか否かを判断する。また、例えば、ARコンテンツ取得部127は、Target[]が有する端末関連情報が、ARコンテンツ管理情報[i]が有する端末関連条件に合致するか否かを判断する。そして、合致する場合は、ステップS514に進み、そうでない場合は、ステップS515に進む。
(ステップS514)ARコンテンツ取得部127は、ARコンテンツ管理情報[i]が有するARコンテンツ[i]を取得する。
(ステップS515)ARコンテンツ取得部127は、iがmであるか否かを判断する。mである場合は、ステップS517に進み、そうでない場合は、ステップS516に進む。
(ステップS516)ARコンテンツ取得部127は、iを1インクリメントし、ステップS513に進む。
(ステップS517)送信部128は、ステップS514で取得したARコンテンツを、端末装置11に送信する。
(具体例)
次に、読書支援システム1の動作の具体例について説明する。なお、以下、一度説明した例については、適宜、省略するものとする。
(例1)
本例において、ARコンテンツ管理情報格納部121には、図6に示すコンテンツ管理情報が格納されているものとする。当該コンテンツ管理情報は、レコードを一意に特定するためのID(項目名:ID)と、ページ識別子(項目名:ページ)と、ARコンテンツ識別子(項目名:ARコンテンツ)を有する。また、当該ARコンテンツ識別子で識別されるARコンテンツは、ARコンテンツ管理情報格納部121に格納されているものとする。
まず、ユーザが端末装置11を操作し、図7に示す様に、書籍の上に端末装置11をかざし、端末装置11が備えるカメラ機能を用いて、書籍の撮影を開始したとする。図7において、「11」は、端末装置11である。また、「14」は、書籍である。また、図7において、端末装置11の画面には、カメラのレンズの前方に存在する物体(図7においては書籍)が出力されている。また、図7において、端末装置11の画面に出力されているものは、撮影の結果や、撮影の状況、撮影の様子としてもよい。
次に、端末撮影部112は、ページ画像を取得する。当該ページ画像は、例えば、図7において、端末装置11の画面に出力されている画像であるものとする。そして、端末送信部114は、当該ページ画像をサーバ装置12に送信する。
次に、サーバ装置12の受信部123は、ページ画像を受信する。
次に、ページ識別子取得部124は、受信部123が受信したページ画像を用いて、当該ページ画像が示すページを識別するページ識別子を取得する。ここで、ページ識別子取得部124は、ページ識別子「P10」を取得したものとする。
次に、ARコンテンツ取得部127は、ページ識別子取得部124が取得したページ識別子「P10」が、図6の「ID=012」のページ識別子「P10」と同一であると判断する。そして、ARコンテンツ取得部127は、図6の「ID=012」のARコンテンツ識別子「contents_p10.jpg」で識別されるARコンテンツを、ARコンテンツ管理情報格納部121から取得する。
次に、送信部128は、ARコンテンツ取得部127が取得したARコンテンツを、端末装置11に送信する。
次に、端末装置11の端末受信部115は、ARコンテンツ識別子「contents_p10.jpg」で識別されるARコンテンツを、サーバ装置12から受信する。そして、端末出力部116は、当該ARコンテンツを、端末装置11が備える画面に出力する。このときの様子は、例えば、図8である。図8に示す様に、端末出力部116は、端末撮影部112による撮影の結果に重ねて、端末受信部115が受信したARコンテンツを出力する。
また、例えば、上記において、ページ識別子取得部124が、ページ識別子「P25」を取得したとする。この場合、ARコンテンツ取得部127は、ページ識別子取得部124が取得したページ識別子「P25」が、図6の「ID=015」のページ識別子「P25」と同一であると判断する。そして、ARコンテンツ取得部127は、図6の「ID=015」のARコンテンツ識別子「contents_p25.mov」で識別されるARコンテンツを、ARコンテンツ管理情報格納部121から取得する。
(例2)
本例において、ARコンテンツ管理情報格納部121には、図9に示すコンテンツ管理情報が格納されているものとする。当該コンテンツ管理情報は、レコードを一意に特定するためのID(項目名:ID)と、ページ識別子(項目名:ページ)と、端末関連条件(項目名:端末条件)と、閲覧ページ条件(項目名:閲覧ページ条件)と、ARコンテンツ識別子(項目名:ARコンテンツ)を有する。また、当該ARコンテンツ識別子で識別されるARコンテンツは、ARコンテンツ管理情報格納部121に格納されているものとする。
また、閲覧ページ管理情報蓄積部125が、受信部123が受信したページ画像に対応付いている端末識別子と、ページ識別子取得部124が取得したページ識別子とを対応付け、閲覧ページ管理情報格納部122に蓄積した結果、閲覧ページ管理情報格納部122には、図10に示す閲覧ページ管理情報が格納されているものとする。当該閲覧ページ管理情報は、レコードを一意に特定するためのID(項目名:ID)と、端末識別子(項目名:端末)と、閲覧ページ識別子(項目名:閲覧ページ)とを有する。図10の項目名「閲覧ページ」において、「,」で区切られた各文字列が、閲覧ページ識別子である。
まず、例1と同様に、端末撮影部112がページ画像を取得し、当該ページ画像を端末送信部114がサーバ装置12に送信し、当該ページ画像をサーバ装置の受信部123が受信した結果、ページ識別子取得部124は、受信したページ画像が示すページを識別するページ識別子「P10」を取得したものとする。また、ここで、受信部123が受信したページ画像には、端末装置11の画面サイズを示す端末関連情報「540×960」と、端末識別子「user_tn0012」とが対応付いていたものとする。
次に、閲覧ページ識別子取得部126は、受信部123が受信した端末識別子「user_tn0012」が、図10の「ID=012」の端末識別子「user_tn0012」と同一であると判断する。そして、閲覧ページ識別子取得部126は、図10の「ID=012」の閲覧ページ識別子「P5,P6,P8,P12,P13,P15,P17」を取得する。
次に、ARコンテンツ取得部127は、ページ識別子取得部124が取得したページ識別子「P10」が、図9の「ID=012」のページ識別子「P10」と同一であると判断する。また、ARコンテンツ取得部127は、受信部123が受信した端末関連情報「540×960」が、図10の「ID=011」から「ID=013」の端末関連条件「(480×720)≦画面サイズ≦(720×1280)」に合致すると判断する。また、また、ARコンテンツ取得部127は、閲覧ページ識別子取得部126が取得した閲覧ページ識別子「P5,P6,P8,P12,P13,P15,P17」が、図9の「ID=012」の閲覧ページ条件「5≦ページ数<10」に合致すると判断する。
以上より、ARコンテンツ取得部127は、図9の「ID=012」のARコンテンツ識別子「contents_p10.jpg」で識別されるARコンテンツを、ARコンテンツ管理情報格納部121から取得する。
また、例えば、上記において、ページ識別子取得部124が、ページ識別子「P25」を取得したとする。受信部123が受信したページ画像には、端末装置11の現在位置を示す端末関連情報「N35°45’,E135°35’」と、端末識別子「user_tn0015」とが対応付いていたとする。
上記の場合、まず、閲覧ページ識別子取得部126は、受信部123が受信した端末識別子「user_tn0015」が、図10の「ID=015」の端末識別子「user_tn0015」と同一であると判断する。そして、閲覧ページ識別子取得部126は、図10の「ID=015」の閲覧ページ識別子「P22,P24」を取得する。
次に、ARコンテンツ取得部127は、ページ識別子取得部124が取得したページ識別子「P25」が、図9の「ID=015」のページ識別子「P25」と同一であると判断する。また、ARコンテンツ取得部127は、受信部123が受信した端末関連情報「N35°45’,E135°35’」が、図9の「ID=015」の端末関連条件「(N35°30’,E135°30’)≦現在位置<(N36°00’,E136°00’)」に合致すると判断する。また、また、ARコンテンツ取得部127は、閲覧ページ識別子取得部126が取得した閲覧ページ識別子「P22,P24」が、図9の「ID=015」の閲覧ページ条件「P25±5ページ」に合致すると判断する。当該閲覧ページ条件は、「P25」で識別されるページから±5ページの範囲内にあるページを閲覧したことを意味する。
以上より、ARコンテンツ取得部127は、図9の「ID=015」のARコンテンツ識別子「contents_p25.mov」で識別されるARコンテンツを、ARコンテンツ管理情報格納部121から取得する。
(例3)
本例において、補間ページ識別子取得条件格納手段1261には、図11に示す補間ページ識別子取得条件が格納されているものとする。当該補間ページ識別子取得条件(項目名:取得条件)には、レコードを一意に特定するためのID(項目名:ID)が対応付いている。
まず、例2と同様に、閲覧ページ識別子取得手段1262が、図10の「ID=015」の閲覧ページ識別子「P22,P24」を取得したとする。
次に、補間ページ識別子取得手段1263は、閲覧ページ識別子「P22,P24」が、図11の「ID=011」の補間ページ識別子取得条件「1≦ページ数<5」に合致すると判断する。そして、補間ページ識別子取得手段1263は、閲覧ページ識別子「P22,P24」を保管する補間ページ識別子「P23」を取得する。ここで、当該閲覧ページ識別子「P22,P24」と、当該補間ページ識別子「P23」とが、閲覧ページ識別子取得部126が取得した閲覧ページ識別子となる。
以上、本実施の形態による読書支援システム1によれば、書籍のページごとにARコンテンツを管理することができる。これにより、ユーザが閲覧しているページに応じてARコンテンツを提供することができる。また、これにより、書籍(ページ)の内容を補完したり、理解を深めたり、付加価値を与えたりすることなど、読書の支援を行うことができる。また、これにより、書籍を購入した後でも、書籍の内容をカスタマイズすることができる。また、例えば、書籍の販売を促進することができる。
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されてもよいことは言うまでもない。
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよいし、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよいし、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
また、上記各実施の形態における端末装置を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、非電子の書籍中のページを撮影し、当該ページの画像であるページ画像を取得する端末撮影部と、前記端末撮影部が取得したページ画像を送信する端末送信部と、前記端末送信部が送信したページ画像に対応するARコンテンツを受信する端末受信部と、前記端末受信部が受信したARコンテンツを出力する端末出力部として機能させるためのプログラムである。
また、上記各実施の形態におけるサーバ装置を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、非電子の書籍中のページを識別するページ識別子と、当該ページに対応するARコンテンツとを有する1以上のARコンテンツ管理情報が格納されるARコンテンツ管理情報格納部にアクセス可能なコンピュータを、非電子の書籍中のページの画像であるページ画像を受信する受信部と、前記受信部が受信したページ画像を用いて、当該ページ画像が示すページを特定し、当該ページを識別するページ識別子を取得するページ識別子取得部と、前記ページ識別子取得部が取得したページ識別子に対応するARコンテンツを、前記ARコンテンツ管理情報格納部から取得するARコンテンツ取得部と、前記ARコンテンツ取得部が取得したARコンテンツを送信する送信部として機能させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。
また、上記プログラムは、サーバなどからダウンロードされることによって実行されてもよいし、所定の記録媒体(例えば、CD−ROMなどの光ディスクや磁気ディスク、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
また、上記プログラムを実行するコンピュータは、単数であってもよいし、複数であってもよい。つまり、集中処理を行ってもよいし、あるいは分散処理を行ってもよい。
また、図12は、前述のプログラムを実行して、前述の実施の形態の読書支援システム等を実現するコンピュータシステム9の概観図である。前述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。
図12において、コンピュータシステム9は、CD−ROMドライブ9011、FDドライブ9012を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
図13は、コンピュータシステム9のブロック図である。図13において、コンピュータ901は、CD−ROMドライブ9011、FDドライブ9012に加えて、MPU9013と、ブートアッププログラム等のプログラムを記憶するためのROM9014と、MPU9013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM9015と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク9016と、CD−ROMドライブ9011、FDドライブ9012、MPU9013等を相互に接続するバス9017とを備える。ここでは図示しないが、コンピュータ901は、さらに、LANへの接続を提供するネットワークカードを備えていてもよい。
コンピュータシステム9に、前述の実施の形態の読書支援システム等の機能を実行させるプログラムは、CD−ROM9101、またはFD9102に記憶されて、CD−ROMドライブ9011またはFDドライブ9012に挿入され、さらにハードディスク9016に転送されてもよい。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク9016に記憶されてもよい。プログラムは実行の際にRAM9015にロードされる。プログラムは、CD−ROM9101、FD9102またはネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ901に、前述の実施の形態の読書支援システム等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいればよい。コンピュータシステム9がどのように動作するかは周知であり、詳細な説明は省略する。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。