JP2017097854A - プログラム、記録媒体、コンテンツ提供装置及び制御方法 - Google Patents

プログラム、記録媒体、コンテンツ提供装置及び制御方法 Download PDF

Info

Publication number
JP2017097854A
JP2017097854A JP2016192110A JP2016192110A JP2017097854A JP 2017097854 A JP2017097854 A JP 2017097854A JP 2016192110 A JP2016192110 A JP 2016192110A JP 2016192110 A JP2016192110 A JP 2016192110A JP 2017097854 A JP2017097854 A JP 2017097854A
Authority
JP
Japan
Prior art keywords
book
content
user
binocular stereoscopic
browsed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016192110A
Other languages
English (en)
Other versions
JP2017097854A5 (ja
Inventor
家栄 曹
Kaei Sou
家栄 曹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Enix Co Ltd
Original Assignee
Square Enix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Enix Co Ltd filed Critical Square Enix Co Ltd
Priority to JP2016192110A priority Critical patent/JP2017097854A/ja
Publication of JP2017097854A publication Critical patent/JP2017097854A/ja
Publication of JP2017097854A5 publication Critical patent/JP2017097854A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】更なるユーザ体験を提供するプログラム、記録媒体、コンテンツ提供装置及び制御方法を提供する。【解決手段】コンピュータに、所定のストーリーに係る内容が印刷された読書の用に供する書籍であって、予め登録された書籍について、閲覧がなされていることを検出する処理と、閲覧がなされていることが検出された対象書籍について、書籍に対応するストーリーにおける閲覧中の進行位置を特定する処理と、特定された閲覧中の進行位置に関連付けられた両眼立体視コンテンツの提示を開始する処理と、を実行させる。【選択図】図3

Description

本発明は、プログラム、記録媒体、コンテンツ提供装置及び制御方法に関し、特に両眼立体視コンテンツのユーザ体験を可能ならしめる技術に関する。
近年、LCD等の表示装置の小型化かつ高分解能化(画素密度の向上)や、高精細なグラフィックスをリアルタイムレンダリングが実現可能な演算能力を有する情報処理装置の普及に伴い、HMD等の両眼立体視コンテンツを提供可能な表示装置の利用が現実的となってきている。
HMDは、外界の視覚情報をカメラ等により撮像し、得られた画像にコンテンツを重畳して提示する所謂透過型(シースルー型)と、提示される全ての情報が外界の視覚情報に依らない非透過型とに大別される。特許文献1には、透過型HMDを介することで、マーカが付された専用の電子出版物閲覧用書籍に所望の電子出版物が重畳されて提示されることで、ユーザに電子出版物の閲覧を可能ならしめる提示方法が開示されている。
特許第3993423号公報
ところで、特許文献1のような透過型HMDを装着することで初めて電子出版物を閲覧可能となる構成は、ユーザに煩雑な印象を与えうる。例えば、通常であればユーザは紙媒体で構成された書籍を手に取り、ページをめくりながら該書籍の閲覧(読書)が可能であるが、特許文献1の電子出版物閲覧用書籍ではユーザはマーカしか観ることができない。即ち、特許文献1の電子出版物閲覧用書籍は、HMDを装着しなければ読書の用に供することができず、ユーザの読書体験を制限し得る。
特に、特許文献1の提示方法では、電子出版物閲覧用書籍に重畳して表示される画像は、電子出版物を構成するページの画像でしかなく、HMDを装着した読書はユーザにとって魅力的でない可能性があった。
本発明の少なくとも1つの実施形態は、上述の問題点に鑑みてなされたものであり、読書の用に供する書籍をユーザが閲覧する際に、更なるユーザ体験を提供するプログラム、記録媒体、コンテンツ提供装置及び制御方法を提供することを目的とする。
前述の目的を達成するために、本発明の少なくとも1つの実施形態に係るプログラムは、コンピュータに、所定のストーリーに係る内容が印刷された読書の用に供する書籍であって、予め登録された書籍について、閲覧がなされていることを検出する処理と、閲覧がなされていることが検出された対象書籍について、該書籍に対応するストーリーにおける閲覧中の進行位置を特定する処理と、特定された閲覧中の進行位置に関連付けられた両眼立体視コンテンツの提示を開始する処理と、を実行させるプログラムであって、予め登録された書籍の各々には、該書籍に対応するストーリーにおける複数の進行位置が定められており、開始する処理において、複数の進行位置のうちの特定する処理において特定された進行位置に基づいて、両眼立体視コンテンツとして提示する対象書籍に対応するストーリーの範囲が決定され、該両眼立体視コンテンツの提示が開始される。
このような構成により本発明の少なくとも1つの実施形態によれば、読書の用に供する書籍をユーザが閲覧する際に、更なるユーザ体験を提供することが可能となる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態に係るコンテンツ提供システムの構成例を示した図 本発明の実施形態に係るPC100の機能構成を示したブロック図 本発明の実施形態に係るPC100において実行されるコンテンツ提供処理を例示したフローチャート 本発明の実施形態に係るコンテンツ提供開始前の導入演出態様を説明するための図 本発明の実施形態に係る両眼立体視コンテンツの構成例を説明するための図 本発明の実施形態に係る両眼立体視コンテンツの構成例を説明するための別の図
[実施形態]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、コンテンツ提供装置の一例としての、読書の用に供する書籍の閲覧時に両眼立体視コンテンツをユーザに提供するコンテンツ提供装置を含むコンテンツ提供システムに、本発明を適用した例を説明する。しかし、本発明は、読書の用に供する書籍の閲覧時に両眼立体視コンテンツをユーザに提供することが可能な任意の機器に適用可能である。
《コンテンツ提供システムの構成》
図1は、本実施形態のコンテンツ提供システムの構成を示したシステム図である。
図1に示されるように、本実施形態のコンテンツ提供システムでは、書籍の閲覧に際してユーザ400に書籍300に関連した両眼立体視コンテンツを提供するために、ヘッドマウンテッドディスプレイ(HMD:Head Mounted Display)200が用いられる。HMD200は、装着者(ユーザ400)の各眼球に対応する位置に配置されたカメラ210により撮影された画像が表示されるよう構成され、所謂シースルー方式のHMDとして機能する。これにより、HMD200を装着した状態でもユーザ400が書籍300の読書を可能な状態が実現されている。
なお、本実施形態では書籍300を閲覧する際に、該書籍に印刷された2次元画像に基づく通常のユーザ体験を拡張すべく、HMD200を介してユーザ400に3次元的な視覚及び聴覚体験を提供可能なコンテンツを提示する。このため、HMD200は、ユーザの左眼及び右眼の各々に異なる画像、即ち視差を有する関係にある画像を表示するような不図示の表示装置220を有しており、該表示態様により両眼立体視による立体感をユーザに提示する方式が採用されるものとする。しかしながら、通常の読書により書籍から視覚的に得られる情報を拡張したユーザ体験を提供するためには、HMD200は必ずしも両眼立体視可能な構成である必要はない。例えば、視点の移動に基づく運動視差により立体感が提示されるようコンテンツを構成する場合等、HMDは同一の画像を両方の眼球に対して提示する構成であってもよい。
また本実施形態では閲覧中の書籍300に基づいてコンテンツの提供開始が制御されることをユーザに理解しやすくするために、シースルー方式のHMD200を採用する。これは、ユーザ400が手にしている実物体である書籍300についての読書体験から、提供コンテンツによる拡張したユーザ体験への導入を効果的に演出するためである。演出は、カメラ210により撮影された画像を表示装置220に表示している状態から、該画像上の書籍300に対応する領域に付加的な画像要素を重畳した画像の表示に切り替えつつ、最終的に提供コンテンツに係る画像のみが表示される(外界の視覚情報が遮断される)よう遷移することで実現される。本実施形態ではシースルー方式のコンテンツ提示装置として撮影画像を利用するHMD200を採用するが、HUD(Head-Up Display)等であってもよい。しかしながら、提供コンテンツに係る没入感をよりユーザに提示するためには、外界の視覚情報を遮断可能なように、撮影画像を提示するか否かを切り替え可能なHMD200を使用することが好ましい。
また、高い没入感を提示するために、HMD200には不図示のセンサ230が内蔵される。センサ230は、HMD200を装着したユーザ400の視線方向(基本的にユーザ400の顔面の向いている方向)を含む姿勢や移動(位置)を検出する(所謂ヘッドトラッキング)ために、例えば方位センサ、加速度センサ、ジャイロセンサ等を含んでいてよい。厳密にユーザ400の視線方向、即ち注視している方向を検出するために、センサ230は瞳孔位置や角膜上の反射等を検出する構成を有していてもよい。またカメラ210も、一部のセンサ230として機能するものであってもよく、この場合、カメラ210により連続して撮影された画像についてオプティカルフローや外部配置のマーカを検出することで、ユーザ400の頭部の移動が検出可能なように構成されるものであってよい。
センサ230により検出された視線方向の情報は、PC100において両眼立体視コンテンツに係る表示画像の描画時に考慮される。またスピーカ240により再生される音声コンテンツにおける音像移動表現に考慮されるものであってもよい。視線方向の情報は、例えばHMD200内に設けられた不図示の変換器によりセンサ230の出力を解析・演算することにより得られるものであってもよいし、センサ230の出力をPC100において解析・演算することにより得られるものであってもよい。
なお、本実施形態ではHMD200に係るユーザ400の視線方向または頭部位置の検出を、HMD200自体に備えられたセンサ230を用いて行うものとして説明するが、本発明の実施がこれに限られるものでないことは容易に理解されよう。例えば、HMD200が使用される環境に配置された外部カメラの撮影画像から、HMD200に取り付けられたマーカを検出することで上記情報の検出が行われてもよいことは言うまでもない。また後述するように本実施形態では、書籍300自体や、ユーザ400が閲覧中の書籍300のページや画像を認識するために、カメラ210により撮影された画像を用いるものとして説明するが、これらの検出に使用される画像は、使用環境内の他のカメラからの出力画像あるいは合成画像であってもよい。
PC100は、HMD200の有する表示装置220への表示画像の生成及び表示制御を行う。本実施形態ではPC100は、書籍300を認識し、該書籍300の閲覧中のページに応じた両眼立体視コンテンツを、センサ230の出力に応じてリアルタイムに描画して220に表示させる。このようにすることで、ユーザ400には閲覧中のページに対応する両眼立体視コンテンツの提示がなされる。
本実施形態ではPC100はHMD200とは分離して構成されるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、HMD200とPC100とは一体であってもよく、HMD200単体で書籍の認識及び表示画像の描画や表示制御がなされるものであってもよいことは言うまでもない。
また、本実施形態のコンテンツ提供システムでは没入感を高めるためにユーザ400の眼球を覆うように両眼立体視コンテンツの提示がなされるHMD200を使用するものとして説明する。しかしながら、両眼立体視コンテンツの提示は、視差を有する関係にある画像をユーザ400の左右各々の眼球に提供することで両眼立体視を実現可能な他の装置が用いられるものであってもよい。
〈書籍〉
ここで、本実施形態のコンテンツ提供システムにおいて、コンテンツ提供の対象となる書籍300について説明する。
本実施形態では書籍は、所謂漫画(コミック)や絵本等の、所定のストーリーに係る画像(文字を含んでよい)が印刷されたページで構成される、物理的に実体が存在する(電子媒体ではない)刊行物であるものとする。書籍は、例えば紙媒体で構成されてよく、本実施形態のコンテンツ提供システムを用いずとも、単体で上記ストーリーの内容把握を閲覧した者に可能ならしめる、読書の用に供する一般的な実物体の書籍であるものとする。
より詳しくは、本実施形態のコンテンツ提供システムでは、通常の書籍の読書体験とは異なるユーザ体験を提供するために、書籍は、そのストーリーの内容把握に際し、ページをめくる動作が必要となる触知可能な媒体であり、電子媒体ではないものとして説明する。即ち、電子書籍リーダのような表示装置を介して通常の読書体験を提供する電子媒体をトリガとするのではなく、敢えて紙媒体のような、表示装置を介することなく通常の読書体験を提供する物理的な媒体をトリガとする。これは、HMDのような表示装置を介して同媒体を閲覧した際に性質の異なる(拡張された)ユーザ体験を提供することによる。しかしながら本発明の実施において、コンテンツ提供のトリガとなる書籍として、電子媒体を除外する必要がないことは容易に理解されよう。
〈PC100の構成〉
図2は、本発明の実施形態に係るPC100の機能構成を示すブロック図である。
制御部101は、例えばCPUであり、PC100が有する各ブロックの動作を制御する。制御部101は、記録媒体102に記憶されている各ブロックの動作プログラムを読み出し、メモリ103に展開して実行することにより各ブロックの動作を制御する。
記録媒体102は、例えばPC100が有する書き換え可能な内蔵ROMや、HDDや光学ドライブを介して読み取り可能になる光学ディスクを含む、不揮発性の記録装置である。記録媒体102は、各ブロックの動作プログラムだけでなく、各ブロックの動作において必要となる各種パラメータ等の情報を記録する。メモリ103は、例えば揮発性メモリであり、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作プログラムにおいて出力された中間データ等を一時的に記憶する格納領域としても用いられる。
書籍DB104は、本実施形態のコンテンツ提供システムにおいて、対応する両眼立体視コンテンツを提供可能な書籍の情報を管理するデータベースである。書籍DB104では、各書籍について管理される情報(書籍情報)は、書籍の少なくとも一部のページの画像またはページ内の一部の画像を含む。これらの画像は、カメラ210により撮影された画像(撮影画像)に基づき、閲覧中の書籍300がいずれの書籍に該当するか、あるいは書籍DB104に登録されている書籍に該当するかの判断や、書籍内のページあるいは漫画のコマや挿絵等の一部の画像を判別するために用いられる。また書籍DB104において管理される画像の各々には、対応する書籍のストーリーにつき、該ストーリー上の進行段階の情報が関連付けられる。
以下では、簡単のため本実施形態のコンテンツ提供システムにおいて書籍DB104に蓄積される画像は、漫画のコマに対応する画像(以下、コマ画像)であり、両眼立体視コンテンツの提供が可能な書籍は漫画であるものとして説明する。なお、書籍がいずれであるかの判断はコマ画像で行うものとしてもよいが、効率化を踏まえ、本実施形態のコンテンツ提供システムでは例えば表紙画像やページ内のその他の文字列やバーコードのような図形パターン等を認識することにより行われるものとする。またこの他、書籍がいずれであるかの判断は、ユーザからの操作入力に基づいて行われるものであってもよい。
書籍検出部105は、撮影画像に基づき、書籍DB104に登録されている書籍が現在閲覧中であるか否かの検出に係る処理を行う。例えば書籍検出部105は、撮影画像中に書籍300の表紙と推定される画像が含また場合に、対応する領域を抽出して比較用に所定の変形処理を適用した画像と、書籍DB104に管理されている書籍の表紙画像群との比較を行うことで、書籍300が両眼立体視コンテンツが提供可能な書籍であるか否か、及び提供可能な書籍である場合はいずれの書籍であるかを判断する。
進行位置特定部106は、撮影画像に含まれる書籍300に対応する領域の画像に基づき、現在のユーザ400が閲覧中の書籍に係るストーリーのうちのいずれの段階(進行位置)に至ったかを特定する。本実施形態のコンテンツ提供システムでは、ユーザ400が閲覧中の書籍300について、書籍DB104に登録されているコマ画像が検出された場合に、該コマ画像に関連付けられたストーリー上の進行段階の情報に基づいて、進行位置を特定する。
近年では、例えば同一のストーリーに係る作品について、複数種類の書籍(や映像作品)が出版される、所謂メディアミックスと呼ばれる提供形態が増加しつつある。より詳しくは、同一のストーリーに係る作品について、1種類の漫画に限らず、同一の進行に基づくサブストーリーや派生作品の漫画、アニメーション化された同作品のフレーム画像でコマが構成された漫画、単行本化される前の掲載誌(漫画誌等)、さらには挿絵入りの小説等、様々な態様で書籍が提供される。このような出版背景や、対応する両眼立体視コンテンツの製作コスト等を考慮すると、ストーリー上の進行位置について両眼立体視コンテンツの関連付けを行うことは、各々絵柄、ページ構成、描写順序(書籍にする上での、ストーリー時系列を演出上変更した順序)が異なり得る複数種類の書籍について、同一の進行位置に係るそれぞれのページやコマの閲覧時に共通の両眼立体視コンテンツを提供できる点で利点を有する。
コンテンツDB107は、書籍DB104に管理されている書籍の各々について、対応する両眼立体視コンテンツを管理する。各書籍に対応する両眼立体視コンテンツは、書籍のストーリーに基づいて進行が制御されるコンテンツとなっており、書籍について少なくとも1種類以上が用意される。例えば、本実施形態で例示するように書籍が漫画である場合、予め登録された複数のコマ画像の各々について、コマ画像に係るストーリー(コマ画像に表現されるストーリー及び/またはコマ画像に至るまでのストーリー)と同様に進行する両眼立体視コンテンツが管理される。1つの書籍の複数のコマ画像の各々について管理される両眼立体視コンテンツは、各々異なるストーリーの範囲を表現するものであってもよいし、表現される少なくとも一部のストーリーの範囲は共通するものであってもよい。
またコンテンツDB107に管理される両眼立体視コンテンツは、描画が行われる視点の位置や方向(視線方向)の変更以外の要素については動的に変更されるものであってよい。一方で、読書に係る拡張したユーザ体験を提供するものであるため、基本的には書籍のストーリーに従って場面転換やキャラクタのモーション及び言動が予め定められていることが好ましい。しかしながら、本発明の実施において、書籍と提供する両眼立体視コンテンツとの関連性は、提供開始のトリガとなる書籍記載の内容に基づくものであれば、これに限られるものではない。
状態検出部108は、HMD200の姿勢や位置等、HMD200の現在の状態を所定の時間間隔で検出する。状態検出部108は、後述の通信部111を介してカメラ210もしくはセンサ230の出力を受信し、HMD200の現在の状態を検出して状態情報としてメモリ103に格納する。本実施形態では、PC100において状態検出部108が、HMD200の姿勢や位置の特定に係る解析や演算を行うものとして説明する。しかしながら、上述したようにHMD200上においてこれらの演算が行われた演算結果をPC100において受信し、状態検出部108が状態検出する構成あってもよいし、HMD200以外の装置からの出力、あるいはHMD200以外の装置における演算結果をPC100が受信し、状態検出部108が状態検出する構成であってもよい。
描画部109は、状態検出部108によりメモリ103に格納された状態情報に基づき、HMD200の表示装置220に表示させる左眼用及び右眼用の表示画像を生成する。本実施形態のコンテンツ提供システムでは、表示画像は書籍300に対応する両眼立体視コンテンツの開始前後で構成が異なる。両眼立体視コンテンツの開始前、表示装置220には、ユーザ400が書籍300の読書体験が可能なように、カメラ210により撮影された撮影画像が表示される。本実施形態のコンテンツ提供システムでは、書籍300の閲覧中における表示画像の両眼立体視コンテンツへの遷移が違和感なく演出可能なように、表示画像はHMD200内においてカメラ210の出力を表示装置220に直接表示(スループット)するのではなく、撮影画像は一度PC100に出力され、描画部109により表示画像として構成されたものが表示装置220に表示される。即ち、閲覧中の書籍300に記されたストーリーの世界にユーザが進入する体験を演出すべく、両眼立体視コンテンツに係る要素の重畳が可能なように撮影画像はPC100を介して表示画像として出力される。
例えば書籍300の閲覧から両眼立体視コンテンツへの遷移は、ユーザ400がコンテンツの開始を認識し、かつ注目しやすいよう、提供開始のトリガとなるコマ画像が所定の重畳表示により識別可能に提示された後、該コマ画像がユーザ400の視野を覆うように画像を拡大しつつ、両眼立体視コンテンツの観賞に遷移するよう演出すればよい。なお、コンテンツ提供開始に係る演出態様については、後述のコンテンツ提供処理においてさらに例を挙げて詳述する。
両眼立体視コンテンツの開始後は該ストーリーの世界への没入感を高めるため、描画部109は撮影画像を用いず、コンテンツDB107に管理される対応する両眼立体視コンテンツの情報に基づき描画した左眼用及び右眼用の画面を連結し、1つの表示画像を構成する。左眼用及び右眼用の画面は、描画対象の3次元シーン内について、状態情報に基づいて該シーン内に定められた位置を基準として、眼間距離に対応する量だけ離間させて定義した視点位置について該シーンを描画することにより生成される。また、状態情報に基づき、ユーザ400の頭部の動きに応じた視線方向や位置の視点を設定してシーンを描画するよう制御部101が描画部109を制御することで、ユーザ400をコンテンツにより没入させることができる。
音声生成部110は、両眼立体視コンテンツの提供時にユーザ400が音像定位可能なよう、ユーザ400の左耳及び右耳の各々にスピーカ240を介して提示される音声コンテンツを生成する。本実施形態のコンテンツ提供システムでは、提供される両眼立体視コンテンツは書籍300のストーリーに従って進行が予め定められたコンテンツであるため、音声生成部110は該コンテンツについて用意された音声コンテンツを、予め定義された該音声コンテンツの発生源と、状態情報により決定された視点位置との位置関係に応じて加工することで生成する。
通信部111は、PC100が有する、外部機器との通信インタフェースである。本実施形態では通信部111は、HMD200の表示装置220への表示画面出力、及びスピーカ240への音声信号出力を行う出力用インタフェースと、カメラ210により撮影された撮影画像及びセンサ230によるセンシング出力を入力として受け付ける入力用インタフェースとを有する。なお、本実施形態ではPC100とHMD200とが有線接続されているものとして説明するが、PC100とHMD200とは所定の通信方式により無線接続されるものであってもよいし、他の装置を介して接続されるものであってもよい。
また本実施形態では、PC100が書籍DB104及びコンテンツDB107を有するものとして説明したが、これらのデータベースは必ずしもPC100の構成要素として内蔵されるものである必要はない。即ち、書籍DB104やコンテンツDB107に管理される情報は、書籍300の検出やユーザ400への両眼立体視コンテンツの提供にあたり必要となる情報であるため、書籍DB104やコンテンツDB107は通信部111を介して接続される外部装置であってもよい。この場合、書籍検出部105、進行位置特定部106、描画部109、音声生成部110は、ユーザ400へのサービス提供に際し、通信部111を介してこれらデータベースに必要な情報を要求するよう構成されればよい。
《コンテンツ提供処理》
このような構成をもつ本実施形態のPC100で実行されるコンテンツ提供処理について、図3のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出し、メモリ103に展開して実行することにより実現することができる。なお、本コンテンツ提供処理は、例えばPC100とHMD200との接続が確立され、本コンテンツ提供処理に係るアプリケーションの起動指示がなされた際に開始されるものとして説明する。
S301で、制御部101は、カメラ210により撮影された左眼用及び右眼用の撮影画像の、通信部111を介したHMD200からの取得を開始する。取得された撮影画像は、メモリ103に格納される。
S302で、書籍検出部105は、現在閲覧中の書籍が予め登録された書籍であるか否かを判断する。即ち、書籍検出部105は、撮影画像内に書籍を示す画像(書籍画像)が含まれており、かつ該書籍画像から得られる書籍識別用の情報が予め登録された書籍を示すか否かを判断する。本ステップの判断にあたり、書籍検出部105は書籍DB104から予め登録された書籍について各書籍の識別用の情報を取得し、書籍画像から得られた書籍識別用の情報と比較することで、閲覧中の書籍がいずれであるかを特定する。書籍検出部105は、現在閲覧中の書籍が予め登録された書籍であると判断した場合、該書籍(対象書籍)を識別する情報(対象書籍ID)をメモリ103に格納して処理をS303に移す。また書籍検出部105は、現在閲覧中の書籍が予め登録された書籍ではないと判断した場合は処理をS309に移す。
S303で、進行位置特定部106は、ユーザ400により現在閲覧されているコマ画像が、両眼立体視コンテンツの提供を開始するものとして予め登録されたコマ画像であるか否かを判断する。進行位置特定部106は、対象書籍IDに関連付けて書籍DB104に管理されている書籍情報(対象書籍情報)を取得し、書籍画像のうちの現在閲覧されていると推定されるコマ画像が該書籍情報に含まれるコマ画像と一致するか否かの判断を行う。なお、現在閲覧されていると推定されるコマ画像は、例えば撮影画像の中央位置に配置されているコマ画像、撮影画像中の注視点が特定可能である場合は注視点に配置されているコマ画像等、何れかの方法により推定されるものであってよい。進行位置特定部106は、現在閲覧されているコマ画像が両眼立体視コンテンツの提供を開始するものとして予め登録されたコマ画像であると判断した場合は処理をS304に移し、予め登録されたコマ画像ではないと判断した場合は処理をS310に移す。
S304で、進行位置特定部106は、現在閲覧されているコマ画像に対応するストーリー上の進行位置を、対象書籍情報について該コマ画像に関連付けられた進行段階の情報に基づき特定する。なお、本ステップの処理は、1つのコマ画像について進行位置を特定した後は、S303において同一のコマ画像が閲覧されていると判断されている間、実行されないよう構成されてよい。
S305で、制御部101は、特定された進行位置に係る両眼立体視コンテンツの開始条件を満たしたか否かを判断する。両眼立体視コンテンツの開始条件は、例えば対象のコマ画像の閲覧時間が該コマ画像の読書や内容把握に要するとして予め定められた時間に至った、あるいは対象のコマ画像から次のコマ画像にユーザ400の閲覧対象が変化した等、対象のコマ画像の内容がユーザ400に把握されたとの判断に基づき定められるものであってよい。制御部101は、開始条件を満たしたと判断した場合は処理をS306に移し、満たしていないと判断した場合は処理をS310に移す。
S306で、描画部109は制御部101の制御の下、特定された進行位置に係る両眼立体視コンテンツの提供開始前の導入演出に係る表示制御が行われるよう、表示装置220に表示させる表示画像を生成し、出力する。特定のコマ画像に基づき両眼立体視コンテンツの提供を行う場合、それまで書籍300の読書を行っていたユーザ400に対して提供が開始されることを明示するため、上述したように提供開始のトリガとなるコマ画像が識別可能に提示される導入演出を行うことが好ましい。従って、本ステップにおいて描画部109は、導入演出に係る要素を順次遷移させながら左眼用及び右眼用各々の視点に係り描画し、それぞれの撮影画像に重畳した表示画像を構成する処理を行う。
〈コンテンツ提供開始前の導入演出態様〉
導入演出の態様として、提供開始のトリガとなるコマ画像が所定の重畳表示により識別可能に構成された後、該コマ画像がユーザ400の視野を埋めるように拡大されつつ両眼立体視コンテンツに遷移する態様を上述したが、以下、両眼立体視コンテンツの提供開始前に行われる導入演出の態様について他の例あるいはより具体的な例を示す。
導入演出の一態様では、モノクロ印刷されたページで構成される書籍300の該当のコマ画像がカラーのコマ画像に置換されて表示されてもよい。あるいは、該コマ画像に表現される内容、もしくは例えば提供予定の両眼立体視コンテンツの冒頭部分に対応する内容等を示したアニメーションに、コマ画像が置換されて表示されてもよい。
また別態様では2次元的ではなく、所謂AR(Augmented Reality)コンテンツのように、例えばコマ画像に係るシーンが所謂仕掛け絵本の如く書籍300上に3次元的に知覚されるよう描画された要素が重畳表示されてもよい。また別の態様では、対象のコマ画像に関係なく、書籍300のストーリーの登場キャラクタが書籍300のページ上に存在していると3次元的に知覚されるよう描画された要素が重畳表示されてもよい。
さらに別態様では、ユーザ400に姿勢変更を促すように導入演出を行ってよい。一般的には首を前傾させた状態等、読書を行う姿勢はユーザによって異なる。このような観点に基づけば、両眼立体視コンテンツの観賞に係り定められた基準の視線方向(例えば対象のコマ画像が描かれた方向や、ストーリー進行に則したキャラクタを注視する方向)から両眼立体視コンテンツの提供を開始した場合に、ユーザ400が観賞可能な方向が限定されうる。即ち、例えば首を前傾させた状態で基準の視線方向から両眼立体視コンテンツの観賞を開始した場合、ユーザ400は首を後傾させることによりコンテンツに係るシーン内の基準の視線方向より上方を観賞することができるが、下方については首の動きが制限されるため観賞が困難になり得る。従って、導入演出の開始時にHMD200について得られた状態情報に基づき、基準の視線方向に適した姿勢までユーザ400の姿勢を誘導するよう、例えば注視するよう置換したコマ画像を図4のように移動させる導入演出を行ってもよい。
またコンテンツ提供システムが、ユーザ400が歩行可能な所定の広さを有する環境内において、移動に応じて提示内容が変化する両眼立体視コンテンツを提供するシステムである場合、例えば閲覧中の書籍300のページの画像がユーザ400の等身大の大きさに表示され、ユーザ400自身が対象のコマ画像内に歩み入ることで、ストーリーに応じた両眼立体視コンテンツの提供されるよう導入演出を行ってもよい。
この他、ユーザ400による所定のジェスチャや、HMD200に設けられた、または所定の操作入力機器に対する操作入力を促すことで、両眼立体視コンテンツの提供が開始されるものであってもよい。
導入演出の完了の後、描画部109は制御部101の制御の下、S307で特定された進行位置に係る両眼立体視コンテンツの提供を開始する。両眼立体視コンテンツの提供は、上述したように進行位置について予め定められた両眼立体視コンテンツの進行制御に係る情報がコンテンツDB107から取得され、該進行制御に応じて制御部101が行った演算等に基づき、描画部109が表示装置220に提示する表示画像を順次描画し、出力することにより行われる。表示画像の描画は、導入演出と同様、ユーザ400の頭部の動きに応じて描画される内容が変化するよう、状態情報に基づいて位置や視線方向が変更された、左眼用及び右眼用の視点の各々について行われる。なお、両眼立体視コンテンツの提供に際し、音声生成部110も両眼立体視コンテンツの進行制御に係る情報と状態情報とに基づき、スピーカ240にて再生される音声信号を生成し、出力するものとする。
S308で、制御部101は、特定された進行位置に係る両眼立体視コンテンツの提供が完了したか否かを判断する。制御部101は、特定された進行位置に係る両眼立体視コンテンツの提供が完了したと判断した場合は処理をS303に戻し、完了していないと判断した場合は本ステップの処理を繰り返す。
一方、S302において現在閲覧中の書籍が予め登録された書籍ではないと判断された場合、S309で描画部109は制御部101の下、左眼用及び右眼用のカメラ210から出力された撮影画像を左眼用及び右眼用各々の領域に配置した表示画像を生成し、表示装置220に出力する。同様に、S303において現在閲覧中のコマ画像が両眼立体視コンテンツの提供開始用に登録されたコマ画像ではないと判断された場合、及びS305においてコンテンツ提供開始条件を満たしていないと判断された場合、S310で描画部109は制御部101の下、左眼用及び右眼用のカメラ210から出力された撮影画像を左眼用及び右眼用各々の領域に配置した表示画像を生成し、表示装置220に出力する。即ち、HMD200を装着していても、装着していない状態に相当する視覚情報をユーザ400に与えるよう、表示装置220にカメラ210出力に基づく表示画像が提示される。
このようにすることで本実施形態のコンテンツ提供システムでは、刊行されている書籍の読書という行為に際し、該書籍に関連する両眼立体視コンテンツの提示を、読書の進行状況に係る進行位置に対応させて適宜ユーザに行うことができる。
《両眼立体視コンテンツの提供例》
次に、本実施形態のコンテンツ提供システムにおいて提供される両眼立体視コンテンツの提供態様について、複数の例を挙げて説明する。上述したように、開始条件(予め登録されたコマ画像の検出)を満たして書籍300の読者であるユーザ400に提示される両眼立体視コンテンツは、基本的には書籍に記載のストーリーに基づいて進行が制御される。即ち、提供される両眼立体視コンテンツの進行は、開始条件を満たすことになったコマ画像までにユーザ400が閲覧してきた書籍300の内容について把握したストーリーに基づく。
〈コンテンツ構成例〉
以下、書籍に対応して提供される両眼立体視コンテンツの構成について例示する。
(1)追体験型コンテンツ
漫画に限らず、書籍には少なくとも様々なキャラクタが登場する。通常、書籍の読書において、読者は時にこれらのキャラクタに自己投射し、キャラクタの置かれている状況を想像しながら内容把握を行うだろう(特に小説のような挿絵が少なく、文章にて状況描写がなされている書籍等)。本実施形態のシステムでは、ストーリーにおいてこのようなキャラクタの置かれた状況を臨場感をもって体験できるよう、いずれかのキャラクタの視界を提供してストーリーの進行を提示するよう構成された両眼立体視コンテンツが提供されてよい。視界が提供されるキャラクタは、ストーリーにおける主人公や進行に密接に関与するメインキャラクタであってよく、例えば読者の好みによっていずれかのキャラクタについてストーリーを追体験するかが選択可能に構成されるものであってもよい。また漫画等ではコマごとに主に描写されるキャラクタや主観を述べるキャラクタが変化するため、提供開始のトリガとなるコマ画像までのコマに描写された内容に対応して、随時追体験するキャラクタが変化するよう進行制御がなされるものであってもよい。
(2)傍観型コンテンツ
上述した追体験型コンテンツは、実際にストーリー上のキャラクタの視界をユーザ400に与えることで、キャラクタとしてストーリーを追体験することをユーザ400に可能ならしめるものである。一方で、キャラクタとして追体験することは、自身に視界が割り当てられているキャラクタについてはコンテンツ内で観賞することが困難になり得る。即ち、例えば主人公のキャラクタの視界が表示装置220に提示されて両眼立体視コンテンツが提供される場合、ユーザ400は観賞中、主人公のキャラクタを観ることはできない。
そこで、例えば書籍によってはキャラクタの視界ではなく、ストーリーが展開される3次元シーン内に配置された視点位置についてキャラクタを傍観できるコンテンツを提供するものであってもよい。即ち、書籍に表現されるストーリーは、演出上予め定められた視点につき描写されたものであるが、傍観型コンテンツでは、描写されなかった範囲にて他のキャラクタがどのような行動を起こしていた等を追加的にユーザに提示することができる。
例えば、所謂サスペンスやホラージャンルの内容の書籍については、キャラクタ視点ではなく、監視カメラや物陰等の離散的に設けられた基準位置からの視点で、キャラクタ全体や特定のキャラクタのストーリー上の動きを注視できるよう両眼立体視コンテンツを構成する方が、好適な演出となり得る。
一般に傍観できるような視点は、キャラクタについて視点が設定されるよりも多くの情報が観賞可能な範囲に含まれ、両眼立体視コンテンツの提供に当たりデザイナが構築すべき3次元シーンの範囲やディテールが膨大になり得るため、傍観視点についてユーザ400が頭部を動かして観賞可能な視線方向の範囲は制限することが好ましい。このような観点からも、特に監視カメラのように予め視線方向のとり得る範囲が制限されていることが一般的な機材を、コンテンツ提供に係る視点として行う演出は好適である。即ち、両眼立体視コンテンツの提供に当たり作成またはダウンロード等する必要があるデータ量は、提供視点の制限により低減できる。
なお、離散的に設けられた視点の各々の基準位置は、例えばユーザ400により任意に選択可能に構成されてよく、これにより複数の視点位置からのストーリーの観賞をユーザ400に可能ならしめる。ここで、選択可能な視点について「基準位置」との表現は、各位置においてユーザ400の頭部の移動や視線方向の旋回に応じて予め定められた範囲での視点変更を許容するため、その範囲を規定するための基準の座標を示す。
また、このように離散的に設けられた基準位置間で視点変更を行う場合、変更前後の基準位置間の距離や視線方向によってはユーザに提示される両眼立体視コンテンツの表示内容の連関性がない等の急峻な変化を生み、結果ユーザが方向感覚を失う等、好適な観賞に支障をきたし得る。このような事態を回避するため、例えば視点変更はユーザ400の頭部の旋回に応じて、現在選択されている基準位置から旋回方向の位置関係に配置された基準位置に変更が行われるよう構成すればよい。
例えば、図5Aに示されるような位置関係で、キャラクタ505及び樹木506が配置されたシーン内に4種類の視点基準位置が設定されている場合、ユーザ400の頭部の旋回方向(Yaw方向:鉛直軸を回転軸とする回転)が時計回りの方向であれば、・・・→視点503→視点502→視点501→視点504→視点501→・・・の順で視点基準位置が変更され、旋回方向が反時計回りの方向であれば、・・・→視点503→視点504→視点501→視点502→視点503→・・・の順で視点基準位置が変更されればよい。該視点基準位置の変更は、例えばユーザ400の頭部の旋回に応じて時計回りに視線方向の旋回を行う場合に、視点503について提供される横方向の視野513の右端まで旋回(図5Bの矢印511)した後、次の視点502について提供される横方向の視野514の左端からの旋回(矢印512)に移行させることで、視線方向の変更の連続性を担保可能にしたことに基づく。このようにすることで観賞内容の連関性を持たせつつ、旋回した視線方向に存在する視点に切り替えることができるため、ユーザが方向感覚を失うような事態の発生を低減できる。
また、旋回中の視点基準位置の切り替え時には、図5Cに示されるように眼球のそれぞれに切り替え前後の視点に係り描画された画像を離間させて配置した表示画像を生成したり、意図的に暗転した表示画像を表示させる頭部角度を設けたりすることで、切り替えが行われることを明示するようにしてもよい。即ち、視点基準位置の切り替え前後での不連続性を敢えて示すことで、ユーザ400に視点切り替えの発生を意識させてもよい。
図5Cの例では、視点503につき提供される視野513と視点504につき提供される視野514とが、各眼球用の表示画像において中央部の黒領域により分離されており、ユーザ400に視点の変更が生じることを認識させることができる。より詳しくは、図5Dに示されるように、ユーザ400の頭部の周囲に視野513及び/または視野514を描画する視線方向の範囲が定義されており、図示されるようにユーザ400の視線方向につき定まる描画範囲541がいずれの視野にも属さない領域541を含む場合に、図5Cのような中央部に黒領域を有する各眼球用の表示画像が生成される。
一方で両眼立体視コンテンツのデータ量に制限を特に要しないのであれば、HMD200を装着した状態での歩行をユーザ400に許容する環境では、例えば両眼立体視コンテンツとして表現される3次元シーン内を自由に移動できるよう構成してもよい。この場合、ストーリー内のイベント等を見逃してしまう可能性もあるため、例えばイベントの内容把握について重要度が定められ、所定の重要度を有するイベントについては、3次元シーン内のいずれの位置に視点があったとしても、カットイン等で強制的にイベント体験するよう構成してもよい。
また、ストーリーで表現される世界に入り込む形の体験を両眼立体視コンテンツとして提供する必要はない。例えば、ストーリーで表現されている内容は、登場キャラクタが演者として登場するような舞台やセット等の演台上における「演技」として表現され、該演台の周囲に配置された観客席からストーリーを傍観する形で両眼立体視コンテンツは構成されてもよい。
(3)書籍に記載されていない内容の提供
両眼立体視コンテンツの観賞において、ユーザ400の頭部移動や任意の視点位置の選択により、書籍に記載のシーンのうちの描写されなかった領域をユーザに観賞可能に提供することで、ユーザ体験を拡張する例を上記した。しかし、コンテンツ提供システムによりユーザ400に提供される両眼立体視コンテンツはこれに限られるものでなく、例えばキャラクタの心情や、ストーリーと同一の事象が生じる世界であるが、書籍に描写された地点とは異なる地点において生じたサブストーリー等であってもよい。即ち、提供される両眼立体視コンテンツは、提供開始のトリガとなったコマ画像に係るストーリーに関連した、書籍に描写や記載されていない内容について進行するコンテンツであってもよい。
なお、傍観型コンテンツにおける視点基準位置の切り替えについての描画制御を上述したが、追体験型コンテンツにおいて視界を提供するキャラクタを切り替える際の描画制御も同様にユーザ400の頭部の旋回動作に応じて行われてよい。例えば、図6Aに示されるように2人のキャラクタ(601、602)が正対して座している場合、ユーザ400が振り返り動作を行うことで視界提供を行うキャラクタの切り替えがなされてもよい。図6Aのような背景オブジェクトとキャラクタの位置関係が対称的に配置されるシーンは、特に各キャラクタの側方に存在する背景オブジェクト604のテクスチャを図6Bのようにキャラクタ間の境界線603で線対称となるように構成した場合、切り替えが行われる頭部の方向においてテクスチャの連続性を担保できる。従って、図5Cのような敢えて切り替え前後に係る2つの視点の描画画像を離間させた、不連続性をユーザに意識させる表示画像を提示せずとも、視点切り替え時の表示画像をスムーズに遷移させることができる。即ち、視点切り替えに係る眼球の各々に提示する表示画像の生成において、切り替え前後に係る2つの視点の描画画像を連結させた画像で表示画像を構成することで、視線方向及び基準位置の異なる視点間での表示遷移をスムーズに行うことができる。
以上説明したように、本実施形態のコンテンツ提供装置によれば、読書の用に供する書籍をユーザが閲覧する際に、更なるユーザ体験を提供することができる。
[変形例1]
ところで、読了した書籍については、再度の読書の際には必ずしも書籍の先頭からではなく、例えば特に印象に残っているシーン等の一部のみを閲覧することがある。一方で、上述した実施形態のようにコマ画像に対応する進行位置までの、予め対応付けられた両眼立体視コンテンツが再生されて提示される場合、該コンテンツにユーザが観賞を所望するストーリーの範囲が含まれない、また反対にユーザが観賞を所望していない範囲から始まる等、両眼立体視コンテンツの提供について需要と供給に差異が生じうる。
従って、例えば提供する両眼立体視コンテンツに含まれるストーリーの範囲を規定するために、両眼立体視コンテンツの提供開始が定められていないコマ画像も書籍DB104に登録されていてよい。この場合進行位置特定部106は、提供開始が定められている進行位置のコマ画像が検出されるまで書籍検出部105が検出したコマ画像について特定した進行位置の情報を蓄積し、制御部101は提供開始時に蓄積した進行位置の情報に基づき、両眼立体視コンテンツとして提供するストーリーの範囲を決定するようにすればよい。また両眼立体視コンテンツの提供を開始するか否かをユーザ400が選択可能に構成し、開始するとの選択がなされた場合に、それまで蓄積された進行位置の情報に基づいて再生する両眼立体視コンテンツの範囲が決定されるよう構成してもよい。
[変形例2]
実施形態及び変形例1では、進行位置特定部106により閲覧中のコマ画像について特定された進行位置に基づいて、提供する両眼立体視コンテンツが決定されるものとして説明した。しかしながら、本発明に係るコンテンツ提供システムにおいて提供される両眼立体視コンテンツは、閲覧中の書籍のストーリーにおける進行位置と対応付けて管理されるものに限らない。例えば、動きのあるシーンを描写している1つのコマ画像について、該コマ画像に描写されている内容についてのみ両眼立体視コンテンツとして提供する場合等、進行位置を特定せずとも、予めコマ画像に対応付けられた両眼立体視コンテンツが再生される構成としてもよい。
[変形例3]
上記、書籍は所定のストーリーに係る画像が印刷されたページで構成される刊行物であるものとして説明してきたが、本発明の対象となる書籍はこれに限られるものではない。即ち、漫画のようなストーリーの世界を描写した図柄がページに含まれていなくとも、小説のように文章のみで記された世界観も、これら文章を検出することで両眼立体視コンテンツを提供するよう構成されてよい。また小説等の場合、ユーザは文章として表現されたコンテンツを好む可能性もあるため、提供される両眼立体視コンテンツは、風景等の世界観のみを表現した3次元シーンに、文章に係る文字列をオブジェクトとして提示するコンテンツ、あるいはこのような3次元シーン内で音読された文章を聴くことが可能なコンテンツであってもよい。
また、コンテンツ提供のトリガとなる媒体は販売の用途で出版される書籍に限らず、販売促進の用途で出版される所謂サンプル本や広告(チラシ、ポスター)等の販促物であってもよい。このような販促物は通常、店頭等の限定的な環境で提供されるものであるため、図1に示したようなPC100やHMD200のような機材を使用可能な環境ではない可能性がある。従って、スマートホン等の撮像装置及び表示装置を有する携帯通信端末を用い、販促物に付された例えば2次元コード等を介して必要なデータを受信することで、両眼立体視コンテンツの提供がなされるものであってもよい。このとき、例えば樹脂製フレネルレンズを有し、上記携帯通信端末を組み込むことで両眼立体視を可能せしめる組み立て式の簡易版HMD(ディスプレイは携帯通信端末の表示装置)が、別途提供される、あるいは販促物そのものが簡易版HMDを構成するものとして提供され、店頭にてユーザにコンテンツを観賞可能にせしめるものであってもよい。なお、販促物に基づくコンテンツ提供は、販促物に印刷されたコマ画像や図柄を検出して対応するストーリーのコンテンツが再生されるものであってもよいし、販促物用に用意された特定のコンテンツが再生されるものであってもよい。
[変形例4]
実施形態及び変形例1〜3として、予め登録された進行位置に係る画像や文字列が閲覧中の書籍に含まれる場合に、該進行位置に関連付けられた1つの両眼立体視コンテンツの提供を開始するものとして説明したが、本発明の実施はこれに限られるものではない。書籍に記載されるストーリーは、演出上、例えば発生したイベントの詳細が回想として後述される等、時系列が前後して構成されることがある。このような場合、ユーザ400の頭部の移動に応じて描写されていないシーンがユーザ400に観賞されてしまう可能性がある。即ち、閲覧中のページよりも先に記載されるストーリーが事前に判明してしまい、好適な読書体験が阻害され得る。故に、例えばユーザ400が書籍を読了したか、あるいは該書籍の閲覧回数に応じて異なる種類の両眼立体視コンテンツが提供されるよう、制御してもよい。
[その他の実施形態]
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係るコンテンツ提供装置は、1以上のコンピュータを該コンテンツ提供装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供/配布することができる。従って、本発明の範囲を公にするために、以下の請求項を添付する。

Claims (17)

  1. コンピュータに、
    所定のストーリーに係る内容が印刷された読書の用に供する書籍であって、予め登録された書籍について、閲覧がなされていることを検出する処理と、
    閲覧がなされていることが検出された対象書籍について、該書籍に対応するストーリーにおける閲覧中の進行位置を特定する処理と、
    特定された前記閲覧中の進行位置に関連付けられた両眼立体視コンテンツの提示を開始する処理と、
    を実行させるプログラムであって、
    前記予め登録された書籍の各々には、該書籍に対応するストーリーにおける複数の進行位置が定められており、
    前記開始する処理において、前記複数の進行位置のうちの前記特定する処理において特定された進行位置に基づいて、前記両眼立体視コンテンツとして提示する前記対象書籍に対応するストーリーの範囲が決定され、該両眼立体視コンテンツの提示が開始されるプログラム。
  2. 前記開始する処理において、前記複数の進行位置のうちの前記特定された進行位置の組み合わせに応じて、前記提示を開始する前記両眼立体視コンテンツが異なる請求項1に記載のプログラム。
  3. コンピュータに、
    所定のストーリーに係る内容が印刷された読書の用に供する書籍であって、予め登録された書籍について、閲覧がなされていることを検出する処理と、
    閲覧がなされていることが検出された対象書籍について、該書籍に対応するストーリーにおける閲覧中の進行位置を特定する処理と、
    前記対象書籍を閲覧中のユーザの姿勢を検出する処理と、
    特定された前記閲覧中の進行位置に関連付けられた両眼立体視コンテンツであって、観察を開始させるユーザの姿勢が予め定められている両眼立体視コンテンツの提示を開始する処理と、
    を実行させるプログラムであって、
    前記検出する処理において検出された前記閲覧中のユーザの姿勢と前記観察を開始させるユーザの姿勢とが異なると判断される場合に、前記開始する処理において、前記両眼立体視コンテンツを移動して提示させることで、前記観察を開始させるユーザの姿勢に前記閲覧中のユーザの姿勢を誘導するプログラム。
  4. 前記両眼立体視コンテンツの提示対象であるユーザにより閲覧されている書籍を撮影した撮影画像を取得する処理をさらに前記コンピュータに実行させ、
    取得された前記撮影画像に基づいて前記検出する処理及び前記特定する処理が行われる請求項1乃至3のいずれか1項に記載のプログラム。
  5. 前記予め登録された書籍は、所定のストーリーに係る内容を示す画像が印刷されたページを含み、
    前記特定する処理において、前記撮影画像中の前記対象書籍の画像に基づき前記閲覧中の進行位置が特定される請求項4に記載のプログラム。
  6. 前記予め登録された書籍は、少なくとも1つのコマを有するページを有する漫画を含み、
    前記特定する処理において、前記撮影画像中に含まれる前記対象書籍のコマを認識することで、前記閲覧中の進行位置が特定される請求項4または5に記載のプログラム。
  7. 同一の進行位置が前記閲覧中の進行位置として特定された回数に応じて、前記開始する処理において提示する前記両眼立体視コンテンツが変更される請求項1乃至6のいずれか1項に記載のプログラム。
  8. 開始される前記両眼立体視コンテンツは、前記対象書籍に対応するストーリーに基づいて提示内容の進行が制御されるコンテンツであって、前記閲覧中の進行位置に係る提示内容を含むコンテンツである請求項1乃至7のいずれか1項に記載のプログラム。
  9. 前記対象書籍に対応するストーリーに基づいて進行制御が行われる前記両眼立体視コンテンツについて、描画を行う視点の基準位置を変更する処理をさらに前記コンピュータに実行させる請求項8に記載のプログラム。
  10. 前記両眼立体視コンテンツの提示対象であるユーザが該コンテンツを観察している方向に応じて、該コンテンツを描画する視線方向を制御する処理をさらに前記コンピュータに実行させ、
    前記変更する処理において、前記観察している方向の旋回に基づいて前記視点の基準位置が変更される請求項9に記載のプログラム。
  11. 開始される前記両眼立体視コンテンツは、前記対象書籍に対応するストーリーについて、前記対象書籍に印刷された内容に含まれない内容を含むコンテンツである請求項1乃至10のいずれか1項に記載のプログラム。
  12. 開始される前記両眼立体視コンテンツは、前記対象書籍に対応するストーリーの追体験を提供するコンテンツである請求項1乃至11のいずれか1項に記載のプログラム。
  13. 請求項1乃至12のいずれか1項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  14. 所定のストーリーに係る内容が印刷された読書の用に供する書籍であって、予め登録された書籍について、閲覧がなされていることを検出する検出手段と、
    閲覧がなされていることが前記検出手段により検出された対象書籍について、該書籍に対応するストーリーにおける閲覧中の進行位置を特定する特定手段と、
    前記特定手段により特定された前記閲覧中の進行位置に関連付けられた両眼立体視コンテンツの提示を開始する制御手段と、
    を有し、
    前記予め登録された書籍の各々には、該書籍に対応するストーリーにおける複数の進行位置が定められており、
    前記制御手段は、前記複数の進行位置のうちの前記特定手段により特定された進行位置に基づいて、前記両眼立体視コンテンツとして提示する前記対象書籍に対応するストーリーの範囲を決定し、該両眼立体視コンテンツの提示を開始するコンテンツ提供装置。
  15. 所定のストーリーに係る内容が印刷された読書の用に供する書籍であって、予め登録された書籍について、閲覧がなされていることを検出する検出手段と、
    閲覧がなされていることが前記検出手段により検出された対象書籍について、該書籍に対応するストーリーにおける閲覧中の進行位置を特定する特定手段と、
    前記対象書籍を閲覧中のユーザの姿勢の状態を検出する検出手段と、
    前記特定手段により特定された前記閲覧中の進行位置に関連付けられた両眼立体視コンテンツであって、観察を開始させるユーザの姿勢が予め定められている両眼立体視コンテンツの提示を開始する制御手段と、
    を有し、
    前記制御手段は、前記検出手段により検出された前記閲覧中のユーザの姿勢と前記観察を開始させるユーザの姿勢とが異なると判断する場合に、前記両眼立体視コンテンツを移動して提示させることで、前記観察を開始させるユーザの姿勢に前記閲覧中のユーザの姿勢を誘導するコンテンツ提供装置。
  16. 所定のストーリーに係る内容が印刷された読書の用に供する書籍であって、予め登録された書籍について、閲覧がなされていることを検出する検出工程と、
    閲覧がなされていることが前記検出工程において検出された対象書籍について、該書籍に対応するストーリーにおける閲覧中の進行位置を特定する特定工程と、
    前記特定工程において特定された前記閲覧中の進行位置に関連付けられた両眼立体視コンテンツの提示を開始する制御工程と、
    を有し、
    前記予め登録された書籍の各々には、該書籍に対応するストーリーにおける複数の進行位置が定められており、
    前記制御工程において、前記複数の進行位置のうちの前記特定工程において特定された進行位置に基づいて、前記両眼立体視コンテンツとして提示する前記対象書籍に対応するストーリーの範囲が決定され、該両眼立体視コンテンツの提示が開始されるコンテンツ提供装置の制御方法。
  17. 所定のストーリーに係る内容が印刷された読書の用に供する書籍であって、予め登録された書籍について、閲覧がなされていることを検出する検出工程と、
    閲覧がなされていることが前記検出工程において検出された対象書籍について、該書籍に対応するストーリーにおける閲覧中の進行位置を特定する特定工程と、
    前記対象書籍を閲覧中のユーザの姿勢の状態を検出する検出工程と、
    前記特定工程において特定された前記閲覧中の進行位置に関連付けられた両眼立体視コンテンツであって、観察を開始させるユーザの姿勢が予め定められている両眼立体視コンテンツの提示を開始する制御工程と、
    を有し、
    前記制御工程において、前記検出工程において検出された前記閲覧中のユーザの姿勢と前記観察を開始させるユーザの姿勢とが異なると判断する場合に、前記両眼立体視コンテンツを移動して提示させることで、前記観察を開始させるユーザの姿勢に前記閲覧中のユーザの姿勢を誘導するコンテンツ提供装置の制御方法。
JP2016192110A 2016-09-29 2016-09-29 プログラム、記録媒体、コンテンツ提供装置及び制御方法 Pending JP2017097854A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016192110A JP2017097854A (ja) 2016-09-29 2016-09-29 プログラム、記録媒体、コンテンツ提供装置及び制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016192110A JP2017097854A (ja) 2016-09-29 2016-09-29 プログラム、記録媒体、コンテンツ提供装置及び制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015546759A Division JP6022709B1 (ja) 2015-09-04 2015-09-04 プログラム、記録媒体、コンテンツ提供装置及び制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020102503A Division JP2020161163A (ja) 2020-06-12 2020-06-12 プログラム、記録媒体、コンテンツ提供装置及び制御方法

Publications (2)

Publication Number Publication Date
JP2017097854A true JP2017097854A (ja) 2017-06-01
JP2017097854A5 JP2017097854A5 (ja) 2018-10-18

Family

ID=58803996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016192110A Pending JP2017097854A (ja) 2016-09-29 2016-09-29 プログラム、記録媒体、コンテンツ提供装置及び制御方法

Country Status (1)

Country Link
JP (1) JP2017097854A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128875A (ja) * 2018-01-26 2019-08-01 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP2019175326A (ja) * 2018-03-29 2019-10-10 株式会社スクウェア・エニックス プログラム、記録媒体及び画像生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09319556A (ja) * 1996-05-28 1997-12-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2007114878A (ja) * 2005-10-18 2007-05-10 Taito Corp 漫画のページ認識方式および漫画情報再生システム
JP2009502005A (ja) * 2005-07-20 2009-01-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツの非リニアプレゼンテーション
US20140002491A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Deep augmented reality tags for head mounted displays
JP2014115457A (ja) * 2012-12-10 2014-06-26 Sony Corp 情報処理装置および記録媒体
JP2014199963A (ja) * 2011-08-09 2014-10-23 シャープ株式会社 表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09319556A (ja) * 1996-05-28 1997-12-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2009502005A (ja) * 2005-07-20 2009-01-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツの非リニアプレゼンテーション
JP2007114878A (ja) * 2005-10-18 2007-05-10 Taito Corp 漫画のページ認識方式および漫画情報再生システム
JP2014199963A (ja) * 2011-08-09 2014-10-23 シャープ株式会社 表示装置
US20140002491A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Deep augmented reality tags for head mounted displays
JP2014115457A (ja) * 2012-12-10 2014-06-26 Sony Corp 情報処理装置および記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
暦本純一: ""ディジタルとフィジカルの融合:実世界に展開するユーザーインタフェース"", 第34回 人工知能基礎論研究会資料(SIG-FAI-9802), JPN6015043951, 24 September 1998 (1998-09-24), JP, pages 1 - 7, ISSN: 0004130262 *
竹田信子ほか2名: ""拡張現実感技術を利用した仮想立体絵本"", 日本バーチャルリアリティ学会論文誌, vol. 第12巻, 第4号, JPN6015043950, 31 December 2007 (2007-12-31), JP, pages 595 - 601, ISSN: 0004243931 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128875A (ja) * 2018-01-26 2019-08-01 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP2019175326A (ja) * 2018-03-29 2019-10-10 株式会社スクウェア・エニックス プログラム、記録媒体及び画像生成方法

Similar Documents

Publication Publication Date Title
JP7248859B2 (ja) 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム
CN109923462B (zh) 感测眼镜
JP6022709B1 (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
US12022357B1 (en) Content presentation and layering across multiple devices
JP6462059B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
WO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
CN111699460A (zh) 多视图虚拟现实用户界面
JP2017097854A (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
JP2020161163A (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
US20220148253A1 (en) Image rendering system and method
KR20200031259A (ko) 인터랙션 콘텐츠에 대한 영상 데이터 공유 시스템 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191011

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200330