JP2013029941A - 表示機器、制御システムおよび制御プログラム - Google Patents

Abstract

【課題】利用者に対して利便性の高い操作方法を提供すること。
【解決手段】携帯電話端末（表示機器）１は、電子的な出版物を表示する表示部３２ａと、出版物のページをめくる操作を行う複数の物体を検出する検出部（撮影部）４０および４２と、検出部４０および４２の検出結果に応じて、出版物のページのうち、新たに表示されるページに対応付けられたオブジェクトを表示部３２ａに表示させる制御部２２とを備える。表示部３２ａは、視認空間内に出版物を立体的に表示してもよい。この場合、検出部４０は、視認空間中の複数の物体の位置を検出する。
【選択図】図２

Description

本発明は、表示機器、制御システムおよび制御プログラムに関する。

携帯電話端末等の表示部を備える表示機器には、画像等を立体表示することができるものがある（例えば、特許文献１参照）。立体表示は、両眼の視差を利用して実現される。

特開２０１１−９５５４７号公報

立体表示は利用者にとって親しみやすい表示形式であるにも関わらず、従来の表示機器では、立体表示は視聴目的でしか利用されず、操作の利便性を向上させるためには利用されてこなかった。本発明は、利用者に対して利便性の高い操作方法を提供することを目的とする。

本発明は、利用者に対して利便性の高い操作方法を提供することができる表示機器、制御システムおよび制御プログラムを提供することを目的とする。

本発明に係る表示機器は、電子的な出版物を表示する表示部と、前記出版物のページをめくる操作を行う物体を検出する検出部と、前記検出部の検出結果に応じて、前記出版物のページのうち、新たに表示されるページに対応付けられたオブジェクトを前記表示部に表示させる制御部とを備える。

また、本発明に係る制御システムは、電子的な出版物を表示する表示部と、前記出版物のページをめくる操作を行う複数の物体を検出する検出部と備える端末と、当該端末を制御する制御部を含むシステムであって、前記制御部は、前記検出部の検出結果に応じて、前記出版物のページのうち、新たに表示されるページに対応付けられたオブジェクトを前記表示部に表示させる。

また、本発明に係る制御プログラムは、表示部を備える表示機器に、前記表示部に電子的な出版物を表示するステップと、前記出版物のページをめくる操作を行う複数の物体を検出するステップと、前記検出部の検出結果に応じて、前記出版物のページのうち、新たに表示されるページに対応付けられたオブジェクトを前記表示部に表示させるステップとを実行させる。

本発明は、利用者に対して利便性の高い操作方法を提供することができるという効果を奏する。

図１は、携帯電話端末の外観を示す正面図である。 図２は、携帯電話端末の機能的な構成を示すブロック図である。 図３は、オブジェクトデータに格納される情報の一例を示す図である。 図４は、作用データに格納される情報の一例を示す図である。 図５は、本の閲覧機能を実現するための基本的な処理手順を示すフローチャートである。 図６は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。 図７は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。 図８は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。 図９は、掴む操作検出処理の処理手順を示すフローチャートである。 図１０は、閉じた本の一例を示す図である。 図１１は、ページめくりの制御の一例を示す図である。 図１２は、ページめくりの制御の他の例を示す図である。 図１３は、ページめくりの制御のさらに他の例を示す図である。 図１４は、めくられるページ数と物体間の距離の関係を示す図である。 図１５は、ページが選択されている範囲を利用者に提示する例を示す図である。 図１６は、ページが選択されている範囲を利用者に提示するためにページの内容を表示する例を示す図である。 図１７は、ページに目印を付ける操作の一例を示す図である。 図１８は、折れ目の表示の仕方の一例を示す図である。 図１９は、ページが選択される範囲を調整する処理手順の一例を示すフローチャートである。 図２０は、栞を挟む操作の一例を示す図である。 図２１は、ページを切り取る操作の一例を示す図である。 図２２は、ページを切り取る操作の他の例を示す図である。 図２３は、ページの一部を切り取る操作の一例を示す図である。 図２４は、複数の本を立体的に表示する場合の制御の例を示す図である。 図２５は、ページと対応付けて他のオブジェクトを表示する処理の処理手順を示すフローチャートである。 図２６は、ページと対応付けてオブジェクトを表示する例を示す図である。 図２７は、ページと対応付けてオブジェクトを表示する例を示す図である。 図２８は、ページと対応付けてオブジェクトを表示する例を示す図である。 図２９は、ページと対応付けてオブジェクトを表示する例を示す図である。 図３０は、ページの表および裏と対応付けてオブジェクトを表示する例を示す図である。 図３１は、ページの表および裏と対応付けてオブジェクトを表示する例を示す図である。 図３２は、複数のページと対応付けてオブジェクトを表示する例を示す図である。 図３３は、複数のページと対応付けてオブジェクトを表示する例を示す図である。 図３４は、他の携帯電話端末の外観を示す正面図である。 図３５は、他の携帯電話端末の機能的な構成を示すブロック図である。 図３６は、３次元オブジェクトに対する操作の検出について説明するための図である。 図３７は、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出する携帯電話端末の構成の一例を示す図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、表示機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。

まず、図１および図２を参照しながら、本実施例に係る携帯電話端末（表示機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、携帯電話端末１の機能的な構成を示すブロック図である。

図１および図２に示すように、携帯電話端末１は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、撮影部４０と、撮影部４２とを有する。操作部１３、マイク１５、レシーバ１６、タッチパネル３２、撮影部４０および撮影部４２は、携帯電話端末１の正面に一部が露出する。

操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。

マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。

通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。

タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。

表示部３２ａは、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。タッチセンサ３２ｂが各種操作を検出する方式は、静電容量式、抵抗膜式、感圧式等の任意の方式でよい。

また、タッチパネル３２は、３次元オブジェクトを表示できる。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状等の表示物である。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。

撮影部４０および４２は、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０および４２は、撮影した画像を信号に変換して制御部２２へ出力する。撮影部４０および４２は、３次元オブジェクトが立体的に表示される空間（以下、「視認空間」という）において３次元オブジェクトを操作する物体を検出する検出部としても機能する。

なお、撮影部４０および４２は、視認空間内のどこに指等の物体が位置していてもその物体を撮影することができるように画角や配置が設定されていることが好ましい。また、撮影部４０および４２は、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。

制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。

記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。また、記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃとが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。

制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２での３次元オブジェクトの表示を制御する機能や、タッチパネル３２によって表示される３次元オブジェクトに対する利用者の操作を検出する機能が含まれる。制御プログラム２４ａは、このように、３次元オブジェクトの表示を制御したり、３次元オブジェクトに対する操作を検出したりすることにより、後述するように、利用者が視認空間で本等の電子的な出版物を閲覧することを可能にする。

オブジェクトデータ２４ｂは、３次元オブジェクトの形状および性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に、検出された操作に応じて３次元オブジェクトを変化させるために用いられる。ここでいう変化には、移動、回転、変形、消失等が含まれる。

図３は、オブジェクトデータ２４ｂに格納される情報の一例を示す図である。図３に示す例は、本として表示される３次元オブジェクトに関する情報の例である。図３に示すように、本として表示される３次元オブジェクトは、表表紙、裏表紙、背表紙、および複数のページという複数の３次元オブジェクトを含む。すなわち、本として表示される３次元オブジェクトは、３次元オブジェクトの集合体である。なお、以下の説明では、説明の便宜のために、本として表示される３次元オブジェクトを単に「本」ということがある。同様に、表表紙、裏表紙、背表紙、およびページに相当する３次元オブジェクトを、それぞれ、単に「表表紙」、「裏表紙」、「背表紙」、および「ページ」ということがある。

表表紙、裏表紙、および背表紙には、厚み、幅、高さ、色といった外観および性質を特定するための情報が予め設定される。また、表表紙、裏表紙、および背表紙には、３次元オブジェクトの表面に表示すべき文字列および画像等が、所定の形式でコンテンツとして設定される。

複数のページには、厚み、幅、高さ、色といった外観および性質を特定するための情報が予め共通に設定される。また、複数のページには、それぞれのページに表示すべきテキストおよび画像等が、所定の形式でコンテンツとしてページ毎に設定される。ページには、「＜折り返し ／＞」、「＜栞 ／＞」といったそのページに特有な情報が付加されることがある。「＜折り返し ／＞」は、対応するページの一部が折り返されていることを示す。「＜栞 ／＞」は、対応するページに栞が挟まれていることを示す。

なお、図３では、オブジェクトデータ２４ｂがＸＭＬ（Extensible Markup Language）形式で記述されている例を示したが、オブジェクトデータ２４ｂの形式はこれに限定されない。例えば、オブジェクトデータ２４ｂの形式は、専用に設計された形式でもよい。また、本として表示される３次元オブジェクトの構成は、図３に示した例に限定されない。例えば、本として表示される３次元オブジェクトは、表表紙、裏表紙、および背表紙の形状および性質を特定するための情報を含まなくてもよい。この場合、全ての本の表表紙、裏表紙、および背表紙は、予め行われた設定に従って共通の形状および性質をもってもよい。

図４は、作用データ２４ｃに格納される情報の一例を示す図である。図４に示す例は、本に含まれるページに対する操作がそれらのページにどのように作用するかを示している。なお、本実施例では、ページに対する操作は、たとえば、ページの一部を指等で掴んで行う操作であると想定されている。

図４に示すように、ページに対する操作の作用は、状況、移動方向、移動範囲、移動速度、および剛性等の条件に応じて変化する。状況は、解放時、すなわち、掴む操作が完了した時点、または、移動中、すなわち、掴む操作の最中のいずれであるかを示す。移動方向は、ページを掴む指等の移動する方向である。移動範囲は、ページを掴む指等の移動する範囲である。移動速度は、ページを掴む指等の移動する速度である。剛性は、ページの硬さを示す。剛性は、ページの厚さに基づいて判定される。

状況が解放時で、ページを掴む指等の直前の移動方向が本の開閉方向、すなわち、ページの連結部を回転軸として回動する方向であったものとする。この場合、指等の移動範囲がページの連結部を超えていれば、すなわち、指等がページの連結部をまたがって移動していれば、携帯電話端末１は、掴まれていたページをめくられたように変化させる。また、指等の移動範囲がページの連結部を超えていなくても、移動速度が閾値よりも高く、かつ、剛性が閾値よりも高い場合には、携帯電話端末１は、掴まれていたページをめくられたように変化させる。また、指等の移動範囲がページの連結部を超えていない場合、移動速度が閾値よりも低いか、または、剛性が閾値よりも低い場合には、携帯電話端末１は、掴まれていたページを重力に従って変化させる。重力に従った変化は、例えば、重力方向への落下として表現される。

また、状況が移動中であり、ページを掴む指等の移動方向がページの連結部との距離が変化する方向であったものとする。この場合、ページの剛性が閾値より高ければ、携帯電話端末１は、掴まれている位置を変更する。また、ページの剛性が閾値より低い場合、掴まれている部分とページの連結部との距離が当初の距離以下であれば、携帯電話端末１は、掴まれているページを指等の動きに合わせて変化させる。また、ページの剛性が閾値より低く、掴まれている部分とページの連結部との距離が当初よりも大きい場合、携帯電話端末１は、掴まれているページを切り離されたように変化させる。すなわち、携帯電話端末１は、掴まれているページを本から独立させる。

また、ページを掴む指等の移動方向が本の開閉方向と直交する方向であり、ページの剛性が閾値より高い場合、携帯電話端末１は、掴まれている位置を変更する。また、ページを掴む指等の移動方向が本の開閉方向と直交する方向であり、ページの剛性が閾値より低い場合、携帯電話端末１は、掴まれているページを切り離されたように変化させる。また、ページを掴む指等の移動方向が本の開閉方向の場合、携帯電話端末１は、掴まれているページを指等の動きに合わせて変化させる。

このように、作用データ２４ｃには、ページが操作に応じて、現実の本のページと同様に変化するように情報が設定される。表表紙および裏表紙に関しても、ページと同様の設定が作用データ２４ｃにおいてなされる。なお、作用データ２４ｃの構成および内容は図４に示した例に限定されない。例えば、作用データ２４ｃは、図４に示した以外の条件を含んでもよい。また、作用データ２４ｃにおいて定義される作用は、図４に示した例と異なっていてもよい。

次に、図５から図９を参照しながら、本の閲覧機能を実現するために携帯電話端末１が実行する動作について説明する。図５は、本の閲覧機能を実現するために携帯電話端末１が実行する基本的な処理手順を示すフローチャートである。図６および図７は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。図８は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図９は、掴む操作検出処理の処理手順を示すフローチャートである。

図５に示す処理手順は、例えば、本の閲覧機能の起動を指示する所定の操作がタッチパネル３２によって検出された場合に、制御部２２が制御プログラム２４ａを実行することによって実現される。図５に示すように、本の閲覧機能を実現するため、制御部２２は、まず、ステップＳ１０１として、タッチパネル３２に本を３次元表示させる。表示される本の外観および内容は、オブジェクトデータ２４ｂに基づいて決定される。

続いて、制御部２２は、ステップＳ１０２として、本に対する操作が検出されたかを判定する。本に対する操作は、撮影部４０および４２によって撮影される画像に基づいて検出される。本に対する操作が検出された場合（ステップＳ１０２，Ｙｅｓ）、制御部２２は、ステップＳ１０３として、検出された操作に応じて表示中の本を変化させる。検出された操作に応じた本の変化のさせ方は、作用データ２４ｃに基づいて決定される。本に対する操作が検出されない場合（ステップＳ１０２，Ｎｏ）、表示中の本はそのままに保たれる。

続いて、制御部２２は、ステップＳ１０４として、処理を終了させるかを判定する。制御部２２は、例えば、利用者が本の閲覧機能の終了を指示する所定の操作を行った場合に、処理を終了させると判定する。処理を終了させる場合（ステップＳ１０４，Ｙｅｓ）、制御部２２は、図４に示す処理手順を完了させる。処理を終了させない場合（ステップＳ１０４，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。

上述したように、本実施例では、本に対する操作は、たとえば、ページを指等で掴んで行う操作であると想定される。すなわち、図５に示すステップＳ１０２では、ページを掴んで行う操作が検出され、ステップＳ１０３では、ページを掴んで行う操作に対応する処理が実行される。

以下、図６から図９を参照しながら、掴んで行う操作に関する制御の詳細について説明する。図６に示すステップＳＡ１では、タッチパネル３２によって、視認空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。

携帯電話端末１は、視認空間中に存在する指等の物体の位置および動作を撮影部４０および４２が撮影する画像に基づいて判定する。そして、携帯電話端末１は、判定した物体の位置および動作を、視認空間中に表示されている３次元ブロック等の３次元オブジェクトの形状および計算上の位置と照合することによって、３次元オブジェクトに対する操作を検出する。

物体の位置は、予め登録されている物体の大きさと画像中の物体の大きさおよび位置とに基づいて判定してもよい。あるいは、物体の位置は、撮影部４０が撮影した画像における物体の大きさおよび位置と撮影部４２が撮影した画像における物体の大きさおよび位置とを照合して判定してもよい。指等の物体の動作の判定は、既知の技術を用いて実現してよい。また、指が物体の場合、指のつま先の位置を物体の位置として処理することが好ましい。

３次元オブジェクトの形状は、オブジェクトデータ２４ｂにおいて定義される。視認空間における３次元オブジェクトの計算上の位置は、タッチパネル３２の表示面上での３次元オブジェクトの位置と、視認空間内での３次元オブジェクトの浮き上がり量とに基づいて算出される。視認空間内での３次元オブジェクトの浮き上がり量は、表示時に決定された値であってもよいし、３次元オブジェクトを立体的に表示するために用いられる右目用の画像と左目用の画像における３次元オブジェクトの位置の差から算出された値であってもよい。

携帯電話端末１は、視認空間内で２つの物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する場合、２つの物体の距離Ｄ１の変化を監視する。そして、距離Ｄ１が所定時間以上ほぼ一定であれば、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。

３次元オブジェクトＯＢ１が選択状態になったことは、例えば、３次元オブジェクトＯＢ１の表面のうち、検出された２つの物体を結ぶ直線と交差する部分の近傍の色または明るさを変更することによって利用者に通知される。なお、このような視覚による通知に代えて、または、視覚による通知に加えて、音または振動による通知を行ってもよい。

携帯電話端末１が２つの物体の距離Ｄ１の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳＡ１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。例えば、利用者は、掴みたいページを挟む位置に指Ｆ１および指Ｆ２を移動させた後、掴んだページが選択状態となったことが通知される前に、掴んだページをめくる動作を開始してもよい。

ステップＳＡ１の状態から、ステップＳＡ２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、携帯電話端末１は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が表示されていることが検出された段階、すなわち、ステップＳＡ１の段階から、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、回転等の変化を加える。そして、携帯電話端末１は、ステップＳＡ３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。

なお、図７のステップＳＢ１からステップＳＢ３に示すように、所定時間が経過する前に指Ｆ１と指Ｆ２の距離Ｄ１が離れた場合、携帯電話端末１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。すなわち、利用者が、３次元オブジェクトＯＢ１を操作することを意図していなかった場合、３次元オブジェクトＯＢ１は、元の状態に戻される。その結果、３次元オブジェクトＯＢ１は、ステップＳＢ１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。

このように、２つの物体の間に３次元オブジェクトが表示されていることが検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。なお、２つの物体の距離がほぼ一定に保たれた状態が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも選択状態とも異なる態様（例えば、半透明）で表示することにより、利用者が３次元オブジェクトの状態を判別し易くしてもよい。

なお、ステップＳＡ１の段階から、指Ｆ１および指Ｆ２の動きに応じて３次元オブジェクトＯＢ１を変化させるのではなく、３次元オブジェクトＯＢ１が選択状態になった後に３次元オブジェクトＯＢ１を変化させ始めてもよい。また、ステップＳＡ１のように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続した場合にのみ、３次元オブジェクトＯＢ１を選択状態にすることとしてもよい。

また、図６では、２つの物体の間に表示されている１つの３次元オブジェクトが選択される例を示したが、選択される３次元オブジェクトの数は１つに限定されない。２つの物体の間に複数の３次元オブジェクトが表示されていることが検出された場合、携帯電話端末１は、それらの３次元オブジェクトをまとめて選択する。すなわち、携帯電話端末１は、利用者が複数のページをまとめて選択し、それらを操作することを許す。

図８は、３次元オブジェクトの選択検出処理の処理手順を示す。図８に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図８に示すように、制御部２２は、ステップＳ２０１として、検出部、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体は、例えば、利用者の指である。

第１の物体および第２の物体が検出された場合（ステップＳ２０１，Ｙｅｓ）、制御部２２は、ステップＳ２０２として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。

第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳ２０３，Ｙｅｓ）、制御部２２は、ステップＳ２０４として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。第１の物体と第２の物体との間に複数の３次元オブジェクトが表示されている場合、制御部２２は、それらの３次元オブジェクトを全て仮選択状態にする。また、制御部２２は、ステップＳ２０５として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ２０６として、図９に示す掴む操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。

第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつからない場合（ステップＳ２０３，Ｎｏ）、ステップＳ２０４〜ステップＳ２０６は実行されない。

その後、制御部２２は、ステップＳ２０７として、処理を終了させるかを判定する。処理を終了させる場合（ステップＳ２０７，Ｙｅｓ）、制御部２２は、処理手順を完了させる。処理を終了させない場合（ステップＳ２０７，Ｎｏ）、制御部２２は、ステップＳ２０１以降を再実行する。

第１の物体および第２の物体が検出されない場合（ステップＳ２０１，Ｎｏ）、制御部２２は、ステップＳ２０７を実行する。

図９は、掴む操作検出処理の処理手順を示す。図９に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図９に示すように、制御部２２は、まず、ステップＳ３０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ３０２として、３次元オブジェクトの選択時、すなわち、掴む操作検出処理の開始時点における距離とステップＳ３０１で測定した距離との差が閾値より大きいかを判定する。ここで用いられる閾値は、第１の物体と第２の物体の距離が、３次元オブジェクトの選択時とほぼ同じであるかを判定するための値である。

距離の差が閾値よりも小さい場合（ステップＳ３０２，Ｎｏ）、制御部２２は、ステップＳ３０３として、掴む操作検出処理が開始されてから所定時間が経過したかを判定する。所定時間が経過していた場合（ステップＳ３０３，Ｙｅｓ）、制御部２２は、ステップＳ３０４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトを選択状態にする。所定時間が経過していない場合（ステップＳ３０３，Ｎｏ）、ステップＳ３０４は実行されない。なお、所定時間は、例えば、０．１秒のように十分に短い時間でよい。

続いて、制御部２２は、ステップＳ３０５として、検出された第１の物体および第２の物体の動きに応じて、選択状態または仮選択状態にある３次元オブジェクトを変化させる。３次元オブジェクトの変化させ方は、作用データ２４ｃに基づいて決定される。例えば、制御部２２は、選択状態または仮選択状態にある本のページを、第１の物体および第２の物体の動きに合わせて、持ち上げられたように変化させる。そして、制御部２２は、ステップＳ３０１以降を再実行する。

距離の差が閾値よりも大きい場合（ステップＳ３０２，Ｙｅｓ）、制御部２２は、ステップＳ３０６として、第１の物体と第２の物体の間に表示されていた３次元オブジェクトが仮選択状態であるかを判定する。

３次元オブジェクトが仮選択状態である場合（ステップＳ３０６，Ｙｅｓ）、制御部２２は、ステップＳ３０７として、３次元オブジェクトの仮選択状態を解除する。また、制御部２２は、ステップＳ３０８として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、掴む操作検出処理を終了させる。

３次元オブジェクトが仮選択状態でない場合、すなわち、選択状態の場合（ステップＳ３０６，Ｎｏ）、制御部２２は、ステップＳ３０９として、第１の物体と第２の物体の距離の変化に合わせて３次元オブジェクトの選択範囲の維持または変更が可能であるかを判定する。

第１の物体と第２の物体の距離が短くなった場合、３次元オブジェクトの選択範囲は、維持または縮小される。具体的には、選択状態となっている３次元オブジェクトが１つの場合、第１の物体と第２の物体の距離が短くなっても３次元オブジェクトは選択状態のままである。選択状態となっている３次元オブジェクトが複数の場合、第１の物体と第２の物体の距離が短くなるにつれて選択状態となっている３次元オブジェクトの数は減っていくが、少なくとも１つの３次元オブジェクトは選択状態のままとなる。例えば、本のページが指で掴まれている場合、制御部２２は、指が近付くにつれて掴まれているページの枚数を減らしていくが、少なくとも１ページは掴まれた状態を維持する。

一方、第１の物体と第２の物体の距離が長くなった場合、３次元オブジェクトの選択範囲は、維持または変更が可能でない場合がある。具体的には、第１の物体と第２の物体の距離が長くなったことによって、第１の物体と第２の物体の間に選択状態にない３次元オブジェクトが位置することになった場合、選択範囲は拡張される。この場合、選択状態にない３次元オブジェクトが選択状態に変わる。距離が長くなった第１の物体と第２の物体の間に選択状態にない３次元オブジェクトがなく、第１の物体または第２の物体と選択状態にある３次元オブジェクトとの間の隙間が所定の大きさよりも大きくなった場合には、選択範囲の維持または変更は可能でない。選択範囲の維持または変更は可能でないと判定された場合、選択状態の３次元オブジェクトは解放される。

例えば、本のページが指で掴まれている場合、制御部２２は、指が拡がるにつれて掴まれているページの枚数を増やしていく。そして、掴めるページがなくなり、掴まれているページといずれかの指の間の隙間が所定の大きさよりも大きくなった場合には、制御部２２は、選択範囲の維持または変更は可能でないと判定する。

第１の物体と第２の物体の距離の変化に合わせて３次元オブジェクトの選択範囲の維持または変更が可能な場合（ステップＳ３０９，Ｙｅｓ）、制御部２２は、ステップＳ３１０として、第１の物体と第２の物体の距離の変化に合わせて３次元オブジェクトの選択範囲を維持または変更する。そして、制御部２２は、ステップＳ３０１以降を再実行する。

第１の物体と第２の物体の距離の変化に合わせて３次元オブジェクトの選択範囲の維持または変更が可能でない場合（ステップＳ３０９，Ｎｏ）、制御部２２は、ステップＳ３１１として、３次元オブジェクトの選択状態を解除する。また、制御部２２は、ステップＳ３１２として、解放時の状況に応じて３次元オブジェクトを変化させる。３次元オブジェクトの変化させ方は、作用データ２４ｃに基づいて決定される。例えば、制御部２２は、選択状態にある本のページを、重力に従ってめくれたように変化させる。そして、制御部２２は、掴む操作検出処理を終了させる。

次に、図１０から図２４を参照しながら、本の閲覧機能における制御の具体例について説明する。なお、説明を簡単にするため、以下では仮選択状態についての説明を省略する。

図１０は、閉じた本の一例を示す図である。図１０において、携帯電話端末１は、タッチパネル３２に本５０を立体的に表示させている。この例において、本５０は、閉じている。本５０の外観は、オブジェクトデータ２４ｂに基づいて決定される。なお、オブジェクトデータ２４ｂに忠実に本５０を表示すると本５０の厚みが所定の値よりも小さい場合、携帯電話端末１は、本５０の厚みが所定の値以上になるようにページの厚さを補正してもよい。本５０の厚みを増すことにより、利用者が本５０に対する操作を行い易くなる。

図１１は、ページめくりの制御の一例を示す図である。図１１に示すステップＳＣ１では、利用者が、指Ｆ１と指Ｆ２の間に本５０の表表紙およびページが位置するように、指Ｆ１および指Ｆ２を移動させている。携帯電話端末１は、指Ｆ１と指Ｆ２の間に表表紙およびページが位置していることを検出すると、指Ｆ１と指Ｆ２の間に位置する表表紙およびページを選択状態にする。

その後、ステップＳＣ２では、利用者が、指Ｆ１と指Ｆ２の間隔をほぼ一定に保ったまま、指Ｆ１と指Ｆ２をページの連結部を超えるまで本５０の開閉方向に移動させている。携帯電話端末１は、このような指Ｆ１および指Ｆ２の動作を検出すると、作用データ２４ｃに移動に従って、選択状態にある表表紙およびページを変化させる。具体的には、携帯電話端末１は、指Ｆ１および指Ｆ２の移動に合わせて、選択状態にある表表紙およびページの角度を変化させる。

その状態で利用者が指Ｆ１と指Ｆ２の間の距離を広げるか、指Ｆ１および指Ｆ２をページの連結部から遠ざけて指Ｆ１と指Ｆ２の間に表表紙およびページが位置しない状態にすると、選択状態にある表表紙およびページは解放される。その結果、携帯電話端末１は、作用データ２４ｃに移動に従って、本５０を変化させる。具体的には、ステップＳＣ３に示すように、選択状態にあったページのうち内側の端のページが一番上になるように、本５０を変化させる。携帯電話端末１は、本５０の開いたページの表面に、それらのページに対応するテキストおよび画像等を表示する。

図１２は、ページめくりの制御の他の例を示す図である。図１２に示すステップＳＤ１では、図１１に示したような制御により、本５０は既に開いた状態で表示されている。そして、利用者が、開いているページを含むページが指Ｆ１と指Ｆ２の間に位置するように、指Ｆ１および指Ｆ２を移動させている。携帯電話端末１は、指Ｆ１と指Ｆ２の間にページが位置していることを検出すると、指Ｆ１と指Ｆ２の間に位置するページを選択状態にする。

その後、ステップＳＤ２では、利用者が、指Ｆ１と指Ｆ２の間隔をほぼ一定に保ったまま、指Ｆ１と指Ｆ２をページの連結部を超えるまで本５０の開閉方向に移動させている。携帯電話端末１は、このような指Ｆ１および指Ｆ２の動作を検出すると、作用データ２４ｃに移動に従って、選択状態にあるページを変化させる。具体的には、携帯電話端末１は、指Ｆ１および指Ｆ２の移動に合わせて、選択状態にあるページの角度を変化させる。

このとき、携帯電話端末１は、ページの厚み（剛性）に応じて選択状態にあるページの変化のさせ方を変えてもよい。例えば、ページが閾値よりも厚い場合（剛性が高い場合）、携帯電話端末１は、ページをたわませずに角度を変化させてもよい。また、ページが閾値よりも厚い場合（剛性が高い場合）、携帯電話端末１は、選択状態にあるページを掴む物体が、ページの連結部を回転軸として円弧を描くように移動しなければページの角度が変わらないように、ページの変化を制約してもよい。また、ページが閾値よりも薄い場合（剛性が低い場合）、携帯電話端末１は、選択状態にあるページを掴む物体の動きと重力とに合わせてページをたわませてもよい。

ステップＳＤ２の状態で利用者が指Ｆ１と指Ｆ２の間の距離を広げるか、指Ｆ１および指Ｆ２をページの連結部から遠ざけて指Ｆ１と指Ｆ２の間にページが位置しない状態にすると、選択状態にあるページは解放される。その結果、携帯電話端末１は、作用データ２４ｃに移動に従って、本５０を変化させる。具体的には、ステップＳＤ３に示すように、選択状態にあったページのうち内側の端のページが一番上になるように、本５０を変化させる。携帯電話端末１は、本５０の開いたページの表面に、それらのページに対応するテキストおよび画像等を表示する。

図１３は、ページめくりの制御のさらに他の例を示す図である。図１３に示すステップＳＥ１では、図１２に示したような制御により、複数のページがめくられつつある。そして、利用者が、選択状態にあるページの一部が指Ｆ３と指Ｆ４の間に位置するように、指Ｆ３および指Ｆ４を移動させている。携帯電話端末１は、指Ｆ３と指Ｆ４の間にページが位置していることを検出すると、指Ｆ３と指Ｆ４の間に位置するページを、指Ｆ３および指Ｆ４と対応付ける。

その後、ステップＳＥ２では、利用者が、指Ｆ３と指Ｆ４の間隔をほぼ一定に保ったまま、指Ｆ３と指Ｆ４をページの連結部を超えるまで本５０の開閉方向に移動させている。携帯電話端末１は、このような指Ｆ３および指Ｆ４の動作を検出すると、作用データ２４ｃに移動に従って、選択状態にあるページを変化させる。具体的には、携帯電話端末１は、指Ｆ３および指Ｆ４の移動に合わせて、選択状態にあるページのうち、指Ｆ３および指Ｆ４と対応付けられているページの角度を変化させる。

ステップＳＥ２の状態で利用者が指Ｆ１と指Ｆ２の間の距離を広げるか、指Ｆ１および指Ｆ２をページの連結部から遠ざけて指Ｆ１と指Ｆ２の間にページが位置しない状態にすると、指Ｆ１と指Ｆ２の間にあるページは解放される。また、ステップＳＥ２の状態で利用者が指Ｆ３と指Ｆ４の間の距離を広げるか、指Ｆ３および指Ｆ４をページの連結部から遠ざけて指Ｆ３と指Ｆ４の間にページが位置しない状態にすると、指Ｆ３と指Ｆ４の間にあるページは解放される。その結果、携帯電話端末１は、作用データ２４ｃに移動に従って、本５０を変化させる。具体的には、ステップＳＥ３に示すように、指Ｆ１と指Ｆ２の間にあったページと指Ｆ３と指Ｆ４の間にあったページとの境のページが一番上になるように、本５０を変化させる。携帯電話端末１は、本５０の開いたページの表面に、それらのページに対応するテキストおよび画像等を表示する。

図１１から図１３に示したように、携帯電話端末１は、利用者がページを掴んで本を開くことを可能にする。その結果、利用者は、最初から１ページずつめくって本を読むだけでなく、現実の本に対する操作と同様の操作によって、電子的な出版物から所望の箇所を容易に見つけることができる。

めくられるページ数は、ページを選択する物体の距離に応じて決定される。図１４は、めくられるページ数と物体間の距離の関係を示す図である。図１４に示すように、ページを選択する指Ｆ１と指Ｆ２との間の距離Ｄ１が距離Ｄｘよりも短い場合、めくられるページ数は、距離Ｄ１が距離Ｄｘのときよりも少なくなる。一方、ページを選択する指Ｆ１と指Ｆ２との間の距離Ｄ１が距離Ｄｘよりも長い場合、めくられるページ数は、距離Ｄ１が距離Ｄｘのときよりも多くなる。このように、携帯電話端末１は、本５０との間に隙間ができない限り、距離Ｄ１が長くなるほどめくられるページ数を増やす。

このように、携帯電話端末１が距離Ｄ１に応じてめくられるページ数を変更することにより、利用者は、任意のページ数をめくることができる。

携帯電話端末１は、距離Ｄ１に応じた数のページを選択状態にした後、選択範囲を変更可能な範囲で距離Ｄ１が変化した場合には、選択状態にあるページ数を変化後の距離Ｄ１に応じて変更する。携帯電話端末１は、ページが選択されている範囲を利用者に提示することが好ましい。

図１５は、ページが選択されている範囲を利用者に提示する例を示す図である。図１５に示すステップＳＦ１では、利用者が、開いているページを含むページが指Ｆ１と指Ｆ２の間に位置するように、指Ｆ１および指Ｆ２を移動させている。携帯電話端末１は、指Ｆ１と指Ｆ２の間にページが位置していることを検出すると、指Ｆ１と指Ｆ２の間に位置するページを選択状態にする。さらに、携帯電話端末１は、選択状態になったページのうち、開いているページとは反対側の端のページのページ番号（８７）を表示する。なお、図１５に示した例では、開いているページにページ番号が表示されているが、ページ番号を表示する位置は、利用者に見える位置であればどこでもよい。

その後、ステップＳＦ２では、利用者が、本５０との隙間を作ることなく、指Ｆ１と指Ｆ２との間の距離を広げている。その結果、携帯電話端末１は、選択状態にあるページ数を増やす。さらに、携帯電話端末１は、選択状態にあるページの範囲を示すページ番号（１２５）を表示し直す。このように、携帯電話端末１が、ページが選択されている範囲を利用者に提示することにより、利用者は、めくられるページの範囲を容易に調整することができる。

なお、図１５では、ページが選択されている範囲を利用者に提示するためにページ番号を表示することとしたが、ページ番号に代えて、あるいは、ページ番号に加えて、選択状態にあるページ数またはページの内容を表示してもよい。図１６は、ページが選択されている範囲を利用者に提示するためにページの内容を表示する例を示す図である。

図１６に示すステップＳＧ１では、本５０の開いたページに、それらのページに対応するテキストおよび画像等が表示されている。そして、ステップＳＧ２では、利用者が、開いているページを含むページが指Ｆ１と指Ｆ２の間に位置するように、指Ｆ１および指Ｆ２を移動させている。携帯電話端末１は、指Ｆ１と指Ｆ２の間にページが位置していることを検出すると、指Ｆ１と指Ｆ２の間に位置するページを選択状態にする。さらに、携帯電話端末１は、選択状態になったページがめくられたら表示されるページに対応するテキストおよび画像等を表示する。なお、図１６に示した例では、開いているページの内容が置き換えられているが、ページの内容を表示する位置および大きさは、利用者に見える位置および大きさであればよい。

その後、ステップＳＧ３では、利用者が、本５０との隙間を作ることなく、指Ｆ１と指Ｆ２との間の距離を広げている。その結果、携帯電話端末１は、選択状態にあるページ数を増やす。さらに、携帯電話端末１は、選択状態になったページがめくられたら表示されるページに対応するテキストおよび画像等を表示し直す。このように、携帯電話端末１が、ページの内容を利用者に提示することにより、利用者は、ページをめくることによってどのページが見られるかを容易に把握することができる。

なお、選択状態にあるページ数を調整するために、指Ｆ１と指Ｆ２との間の距離だけでなく、指Ｆ１と指Ｆ２の移動速度を用いてもよい。具体的には、指Ｆ１と指Ｆ２の移動速度が閾値よりも早い場合は、距離の変化量に対する選択状態にあるページ数の変化量を大きくする。一方、指Ｆ１と指Ｆ２の移動速度が閾値よりも遅い場合は、距離の変化量に対する選択状態にあるページ数の変化量を小さくする。このように、指Ｆ１と指Ｆ２の移動速度を用いることにより、利用者が、選択状態にあるページ数を意図する値に調整しやすくなる。ここでいう指Ｆ１と指Ｆ２の移動速度は、指Ｆ１の移動速度と指Ｆ２の移動速度のうち、いずれか速い方を用いることが好ましい。

以上、複数のページをまとめてめくる操作について説明してきたが、携帯電話端末１は、ページを１枚ずつめくる操作も受け付けてよい。例えば、携帯電話端末１は、開いているページの一方に触れた指等を他方のページへ向けて移動させる動作が検出された場合に、接触された方のページを１枚めくってもよい。この操作は、現実の薄い紙のページをめくる場合の動作を模している。

携帯電話端末１は、ページに関する操作として、めくる操作以外の操作を受け付けてもよい。例えば、携帯電話端末１は、ページに関する操作として、ページに目印を付ける操作を受け付けてもよい。図１７は、ページに目印を付ける操作の一例を示す図である。図１７に示すステップＳＨ１では、利用者は、１枚のページの角を指Ｆ１および指Ｆ２で掴んでいる。そして、ステップＳＨ２では、利用者は、掴んだ部分を折り返すように指Ｆ１および指Ｆ２を移動させている。

このように、ページの一部を折り返す動作が検出された場合、携帯電話端末１は、その部分を折れ目５０ａとして、折り返されたままの状態に保つ。そして、携帯電話端末１は、折れ目５０ａを設けたページをオブジェクトデータ２４ｂに記録する。携帯電話端末１は、図１８に示すように、本５０が閉じられた場合にも、利用者が折れ目５０ａの位置を把握できるように、折れ目５０ａを色または明るさを変える等して他の部分と異なる態様で表示することが好ましい。このように、携帯電話端末１が利用者の操作に応じて折り返しを設定することにより、利用者は、後で見直したいページ等に目印を付けておくことができる。

なお、折れ目５０ａは、１つの本５０において、複数設定可能である。また、携帯電話端末１は、ページの厚みが閾値より厚い場合（剛性が高い場合）は、ページの一部を折り返す動作が検出されても折れ目を設けなくてもよい。

携帯電話端末１は、折れ目５０ａが設定されたページを利用者が閲覧し易いように、ページが選択される範囲を調整することが好ましい。図１９は、ページが選択される範囲を調整する処理手順の一例を示すフローチャートである。携帯電話端末１の制御部２２は、第１の物体と第２の物体の間にページが表示されていることを検出すると、ステップＳ４０１として、第１の物体と第２の物体の間の距離を算出する。そして、制御部２２は、ステップＳ４０２として、算出した距離に基づいて、選択されるページ数を算出する。

続いて、制御部２２は、ステップＳ４０３として、選択される最後のページの前後所定数内のページに折れ目があるか否かを判定する。折れ目がある場合（ステップＳ４０４，Ｙｅｓ）、制御部２２は、ステップＳ４０５として、折れ目のあるページまでが選択されるように選択されるページ数を補正する。選択される最後のページの前後所定数内のページに折れ目があるページが複数ある場合、制御部２２は、例えば、折れ目のあるページのうち、掴まれている最後のページに最も近いページまでが選択されるように選択されるページ数を補正する。

選択される最後のページの前後所定数内のページに折れ目がない場合（ステップＳ４０４，Ｎｏ）、制御部２２は、ステップＳ４０２で算出されたページ数に基づいてページを選択する。

なお、図１９に示したような選択範囲の調整は、図１８に示す角５０ｂのように折れ目５０ａが設けられている角の近傍でページを掴む操作が行われた場合にのみ実行することとしてもよい。すなわち、角５０ｃのように折れ目５０ａが設けられていない角の近傍でページを掴む操作が行われた場合には、選択範囲を調整しなくてもよい。このように、携帯電話端末１が、ページが選択される位置によって選択範囲の調整を抑制することにより、利用者は、折れ目５０ａが設けられているページの前後所定数内のページを参照しやすくなる。

携帯電話端末１は、図２０に示すように本に栞６０を挟む操作、または、スピンを挟む操作が検出された場合も、折れ目が設けられた場合と同様に、ページが選択される範囲を調整することが好ましい。

また、携帯電話端末１は、ページに関する操作として、ページを切り取る操作を受け付けてもよい。図２１は、ページを切り取る操作の一例を示す図である。図２１に示すステップＳＩ１では、利用者は、ページ５０ｄの端部を指Ｆ１および指Ｆ２で掴み、ページの連結部との距離が遠くなるように指Ｆ１および指Ｆ２を移動させている。携帯電話端末１は、このような指Ｆ１および指Ｆ２の動作を検出すると、作用データ２４ｃに移動に従って、ページ５０ｄを変化させる。具体的には、携帯電話端末１は、ステップＳＩ２に示すように、ページ５０ｄを破いて、本５０から独立させる。

図２２は、ページを切り取る操作の他の例を示す図である。図２２に示すステップＳＪ１では、利用者は、ページ５０ｄの角を指Ｆ１および指Ｆ２で掴んでいる。そして、ステップＳＪ２では、利用者は、指Ｆ１および指Ｆ２を本５０の開閉方向と直交する方向へ移動させている。携帯電話端末１は、このような指Ｆ１および指Ｆ２の動作を検出すると、作用データ２４ｃに移動に従って、ページ５０ｄを変化させる。具体的には、携帯電話端末１は、ページ５０ｄを指Ｆ１および指Ｆ２の移動に合わせて破いていく。その結果、利用者が指Ｆ１および指Ｆ２の移動を継続すると、ステップＳＪ３に示すように、ページ５０ｄは、破けて本５０から独立する。

図２３は、ページの一部を切り取る操作の一例を示す図である。図２３に示すステップＳＫ１では、利用者は、ページ５０ｅの角を指Ｆ１および指Ｆ２で掴み、もう一方の手の指Ｆ４および指Ｆ５をはさみの形にしている。そして、ステップＳＫ２では、利用者は、ページ５０ｅを横切るように指Ｆ４および指Ｆ５を移動させている。携帯電話端末１は、このような指Ｆ４および指Ｆ５の動作を検出すると、指Ｆ４および指Ｆ５によって横切られた部分に切れ目を入れていく。その結果、ステップＳＫ３に示すように、ページ５０ｅの一部であるページ片５０ｆが指Ｆ４および指Ｆ５の移動経路に合わせて切り取られて、本５０から独立する。なお、ページの一部を切り取る操作は、このようにはさみの形にした指にページを横切らせる動作に限定されない。例えば、携帯電話端末１は、ページを指でなぞる動作が検出された場合に、なぞられた経路に合わせてページ片を切り取ってもよい。

図２１から図２３に示したように、携帯電話端末１が、ページの全体または一部を切り取ることにより、利用者は、興味があるテキスト等を含むページを本とは別に種々のファイル形式で管理することができる。なお、携帯電話端末１は、ページの厚みが閾値より厚い場合（剛性が高い場合）は、ページを切り取ることができないようにしてもよい。また、携帯電話端末１は、ページを切り取る操作を検出した場合に、ページを破かずに、ページの複製を本から独立させてもよい。このように、ページが破れないようになす対象は、たとえば、当該ページが著作権管理上、複製を禁止する対象物であってもよい。

携帯電話端末１は、複数の本を立体的に表示することもできる。図２４は、複数の本を立体的に表示する場合の制御の例を示す図である。図２４に示すステップＳＬ１では、携帯電話端末１は、タッチパネル３２に、本５１〜５３という３冊の本を立体的に表示させている。そして、ステップＳＬ２では、利用者が、指Ｆ１および指Ｆ２を使って、本５３を開くための操作を行っている。

携帯電話端末１は、本５３を開く操作を検出すると、検出した操作に従って本５３を開かせる。このとき、携帯電話端末１は、開いた本５３をタッチパネル３２のほぼ全面に拡大表示させる。このように、開いた本５３を拡大表示することにより、利用者は、本５３のページを閲覧し易くなる。

携帯電話端末１は、ページと対応付けて他のオブジェクトを表示してもよい。図２５から図３３を参照しながら、ページと対応付けた他のオブジェクトの表示について説明する。図２５は、ページと対応付けて他のオブジェクトを表示する処理の処理手順を示すフローチャートである。

図２５に示す処理手順は、例えば、本の閲覧機能の起動を指示する所定の操作がタッチパネル３２によって検出された場合に、制御部２２が制御プログラム２４ａを実行することによって実現される。図２５に示すように、制御部２２は、まず、ステップＳ５０１として、タッチパネル３２に本を３次元表示させる。表示される本の外観および内容は、オブジェクトデータ２４ｂに基づいて決定される。

続いて、制御部２２は、ステップＳ５０２として、本に対する操作が検出されたかを判定する。本に対する操作は、撮影部４０および４２によって撮影される画像に基づいて検出される。本に対する操作が検出された場合（ステップＳ５０２，Ｙｅｓ）、制御部２２は、ステップＳ５０３として、検出された操作に応じて表示中の本を変化させる。検出された操作に応じた本の変化のさせ方は、作用データ２４ｃに基づいて決定される。

続いて、制御部２２は、ステップＳ５０４として、内容が表示されるページが切り替わったかを判定する。ページが切り替わった場合（ステップＳ５０４，Ｙｅｓ）、制御部２２は、ステップＳ５０５として、新たに内容が表示されるようになったページに対応付けられたオブジェクトをページに対応する態様で表示させる。

本に対する操作が検出されない場合（ステップＳ５０２，Ｎｏ）、表示中の本はそのままに保たれる。また、ページが切り替わっていない場合（ステップＳ５０４，Ｎｏ）、ステップＳ５０５は実行されない。

続いて、制御部２２は、ステップＳ５０６として、処理を終了させるかを判定する。制御部２２は、例えば、利用者が本の閲覧機能の終了を指示する所定の操作を行った場合に、処理を終了させると判定する。処理を終了させる場合（ステップＳ５０６，Ｙｅｓ）、制御部２２は、図２５に示す処理手順を完了させる。処理を終了させない場合（ステップＳ５０６，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。

このように、携帯電話端末１は、ページと対応付けて他のオブジェクトを表示する場合、ページの切り替えに合わせてオブジェクトの表示を変更する。以下に、ページと対応付けて他のオブジェクトを表示する具体例について説明する。

図２６から図２９は、ページと対応付けて海洋生物を３次元表示する例を示している。図２６に示す例では、本５５のページ番号５１のページにオルカの３次元オブジェクト５５ａが対応付けられ、ページ番号５０のページに熱帯魚の３次元オブジェクト５５ｂおよび５５ｃが対応付けられている。３次元オブジェクト５５ａ〜５５ｃは、ページ番号５０のページおよびページ番号５１のページが表示されると、それらのページから飛び出したように表示される。このように、本のページと対応付けられた３次元オブジェクトを飛び出したように表示することにより、現実の本に挿入される画像やイラストよりも現実感のある情報を利用者に提供することができる。

ページと３次元オブジェクトの対応を利用者が任意に変更できるようにしてもよい。例えば、図２７に示すように、利用者が３次元オブジェクト５５ａを指Ｆ３および指Ｆ４で掴んだまま、指Ｆ１および指Ｆ２を使ってページを１枚めくったものとする。携帯電話端末１は、このように３次元オブジェクトが掴まれた状態でページがめくられたことを検出すると、掴まれている３次元オブジェクトを新たに表示されたページに対応付ける。

その結果、３次元オブジェクト５５ａは、図２８に示すように、ページ番号５３のページに対応付けられる。また、図２９に示すように、利用者がページを戻してページ番号５１のページを表示させると、ページとの対応付けが変更されたため、３次元オブジェクト５５ａは表示されない。

図２６から図２９では、他のオブジェクトをページの１つの面に対応付けることとしたが、他のオブジェクトをページの表および裏と対応付けてもよい。この場合、携帯電話端末１は、ページの角度に応じてオブジェクトの表示させ方を変更する。

図３０は、ページの表および裏と対応付けて海洋生物を３次元表示する例を示している。図３０に示す例では、本５６のページ５６ａの表および裏にオルカの３次元オブジェクト５６ｂが対応付けられている。携帯電話端末１は、ページ５６ａの一方の面が表示されている場合、オルカの上半身がページ５６ａから飛び出したように３次元オブジェクト５６ｂを３次元表示させる。

そして、利用者がページ５６ａをめくる操作を始めると、携帯電話端末１は、ページ５６ａの角度に合わせて、３次元オブジェクト５６ｂの表示される部分を多くしていく。ページ５６ａが垂直になった時点では、３次元オブジェクト５６ｂの全体が表示される。そして、利用者がページ５６ａをめくる操作を継続すると、携帯電話端末１は、ページ５６ａの角度に合わせて、３次元オブジェクト５６ｂの表示される部分を少なくしていく。ページ５６ａが完全にめくられると、携帯電話端末１は、オルカの下半身がページ５６ａから飛び出したように３次元オブジェクト５６ｂを３次元表示させる。

利用者がページ５６ａを逆方向にめくると、携帯電話端末１は、３次元オブジェクト５６ｂを上記の説明とは逆に変化させていく。

図３１は、ページの表および裏と対応付けて海洋生物を３次元表示する他の例を示している。図３１に示す例では、本５７のページ５７ａの表および裏にオルカの３次元オブジェクト５７ｂが対応付けられている。携帯電話端末１は、ページ５７ａの一方の面が表示されている場合、オルカの背びれが上を向くように３次元オブジェクト５７ｂを３次元表示させる。

そして、利用者がページ５７ａをめくる操作を始めると、携帯電話端末１は、ページ５７ａの角度に合わせて、３次元オブジェクト５７ｂを横方向に回転させていく。ページ５７ａが完全にめくられると、携帯電話端末１は、オルカの腹部が上を向くように３次元オブジェクト５７ｂを３次元表示させる。利用者がページ５７ａを逆方向にめくると、携帯電話端末１は、３次元オブジェクト５７ｂを上記の説明とは逆に変化させていく。

このように、携帯電話端末１が、ページめくりと連動してオブジェクトを変化させることにより、利用者は、ページめくりという慣れ親しんだ操作によってオブジェクトを希望する通りに変化させることができる。すなわち、情報機器の操作が苦手な利用者であっても、ページをめくるだけで、３次元オブジェクトを回転させるといった複雑な処理を実現させることができる。

携帯電話端末１は、複数のページにオブジェクトを対応付けてもよい。図３２は、複数のページにオブジェクトを対応付けて海洋生物を３次元表示する例を示している。図３２に示す例では、本５８のページ面５８ａ〜５８ｄという４つの面に熱帯魚の３次元オブジェクト５８ｅと、オルカの３次元オブジェクト５８ｆとが対応付けられている。

携帯電話端末１は、ページ面５８ａおよび５８ｂが表示されている場合、３次元オブジェクト５８ｅおよび３次元オブジェクト５８ｆを同じ縮尺で表示する。熱帯魚とオルカの大きさの差は大きいため、ページ面５８ａおよび５８ｂが表示されている場合、３次元オブジェクト５８ｆは、オルカの尾の部分が視認領域からはみ出して全身が表示されない。３次元オブジェクト５８ｆの視認領域からはみ出している部分は、ページをめくってページ面５８ｃおよび５８ｄを表示させることによって表示される。

このように、複数の生物を同じ縮尺で表示することにより、利用者は、生物の大きさの差を容易に把握することができる。また、利用者は、視認領域からはみ出して表示されない部分を、ページをめくるという慣れ親しんだ操作によって閲覧することができる。

図３３に示す例では、本５９のページ面５９ａ〜５９ｄという４つの面に住宅の３次元オブジェクト５９ｅが対応付けられている。携帯電話端末１は、ページ面５９ａおよび５９ｂが表示されている場合、３次元オブジェクト５９ｅの全体を表示する。携帯電話端末１は、ページ面５９ｃおよび５９ｄが表示されている場合、住宅の１階のみが表示されるように３次元オブジェクト５９ｅを表示する。

このように、携帯電話端末１は、めくられたページ数に応じて断面を設定し、設定した断面で切断した状態のオブジェクトを表示することもできる。このような制御は、めくられたページ数に応じてビルのフロアマップを表示する用途や、めくられたページ数に応じて人体の断面図を表示する用途等に応用することができる。

なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して指で操作を行うこととしたが、先端に静電気を帯びた棒状の物等を指の代わりに用いてもよい。

また、上記の実施例では、３次元表示された本のページがめくられる枚数を検出された指の間の距離に基づいて決定する例について説明した。しかしながら、ページがめくられる枚数が決定される本は、２次元表示された本であってもよい。例えば、携帯電話端末１は、２次元表示された本の端部での２本の指等の物体の接触がタッチパネル３２によって検出された場合、検出された２つの物体間の距離に基づいて、その後に所定のページめくり操作が検出された際にめくられるページ数を決定してもよい。

また、上記の実施例では、ページに対応付けて表示されるオブジェクトの例として３次元オブジェクトを示した。しかしながら、ページに対応付けて表示されるオブジェクトは、３次元オブジェクトに限定されない。例えば、ページに対応付けて動画を表示してもよい。携帯電話端末１は、ページに対応付けて動画を表示する場合、ページがめくられる毎に異なるチャプタを再生してもよい。

また、上記の実施例では、３次元オブジェクトが利用者側に飛び出す場合について記載したが、表示部よりも奥側に３次元オブジェクトが存在するように見せる場合でも本発明を適用できる。この場合、表示部の裏面側に検出部を配置してもよい。表示機器が携帯電話端末の場合、利用者自身を撮影するためのインカメラと、風景等を撮影するためのアウトカメラとを備えていることが多い。そこで、このアウトカメラを用いることで裏面側における物体の変位を捕捉することができるようにしてもよい。

また、上記の実施例では、表示機器が単独で３次元オブジェクトに対する操作を検出することとしたが、表示機器がサーバ装置と協業して３次元オブジェクトに対する操作を検出することとしてもよい。この場合、表示機器は、検出部の検出した情報をサーバ装置へ逐次送信し、サーバ装置が操作を検出して検出結果を表示機器へ通知する。このような構成とすることにより、表示機器の負荷を低減することができる。

また、上記の実施例では、３次元オブジェクトを操作する物体を検出するために撮影部を検出部として用いる例を示したが、検出部はこれに限られない。例えば、撮影部に代えて、赤外センサ（ＴＯＦ（Time-of-Flight）法を用いたセンサを含む）を検出部としてもよい。また、視認空間における面方向の移動を検出できる近接センサ等を、物体の移動方向とほぼ水平に配置すると、物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、３次元オブジェクトを操作する物体側にセンサ等を配置することなく、物体の変位の検出ができることが好ましい。物体側にセンサ等を配置しないことにより、手および指にわざわざ加速度センサを取り付けたり、加速度を備えた表示機器そのものを移動させたりする必要がないので、コスト低減が図れる。

また、３次元オブジェクトを操作する物体を、タッチセンサを用いて検出することとしてもよい。以下に、タッチセンサを、３次元オブジェクトを操作する物体を検出する検出部として活用する例を示す。なお、以下の説明では、既に説明した部分と同様の部分には既に説明した部分と同一の符号を付す。また、重複する説明については、説明を省略することがある。

まず、図３４および図３５を参照しながら、携帯電話端末（表示機器）２の構成について説明する。図３４は、携帯電話端末２の外観を示す正面図である。図３５は、携帯電話端末２の機能的な構成を示すブロック図である。

図３４および図３５に示すように、携帯電話端末２は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２とを有する。

タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。本実施例において、タッチセンサ３２ｂは、静電容量式のタッチセンサである。タッチセンサ３２ｂは、３次元オブジェクトを操作する指を検出する検出部としても機能する。

次に、図３６を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図３６は、３次元オブジェクトに対する操作の検出について説明するための図である。図３６では、タッチパネル３２によって、視認空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。

ここで、利用者が３次元オブジェクトＯＢ１に対して何らかの操作を行いたいものとする。３次元オブジェクトＯＢ１に対して何らかの操作を行うには、まず、操作の対象として３次元オブジェクトＯＢ１を選択する必要がある。３次元オブジェクトＯＢ１を選択するために、利用者は、図３６に示すように、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させる。

携帯電話端末２は、指Ｆ１および指Ｆ２の位置を、タッチセンサ３２ｂを用いて検出する。タッチセンサ３２ｂは、感度を高めることで、例えば、指Ｆ１および指Ｆ２とタッチパネル３２の表面からのＺ軸方向の距離が１０ｃｍ程度ある場合でも、指Ｆ１および指Ｆ２のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３２ｂは、静電容量の大きさに基づいて、指Ｆ１のタッチパネル３２の表面からのＺ軸方向の距離Ｄ２および指Ｆ２のタッチパネル３２の表面からのＺ軸方向の距離Ｄ３を検出することができる。

こうして検出された指Ｆ１および指Ｆ２の視認空間での位置に基づいて、携帯電話端末２は、指Ｆ１および指Ｆ２間の距離Ｄ１を算出したり、指Ｆ１および指Ｆ２の間に３次元オブジェクトが表示されているかを判定したりすることができる。指Ｆ１および指Ｆ２の間に３次元オブジェクトが表示されていることが検出された後の制御については、上述した実施例において説明した処理手順に従って実行される。

上述してきたように、タッチセンサを検出部として用いることにより、撮影部を備えない表示装置であっても、３次元オブジェクトに対する操作を検出することができる。

なお、３次元オブジェクトに対する操作を検出するために撮影部およびタッチセンサを併用してもよい。撮影部およびタッチセンサを併用する場合、それぞれの検出結果を平均して指Ｆ１および指Ｆ２の位置を特定してもよい。また、タッチパネル３２と近い領域では、撮影部は指Ｆ１および指Ｆ２の画像を取得し難いのでタッチセンサの検出結果の重み付けを大きくし、タッチパネル３２と遠い領域では、タッチセンサの検出精度が低くなるので撮影部の検出結果の重み付けを大きくした加重平均を用いてもよい。

また、他の指等が障害となってタッチセンサが指の位置を精度よく検出できないことが生じにくいように、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出してもよい。図３７は、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出する携帯電話端末３の構成の一例を示す図である。

携帯電話端末３は、第１の筐体３ａと、第２の筐体３ｂと、ヒンジ部３ｃとを有する。ヒンジ部３ｃは、第１の筐体３ａおよび第２の筐体３ｂを開閉可能に連結する。そして、第１の筐体３ａは、タッチセンサ３２ｂを有するタッチパネル３２を備え、第２の筐体３ｂは、タッチセンサ３４ｂを有するタッチパネル３４を備える。タッチセンサ３２ｂおよびタッチセンサ３４ｂは、図３７に示すように、第１の筐体３ａおよび第２の筐体３ｂが約９０度の角度をもって固定された場合に、視認空間に異なる角度で接する。

タッチセンサ３２ｂは、指Ｆ１および指Ｆ２のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３２ｂは、静電容量の大きさに基づいて、指Ｆ１のタッチパネル３２の表面からのＺ軸方向の距離Ｄ２および指Ｆ２のタッチパネル３２の表面からのＺ軸方向の距離Ｄ３を検出することができる。

タッチセンサ３４ｂは、指Ｆ１および指Ｆ２のＸ軸方向およびＺ軸方向の位置を検出することができる。また、タッチセンサ３４ｂは、静電容量の大きさに基づいて、指Ｆ１のタッチパネル３４の表面からのＹ軸方向の距離Ｄ４および指Ｆ２のタッチパネル３４の表面からのＹ軸方向の距離Ｄ５を検出することができる。

このように、異なる方向から指Ｆ１および指Ｆ２を検出することにより、何らかの障害物がある場合でもいずれかの方向から指Ｆ１および指Ｆ２の位置を検出することができる。なお、異なる方向から指Ｆ１および指Ｆ２を検出する場合、一方のタッチパネルが３次元オブジェクトを表示し、他方のタッチパネルは非表示とするか、２次元でガイダンス等を表示してもよい。また、３次元オブジェクトを表示しない方のタッチパネルを単なるタッチセンサとしてもよい。

また、上記の実施例では、本発明を本の閲覧機能を実現するために利用する例について説明したが、本発明を用いて閲覧されるのは本に限定されない。本発明は、パンフレットおよび新聞等を含む各種の電子出版物の閲覧機能を実現するために利用することができる。

また、本発明によって実現可能な３次元オブジェクトに対する操作は、上記の実施例で示した操作に限定されない。本発明に係る制御により、例えば、本棚から本を選択して取り出す操作、新聞を折り畳む操作、および筆記具をもって本等に書き込みを行う操作等を実現することもできる。

１、２、３ 携帯電話端末
２２ 制御部
２４ 記憶部
２４ａ 制御プログラム
２４ｂ オブジェクトデータ
２４ｃ 作用データ
２６ 通信部
３２、３４ タッチパネル
３２ａ 表示部
３２ｂ、３４ｂ タッチセンサ（検出部）
４０、４２ 撮影部（検出部）

Claims (8)

1. 電子的な出版物を表示する表示部と、
   前記出版物のページをめくる操作を行う物体を検出する検出部と、
   前記検出部の検出結果に応じて、前記出版物のページのうち、新たに表示されるページに対応付けられたオブジェクトを前記表示部に表示させる制御部と
   を備える表示機器。
2. 前記表示部は、視認空間内に前記出版物を立体的に表示し、
   前記検出部は、前記視認空間中の前記複数の物体の位置を検出し、
   前記制御部は、前記オブジェクトを前記表示部に立体的に表示させることを特徴とする請求項１に記載の表示機器。
3. 前記制御部は、前記オブジェクトに対応するページの角度に応じて、当該オブジェクトの表示態様を変更することを特徴とする請求項１または２に記載の表示機器。
4. 前記制御部は、前記オブジェクトに対応するページの角度に応じて当該オブジェクトを回転させることを特徴とする請求項３に記載の表示機器。
5. 前記制御部は、前記オブジェクトに対応するページの角度に応じた断面で切断された当該オブジェクトを表示させることを特徴とする請求項３に記載の表示機器。
6. 前記制御部は、前記オブジェクトに対応するページの角度に応じた当該オブジェクトの部分を表示させることを特徴とする請求項３に記載の表示機器。
7. 電子的な出版物を表示する表示部と、前記出版物のページをめくる操作を行う複数の物体を検出する検出部と備える端末と、当該端末を制御する制御部を含むシステムであって、
   前記制御部は、前記検出部の検出結果に応じて、前記出版物のページのうち、新たに表示されるページに対応付けられたオブジェクトを前記表示部に表示させることを特徴とする制御システム。
8. 表示部を備える表示機器に、
   前記表示部に電子的な出版物を表示するステップと、
   前記出版物のページをめくる操作を行う複数の物体を検出するステップと、
   前記検出部の検出結果に応じて、前記出版物のページのうち、新たに表示されるページに対応付けられたオブジェクトを前記表示部に表示させるステップと
   を実行させる制御プログラム。

Images