JP2004309947A - Data display device, data display program, and program recording medium - Google Patents

Data display device, data display program, and program recording medium Download PDF

Info

Publication number
JP2004309947A
JP2004309947A JP2003106125A JP2003106125A JP2004309947A JP 2004309947 A JP2004309947 A JP 2004309947A JP 2003106125 A JP2003106125 A JP 2003106125A JP 2003106125 A JP2003106125 A JP 2003106125A JP 2004309947 A JP2004309947 A JP 2004309947A
Authority
JP
Japan
Prior art keywords
display device
data
data display
register
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003106125A
Other languages
Japanese (ja)
Other versions
JP2004309947A5 (en
Inventor
Hisafumi Saika
尚史 齋鹿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003106125A priority Critical patent/JP2004309947A/en
Publication of JP2004309947A publication Critical patent/JP2004309947A/en
Publication of JP2004309947A5 publication Critical patent/JP2004309947A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a display device that gives a user a sense of operation similar to looking at a solid through a freely moving window. <P>SOLUTION: When the user operates each of keys 15-20, the display device 11 is moved around the periphery of space that is virtually pasted on the solid in a three-dimensional space. Then, contents of each register 35-39 are updated in association with the virtual movement of the display device 11. Depending on the updated contents, the display contents of the display device 11 are changed by reflecting the positional relationship between the display device 11 and the three dimensional space associated with the virtual movement. Consequently, images such as virtually looking at the three dimensional space through the window moving around the periphery are output to the display device 11. Accordingly, the sense of operation similar to looking at a real solid through the freely moving window can be given to the user, thereby enabling the user to intuitively perform the display operation of the portion that is not displayed currently by the display device 11. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、データ表示装置，データ表示プログラムおよびプログラム記録媒体に関する。
【０００２】
【従来の技術】
近年の携帯情報端末（ＰＤＡ）やこのＰＤＡと変わらないサイズの小型軽量パーソナルコンピュータや携帯電話（以下、この３種を含む小型の情報機器を「携帯情報機器」と称する）等の著しい発達によって、情報を持ち運ぶことが容易になっている。そして、この携帯情報機器の発達に情報通信手段の発達が組み合わさって「ユービキタスコンピューティング」の実現に近づきつつあると言える。
【０００３】
ところで、上記携帯情報機器が共通して有する弱点として、表示画面の面積が限られていることがある。このことは、本来レイアウト情報を有しないテキストファイルの閲覧であれば、適切なところで折り返しを行えば、通常は問題にならない。ところが、レイアウトが重要な情報の場合には、低い解像度で全体像を表示するか部分毎に詳細データを表示するかの何れかの対応が行われている。
【０００４】
そして、上記携帯情報機器の小さな画面で全体像を表示する場合には、全体像は掌握し易くなるが個々の情報を読み取るのは困難である。これに対して、個々の部分を詳細に表示する場合には、逆に、詳細部分の情報を読み取るのには問題ないが、現在ユーザが読んでいる部分が全体における何れの部分に当るのかが分からない。したがって、何れの場合もユーザにストレスが掛ることになる。
【０００５】
そこで、画像を３次元的に表示することによって、上述したような問題を少しでも解決しようとする試みが行われている。例えば、レイアウト構造の階層関係や論理構造の階層関係等の文書構造の関係から文書要素を３次元的に表示することによって、ユーザに文書構造関係を直感的に呈示する文書編集装置が提案されている（特許文献１（特開平３‐２６８０５９号公報）参照）。
【０００６】
また、画像処理部によって、主メモリ中の斜形ウィンドウ管理用構造体に格納されている原画像データへのポインタに基づくウィンドウの原画像データを取り込んで斜形化を実行し、生成された斜形画像データを上記主メモリに格納する。さらに、上記斜形画像データ中における実際にディスプレイ表示するデータを指定する斜形画像マスクデータを生成して、上記主メモリに格納する。そして、上記主メモリから表示メモリに上記斜形画像データと斜形画像マスクデータとを転送し、上記斜形画像データ中における上記斜形画像マスクデータによって指定された画像データをディスプレイに傾斜したウインドウで表示する画像表示方法が提案されている（特許文献２（特開平６‐１８６９４８号公報）参照）。
【０００７】
また、モデル生成部によって、複数ページの文書データに基づいて、蛇腹状に折り曲げられた複数面からなる３次元モデルを生成する。その際に、ページ展開制御部によって、３次元モデルの折り曲げ角度を調整して上記各ページの展開状態を変化させる。さらに、視点座標変換部よって、３次元モデルの視点位置を変換する。そして、テクスチャマッピング処理部によって上記３次元モデルの各面に各ページの文書データをマッピングし、画像処理部によってレンダリング処理された画像を、表示制御部による制御の下に表示装置に表示する。こうして、任意の複数ページの文書データを蛇腹状に展開し、視点位置を任意に変更して、ページの表裏に拘わらず１度に複数ページの文書データを確認することが可能な電子ブック装置が提案されている（特許文献３（特開平２０００‐１３７５６３号公報）参照）。
【０００８】
【特許文献１】
特開平３‐２６８０５９号公報
【特許文献２】
特開平６‐１８６９４８号公報
【特許文献３】
特開平２０００‐１３７５６３号公報
【０００９】
【発明が解決しようとする課題】
ここで、上述のような小型の携帯情報機器に因らずに情報を閲覧する場合は、如何様にして閲覧を行っているかを考えてみる。例えば、混雑した電車の中においては新聞を自由に開くことができない。そのために、新聞を小さく折りたたんだり、開き方を狭くするなどの工夫を行うのが普通である。そして、このようなことが一般的に行われていると言うことは、上述のように新聞を折りたたんだり開き方を狭くすることは、読者に大きなストレスを与えていないことを表している。
【００１０】
このように折りたたんだり開き方を狭くすることによって得られるユーザの視野と、上記携帯情報機器の小さな画面で大きな紙面を表示する際に行われる表示方法による表示画像と、の違いは「自然さ」にあると考えられる。すなわち、新聞を小さく開くまたは小さく折りたたんでいる場合にユーザの目に入るものは、読みたい部分が中心となった折りたたまれた状態をも含む３次元の図形である。これに対して、携帯情報機器に表示されている映像は、言わば自然には存在しないような読みたい部分のみが切り取られた画像である。したがって、上記携帯情報機器に現在表示されていない部分を表示させる操作を、直感的に行うことができないのである。尚、このように、現在表示されていない部分を何らかの方法によって表示させる操作は、上記携帯情報機器の表示画面が小さい場合には必ず頻繁に必要になる。
【００１１】
そして、上述のように、現在表示されていない部分を表示させる操作を直感的に行い得るためには、ユーザの操作とその結果生ずる表示の変化との間に、実世界で起こる対応に近い対応付けを与えることが有効であると考えられる。
【００１２】
図２７は、上述したような実世界で起こる対応に近い対応付けを与えるための基本的な概念を示す図である。図２７においては、紙面１は球面を成しており、紙面１の表面にある長方形２および長方形３の図形を、窓４を通して見ている状態を示している。勿論、実際には、紙面１が球面を成すことはあまり考えられないが、種々の曲面を模式的に説明する目的でこのような状態を考える。
【００１３】
上記窓４を通して見える図形は、その図形と窓４との位置関係に応じて種々異なる。例えば、図２７（ａ）の場合には、長方形２は、窓４と略平行の位置関係にある。そのために、図２８（ａ）に示すように、窓４からは長方形に近い図形が見える。これに対して、図２７（ｂ）の場合には、窓５は、長方形２に対して傾斜している。そのために、図２８（ｂ）に示すように、窓５からは、長方形２と窓５との角度と長方形２が球面を成す紙面１上にあることとを反映して、歪んだ長方形２が見えている。また、図２７（ｂ）において、窓６および窓７のごとく窓を前後に平行移動した場合には、図２９（ａ），（ｂ）に示すように、窓７を通して見える長方形３は、窓６を通して見える長方形３よりも小さい。これは、２つの窓６，７と長方形３との距離の差が反映されたためである。
【００１４】
ところで、上記特許文献１に開示された文書編集装置においては、文書要素は３次元的に表示されるものの、文書そのものが視覚的に３次元に表示されてはいない。また、上記特許文献２に開示された画像表示方法においては、ウインドウを傾斜させて配置して画像を斜めに表示しているので文書そのものを３次元的に表示していると言える。ところが、上述した実世界で起こる対応に近い対応付けを与えるための概念において説明したごとく、ユーザとの相対位置を仮想的に変化させることによって表示画像を変化させることはできない。
【００１５】
また、上記特許文献３に開示された電子ブック装置においては、マッピングされる３次元データの形状が蛇腹状への折り曲げ形状に限られている。さらに、上記表示装置の姿勢や位置の変化を利用してユーザの視点を変化させるような発想はない。
【００１６】
要するに、上記画像を３次元的に表示する従来の画像表示装置においては、表示装置の姿勢や位置の変化をも利用して、例えば３次元的に表現された紙面をユーザが自然に閲覧するようなことは、全くできないのである。
【００１７】
そこで、この発明の目的は、現実の世界に存在する立体を自由に動く窓を通して見ているのに似た操作感覚をユーザに与えることができるデータ表示装置，データ表示プログラムおよびプログラム記録媒体を提供することにある。
【００１８】
また、上記立体を見るための窓の移動操作を自身の姿勢や位置の変化をも用いて行うことによって更に自然な操作感覚を与えることができるデータ表示装置，データ表示プログラムおよびプログラム記録媒体を提供することにある。
【００１９】
【課題を解決するための手段】
上記目的を達成するため、この発明のデータ表示装置は、仮想的な３次元空間内に配置されると共に，表示の対象となるオブジェクトの表示データが格納される表示データメモリと、上記仮想的な３次元空間内に在って上記オブジェクトが射影される射影面の位置を移動させる射影面移動手段と、上記表示データに基づいて，上記仮想的な３次元空間における上記オブジェクトと射影面との相対位置に応じて，上記射影面に対する上記オブジェクトの射影の少なくとも一部を表示するための表示画像データを生成する表示画像生成手段と、上記生成された表示画像データに基づいて，上記射影面に対する上記オブジェクトの射影の少なくとも一部の画像を表示画面に表示する画像表示手段を備えている。
【００２０】
上記構成によれば、上記表示画面には、仮想的な３次元空間内に在る射影面に対するオブジェクトの射影の少なくとも一部の画像が、表示画面に表示される。その際に、上記射影面移動手段によって射影面の位置が移動されると、上記表示画面には、上記３次元空間における上記オブジェクトと射影面との相対位置に応じて変化した画像が表示される。したがって、現実の世界に存在する立体を自由に動く窓を通して見ているのに似た操作感覚をユーザに与えることができ、ユーザは、上記表示画面に現在表示されていない部分を表示させる操作を直感的に行うことが可能になる。
【００２１】
また、１実施例のデータ表示装置では、上記射影面移動手段に本データ表示装置の動きを検出する動き検出手段を備えて、この動き検出手段によって検出された本データ表示装置の動きに応じて上記射影面の位置を移動させるようにしている。
【００２２】
この実施例によれば、本データ表示装置の動きと上記射影面の移動とが対応付けられているため、本データ表示装置に対するユーザの操作とその結果生ずる表示の変化との間には、実世界で起る対応に近い対応付けが与えられる。したがって、上記オブジェクトを、その周囲を移動する窓を通して見ているような画像が上記表示画面に表示される。
【００２３】
また、１実施例のデータ表示装置では、上記動き検出手段に、本データ表示装置の周囲を撮影して得られた画像データを出力する撮像手段と、上記撮像手段からの画像データに基づいて本データ表示装置の動きを検出する画像センシング手段を備えている。
【００２４】
この実施例によれば、撮像手段によって撮影された周囲の画像に基づいて本データ表示装置の動きが検出される。したがって、カメラを内蔵して動画の撮影が可能な携帯電話やＰＤＡを、動き検出用の特別なハードウエアを付加することなく利用することが、可能になる。
【００２５】
また、１実施例のデータ表示装置では、上記画像センシング手段は、本データ表示装置の動きベクトルを検出する動きベクトル検出手段を備えて、この動きベクトル検出手段によって検出された動きベクトルに基づいて本データ表示装置の平行移動を検出するようになっている。
【００２６】
この実施例によれば、上記撮像手段によって撮影された周囲の画像に基づいて容易に本データ表示装置の動きが検出される。
【００２７】
また、１実施例のデータ表示装置では、上記撮像手段は、上記表示画面の裏面に配置されたカメラである。
【００２８】
この実施例によれば、上記記撮像手段を有する動き検出手段の構成が容易になる。
【００２９】
また、１実施例のデータ表示装置では、上記射影面移動手段は、本データ表示装置の傾きを検出する傾き検出手段を備えて、この傾き検出手段によって検出された傾きに応じて、上記射影面の位置を移動させるようになっていることを特徴とするデータ表示装置。
【００３０】
この実施例によれば、本データ表示装置の傾きと上記射影面の移動とが対応付けられているため、本データ表示装置に対するユーザの傾け操作とその結果生ずる表示の変化との間には、実世界で起る対応に近い対応付けが与えられる。したがって、上記オブジェクトを、その周囲を移動する窓を通して見ているような画像が上記表示画面に表示される。
【００３１】
また、１実施例のデータ表示装置では、上記傾き検出手段は、ジャイロを用いて構成されている。
【００３２】
この実施例によれば、上記傾き検出手段は、上記ジャイロを用いることによって、正確に本データ表示装置の傾きを検出することが可能になる。
【００３３】
また、１実施例のデータ表示装置では、上記表示画像生成手段は、上記仮想的な３次元空間を表す３次元座標系において，上記オブジェクト上の各点の座標を，上記各点が上記射影面に射影されて成る各点の座標に変換する３次元座標変換手段と、上記射影面上に２次元座標系を設定し，上記射影面に射影された各点の３次元座標を上記２次元座標系での座標に変換する２次元座標変換手段と、上記射影面に射影された各点の２次元座標に基づいて，上記表示データメモリに格納された上記オブジェクトの表示データを，上記射影面に対する上記オブジェクトの射影の少なくとも一部を表示するための表示画像データに変換する表示画像データ変換手段を備えている。
【００３４】
この実施例によれば、上記射影面に対する上記オブジェクトの射影の上記仮想的な３次元座標系での座標を得、この３次元座標に基づいて、上記射影面に対する射影の上記射影面上に設定された２次元座標系での座標を得ることによって、上記射影面に対する上記オブジェクトの射影の少なくとも一部を表示するための表示画像データが正確に得られる。
【００３５】
また、１実施例のデータ表示装置では、上記仮想的な３次元空間に配置されたオブジェクトは曲面または平面を有しており、この曲面または平面に沿って文書が貼り付けられている。
【００３６】
この実施例によれば、２次元の文書を３次元的に表現した画像を、自由に動く窓を通して見ているのに似た操作感覚をユーザに与えることができる。したがって、表示画面よりも大きな文書を折りたたんだり丸めたりした状態の画像を表示することが可能になる。
【００３７】
また、この発明のデータ表示プログラムは、コンピュータを、この発明のデータ表示装置における上記射影面移動手段，３次元座標変換手段，２次元座標変換手段，表示画像データ変換手段および画像表示手段として機能させる。
【００３８】
上記構成によれば、現実の世界に存在する立体を自由に動く窓を通して見ているのに似た操作感覚をユーザに与えることができる。
【００３９】
また、この発明のプログラム記録媒体は、この発明のデータ表示プログラムが記録されている。
【００４０】
上記構成によれば、コンピュータで読み出して実行することによって、現実の世界に存在する立体を自由に動く窓を通して見ているのに似た操作感覚をユーザに与えることができる。
【００４１】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。
【００４２】
・第１実施の形態
図１は、本実施の形態のデータ表示装置における外観を示す。このデータ表示装置は、仮想的に、３次元空間に配置された立体に貼り付けられた紙面をその周囲を移動する窓を通して見ているような画像を、ユーザに提供するものである。以下に説明するように、上記窓の傾き検出は本データ表示装置の傾きをジャイロによって検出することで行い、上記窓の平行移動はユーザのキー操作によって行い、上記窓の前後方向の移動も同様にユーザのキー操作によって行うようになっている。
【００４３】
図１に示すように、本データ表示装置には、表示デバイス１１，電源スイッチ１２，ページ送りキー１３，ページ戻りキー１４，上スクロールキー１５，下スクロールキー１６，左スクロールキー１７，右スクロールキー１８，ズームインキー１９およびズームアウトキー２０が設けられている。夫々の役割については後述する。
【００４４】
図２は、図１に示すデータ表示装置における機能的構成を示すブロック図である。本データ表示装置は、メインＣＰＵ（中央演算処理装置）２１，ページレジスタ２２，表示データメモリ２３，表示部２４，ページ送りキー１３，ページ戻りキー１４，電源スイッチ１２およびデータバス２５から構成されている。尚、電源スイッチ１２以外の各構成要素は、データバス２５を介してデータの送受を行うようになっている。
【００４５】
図３は、上記メインＣＰＵ２１による制御の下に実行されるデータ表示処理動作のフローチャートである。以下、図２および図３に従って、データ表示処理動作について詳細に説明する。尚、特に処理手段が明示されていないステップは、メインＣＰＵ２１自身に因って処理が行われるものとする。また、実際の製品においては、電源スイッチ１２がオフされた場合には何れのステップにあっても常にデータ表示処理動作を終了するように考慮すべきではあるが、本願にとっては本質的なことではなく、説明が煩雑になるので、上述のことにはついては言及しない。他のフローチャートについても同様である。
【００４６】
上記表示データメモリ２３には、意味上のまとまりがある表示データが順番付けられて格納されているとする。本実施の形態においては、表示データは、ページ毎の２４ビットカラー画像データであるとする。尚、表示データメモリ２３に格納されるデータが画像以外の形式（例えば、テキストデータ）であっても、ページ毎の表示の段階では画像データに変換されると考えられるので、このような仮定によって一般性を失なうものではない。また、ページ形式ではない表示データである場合もある。しかしながら、このような表示データも大きな一枚のページと見なすことができるため、ページ毎の画像として表示データを取り扱うことは本実施の形態の範疇から除外される訳では勿論ない。
【００４７】
上記電源スイッチ１２がオンされると、上記データ表示処理動作がスタートする。そして、ステップＳ１で、上記ページレジスタ２２の内容が「０」に初期化される。ここで、ページレジスタ２２には、現在表示されているページの番号が格納される。したがって、ページレジスタ２２の内容が「０」であるということは、先頭ページが表示されることを表している。尚、以下の説明においては、ページの番号は「０」から始まることとする。
【００４８】
次に、ステップＳ２で、上記表示部２４によって、ページレジスタ２２の格納値で示されるページのデータが表示される。尚、表示部２４によるデータ表示処理動作については後に詳述する。ステップＳ３で、ページ送りキー１３が押圧されているか否かが判別される。その結果、押圧されている場合にはステップＳ４に進み、そうでない場合にはステップＳ６に進む。ステップＳ４で、ページレジスタ２２の格納値が最終ページの番号に一致するか否かが判別される。その結果、一致する場合にはこれ以上ページを送ることはできないので上記ステップＳ３に戻り、一致しない場合にはステップＳ５に進む。ステップＳ５で、ページレジスタ２２の格納値がインクリメントされる。そうした後に、上記ステップＳ２に戻って次ページのデータ表示に移行する。
【００４９】
ステップＳ６で、上記ページ戻りキー１４が押圧されているか否かが判別される。その結果、押圧されていればステップＳ７に進み、そうでなければ上記ステップＳ３に戻ってページ送りキー１３の押圧判別に移行する。ステップＳ７で、ページレジスタ２２の格納値が「０（先頭ページの番号）」に一致するか否かが判別される。その結果、一致する場合にはページを戻すことができないので上記ステップＳ３に戻り、一致しない場合にはステップＳ８に進む。ステップＳ８で、ページレジスタ２２の格納値がデクリメントされる。そうした後に、上記ステップＳ２に戻って前ページのデータ表示に移行する。
【００５０】
次に、図３に示す上記データ表示処理動作のステップＳ２において、表示部２４によって実行される表示処理動作について説明する。図４は、表示部２４における機能的構成を示すブロック図である。尚、図４には、上スクロールキー１５，下スクロールキー１６，左スクロールキー１７，右スクロールキー１８，ズームインキー１９，ズームアウトキー２０およびデータバス２５も合わせて表示している。
【００５１】
図４において、上記表示部２４は、ページデータメモリ３１，表示画像生成器３２，傾き検出器３３，表示画像データメモリ３４，表示デバイス１１，第１傾きレジスタ３５，第２傾きレジスタ３６，Ｘレジスタ３７，Ｙレジスタ３８，Ｚレジスタ３９，第３傾きレジスタ４０，第４傾きレジスタ４１，Ｘ２レジスタ４２，Ｙ２レジスタ４３，Ｚ２レジスタ４４，専用のＣＰＵ４５およびデータバス４６から構成される。上記各構成要素は、データバス４６を介してデータの送受を行う。また、ＣＰＵ４５は、データバス４６およびデータバス２５を介して各キー１５〜２０からのデータを受信可能になっており、さらにメインＣＰＵ２１とデータを送受可能になっている。
【００５２】
上記第１傾きレジスタ３５，第２傾きレジスタ３６，Ｘレジスタ３７，Ｙレジスタ３８およびＺレジスタ３９には、後に詳述するように、本データ表示装置における現在の状態を表す値が格納される。これに対して、第３傾きレジスタ４０，第４傾きレジスタ４１，Ｘ２レジスタ４２，Ｙ２レジスタ４３およびＺ２レジスタ４４には、本データ表示装置における過去のある時点の状態を表す値が格納される。つまり、第１傾きレジスタ３５と第３傾きレジスタ４０とが対応し、第２傾きレジスタ３６と第４傾きレジスタ４１とが対応し、Ｘレジスタ３７とＸ２レジスタ４２とが対応し、Ｙレジスタ３８とＹ２レジスタ４３とが対応し、Ｚレジスタ３９とＺ２レジスタ４４とが対応しているのである。また、表示画像データメモリ３４は、表示デバイス１１における各ピクセルに対応した記憶要素の配列を有している。
【００５３】
図５は、上記ＣＰＵ４５による制御の下に実行される表示処理動作のフローチャートである。以下、図４および図５に従って、表示処理動作について詳細に説明する。尚、特に処理手段が明示されていないステップは、ＣＰＵ４５自身に因って処理が行われるものとする。図３に示すデータ表示処理動作のステップＳ１においてページレジスタ２２が初期化されると、表示処理動作がスタートする。
【００５４】
ステップＳ１１で、上記各レジスタの内容が初期化される。具体的には、第１傾きレジスタ３５，第２傾きレジスタ３６，Ｘレジスタ３７，Ｙレジスタ３８およびＺレジスタ３９の内容が、総て「０」に初期化される。尚、初期値「０」が持つ意味については後述する。
【００５５】
次に、ステップＳ１２で、上記表示データメモリ２３から読み出された表示されるべきページのデータが、ページデータメモリ３１に格納される。ステップＳ１３で、本データ表示装置における現在の状態が格納されている各レジスタ３５〜３９のコピーが作成される。具体的には、第１傾きレジスタ３５の値が第３傾きレジスタ４０に格納され、第２傾きレジスタ３６の値が第４傾きレジスタ４１に格納され、Ｘレジスタ３７の値がＸ２レジスタ４２に格納され、Ｙレジスタ３８の値がＹ２レジスタ４３に格納され、Ｚレジスタ３９の値がＺ２レジスタ４４に格納される。尚、後に詳述するが、各レジスタ３５〜３９の格納値は、上記データ表示処理動作や本処理動作とは独立した処理によって常時更新されている。
【００５６】
次に、ステップＳ１４で、上記表示画像生成器３２によって、上記第１傾きレジスタ３５，第２傾きレジスタ３６，Ｘレジスタ３７，Ｙレジスタ３８およびＺレジスタ３９の格納値と、ページデータメモリ３１に格納されている表示ページのデータとから、表示画像データが生成されて表示画像データメモリ３４に格納される。尚、表示画像生成器３２の動作については後に詳述する。ステップＳ１５で、表示画像データメモリ３４に格納された表示画像データに基づいて表示デバイス１１に表示画像が表示される。
【００５７】
ステップＳ１６で、本データ表示装置の状態が変化したか否かが判別される。具体的には、上記第１傾きレジスタ３５の値と第３傾きレジスタ４０の値とが比較され、第２傾きレジスタ３６の値と第４傾きレジスタ４１の値とが比較され、Ｘレジスタ３７の値とＸ２レジスタ４２の値とが比較され、Ｙレジスタ３８の値とＹ２レジスタ４３の値とが比較され、Ｚレジスタ３９の値とＺ２レジスタ４４の値とが比較される。その結果、異なるものが一つでもあれば本データ表示装置の状態は変化したと判定される。そして、変化した場合には上記ステップＳ１３に戻って変化後の処理に移行する。一方、変化しない場合には本データ表示装置の状態変化の監視が続行される。
【００５８】
尚、上記本データ表示装置の状態変化の監視は、図５に示す表示処理動作のごとくＣＰＵ４５によってソフトウェア的に行う場合のみならず、ハードウェア割り込み等の技術を用いることによって、ＣＰＵ４５によるソフトウェア的な監視をなくした構成に関してもこの発明の範疇であることは言うまでもない。
【００５９】
ところで、上述したように、上記第１傾きレジスタ３５，第２傾きレジスタ３６，Ｘレジスタ３７，Ｙレジスタ３８およびＺレジスタ３９の格納値は、図３に示すデータ表示処理動作および図５に示す表示処理動作とは独立して、本データ表示装置に対するユーザの操作によって常時更新される。
【００６０】
図６は、上記Ｘレジスタ３７，Ｙレジスタ３８およびＺレジスタ３９に格納される値の意味を示す。紙面５１は、後に詳述する方法によって３次元図形として表されている。これは、３次元図形に紙面５１を貼り付けたものと同じことを意味している。そして、本データ表示装置の表示デバイス１１には、紙面５１が窓５２に射影された際に窓５２に映る視野を表示するのである。その場合における上記射影は、図７に示すように、窓５２に対して垂直方向への平行射影とする。勿論、図８に示すように、一点（ユーザの視点）５３を中心とした射影とすることも、ユーザの目の位置を推定または近似することによって可能である。
【００６１】
何れにしろ、上記窓５２の中心点５４の座標を３次元座標で表すことは可能である。そこで、紙面５１上に設定された原点５５を（０，０，０）としたＸＹＺ空間を定めて、窓５２の中心点５４の座標を求める。その場合におけるＸ座標がＸレジスタ３７の格納値であり、Ｙ座標がＹレジスタ３８の格納値であり、Ｚ座標がＺレジスタ３９の格納値である。
【００６２】
ユーザは、上述したような窓５２の中心点５４のＸＹＺ座標を、下記のようにして変化させることができる。すなわち、左スクロールキー１７が押圧される毎に、Ｘレジスタ３７の値が「１」だけデクリメントされる。但し、Ｘレジスタ３７の値が、予め定められた最小値に達している場合にはその値を維持する。一方、右スクロールキー１８が押圧される毎に、Ｘレジスタ３７の値が「１」だけインクリメントされる。但し、Ｘレジスタ３７の値が、予め定められた最大値に達している場合にはその値を維持する。
【００６３】
また、上記上スクロールキー１５が押圧される毎に、上記Ｙレジスタ３８の値が「１」だけインクリメントされる。但し、Ｙレジスタ３８の値が、予め定められた最大値に達している場合にはその値を維持する。一方、下スクロールキー１６が押圧される毎に、Ｙレジスタ３８の値が「１」だけデクリメントされる。但し、Ｙレジスタ３８の値が、予め定められた最小値に達している場合にはその値を維持する。
【００６４】
また、上記ズームインキー１９が押圧される毎に、上記Ｚレジスタ３９の値が「１」だけデクリメントされる。但し、Ｚレジスタ３９の値が、予め定められた最小値に達している場合にはその値を維持する。一方、ズームアウトキー２０が押圧される毎に、Ｚレジスタ３９の値が「１」だけインクリメントされる。但し、Ｚレジスタ３９の値が、予め定められた最大値に達している場合にはその値を維持する。
【００６５】
このようにして、上記Ｘレジスタ３７，Ｙレジスタ３８およびＺレジスタ３９に格納されている値が、ユーザによる本データ表示装置の操作によって常時更新されるのである。尚、上述した「予め定められた最小値」および「予め定められた最大値」は、座標系の取り方や本データ表示装置の構成に依存した定数であり、座標系の取り方によっては負の数になることもあり得る。さらには、Ｘレジスタ３７，Ｙレジスタ３８，Ｚレジスタ３９の夫々について、別の値となり得る。尚、紙面５１を裏側から見るような位置に窓５２を移動してもあまり意味がない。したがって、特にそのような使い方が有用と考えられるアプリケーションを除き、窓５２が紙面５１の裏側に位置しないようにＸレジスタ３７，Ｙレジスタ３８およびＺレジスタ３９の各値に制限を加えるのが妥当である。
【００６６】
次に、上記第１傾きレジスタ３５および第２傾きレジスタ３６の格納値について説明する。図９に示すように、平面である窓５２の傾きは、法線ベクトル５６の方向を定めることによって一意に決まる。この場合、法線ベクトル５６は、ベクトルの絶対値が異なっても同一視できるので、ベクトルの大きさを「１」に正規化する。そうすることによって、法線ベクトル５６はそのＸ，Ｙ成分のみによって表すことができる。これは、法線ベクトル５６のＺ成分は、次の式（１）によってＸ成分とＹ成分とから求めることができるためである。
Ｚ成分＝｛１−（Ｘ成分）２−（Ｙ成分）２｝１／２ …（１）
但し、（Ｘ成分）２＋（Ｙ成分）２＋（Ｚ成分）２＝１
そして、法線ベクトル５６のＸ成分の値を第１傾きレジスタ３５に格納し、Ｙ成分の値を第２傾きレジスタ３６に格納するのである。
【００６７】
尚、より直裁な方法として、上記法線ベクトル５６のＺ成分を格納するレジスタを設けても差し支えない。また、窓５２の傾きを表す方法も、法線ベクトル５６を用いる方法に限定するものではない。何れにしろ、窓５２の傾きを表す方法や窓５２の傾きを表す値を格納する方法のバリエーションが、本発明の範疇に入ることに変わりはない。
【００６８】
上述した窓５２は、実際のデータ表示装置においては表示デバイス１１に対応するものである。そこで、窓５２の位置や傾きは、実際のデータ表示装置に当て嵌めた場合には表示デバイス１１の位置や傾きと見なすことができる。尚、実際の表示デバイス１１は厚みを有している。しかしながら、本実施の形態においては、表示デバイス１１の表示面のみに着目し、表示デバイス１１を厚みを有しない平面上の領域として扱うものとする。以下の説明では、表示デバイス１１の表示面とこれまでの説明で用いた窓５２とは特に区別しないこととする。
【００６９】
さらに、上記表示デバイス１１の傾きは、データ表示装置全体に対する表示デバイス１１の配置が明確であれば、データ表示装置全体の傾きと同一視またはデータ表示装置全体の傾きから適宜変換できる。そこで、以下の説明では、表示デバイス１１の傾きとデータ表示装置全体の傾きとを同一視することにする。
【００７０】
図１０は、上記傾き検出器３３のブロック図である。傾き検出器３３は、データバス５９を介して互いに接続されているコントローラ５７とジャイロ５８で構成されている。尚、コントローラ５７は、データバス５９およびデータバス４６を介して、表示部２４のＣＰＵ４５とデータを送受可能になっている。
【００７１】
上記構成において、上記ジャイロ５８は、現時点における本データ表示装置の傾きを検出する。そして、コントローラ５７は、検出された傾きに基づいて法線ベクトル５６のＸ成分およびＹ成分を随時求め、Ｘ成分を第１傾きレジスタ３５に格納し、Ｙ成分を第２傾きレジスタ３６に格納するのである。尚、ジャイロ５８には、機械式，光学式，振動式等の幾つかの方式が広く存在しているが、本実施の形態においては特に限定するものではなく適切なものを用いるものとする。
【００７２】
次に、図５に示す表示処理動作のステップＳ１１において設定される各レジスタの初期値について説明する。先ず、Ｘレジスタ３７，Ｙレジスタ３８およびＺレジスタ３９の初期値「０」は、その時点における窓５２の中心点５４の座標が図６に示すＸＹＺ空間の原点５５に在ることを表している。また、第１傾きレジスタ３５および第２傾きレジスタ３６の初期値「０」は、図９に示すベクトル座標上において、その時点における本データ表示装置の法線ベクトル５６のＸ成分およびＹ成分が「０」であることを表している。ここで、上述したように法線ベクトル５６の絶対値が「１」に正規化されている。したがって、第１傾きレジスタ３５および第２傾きレジスタ３６の値が「０」に初期化された場合には、法線ベクトル５６の座標成分は（０，０，１）となり、窓５２がＸＹ平面と平行になっていることを意味する。したがって、Ｘレジスタ３７，Ｙレジスタ３８，Ｚレジスタ３９，第１傾きレジスタ３５および第２傾きレジスタ３６を「０」に初期化すると言うことは、図１１に示すように、現時点における窓５２の面がＸＹ平面となり、現時点における窓５２の中心点５４が原点５５となるようにＸＹＺ座標系を設定することを意味するのである。
【００７３】
次に、上記表示部２４を構成する表示画像生成器３２について説明する。上記表示画像生成器３２は、図７に示すように、３次元図形に変換された紙面５１を窓（表示デバイス１１の表示面）５２に平行射影した画像を生成する。図１２は、表示画像生成器３２のブロック図である。また、図１５は、表示画像生成器３２による表示画像生成処理動作のフローチャートである。
【００７４】
図１２に示すように、上記表示画像生成器３２は、専用のＣＰＵ６０，テクスチャテーブル６１，３次元座標データメモリ６２および２次元座標データメモリ６３で構成され、各構成要素６０〜６３はデータバス６４を介してデータのやり取りを行うようになっている。尚、ＣＰＵ６０は、データバス６４およびデータバス４６を介して、表示部２４のＣＰＵ４５とデータを送受可能になっている。
【００７５】
上記テクスチャテーブル６１は、上記ページデータメモリ３１に格納されている元の２次元で表現された表示ページのデータ（ページデータ）のＸ，Ｙ座標と３次元の立体画像に変換した後のＸ，Ｙ，Ｚ座標との関係を示すテーブルであり、紙面５１の３次元図形を得るためのテーブルである。図１３にテクスチャテーブル６１の構造を模式的に示す。図１３において、テクスチャテーブル６１の横方向の並びが元のページデータのＸ座標に対応する一方、縦方向の並びが元のページデータのＹ座標に対応している。各要素は、立体画像に変換した後のＸＹＺ座標であり、３つの組の数値からなっている。尚、各要素は、充分な精度を持つ数値データであるとする。勿論、このような表現方法は、紙面５１を３次元図形として表す唯一の方法ではない。例えば、本実施の形態においては座標系を定めているので、変換用の数式で３次元図形を表すことも可能である。ここで、紙面５１の３次元図形としての表現は、極端に膨らんだり窪んだりしている必要はなく、本を丸めて持った場合のような程度の曲面が適切である。
【００７６】
上記３次元座標データメモリ６２は、上記テクスチャテーブル６１に格納されている紙面５１の３次元座標値を、表示デバイス１１を含む平面に射影した際に得られる３次元座標値を書き込むためのテーブルである。したがって、３次元座標データメモリ６２も、テクスチャテーブル６１と全く同一の構造およびサイズを有している。
【００７７】
また、上記２次元座標データメモリ６３は、上記３次元座標データメモリ６２の各要素を、表示デバイス１１を含む平面上に座標系を取り直した２次元座標に変換した際に得られる２次元座標値を書き込むためのテーブルである。この２次元座標データメモリ６３の構造は、図１４に模式的に示すように、元のページデータのＸＹ座標（横並びと縦並び）と表示デバイス１１を含む平面上に座標系を取り直された２次元座標（要素値）との対応を与える配列になっている。
【００７８】
以下、図１５に従って、上記ＣＰＵ６０によって実行される表示画像生成処理動作について説明する。
【００７９】
先ず、ステップＳ２１で、上記テクスチャテーブル６１に格納されている紙面５１の３次元座標値が、Ｘレジスタ３７，Ｙレジスタ３８，Ｚレジスタ３９，第１傾きレジスタ３５および第２傾きレジスタ３６を参照して、表示デバイス１１を含む平面に射影した際の３次元座標値に変換される。そして、得られた３次元座標値が３次元座標データメモリ６２に格納される。
【００８０】
図１６は、上記ステップＳ２１による処理の説明図である。この処理は、テクスチャテーブル６１に格納されている紙面５１上の点６５の３次元座標から、点６５から窓５２の法線ベクトルと同じ方向へ引いた直線６６が窓５２を含む平面６７と交わる点６８の３次元座標を求める処理である。そして、このような処理は以下のような手順を踏むことによって可能である。すなわち、窓５２の中心点５４を基点として平面６７上に在るベクトル６９が、紙面５１上の点６５からの平面６７への法線ベクトル６６（または、その延長線）と直交するような点の座標を求めることによって、目的とする平面６７上の点６８の座標を求めることができる。そして、窓５２の中心点５４の座標は、Ｘレジスタ３７，Ｙレジスタ３８，Ｚレジスタ３９の格納値から得ることができる。また、法線ベクトル６６は、第１傾きレジスタ３５および第２傾きレジスタ３６の格納値と式（１）の演算結果から得ることができる。したがって、窓５２の中心点５４の座標からのベクトル６９を求めることによって、ベクトル６９と法線ベクトル６６（または、その延長線）との交点６８の座標を求めることが可能になるのである。
【００８１】
すなわち、上記ステップＳ２１による処理においては、上記テクスチャテーブル６１の１つの要素値（Ｘ，Ｙ，Ｚ）を読み出す。そして、この座標（Ｘ，Ｙ，Ｚ）を、上述のようにＸレジスタ３７，Ｙレジスタ３８，Ｚレジスタ３９，第１傾きレジスタ３５および第２傾きレジスタ３６を参照して平面６７上の点６８の座標（Ｘ’，Ｙ’，Ｚ’）に変換し、その変換座標（Ｘ’，Ｙ’，Ｚ’）を３次元座標データメモリ６２におけるテクスチャテーブル６１の当該要素値（Ｘ，Ｙ，Ｚ）の格納位置に対応する位置に格納する。この処理をテクスチャテーブル６１の全要素値について行うのである。
【００８２】
但し、上記紙面５１の形状と平面６７との位置関係によっては、法線ベクトル６６が紙面５１と複数回交わる場合が考えられる。図１７は、そのような場合を示しており、紙面５１が非常に複雑な形状を持っている状態の平面図である。図１７において、紙面５１上の点６５からの平面６７の法線ベクトル６６が、平面６７と交わる以前に紙面５１自身と交わっている。そして、その場合は、点６５は、本来平面６７上に在る窓５２からは見えないはずである。そこで、上記ステップＳ２１においては、このような場合には、３次元座標データメモリ６２の対応する位置にＸＹＺの各値の何れかまたは全てに要素値が無効であることを示す値を格納するようにしている。
【００８３】
こうして、上記ステップＳ２１での処理が終了した時点で、３次元座標データメモリ６２には、ページデータメモリ３１に格納されている元のページデータのＸＹ座標と表示デバイス１１を含む平面６７上の３次元座標との対応を表すテーブルが生成されるのである。
【００８４】
次に、ステップＳ２２で、上記３次元座標データメモリ６２に格納されている表示デバイス１１を含む平面６７上の３次元座標値を、窓５２を含む平面６７上に設定し直した２次元の座標系での２次元座標値に変換される。そして、得られた２次元座標値が２次元座標データメモリ６３に格納される。その場合、ステップＳ２１における処理で説明したように、３次元座標データメモリ６２に無効を示す値が格納されている要素については無視する。
【００８５】
図１８は、上記ステップＳ２２による処理の説明図である。この処理は、窓５２を含む平面６７上への座標変換が終了した後の平面６７上に、絶対値が１に正規化されて互いに直交する２つの基底ベクトル７０および基底ベクトル７１と、絶対値を１に正規化した窓５２を含む平面６７の法線ベクトル７２との、合わせて３つのベクトルを設定する。次いで、この３本のベクトル７０，７１，７２を列ベクトルとする３×３の行列Ｍを作成する。そうすると、行列Ｍの逆行列が、図１８におけるＸＹＺ座標系から３本のベクトル７０，７１，７２で表される新たな３次元座標系への変換行列となる。その場合、平面６７上の点に関しては平面６７と直交する成分は「０」である。したがって、法線ベクトル７２の方向の成分（平面６７と直交する方向の成分）を無視すると、上記行列Ｍの逆行列を用いて変換を行うことによって平面６７上の２次元座標を得ることができるのである。
【００８６】
ここで、図１９に示すように、上記新たな３次元座標系を表す３つの基底ベクトルのうち、平面６７に直交する基底ベクトル７５は平面６７の法線ベクトル７２と一致するため、既に説明したように、第１傾きレジスタ３５および第２傾きレジスタ３６から得ることができる。また、残りの２本の基底ベクトルについては、一つの基底ベクトル７４の方向を、元のＸＹＺ座標系の基底ベクトルＸの方向と一致させる。この場合、窓５２を含む平面６７上に在って基底ベクトル７４に直交する基底ベクトル７３は、方向が反対であるベクトルを同一視すれば一意に定めることができる。
【００８７】
尚、図１８における上記法線ベクトル７２に加えて、基底ベクトル７０および基底ベクトル７１をも、本データ表示装置の傾きから傾き検出器３３によって算出して保持するように傾き検出器３３を構成することも可能ではある。但し、表示デバイス１１に表示される内容は、本データ表示装置の回転に合わせて変化することになる。この場合には、第１傾きレジスタ３５，第２傾きレジスタ３６に保持されている法線ベクトル７２以外に、基底ベクトル７０または基底ベクトル７１の何れか一方の傾き情報を保持することが必要になる。何れにしろ、このようなバリエーションも、本願の範囲であることに変わりはない。
【００８８】
すなわち、上記ステップＳ２２による処理においては、上記３次元座標データメモリ６２の１つの要素値（Ｘ’，Ｙ’，Ｚ’）を読み出す。そして、この座標（Ｘ’，Ｙ’，Ｚ’）を、上記行列Ｍの逆行列を用いて元のＸＹＺ座標系の基底ベクトルＸの方向と同一方向の基底ベクトル７４とこの基底ベクトル７４に直交する基底ベクトル７３とで設定される２次元座標系の座標（Ｘ，Ｙ）に変換し、その変換座標（Ｘ，Ｙ）を２次元座標データメモリ６３における３次元座標データメモリ６２の当該要素値（Ｘ’，Ｙ’，Ｚ’）の格納位置に対応する位置に格納する。この処理を３次元座標データメモリ６２の全要素値について行うのである。
【００８９】
こうして、上記ステップＳ２２での処理が終了した時点で、２次元座標データメモリ６３には、ページデータメモリ３１に格納されている元のページデータのＸＹ座標と表示デバイス１１を含む平面６７上の２次元座標との対応を示すテーブルが生成されるのである。
【００９０】
次に、ステップＳ２３で、上記２次元データメモリ６３とページデータメモリ３１とが参照されて、上記ページデータメモリ３１の各画素のデータが、２次元データメモリ６３における当該画素と同じ位置に格納されている座標（Ｘ，Ｙ）で指定される表示画像データメモリ３４での位置（つまり、上述のようにして得られた窓５２上の２次元座標での位置）に格納される。このとき、表示画像データメモリ３４に画素データを格納すべき座標が表示デバイス１１には存在しない座標である場合には、当該画素データについては無視する。そうした後、表示画像生成処理動作を終了する。
【００９１】
図２０は、図１５に示す上記表示画像生成処理動作によって行われる座標変換による座標の変遷を示す。図２０（ａ）は、２次元紙面８１上に設定された２次元座標系を示す。また、図２０（ｂ）は、２次元紙面８１を３次元空間に置いた立体に貼り付けた３次元紙面５１上に設定された３次元座標系を示す。窓５２を含む平面６７上の各点の座標も３次元紙面５１上に設定された３次元座標系で表される。また、図２０（ｃ）は、窓５２上に設定し直された２次元座標系を示す。そして、２次元紙面８１上の２次元座標Ａと３次元紙面５１上の３次元座標Ｂとの対応が、テクスチャテーブル６１で与えられる。さらに、２次元紙面８１上の２次元座標Ａと窓５２上の３次元座標Ｃとの対応が、上記ステップＳ２１での処理によって作成された３次元座標データメモリ６２で与えられる。さらに、２次元紙面８１上の２次元座標Ａと窓５２上の２次元座標Ｄとの対応が、上記ステップＳ２２での処理によって作成された２次元座標データメモリ６３で与えられる。
【００９２】
そして、付言すれば、図２０（ａ）に示す上記２次元紙面８１上の各点の２次元座標Ａと図２０（ｃ）に示す窓５２上の各点の２次元座標Ｄとの対応付け情報（２次元座標データメモリ６３）に従って、実際に２次元紙面８１の各ピクセルデータを窓５２上に設定された２次元座標系にコピーするのが上記ステップＳ２３での処理なのである。
【００９３】
以上のごとく、本実施の形態によれば、ユーザが、データ表示装置を傾け、上スクロールキー１５，下スクロールキー１６，左スクロールキー１７，右スクロールキー１８，ズームインキー１９およびズームアウトキー２０を操作することによって、窓５２つまり表示デバイス１１を仮想的に３次元紙面５１の周囲で移動できるようにしている。
【００９４】
そして、上記表示デバイス１１つまり本データ表示装置の仮想的に移動に伴って第１傾きレジスタ３５，第２傾きレジスタ３６，Ｘレジスタ３７，Ｙレジスタ３８およびＺレジスタ３９の内容を更新し、更新された各レジスタ３５〜３９の内容に応じて、表示デバイス１１の表示内容を、表示デバイス１１の移動に伴う表示デバイス１１と紙面５１との相対位置関係を反映させて変更するようにしている。
【００９５】
したがって、本データ表示装置によれば、仮想的に、３次元空間に配置された立体に貼り付けられた紙面５１をその周囲を移動する窓５２を通して見ているような画像を、表示デバイス１１に出力することができる。すなわち、現実の世界に存在する立体を自由に動く窓を通して見ているのに似た操作感覚をユーザに与えることができ、ユーザは表示デバイス１１に現在表示されていない部分を表示させる操作を直感的に行うことができるのである。
【００９６】
尚、本実施の形態においては、図１に示すような主にＰＤＡ型のデータ表示装置を例に上げて説明したが、この発明はＰＤＡ型に限定されるものではない。例えば、携帯電話端末やノートブック型パーソナルコンピュータ等に広く適用可能であり、データ表示装置の形態によって限定されるものではない。
【００９７】
また、上記紙面５１が全くの平面である場合も、本実施の形態を適用して、ユーザの操作またはデータ表示装置の動きに応じて窓５２の位置を変化させて、紙面５１の閲覧を容易にすることができることは言うまでも無い。
【００９８】
また、本実施の形態のごとく、紙面５１を３次元空間に配置した立体に貼り付けて提示することによって得られる他の利点として、現在紙面のどの当りを見ているのかを、ユーザがより把握し易くなることが挙げられる。これは、図２１に示すように、位置によって形状が全く異なるような３次元紙面８２上の３次元座標をテクスチャテーブル６１が与える場合に得られる効果である。この場合、窓８３を通して見える３次元紙面８２は平面に近いが、窓８４を通して見える３次元紙面８２は大きく凸に膨らんでいる。そのために、ユーザは、表示デバイス１１に現在表示されている３次元紙面８２の部分が、元の２次元的紙面のどの部分に対応するのかを、スクロールバー等の補助的手段に頼ることなく、表示内容のみからより直感的に把握することができる。したがって、表示デバイス１１の表示画面の面積が、表示すべき紙面に比べて小さい場合であっても、快適なデータの閲覧が可能になるのである。
【００９９】
・第２の実施の形態
本実施の形態におけるデータ表示装置も、上記第１の実施の形態の場合と同様に、仮想的に、３次元空間に配置された立体に貼り付けられた紙面をその周囲を移動する窓を通して見たような画像を、ユーザに提供するものである。また、上記窓の傾き検出は本データ表示装置の傾きをジャイロによって検出することで行う点、上記窓の平行移動および前後方向の移動をユーザのキー操作によって行う点においても、上記第１の実施の形態の場合と同様である。以下、上記第１の実施の形態とは異なる点について簡潔に説明する。
【０１００】
図２２は、本実施の形態におけるデータ表示装置を背面から見た外観を示す。尚、背面以外の外観は、図１に示す上記第１の実施の形態におけるデータ表示装置と同様である。また、本データ表示装置における機能的構成を示すブロック図は図２と同じであり、その基本動作も図３に示すフローチャートと同じである。
【０１０１】
本実施の形態におけるデータ表示装置の背面には、カメラ９１が設けられている。そして、本実施の形態における表示部２４の機能的構成は、図２３に示すように、図４に示す上記第１の実施の形態の場合と基本的には同じである。但し、本実施の形態においては、画像センサ９２が付加されている。この画像センサ９２は、カメラ９１によって撮影された画像に基づいて、図２４に示すように本データ表示装置の平行移動を検出するのである。尚、図２３において、画像センサ９２以外には図４と同じ番号を付けている。
【０１０２】
図２５は、上記画像センサ９２の機能的構成を示すブロック図である。図２５において、画像センサ９２は、コントローラ９３，フレームメモリ９４，動きベクトル検出器９５，ＤＸレジスタ９６，ＤＹレジスタ９７およびデータバス９８から構成される。各構成要素は、データバス９８を介してデータの送受を行うようになっている。尚、コントローラ９３は、データバス９８およびデータバス４６を介して、表示部２４のＣＰＵ４５とデータを送受可能になっている。
【０１０３】
図２６は、上記コントローラ９３による制御の下に実行される平行移動検出処理動作のフローチャートである。以下、図２６に従って、画像センサ９２の動作について説明する。尚、特に処理手段が明示されていないステップは、コントローラ９３自身に因って処理が行われるものとする。
【０１０４】
ステップＳ３１で、上記カメラ９１で撮影された画像が取り込まれて、フレームメモリ９４に送出される。こうして、カメラ９１で撮影された１フレーム分の画像データが、フレームメモリ９４に格納される。ステップＳ３２で、上記ステップＳ３１においてフレームメモリ９４に送出された画像は、撮影開始後における最初のフレームであるか否かが判別される。その結果、最初のフレームであれば更に次のフレームの画像を取り込むために上記ステップＳ３１に戻る。また、最初のフレームでなければステップＳ３３に進む。
【０１０５】
ステップＳ３３で、上記動きベクトル検出器９５によって、フレームメモリ９４に格納されている画像データが参照されて、連続したフレームの画像データから動きベクトルが算出される。ステップＳ３４で、上記ステップＳ３３において算出された動きベクトルのＸ成分がＤＸレジスタ９６に格納される一方、Ｙ成分がＤＹレジスタ９７に格納される。ここで、フレームの内容が急に切り換った等の理由で、上記ステップＳ３３において動きベクトル検出器９５が動きベクトルの算出に失敗した場合には、ＤＸレジスタ９６およびＤＹレジスタ９７には「０」が書き込まれる。また、本データ表示装置の移動の方向によっては、ＤＸレジスタ９６およびＤＹレジスタ９７に格納される値はマイナスも取り得る。
【０１０６】
ステップＳ３４で、上記Ｘレジスタ３７の格納値が、この格納値にＤＸレジスタ９６の格納値に所定値が乗じられた値を加算した値に更新される。同様に、Ｙレジスタ３８の格納値が、この格納値にＤＹレジスタ９７の格納値に上記所定値が乗じられた値を加算した値に更新される。こうして、上スクロールキー１５，下スクロールキー１６，左スクロールキー１７および右スクロールキー１８の操作によって設定されているＸレジスタ３７およびＹレジスタ３８の格納値が、カメラ９１の撮像結果に応じて更新されるのである。尚、ＤＸレジスタ９６およびＤＹレジスタ９７の値に上記所定値を乗ずるのは、画像センサ９２の動作が過敏あるいは鈍感になるのを防ぎ、適切な操作感を得るためである。
【０１０７】
そうした後に、上記ステップＳ３１に戻る。こうして、カメラ９１では常に撮影が行われており、動きベクトルの検出とＸレジスタ３７およびＹレジスタ３８の更新とが、図２６に示す平行移動検出処理動作とは独立して常時行われるのである。
【０１０８】
上記動きベクトル検出器９５に関しては、例えば特公平８‐３２０４８号公報に開示されているもの等の様々な公知の技術を適用することが可能であり、その詳細な動作は省略する。
【０１０９】
尚、あえて補足すれば、上記Ｘレジスタ３７およびＹレジスタ３８の格納値に応じて表示デバイス１１の表示画像が変更されることは、上記第１の実施の形態の場合と全く同様である。したがって、ユーザが、図２４に示すようにデータ表示装置全体を平行移動させることが、上スクロールキー１５，下スクロールキー１６，左スクロールキー１７および右スクロールキー１８の何れかまたは複数を操作するのと同じ効果を齎すのである。
【０１１０】
また、本実施の形態においては、上記ジャイロ５８を用いた傾き検出器３３と画像センサ９２とを併用して、本データ表示装置のより多様な動きを検出できるようにしている。しかしながら、画像センサ９２のみを用いた構成も勿論可能である。そして、このような構成は、近年、カメラを内蔵した携帯電話やＰＤＡが発売されており、特にその多くが動画の撮影を可能にしているので、装置の動きを検出する目的のためだけに付加すべきハードウエアが殆どまたは全く無く、実現が非常に容易になっている。
【０１１１】
また、本実施の形態においては、上記画像センサ９２は平行移動のみの検出に用いられているが、適切な画像処理によって連続したフレームから回転移動を検出して、データ表示装置自身の回転を検出することも可能である。このような回転が表示に対して有する意味合いは、上記第１実施の形態において図１５の表示画像生成処理動作におけるステップＳ２２での処理の説明で述べた通りである。
【０１１２】
ところで、上記機能的構成を有するデータ表示装置の具体的ハードウェア構成は、上述した各種の処理を実行するプログラムを含む各種プログラムを記憶するプログラムメモリ、各種情報を記憶するデータメモリ、インターネット等の通信ネットワークと接続する通信Ｉ／Ｆ、入力装置、出力装置、表示装置、外部記録媒体がセットされてこの外部記録媒体をアクセスする外部補助記憶装置、上記プログラムメモリ，データメモリ，通信Ｉ／Ｆ，入力装置，出力装置，表示装置および外部補助記憶装置等を制御して、上記データ表示処理動作や表示処理動作や表示画像生成処理動作等を実行する各ＣＰＵ２１，４５，６０等で成る。
【０１１３】
すなわち、上記各キー１３〜２０は上記入力装置を構成し、各メモリ２３，３１，６２，６３やレジスタ３５〜４４やテクスチャテーブル６１は上記データメモリや外部補助記憶装置を構成し、表示ディバイス１１は上記出力装置や表示装置を構成しているのである。また、各ＣＰＵ２１，４５，６０は、上述した本実施の形態に係る処理動作の他に、演算・判断処理，計時処理および入出力処理等の各種の処理動作をも行うようになっている。また、上記実施の形態においては、表示部２４および表示画像生成器３２は専用のＣＰＵ４５，６０によって制御される構成を有しているが、ＣＰＵ４５，６０による制御をメインＣＰＵ２１で兼用する構成であっても一向に構わない。
【０１１４】
さらに、上記実施の形態における上記ＣＰＵ２１，４５，６０による上記射影面移動手段，表示画像生成手段，３次元座標変換手段，２次元座標変換手段，表示画像データ変換手段および画像表示手段としての機能は、プログラム記録媒体に記録されたデータ表示プログラムによって実現される。上記各実施の形態における上記プログラム記録媒体は、ＲＯＭ（リード・オンリ・メモリ）でなるプログラムメディアである。または、上記外部補助記憶装置に装着されて読み出されるプログラムメディアであってもよい。尚、何れの場合においても、プログラムメディアからデータ表示プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、ＲＡＭ（ランダム・アクセス・メモリ）に設けられたプログラム記憶エリア（図示せず）にダウンロードし、上記プログラム記憶エリアにアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアから上記ＲＡＭのプログラム記憶エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。
【０１１５】
ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フロッピーディスク，ハードディスク等の磁気ディスクやＣＤ（コンパクトディスク）‐ＲＯＭ，ＭＯ（光磁気）ディスク，ＭＤ（ミニディスク），ＤＶＤ（ディジタル多用途ディスク）等の光ディスクのディスク系、ＩＣ（集積回路）カードや光カード等のカード系、マスクＲＯＭ，ＥＰＲＯＭ（紫外線消去型ＲＯＭ），ＥＥＰＲＯＭ（電気的消去型ＲＯＭ），フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。
【０１１６】
また、上記実施の形態におけるデータ表示装置は、インターネット等の通信ネットワークと通信Ｉ／Ｆを介して接続可能な構成を有している場合には、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
【０１１７】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【０１１８】
【発明の効果】
以上より明らかなように、この発明によれば、表示画像生成手段によって生成された表示画像データに基づいて、画像表示手段によって、仮想的な３次元空間内に配置された射影面に対するオブジェクトの射影の少なくとも一部の画像を表示画面に表示することができる。その際に、射影面移動手段によって射影面の位置が移動されると、上記表示画面には、仮想的な３次元空間における上記オブジェクトと射影面との相対位置に応じて変化した画像が表示される。したがって、現実の世界に存在する立体を自由に動く窓を通して見ているのに似たより自然な操作感覚をユーザに与えることができる。
【０１１９】
すなわち、この発明によれば、ユーザは、上記表示画面に現在表示されていない部分を表示させる操作を直感的に行うことができるのである。
【０１２０】
また、上記射影面移動手段に、本データ表示装置の動きや傾きを検出する動き検出手段や方向き検出手段を備えて、この動き検出手段や傾き検出手段によって検出された結果に応じて上記射影面の位置を移動させるようにすれば、本データ表示装置に対するユーザの操作とその結果生ずる表示の変化との間に、実世界で起る対応に近い対応付けを与えることができる。したがって、ユーザは、さらに自然に且つ快適に３次元形状のデータの閲覧を行うことができる。
【０１２１】
また、上記動き検出手段に撮像手段を設けて、上記撮像手段からの画像データに基づいて本データ表示装置の動きを検出するようにすれば、カメラを内蔵して動画の撮影が可能な携帯電話やＰＤＡを、動き検出用の特別なハードウエアを付加することなく利用することができる。
【０１２２】
また、上記仮想的な３次元空間に配置されたオブジェクトを、元々２次元的な形状を有する文書が貼り付けられた曲面または平面を含むように構成すれば、文書の３次元画像を表示することができる。したがって、現在表示されている文書の部分が元の２次元文書における何れの位置に対応しているのかを、表示内容から直感的に把握することができる。その結果、上記表示画面が、上記文書の大きさに比べて小さい場合でも、より快適なデータの閲覧が可能になるのである。
【図面の簡単な説明】
【図１】この発明のデータ表示装置における外観を示す図である。
【図２】図１に示すデータ表示装置における機能的構成を示すブロック図である。
【図３】図２におけるメインＣＰＵによる制御の下に実行されるデータ表示処理動作のフローチャートである。
【図４】図２における表示部の機能的構成を示すブロック図である。
【図５】図４におけるＣＰＵの制御の下に実行される表示処理動作のフローチャートである。
【図６】図４におけるＸレジスタ，ＹレジスタおよびＺレジスタに格納される値の説明図である。
【図７】図６における窓に対する紙面の平行射影の説明図である。
【図８】図６における窓に対する紙面の一点を中心とした射影の説明図である。
【図９】図４における第１傾きレジスタおよび第２傾きレジスタに格納される値の説明図である。
【図１０】図４における傾き検出器のブロック図である。
【図１１】図４における各レジスタに対する「０」への初期化の説明図である。
【図１２】図４における表示画像生成器のブロック図である。
【図１３】図１２におけるテクスチャテーブルの構造を模式的に示す図である。
【図１４】図１２における２次元座標データメモリの構造を模式的に示す図である。
【図１５】図１２に示す表示画像生成器による表示画像生成処理動作のフローチャートである。
【図１６】図１５に示す表示画像生成処理動作における３次元座標への変換処理の説明図である。
【図１７】図１６において紙面上の点からの平面の法線ベクトルが平面と交わる以前に紙面自身と交わる場合の説明図である。
【図１８】上記表示画像生成処理動作における２次元座標への変換処理の説明図である。
【図１９】図１１に示す３次元座標系とは異なる新たな３次元座標系を表す３つの基底ベクトルの説明図である。
【図２０】図１５に示す表示画像生成処理動作で行われる座標変換による座標の変遷を示す図である。
【図２１】紙面を３次元空間に配置した立体に貼り付けて提示することによる利点の説明図である。
【図２２】図１に示すデータ表示装置とは異なるデータ表示装置を背面から見た外観図である。
【図２３】図２２に示すデータ表示装置における表示部の機能的構成を示すブロック図である。
【図２４】図２２に示すデータ表示装置による平行移動検出の説明図である。
【図２５】図２３における画像センサの機能的構成を示すブロック図である。
【図２６】図２３における画像センサによる平行移動検出処理動作のフローチャートである。
【図２７】ユーザの操作とその結果表ずる表示の変化との間に実世界で起こる対応に近い対応付けを与えるための基本的な概念の説明図である。
【図２８】図２７における窓から見える図形の一例を示す図である。
【図２９】図２７における窓から見える図形の他の例を示す図である。
【符号の説明】
１１…表示デバイス、
１５…上スクロールキー、
１６…下スクロールキー、
１７…左スクロールキー、
１８…右スクロールキー、
１９…ズームインキー、
２０…ズームアウトキー、
２１…メインＣＰＵ、
２３…表示データメモリ、
２４…表示部、
３１…ページデータメモリ、
３２…表示画像生成器、
３３…傾き検出器、
３４…表示画像データメモリ、
３５…第１傾きレジスタ、
３６…第２傾きレジスタ、
３７…Ｘレジスタ、
３８…Ｙレジスタ、
３９…Ｚレジスタ、
４５，６０…ＣＰＵ、
５１，８２…３次元紙面、
５２，８３，８４…窓、
５４…窓の中心点、
５５…３次元座標系の原点、
５６…法線ベクトル、
５７，９３…コントローラ、
５８…ジャイロ、
６１…テクスチャテーブル、
６２…３次元座標データメモリ、
６３…２次元座標データメモリ、
６７…窓を含む平面、
８１…２次元紙面、
９１…カメラ、
９２…画像センサ、
９４…フレームメモリ、
９５…動きベクトル検出器、
９６…ＤＸレジスタ、
９７…ＤＹレジスタ。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a data display device, a data display program, and a program recording medium.
[0002]
[Prior art]
With the recent remarkable development of portable information terminals (PDAs), small and light personal computers of the same size as PDAs, and mobile phones (hereinafter, small information devices including these three types are referred to as "portable information devices"), It is easier to carry information. In addition, it can be said that the development of information communication means is being combined with the development of portable information devices, and the realization of “ubiquitous computing” is approaching.
[0003]
By the way, as a weak point that the portable information devices have in common, an area of a display screen is sometimes limited. This does not usually pose a problem if a text file that does not originally have layout information is read back at an appropriate place. However, when the layout is important information, either the whole image is displayed at a low resolution or the detailed data is displayed for each part.
[0004]
When the whole image is displayed on a small screen of the portable information device, the whole image is easily grasped, but it is difficult to read individual information. On the other hand, when displaying individual parts in detail, on the contrary, there is no problem in reading the information of the detailed part, but which part of the whole that the user is currently reading corresponds to which part. I do not understand. Therefore, in any case, the user is stressed.
[0005]
Therefore, an attempt has been made to solve the above-mentioned problem as much as possible by displaying an image three-dimensionally. For example, a document editing apparatus has been proposed that presents a document structure relationship intuitively to a user by displaying a document element three-dimensionally based on a document structure relationship such as a layout structure hierarchical relationship or a logical structure hierarchical relationship. (See Patent Document 1 (Japanese Unexamined Patent Publication No. Hei 3-268059)).
[0006]
Also, the image processing unit fetches the original image data of the window based on the pointer to the original image data stored in the oblique window management structure in the main memory, executes the oblique processing, and executes the generated oblique processing. The shape image data is stored in the main memory. Further, oblique image mask data for designating data to be actually displayed on the oblique image data is generated and stored in the main memory. Then, the oblique image data and the oblique image mask data are transferred from the main memory to the display memory, and the image data specified by the oblique image mask data in the oblique image data is tilted to a display window. (Japanese Patent Application Laid-Open No. 6-186948) has been proposed.
[0007]
In addition, the model generation unit generates a three-dimensional model including a plurality of surfaces bent in a bellows shape based on the plurality of pages of document data. At this time, the page development control unit adjusts the bending angle of the three-dimensional model to change the development state of each page. Further, the viewpoint coordinate conversion unit converts the viewpoint position of the three-dimensional model. Then, the document data of each page is mapped on each surface of the three-dimensional model by the texture mapping processing unit, and the image rendered by the image processing unit is displayed on the display device under the control of the display control unit. Thus, an electronic book device capable of developing document data of arbitrary pages in a bellows shape, changing the viewpoint position arbitrarily, and confirming document data of multiple pages at once regardless of the front and back of the page. It has been proposed (see Patent Document 3 (JP-A-2000-137563)).
[0008]
[Patent Document 1]
JP-A-3-268059
[Patent Document 2]
JP-A-6-186948
[Patent Document 3]
JP-A-2000-137563
[0009]
[Problems to be solved by the invention]
Here, when browsing information regardless of the small portable information device as described above, consider how the browsing is performed. For example, newspapers cannot be freely opened on a crowded train. For this purpose, it is common to fold the newspaper into smaller pieces or narrow the way to open the newspaper. The fact that this is common practice means that folding or opening the newspaper as described above does not put a great deal of stress on the reader.
[0010]
The difference between the user's field of view obtained by folding or narrowing the way of opening and the display image by the display method performed when displaying a large paper on the small screen of the portable information device is “naturalness”. It is thought that there is. That is, what the user sees when the newspaper is opened or folded small is a three-dimensional figure including a folded state centered on a portion to be read. On the other hand, the video displayed on the portable information device is an image obtained by cutting out only a part that the user wants to read that does not exist naturally. Therefore, the operation of displaying a part that is not currently displayed on the portable information device cannot be performed intuitively. It should be noted that such an operation of displaying a portion that is not currently displayed by some method is frequently required whenever the display screen of the portable information device is small.
[0011]
As described above, in order to be able to intuitively perform an operation of displaying a part that is not currently displayed, a response close to a response that occurs in the real world between a user operation and a resulting change in display. It is considered to be effective to give a tag.
[0012]
FIG. 27 is a diagram showing a basic concept for giving a correspondence close to the correspondence occurring in the real world as described above. FIG. 27 shows a state in which the paper 1 has a spherical surface and the figures of the rectangles 2 and 3 on the surface of the paper 1 are viewed through the window 4. Of course, in reality, it is unlikely that the paper surface 1 forms a spherical surface, but such a state is considered for the purpose of schematically explaining various curved surfaces.
[0013]
The figure seen through the window 4 varies depending on the positional relationship between the figure and the window 4. For example, in the case of FIG. 27A, the rectangle 2 has a positional relationship substantially parallel to the window 4. Therefore, as shown in FIG. 28A, a figure close to a rectangle can be seen from the window 4. On the other hand, in the case of FIG. 27B, the window 5 is inclined with respect to the rectangle 2. For this purpose, as shown in FIG. 28 (b), a distorted rectangle 2 is reflected from the window 5, reflecting the angle between the rectangle 2 and the window 5 and the fact that the rectangle 2 is on the paper 1 forming a spherical surface. I can see. In addition, in FIG. 27B, when the windows are moved back and forth like the windows 6 and 7, as shown in FIGS. 29A and 29B, the rectangle 3 seen through the window 7 is 6 is smaller than the rectangle 3 seen through. This is because the difference in distance between the two windows 6 and 7 and the rectangle 3 was reflected.
[0014]
By the way, in the document editing apparatus disclosed in Patent Document 1, although the document element is displayed three-dimensionally, the document itself is not visually displayed three-dimensionally. Further, in the image display method disclosed in Patent Document 2, it can be said that the document itself is three-dimensionally displayed because the image is displayed obliquely by disposing the window at an angle. However, as described in the concept for providing a correspondence close to the correspondence occurring in the real world, the display image cannot be changed by virtually changing the relative position with respect to the user.
[0015]
Further, in the electronic book device disclosed in Patent Document 3, the shape of three-dimensional data to be mapped is limited to a bellows shape. Further, there is no idea that the viewpoint of the user is changed by using the change of the posture or the position of the display device.
[0016]
In short, in a conventional image display device that displays the above-described image three-dimensionally, the user naturally browses a three-dimensionally expressed paper surface, for example, by using a change in the posture or position of the display device. You can't do anything at all.
[0017]
Therefore, an object of the present invention is to provide a data display device, a data display program, and a program recording medium that can give a user an operational feeling similar to looking at a solid existing in the real world through a freely moving window. Is to do.
[0018]
Further, the present invention provides a data display device, a data display program, and a program recording medium capable of giving a more natural operation feeling by performing the operation of moving the window for viewing the three-dimensional object by using the change in the posture and position of the user. Is to do.
[0019]
[Means for Solving the Problems]
In order to achieve the above object, a data display device of the present invention is arranged in a virtual three-dimensional space and stores display data of an object to be displayed. Projecting plane moving means for moving a position of a projecting plane on which the object is projected in a three-dimensional space; and a relative position between the object and the projecting plane in the virtual three-dimensional space based on the display data. Display image generating means for generating display image data for displaying at least a part of the projection of the object on the projection plane in accordance with the position; and displaying the display image data on the projection plane based on the generated display image data. Image display means is provided for displaying at least a part of the image of the projection of the object on the display screen.
[0020]
According to the above configuration, at least a partial image of the projection of the object on the projection plane in the virtual three-dimensional space is displayed on the display screen. At this time, when the position of the projection plane is moved by the projection plane moving means, an image changed according to the relative position between the object and the projection plane in the three-dimensional space is displayed on the display screen. . Therefore, it is possible to give the user an operation feeling similar to seeing a three-dimensional object existing in the real world through a freely moving window, and the user can perform an operation of displaying a part that is not currently displayed on the display screen. It can be done intuitively.
[0021]
Further, in the data display device of one embodiment, the projection plane moving means is provided with a motion detecting means for detecting the motion of the present data display apparatus, and the motion of the present data display apparatus detected by the motion detecting means is changed. The position of the projection plane is moved.
[0022]
According to this embodiment, since the movement of the data display device and the movement of the projection plane are associated with each other, there is an actual difference between the user's operation on the data display device and the resulting change in display. An association close to that occurring in the world is given. Accordingly, an image as if the object is viewed through a window moving around the object is displayed on the display screen.
[0023]
Further, in the data display device of one embodiment, an image pickup device for outputting image data obtained by photographing the periphery of the data display device to the motion detection device, and a book image based on the image data from the image pickup device. An image sensing means for detecting the movement of the data display device is provided.
[0024]
According to this embodiment, the movement of the present data display device is detected based on the surrounding image taken by the imaging means. Therefore, it is possible to use a mobile phone or a PDA that has a built-in camera and can shoot a moving image without adding special hardware for motion detection.
[0025]
In one embodiment of the data display device, the image sensing means includes a motion vector detection means for detecting a motion vector of the data display apparatus, and the image sensing means detects a motion vector based on the motion vector detected by the motion vector detection means. The parallel movement of the data display device is detected.
[0026]
According to this embodiment, the movement of the data display device can be easily detected based on the surrounding image taken by the image pickup means.
[0027]
In one embodiment of the data display device, the imaging means is a camera disposed on the back of the display screen.
[0028]
According to this embodiment, the configuration of the motion detecting means having the above-mentioned image pickup means becomes easy.
[0029]
Further, in the data display device of one embodiment, the projection plane moving means includes an inclination detection means for detecting an inclination of the data display apparatus, and the projection plane is moved in accordance with the inclination detected by the inclination detection means. A data display device characterized by moving the position of (1).
[0030]
According to this embodiment, since the inclination of the data display device and the movement of the projection plane are associated with each other, between the user's tilt operation on the data display device and the resulting change in display, An association close to that occurring in the real world is provided. Accordingly, an image as if the object is viewed through a window moving around the object is displayed on the display screen.
[0031]
In the data display device according to the embodiment, the inclination detecting means is configured by using a gyro.
[0032]
According to this embodiment, the inclination detecting means can accurately detect the inclination of the data display device by using the gyro.
[0033]
In one embodiment of the data display device, the display image generating means includes: a coordinate of each point on the object in the three-dimensional coordinate system representing the virtual three-dimensional space; Three-dimensional coordinate conversion means for converting the coordinates of each point projected onto the projection plane, a two-dimensional coordinate system is set on the projection plane, and the three-dimensional coordinates of each point projected on the projection plane are converted into the two-dimensional coordinates. Two-dimensional coordinate conversion means for converting the coordinates into coordinates in a system; and, based on the two-dimensional coordinates of each point projected on the projection plane, display data of the object stored in the display data memory with respect to the projection plane. There is provided a display image data conversion means for converting at least a part of the projection of the object into display image data for displaying.
[0034]
According to this embodiment, the coordinates of the projection of the object on the projection plane in the virtual three-dimensional coordinate system are obtained, and the projection of the projection on the projection plane is set on the projection plane based on the three-dimensional coordinates. By obtaining the coordinates in the two-dimensional coordinate system, display image data for displaying at least a part of the projection of the object on the projection plane can be accurately obtained.
[0035]
In the data display device according to the embodiment, the object arranged in the virtual three-dimensional space has a curved surface or a plane, and a document is attached along the curved surface or the plane.
[0036]
According to this embodiment, it is possible to give the user an operation feeling similar to watching an image expressing a two-dimensional document three-dimensionally through a freely moving window. Therefore, it is possible to display an image in a state where a document larger than the display screen is folded or rounded.
[0037]
The data display program of the present invention causes a computer to function as the projection plane moving means, the three-dimensional coordinate converting means, the two-dimensional coordinate converting means, the display image data converting means, and the image displaying means in the data display device of the present invention. .
[0038]
According to the above configuration, it is possible to give the user an operational feeling similar to looking at a solid existing in the real world through a freely moving window.
[0039]
Further, the program recording medium of the present invention stores the data display program of the present invention.
[0040]
According to the above configuration, by reading and executing with a computer, it is possible to give the user an operation feeling similar to looking at a solid existing in the real world through a freely moving window.
[0041]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the illustrated embodiments.
[0042]
・ First embodiment
FIG. 1 shows the appearance of the data display device of the present embodiment. This data display device provides a user with an image as if he / she is virtually seeing a paper surface attached to a three-dimensionally arranged three-dimensional space through a window moving around the space. As described below, the detection of the inclination of the window is performed by detecting the inclination of the data display device using a gyro, the parallel movement of the window is performed by a key operation of a user, and the movement of the window in the front-back direction is also performed. Is performed by a user's key operation.
[0043]
As shown in FIG. 1, the data display device includes a display device 11, a power switch 12, a page feed key 13, a page return key 14, an upper scroll key 15, a lower scroll key 16, a left scroll key 17, a right scroll key. 18, a zoom-in key 19 and a zoom-out key 20 are provided. Each role will be described later.
[0044]
FIG. 2 is a block diagram showing a functional configuration of the data display device shown in FIG. This data display device comprises a main CPU (central processing unit) 21, a page register 22, a display data memory 23, a display unit 24, a page feed key 13, a page return key 14, a power switch 12, and a data bus 25. I have. Note that each component other than the power switch 12 transmits and receives data via the data bus 25.
[0045]
FIG. 3 is a flowchart of a data display processing operation executed under the control of the main CPU 21. Hereinafter, the data display processing operation will be described in detail with reference to FIGS. It should be noted that the steps for which the processing means are not specifically described are assumed to be processed by the main CPU 21 itself. Further, in an actual product, when the power switch 12 is turned off, it should be considered that the data display processing operation is always terminated at any step, but it is essential for the present application. Therefore, the above description will not be described because the description is complicated. The same applies to other flowcharts.
[0046]
It is assumed that the display data memory 23 stores display data having a meaningful unit in order. In the present embodiment, it is assumed that the display data is 24-bit color image data for each page. Even if the data stored in the display data memory 23 is in a format other than an image (for example, text data), it is considered that the data is converted into image data at the stage of displaying each page. It does not lose generality. Also, the display data may not be in the page format. However, such display data can also be regarded as one large page, so that handling display data as an image for each page is not excluded from the scope of the present embodiment.
[0047]
When the power switch 12 is turned on, the data display processing operation starts. Then, in step S1, the contents of the page register 22 are initialized to "0". Here, the page register 22 stores the number of the currently displayed page. Therefore, the fact that the content of the page register 22 is “0” indicates that the first page is displayed. In the following description, the page number starts from “0”.
[0048]
Next, in step S2, the data of the page indicated by the value stored in the page register 22 is displayed on the display unit 24. The data display processing operation by the display unit 24 will be described later in detail. In step S3, it is determined whether the page feed key 13 has been pressed. As a result, if pressed, the process proceeds to step S4; otherwise, the process proceeds to step S6. In step S4, it is determined whether the value stored in the page register 22 matches the number of the last page. As a result, if they match, the page cannot be sent any more, so the process returns to step S3, and if they do not match, the process proceeds to step S5. In step S5, the value stored in the page register 22 is incremented. After that, the process returns to the step S2 to shift to the data display of the next page.
[0049]
In step S6, it is determined whether the page return key 14 has been pressed. As a result, if pressed, the process proceeds to step S7, and if not, the process returns to step S3 and shifts to the pressing determination of the page feed key 13. In step S7, it is determined whether or not the value stored in the page register 22 matches "0 (number of the first page)". As a result, if they match, the page cannot be returned, so the process returns to step S3. If they do not match, the process proceeds to step S8. In step S8, the value stored in the page register 22 is decremented. After that, the process returns to the step S2 to shift to the data display of the previous page.
[0050]
Next, a display processing operation executed by the display unit 24 in step S2 of the data display processing operation shown in FIG. 3 will be described. FIG. 4 is a block diagram illustrating a functional configuration of the display unit 24. FIG. 4 also shows the upper scroll key 15, the lower scroll key 16, the left scroll key 17, the right scroll key 18, the zoom-in key 19, the zoom-out key 20, and the data bus 25.
[0051]
4, the display unit 24 includes a page data memory 31, a display image generator 32, a tilt detector 33, a display image data memory 34, a display device 11, a first tilt register 35, a second tilt register 36, and an X register. 37, a Y register 38, a Z register 39, a third tilt register 40, a fourth tilt register 41, an X2 register 42, a Y2 register 43, a Z2 register 44, a dedicated CPU 45 and a data bus 46. Each of the above components transmits and receives data via the data bus 46. The CPU 45 is capable of receiving data from each of the keys 15 to 20 via the data bus 46 and the data bus 25, and is capable of transmitting and receiving data to and from the main CPU 21.
[0052]
The first tilt register 35, the second tilt register 36, the X register 37, the Y register 38, and the Z register 39 store values representing the current state of the data display device, as will be described in detail later. On the other hand, the third inclination register 40, the fourth inclination register 41, the X2 register 42, the Y2 register 43, and the Z2 register 44 store a value representing a state at a certain past in the data display device. That is, the first inclination register 35 corresponds to the third inclination register 40, the second inclination register 36 corresponds to the fourth inclination register 41, the X register 37 corresponds to the X2 register 42, and the Y register 38 corresponds to the The Y2 register 43 corresponds, and the Z register 39 and the Z2 register 44 correspond. The display image data memory 34 has an array of storage elements corresponding to each pixel in the display device 11.
[0053]
FIG. 5 is a flowchart of a display processing operation executed under the control of the CPU 45. Hereinafter, the display processing operation will be described in detail with reference to FIGS. It should be noted that the processing is not performed by the CPU 45 itself if the processing means is not specified. When the page register 22 is initialized in step S1 of the data display processing operation shown in FIG. 3, the display processing operation starts.
[0054]
In step S11, the contents of the registers are initialized. Specifically, the contents of the first inclination register 35, the second inclination register 36, the X register 37, the Y register 38 and the Z register 39 are all initialized to "0". The meaning of the initial value “0” will be described later.
[0055]
Next, in step S12, the page data to be displayed read from the display data memory 23 is stored in the page data memory 31. In step S13, a copy of each of the registers 35 to 39 storing the current state of the data display device is created. Specifically, the value of the first inclination register 35 is stored in the third inclination register 40, the value of the second inclination register 36 is stored in the fourth inclination register 41, and the value of the X register 37 is stored in the X2 register 42. Then, the value of the Y register 38 is stored in the Y2 register 43, and the value of the Z register 39 is stored in the Z2 register 44. As described later in detail, the values stored in the registers 35 to 39 are constantly updated by processing independent of the data display processing operation and the main processing operation.
[0056]
Next, in step S14, the display image generator 32 stores the values stored in the first tilt register 35, the second tilt register 36, the X register 37, the Y register 38, and the Z register 39 and the page data memory 31. Display image data is generated from the data of the displayed display page and stored in the display image data memory 34. The operation of the display image generator 32 will be described later in detail. In step S15, a display image is displayed on the display device 11 based on the display image data stored in the display image data memory 34.
[0057]
In step S16, it is determined whether or not the state of the data display device has changed. Specifically, the value of the first inclination register 35 is compared with the value of the third inclination register 40, the value of the second inclination register 36 is compared with the value of the fourth inclination register 41, and the value of the X register 37 is compared. The value is compared with the value of the X2 register 42, the value of the Y register 38 is compared with the value of the Y2 register 43, and the value of the Z register 39 is compared with the value of the Z2 register 44. As a result, if there is at least one different one, it is determined that the state of the data display device has changed. When it has changed, the process returns to step S13 and shifts to the process after the change. On the other hand, if there is no change, monitoring of the state change of the data display device is continued.
[0058]
The monitoring of the state change of the data display device is performed not only when the CPU 45 performs the software processing as in the display processing operation shown in FIG. 5 but also when the CPU 45 performs the software processing by using a technology such as a hardware interrupt. It goes without saying that a configuration without monitoring is also within the scope of the present invention.
[0059]
By the way, as described above, the values stored in the first tilt register 35, the second tilt register 36, the X register 37, the Y register 38, and the Z register 39 correspond to the data display processing operation shown in FIG. Independent of the processing operation, it is constantly updated by a user operation on the data display device.
[0060]
FIG. 6 shows the meaning of the values stored in the X register 37, the Y register 38, and the Z register 39. The paper surface 51 is represented as a three-dimensional figure by a method described later in detail. This means the same as attaching the paper surface 51 to the three-dimensional figure. Then, the display device 11 of the present data display device displays the visual field reflected on the window 52 when the paper surface 51 is projected on the window 52. In this case, the projection is a parallel projection in a direction perpendicular to the window 52 as shown in FIG. Of course, as shown in FIG. 8, it is also possible to make a projection centering on one point (user's viewpoint) 53 by estimating or approximating the position of the user's eyes.
[0061]
In any case, the coordinates of the center point 54 of the window 52 can be represented by three-dimensional coordinates. Therefore, an XYZ space in which the origin 55 set on the paper surface 51 is (0, 0, 0) is determined, and the coordinates of the center point 54 of the window 52 are obtained. In this case, the X coordinate is the value stored in the X register 37, the Y coordinate is the value stored in the Y register 38, and the Z coordinate is the value stored in the Z register 39.
[0062]
The user can change the XYZ coordinates of the center point 54 of the window 52 as described above as follows. That is, every time the left scroll key 17 is pressed, the value of the X register 37 is decremented by "1". However, when the value of the X register 37 has reached a predetermined minimum value, the value is maintained. On the other hand, every time the right scroll key 18 is pressed, the value of the X register 37 is incremented by "1". However, when the value of the X register 37 has reached a predetermined maximum value, the value is maintained.
[0063]
Each time the upper scroll key 15 is pressed, the value of the Y register 38 is incremented by "1". However, when the value of the Y register 38 has reached a predetermined maximum value, the value is maintained. On the other hand, every time the down scroll key 16 is pressed, the value of the Y register 38 is decremented by "1". However, when the value of the Y register 38 has reached a predetermined minimum value, the value is maintained.
[0064]
Each time the zoom-in key 19 is pressed, the value of the Z register 39 is decremented by "1". However, when the value of the Z register 39 has reached a predetermined minimum value, the value is maintained. On the other hand, each time the zoom out key 20 is pressed, the value of the Z register 39 is incremented by “1”. However, when the value of the Z register 39 has reached a predetermined maximum value, the value is maintained.
[0065]
Thus, the values stored in the X register 37, the Y register 38, and the Z register 39 are constantly updated by the operation of the data display device by the user. The above-mentioned "predetermined minimum value" and "predetermined maximum value" are constants depending on how to take the coordinate system and the configuration of the present data display device, and may be negative depending on how to take the coordinate system. Can be the number of Further, each of the X register 37, the Y register 38, and the Z register 39 can have a different value. It is not meaningful to move the window 52 to a position where the paper surface 51 is viewed from the back side. Therefore, it is appropriate to limit the values of the X register 37, the Y register 38, and the Z register 39 so that the window 52 is not located behind the paper surface 51, except for an application in which such usage is considered useful. is there.
[0066]
Next, the values stored in the first inclination register 35 and the second inclination register 36 will be described. As shown in FIG. 9, the inclination of the window 52, which is a plane, is uniquely determined by determining the direction of the normal vector 56. In this case, since the normal vector 56 can be identified even if the absolute values of the vectors are different, the magnitude of the vector is normalized to “1”. By doing so, the normal vector 56 can be represented only by its X and Y components. This is because the Z component of the normal vector 56 can be obtained from the X component and the Y component by the following equation (1).
Z component = ｛1- (X component) 2 -(Y component) 2 ｝ 1/2 … (1)
However, (X component) 2 + (Y component) 2 + (Z component) 2 = 1
Then, the value of the X component of the normal vector 56 is stored in the first gradient register 35, and the value of the Y component is stored in the second gradient register 36.
[0067]
As a more straightforward method, a register for storing the Z component of the normal vector 56 may be provided. Further, the method of expressing the inclination of the window 52 is not limited to the method using the normal vector 56. In any case, the variation of the method of representing the inclination of the window 52 and the method of storing the value representing the inclination of the window 52 still fall within the scope of the present invention.
[0068]
The window 52 described above corresponds to the display device 11 in an actual data display device. Thus, the position and the inclination of the window 52 can be regarded as the position and the inclination of the display device 11 when the window 52 is applied to an actual data display device. Note that the actual display device 11 has a thickness. However, in the present embodiment, attention is paid only to the display surface of the display device 11, and the display device 11 is treated as an area on a plane having no thickness. In the following description, the display surface of the display device 11 and the window 52 used in the above description are not particularly distinguished.
[0069]
Further, the inclination of the display device 11 can be appropriately converted from the same view as the inclination of the entire data display device or the inclination of the entire data display device if the arrangement of the display device 11 with respect to the entire data display device is clear. Therefore, in the following description, the inclination of the display device 11 and the inclination of the entire data display device will be identified.
[0070]
FIG. 10 is a block diagram of the tilt detector 33. The tilt detector 33 includes a controller 57 and a gyro 58 connected to each other via a data bus 59. The controller 57 can transmit and receive data to and from the CPU 45 of the display unit 24 via the data bus 59 and the data bus 46.
[0071]
In the above configuration, the gyro 58 detects a tilt of the present data display device at the present time. Then, the controller 57 obtains the X component and the Y component of the normal vector 56 as needed based on the detected inclination, stores the X component in the first inclination register 35, and stores the Y component in the second inclination register 36. It is. There are various types of gyro 58, such as a mechanical type, an optical type, and a vibration type. However, in the present embodiment, an appropriate type is used without any particular limitation.
[0072]
Next, the initial value of each register set in step S11 of the display processing operation shown in FIG. 5 will be described. First, the initial value "0" of the X register 37, the Y register 38 and the Z register 39 indicates that the coordinates of the center point 54 of the window 52 at that time are at the origin 55 of the XYZ space shown in FIG. . Further, the initial value “0” of the first tilt register 35 and the second tilt register 36 is such that the X component and the Y component of the normal vector 56 of the present data display device at that point are “0” on the vector coordinates shown in FIG. 0 ". Here, as described above, the absolute value of the normal vector 56 is normalized to “1”. Therefore, when the values of the first inclination register 35 and the second inclination register 36 are initialized to “0”, the coordinate component of the normal vector 56 is (0, 0, 1), and the window 52 is located on the XY plane. Means that it is parallel. Therefore, initializing the X register 37, the Y register 38, the Z register 39, the first inclination register 35, and the second inclination register 36 to "0" means that the surface of the window 52 at the present time is, as shown in FIG. Is the XY plane, and the XYZ coordinate system is set so that the center point 54 of the window 52 at the present time becomes the origin 55.
[0073]
Next, the display image generator 32 constituting the display unit 24 will be described. As shown in FIG. 7, the display image generator 32 generates an image obtained by projecting a paper surface 51 converted into a three-dimensional figure onto a window (display surface of the display device 11) 52 in parallel. FIG. 12 is a block diagram of the display image generator 32. FIG. 15 is a flowchart of a display image generation processing operation by the display image generator 32.
[0074]
As shown in FIG. 12, the display image generator 32 includes a dedicated CPU 60, a texture table 61, a three-dimensional coordinate data memory 62, and a two-dimensional coordinate data memory 63. Each of the constituent elements 60 to 63 includes a data bus 64. The exchange of data is performed via. Note that the CPU 60 can transmit and receive data to and from the CPU 45 of the display unit 24 via the data bus 64 and the data bus 46.
[0075]
The texture table 61 stores the X and Y coordinates of the original display page data (page data) stored in the page data memory 31 and the X and Y coordinates after conversion into a three-dimensional stereoscopic image. This is a table showing the relationship with the Y and Z coordinates, and is a table for obtaining a three-dimensional figure on the paper surface 51. FIG. 13 schematically shows the structure of the texture table 61. In FIG. 13, the horizontal arrangement of the texture table 61 corresponds to the X coordinate of the original page data, while the vertical arrangement corresponds to the Y coordinate of the original page data. Each element is an XYZ coordinate after conversion into a stereoscopic image, and is composed of three sets of numerical values. It is assumed that each element is numerical data having sufficient accuracy. Of course, such an expression method is not the only method of expressing the paper surface 51 as a three-dimensional figure. For example, in the present embodiment, since a coordinate system is determined, a three-dimensional figure can be represented by a mathematical expression for conversion. Here, the expression of the paper surface 51 as a three-dimensional figure does not need to be extremely bulged or depressed, and a curved surface such as that obtained when a book is rolled and held is appropriate.
[0076]
The three-dimensional coordinate data memory 62 is a table for writing three-dimensional coordinate values obtained when projecting the three-dimensional coordinate values of the paper surface 51 stored in the texture table 61 onto a plane including the display device 11. is there. Therefore, the three-dimensional coordinate data memory 62 also has exactly the same structure and size as the texture table 61.
[0077]
Further, the two-dimensional coordinate data memory 63 stores a two-dimensional coordinate value obtained when each element of the three-dimensional coordinate data memory 62 is converted into two-dimensional coordinates in which a coordinate system has been relocated on a plane including the display device 11. Is a table for writing. The structure of the two-dimensional coordinate data memory 63 is such that the coordinate system is rearranged on a plane including the XY coordinates (horizontal arrangement and vertical arrangement) of the original page data and the display device 11, as schematically shown in FIG. It is an array giving correspondence with two-dimensional coordinates (element values).
[0078]
Hereinafter, the display image generation processing operation performed by the CPU 60 will be described with reference to FIG.
[0079]
First, in step S21, the three-dimensional coordinate values of the paper surface 51 stored in the texture table 61 are referred to the X register 37, the Y register 38, the Z register 39, the first inclination register 35, and the second inclination register 36. Then, it is converted into a three-dimensional coordinate value when projected on a plane including the display device 11. Then, the obtained three-dimensional coordinate values are stored in the three-dimensional coordinate data memory 62.
[0080]
FIG. 16 is an explanatory diagram of the processing in step S21. In this process, a straight line 66 drawn in the same direction as the normal vector of the window 52 from the point 65 from the three-dimensional coordinates of the point 65 on the paper surface 51 stored in the texture table 61 intersects a plane 67 including the window 52. This is a process for obtaining three-dimensional coordinates of the point 68. Such processing can be performed by performing the following procedure. That is, a point such that a vector 69 on the plane 67 with the center point 54 of the window 52 as a base point is orthogonal to a normal vector 66 from the point 65 on the paper surface 51 to the plane 67 (or an extension thereof). , The coordinates of the target point 68 on the plane 67 can be obtained. The coordinates of the center point 54 of the window 52 can be obtained from the values stored in the X register 37, the Y register 38, and the Z register 39. Further, the normal vector 66 can be obtained from the values stored in the first inclination register 35 and the second inclination register 36 and the calculation result of the equation (1). Therefore, by obtaining the vector 69 from the coordinates of the center point 54 of the window 52, the coordinates of the intersection 68 between the vector 69 and the normal vector 66 (or an extension thereof) can be obtained.
[0081]
That is, in the process in step S21, one element value (X, Y, Z) of the texture table 61 is read. The coordinates (X, Y, Z) are converted into a point 68 on the plane 67 by referring to the X register 37, the Y register 38, the Z register 39, the first inclination register 35, and the second inclination register 36 as described above. (X ′, Y ′, Z ′), and converts the converted coordinates (X ′, Y ′, Z ′) into the corresponding element value (X, Y, Z) of the texture table 61 in the three-dimensional coordinate data memory 62. ) Is stored in the position corresponding to the storage position. This process is performed for all element values of the texture table 61.
[0082]
However, depending on the positional relationship between the shape of the paper surface 51 and the plane 67, the normal vector 66 may intersect the paper surface 51 a plurality of times. FIG. 17 shows such a case, and is a plan view in a state where the paper surface 51 has a very complicated shape. In FIG. 17, a normal vector 66 of a plane 67 from a point 65 on the paper surface 51 intersects the paper surface 51 before intersecting with the plane 67. Then, in that case, the point 65 should not be visible from the window 52 originally located on the plane 67. Therefore, in the above-described step S21, in such a case, a value indicating that the element value is invalid for any or all of the XYZ values is stored in the corresponding position of the three-dimensional coordinate data memory 62. I have to.
[0083]
When the processing in step S21 is completed, the three-dimensional coordinate data memory 62 stores the XY coordinates of the original page data stored in the page data memory 31 and the three-dimensional coordinates on the plane 67 including the display device 11. A table representing the correspondence with the dimensional coordinates is generated.
[0084]
Next, in step S22, the two-dimensional coordinates obtained by resetting the three-dimensional coordinate values on the plane 67 including the display device 11 stored in the three-dimensional coordinate data memory 62 on the plane 67 including the window 52 are set. It is converted into a two-dimensional coordinate value in the system. Then, the obtained two-dimensional coordinate values are stored in the two-dimensional coordinate data memory 63. In this case, as described in the processing in step S21, the element in which the value indicating invalidity is stored in the three-dimensional coordinate data memory 62 is ignored.
[0085]
FIG. 18 is an explanatory diagram of the processing in step S22. This processing is performed on the plane 67 after the coordinate transformation on the plane 67 including the window 52 is completed, the two basis vectors 70 and 71, whose absolute values are normalized to 1 and orthogonal to each other, and the absolute value And a normal vector 72 of the plane 67 including the window 52 in which is normalized to 1. Next, a 3 × 3 matrix M using these three vectors 70, 71, 72 as column vectors is created. Then, the inverse matrix of the matrix M is a transformation matrix from the XYZ coordinate system in FIG. 18 to a new three-dimensional coordinate system represented by three vectors 70, 71, and 72. In this case, for a point on the plane 67, a component orthogonal to the plane 67 is “0”. Therefore, when components in the direction of the normal vector 72 (components in a direction orthogonal to the plane 67) are ignored, two-dimensional coordinates on the plane 67 can be obtained by performing conversion using the inverse matrix of the matrix M. It is.
[0086]
Here, as shown in FIG. 19, among the three basis vectors representing the new three-dimensional coordinate system, the basis vector 75 orthogonal to the plane 67 coincides with the normal vector 72 of the plane 67, and thus has already been described. Thus, it can be obtained from the first inclination register 35 and the second inclination register 36. For the remaining two basis vectors, the direction of one basis vector 74 is made to coincide with the direction of the basis vector X in the original XYZ coordinate system. In this case, the basis vector 73 which is on the plane 67 including the window 52 and is orthogonal to the basis vector 74 can be uniquely determined by identifying vectors having opposite directions.
[0087]
The tilt detector 33 is configured to calculate and hold the base vector 70 and the base vector 71 by the tilt detector 33 from the tilt of the data display device in addition to the normal vector 72 in FIG. It is also possible. However, the content displayed on the display device 11 changes according to the rotation of the data display device. In this case, in addition to the normal vector 72 held in the first tilt register 35 and the second tilt register 36, it is necessary to hold the tilt information of either the base vector 70 or the base vector 71. . In any case, such variations remain within the scope of the present application.
[0088]
That is, in the process in step S22, one element value (X ', Y', Z ') of the three-dimensional coordinate data memory 62 is read. Then, the coordinates (X ′, Y ′, Z ′) are orthogonalized to the basis vector 74 in the same direction as the direction of the basis vector X of the original XYZ coordinate system by using the inverse matrix of the matrix M and the basis vector 74. Is converted into coordinates (X, Y) of a two-dimensional coordinate system set by the base vector 73 to be converted, and the converted coordinates (X, Y) are converted to the corresponding element values of the three-dimensional coordinate data memory 62 in the two-dimensional coordinate data memory 63. It is stored at a position corresponding to the storage position of (X ′, Y ′, Z ′). This process is performed for all element values in the three-dimensional coordinate data memory 62.
[0089]
When the processing in step S22 is completed, the two-dimensional coordinate data memory 63 stores the XY coordinates of the original page data stored in the page data memory 31 and the two-dimensional coordinates on the plane 67 including the display device 11. A table indicating the correspondence with the dimensional coordinates is generated.
[0090]
Next, in step S23, the data of each pixel of the page data memory 31 is stored at the same position as that pixel in the two-dimensional data memory 63 by referring to the two-dimensional data memory 63 and the page data memory 31. The coordinates are stored at the position in the display image data memory 34 specified by the coordinates (X, Y) (that is, the position in the two-dimensional coordinates on the window 52 obtained as described above). At this time, if the coordinates where the pixel data should be stored in the display image data memory 34 are coordinates that do not exist in the display device 11, the pixel data is ignored. After that, the display image generation processing operation ends.
[0091]
FIG. 20 shows the transition of the coordinates by the coordinate conversion performed by the display image generation processing operation shown in FIG. FIG. 20A shows a two-dimensional coordinate system set on the two-dimensional paper surface 81. FIG. 20B shows a three-dimensional coordinate system set on a three-dimensional paper surface 51 in which a two-dimensional paper surface 81 is attached to a three-dimensional space placed in a three-dimensional space. The coordinates of each point on the plane 67 including the window 52 are also represented by a three-dimensional coordinate system set on the three-dimensional paper surface 51. FIG. 20C shows a two-dimensional coordinate system reset on the window 52. Then, the correspondence between the two-dimensional coordinates A on the two-dimensional paper surface 81 and the three-dimensional coordinates B on the three-dimensional paper surface 51 is given by the texture table 61. Further, the correspondence between the two-dimensional coordinates A on the two-dimensional paper surface 81 and the three-dimensional coordinates C on the window 52 is given by the three-dimensional coordinate data memory 62 created by the processing in step S21. Further, the correspondence between the two-dimensional coordinates A on the two-dimensional paper surface 81 and the two-dimensional coordinates D on the window 52 is given in the two-dimensional coordinate data memory 63 created by the processing in step S22.
[0092]
Then, in addition, the correspondence between the two-dimensional coordinates A of each point on the two-dimensional paper surface 81 shown in FIG. 20A and the two-dimensional coordinates D of each point on the window 52 shown in FIG. According to the information (two-dimensional coordinate data memory 63), the process of step S23 is to actually copy each pixel data of the two-dimensional paper surface 81 to the two-dimensional coordinate system set on the window 52.
[0093]
As described above, according to the present embodiment, the user tilts the data display device, and operates the upper scroll key 15, the lower scroll key 16, the left scroll key 17, the right scroll key 18, the zoom-in key 19, and the zoom-out key 20. By operation, the window 52, that is, the display device 11 can be virtually moved around the three-dimensional paper surface 51.
[0094]
Then, the contents of the first tilt register 35, the second tilt register 36, the X register 37, the Y register 38, and the Z register 39 are updated and virtually updated with the virtual movement of the display device 11, that is, the present data display device. In accordance with the contents of the registers 35 to 39, the display contents of the display device 11 are changed to reflect the relative positional relationship between the display device 11 and the paper surface 51 as the display device 11 moves.
[0095]
Therefore, according to the present data display device, an image as if the user views the paper surface 51 attached to a three-dimensional object arranged in a three-dimensional space through the window 52 moving around the virtual image is displayed on the display device 11. Can be output. In other words, it is possible to give the user an operational feeling similar to looking at a solid existing in the real world through a freely moving window, and the user can intuitively perform an operation of displaying a part that is not currently displayed on the display device 11. It can be done on a regular basis.
[0096]
In the present embodiment, a PDA type data display device as shown in FIG. 1 has been mainly described as an example, but the present invention is not limited to the PDA type. For example, the present invention is widely applicable to mobile phone terminals, notebook personal computers, and the like, and is not limited by the form of the data display device.
[0097]
Also, in the case where the paper surface 51 is a completely flat surface, the present embodiment is applied to change the position of the window 52 in accordance with the operation of the user or the movement of the data display device, thereby facilitating the browsing of the paper surface 51. Needless to say, it can be done.
[0098]
Another advantage obtained by attaching the paper surface 51 to a three-dimensional space arranged in a three-dimensional space and presenting the same as in the present embodiment is that the user can better grasp which hit on the paper surface the user is currently looking at. It is easy to do. This is an effect obtained when the texture table 61 gives three-dimensional coordinates on the three-dimensional paper surface 82 whose shape is completely different depending on the position, as shown in FIG. In this case, the three-dimensional paper surface 82 seen through the window 83 is almost flat, but the three-dimensional paper surface 82 seen through the window 84 is greatly convex. For this purpose, the user can determine which part of the three-dimensional paper 82 currently displayed on the display device 11 corresponds to which part of the original two-dimensional paper, without relying on auxiliary means such as a scroll bar. It can be more intuitively grasped only from the display contents. Therefore, even if the area of the display screen of the display device 11 is smaller than the paper space to be displayed, comfortable browsing of the data becomes possible.
[0099]
・ Second embodiment
As in the case of the first embodiment, the data display device of the present embodiment also sees a paper surface pasted on a three-dimensional object arranged in a three-dimensional space through a window moving around the three-dimensional space. Such an image is provided to the user. In addition, the first embodiment is also characterized in that the detection of the inclination of the window is performed by detecting the inclination of the data display device using a gyro, and the parallel movement and the forward and backward movement of the window are performed by a key operation of the user. This is the same as the case of the embodiment. Hereinafter, points different from the first embodiment will be briefly described.
[0100]
FIG. 22 shows the appearance of the data display device according to the present embodiment as viewed from the back. The appearance other than the back is the same as that of the data display device according to the first embodiment shown in FIG. The block diagram showing the functional configuration of the data display device is the same as that of FIG. 2, and the basic operation is the same as that of the flowchart shown in FIG.
[0101]
A camera 91 is provided on the back of the data display device according to the present embodiment. As shown in FIG. 23, the functional configuration of the display unit 24 in the present embodiment is basically the same as that in the first embodiment shown in FIG. However, in the present embodiment, an image sensor 92 is added. The image sensor 92 detects a parallel movement of the data display device based on an image captured by the camera 91 as shown in FIG. Note that, in FIG. 23, the same numbers as those in FIG.
[0102]
FIG. 25 is a block diagram showing a functional configuration of the image sensor 92. 25, the image sensor 92 includes a controller 93, a frame memory 94, a motion vector detector 95, a DX register 96, a DY register 97, and a data bus 98. Each component transmits and receives data via the data bus 98. The controller 93 can transmit and receive data to and from the CPU 45 of the display unit 24 via the data bus 98 and the data bus 46.
[0103]
FIG. 26 is a flowchart of the parallel movement detection processing operation executed under the control of the controller 93. Hereinafter, the operation of the image sensor 92 will be described with reference to FIG. It should be noted that the steps for which the processing means are not explicitly described are assumed to be processed by the controller 93 itself.
[0104]
In step S31, the image captured by the camera 91 is captured and sent to the frame memory 94. Thus, the image data for one frame captured by the camera 91 is stored in the frame memory 94. In step S32, it is determined whether or not the image transmitted to the frame memory 94 in step S31 is the first frame after the start of shooting. As a result, if it is the first frame, the process returns to step S31 to capture the image of the next frame. If it is not the first frame, the process proceeds to step S33.
[0105]
In step S33, the motion vector detector 95 refers to the image data stored in the frame memory 94, and calculates a motion vector from the image data of the continuous frames. In step S34, the X component of the motion vector calculated in step S33 is stored in the DX register 96, while the Y component is stored in the DY register 97. Here, if the motion vector detector 95 fails to calculate the motion vector in step S33 because the contents of the frame are suddenly switched, etc., the DX register 96 and the DY register 97 store “0”. Is written. Further, the value stored in the DX register 96 and the DY register 97 can be negative depending on the direction of movement of the data display device.
[0106]
In step S34, the stored value of the X register 37 is updated to a value obtained by adding a value obtained by multiplying the stored value of the DX register 96 by a predetermined value to the stored value. Similarly, the value stored in the Y register 38 is updated to a value obtained by adding a value obtained by multiplying the value stored in the DY register 97 by the predetermined value to the value stored in the Y register 38. Thus, the values stored in the X register 37 and the Y register 38 set by operating the up scroll key 15, the down scroll key 16, the left scroll key 17, and the right scroll key 18 are updated in accordance with the imaging result of the camera 91. Because The reason why the values of the DX register 96 and the DY register 97 are multiplied by the predetermined value is to prevent the operation of the image sensor 92 from becoming too sensitive or insensitive, and to obtain an appropriate operation feeling.
[0107]
After that, the process returns to step S31. In this way, the camera 91 is always taking a picture, and the detection of the motion vector and the updating of the X register 37 and the Y register 38 are always performed independently of the parallel movement detection processing operation shown in FIG.
[0108]
For the motion vector detector 95, for example, various known techniques such as those disclosed in Japanese Patent Publication No. 8-32048 can be applied, and detailed operations thereof are omitted.
[0109]
It should be noted that, as a supplement, the image displayed on the display device 11 is changed in accordance with the values stored in the X register 37 and the Y register 38, as in the case of the first embodiment. Therefore, when the user translates the entire data display device in parallel as shown in FIG. 24, the user operates one or more of the upper scroll key 15, the lower scroll key 16, the left scroll key 17, and the right scroll key 18. It has the same effect as.
[0110]
Further, in the present embodiment, the inclination detector 33 using the gyro 58 and the image sensor 92 are used together so that more various movements of the data display device can be detected. However, a configuration using only the image sensor 92 is of course also possible. In recent years, mobile phones and PDAs with built-in cameras have been put on the market, and most of them have been enabled to shoot moving images. With very little or no hardware to implement, it is very easy to implement.
[0111]
Further, in the present embodiment, the image sensor 92 is used for detecting only the parallel movement, but the rotation of the data display device itself is detected by detecting the rotation from consecutive frames by appropriate image processing. It is also possible. The meaning of such rotation with respect to the display is as described in the description of the processing in step S22 in the display image generation processing operation of FIG. 15 in the first embodiment.
[0112]
By the way, the specific hardware configuration of the data display device having the above-described functional configuration includes a program memory for storing various programs including a program for executing the above-described various processes, a data memory for storing various information, and communication such as the Internet. A communication I / F connected to a network, an input device, an output device, a display device, an external auxiliary storage device in which an external recording medium is set and accesses the external recording medium, the program memory, data memory, communication I / F, and input The CPU 21, 45, 60, etc., which controls a device, an output device, a display device, an external auxiliary storage device, and the like, and executes the data display processing operation, the display processing operation, the display image generation processing operation, and the like.
[0113]
That is, the keys 13 to 20 constitute the input device, the memories 23, 31, 62, 63, the registers 35 to 44, and the texture table 61 constitute the data memory and the external auxiliary storage device. Constitute the output device and the display device. The CPUs 21, 45, and 60 also perform various processing operations such as calculation / judgment processing, clocking processing, and input / output processing, in addition to the processing operations according to the present embodiment described above. In the above embodiment, the display unit 24 and the display image generator 32 are configured to be controlled by the dedicated CPUs 45 and 60. However, the control by the CPUs 45 and 60 is shared by the main CPU 21. But it doesn't matter.
[0114]
Further, the functions of the projection plane moving means, the display image generation means, the three-dimensional coordinate conversion means, the two-dimensional coordinate conversion means, the display image data conversion means, and the image display means by the CPUs 21, 45, and 60 in the above embodiment are as follows. Is realized by a data display program recorded on a program recording medium. The program recording medium in each of the above embodiments is a program medium composed of a ROM (Read Only Memory). Alternatively, it may be a program medium that is mounted on and read from the external auxiliary storage device. In any case, the program reading means for reading the data display program from the program medium may have a configuration of directly accessing and reading the program medium, or may be provided in a RAM (random access memory). May be downloaded to a program storage area (not shown), and the program storage area may be accessed and read. It is assumed that a download program for downloading from the program medium to the program storage area of the RAM is stored in the main device in advance.
[0115]
Here, the above-mentioned program medium is configured to be separable from the main body side, such as a tape system such as a magnetic tape or a cassette tape, a magnetic disk such as a floppy disk or a hard disk, a CD (compact disk) -ROM, an MO (magneto-optical). Disk system of optical disks such as disk, MD (mini disk), DVD (digital versatile disk), card system such as IC (integrated circuit) card and optical card, mask ROM, EPROM (ultraviolet erasing ROM), EEPROM (electric This is a medium that fixedly carries a program, including a semiconductor memory system such as a temporary erasing ROM) and a flash ROM.
[0116]
In the case where the data display device in the above embodiment has a configuration connectable to a communication network such as the Internet via a communication I / F, the program medium is downloaded by the communication network or the like. It may be a medium that carries the program fluidly. In this case, it is assumed that a download program for downloading from the communication network is stored in the main device in advance. Alternatively, it shall be installed from another recording medium.
[0117]
It should be noted that what is recorded on the recording medium is not limited to only a program, and data can also be recorded.
[0118]
【The invention's effect】
As is clear from the above, according to the present invention, based on the display image data generated by the display image generating means, the image display means projects the object onto the projection plane arranged in the virtual three-dimensional space. Can be displayed on the display screen. At this time, when the position of the projection plane is moved by the projection plane moving means, an image changed according to the relative position between the object and the projection plane in a virtual three-dimensional space is displayed on the display screen. You. Therefore, it is possible to give the user a more natural operation feeling similar to looking at a solid existing in the real world through a freely moving window.
[0119]
That is, according to the present invention, the user can intuitively perform an operation of displaying a portion that is not currently displayed on the display screen.
[0120]
Further, the projection plane moving means includes a motion detecting means and a direction detecting means for detecting a motion and a tilt of the data display device, and the projection is performed in accordance with a result detected by the motion detecting means and the tilt detecting means. If the position of the surface is moved, it is possible to provide a correspondence close to a correspondence occurring in the real world between a user operation on the data display device and a resulting change in display. Therefore, the user can browse the data of the three-dimensional shape more naturally and comfortably.
[0121]
Further, if the motion detection means is provided with an image pickup means and the movement of the data display device is detected based on the image data from the image pickup means, the mobile phone capable of taking a moving image by incorporating a camera can be provided. And PDA can be used without adding special hardware for motion detection.
[0122]
Further, if the object arranged in the virtual three-dimensional space is configured to include a curved surface or a plane on which a document having a two-dimensional shape is pasted, a three-dimensional image of the document can be displayed. Can be. Therefore, it is possible to intuitively grasp from the displayed content which position of the currently displayed document corresponds to the original two-dimensional document. As a result, even when the display screen is smaller than the size of the document, more comfortable browsing of data becomes possible.
[Brief description of the drawings]
FIG. 1 is a diagram showing an appearance of a data display device of the present invention.
FIG. 2 is a block diagram showing a functional configuration of the data display device shown in FIG.
FIG. 3 is a flowchart of a data display processing operation executed under the control of a main CPU in FIG. 2;
FIG. 4 is a block diagram illustrating a functional configuration of a display unit in FIG. 2;
FIG. 5 is a flowchart of a display processing operation executed under the control of the CPU in FIG. 4;
FIG. 6 is an explanatory diagram of values stored in an X register, a Y register, and a Z register in FIG. 4;
FIG. 7 is an explanatory diagram of a parallel projection of a paper surface onto a window in FIG. 6;
FIG. 8 is an explanatory diagram of projection of the window in FIG. 6 around a point on the paper surface.
FIG. 9 is an explanatory diagram of values stored in a first inclination register and a second inclination register in FIG. 4;
FIG. 10 is a block diagram of the tilt detector in FIG. 4;
FIG. 11 is an explanatory diagram of initialization of each register in FIG. 4 to “0”;
FIG. 12 is a block diagram of a display image generator in FIG. 4;
FIG. 13 is a diagram schematically illustrating a structure of a texture table in FIG. 12;
14 is a diagram schematically showing a structure of a two-dimensional coordinate data memory in FIG.
FIG. 15 is a flowchart of a display image generation processing operation by the display image generator shown in FIG.
16 is an explanatory diagram of a conversion process to three-dimensional coordinates in the display image generation processing operation shown in FIG.
17 is an explanatory diagram of a case where a normal vector of a plane from a point on the paper intersects the paper itself before intersecting with the plane in FIG.
FIG. 18 is an explanatory diagram of a conversion process to two-dimensional coordinates in the display image generation processing operation.
19 is an explanatory diagram of three basis vectors representing a new three-dimensional coordinate system different from the three-dimensional coordinate system shown in FIG.
FIG. 20 is a diagram showing a change in coordinates due to coordinate conversion performed in the display image generation processing operation shown in FIG.
FIG. 21 is an explanatory diagram of an advantage obtained by pasting and presenting a sheet on a three-dimensional object arranged in a three-dimensional space.
FIG. 22 is an external view of a data display device different from the data display device shown in FIG. 1 as viewed from the back.
23 is a block diagram showing a functional configuration of a display unit in the data display device shown in FIG.
FIG. 24 is an explanatory diagram of parallel movement detection by the data display device shown in FIG. 22;
25 is a block diagram showing a functional configuration of the image sensor in FIG.
26 is a flowchart of a parallel movement detection processing operation by the image sensor in FIG.
FIG. 27 is an explanatory diagram of a basic concept for giving a correspondence close to a correspondence occurring in the real world between a user operation and a change in a display represented as a result.
FIG. 28 is a diagram showing an example of a figure seen from a window in FIG. 27;
FIG. 29 is a diagram showing another example of the figure seen from the window in FIG. 27;
[Explanation of symbols]
11 display device,
15 ... Up scroll key,
16 ... Down scroll key,
17 left scroll key,
18 right scroll key,
19 ... Zoom in key,
20 ... Zoom out key,
21 ... Main CPU,
23 ... display data memory,
24 display unit,
31 ... Page data memory,
32 ... display image generator
33 ... tilt detector,
34 ... display image data memory,
35 ... first inclination register,
36 ... second tilt register,
37 ... X register,
38 ... Y register,
39 ... Z register,
45, 60 ... CPU,
51, 82 ... three-dimensional space,
52, 83, 84 ... windows,
54 ... the center point of the window,
55 ... the origin of the three-dimensional coordinate system,
56 ... normal vector,
57, 93 ... controller,
58 ... Gyro,
61 ... texture table,
62 ... three-dimensional coordinate data memory,
63 ... two-dimensional coordinate data memory,
67 ... plane including window,
81: two-dimensional paper,
91… Camera,
92 ... Image sensor,
94 ... frame memory,
95 ... Motion vector detector,
96 ... DX register,
97: DY register.

Claims (11)

仮想的な３次元空間内に配置されると共に、表示の対象となるオブジェクトの表示データが格納される表示データメモリと、
上記仮想的な３次元空間内に在って上記オブジェクトが射影される射影面の位置を移動させる射影面移動手段と、
上記表示データに基づいて、上記仮想的な３次元空間における上記オブジェクトと射影面との相対位置に応じて、上記射影面に対する上記オブジェクトの射影の少なくとも一部を表示するための表示画像データを生成する表示画像生成手段と、
上記生成された表示画像データに基づいて、上記射影面に対する上記オブジェクトの射影の少なくとも一部の画像を表示画面に表示する画像表示手段
を備えたことを特徴とするデータ表示装置。A display data memory arranged in a virtual three-dimensional space and storing display data of an object to be displayed;
Projecting surface moving means for moving a position of a projecting surface on which the object is projected in the virtual three-dimensional space;
Based on the display data, display image data for displaying at least a part of the projection of the object on the projection plane is generated according to a relative position between the object and the projection plane in the virtual three-dimensional space. Display image generating means for performing
A data display device comprising: an image display unit that displays, on a display screen, at least a part of an image of the projection of the object on the projection plane based on the generated display image data. 請求項１に記載のデータ表示装置において、
上記射影面移動手段は、本データ表示装置の動きを検出する動き検出手段を備えて、この動き検出手段によって検出された本データ表示装置の動きに応じて、上記射影面の位置を移動させるようになっていることを特徴とするデータ表示装置。The data display device according to claim 1,
The projection plane moving means includes a movement detecting means for detecting a movement of the present data display device, and moves the position of the projection plane in accordance with the movement of the present data display device detected by the movement detecting means. A data display device characterized in that: 請求項２に記載のデータ表示装置において、
上記動き検出手段は、
本データ表示装置の周囲を撮影して、得られた画像データを出力する撮像手段と、
上記撮像手段からの画像データに基づいて、本データ表示装置の動きを検出する画像センシング手段
を備えたことを特徴とするデータ表示装置。The data display device according to claim 2,
The above motion detecting means,
Imaging means for photographing the periphery of the present data display device and outputting the obtained image data;
A data display device comprising: an image sensing means for detecting a movement of the data display device based on image data from the imaging means. 請求項３に記載のデータ表示装置において、
上記画像センシング手段は、本データ表示装置の動きベクトルを検出する動きベクトル検出手段を備えて、この動きベクトル検出手段によって検出された動きベクトルに基づいて本データ表示装置の平行移動を検出するようになっていることを特徴とするデータ表示装置。The data display device according to claim 3,
The image sensing means includes a motion vector detecting means for detecting a motion vector of the data display device, and detects a parallel movement of the data display device based on the motion vector detected by the motion vector detecting means. A data display device, comprising: 請求項３または請求項４に記載のデータ表示装置において、
上記撮像手段は、上記表示画面の裏面に配置されたカメラであることを特徴とするデータ表示装置。The data display device according to claim 3 or 4,
The data display device, wherein the imaging means is a camera arranged on a back surface of the display screen. 請求項１に記載のデータ表示装置において、
上記射影面移動手段は、本データ表示装置の傾きを検出する傾き検出手段を備えて、この傾き検出手段によって検出された傾きに応じて、上記射影面の位置を移動させるようになっていることを特徴とするデータ表示装置。The data display device according to claim 1,
The projection plane moving means includes inclination detection means for detecting an inclination of the data display device, and moves the position of the projection plane in accordance with the inclination detected by the inclination detection means. A data display device characterized by the above-mentioned. 請求項６に記載のデータ表示装置において、
上記傾き検出手段は、ジャイロを用いて構成されていることを特徴とするデータ表示装置。The data display device according to claim 6,
The data display device, wherein the inclination detecting means is configured using a gyro. 請求項１に記載のデータ表示装置において、
上記表示画像生成手段は、
上記仮想的な３次元空間を表す３次元座標系において、上記オブジェクト上の各点の座標を、上記各点が上記射影面に射影されて成る各点の座標に変換する３次元座標変換手段と、
上記射影面上に２次元座標系を設定し、上記射影面に射影された各点の３次元座標を上記２次元座標系での座標に変換する２次元座標変換手段と、
上記射影面に射影された各点の２次元座標に基づいて、上記表示データメモリに格納された上記オブジェクトの表示データを、上記射影面に対する上記オブジェクトの射影の少なくとも一部を表示するための表示画像データに変換する表示画像データ変換手段
を備えたことを特徴とするデータ表示装置。The data display device according to claim 1,
The display image generating means includes:
Three-dimensional coordinate conversion means for converting the coordinates of each point on the object into coordinates of each point obtained by projecting each point on the projection plane in a three-dimensional coordinate system representing the virtual three-dimensional space; ,
Two-dimensional coordinate conversion means for setting a two-dimensional coordinate system on the projection plane and converting three-dimensional coordinates of each point projected on the projection plane into coordinates in the two-dimensional coordinate system;
Displaying the display data of the object stored in the display data memory on the basis of the two-dimensional coordinates of each point projected on the projection plane, for displaying at least a part of the projection of the object on the projection plane A data display device comprising a display image data conversion means for converting image data into image data. 請求項１乃至請求項８の何れか１つに記載のデータ表示装置において、
上記仮想的な３次元空間に配置されたオブジェクトは曲面または平面を有しており、この曲面または平面に沿って文書が貼り付けられていることを特徴とするデータ表示装置。The data display device according to any one of claims 1 to 8,
The data display device, wherein the object arranged in the virtual three-dimensional space has a curved surface or a plane, and a document is pasted along the curved surface or the plane. コンピュータを、
請求項８における射影面移動手段，３次元座標変換手段，２次元座標変換手段，表示画像データ変換手段および画像表示手段
として機能させることを特徴とするデータ表示プログラム。Computer
9. A data display program functioning as a projection plane moving means, a three-dimensional coordinate conversion means, a two-dimensional coordinate conversion means, a display image data conversion means and an image display means according to claim 8. 請求項１０に記載のデータ表示プログラムが記録されたことを特徴とするコンピュータ読出し可能なプログラム記録媒体。A computer-readable program recording medium on which the data display program according to claim 10 is recorded.
JP2003106125A 2003-04-10 2003-04-10 Data display device, data display program, and program recording medium Pending JP2004309947A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003106125A JP2004309947A (en) 2003-04-10 2003-04-10 Data display device, data display program, and program recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003106125A JP2004309947A (en) 2003-04-10 2003-04-10 Data display device, data display program, and program recording medium

Publications (2)

Publication Number Publication Date
JP2004309947A true JP2004309947A (en) 2004-11-04
JP2004309947A5 JP2004309947A5 (en) 2006-05-25

Family

ID=33468404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003106125A Pending JP2004309947A (en) 2003-04-10 2003-04-10 Data display device, data display program, and program recording medium

Country Status (1)

Country Link
JP (1) JP2004309947A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184573A (en) * 2004-12-27 2006-07-13 Toppan Printing Co Ltd Image display device and image display system
JP2006208560A (en) * 2005-01-26 2006-08-10 Nec Corp Liquid crystal display apparatus, mobile communication terminal device and liquid crystal display method
JP2008097599A (en) * 2006-10-11 2008-04-24 Internatl Business Mach Corp <Ibm> Method and system of virtual window with simulated parallax and field of view change, and recording medium recording computer program (virtual window with simulated parallax and field of view change)
JP2014135086A (en) * 2010-08-04 2014-07-24 Apple Inc Three dimensional user interface effects on display by using properties of motion
WO2015156128A1 (en) * 2014-04-07 2015-10-15 ソニー株式会社 Display control device, display control method, and program
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
WO2019225734A1 (en) * 2018-05-24 2019-11-28 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ Rendering device, learning device, rendering method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118025A (en) * 1997-06-24 1999-01-22 Fujitsu Ltd Image display device
JP2002298160A (en) * 2001-03-29 2002-10-11 Namco Ltd Portable image generating device and program, and information storage medium
JP2004271671A (en) * 2003-03-06 2004-09-30 Sharp Corp Image display apparatus and terminal device equipped with the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118025A (en) * 1997-06-24 1999-01-22 Fujitsu Ltd Image display device
JP2002298160A (en) * 2001-03-29 2002-10-11 Namco Ltd Portable image generating device and program, and information storage medium
JP2004271671A (en) * 2003-03-06 2004-09-30 Sharp Corp Image display apparatus and terminal device equipped with the same

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184573A (en) * 2004-12-27 2006-07-13 Toppan Printing Co Ltd Image display device and image display system
JP4687102B2 (en) * 2004-12-27 2011-05-25 凸版印刷株式会社 Image display device and image display system
JP2006208560A (en) * 2005-01-26 2006-08-10 Nec Corp Liquid crystal display apparatus, mobile communication terminal device and liquid crystal display method
JP2008097599A (en) * 2006-10-11 2008-04-24 Internatl Business Mach Corp <Ibm> Method and system of virtual window with simulated parallax and field of view change, and recording medium recording computer program (virtual window with simulated parallax and field of view change)
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
JP2014135086A (en) * 2010-08-04 2014-07-24 Apple Inc Three dimensional user interface effects on display by using properties of motion
US9417763B2 (en) 2010-08-04 2016-08-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9778815B2 (en) 2010-08-04 2017-10-03 Apple Inc. Three dimensional user interface effects on a display
WO2015156128A1 (en) * 2014-04-07 2015-10-15 ソニー株式会社 Display control device, display control method, and program
JPWO2015156128A1 (en) * 2014-04-07 2017-04-13 ソニー株式会社 Display control apparatus, display control method, and program
WO2019225734A1 (en) * 2018-05-24 2019-11-28 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ Rendering device, learning device, rendering method, and program
JPWO2019225734A1 (en) * 2018-05-24 2021-05-27 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ Rendering device, learning device, rendering method and program
JP7119081B2 (en) 2018-05-24 2022-08-16 株式会社Preferred Networks Projection data generation device, three-dimensional model, projection data generation method, neural network generation method and program
US11443485B2 (en) 2018-05-24 2022-09-13 Preferred Networks, Inc. Rendering device, rendering method, 3D model generating method, neural network model generating method, and non-transitory computer readable medium

Similar Documents

Publication Publication Date Title
US11276183B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
CN109683716B (en) Visibility improvement method based on eye tracking and electronic device
US7557816B2 (en) Image processing apparatus, method and computer-readable storage medium for generating and presenting an image of virtual objects including the operation panel viewed from the position and orientation of the viewpoint of the observer
CN111324250B (en) Three-dimensional image adjusting method, device and equipment and readable storage medium
JP2022537614A (en) Multi-virtual character control method, device, and computer program
JP5793082B2 (en) Electronic publication browsing apparatus, electronic publication browsing method, program, and integrated circuit
JP2009278456A (en) Video display device
CN112230914A (en) Method and device for producing small program, terminal and storage medium
JP5523086B2 (en) Information presenting apparatus, information presenting method, and program
US20090251492A1 (en) Storage medium storing image conversion program and image conversion apparatus
JP2016103137A (en) User interface system, image processor and control program
US8941767B2 (en) Mobile device and method for controlling the same
KR101539087B1 (en) Augmented reality device using mobile device and method of implementing augmented reality
JP2004309947A (en) Data display device, data display program, and program recording medium
CN112396076A (en) License plate image generation method and device and computer storage medium
EP0817133A2 (en) Opaque screen visualizer
JP2004271671A (en) Image display apparatus and terminal device equipped with the same
JP5805013B2 (en) Captured image display device, captured image display method, and program
WO2018192455A1 (en) Method and apparatus for generating subtitles
JP4703744B2 (en) Content expression control device, content expression control system, reference object for content expression control, and content expression control program
JP4550460B2 (en) Content expression control device and content expression control program
JP2003150599A (en) Electronic publication browsing method and device therefor, book for electronic publication browsing, electronic publication browsing program and recording medium program with the program recorded thereon
CN112907702A (en) Image processing method, image processing device, computer equipment and storage medium
CN111583375A (en) Virtual picture display method, device, equipment and storage medium
JP2008181015A (en) Image display device, and image display program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100713