JP2003150599A - Electronic publication browsing method and device therefor, book for electronic publication browsing, electronic publication browsing program and recording medium program with the program recorded thereon - Google Patents
Electronic publication browsing method and device therefor, book for electronic publication browsing, electronic publication browsing program and recording medium program with the program recorded thereonInfo
- Publication number
- JP2003150599A JP2003150599A JP2001351125A JP2001351125A JP2003150599A JP 2003150599 A JP2003150599 A JP 2003150599A JP 2001351125 A JP2001351125 A JP 2001351125A JP 2001351125 A JP2001351125 A JP 2001351125A JP 2003150599 A JP2003150599 A JP 2003150599A
- Authority
- JP
- Japan
- Prior art keywords
- electronic publication
- marker
- page
- browsing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、電子的な出版物を
閲覧する電子出版物閲覧方法及びその装置と、その電子
出版物閲覧方法で用いられる電子出版物閲覧用書籍と、
その電子出版物閲覧方法の実現に用いられる電子出版物
閲覧プログラム及びそのプログラムを記録した記録媒体
とに関し、特に、印刷された出版物を読むときと同じ操
作に従って、電子的な出版物を閲覧できるようにする電
子出版物閲覧方法及びその装置と、その電子出版物閲覧
方法で用いられる電子出版物閲覧用書籍と、その電子出
版物閲覧方法の実現に用いられる電子出版物閲覧プログ
ラム及びそのプログラムを記録した記録媒体とに関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an electronic publication browsing method and apparatus for browsing electronic publications, and an electronic publication browsing book used in the electronic publication browsing method.
Regarding an electronic publication viewing program used for realizing the electronic publication viewing method and a recording medium storing the program, in particular, an electronic publication can be viewed according to the same operation as when reading a printed publication. An electronic publication browsing method and device thereof, an electronic publication browsing book used in the electronic publication browsing method, an electronic publication browsing program used to realize the electronic publication browsing method, and a program thereof. The present invention relates to a recorded recording medium.
【０００２】[0002]
【従来の技術】従来からある紙による出版物は、閲覧性
や操作性が良いが、大量に保管するときには大きな物理
的スペースを必要とする。2. Description of the Related Art Although conventional paper publications have good readability and operability, they require a large physical space when stored in large quantities.
【０００３】それを解決するために、近年では、パソコ
ンのディスプレイや、ヘッドマウントディスプレイ（Ｈ
ＭＤ）や、情報携帯端末（ＰＤＡ）を用いて閲覧を行う
電子化された出版物が増加してきている。In order to solve this problem, in recent years, a personal computer display or a head mounted display (H
The number of electronic publications browsed using MDs) and personal digital assistants (PDAs) is increasing.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、パソコ
ンやＰＤＡによる出版物の閲覧は、パソコンやＰＤＡの
操作に慣れていない者にとっては、非常に操作しにくい
ものである。また、パソコンやＰＤＡの操作に慣れてい
る者であっても、ディスプレイの解像度の問題から出版
物を読む上で、拡大縮小、上下左右への移動といった操
作をキーボードやマウス等で行わなければならず操作性
が良いとはいえなかった。However, the browsing of publications by a personal computer or PDA is very difficult for those who are not accustomed to operating the personal computer or PDA. Even a person who is accustomed to operating a personal computer or PDA must use the keyboard, mouse, etc. to perform enlargement / reduction and move up / down / left / right when reading a publication due to display resolution issues. The operability was not good.
【０００５】これらの煩雑な操作をなくし、紙による出
版物と同じ形態で閲覧できるようにするために、フィル
ム状のディスプレイを用いるという試みも行われている
が、その構造上、紙と同じ厚さ・重量・コストにはなら
ず、出版物のように何ページ分も用意することが出来な
いので、ページめくりのための操作を必要とする。さら
に、柔軟性および曲げに対する機械的強度が紙に対して
劣るため、携帯性に難がある。Attempts have been made to use a film-like display in order to eliminate these complicated operations and to make it possible to browse in the same form as a paper publication, but due to its structure, it has the same thickness as paper. It doesn't add cost, weight, and cost, and since it can't prepare many pages like a publication, it requires an operation to turn pages. Furthermore, since it is inferior to paper in terms of flexibility and mechanical strength against bending, portability is difficult.
【０００６】また、ＨＭＤを通して出版物を読む場合、
閲覧性を向上させるために、視野全体を覆うような大き
な画面を用いることがあるが、そのようにすると、頭の
動きと表示されるものとの同期が取れないために、気持
ち悪くなるという問題があった。When reading a publication through the HMD,
A large screen that covers the entire field of view may be used to improve readability, but doing so makes you feel uncomfortable because the movement of your head is out of sync with what is displayed. was there.
【０００７】本発明はかかる事情に鑑みてなされたもの
であって、印刷された出版物を読むときと同じ操作に従
って、電子的な出版物を閲覧できるようにする新たな電
子出版物閲覧技術の提供を目的とする。The present invention has been made in view of the above circumstances, and a new electronic publication browsing technique that enables electronic publications to be browsed according to the same operation as when reading a printed publication. For the purpose of provision.
【０００８】[0008]
【課題を解決するための手段】この目的を達成するため
に、本発明では、各ページに、電子出版物のページ及
びページ内位置を特定可能にする１つ又は複数のマーカ
を記載する図１に示すような電子出版物閲覧用書籍１
と、カメラの取り付けられたヘッドマウントディスプ
レイとを用意する。In order to achieve this object, the present invention describes on each page one or more markers that allow identification of the page and position within the page of the electronic publication. Books for viewing electronic publications as shown in 1
And a head mounted display with a camera attached.
【０００９】そして、その電子出版物閲覧用書籍１を読
取対象として、ヘッドマウントディスプレイに取り付け
られるカメラを使って閲覧位置に対応付けられるマーカ
を読み取り、その読み取ったマーカに基づいて、閲覧中
のページを特定するとともに、その読み取ったマーカの
映像情報とそのマーカの配置情報とに基づいて、カメラ
の姿勢情報を検出することで閲覧中のページ内位置を特
定し、電子出版物の情報を蓄積する蓄積手段などから、
その特定したページ及びページ内位置の指す電子出版物
の情報を取得して、その検出したカメラ姿勢情報に従っ
て、その取得した電子出版物の情報をカメラから見た形
態に変換して、それをヘッドマウントディスプレイに表
示するように構成する。Using the electronic publication reading book 1 as a reading target, a marker associated with the reading position is read using a camera attached to the head mounted display, and the page being browsed is read based on the read marker. And the position of the page being browsed is detected by detecting the posture information of the camera based on the read image information of the marker and the arrangement information of the marker, and the information of the electronic publication is stored. From storage means,
The information of the electronic publication pointed to by the specified page and the position within the page is acquired, and according to the detected camera posture information, the information of the acquired electronic publication is converted into the form viewed from the camera, and the head is used for it. Configure to display on the mount display.
【００１０】このように、本発明では、電子出版物を見
るときに生じる拡大縮小、画面スクロールをマウス操作
などにより行うのではなくて、各ページに電子出版物の
ページ及びページ内位置を特定可能にするマーカを記載
する図１に示すような電子出版物閲覧用書籍１を用意し
て、カメラ付きのヘッドマウントディスプレイを用い
て、そのカメラから得られる情報により、ユーザがどの
ページのどの部分を見ているのか認識して、そのユーザ
が見ている部分をヘッドマウントディスプレイに表示す
るように処理するのである。As described above, according to the present invention, the page and the position within the page of the electronic publication can be specified for each page, instead of performing the enlargement / reduction or scrolling of the screen which occurs when the electronic publication is viewed, by operating the mouse. The electronic publication reading book 1 as shown in FIG. 1 in which the marker is written is prepared, and the user can identify which part of which page by the information obtained from the camera using the head mounted display with the camera. It recognizes whether or not the user is watching, and processes the part that the user is watching to be displayed on the head mounted display.
【００１１】この電子出版物閲覧用書籍１については１
冊用意すればよく、この電子出版物閲覧用書籍１にリン
クする電子出版物が様々なものに変えることで、ユーザ
は様々な電子出版物を閲覧することが可能になる。1 for this electronic publication viewing book 1
It is only necessary to prepare a book, and the user can browse various electronic publications by changing various electronic publications linked to the electronic publication reading book 1.
【００１２】例えば月刊雑誌であれば、大きさや最大ペ
ージ数はほぼ決まっているので、毎月の電子的なデータ
は変わるものになっても、ユーザは物理的に１冊の雑誌
を持っていればよいのである。また、出版物の大きさが
異なっていたとしても、相対的な大きさから現在見てい
る位置を求めることは可能なので、１冊の電子出版物閲
覧用書籍１を用意しておき、それを用いてすべての電子
出版物を読むことが可能になるのである。For example, in the case of a monthly magazine, the size and the maximum number of pages are almost fixed, so even if the electronic data changes every month, if the user physically has one magazine, It's good. Further, even if the size of the publication is different, it is possible to find the position currently viewed from the relative size, so one electronic publication reading book 1 is prepared and It can be used to read all electronic publications.
【００１３】これらにより、本発明によれば、ユーザは
普通に本を読んでいる感覚で電子出版物を読むことがで
きるようになることに加えて、出版物保管のための物理
的なスペースを大幅に削減することができるようにな
る。[0013] Thus, according to the present invention, in addition to allowing a user to read an electronic publication as if he or she is reading a book, a physical space for storing the publication is provided. It will be possible to reduce significantly.
【００１４】[0014]
【発明の実施の形態】以下、実施の形態に従って本発明
を詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail according to embodiments.
【００１５】図２に、本発明を具備する電子出版物閲覧
装置１０の一実施形態例を図示する。FIG. 2 shows an embodiment of the electronic publication reading apparatus 10 according to the present invention.
【００１６】本発明では、ユーザが電子出版物を閲覧で
きるようにするために、各ページに電子出版物のページ
及びページ内位置を特定可能にする１つ又は複数のマー
カを記載する図１に示すような電子出版物閲覧用書籍１
と、カメラ３の取り付けられたヘッドマウントディスプ
レイ２とを用意する。In accordance with the present invention, FIG. 1 describes on each page one or more markers that enable the page and position within the page of the electronic publication to be identified so that the user can view the electronic publication. Books for viewing electronic publications as shown 1
And the head mounted display 2 to which the camera 3 is attached are prepared.
【００１７】以下、説明の便宜上、電子出版物閲覧用書
籍１に記載されるマーカの形状は正方形であることを想
定する。また、各マーカは、図１に示すように、識別子
となる固有の２次元パターンを有することを想定する。Hereinafter, for convenience of explanation, it is assumed that the marker described in the electronic publication reading book 1 has a square shape. Further, it is assumed that each marker has a unique two-dimensional pattern serving as an identifier, as shown in FIG.
【００１８】この電子出版物閲覧用書籍１及びヘッドマ
ウントディスプレイ２を受けて、ユーザは、そのヘッド
マウントディスプレイ２を装着しつつ、その電子出版物
閲覧用書籍１を閲覧操作することになる。Upon receipt of the electronic publication reading book 1 and the head mounted display 2, the user can browse the electronic publication reading book 1 while wearing the head mounted display 2.
【００１９】このユーザの閲覧操作を受けて、本発明の
電子出版物閲覧装置１０は、ユーザが閲覧している電子
出版物のページ箇所をヘッドマウントディスプレイ２に
表示することで、ユーザがあたかも普通の本を読む如く
電子出版物を閲覧できるように処理することになる。In response to the user's browsing operation, the electronic publication browsing apparatus 10 of the present invention displays the page portion of the electronic publication being browsed by the user on the head mounted display 2, so that the user is as if normal. You will be able to view electronic publications as if you were reading a book.
【００２０】この処理を実現するために、本発明の電子
出版物閲覧装置１０は、マーカ配置情報蓄積部２０と、
電子出版物情報蓄積部２１と、閲覧出版物選択部２２
と、カメラ映像入力部２３と、閲覧位置計算部２４と、
閲覧電子情報読出部２５と、表示デバイス書込部２６と
を備える。In order to realize this processing, the electronic publication reading apparatus 10 of the present invention includes a marker arrangement information storage unit 20 and
Electronic publication information storage unit 21 and browse publication selection unit 22
A camera image input unit 23, a browsing position calculation unit 24,
The browsing electronic information reading unit 25 and the display device writing unit 26 are provided.
【００２１】このマーカ配置情報蓄積部２０は、図３に
示すように、電子出版物閲覧装置１０に記載される各マ
ーカの持つ２次元パターンを検索キーとして、そのマー
カの掲載されているページの情報と、そのマーカの紙上
位置の情報（左上頂点の紙上位置で定義され、単位はｍ
ｍで表される）と、そのマーカの紙上での大きさの情報
（正方形で用意されるそのマーカの１辺の長さで定義さ
れ、単位はｍｍで表される）とを管理する。As shown in FIG. 3, the marker arrangement information accumulating unit 20 uses the two-dimensional pattern of each marker described in the electronic publication browsing apparatus 10 as a search key to display the page on which the marker is posted. Information and information on the paper position of the marker (defined by the paper position of the upper left apex, the unit is m
m)) and information on the size of the marker on the paper (defined by the length of one side of the marker prepared in a square, and the unit is expressed in mm).
【００２２】電子出版物情報蓄積部２１は、閲覧対象と
なる複数の電子出版物の電子情報を管理する。The electronic publication information storage unit 21 manages electronic information of a plurality of electronic publications to be browsed.
【００２３】閲覧出版物選択部２２は、図示しない対話
装置を使ってユーザと対話することで、電子出版物情報
蓄積部２１に蓄積される電子出版物の中から閲覧対象と
なるものを選択する。The browse publication selecting unit 22 selects a browse target from the electronic publications stored in the electronic publication information storage unit 21 by interacting with the user using an interactive device (not shown). .
【００２４】カメラ映像入力部２３は、ヘッドマウント
ディスプレイ２に取り付けられるカメラ３が撮影する映
像（電子出版物閲覧用書籍１に記載されるマーカの映
像）を入力する。The camera image input unit 23 inputs an image captured by the camera 3 attached to the head mounted display 2 (image of the marker described in the electronic publication reading book 1).
【００２５】閲覧位置計算部２４は、カメラ映像入力部
２３の入力するカメラ映像からマーカを抽出して、マー
カ配置情報蓄積部２０からそのマーカの掲載ページの情
報を取得するとともに、マーカ配置情報蓄積部２０から
そのマーカの配置情報を取得して、その抽出したマーカ
の映像情報とその取得したマーカの配置情報とに従っ
て、ユーザが電子出版物閲覧用書籍１が取得した掲載ペ
ージのどのページ内位置を閲覧しているのかを計算によ
り求める。The browsing position calculation unit 24 extracts a marker from the camera image input by the camera image input unit 23, acquires the information of the page of the marker from the marker arrangement information storage unit 20, and stores the marker arrangement information. The location information of the marker is acquired from the unit 20, and the position within the page of the publication page acquired by the electronic publication reading book 1 by the user according to the extracted video information of the marker and the acquired layout information of the marker. Calculate whether you are browsing.
【００２６】閲覧電子情報読出部２５は、閲覧出版物選
択部２２により選択された電子出版物と、閲覧位置計算
部２４により求められた閲覧位置の情報とを受けて、電
子出版物情報蓄積部２１に管理される閲覧対象の電子出
版物の中から、ユーザにより閲覧されている電子出版物
の情報を読み出す。The browsing electronic information reading unit 25 receives the electronic publication selected by the browsing publication selecting unit 22 and the information on the browsing position obtained by the browsing position calculating unit 24, and receives the electronic publication information storage unit. Information of electronic publications browsed by the user is read out from the electronic publications to be browsed managed in 21.
【００２７】表示デバイス書込部２６は、閲覧電子情報
読出部２５の読み出した電子出版物の情報をヘッドマウ
ントディスプレイ２に表示する。The display device writing unit 26 displays the information of the electronic publication read by the browsing electronic information reading unit 25 on the head mounted display 2.
【００２８】ここで、本発明を実現すべく用意される電
子出版物閲覧装置１０の備える各処理手段はコンピュー
タプログラムで実現できるものであり、このコンピュー
タプログラムは、半導体メモリなどの記録媒体に記録し
て提供することができる。Here, each processing means included in the electronic publication browsing apparatus 10 prepared to realize the present invention can be realized by a computer program, and the computer program is recorded in a recording medium such as a semiconductor memory. Can be provided.
【００２９】先ず最初に、ヘッドマウントディスプレイ
２を取り付けたユーザが、電子出版物閲覧用書籍１と並
行に向き合う姿勢（マーカが本来の正方形に見える姿
勢）でもって、電子出版物閲覧用書籍１を閲覧操作する
ときに実行する本発明の処理について説明する。First, the user who mounts the head-mounted display 2 holds the electronic publication reading book 1 in a posture facing the electronic publication reading book 1 in parallel (a posture in which the marker looks like an original square). The processing of the present invention executed when a browsing operation is performed will be described.
【００３０】図４に、ユーザがこの姿勢で閲覧操作を行
うときに閲覧位置計算部２４が実行する処理フローの一
実施形態例を図示する。FIG. 4 illustrates an embodiment of a processing flow executed by the browsing position calculation unit 24 when the user performs a browsing operation in this posture.
【００３１】閲覧位置計算部２４は、ユーザの閲覧要求
に応答して起動されると、図４の処理フローに示すよう
に、先ず最初に、ステップ１で、ヘッドマウントディス
プレイ２に取り付けられたカメラ３の撮影するカメラ映
像（説明の便宜上、４００×４００ピクセルの大きさを
持つとともに、縦横とも同一の分解能[mm/ヒ゜クセル] を持
つことを想定する）を入力し、続くステップ２で、その
入力したカメラ映像からマーカを抽出する。When the browsing position calculation unit 24 is activated in response to a user's browsing request, as shown in the processing flow of FIG. 4, first, in step 1, the camera mounted on the head mounted display 2 is mounted. Input the camera image of 3 (for the sake of explanation, it is assumed that it has a size of 400 × 400 pixels and has the same resolution [mm / pixel] in both vertical and horizontal directions), and then input it in step 2. The marker is extracted from the captured camera image.
【００３２】電子出版物閲覧用書籍１に記載されるマー
カは、電子出版物閲覧用書籍１の用紙が白色である場合
には、例えば正方形の台紙部分が灰色で、その台紙部分
に黒色の２次元パターンが印刷される形態で用意されて
いるので、閲覧位置計算部２４は、例えば、白色と灰色
とを区画するスライスレベルを使って正方形の台紙部分
を切り出すとともに、灰色と黒色とを区画するスライス
レベルを使って２次元パターンを切り出して、その切り
出した２つをマージすることで、入力したカメラ映像か
らマーカを抽出することになる。When the paper of the electronic publication reading book 1 is white, the marker described in the electronic publication reading book 1 is, for example, a square mount portion that is gray and a black portion on the mount portion. Since the three-dimensional pattern is prepared in the form of being printed, the browsing position calculation unit 24 cuts out a square mount portion using a slice level that divides white and gray, and divides gray and black, for example. A two-dimensional pattern is cut out by using the slice level, and the two cut outs are merged to extract a marker from the input camera image.
【００３３】続いて、ステップ３で、抽出したマーカか
ら、左上頂点のピクセル位置で定義されるマーカの基点
位置ｍｂを求める。例えば、図５に示す例で説明するな
らば、マーカの基点位置ｍｂとして、（８０ピクセル，
４０ピクセル）を求めるのである。Then, in step 3, the base point position mb of the marker defined by the pixel position of the upper left vertex is obtained from the extracted marker. For example, in the case of the example shown in FIG. 5, the base point mb of the marker is (80 pixels,
40 pixels).
【００３４】続いて、ステップ４で、抽出したマーカか
ら、正方形の１辺の長さで定義されるマーカの大きさｃ
ｌを求める。図５に示す例で説明するならば、マーカの
大きさｃｌとして、８０ピクセルを求めるのである。Then, in step 4, the size c of the marker defined by the length of one side of the square is extracted from the extracted markers.
Find l. In the example shown in FIG. 5, 80 pixels are obtained as the marker size cl.
【００３５】続いて、ステップ５で、抽出したマーカの
持つ２次元パターンを検索キーにして、マーカ配置情報
蓄積部２０を検索する（２次元パターンの一致するエン
トリーのデータを取得する）ことで、抽出したマーカの
掲載ページと、紙上位置ｍｐと、紙上での大きさｍｌと
を取得する。例えば、掲載ページが２４ページで、紙上
位置ｍｐが（１００ｍｍ，１５０ｍｍ）で、紙上での大
きさｍｌが１００ｍｍであるということを取得するので
ある。Then, in step 5, the marker arrangement information storage unit 20 is searched (the data of the entry having the same two-dimensional pattern is acquired) by using the two-dimensional pattern of the extracted marker as a search key. The extracted page of the marker, the position mp on the paper, and the size ml on the paper are acquired. For example, it is acquired that there are 24 pages, the position mp on the paper is (100 mm, 150 mm), and the size ml on the paper is 100 mm.
【００３６】続いて、ステップ６で、マーカの基点位置
から映像の中心位置へのベクトルｘを求める。図５に示
す例で説明するならば、映像の中心位置は（２００ピク
セル，２００ピクセル）であるので、マーカの基点位置
から映像の中心位置へのベクトルｘとして、（１２０ピ
クセル，１６０ピクセル）を求めるのである。Then, in step 6, a vector x from the marker base point position to the video center position is obtained. In the example shown in FIG. 5, since the center position of the image is (200 pixels, 200 pixels), (120 pixels, 160 pixels) is set as the vector x from the base point position of the marker to the center position of the image. To ask.
【００３７】続いて、ステップ７で、ステップ４で取得
したマーカのカメラ映像での大きさｃｌと、ステップ５
で取得したマーカの紙上での大きさｍｌとの間の変換係
数ｙ（＝ｍｌ／ｃｌ）を求める。図５に示す例で説明す
るならば、変換係数ｙとして、“１００／８０＝１.2
５”を求めるのである。Subsequently, in step 7, the size cl of the marker acquired in step 4 in the camera image and step 5
The conversion coefficient y (= ml / cl) between the size of the marker acquired on the paper and the size ml on the paper is obtained. In the case of the example shown in FIG. 5, the conversion coefficient y is “100/80 = 1.2.
5 "is required.
【００３８】続いて、ステップ８で、“ｃｃ＝ｍｐ＋ｘ
＊ｙ”という算出式に従って、カメラ映像中心点の紙上
での位置ｃｃを求める。図５に示す例で説明するなら
ば、
ｃｃ＝（１００，１５０）＋１.2５＊（１２０，１６０）
＝（２５０，３５０）
に従って、カメラ映像中心点の紙上での位置ｃｃとし
て、（２５０ｍｍ，３３０ｍｍ）を求めるのである。Then, in step 8, "cc = mp + x"
The position cc on the paper of the camera image center point is obtained according to the calculation formula "* y". In the case of the example shown in Fig. 5, cc = (100, 150) + 1.25 * (120, 160) = ( 250, 350), the position cc of the camera image center point on the paper is calculated as (250 mm, 330 mm).
【００３９】続いて、ステップ９で、“ｚ＝４００＊
ｙ”という算出式に従って、カメラ映像の撮影範囲の大
きさに対応する紙上での大きさｚを求める。図５の例で
説明するならば、
ｚ＝（４００，４００）＊１.2５＝（５００，５００）
に従って、カメラ映像の撮影範囲の大きさに対応する紙
上での大きさｚとして、（５００ｍｍ，５００ｍｍ）を
求めるのである。Then, in step 9, "z = 400 *"
The size z on the paper corresponding to the size of the shooting range of the camera image is obtained according to the calculation formula "y". In the case of the example in FIG. 5, z = (400,400) * 1.25 = ( (500, 500), the size z on the paper corresponding to the size of the shooting range of the camera image is calculated as (500 mm, 500 mm).
【００４０】続いて、ステップ１０で、“α＝ｃｃ±
（１／２）＊ｚという算出式に従って、閲覧箇所を示す
ページ内位置αを算出する。図５の例で説明するなら
ば、
α＝（２５０，３５０）±（１／２）（５００，５００）
＝（０〜５００，１００〜６００）
に従って、閲覧箇所を示すページ内位置αとして、（０
ｍｍ〜５００ｍｍ，１００ｍｍ〜６００ｍｍ）を算出す
るのである。Then, in step 10, "α = cc ±
The in-page position α indicating the browsing location is calculated according to the calculation formula of (1/2) * z. In the example of FIG. 5, α = (250,350) ± (1/2) (500,500) = (0-500,100-600) (0
mm-500 mm, 100 mm-600 mm) is calculated.
【００４１】すなわち、マーカの映像位置の情報とその
紙上での配置位置の情報とに基づいて算出したカメラ映
像中心点の紙上位置ｃｃを中心として、カメラ映像の撮
影範囲の大きさｚを左右上下に半分ずつ割り振ること
で、閲覧箇所を示すページ内位置αを算出するのであ
る。That is, the size z of the image capturing range of the camera image is left, right, up, and down around the position on the paper cc of the camera image center point calculated based on the information of the image position of the marker and the information of the arrangement position on the paper. By allocating to each half, the in-page position α indicating the browsing location is calculated.
【００４２】続いて、ステップ１１で、閲覧電子情報読
出部２５に対して、ステップ５で取得した掲載ページ
と、ステップ１０で算出したページ内位置αとを指定し
て、電子出版物情報の表示を指示してから、ステップ１
に戻ることで、ユーザの閲覧操作により変化する次のカ
メラ映像を入力していくように処理する。Then, in step 11, the browsing electronic information reading section 25 is designated to specify the publication page acquired in step 5 and the in-page position α calculated in step 10 to display the electronic publication information. And then step 1
By returning to step 1, the processing is performed so that the next camera image that changes depending on the user's browsing operation is input.
【００４３】このようにして、閲覧位置計算部２４は、
図６に示すように、ヘッドマウントディスプレイ２に取
り付けられたカメラ３の撮影する映像からマーカを抽出
し、その抽出したマーカの掲載ページを特定するととも
に、そのマーカの映像位置の情報とそのマーカの紙上位
置の情報とに基づいて、その掲載ページのどの部分を閲
覧しているのかを特定して、閲覧電子情報読出部２５に
対して、その特定した閲覧位置の情報を指定して、電子
出版物情報の表示を指示していくように処理するのであ
る。In this way, the browsing position calculation unit 24
As shown in FIG. 6, a marker is extracted from the image captured by the camera 3 attached to the head mounted display 2, the page on which the extracted marker is placed is specified, and information on the image position of the marker and the marker position are displayed. Based on the information on the position on the paper, which part of the posted page is being browsed is specified, and the browsing electronic information reading unit 25 is designated with the information on the specified browsing position to perform electronic publishing. The processing is performed so as to instruct the display of the product information.
【００４４】この指示を受け取ると、閲覧電子情報読出
部２５は、図６に示すように、閲覧出版物選択部２２に
より選択された電子出版物と、指定された閲覧位置の情
報とに基づいて、電子出版物情報蓄積部２１に管理され
る閲覧対象の電子出版物の中から、ユーザにより閲覧さ
れている電子出版物の情報を読み出し、これを受けて、
表示デバイス書込部２６は、図７に示すように、その読
み出された電子出版物の情報をヘッドマウントディスプ
レイ２に表示するように処理する。Upon receiving this instruction, the browsing electronic information reading unit 25, as shown in FIG. 6, based on the electronic publication selected by the browsing publication selecting unit 22 and the information on the designated browsing position. From the electronic publications to be browsed managed by the electronic publication information storage unit 21, the information of the electronic publications browsed by the user is read out, and in response to this,
As shown in FIG. 7, the display device writing unit 26 processes the read electronic publication information so as to be displayed on the head mounted display 2.
【００４５】図５の例で説明するならば、電子出版物蓄
積部２１から、閲覧出版物選択部２２により選択された
電子出版物の第２４ページの横０〜５００ｍｍ、縦１０
０〜６００ｍｍの範囲の電子データを読み出して、ヘッ
ドマウントディスプレイ２に表示するように処理するこ
とになる。In the example of FIG. 5, the 24th page of the electronic publication selected by the browsing publication selection section 22 from the electronic publication storage section 21 is 0 to 500 mm in width and 10 in length.
The electronic data in the range of 0 to 600 mm is read and processed so as to be displayed on the head mounted display 2.
【００４６】このときに行うヘッドマウントディスプレ
イ２への電子出版物の電子データの表示形態について
は、どのようなものであってもよい。The display form of the electronic data of the electronic publication on the head mounted display 2 at this time may be any form.
【００４７】例えば、ヘッドマウントディスプレイ２に
取り付けられているカメラ３で見たらこのように見える
であろうという表示形態（大きさ）でもって、電子出版
物の電子データをヘッドマウントディスプレイ２に表示
するようにしてもよい。この方法を用いる場合には、カ
メラ３の分解能[mm/ヒ゜クセル] とヘッドマウントディスプ
レイ２の表示分解能[mm/ヒ゜クセル] とを予めキャリブレー
ションしておく必要がある。For example, the electronic data of the electronic publication is displayed on the head mounted display 2 in a display form (size) that the camera 3 mounted on the head mounted display 2 will look like this. You may do it. When this method is used, it is necessary to calibrate the resolution [mm / Pixel] of the camera 3 and the display resolution [mm / Pixel] of the head mounted display 2 in advance.
【００４８】また、カメラ映像の大きさと、ヘッドマウ
ントディスプレイ２の表示解像度とが異なる場合には、
例えば、ヘッドマウントディスプレイ２の表示範囲に合
わせた大きさの電子データを読み出して、ヘッドマウン
トディスプレイ２に表示するように処理してもよい。When the size of the camera image and the display resolution of the head mounted display 2 are different,
For example, electronic data having a size suitable for the display range of the head mounted display 2 may be read and processed so as to be displayed on the head mounted display 2.
【００４９】すなわち、カメラ映像の大きさが４００×
４００ピクセルで、ヘッドマウントディスプレイ２の表
示解像度が６４０×４８０ピクセルのときには、上述し
たアルゴリズムで求めた範囲より大きな範囲である、横
方向については“６４０／４００＝1.６”倍で、縦方向
については“４８０／４００＝1.４”倍した範囲にある
電子データを読み出して、ヘッドマウントディスプレイ
２に表示するように処理してもよい。That is, the size of the camera image is 400 ×
When the display resolution of the head-mounted display 2 is 400 pixels and the display resolution is 640 × 480 pixels, it is a range larger than the range obtained by the above-mentioned algorithm. In the horizontal direction, “640/400 = 1.6” times, and in the vertical direction. With respect to, the electronic data in the range multiplied by “480/400 = 1.4” may be read and processed so as to be displayed on the head mounted display 2.
【００５０】このような表示形態を用いると、ヘッドマ
ウントディスプレイ２の表示領域を一杯に使った形態で
電子出版物を表示できるようになるとともに、電子出版
物を歪ませない形態で表示できるようになることで、ユ
ーザの違和感もなくなる。When such a display form is used, the electronic publication can be displayed in a form in which the display area of the head mounted display 2 is used up, and the electronic publication can be displayed in a non-distorted form. As a result, the user does not feel uncomfortable.
【００５１】このようにして、本発明の電子出版物閲覧
装置１０は、ユーザが電子出版物閲覧用書籍１に頭を近
づけると電子出版物の内容を拡大したり、ユーザが電子
出版物閲覧用書籍１のページをめくるときに、電子出版
物のページをめくるように処理することで、ユーザがあ
たかも普通の本を読む如く電子出版物を閲覧できるよう
に処理することを実現するのである。In this way, the electronic publication browsing apparatus 10 of the present invention enlarges the content of the electronic publication when the user brings his or her head close to the electronic publication browsing book 1, or the user browses the electronic publication. When the pages of the book 1 are turned, the pages of the electronic publication are processed so as to be turned so that the user can view the electronic publication as if he or she is reading an ordinary book.
【００５２】以上の説明では、カメラ映像の中に複数の
マーカが撮影されている場合について説明していなかっ
たが、カメラ映像の中に複数のマーカが撮影されている
場合には、その中に含まれる１つのマーカを使って上述
の処理を行うことになる。In the above description, the case where a plurality of markers are photographed in the camera image is not explained, but when a plurality of markers are photographed in the camera image, it is The above-mentioned processing will be performed using one included marker.
【００５３】すなわち、ユーザはあるページを閲覧する
のであって、その閲覧するページには、マーカ配置情報
蓄積部２０に同一の掲載ページが登録されているマーカ
が印刷されることになる。従って、カメラ映像から抽出
したどのマーカを検索キーにしてマーカ配置情報蓄積部
２０にアクセスしても、結局の所、同一の掲載ページを
取得できることになる。That is, the user browses a certain page, and the marker for which the same posted page is registered in the marker placement information accumulating section 20 is printed on the page to be browsed. Therefore, no matter which marker extracted from the camera image is used as the search key to access the marker arrangement information storage unit 20, the same posted page can be obtained after all.
【００５４】また、カメラ映像から抽出したどのマーカ
を使って、上述のアルゴリズムに従ってページ内位置α
を算出しても、それらのページ内位置αは、いずれもユ
ーザの閲覧箇所を示していることから誤差の範囲で同一
となる。これから、カメラ映像の中に複数のマーカが撮
影されている場合には、その中に含まれる１つのマーカ
を使って上述の処理を行えばよいのである。Further, by using any marker extracted from the camera image, the in-page position α according to the above-mentioned algorithm.
Even if is calculated, the in-page position α is the same within the error range because all of them indicate the user's browsing position. From this, when a plurality of markers are photographed in the camera image, the above-mentioned processing may be performed using one marker included in the images.
【００５５】ここで、ページ内位置αの算出について
は、カメラ映像から抽出した複数のマーカのそれぞれに
ついてページ内位置αを算出して、その平均値を算出す
ることにより最終的なページ内位置αを算出するように
してもよい。Here, regarding the calculation of the in-page position α, the in-page position α is calculated for each of the plurality of markers extracted from the camera image, and the average value thereof is calculated to obtain the final in-page position α. May be calculated.
【００５６】次に、ヘッドマウントディスプレイ２を取
り付けたユーザが、電子出版物閲覧用書籍１と並行に向
き合う姿勢とはならない姿勢でもって、電子出版物閲覧
用書籍１を閲覧操作するときに実行する本発明の処理に
ついて説明する。Next, the user mounting the head mounted display 2 executes this operation when he / she operates the electronic publication reading book 1 in a posture in which the user does not face the electronic publication reading book 1 in parallel. The processing of the present invention will be described.
【００５７】このときには、カメラ映像の中で、マーカ
が本来の正方形とは異なる形状に見えることになるの
で、閲覧位置計算部２４は、このマーカ形状の変形の情
報を使って実世界座標系を推定するように処理する。At this time, since the marker looks like a shape different from the original square in the camera image, the browsing position calculation unit 24 uses the information about the deformation of the marker shape to determine the real world coordinate system. Process as estimated.
【００５８】マーカの形状が正方形から崩れると、マー
カの持つ２次元パターンも本来のものとは異なるものに
なるので、マーカ配置情報蓄積部２０を検索することは
できない。When the shape of the marker collapses from the square, the two-dimensional pattern of the marker also becomes different from the original one, so that the marker arrangement information accumulating unit 20 cannot be searched.
【００５９】そこで、閲覧位置計算部２４は、先ず最初
に、以下に説明する手順に従って、正方形のマーカの持
つ４つの頂点（ｘ1,ｙ1),(ｘ2,ｙ2),(ｘ3,ｙ3),(ｘ4,ｙ
4)と、カメラ映像中のマーカに対応した矩形の持つ４つ
の頂点（Ｘ1,Ｙ1),(Ｘ2,Ｙ2),(Ｘ3,Ｙ3),(Ｘ4,Ｙ4)との
間に成立する変換式を作成し、それに従って、カメラ映
像中の各矩形頂点を正方形の各頂点に射影することで、
カメラ３の姿勢によって歪んで撮影されたマーカの矩形
を正方形に射影しなおす処理を行う。Therefore, the browsing position calculation unit 24 firstly follows the procedure described below and sets the four vertices (x 1, y 1 ), (x 2, y 2 ), (x 3 ) of the square marker. , y 3 ), (x 4, y
4 ) and four vertices (X 1, Y 1 ), (X 2, Y 2 ), (X 3, Y 3 ), (X 4, Y 4 ) of the rectangle corresponding to the marker in the camera image. By creating a conversion formula that holds between and, according to that, by projecting each rectangular vertex in the camera image to each vertex of the square,
A process of re-projecting the rectangle of the marker, which is distorted by the posture of the camera 3 and photographed, into a square is performed.
【００６０】よく知られているように、実世界中の平面
上の点（ｘi,ｙi,０）を、ある並進・回転運動によって
移動し、それを透視変換で画像座標系に射影した点を
（Ｘi,Ｙi ）とすると、両者の間には、
Ｘi ＝（ａ1 ｘi ＋ａ2 ｙi ＋ａ3 ）／（ａ7 ｘi ＋ａ
8 ｙi ＋１）
Ｙi ＝（ａ4 ｘi ＋ａ5 ｙi ＋ａ6 ）／（ａ7 ｘi ＋ａ
8 ｙi ＋１）
という関係がある。ここで、ａ1 〜ａ8 は未知の係数
で、カメラ３の外部パラメータ（位置と方向）及び内部
パラメータ（焦点距離など）を表現している。As is well known, a point (x i, y i, 0) on the plane in the real world is moved by a certain translation / rotation motion, and it is projected onto an image coordinate system by perspective transformation. Letting the point be (X i, Y i ), X i = (a 1 x i + a 2 y i + a 3 ) / (a 7 x i + a)
8 y i +1) Y i = (a 4 x i + a 5 y i + a 6 ) / (a 7 x i + a
8 y i +1). Here, a 1 to a 8 are unknown coefficients and represent external parameters (position and direction) and internal parameters (focal length, etc.) of the camera 3.
【００６１】これらの係数ａ1 〜ａ8 の値は、実世界中
の既知の点と、その画像座標上での対応点が４組あれ
ば、図８に示す方程式を解くことによって得られる。The values of these coefficients a 1 to a 8 can be obtained by solving the equation shown in FIG. 8 if there are four sets of corresponding points on the image coordinates and known points in the real world.
【００６２】そこで、閲覧位置計算部２４は、正方形の
マーカの持つ４つの頂点（ｘ1,ｙ1),(ｘ2,ｙ2),(ｘ3,ｙ
3),(ｘ4,ｙ4)と、カメラ映像中のマーカに対応した矩形
の持つ４つの頂点（Ｘ1,Ｙ1),(Ｘ2,Ｙ2),(Ｘ3,Ｙ3),(Ｘ
4,Ｙ4)とに基づいて、図８に示す方程式を解くことで、
係数ａ1 〜ａ8 の値を求めて、それに従って上述の変換
式を作成することで、カメラ３の姿勢によって歪んで撮
影されたマーカの矩形を正方形に射影しなおす処理を行
い、その正方形に戻したマーカの持つ２次元パターンを
検索キーにして、マーカ配置情報蓄積部２０を検索する
ことで、カメラ映像から抽出したマーカの掲載ページを
取得するように処理する。Therefore, the browsing position calculation section 24 has the four vertices (x 1, y 1 ), (x 2, y 2 ), (x 3, y) of the square marker.
3 ), (x 4, y 4 ), and the four vertices (X 1, Y 1 ), (X 2, Y 2 ), (X 3, Y 3 ), of the rectangle corresponding to the marker in the camera image. (X
4, Y 4 ), by solving the equation shown in FIG.
By obtaining the values of the coefficients a 1 to a 8 and creating the above-mentioned conversion formula according to the values, the processing of re-projecting the rectangle of the marker photographed distorted by the posture of the camera 3 into a square is performed. The two-dimensional pattern of the returned marker is used as a search key to search the marker arrangement information accumulating unit 20 to perform processing so as to obtain the page of the marker extracted from the camera image.
【００６３】続いて、閲覧位置計算部２４は、マーカの
形状から実世界座標系を推定する。上述した係数ａ1 〜
ａ8 をそのまま利用して変換行列を求めることも可能で
あるが、より高い精度で座標系を推定するために、マー
カの形状が正方形であるという制約条件を利用して、そ
の制約条件の下で誤差を最小にするように変換行列を推
定する処理を行う。Next, the browsing position calculation unit 24 estimates the real world coordinate system from the shape of the marker. The above-mentioned coefficient a 1 ~
Although it is possible to determine directly converted using matrix a 8, in order to estimate the coordinates with higher precision, by using the constraint that the shape of the marker is square, under the constraints The process of estimating the transformation matrix is performed so as to minimize the error.
【００６４】なお、この方法については、「暦本純一,"
２次元マトリックスコードを利用した拡張現実感の構成
手法",インタラクティブシステムとソフトウェア研究会
（ＷＩＳＳ)'９６」や、「高橋章，石井郁夫，牧野秀
夫，中静真：ＶＲ．インターフェースのための単眼によ
る長方形マーカー位置高精度実時間推定法，３次元画像
コンファレンス '96,1996,pp.167-172．」に紹介されて
いる。For this method, refer to "Junichi Korimoto,"
Augmented Reality Construction Method Using 2D Matrix Code ", Interactive Systems and Software Research Group (WISS) '96" and "Akira Takahashi, Ikuo Ishii, Hideo Makino, Makoto Nakashizuka: Monocular for VR interface High-precision real-time estimation method for rectangular marker position by J., 3D image conference '96, 1996, pp.167-172. ”.
【００６５】すなわち、マーカの各辺に相当する（カメ
ラ座標系での）方向ベクトルをベクトルｖ0,ベクトルｖ
1,ベクトルｖ2,ベクトルｖ3 、対角線に相当する方向ベ
クトルをベクトルｖ4,ベクトルｖ5 とすると、正方形の
制約条件は、隣接する２辺と２つの対角線がそれぞれ直
交することなので、That is, the direction vector (in the camera coordinate system) corresponding to each side of the marker is defined as vector v 0, vector v
1, a vector v 2, a vector v 3 , and a direction vector corresponding to a diagonal line is a vector v 4, a vector v 5 , the constraint condition of a square is that two adjacent sides and two diagonal lines are orthogonal to each other.
【００６６】[0066]
【数１】 [Equation 1]
【００６７】と表現することができる。ここで、「・」
はベクトルの内積を示している。It can be expressed as here,"·"
Indicates the dot product of the vectors.
【００６８】これから、ベクトルｖ0 〜ベクトルｖ5 を
マーカが含まれる平面のカメラ座標系における法線ベク
トルｎで表現し、「Ｅ（法線ベクトルｎ）→０」とする
ように法線ベクトルｎを推定する。そして、この推定処
理により新たに得られた法線ベクトルｎから、ベクトル
ｖ0 〜ベクトルｖ5 を再計算する。From this, the vector v 0 to the vector v 5 are expressed by the normal vector n in the camera coordinate system of the plane including the marker, and the normal vector n is set to "E (normal vector n) → 0". To estimate. Then, the vectors v 0 to v 5 are recalculated from the normal vector n newly obtained by this estimation process.
【００６９】空間中での点の実世界座標系での座標
（ｘ，ｙ，ｚ）T と、カメラ座標系での座標（Ｘ，Ｙ，
Ｚ）T とは、Coordinates (x, y, z) T in the real world coordinate system of points in space and coordinates (X, Y, Z) in the camera coordinate system.
Z) What is T ?
【００７０】[0070]
【数２】 [Equation 2]
【００７１】という変換行列で関連付られる。It is related by the transformation matrix of.
【００７２】ここで、ベクトルｅx,ベクトルｅy,ベクト
ルｅz はカメラ３の回転を表す成分、ベクトルｅt はカ
メラ３の移動を表す成分であり、Here, the vector e x, the vector e y, the vector e z are the components representing the rotation of the camera 3, and the vector e t is the component representing the movement of the camera 3,
【００７３】[0073]
【数３】 [Equation 3]
【００７４】で表される。ここで、Ｎは正規化演算を示
している。It is represented by Here, N has shown the normalization calculation.
【００７５】このようにして、カメラ３の姿勢情報（位
置と姿勢）を推定できるので、掲載ページのどの部分を
閲覧しているのかを特定できることになる。Since the posture information (position and posture) of the camera 3 can be estimated in this manner, it becomes possible to specify which part of the posted page is being browsed.
【００７６】これから、閲覧位置計算部２４は、ユーザ
が電子出版物閲覧用書籍１と並行に向き合う姿勢で電子
出版物閲覧用書籍１を閲覧操作するときの処理と同様
に、閲覧電子情報読出部２５に対して、特定した閲覧位
置の情報を指定して、電子出版物情報の表示を指示して
いくように処理する。From this point on, the browsing position calculation unit 24 performs the browsing electronic information reading unit similarly to the processing when the user browses the electronic publication browsing book 1 in a posture of facing the electronic publication browsing book 1 in parallel. With respect to 25, the information of the specified browsing position is designated, and the display of the electronic publication information is instructed.
【００７７】この指示を受け取ると、閲覧電子情報読出
部２５は、閲覧出版物選択部２２により選択された電子
出版物と、指定された閲覧位置の情報とに基づいて、電
子出版物情報蓄積部２１に管理される閲覧対象の電子出
版物の中から、ユーザにより閲覧されている電子出版物
の情報を読み出し、これを受けて、表示デバイス書込部
２６は、その読み出された電子出版物の情報を、カメラ
３から見た形態に変換しつつ、ヘッドマウントディスプ
レイ２に表示するように処理することになる。Upon receiving this instruction, the browsing electronic information reading unit 25, based on the electronic publication selected by the browsing publication selecting unit 22 and the information on the designated browsing position, the electronic publication information storage unit. Information of electronic publications browsed by the user is read out from the electronic publications to be browsed managed by 21, and the display device writing unit 26 receives the information and reads the electronic publications. Information is converted into a form viewed from the camera 3 and is displayed on the head mounted display 2.
【００７８】このとき、表示デバイス書込部２６は、読
み出された電子出版物の情報を、カメラ３から見た形態
に変換しないで、そのままヘッドマウントディスプレイ
２に表示するように処理してもよい。At this time, the display device writing section 26 does not convert the read information of the electronic publication into the form viewed from the camera 3, but directly displays it on the head mounted display 2. Good.
【００７９】この処理構成を採ると、ユーザは、電子出
版物閲覧用書籍１と並行に向き合う姿勢で電子出版物閲
覧用書籍１を閲覧操作するときに見る表示形態と同一の
表示形態の電子出版物情報を見ることになり、実際に見
るときの表示形態とは異なるものの、見やすいという利
点が得られることになる。When this processing configuration is adopted, the user has the electronic display of the same display form as the display form viewed when the user operates the electronic publication browsing book 1 in a posture of facing the electronic publication browsing book 1 in parallel. Since the physical information is to be viewed, the display form is different from the actual display, but the advantage of being easy to view is obtained.
【００８０】このようにして、本発明の電子出版物閲覧
装置１０は、ユーザが電子出版物閲覧用書籍１に対して
頭を斜めにしたり、横から見るような動きをする場合に
も、そのユーザの頭の動きに合わせて表示する電子出版
物の内容を動かすことで、ユーザがあたかも普通の本を
読む如く電子出版物を閲覧できるように処理することを
実現するのである。In this way, the electronic publication reading device 10 of the present invention can be used even when the user tilts his / her head with respect to the electronic publication reading book 1 or makes a movement from the side. By moving the contents of the electronic publication to be displayed according to the movement of the user's head, it is possible to perform processing so that the user can browse the electronic publication as if he were reading a normal book.
【００８１】以上に説明した実施形態例では、電子出版
物閲覧用書籍１に記載されるマーカが２次元パターンを
有することで説明したが、本発明はこのようなマーカを
用いることに限られるものではない。In the embodiment described above, the marker described in the electronic publication reading book 1 has been described as having a two-dimensional pattern, but the present invention is limited to the use of such a marker. is not.
【００８２】例えば、電子出版物閲覧用書籍１に記載さ
れるマーカとして、マーカ配置情報蓄積部２０に登録さ
れている情報を記録するバーコードを用いたり、閲覧位
置計算部２４が数字認識機能を持つ場合には、電子出版
物閲覧用書籍１に記載されるマーカとして、マーカ配置
情報蓄積部２０に登録されている情報を示す数字列を記
録するものを用いることもできる。このような構成を用
いると、マーカ配置情報蓄積部２０を省略することがで
きるという利点が得られる。For example, a bar code for recording information registered in the marker arrangement information accumulating unit 20 is used as the marker described in the electronic publication browsing book 1, or the browsing position calculating unit 24 has a number recognition function. In the case of having it, it is possible to use, as the marker described in the electronic publication reading book 1, one that records a number string indicating the information registered in the marker arrangement information accumulating unit 20. The use of such a configuration has an advantage that the marker arrangement information storage unit 20 can be omitted.
【００８３】また、実施形態例では、説明の便宜上、閲
覧対象となる電子出版物の電子情報を電子出版物情報蓄
積部２１から取得することで説明したが、ネットワーク
を介して取得するといったように、電子出版物の電子情
報の取得の方法については、どのようなものであっても
よい。Further, in the embodiment, for the sake of convenience of description, the electronic information of the electronic publication to be browsed is acquired from the electronic publication information storage unit 21, but it is acquired via the network. Any method may be used for acquiring electronic information of an electronic publication.
【００８４】また、実施形態例では、説明の便宜上、カ
メラの分解能[mm/ヒ゜クセル] が縦横とも同一となることで
説明したが、この分解能が縦横で異なっていても、単純
な比例計算処理を行うことだけで、本発明はそのまま適
用可能である。Further, in the embodiment, for the sake of convenience of explanation, it has been explained that the resolution [mm / pixel] of the camera is the same vertically and horizontally. However, even if this resolution is different vertically and horizontally, a simple proportional calculation process The present invention can be applied as it is by simply performing.
【００８５】[0085]
【発明の効果】以上説明したように、本発明では、電子
出版物を見るときに生じる拡大縮小、画面スクロールを
マウス操作などにより行うのではなくて、各ページに電
子出版物のページ及びページ内位置を特定可能にするマ
ーカを記載する電子出版物閲覧用書籍を用意して、カメ
ラ付きのヘッドマウントディスプレイを用いて、そのカ
メラから得られる情報により、ユーザがどのページのど
の部分を見ているのか認識して、そのユーザが見ている
部分をヘッドマウントディスプレイに表示するように処
理するのである。As described above, according to the present invention, the enlargement / reduction and the screen scroll that occur when viewing an electronic publication are not performed by operating the mouse, but the pages of the electronic publication and the pages within the electronic publication are added to each page. Prepare a book for viewing electronic publications that describes markers that enable you to specify the position, and use a head-mounted display with a camera to see what part of which page the user is viewing from the information obtained from the camera. That is, it recognizes whether or not it is processed so as to display the portion viewed by the user on the head mounted display.
【００８６】この電子出版物閲覧用書籍については１冊
用意すればよく、この電子出版物閲覧用書籍にリンクす
る電子出版物が様々なものに変わることで、様々な電子
出版物を閲覧することが可能になる。It is sufficient to prepare one book for reading this electronic publication, and to browse various electronic publications by changing various electronic publications linked to this book for reading electronic publication. Will be possible.
【００８７】これらにより、本発明によれば、ユーザは
普通に本を読んでいる感覚で電子出版物を読むことがで
きるようになることに加えて、出版物保管のための物理
的なスペースを大幅に削減することができるようにな
る。Thus, according to the present invention, in addition to allowing a user to read an electronic publication as if he or she is reading a book, a physical space for storing the publication is provided. It will be possible to reduce significantly.
【図１】電子出版物閲覧用書籍の一実施形態例である。FIG. 1 is an exemplary embodiment of a book for viewing electronic publications.
【図２】電子出版物閲覧装置の一実施形態例である。FIG. 2 is an exemplary embodiment of an electronic publication reading apparatus.
【図３】マーカ配置情報蓄積部の一実施形態例である。FIG. 3 is an example of an embodiment of a marker arrangement information storage unit.
【図４】閲覧位置計算部の実行する処理フローの一実施
形態例である。FIG. 4 is an exemplary embodiment of a processing flow executed by a browsing position calculation unit.
【図５】カメラ映像の一例である。FIG. 5 is an example of a camera image.
【図６】本発明の説明図である。FIG. 6 is an explanatory diagram of the present invention.
【図７】本発明の説明図である。FIG. 7 is an explanatory diagram of the present invention.
【図８】実世界中の既知点と画像座標上での対応点との
間に成立する方程式の説明図である。FIG. 8 is an explanatory diagram of an equation established between known points in the real world and corresponding points on image coordinates.
１ 電子出版物閲覧用書籍 ２ ヘッドマウントディスプレイ ３ カメラ １０ 電子出版物閲覧装置 ２０ マーカ配置情報蓄積部 ２１ 電子出版物情報蓄積部 ２２ 閲覧出版物選択部 ２３ カメラ映像入力部 ２４ 閲覧位置計算部 ２５ 閲覧電子情報読出部 ２６ 表示デバイス書込部 1 Books for reading electronic publications 2 head mounted display 3 cameras 10 Electronic Publication Viewing Device 20 Marker placement information storage unit 21 Electronic Publication Information Storage 22 Browse publication selection section 23 Camera image input section 24 Viewing position calculator 25 Reading electronic information reading section 26 Display device writing section
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ２００ Ｇ０６Ｔ 1/00 ２００Ｅ ５Ｃ０８０ 11/80 11/80 Ｅ Ｇ０９Ｇ 3/20 ６８０ Ｇ０９Ｇ 3/20 ６８０Ａ Ｈ０４Ｎ 5/765 Ｈ０４Ｎ 7/18 Ｒ 5/91 5/91 Ｚ 7/18 Ｌ Ｆターム(参考） 5B050 FA02 FA09 GA08 5B072 CC21 MM11 5B075 KK07 ND04 ND20 ND22 ND34 PP04 PP12 PP22 PQ02 PQ54 PR01 QS03 UU11 5C053 FA09 HA22 HA29 JA16 KA04 KA24 LA02 5C054 AA01 CD03 CG02 CH02 EA01 EA05 EA07 ED07 FC12 FD03 GB15 GD03 HA16 5C080 AA18 BB05 DD13 DD21 EE01 EE17 GG07 JJ01 JJ02 JJ07 KK52 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) G06T 1/00 200 G06T 1/00 200E 5C080 11/80 11/80 E G09G 3/20 680 G09G 3/20 680A H04N 5/765 H04N 7/18 R 5/91 5/91 Z 7/18 LF Term (reference) 5B050 FA02 FA09 GA08 5B072 CC21 MM11 5B075 KK07 ND04 ND20 ND22 ND34 PP04 PP12 PP22 PQ02 PQ54 PR01 QS03 UU11C05 FA22 HA05C05 HA29 JA16 KA04 KA24 LA02 5C054 AA01 CD03 CG02 CH02 EA01 EA05 EA07 ED07 FC12 FD03 GB15 GD03 HA16 5C080 AA18 BB05 DD13 DD21 EE01 EE17 GG07 JJ01 JJ02 JJ07 KK52
Claims (9)
法であって、 電子出版物のページ及びページ内位置を特定可能にする
マーカを記載する電子出版物閲覧用書籍を読取対象とし
て、ヘッドマウントディスプレイに取り付けられるカメ
ラを使って閲覧位置に対応付けられるマーカを読み取る
過程と、 上記読み取ったマーカに基づいて、閲覧中のページを特
定する過程と、 上記読み取ったマーカの映像情報とそのマーカの配置情
報とに基づいて、閲覧中のページ内位置を特定する過程
と、 上記特定したページ及びページ内位置の指す電子出版物
の情報を取得する過程と、 上記取得した電子出版物の情報をヘッドマウントディス
プレイに表示する過程とを備えることを、 特徴とする電子出版物閲覧方法。1. An electronic publication browsing method for browsing an electronic publication, wherein a head for an electronic publication browsing book that describes a page of the electronic publication and a marker that enables the position within the page to be read is read. The process of reading the marker associated with the browsing position using the camera attached to the mount display, the process of identifying the page being browsed based on the read marker, the image information of the read marker and the marker information Based on the arrangement information, a process of identifying the position within the page being browsed, a process of acquiring information about the specified page and the electronic publication indicated by the position within the page, and a head of the acquired information of the electronic publication. A method for viewing an electronic publication, comprising: displaying on a mount display.
いて、 上記ページ内位置を特定する過程では、上記読み取った
マーカの映像情報とそのマーカの配置情報とに基づい
て、上記カメラの姿勢情報を検出することで閲覧中のペ
ージ内位置を特定することを、 特徴とする電子出版物閲覧方法。2. The electronic publication browsing method according to claim 1, wherein in the step of identifying the position within the page, the posture information of the camera is based on the read image information of the marker and the arrangement information of the marker. An electronic publication browsing method characterized by identifying the position on the page being browsed by detecting the.
いて、 上記ページ内位置を特定する過程では、上記読み取った
マーカの映像情報とそのマーカの配置情報とに基づい
て、上記カメラの姿勢情報を検出することで閲覧中のペ
ージ内位置を特定し、 上記表示する過程では、上記姿勢情報に従って、上記取
得した電子出版物の情報を上記カメラから見た形態に変
換して、それをヘッドマウントディスプレイに表示する
ことを、 特徴とする電子出版物閲覧方法。3. The electronic publication browsing method according to claim 1, wherein in the step of identifying the position within the page, the posture information of the camera is obtained based on the read image information of the marker and arrangement information of the marker. The position of the page being browsed is detected by detecting, and in the process of displaying, the information of the acquired electronic publication is converted into a form viewed from the camera according to the posture information, and the head mounted it. A method of viewing electronic publications, characterized by displaying on a display.
置であって、 カメラの取り付けられたヘッドマウントディスプレイ
と、 電子出版物のページ及びページ内位置を特定可能にする
マーカを記載する電子出版物閲覧用書籍を読取対象とし
て、上記カメラを使って閲覧位置に対応付けられるマー
カを読み取り、その読み取ったマーカに基づいて、閲覧
中のページを特定するとともに、その読み取ったマーカ
の映像情報とそのマーカの配置情報とに基づいて、閲覧
中のページ内位置を特定し、その特定したページ及びペ
ージ内位置の指す電子出版物の情報を取得してヘッドマ
ウントディスプレイに表示する閲覧手段とを備えること
を、 特徴とする電子出版物閲覧装置。4. An electronic publication viewing device for viewing electronic publications, comprising: a head mounted display with a camera attached thereto; and a electronic publication, which includes a page and a marker for identifying a position within the electronic publication. Using the camera as a reading target to read an object browsing book, a marker associated with the browsing position is read, based on the read marker, the page being browsed is specified, and image information of the read marker and its A browsing unit that identifies the position in the page being browsed based on the marker arrangement information, acquires the information of the identified page and the electronic publication pointed to by the identified position in the page, and displays the information on the head-mounted display. An electronic publication browsing device characterized by:
いて、 上記閲覧手段は、上記読み取ったマーカの映像情報とそ
のマーカの配置情報とに基づいて、上記カメラの姿勢情
報を検出することで閲覧中のページ内位置を特定するこ
とを、 特徴とする電子出版物閲覧装置。5. The electronic publication browsing device according to claim 4, wherein the browsing unit detects posture information of the camera based on the read image information of the marker and arrangement information of the marker. An electronic publication browsing device characterized by identifying the position within a page being browsed.
いて、 上記閲覧手段は、上記読み取ったマーカの映像情報とそ
のマーカの配置情報とに基づいて、上記カメラの姿勢情
報を検出することで閲覧中のページ内位置を特定し、そ
の検出した姿勢情報に従って、上記取得した電子出版物
の情報を上記カメラから見た形態に変換して、それをヘ
ッドマウントディスプレイに表示することを、 特徴とする電子出版物閲覧装置。6. The electronic publication browsing device according to claim 5, wherein the browsing means detects the posture information of the camera based on the read image information of the marker and the arrangement information of the marker. The position within the page being browsed is specified, the information of the acquired electronic publication is converted into a form viewed from the camera according to the detected posture information, and the converted information is displayed on the head mounted display. An electronic publication browsing device.
らるカメラを使って閲覧位置に対応付けられるマーカを
読み取り、その読み取ったマーカに基づいて、閲覧中の
ページを特定するとともに、その読み取ったマーカの映
像情報とそのマーカの配置情報とに基づいて、閲覧中の
ページ内位置を特定し、その特定したページ及びページ
内位置の指す電子出版物の情報を取得してヘッドマウン
トディスプレイに表示する処理を行う電子出版物閲覧方
法で用いられる電子出版物閲覧用書籍であって、 各ページに、電子出版物のページ及びページ内位置を特
定可能にする１つ又は複数のマーカが記載されるように
構成されることを、 特徴とする電子出版物閲覧用書籍。7. A marker attached to a browsing position is read using a camera attached to a head mounted display, a page being browsed is specified based on the read marker, and image information of the read marker is read. An electronic device that specifies the position within the page being browsed based on the position information of the marker and the marker, acquires information about the specified page and the electronic publication pointed to by the specified position within the page, and displays the information on the head-mounted display. An electronic publication reading book used in a publication reading method, wherein each page has one or more markers for identifying a page of the electronic publication and a position within the page. A book for viewing electronic publications, which is characterized by that.
の電子出版物閲覧方法の実現に用いられる処理をコンピ
ュータに実行させるための電子出版物閲覧プログラム。8. An electronic publication browsing program for causing a computer to execute the process used to realize the electronic publication browsing method according to claim 1. Description:
の電子出版物閲覧方法の実現に用いられる処理をコンピ
ュータに実行させるためのプログラムを記録した電子出
版物閲覧プログラムの記録媒体。9. A recording medium for an electronic publication browsing program, which records a program for causing a computer to execute the process used for realizing the electronic publication browsing method according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001351125A JP3993423B2 (en) | 2001-11-16 | 2001-11-16 | Electronic publication browsing apparatus, electronic publication browsing program, and computer-readable recording medium recording the program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001351125A JP3993423B2 (en) | 2001-11-16 | 2001-11-16 | Electronic publication browsing apparatus, electronic publication browsing program, and computer-readable recording medium recording the program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003150599A true JP2003150599A (en) | 2003-05-23 |
| JP3993423B2 JP3993423B2 (en) | 2007-10-17 |
Family
ID=19163483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001351125A Expired - Fee Related JP3993423B2 (en) | 2001-11-16 | 2001-11-16 | Electronic publication browsing apparatus, electronic publication browsing program, and computer-readable recording medium recording the program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3993423B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008052403A (en) * | 2006-08-23 | 2008-03-06 | Univ Of Tokyo | Pattern with coded two-dimensional location information and location identification system and method using the pattern |
| JP4764957B1 (en) * | 2011-03-31 | 2011-09-07 | 株式会社Ｃｓｋ | Electronic book browsing apparatus and electronic book browsing program |
| WO2011161937A1 (en) * | 2010-06-24 | 2011-12-29 | パナソニック株式会社 | Electronic publication browsing device, electronic publication browsing method, program, and integrated circuit |
| JP2012048456A (en) * | 2010-08-26 | 2012-03-08 | Canon Inc | Information processing unit and method thereof |
| JP2014106618A (en) * | 2012-11-26 | 2014-06-09 | Usac System Kk | Server device, terminal equipment, ar content providing method, and program |
| CN108027694A (en) * | 2015-09-04 | 2018-05-11 | 史克威尔·艾尼克斯有限公司 | Program, recording medium, content providing device and control method |
| US10509545B2 (en) | 2016-12-05 | 2019-12-17 | Fuji Xerox Co., Ltd. | Browsing control system and browsing device |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2012049795A1 (en) * | 2010-10-12 | 2014-02-24 | パナソニック株式会社 | Display processing apparatus, display method, and program |
| JP2016045723A (en) * | 2014-08-22 | 2016-04-04 | 株式会社ニコン | Electronic apparatus |
-
2001
- 2001-11-16 JP JP2001351125A patent/JP3993423B2/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008052403A (en) * | 2006-08-23 | 2008-03-06 | Univ Of Tokyo | Pattern with coded two-dimensional location information and location identification system and method using the pattern |
| WO2011161937A1 (en) * | 2010-06-24 | 2011-12-29 | パナソニック株式会社 | Electronic publication browsing device, electronic publication browsing method, program, and integrated circuit |
| CN102483691A (en) * | 2010-06-24 | 2012-05-30 | 松下电器产业株式会社 | Electronic publication browsing device, electronic publication browsing method, program, and integrated circuit |
| CN102483691B (en) * | 2010-06-24 | 2016-06-29 | 松下电器（美国）知识产权公司 | Electronic publication browsing apparatus, electronic publication browsing method and integrated circuit |
| JP2012048456A (en) * | 2010-08-26 | 2012-03-08 | Canon Inc | Information processing unit and method thereof |
| US8797355B2 (en) | 2010-08-26 | 2014-08-05 | Canon Kabushiki Kaisha | Information processing device and method of processing information |
| JP4764957B1 (en) * | 2011-03-31 | 2011-09-07 | 株式会社Ｃｓｋ | Electronic book browsing apparatus and electronic book browsing program |
| JP2014106618A (en) * | 2012-11-26 | 2014-06-09 | Usac System Kk | Server device, terminal equipment, ar content providing method, and program |
| CN108027694A (en) * | 2015-09-04 | 2018-05-11 | 史克威尔·艾尼克斯有限公司 | Program, recording medium, content providing device and control method |
| EP3346375A4 (en) * | 2015-09-04 | 2019-04-17 | Square Enix Co., Ltd. | Program, recording medium, content provision device, and control method |
| CN108027694B (en) * | 2015-09-04 | 2021-12-28 | 史克威尔·艾尼克斯有限公司 | Recording medium, content providing apparatus, and control method |
| US10509545B2 (en) | 2016-12-05 | 2019-12-17 | Fuji Xerox Co., Ltd. | Browsing control system and browsing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3993423B2 (en) | 2007-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7231306B2 (en) | Method, Apparatus and System for Automatically Annotating Target Objects in Images | |
| Rekimoto | Matrix: A realtime object identification and registration method for augmented reality | |
| JP4512584B2 (en) | Panorama video providing method and apparatus with improved image matching speed and blending method | |
| JP4508049B2 (en) | 360 ° image capturing device | |
| US7730406B2 (en) | Image processing system and method | |
| EP2396767B1 (en) | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment | |
| EP1887523A2 (en) | Image-processing apparatus and method | |
| JP2005250950A (en) | Marker presentation portable terminal, expanded sense of reality system, and its operation method | |
| KR20190125526A (en) | Method and apparatus for displaying an image based on user motion information | |
| US11044398B2 (en) | Panoramic light field capture, processing, and display | |
| JP2016212784A (en) | Image processing apparatus and image processing method | |
| JP2003150599A (en) | Electronic publication browsing method and device therefor, book for electronic publication browsing, electronic publication browsing program and recording medium program with the program recorded thereon | |
| JP4137923B2 (en) | Image display method and apparatus | |
| JP2013171522A (en) | System and method of computer graphics image processing using ar technology | |
| CN112912936A (en) | Mixed reality system, program, mobile terminal device, and method | |
| Ha et al. | Embedded panoramic mosaic system using auto-shot interface | |
| CN112560867A (en) | Method, device, equipment and medium for correcting text image | |
| EP3177005B1 (en) | Display control system, display control device, display control method, and program | |
| CA2525514A1 (en) | Feature based caricaturing | |
| JP4007524B2 (en) | Image composition method and apparatus, and information recording medium | |
| JP6931267B2 (en) | A program, device and method for generating a display image obtained by transforming the original image based on the target image. | |
| da Silveira et al. | Omnidirectional visual computing: Foundations, challenges, and applications | |
| JP4703744B2 (en) | Content expression control device, content expression control system, reference object for content expression control, and content expression control program | |
| CN111429549B (en) | Route image generation method, device and storage medium | |
| JP7401245B2 (en) | Image synthesis device, control method and program for image synthesis device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070724 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070726 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |