JP2006072428A

JP2006072428A - Information superimposed display system

Info

Publication number: JP2006072428A
Application number: JP2004251469A
Authority: JP
Inventors: Hideki Osada; 英喜長田; Tetsuya Ishii; 哲也石井; Toru Nakamura; 透中村; Masako Okazaki; 理子岡崎; Kentaro Sekiyama; 健太郎関山; Takehiro Yoshida; 剛洋吉田; Takahiro Amauchi; 隆裕天内; Tokuyoshi Shimamoto; 篤義嶋本
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-08-31
Filing date: 2004-08-31
Publication date: 2006-03-16

Abstract

PROBLEM TO BE SOLVED: To provide an information superimposed display system for quickly and easily executing the superimposed display of information related with a printed matter on the real visual field of the printed matter. SOLUTION: This information superimposed display system is provided with an imaging part 104 for imaging a printed matter 110 under a digital block copy, an image recognition part 106 for specifying a printed matter 110 by image recognition, a printed matter information storage part 122 for storing electronic information and secondarily added printed matter information, an electronic information display part 101 for displaying the specified printed matter information and a semi-transparent optical element 102 for executing the superimposed display of the printed matter information. At least the imaging part 104 and the electronic information display part 101 and the semi-transparent optical element 102 are installed in a personal digital assistant 100. The printed matter information storage part 122 is installed in a computer 102 capable of communicating with the personal digital assistant 100. The image recognizing part 106 is installed in either the personal digital assistant 100 or the computer 120. COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、情報重畳表示システムに関し、特に印刷された媒体やプリントされた媒体に関する情報を重畳的に表示するシステムに関する。 The present invention relates to an information superimposing display system, and more particularly to a system for displaying information on a printed medium or a printed medium in a superimposed manner.

近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使う情報端末は、パソコンに限られず、例えば携帯電話等も用いることができる。 In recent years, a network society in which one person uses a plurality of computers, a so-called ubiquitous network society has been proposed. In the ubiquitous network society, it is possible to realize an environment where information networks such as the Internet can be accessed anytime and anywhere. The information terminal used for such access is not limited to a personal computer, and for example, a mobile phone can be used.

また、携帯電話も通話とディスプレイ認識とを同時に行なえる表示機能付き携帯情報装置としての構成が提案されている（例えば、特許文献１参照。）。特許文献１に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。この表示機能付き携帯情報装置は、実視野の像に重畳させてデジタル情報を表示する、いわゆるシースルービュアー（ｓｅｅ−ｔｈｒｏｕｇｈｖｉｅｗｅｒ）として用いることができる。 In addition, a configuration as a portable information device with a display function capable of performing a call and display recognition at the same time has been proposed (for example, see Patent Document 1). In the configuration disclosed in Patent Document 1, a small display is enlarged and projected far away by a hologram element. Thereby, for example, display image information can be viewed while making a call. Further, a transmission image of a distant object can be simultaneously observed through the hologram element. This portable information device with a display function can be used as a so-called see-through viewer that displays digital information superimposed on an image of a real field of view.

特開２００１−３０８９９７号公報JP 2001-308997 A

紙媒体に印刷された書籍、地図、またはプリントされたデジタル写真等を見ることは、日常良く行なわれている。このような書籍、地図、写真等は、直接、人間が印刷またはプリントされている紙媒体等の物理的実体に触ることできる。このため、例えば、書籍の頁をめくる触感、いわゆるタンジブル（ｔａｎｇｉｂｌｅ）な感覚を認知できる。このようなタンジブルな感覚を介して情報を得ることは、人間にとって自然なことであり、非常に重要である。 It is common to see books, maps, or printed digital photographs printed on paper media. Such books, maps, photographs and the like can directly touch a physical entity such as a paper medium on which a human is printed or printed. For this reason, for example, a tactile sensation of turning a page of a book, a so-called tangible sensation, can be recognized. Obtaining information through such a tangible sense is natural for humans and is very important.

また、紙媒体に一旦印刷またはプリントされた情報は、その内容を更新することができない。このため、例えば、テーマパークの印刷された案内地図を見ているとき、乗り物の現在の混雑状況等をリアルタイムに得ることができない。 Further, the information once printed or printed on the paper medium cannot be updated. For this reason, for example, when looking at a printed guidance map of a theme park, it is impossible to obtain the current congestion status of the vehicle in real time.

上述したように表示機能付き携帯情報装置は、シースルービュアーとして用いることができる。従来技術の表示機能付き携帯情報装置では、単に、使用者がホログラム素子を透過して実視野の物体を観察するのみである。このとき、使用者が、観察している物体に関連する後発的に付加された情報、例えば最新情報をホログラム素子を介して表示させたいときがある。 As described above, the portable information device with a display function can be used as a see-through viewer. In the conventional portable information device with a display function, the user simply observes the object in the real field through the hologram element. At this time, there are times when the user wants to display information added later related to the object being observed, for example, the latest information via the hologram element.

しかしながら、従来技術の表示機能付き携帯情報装置は、観察している物体を認識する機能を有していない。この結果、使用者が、意図的に観察している物体に関連する画像情報を選択、検索しなければならない。このため、従来技術の表示機能付き携帯情報装置では、迅速、簡便に観察物体に関する後発的に付加された情報を得ることができずに問題である。 However, conventional portable information devices with a display function do not have a function of recognizing an object being observed. As a result, the user must select and retrieve image information related to the object that is intentionally observed. For this reason, in the portable information device with a display function of the prior art, it is a problem that information added later regarding the observation object cannot be obtained quickly and easily.

本発明は、上記に鑑みてなされたものであって、印刷物に関する情報を、迅速かつ簡便に、この印刷物の実視野に重畳的に表示できる情報重畳表示システムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an information superimposing display system capable of quickly and easily displaying information relating to a printed material in a real field of view of the printed material.

上述した課題を解決し、目的を達成するために、第１の本発明によれば、関連する電子情報を有する印刷物を撮像する撮像部と、撮像された印刷物を画像認識により特定する画像認識部と、電子情報と電子情報に対して後発的に付加された印刷物情報とを格納する印刷物情報格納部と、少なくとも特定された印刷物に関する印刷物情報を表示する電子情報表示部と、電子情報表示部に表示された印刷物情報を印刷物の実視野に重畳的に表示する半透過光学素子とを有し、少なくとも撮像部と電子情報表示部と半透過光学素子とは携帯情報端末に備えられ、印刷物情報格納部は、携帯情報端末と通信可能なコンピュータに備えられ、画像認識部は、携帯情報端末とコンピュータとのいずれか一方に備えられていることを有することを特徴とする情報重畳表示システムを提供できる。 In order to solve the above-described problems and achieve the object, according to the first aspect of the present invention, an image capturing unit that captures a printed material having related electronic information and an image recognition unit that identifies the imaged printed material by image recognition A printed material information storage unit that stores electronic information and printed material information added to the electronic information later, an electronic information display unit that displays at least printed material information related to the specified printed material, and an electronic information display unit. A semi-transmissive optical element that superimposes and displays the displayed printed matter information in the actual field of view of the printed matter. At least the imaging unit, the electronic information display unit, and the semi-transmissive optical element are provided in the portable information terminal and store the printed matter information. The unit is provided in a computer that can communicate with the portable information terminal, and the image recognition unit is provided in either the portable information terminal or the computer. It is possible to provide a broadcast superimposed display system.

また、本発明の好ましい態様によれば、印刷物は、印刷物情報格納部に格納されているデジタル版下に基づいて紙媒体に印刷された書籍物であり、印刷物情報格納部は、書籍物に関連するサーバーコンピュータ内に設けられていることが望ましい。 According to a preferred aspect of the present invention, the printed material is a book material printed on a paper medium based on a digital block stored in the printed material information storage unit, and the printed material information storage unit is related to the book material. It is desirable to be provided in the server computer.

また、本発明の好ましい態様によれば、画像認識部は、サーバーコンピュータ内に設けられていることが望ましい。 According to a preferred aspect of the present invention, it is desirable that the image recognition unit is provided in the server computer.

また、本発明の好ましい態様によれば、画像認識部は、携帯情報端末内に設けられていることが望ましい。 Moreover, according to a preferable aspect of the present invention, it is desirable that the image recognition unit is provided in the portable information terminal.

また、本発明の好ましい態様によれば、印刷物は、印刷物情報格納部に格納されている電子情報であるデジタルファイルに基づいて紙媒体に印刷されたデジタル写真であることが望ましい。 According to a preferred aspect of the present invention, it is desirable that the printed matter is a digital photograph printed on a paper medium based on a digital file that is electronic information stored in the printed matter information storage unit.

また、本発明の好ましい態様によれば、コンピュータは、電子情報と印刷物情報とに基づいて所定の演算処理を行なう演算部を有し、電子情報表示部は、演算された結果を表示することが望ましい。 Moreover, according to the preferable aspect of this invention, a computer has a calculating part which performs a predetermined calculation process based on electronic information and printed matter information, and an electronic information display part can display the calculated result. desirable.

また、本発明の好ましい態様によれば、画像認識部は、コンピュータ内に設けられていることが望ましい。 According to a preferred aspect of the present invention, it is desirable that the image recognition unit is provided in the computer.

また、本発明の好ましい態様によれば、コンピュータ内の印刷物情報格納部に格納されている印刷物情報は、コンピュータに接続されている入力装置またはコンピュータとは異なる他のコンピュータから書換え可能に構成されていることが望ましい。 Further, according to a preferred aspect of the present invention, the printed material information stored in the printed material information storage unit in the computer is configured to be rewritable from an input device connected to the computer or another computer different from the computer. It is desirable.

また、第２の本発明によれば、関連する電子情報を有する印刷物を撮像する撮像部と、撮像された印刷物を特定する情報を有する画像特定部と、画像特定部を認識して情報を再生する情報再生部と、電子情報と電子情報に対して後発的に付加された印刷物情報とを格納する印刷物情報格納部と、少なくとも特定された印刷物に関する印刷物情報を表示する電子情報表示部と、電子情報表示部に表示された印刷物情報を印刷物の実視野に重畳的に表示する半透過光学素子とを有し、少なくとも撮像部と電子情報表示部と半透過光学素子とは携帯情報端末に備えられ、印刷物情報格納部は、携帯情報端末と通信可能なコンピュータに備えられ、画像特定部は、印刷物に備えられていることを特徴とする情報重畳表示システムを提供できる。 In addition, according to the second aspect of the present invention, an image capturing unit that captures a printed matter having related electronic information, an image identifying unit that has information identifying the captured printed matter, and an image identifying unit that recognizes and reproduces information An information reproduction unit, a printed material information storage unit that stores electronic information and printed material information added later to the electronic information, an electronic information display unit that displays printed material information related to at least the specified printed material, and an electronic A transflective optical element that superimposes and displays the printed product information displayed on the information display unit in the actual field of view of the printed product, and at least the imaging unit, the electronic information display unit, and the transflective optical element are provided in the portable information terminal. The printed material information storage unit can be provided in a computer that can communicate with the portable information terminal, and the image specifying unit can be provided in the printed material.

また、本発明の好ましい態様によれば、画像特定部は、印刷物の内容を符号化したパターンを備えることが望ましい。 Moreover, according to the preferable aspect of this invention, it is desirable for an image specific part to be provided with the pattern which encoded the content of printed matter.

また、本発明の好ましい態様によれば、画像特定部は、印刷物の内容を格納しているＲＦＩＤを備えることが望ましい。 According to a preferred aspect of the present invention, it is desirable that the image specifying unit includes an RFID storing the contents of the printed matter.

第１の本発明の構成において、情報重畳表示システムの使用者は、携帯情報端末の半透過光学素子を透過して印刷物を観察する。ここで、「印刷物」とは、関連する電子情報に基づいて紙媒体に印刷、プリントされた書籍、地図、デジタル写真等をいう。なお、印刷物は、紙媒体に限られず、これに類似する媒体、例えば、樹脂シート、金属シート等に印刷されたものでも良い。また、撮像部は、使用者が観察している印刷物を撮像する。画像認識部は、撮像された印刷物に対して、パターンマッチング等の画像処理を行って画像認識を行なう。これにより、印刷物の内容を特定できる。次に、印刷物情報格納部に格納されている印刷物情報のうち、特定された印刷物に関する印刷物情報が取得される。電子情報表示部は、取得された印刷物情報を表示する。そして、半透過光学素子は、電子情報表示部に表示された印刷物情報を印刷物の実視野に重畳的に表示する。この結果、観察している実視野の印刷物に重畳して、後発的に付加された最新の印刷物情報を表示できる。このため、使用者が、意図的に観察している物体に関連する画像情報を選択、検索する必要がない。このように、使用者は、観察している印刷物に関する印刷物情報を、迅速かつ簡便に得ることができる。 In the configuration of the first aspect of the present invention, the user of the information superimposing display system observes the printed matter through the transflective optical element of the portable information terminal. Here, the “printed material” refers to a book, a map, a digital photograph, or the like printed and printed on a paper medium based on related electronic information. Note that the printed material is not limited to a paper medium, and may be printed on a similar medium such as a resin sheet or a metal sheet. The imaging unit captures an image of the printed material being observed by the user. The image recognition unit performs image recognition on the captured printed matter by performing image processing such as pattern matching. Thereby, the content of printed matter can be specified. Next, among the printed matter information stored in the printed matter information storage unit, printed matter information relating to the specified printed matter is acquired. The electronic information display unit displays the acquired printed material information. The transflective optical element superimposes and displays the printed material information displayed on the electronic information display unit in the actual field of the printed material. As a result, it is possible to display the latest printed material information added later, superimposed on the actual printed material being observed. For this reason, it is not necessary for the user to select and retrieve image information related to the object that is intentionally observed. In this way, the user can quickly and easily obtain printed material information regarding the printed material being observed.

また、第２の本発明では、印刷された書籍、地図、またはプリントされたデジタル写真は、印刷物自身を特定するための画像特定部を有している。画像特定部の例として、２次元パターンやＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎ）を用いることができる。２次元パターンには、この印刷物を特定するデータを記録させておく。撮像部は、印刷物と共に、画像特定部である２次元パターンを撮像する。これにより、パターンマッチング等を行なわないで、迅速に印刷物を特定できる。ＲＦＩＤの場合も同様に、ＲＦＩＤに印刷物を特定するデータを記録しておく。そして、ＲＦＩＤは、電波や電磁波で読み取り器と交信する。これにより、パターンマッチング等を行なわないで、迅速にデジタル写真を特定できる。このように、使用者は、観察している印刷物に関する印刷物情報を、迅速かつ簡便に得ることができる。この結果、観察している印刷物に重畳して、後発的に付加された最新の印刷物情報を表示できる。 In the second aspect of the present invention, a printed book, a map, or a printed digital photograph has an image specifying unit for specifying the printed matter itself. As an example of the image specifying unit, a two-dimensional pattern or RFID (Radio Frequency Identification) can be used. Data for specifying the printed matter is recorded in the two-dimensional pattern. An imaging part images the two-dimensional pattern which is an image specific part with printed matter. Thereby, it is possible to quickly specify a printed matter without performing pattern matching or the like. Similarly, in the case of RFID, data for specifying a printed matter is recorded in the RFID. The RFID communicates with the reader by radio waves or electromagnetic waves. Thereby, a digital photograph can be quickly identified without performing pattern matching or the like. In this way, the user can quickly and easily obtain printed material information regarding the printed material being observed. As a result, it is possible to display the latest printed matter information added later, superimposed on the observed printed matter.

このように、本発明に係る情報重畳表示システムによれば、印刷物に関する情報を、迅速かつ簡便に、この印刷物の実視野に重畳的に表示できるという効果を奏する。 As described above, according to the information superimposing display system according to the present invention, there is an effect that information regarding the printed matter can be displayed in a superimposed manner in the real field of view of the printed matter quickly and easily.

以下に、本発明に係る情報重畳表示システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Embodiments of an information superimposing display system according to the present invention will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.

図１は、本発明の実施例１に係る情報重畳表示システムの概略構成を示す図である。使用者ＯＢＳは、携帯情報端末１００を用いて印刷物１１０を観察する。印刷物１１０は書籍物、例えば、テーマパークの案内地図である。案内地図は、デジタル版下に基づいて紙媒体に印刷されている。このテーマパークの運営会社が、案内地図を印刷するための電子情報であるデジタル版下を有している。 FIG. 1 is a diagram illustrating a schematic configuration of an information superimposing display system according to Embodiment 1 of the present invention. The user OBS observes the printed material 110 using the portable information terminal 100. The printed material 110 is a book, for example, a guide map of a theme park. The guide map is printed on a paper medium based on a digital version. The management company of this theme park has a digital version which is electronic information for printing a guide map.

携帯情報端末１００は、撮像部１０４と、電子情報表示部１０１と、半透過光学素子１０２とを有する。撮像部１０４として、小型カメラを用いることができる。電子情報表示部１０１として、液晶表示パネルや有機ＥＬパネルを用いることができる。また、半透過光学素子１０２は、ホログラム素子を用いることができる。図２−１、図２−２は、携帯情報端末１００の斜視図である。半透過光学素子１０２は、印刷物１１０からの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された印刷物１１０に関する印刷物情報を印刷物１１０の実視野に重畳的に表示する。 The portable information terminal 100 includes an imaging unit 104, an electronic information display unit 101, and a transflective optical element 102. A small camera can be used as the imaging unit 104. As the electronic information display unit 101, a liquid crystal display panel or an organic EL panel can be used. The transflective optical element 102 can be a hologram element. 2A and 2B are perspective views of the portable information terminal 100. FIG. The transflective optical element 102 transmits light from the printed material 110 and reflects light from the electronic information display unit 101 toward the user OBS. Thereby, the transflective optical element 102 displays the printed matter information regarding the printed matter 110 displayed on the electronic information display unit 101 in a superimposed manner in the actual field of view of the printed matter 110.

図３−１は、携帯情報端末１００を上面からみた構成を示す。図３−２は、携帯情報端末１００の断面構成を示す。図３−３は、携帯情報端末１００を底面から見た構成を示す。図３−１、図３−３に示すように、撮像部１０４は、光学レンズと、撮像デバイスとから構成されている。撮像デバイスは、例えば２次元ＣＣＤを用いることができる。 FIG. 3A illustrates a configuration of the portable information terminal 100 as viewed from above. FIG. 3-2 illustrates a cross-sectional configuration of the portable information terminal 100. FIG. 3C shows a configuration of the portable information terminal 100 as viewed from the bottom. As illustrated in FIGS. 3A and 3B, the imaging unit 104 includes an optical lens and an imaging device. As the imaging device, for example, a two-dimensional CCD can be used.

また、図３−２に示すように、使用者ＯＢＳは、半透過光学素子１０２を透過して印刷物１１０を実視野で観察する。同時に、電子情報表示部１０１に表示された印刷物情報の像は、半透過光学素子１０２により使用者ＯＢＳの方向へ反射される。これにより、使用者ＯＢＳは、印刷物１１０を実視野で観察しつつ、重畳して印刷物情報を認識できる。 Also, as shown in FIG. 3B, the user OBS transmits the transflective optical element 102 and observes the printed material 110 in a real field of view. At the same time, the image of the printed matter information displayed on the electronic information display unit 101 is reflected by the transflective optical element 102 in the direction of the user OBS. Accordingly, the user OBS can recognize the printed material information by superimposing the printed material 110 while observing the printed material 110 in a real field of view.

図４は、印刷物情報を実視野に重畳して表示する手順を示すフローチャートである。また、図５は、本実施例に係る情報重畳表示システムの機能ブロック図である。まず、図４に基づいて手順を説明し、その後、図５の機能ブロックを説明する。図４のステップＳ４０１において、撮像部１０４は、印刷物１１０を撮像する。ステップＳ４０２において、パターンマッチング部１０５は、印刷物１１０の画像データに基づいてパターンマッチング処理を行なう。そして、ステップＳ４０２において、画像認識部１０６は、パターンマッチング結果に基づいて、印刷物１１０の内容を特定する。ステップＳ４０４において、印刷物情報格納部１２２に格納されている印刷物情報のうち、特定された印刷物１１０の印刷物情報が取得される。ステップＳ４０５において、取得された印刷物情報が電子情報表示部１０１に表示される。表示された印刷物情報は、半透過光学素子１０２により実視野に重畳的に表示される。 FIG. 4 is a flowchart showing a procedure for displaying the print information superimposed on the real field of view. FIG. 5 is a functional block diagram of the information superimposing display system according to the present embodiment. First, the procedure will be described with reference to FIG. 4, and then the functional blocks of FIG. 5 will be described. In step S 401 of FIG. 4, the imaging unit 104 images the printed material 110. In step S 402, the pattern matching unit 105 performs pattern matching processing based on the image data of the printed material 110. In step S402, the image recognition unit 106 identifies the content of the printed material 110 based on the pattern matching result. In step S404, the printed material information of the specified printed material 110 is acquired from the printed material information stored in the printed material information storage unit 122. In step S 405, the acquired printed material information is displayed on the electronic information display unit 101. The displayed printed matter information is displayed superimposed on the real field of view by the transflective optical element 102.

次に、図５を参照して、説明を続ける。図５において、携帯情報端末１００とサーバーコンピュータ１２０とは無線通信可能に構成されている。上述のように、サーバーコンピュータ１２０は、テーマパークの運営会社が管理している。撮像部１０４は、印刷物１１０を撮像する。そして、携帯情報端末１００の入出力部１０３は、サーバーコンピュータ１２０とのデータの送受信を行なう。撮像部１０４で撮像された印刷物１１０の画像データは、サーバーコンピュータ１２０へ送信される。 Next, the description will be continued with reference to FIG. In FIG. 5, the portable information terminal 100 and the server computer 120 are configured to be capable of wireless communication. As described above, the server computer 120 is managed by the theme park operating company. The imaging unit 104 images the printed material 110. The input / output unit 103 of the portable information terminal 100 transmits / receives data to / from the server computer 120. The image data of the printed material 110 captured by the imaging unit 104 is transmitted to the server computer 120.

サーバーコンピュータ１２０は、パターンマッチング部１０５と、画像認識部１０６と、印刷物情報格納部１２２とを有する。印刷物情報格納部１２２は、さらに、デジタル版下１２３と、版下用情報データベース１２４と、最新情報データベース１２５とから構成されている。パターンマッチング部１０５は、印刷物１１０の画像データに基づいてパターンマッチング処理を行なう。画像認識部１０６は、パターンマッチングの結果に基づいて、印刷物１１０の内容を特定する。 The server computer 120 includes a pattern matching unit 105, an image recognition unit 106, and a printed material information storage unit 122. The printed material information storage unit 122 further includes a digital block 123, a block information database 124, and a latest information database 125. The pattern matching unit 105 performs pattern matching processing based on the image data of the printed material 110. The image recognition unit 106 identifies the content of the printed material 110 based on the pattern matching result.

テーマパークの運営会社は、このテーマパークの案内地図に加えて、その他の多くの書籍、地図等を紙媒体に印刷して発行する。デジタル版下１２３は、このように発行される版下が電子情報として格納されているデータベースである。また、版下用情報データベース１２４は、デジタル版下１２３を管理するための電子情報が格納されている。さらに、最新情報データベース１２５には、電子情報に対して後発的に付加された印刷物情報が格納されている。具体的には、最新情報データベース１２５には、例えばテーマパークの現在の日時における情報がリアルタイムで更新されて格納されている。 The theme park operating company prints and publishes many other books, maps, etc. on a paper medium in addition to this theme park guide map. The digital artwork 123 is a database in which the edition issued in this way is stored as electronic information. In addition, the composition information database 124 stores electronic information for managing the digital composition 123. Further, the latest information database 125 stores printed material information added later to the electronic information. Specifically, in the latest information database 125, for example, information on the current date and time of the theme park is updated and stored in real time.

本実施例では、サーバーコンピュータ１２０が、パターンマッチング部１０５と画像認識部１０６とを備えている。一般に、デジタル版下１２３により発行される書籍、地図等は、非常に数量が多い。特に、大規模なテーマパークになると、デジタル版下１２３と版下用情報データベース１２４とに格納されている情報は、数百〜数万種に及ぶこともある。この場合、撮像部１０４で撮像した印刷物１１０を画像認識により特定する際に非常に大量の電子情報データを参照して比較する必要がある。本実施例では、画像認識部１０６がサーバーコンピュータ１２０内に設けられている。大容量の電子情報を管理するサーバーコンピュータ１２０は、高速な処理速度を有している。サーバーコンピュータ１２０内の画像認識部１０６は、デジタル版下１２３と版下用情報データベース１２４とに格納されている複数の電子情報を参照する。そして、画像認識部１０６は、撮像部１０４で撮像された画像データと一致するデータをデジタル版下１２３と版下用情報データベース１２４とで検索する。これにより、高効率で印刷物１１０を特定できる。 In this embodiment, the server computer 120 includes a pattern matching unit 105 and an image recognition unit 106. In general, books, maps, and the like issued by the digital version 123 are very large. In particular, in a large-scale theme park, the information stored in the digital version 123 and the version information database 124 may range from hundreds to tens of thousands of types. In this case, when specifying the printed material 110 imaged by the imaging unit 104 by image recognition, it is necessary to refer to and compare a very large amount of electronic information data. In this embodiment, the image recognition unit 106 is provided in the server computer 120. The server computer 120 that manages a large amount of electronic information has a high processing speed. The image recognition unit 106 in the server computer 120 refers to a plurality of pieces of electronic information stored in the digital version 123 and the form information database 124. Then, the image recognition unit 106 searches the digital block 123 and the block information database 124 for data that matches the image data captured by the image capturing unit 104. Thereby, the printed material 110 can be specified with high efficiency.

次に、特定された印刷物１１０に対応する最新の印刷物情報が最新情報データベース１２５から取得される。取得される最新の印刷物情報は、例えば、テーマパーク内の乗り物の現在の待ち時間（混雑状況）や、テーマパーク内で当日に開催されるイベントの開催場所や開催時間等である。取得された最新の印刷物情報は、入出力部１０３を介して、携帯情報端末１００へ無線で送られる。 Next, the latest printed matter information corresponding to the specified printed matter 110 is acquired from the latest information database 125. The latest print information acquired is, for example, the current waiting time (congestion status) of the vehicles in the theme park, the location and time of the event held on the day in the theme park, and the like. The acquired latest printed matter information is wirelessly sent to the portable information terminal 100 via the input / output unit 103.

携帯情報端末１０７の表示情報決定部１０７は、最新の印刷物情報のうち、使用者ＯＢＳが必要とする情報を選択、決定する。例えば、使用者ＯＢＳは、携帯情報端末１００に対して、テーマパーク内の大人用の乗り物に関する情報を知りたいことを入力しておく。入力方法は、携帯情報端末のテンキー（不図示）による方法、操作ボタン（不図示）による方法などがある。 The display information determination unit 107 of the portable information terminal 107 selects and determines information required by the user OBS from the latest printed matter information. For example, the user OBS inputs to the portable information terminal 100 that he / she wants to know information related to an adult vehicle in the theme park. The input method includes a method using a numeric keypad (not shown) of a portable information terminal, a method using an operation button (not shown), and the like.

また、使用者ＯＢＳが注視している印刷物１１０上の位置に設けられている乗り物の情報を選択するように構成することもできる。例えば、視線検出技術を用いて、使用者ＯＢＳが注視している印刷物１１０上の注視点位置を検出する。上述の画像認識結果と注視点位置とから、使用者ＯＢＳが意図的に見ている部分が判別できる。この結果、注視点位置及びその近傍に設けられている施設、例えば乗り物、レストラン、休憩所等の最新情報を表示できる。 In addition, the vehicle information provided at the position on the printed material 110 that the user OBS is gazing at may be selected. For example, the gaze point position on the printed material 110 that the user OBS is gazing at is detected using a gaze detection technique. From the above-described image recognition result and gazing point position, the part that the user OBS is intentionally looking at can be determined. As a result, it is possible to display the latest information on the position of the point of interest and the facilities provided in the vicinity thereof, such as a vehicle, a restaurant, and a resting place.

電子情報表示部１０１は、決定された印刷物情報を表示する。表示された印刷物情報の像は、半透過光学素子１０２により使用者ＯＢＳの方向へ反射される。使用者ＯＢＳは、印刷物１１０を実視野で観察しながら、重畳して最新の情報を認識できる。このように、本実施例によれば、観察している実視野の印刷物１１０に重畳して、後発的に付加された最新の印刷物情報を表示できる。例えば、図１に示すように、テーマパークの案内地図を見ながら、「乗り物Ａ：５分待ち」及び「乗り物Ｂ：１５分待ち」というリアルタイムの文字情報が重畳的に表示される。このため、使用者ＯＢＳが、意図的に観察している物体に関連する画像情報を選択、検索する必要がない。このように、使用者ＯＢＳは、観察している印刷物１１０に関する印刷物情報を、迅速かつ簡便に得ることができる。 The electronic information display unit 101 displays the determined printed matter information. The displayed image of printed matter information is reflected by the transflective optical element 102 toward the user OBS. The user OBS can recognize the latest information by superimposing the printed material 110 while observing the printed material 110 in a real field of view. As described above, according to the present embodiment, it is possible to display the latest printed matter information added later, superimposed on the printed matter 110 in the real field of view. For example, as shown in FIG. 1, real-time character information “Vehicle A: Wait for 5 minutes” and “Vehicle B: Wait for 15 minutes” is displayed in a superimposed manner while viewing the guidance map of the theme park. For this reason, it is not necessary for the user OBS to select and search image information related to the object that is intentionally observed. As described above, the user OBS can quickly and easily obtain the printed material information regarding the printed material 110 being observed.

図６は、本発明の実施例２に係る情報重畳表示システムの機能ブロック図である。本実施例では、携帯情報端末２００がパターンマッチング部１０５と画像認識部１０６とを備えている点が上記実施例１と異なる。上記実施例１と同一の部分には同一の符号を付し、重複する説明は省略する。 FIG. 6 is a functional block diagram of the information overlay display system according to the second embodiment of the present invention. This embodiment is different from the first embodiment in that the portable information terminal 200 includes a pattern matching unit 105 and an image recognition unit 106. The same parts as those in the first embodiment are denoted by the same reference numerals, and redundant description is omitted.

上記実施例１では、テーマパークの運営会社が有しているサーバーコンピュータ１２０が大容量のデータベースを参照しながら、パターンマッチングと画像認識を行なっている。これに対して、画像認識するときに、参照、比較する電子情報の数が比較的少ないときもある。このときは、本実施例のように、パターンマッチング部１０５と画像認識部１０６とを携帯情報端末２００内に設けておく。携帯情報端末２００と、サーバーコンピュータ２２０とは、無線通信可能に構成されている。 In the first embodiment, the server computer 120 owned by the theme park operating company performs pattern matching and image recognition while referring to a large-capacity database. On the other hand, when recognizing an image, the number of electronic information to be referred to and compared may be relatively small. At this time, the pattern matching unit 105 and the image recognition unit 106 are provided in the portable information terminal 200 as in this embodiment. The portable information terminal 200 and the server computer 220 are configured to be capable of wireless communication.

サーバーコンピュータ２２０が備えているデジタル版下１２３と版下用情報データベース１２４とは、記憶容量が実施例１のサーバーコンピュータ１２０に比較して小さい。即ち、格納されているデジタル版下の種類が比較的少ない。このときは、パターンマッチングによる画像認識処理を行なう演算処理速度は、実施例１のような高速度なＣＰＵを用いる必要はない。 The digital block 123 and the block information database 124 included in the server computer 220 have a smaller storage capacity than the server computer 120 of the first embodiment. That is, there are relatively few types of stored digital versions. At this time, it is not necessary to use a high-speed CPU as in the first embodiment for the calculation processing speed for performing image recognition processing by pattern matching.

そこで、本実施例のように、携帯情報端末２００がパターンマッチング部１０５と画像認識部１０６を備えるように構成する。これにより、携帯情報端末２００側で効率良く画像認識により印刷物１１０を特定できる。 Therefore, as in the present embodiment, the portable information terminal 200 is configured to include the pattern matching unit 105 and the image recognition unit 106. Thereby, the printed matter 110 can be identified by the image recognition efficiently on the portable information terminal 200 side.

図７は、本発明の実施例３に係る情報重畳表示システムの概略構成を示す図である。使用者ＯＢＳは、携帯情報端末３００を用いて印刷物１１０を観察する。印刷物１１０は、上記実施例１、実施例２と同様に、テーマパークの案内地図である。案内地図は、デジタル版下に基づいて紙媒体に印刷されている。このテーマパークの運営会社が、案内地図を印刷するための電子情報であるデジタル版下を有している。なお、上記各実施例と同一の部分には、同一の符号を付し、重複する説明は省略する。 FIG. 7 is a diagram illustrating a schematic configuration of the information superimposing display system according to the third embodiment of the present invention. The user OBS observes the printed material 110 using the portable information terminal 300. The printed material 110 is a guide map of a theme park as in the first and second embodiments. The guide map is printed on a paper medium based on a digital version. The management company of this theme park has a digital version which is electronic information for printing a guide map. In addition, the same code | symbol is attached | subjected to the part same as said each Example, and the overlapping description is abbreviate | omitted.

本実施例では、印刷物１１０が画像特定部１１１を備えている。画像特定部１１１は、撮像部１０４で撮像された印刷物１１０を特定する情報を備えている。画像特定部１１１は、印刷物１１０の内容を符号化したパターン、例えば２次元パターンを用いることができる。２次元パターンには、このテーマパークの案内地図を特定するデータを記録しておく。 In the present embodiment, the printed material 110 includes an image specifying unit 111. The image specifying unit 111 includes information for specifying the printed material 110 imaged by the imaging unit 104. The image specifying unit 111 can use a pattern obtained by encoding the content of the printed material 110, for example, a two-dimensional pattern. In the two-dimensional pattern, data specifying the theme park guide map is recorded.

図８は、本実施例の情報重畳表示システムの機能ブロック図である。撮像部１０４は、印刷物１１０と共に、画像特定部１１１である２次元パターンを撮像する。携帯情報端末３００は、情報再生部８０１を備えている。情報再生部８０１は、撮像された画像特定部１１１の符号化されたパターンに基づいて、パターンの情報を再生する。これにより、パターンマッチング等を行なわないで、迅速にテーマパークの案内地図を特定できる。 FIG. 8 is a functional block diagram of the information superimposed display system of the present embodiment. The imaging unit 104 images a two-dimensional pattern that is the image specifying unit 111 together with the printed material 110. The portable information terminal 300 includes an information reproducing unit 801. The information reproducing unit 801 reproduces pattern information based on the encoded pattern of the captured image specifying unit 111. Thereby, the guidance map of the theme park can be quickly identified without performing pattern matching or the like.

特定された印刷物１１０に関する最新の印刷物情報が、サーバーコンピュータ１２０内の最新情報データベース１２５から取得される。取得された最新の印刷物情報は、無線通信により、携帯情報端末３００へ送信される。携帯情報端末３００は、受信した最新の印刷物情報を入出力部１０３を介して、表示情報決定部１０７へ送る。そして、上記実施例１と同様に、印刷物１１０の実視野に重畳して印刷物情報が表示される。このように、本実施例によれば、使用者ＯＢＳは、観察している印刷物１１０に関する印刷物情報を、迅速かつ簡便に得ることができる。この結果、観察している印刷物１１０に重畳して、後発的に付加された最新の印刷物情報を表示できる。 The latest printed matter information regarding the specified printed matter 110 is acquired from the latest information database 125 in the server computer 120. The acquired latest printed matter information is transmitted to the portable information terminal 300 by wireless communication. The portable information terminal 300 sends the received latest printed matter information to the display information determination unit 107 via the input / output unit 103. As in the first embodiment, the printed material information is displayed so as to be superimposed on the actual field of view of the printed material 110. As described above, according to the present embodiment, the user OBS can quickly and easily obtain the printed material information regarding the printed material 110 being observed. As a result, the latest printed matter information added later can be displayed in a superimposed manner on the observed printed matter 110.

また、画像特定部１１１として、ＲＦＩＤを用いることもできる。この場合は、ＲＦＩＤに案内地図を特定するデータを記録しておく。そして、ＲＦＩＤは、携帯情報端末３００内の読み取り器（不図示）と電波や電磁波で交信する。これにより、パターンマッチング等を行なわないで、迅速に案内地図を特定できる。ＲＦＩＤを用いるときは、パターンを読み取る必要がない。このため、印刷物１１０の裏側にＲＦＩＤを貼付しておけば良い。なお、情報再生部８０１は、サーバーコンピュータ１２０内に設けても良い。 In addition, an RFID can be used as the image specifying unit 111. In this case, data for specifying the guide map is recorded in the RFID. The RFID communicates with a reader (not shown) in the portable information terminal 300 using radio waves or electromagnetic waves. Thereby, a guidance map can be quickly identified without performing pattern matching or the like. When using RFID, there is no need to read the pattern. For this reason, RFID may be attached to the back side of the printed material 110. The information reproducing unit 801 may be provided in the server computer 120.

図９は、本発明の実施例４に係る情報重畳表示システムの概略構成を示す図である。本実施例において、使用者ＯＢＳが観察する印刷物４１０は、デジタル写真である。デジタル写真は、画像データベース４１３に格納されている電子情報であるデジタルファイルに基づいて紙媒体に印刷されている。上記各実施例１と同一の部分には、同一の符号を付し、重複する説明は省略する。 FIG. 9 is a diagram illustrating a schematic configuration of an information overlay display system according to the fourth embodiment of the present invention. In this embodiment, the printed material 410 observed by the user OBS is a digital photograph. The digital photograph is printed on a paper medium based on a digital file that is electronic information stored in the image database 413. The same parts as those in the first embodiment are denoted by the same reference numerals, and redundant description is omitted.

近年、デジタルカメラによる撮影者は、デジタル写真をデジタルファイルに基づいてパーソナルコンピュータにより管理することが多い。例えば、使用者ＯＢＳは、コンピュータ４２０を所有している。コンピュータ４２０には、ディスプレイ４２１と、キーボード４１６とが接続されている。携帯情報端末４００とコンピュータ４２０とは無線通信可能に構成されている。なお、無線通信に限られず、例えばＵＳＢケーブルを用いて携帯情報端末４００とコンピュータ４２０とを接続することもできる。 In recent years, a photographer using a digital camera often manages a digital photograph by a personal computer based on a digital file. For example, the user OBS owns the computer 420. A display 421 and a keyboard 416 are connected to the computer 420. The portable information terminal 400 and the computer 420 are configured to be capable of wireless communication. Note that the present invention is not limited to wireless communication, and the portable information terminal 400 and the computer 420 can be connected using, for example, a USB cable.

図１０は、本実施例の情報重畳表示システムの機能ブロック図である。デジタルカメラ４１５で撮影された画像のデジタルファイルは、画像データベース４１３に格納されている。使用者ＯＢＳは、コンピュータ４２０を操作し、プリントするデジタル写真のデジタルファイルを選択する。選択されたデジタルファイルの情報は、カラープリンタ４３０に出力される。カラープリンタ４３０は、選択されたデジタルファイルに応じたデジタル写真をシート紙にプリントする。 FIG. 10 is a functional block diagram of the information superimposed display system of the present embodiment. A digital file of an image taken by the digital camera 415 is stored in the image database 413. The user OBS operates the computer 420 to select a digital file of a digital photograph to be printed. Information on the selected digital file is output to the color printer 430. The color printer 430 prints a digital photograph corresponding to the selected digital file on a sheet paper.

なお、デジタル写真は、街頭のプリント店舗において銀塩プリントして作成しても良い。このときは、画像データベース４１３内のデジタルファイルを外部記憶媒体に記憶する。外部記憶媒体は、ＣＤ、ＭＯディスク、ＤＶＤ、ＵＳＢメモリ、フレキシブルディスク等を用いることができる。そして、プリント店舗において、外部記憶媒体に基づいて、デジタル写真を銀塩プリントする。 The digital photograph may be created by silver salt printing at a street print store. At this time, the digital file in the image database 413 is stored in an external storage medium. As the external storage medium, a CD, an MO disk, a DVD, a USB memory, a flexible disk, or the like can be used. Then, at the print store, the digital photograph is silver-salt-printed based on the external storage medium.

使用者ＯＢＳは、携帯情報端末４００を用いて、プリントされた印刷物４１０を観察する。撮像部１０４は、印刷物４１０を撮像する。そして、携帯情報端末４００の入出力部１０３は、コンピュータ４２０とのデータの送受信を行なう。撮像部１０４で撮像された印刷物１１０の画像データは、コンピュータ４２０へ送信される。 The user OBS observes the printed material 410 printed using the portable information terminal 400. The imaging unit 104 images the printed material 410. The input / output unit 103 of the portable information terminal 400 transmits / receives data to / from the computer 420. The image data of the printed material 110 captured by the imaging unit 104 is transmitted to the computer 420.

コンピュータ４２０は、パターンマッチング部１０５と、画像認識部１０６と、演算部４２４と、画像データベース４１３と、画像関連情報データベース４１４とを備えている。画像データベース４１３と、画像関連情報データベース４１４とで印刷物情報格納部１２２を構成する。パターンマッチング部１０５は、印刷物４１０の画像データに基づいてパターンマッチング処理を行なう。画像認識部１０６は、パターンマッチングの結果に基づいて、印刷物４１０の内容を特定する。 The computer 420 includes a pattern matching unit 105, an image recognition unit 106, a calculation unit 424, an image database 413, and an image related information database 414. The image database 413 and the image related information database 414 constitute a printed material information storage unit 122. The pattern matching unit 105 performs pattern matching processing based on the image data of the printed material 410. The image recognition unit 106 identifies the content of the printed material 410 based on the pattern matching result.

上述のように、印刷物情報格納部は、画像データベース４１３に加えて、画像関連情報データベース４１４を備えている。画像関連情報データベース４１４には、電子情報に対して後発的に付加された印刷物情報が格納されている。画像関連情報データベース４１４に格納されている印刷物情報は、コンピュータ４２０に接続されている入力装置、例えばキーボード４１６から書換え可能に構成されている。また、画像関連情報データベース４１４に格納されている印刷物情報は、コンピュータ４２０とは異なる他のコンピュータ４１８ａ、４１８ｂ、４１８ｃから書換え可能に構成されている。使用者ＯＢＳが所有するコンピュータ４２０と、他のコンピュータ４１８ａ、４１８ｂ、４１８ｃとは、例えばインターネット４１７や専用回線で接続されている。 As described above, the printed material information storage unit includes the image related information database 414 in addition to the image database 413. The image-related information database 414 stores printed material information added later to the electronic information. The printed material information stored in the image related information database 414 is configured to be rewritable from an input device such as a keyboard 416 connected to the computer 420. The printed material information stored in the image-related information database 414 is configured to be rewritable from other computers 418 a, 418 b, 418 c different from the computer 420. The computer 420 owned by the user OBS and the other computers 418a, 418b, 418c are connected by, for example, the Internet 417 or a dedicated line.

これにより、キーボード４１６により、このデジタル写真に関する最新情報を入力できる。また、インターネット４１７を介して、使用者ＯＢＳとは異なる他の人間が、このデジタル写真に関する最新情報や関連する情報を画像関連情報データベース４１４に書き込むことができる。例えば、デジタル写真の被写体である「光太郎」氏は、使用者ＯＢＳの友人であるとする。光太郎氏は、自らのコンピュータから、使用者ＯＢＳのコンピュータ４２０へインターネット４１７を介してアクセスする。そして、画像関連情報データベース４１４内へ、最新情報を書き込む。最新情報の例としては、光太郎氏の近況コメントや「今度、一緒に食事をしましょう」というメッセージを挙げることができる。 As a result, the latest information related to the digital photograph can be input using the keyboard 416. Also, another person different from the user OBS can write the latest information and related information regarding the digital photograph into the image related information database 414 via the Internet 417. For example, it is assumed that “Kotaro” who is the subject of the digital photograph is a friend of the user OBS. Mr. Kotaro accesses the computer 420 of the user OBS from his computer via the Internet 417. Then, the latest information is written into the image related information database 414. Examples of the latest information include Kotaro's recent comments and the message “Let's eat together next time”.

画像認識部１０６により印刷物４１０が特定される。そして、特定された印刷物４１０に関する最新の印刷物情報が画像関連情報データベース４１４から取得される。取得された最新の印刷物情報は、携帯情報端末４００へ出力される。携帯情報端末４００は、上述した各実施例と同様に、印刷物４１０の実視野に重畳して、後発的に付加された印刷物情報を表示する。この結果、使用者は、携帯情報端末により、デジタル写真を実視野で見ながら、重畳して、例えばデジタル写真に撮影されている人物の近況情報を認識できる。 The printed matter 410 is specified by the image recognition unit 106. Then, the latest printed material information regarding the specified printed material 410 is acquired from the image-related information database 414. The acquired latest printed matter information is output to the portable information terminal 400. As in the above-described embodiments, the portable information terminal 400 superimposes on the actual field of the printed material 410 and displays the printed material information added later. As a result, the user can recognize the recent status information of the person photographed in the digital photograph, for example, by superimposing the digital photograph while viewing the digital photograph in the real field of view.

また、本実施例では、画像認識部１０６は、コンピュータ４２０内に設けられている。デジタルファイルによりプリントされるデジタル写真は、数百〜数千種に及ぶこともある。この場合、撮像部１０４で撮像した印刷物４１０を画像認識により特定するときに大量の電子情報データ（デジタルファイル）を参照する必要がある。本実施例では、画像認識部１０６がコンピュータ４２０内に設けられている。このため、コンピュータ４２０が備えるＣＰＵにより高効率で印刷物４１０を特定できる。 In this embodiment, the image recognition unit 106 is provided in the computer 420. Digital photographs printed by digital files can range from hundreds to thousands. In this case, it is necessary to refer to a large amount of electronic information data (digital file) when specifying the printed material 410 imaged by the imaging unit 104 by image recognition. In this embodiment, the image recognition unit 106 is provided in the computer 420. For this reason, the printed matter 410 can be identified with high efficiency by the CPU of the computer 420.

また、コンピュータ４２０は、電子情報と印刷物情報とに基づいて所定の演算処理を行なう演算部４２４を有している。そして、電子情報表示部１０１は、演算された結果を表示する。デジタル写真を撮影したときに、例えば被写体である光太郎氏の年令、撮影日時等の電子情報は、画像データベース４１３に格納されている。例を挙げると、被写体の光太郎氏は、撮影時に２０才であるとする。このデジタル写真を、撮影時から１０年後に、使用者ＯＢＳが観察しているときを考える。演算部４２４は、デジタル写真を見ている現在の日時情報と、画像データベース４１３に格納されている電子情報のうち撮影日時とを比較する。そして、演算部４２４は、撮影日時から現在までに経過している年月数（本例の場合は、「１０年」）を演算する。そして、電子情報表示部１０１は、被写体の人物の現在の年令（２０才＋１０年＝３０才）を表示する。このように、携帯情報端末４００の使用者は、１０年前に撮影されたデジタル写真を実視野で見ながら、被写体の人物が現在３０才であるという印刷物情報を重畳的に認識できる。なお、演算部４２４は、被写体の年令に限られず、種々の数値演算を行なうことができる。演算部４２４が行なう演算処理の内容は、予めコンピュータ４２０に設定しておくことができる。 In addition, the computer 420 includes a calculation unit 424 that performs predetermined calculation processing based on electronic information and printed material information. Then, the electronic information display unit 101 displays the calculated result. When a digital photograph is taken, for example, electronic information such as the age of Mr. Kotaro who is the subject and the shooting date and time is stored in the image database 413. For example, suppose that the subject, Mr. Kotaro, is 20 years old at the time of shooting. Consider a case where the user OBS observes this digital photograph 10 years after the photographing. The calculation unit 424 compares the current date and time information when viewing the digital photograph with the shooting date and time among the electronic information stored in the image database 413. Then, the calculation unit 424 calculates the number of years that have passed since the shooting date and time (in this example, “10 years”). The electronic information display unit 101 displays the current age of the subject person (20 years + 10 years = 30 years). As described above, the user of the portable information terminal 400 can recognize the printed matter information that the subject person is currently 30 years old in a superimposed manner while viewing the digital photograph taken ten years ago in a real field of view. Note that the calculation unit 424 is not limited to the age of the subject, and can perform various numerical calculations. The contents of the arithmetic processing performed by the arithmetic unit 424 can be set in the computer 420 in advance.

図１１は、本発明の実施例５に係る情報重畳表示システムの機能ブロック図である。本実施例では、携帯情報端末５００がパターンマッチング部１０５と画像認識部１０６とを備えている点が上記実施例４と異なる。上記実施例４と同一の部分には同一の符号を付し、重複する説明は省略する。 FIG. 11 is a functional block diagram of the information overlay display system according to the fifth embodiment of the present invention. This embodiment is different from the fourth embodiment in that the portable information terminal 500 includes a pattern matching unit 105 and an image recognition unit 106. The same parts as those in the fourth embodiment are denoted by the same reference numerals, and redundant description is omitted.

上記実施例４では、使用者ＯＢＳが所有しているコンピュータ４２０が画像データベース４１３を参照しながら、パターンマッチングと画像認識を行なっている。これに対して、画像認識するときに、参照、比較する電子情報の数が比較的少ないときもある。このときは、パターンマッチングによる画像認識処理を行なう演算処理速度は、実施例４のような高速度なＣＰＵを用いる必要はない。このため、本実施例のように、パターンマッチング部１０５と画像認識部１０６とを携帯情報端末５００内に設けておく。これにより、携帯情報端末５００側で効率良く画像認識により印刷物１１０を特定できる。 In the fourth embodiment, the computer 420 owned by the user OBS performs pattern matching and image recognition while referring to the image database 413. On the other hand, when recognizing an image, the number of electronic information to be referred to and compared may be relatively small. At this time, it is not necessary to use a high-speed CPU as in the fourth embodiment for the calculation processing speed for performing image recognition processing by pattern matching. For this reason, the pattern matching unit 105 and the image recognition unit 106 are provided in the portable information terminal 500 as in this embodiment. Thereby, the printed matter 110 can be identified by image recognition efficiently on the portable information terminal 500 side.

図１２は、本発明の実施例６に係る情報重畳表示システムの概略構成を示す図である。使用者ＯＢＳは、携帯情報端末６００を用いて印刷物４１０を観察する。印刷物４１０は、上記実施例５と同様に、デジタル写真である。なお、上記各実施例と同一の部分には、同一の符号を付し、重複する説明は省略する。 FIG. 12 is a diagram illustrating a schematic configuration of an information superimposing display system according to Embodiment 6 of the present invention. The user OBS observes the printed material 410 using the portable information terminal 600. The printed material 410 is a digital photograph as in the fifth embodiment. In addition, the same code | symbol is attached | subjected to the part same as said each Example, and the overlapping description is abbreviate | omitted.

本実施例では、印刷物４１０が画像特定部４１１を備えている。画像特定部４１１は、撮像部１０４で撮像された印刷物４１０を特定する情報を備えている。画像特定部４１１は、印刷物４１０の内容を符号化したパターン、例えば２次元パターンを用いることができる。２次元パターンには、このデジタル写真を特定するデータを記録しておく。 In this embodiment, the printed matter 410 includes an image specifying unit 411. The image specifying unit 411 includes information for specifying the printed material 410 imaged by the imaging unit 104. The image specifying unit 411 can use a pattern obtained by encoding the content of the printed material 410, for example, a two-dimensional pattern. Data for specifying this digital photograph is recorded in the two-dimensional pattern.

図１２において、撮像部１０４は、印刷物４１０と共に、画像特定部４１１である２次元パターンを撮像する。携帯情報端末６００は、情報再生部８０１を備えている。情報再生部８０１は、撮像された画像特定部４１１の符号化されたパターンに基づいて、パターンの情報を再生する。これにより、パターンマッチング等を行なわないで、迅速にデジタル写真を特定できる。 In FIG. 12, the image capturing unit 104 captures a two-dimensional pattern that is the image specifying unit 411 together with the printed material 410. The portable information terminal 600 includes an information reproducing unit 801. The information reproducing unit 801 reproduces pattern information based on the encoded pattern of the captured image specifying unit 411. Thereby, a digital photograph can be quickly identified without performing pattern matching or the like.

特定された印刷物４１０に関する最新の印刷物情報が、コンピュータ５２０内の画像関連情報データベース４１４から取得される。取得された最新の印刷物情報は、無線通信により、携帯情報端末６００へ送信される。携帯情報端末６００は、受信した最新の印刷物情報を入出力部１０３を介して、表示情報決定部１０７へ送る。そして、上記実施例５と同様に、印刷物４１０の実視野に重畳して印刷物情報が表示される。このように、本実施例によれば、使用者ＯＢＳは、観察している印刷物４１０に関する印刷物情報を、迅速かつ簡便に得ることができる。この結果、観察している印刷物４１０に重畳して、後発的に付加された最新の印刷物情報を表示できる。 The latest printed matter information regarding the specified printed matter 410 is acquired from the image-related information database 414 in the computer 520. The acquired latest printed matter information is transmitted to the portable information terminal 600 by wireless communication. The portable information terminal 600 sends the received latest printed matter information to the display information determination unit 107 via the input / output unit 103. As in the fifth embodiment, the printed material information is displayed so as to be superimposed on the actual field of view of the printed material 410. As described above, according to this embodiment, the user OBS can quickly and easily obtain the printed material information regarding the printed material 410 being observed. As a result, it is possible to display the latest printed matter information added later, superimposed on the observed printed matter 410.

また、画像特定部４１１として、ＲＦＩＤを用いることもできる。この場合は、ＲＦＩＤにデジタル写真を特定するデータを記録しておく。そして、ＲＦＩＤは、携帯情報端末６００内の読み取り器（不図示）と電波や電磁波で交信する。これにより、パターンマッチング等を行なわないで、迅速にデジタル写真を特定できる。ＲＦＩＤを用いるときは、パターンを読み取る必要がない。このため、印刷物４１０の裏側にＲＦＩＤを貼付しておけば良い。 In addition, an RFID can be used as the image specifying unit 411. In this case, data specifying a digital photograph is recorded in the RFID. The RFID communicates with a reader (not shown) in the portable information terminal 600 using radio waves or electromagnetic waves. Thereby, a digital photograph can be quickly identified without performing pattern matching or the like. When using RFID, there is no need to read the pattern. For this reason, RFID may be attached to the back side of the printed matter 410.

以上説明した実施例では、テーマパークの案内地図やデジタル写真を例にしている。しかしながら、本発明はこれに限られず、博物館の館内地図やショッピングモールの案内地図にも適用できる。博物館の館内地図を印刷物として観察するときは、例えば、館内に展示されている展示物の情報を重畳表示できる。さらに、デジタル版下を有している印刷物であれば、印刷物として書籍に適用しても良い。特に、書籍では、異なる書籍であっても、類似した画像や文章が存在する。この場合は、本実施例を組み合わせること、即ち、本の特定にＲＦＩＤ等のタグ情報を用い、ページの特定にパターンマッチングを用いることが効果的である。このようにすれば、書籍の特定が素早く行なえるので、マッチングがより高速に実現できる。このように、本発明は電子情報を有する印刷物であれば、その内容にとらわれず幅広く適用できる。 In the embodiment described above, a guide map or digital photograph of a theme park is taken as an example. However, the present invention is not limited to this, and can also be applied to a museum map or a shopping mall guide map. When observing a museum map as a printed matter, for example, information on exhibits displayed in the museum can be displayed in a superimposed manner. Furthermore, if it is a printed matter having a digital block, it may be applied to a book as a printed matter. In particular, similar images and sentences exist for books even if they are different books. In this case, it is effective to combine the present embodiments, that is, to use tag information such as RFID for specifying a book and pattern matching to specify a page. In this way, books can be identified quickly, and matching can be realized at a higher speed. As described above, the present invention can be widely applied as long as it is a printed material having electronic information.

さらに、実視野に重畳的に表示される情報は、文字情報に限られない。例えば、静止画、動画などの映像情報を重畳的に表示できる。また、アイコン、天気記号、地理記号等の記号を重畳的に表示してもよい。加えて、上記各実施例において、印刷物情報格納部は、携帯情報端末内に設けても良い。 Furthermore, the information displayed in a superimposed manner in the real field of view is not limited to character information. For example, video information such as still images and moving images can be displayed in a superimposed manner. In addition, symbols such as icons, weather symbols, and geographic symbols may be displayed in a superimposed manner. In addition, in each of the above embodiments, the printed material information storage unit may be provided in the portable information terminal.

また、携帯情報端末とコンピュータとの通信形態は、ＰＨＳ回線、携帯電話回線、有線ＬＡＮ、無線ＬＡＮ、赤外線通信等のデータ転送を行なえるものであれば良い。さらに、上記各実施例では、使用者が携帯情報端末を手で把持して使用する例を説明している。しかしながら、本発明は、携帯情報端末に限られず、例えば公知のヘッドマウントディスプレイに上述した携帯情報端末の機能を持たせても良い。このように、本発明は、その趣旨を逸脱しない範囲で、適宜変形が可能である。 In addition, the communication mode between the portable information terminal and the computer may be any type that can perform data transfer such as a PHS line, a cellular phone line, a wired LAN, a wireless LAN, and infrared communication. Further, in each of the above-described embodiments, an example is described in which the user uses the portable information terminal while holding it by hand. However, the present invention is not limited to the portable information terminal. For example, a known head mounted display may have the above-described functions of the portable information terminal. Thus, the present invention can be modified as appropriate without departing from the spirit of the present invention.

以上のように、本発明に係る情報重畳表示システムは、印刷物に関する情報を、迅速かつ簡便に、この印刷物の実視野に重畳的に表示するときに有用である。 As described above, the information superimposing display system according to the present invention is useful when information related to a printed material is quickly and easily displayed in a superimposed manner in the actual field of view of the printed material.

実施例１に係る情報重畳表示システムの概略構成図である。1 is a schematic configuration diagram of an information superimposing display system according to Embodiment 1. FIG. 携帯情報端末の斜視構成図である。It is a perspective view of a portable information terminal. 携帯情報端末の他の斜視構成図である。It is another perspective view of a portable information terminal. 携帯情報端末の上面図である。It is a top view of a portable information terminal. 携帯情報端末の断面図である。It is sectional drawing of a portable information terminal. 携帯情報端末の底面図である。It is a bottom view of a portable information terminal. 実施例１において情報を重畳表示する手順を示すフローチャートである。3 is a flowchart illustrating a procedure for displaying information in a superimposed manner in the first embodiment. 実施例１の情報重畳表示システムの機能ブロック図である。It is a functional block diagram of the information superposition display system of Example 1. 実施例２の情報重畳表示システムの機能ブロック図である。It is a functional block diagram of the information superimposition display system of Example 2. 実施例３に係る情報重畳表示システムの概略構成図である。It is a schematic block diagram of the information superimposed display system which concerns on Example 3. FIG. 実施例３の情報重畳表示システムの機能ブロック図である。It is a functional block diagram of the information superimposed display system of Example 3. 実施例４に係る情報重畳表示システムの概略構成図である。It is a schematic block diagram of the information superimposed display system which concerns on Example 4. FIG. 実施例４の情報重畳表示システムの機能ブロック図である。It is a functional block diagram of the information superimposed display system of Example 4. 実施例５の情報重畳表示システムの機能ブロック図である。It is a functional block diagram of the information superimposed display system of Example 5. 実施例６の情報重畳表示システムの機能ブロック図である。It is a functional block diagram of the information superimposed display system of Example 6.

Explanation of symbols

１００携帯情報端末
１０１電子情報表示部
１０２半透過光学素子
１０３入出力部
１０４撮像部
１０５パターンマッチング部
１０６画像認識部
１０７表示情報決定部
１１０印刷物
１１１画像特定部
１２０サーバーコンピュータ
１２２印刷物情報格納部
１２３デジタル版下
１２４版下用情報データベース
１２５最新情報データベース
２００携帯情報端末
２２０サーバーコンピュータ
３００携帯情報端末
４００携帯情報端末
４１０印刷物
４１１画像特定部
４１３演算部
４１５デジタルカメラ
４１６キーボード
４１７インターネット
４１８a、４１８ｂ、４１８ｃ他のコンピュータ
４２０コンピュータ
４２１ディスプレイ
４２４演算部
４３０プリンタ
５００携帯情報端末
５２０コンピュータ
６００情報携帯端末
８０１情報再生部

DESCRIPTION OF SYMBOLS 100 Portable information terminal 101 Electronic information display part 102 Transflective optical element 103 Input / output part 104 Imaging part 105 Pattern matching part 106 Image recognition part 107 Display information determination part 110 Printed matter 111 Image specific part 120 Server computer 122 Printed matter information storage part 123 Digital Composition 124 Information database 125 Composition information database 200 Portable information terminal 220 Server computer 300 Portable information terminal 400 Portable information terminal 410 Printed matter 411 Image specifying part 413 Calculation part 415 Digital camera 416 Keyboard 417 Internet 418a, 418b, 418c Others Computer 420 Computer 421 Display 424 Arithmetic unit 430 Printer 500 Portable information terminal 520 Computer 600 Information carrier Terminal 801 information reproducing unit

Claims

An imaging unit for imaging a printed matter having related electronic information;
An image recognition unit that identifies the imaged printed matter by image recognition;
A printed matter information storage unit for storing the electronic information and printed matter information added later to the electronic information;
An electronic information display unit that displays at least the printed matter information relating to the specified printed matter;
A semi-transmissive optical element that superimposes and displays the printed matter information displayed on the electronic information display unit in the actual field of view of the printed matter,
At least the imaging unit, the electronic information display unit, and the transflective optical element are provided in a portable information terminal,
The printed matter information storage unit is provided in a computer capable of communicating with the portable information terminal,
The information superimposing display system, wherein the image recognition unit is provided in one of the portable information terminal and the computer.

The printed matter is a book printed on a paper medium based on a digital block which is the electronic information stored in the printed matter information storage unit,
The information superimposed display system according to claim 1, wherein the computer is a server computer related to the book.

The information superimposed display system according to claim 2, wherein the image recognition unit is provided in the server computer.

The information superimposed display system according to claim 2, wherein the image recognition unit is provided in the portable information terminal.

2. The information superimposed display system according to claim 1, wherein the printed matter is a digital photograph printed on a paper medium based on a digital file which is the electronic information stored in the printed matter information storage unit.

The computer has a calculation unit that performs a predetermined calculation process based on the electronic information and the printed material information;
The information superimposed display system according to claim 5, wherein the electronic information display unit displays a further calculated result.

The information superimposed display system according to claim 5, wherein the image recognition unit is provided in the computer.

The information superimposed display system according to claim 5, wherein the image recognition unit is provided in the portable information terminal.

The printed matter information stored in the printed matter information storage unit in the computer is configured to be rewritable from an input device connected to the computer or another computer different from the computer. The information superimposed display system according to claim 5.

An imaging unit for imaging a printed matter having related electronic information;
An image specifying unit having information for specifying the imaged printed matter;
An information reproducing unit that recognizes the image specifying unit and reproduces the information;
A printed matter information storage unit for storing the electronic information and printed matter information added later to the electronic information;
An electronic information display unit that displays at least the printed matter information relating to the specified printed matter;
A semi-transmissive optical element that superimposes and displays the printed matter information displayed on the electronic information display unit in the actual field of view of the printed matter,
At least the imaging unit, the electronic information display unit, and the transflective optical element are provided in a portable information terminal,
The printed matter information storage unit is provided in a computer capable of communicating with the portable information terminal,
The information superimposed display system, wherein the image specifying unit is provided in the printed matter.

The information superimposed display system according to claim 10, wherein the image specifying unit includes a pattern obtained by encoding the content of the printed matter.

The information superimposed display system according to claim 10, wherein the image specifying unit includes an RFID that stores the content of the printed matter.