JP2010238098A - Terminal device, information presentation system, and terminal screen display method - Google Patents

Terminal device, information presentation system, and terminal screen display method Download PDF

Info

Publication number
JP2010238098A
JP2010238098A JP2009087204A JP2009087204A JP2010238098A JP 2010238098 A JP2010238098 A JP 2010238098A JP 2009087204 A JP2009087204 A JP 2009087204A JP 2009087204 A JP2009087204 A JP 2009087204A JP 2010238098 A JP2010238098 A JP 2010238098A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
information
augmented reality
display
graphics object
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009087204A
Other languages
Japanese (ja)
Other versions
JP5315111B2 (en )
Inventor
Shin Hasegawa
Takeshi Ninchoji
Masaichi Yamauchi
政一 山内
毅 忍頂寺
慎 長谷川
Original Assignee
Aplix Corp
Ntt Docomo Inc
株式会社アプリックス
株式会社エヌ・ティ・ティ・ドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a terminal device, an information presentation system and a terminal screen display method, capable of preventing complication of a screen, even if an amount of information displayed in a video of a real space increases. <P>SOLUTION: The terminal device includes: a camera 106 for acquiring the video of the real space; a display unit 102 for displaying the screen; a memory 107 for storing extended reality sense information associated to position information; and a control unit 108 for controlling operation of each part, and for achieving an information processing function. The control unit 108 makes the display unit 102 display the video of the real space acquired by the camera 106, and performing processing of determining a display position of a graphics object corresponding to the extended reality sense information, superposing the graphics object on the video of the real space in the display position, and making the display unit 102 draw it. The control unit 108 performs processing of making the display unit 102 display a plurality of pieces of the extended reality sense information wherein the display positions approach as one set graphics object. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、端末装置、情報提示システム及び端末画面表示方法に関するものである。 The present invention is a terminal apparatus, and a information presentation system and the terminal screen display method.

携帯電話事業における移動体通信技術は、アナログ方式の第一世代から、音声通話に加えてデジタル技術によるデータ通信を実現したPDC方式やGSM方式等の第二世代を経て、現在ではより高速なデータ通信やマルチメディアを利用した各種サービスを提供するW−CDMA等の第三世代へと発達を続けている。 Mobile communication technology in the mobile phone business, from a first generation analog systems, via the second generation, such as the PDC system and the GSM system that realizes data communication by digital technology in addition to voice calls, faster data currently to the third generation of W-CDMA, etc. to provide a variety of services using the communication and multi-media has continued to development. また、このような通信技術を利用する移動体通信端末においてもCPU等のプロセッサ、メモリ、各種周辺デバイスおよび実装技術の各分野で技術革新が進められた結果、多機能化と高機能化の双方で飛躍的な進歩を達成している。 Further, both such processors, such as a CPU, even in a mobile communication terminal using a communication technology, a memory, various peripheral devices and mounting techniques result innovation is advanced in the fields of, multifunction and high performance in have achieved dramatic progress.

このように移動体通信および端末に関する技術が高度に発達したことにより、音声通話に加えて、テレビ通話、電子メール、Webブラウジング、チャット等の様々な通信サービスが携帯電話で実現されている。 By this technique relates to mobile communications and terminals to have highly developed, in addition to voice calls, video calls, e-mail, Web browsing, various communication services such as chat is realized by a mobile phone. また、多機能化した端末には液晶/有機EL表示モジュール、カメラモジュール、非接触ICカードモジュール、赤外線通信モジュール、Bluetooth(登録商標)通信モジュール、WiFi通信モジュール、GPSモジュールのような各種デバイスが搭載されている。 Moreover, multi-functionalized terminal on the liquid crystal / organic EL display module, a camera module, the non-contact IC card module, an infrared communication module, Bluetooth (registered trademark) communication module, WiFi communication module, various devices mounted such as a GPS module It is. さらに、端末の多機能化はソフトウェアの面でも進んでおり、各種モジュールを制御する種々のアプリケーションソフト、また各種ビューワ、マルチメディアプレーヤ、ブラウザ、メーラ、ゲーム、PIM等のアプリケーションソフトがオペレーティングシステム上に実装されており、マルチタスク機能により複数のアプリケーションを同時並行的に実行することで極めて高度な機能が実現可能となっている。 Furthermore, multiple functions of the terminal is progressing in terms of software, various application software also various viewer, which controls the various modules, multimedia player, browser, mailer, games, on the application software such as PIM operating system It is implemented, very advanced features are made possible by running multiple applications concurrently by multitasking.

一方、情報処理の分野では、コンピュータグラフィックスにより仮想的な現実空間を構成する仮想現実(Virtual Reality)、現実空間の映像をコンピュータで処理して情報を付加する拡張現実感(AR;Augumented Reality)に関する研究が進められており、特に最近では拡張現実感技術(AR技術)が注目されている。 Meanwhile, in the field of information processing, virtual reality (Virtual Reality) constituting a virtual reality space by computer graphics, augmented reality for adding information by processing the image of the real space on the computer (AR; Augumented Reality) studies have been conducted, especially in recent years augmented reality technology (AR technology) has been attracting attention on. AR技術の実現方法には様々な態様が考えられるが、その一つにカメラ付き携帯電話を利用したものを挙げることができる。 The method of realizing the AR technology There are various embodiments thereof, may be mentioned those obtained by using camera-equipped mobile phone to one of them. 例えば米国MOBILIZY社は、携帯電話向けオープンプラットフォームの一つであるAndroid向けに、カメラでキャプチャーした実空間の風景映像に観光情報を付加して表示するトラベルガイドのアプリケーション製品を提供している。 For example, the United States MOBILIZY Inc., for Android, which is one of the mobile phones open platform, which provides the application products of the travel guide to be displayed by adding the tourist information on the landscape image of the real space that was captured on camera. このアプリケーションは、端末の位置情報(GPS測位またはユーザのマニュアル入力による)をサーバに送信し、サーバに予め登録された情報のうち周辺の観光情報をサーバから端末へレスポンスさせ、取得した観光情報を風景映像に付加して表示することにより拡張現実感を実現するものである。 This application sends the location information of the terminal (the manual input of the GPS positioning or the user) to the server, then the response of the peripheral Overview of information previously registered in the server from the server to the terminal, the acquired Overview It realizes the augmented reality by displaying in addition to landscape image.

また、特許第3700021号には、カメラでイメージを取得するとともにカメラの位置および姿勢を測定し、測定されたカメラの位置および姿勢から記憶装置の所定アドレスに格納されたデータを読み出し、読み出されたデータをカメラで取得したイメージに結合させて表示するAR技術について開示されている。 Further, Japanese Patent No. 3700021, the position and orientation of the camera is measured to acquire the image by the camera, reading the data stored in a predetermined address of the storage device from the position and orientation of the measured camera, read It was disclosed for AR technique of displaying by binding to an image acquired by the camera data.

特許第3700021号公報 Patent No. 3700021 Publication

カメラでキャプチャーした実空間の映像に情報を表示する拡張現実感技術においては、情報を情報バルーン、アイコン等のグラフィックスオブジェクトとして実空間の映像に重畳することになるが、表示する情報の量が多くなると画面は非常に煩雑となり、さらにグラフィックスオブジェクトが重なり合うようになると視認、ならびに操作対象としての選択も難しくなる。 In augmented reality technology for displaying an image on the information of the real space captured by a camera, information information balloon, but will be superimposed on the video of the real space as graphics objects such as an icon, the amount of information to be displayed comes to the screen becomes very complicated often becomes more visible and so the graphics objects overlap, as well as the selection of the operation target difficult. このような問題は小型の表示装置が使用されている携帯電話やPDA等のモバイル端末では特に顕著である。 Such problem is particularly pronounced in the mobile terminal such as a mobile phone or a PDA small display devices have been used. さらに、近時のモバイル端末にはタッチパネルを採用したものもあるが、画面上にグラフィックスオブジェクトが密集している状態でタッチパネルを操作することは極めて困難である。 Furthermore, the recent mobile terminals but also those employing a touch panel, it is very difficult to operate the touch panel in a state in which the graphic objects on the screen are concentrated.

上記事情に鑑み、本発明は、実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる端末装置、情報提示システム及び端末画面表示方法を提供することを目的とする。 In view of the above circumstances, the present invention, the terminal can also become much amount of information to be displayed on the image of the real space suppressing complication of the screen device, to provide an information presentation system and the terminal screen display method for the purpose.

すなわち本発明に係る端末装置は、実空間の映像を取得するカメラ部と、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、前記各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、前記制御部は、前記カメラ部により取得された実空間の前記映像を前記表示部に表示させるとともに、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させる処理を行う端末装置であって、前記制御部は、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴として構成さ That terminal apparatus according to the present invention includes a camera unit for acquiring an image of the real space, and a display unit for displaying a screen, a storage unit storing the augmented reality information associated with the position information, the operation of the respective units and a control unit for implementing an information processing function and controls, the control unit, the image of real space acquired by the camera unit causes display on the display unit, corresponding to the augmented reality information graphics determining the display position of the scan object, a terminal apparatus for performing a process to draw on the display unit superimposes the graphics object on the image of the real space in the display position, the control unit, the display position of structure a plurality of the augmented reality information but proximate, as characterized by performing a process of displaying on the display unit as one set graphics object る。 That.

本発明に係る端末装置によれば、制御部により、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして表示部に表示させることができる。 According to the terminal device according to the present invention, the control unit, a plurality of augmented reality information display position it is close, can be displayed on the display unit as one set graphics object. このため、近接した複数の拡張現実感情報が表示されることがないので、画面の複雑化を回避することができる。 Therefore, since no plurality of augmented reality information in close proximity is displayed, it is possible to avoid complication of the screen.

ここで、前記制御部は、前記表示位置で描画させるとグラフィックスオブジェクトが重なり合う複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことが好適である。 Here, the control unit, a plurality of the augmented reality information when the draw graphics object overlap at the display position, is suitable to perform a process of displaying on the display unit as one of said set graphics object is there. このように構成することで、制御部により、重なり合う複数のグラフィックスオブジェクトが1つの集合グラフィックスオブジェクトとして表示部に表示される。 With this configuration, the control unit, overlapping a plurality of graphics objects are displayed on the display unit as one set graphics object. このため、画面の複雑化を回避することが可能となる。 Therefore, it is possible to avoid complication of the screen.

また、前記制御部は、前記画面を複数のエリアに分割して管理し、前記表示位置が同じエリアとなる複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことが好適である。 The control unit manages by dividing the screen into a plurality of areas, the display position is a multiple of the augmented reality information having the same area, displayed on the display unit as one of said set graphics object it is preferable to perform the process for. このように構成することで、制御部により、同一エリアに表示される複数の拡張現実感情報が1つの集合グラフィックスオブジェクトとして表示部に表示される。 With this configuration, the control unit, a plurality of augmented reality information displayed in the same area is displayed on the display unit as one set graphics object. このため、複数のグラフィックスオブジェクトの近接の判断処理の負荷を軽減することができる。 Therefore, it is possible to reduce the load of determination processing in the proximity of a plurality of graphics objects.

また、前記制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が近接している複数の前記拡張現実感情報を1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことが好適である。 Further, the control unit, the said display position determined based on the position information that is associated with the augmented reality information, the position information of one more of the augmented reality information are close the set it is preferable to perform a process of displaying on the display unit as a graphics object. このように構成することで、制御部により、位置情報の近接している複数の拡張現実感情報が1つの集合グラフィックスオブジェクトとして表示部に表示される。 With such a configuration, the control unit, a plurality of augmented reality information to the proximity of the location information is displayed on the display unit as one set graphics object. 実空間で近接するものをまとめて表示できるので、実空間での位置関係を視覚で表現することが可能となるとともに、ユーザにとって分かり易い表示とすることができる。 Can be displayed together as close in real space, it becomes possible to represent visually the positional relationship in real space, it can be intelligible display for the user.

また、前記制御部は、現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど前記位置情報が近接していると判定する範囲を拡大することが好適である。 The control unit, it is preferable to expand the the determining range distance from the current location is proximate said position information about the Augmented Reality information associated with a point far. このように構成することで、制御部により、グラフィックスオブジェクトの表示位置が撮影位置から遠い地点となるほど1つの集合グラフィックスオブジェクトとしてまとめて表示部に表示され易くなる。 With such a configuration, the control unit, easily display position of the graphics object is displayed on collectively display unit as far point and indeed one set graphics object from the photographing position. このため、表示が視認しにくくなるほど1つにまとめて表示することができるので、画面の簡素化を一層図ることができる。 Therefore, it is possible to display together in that one the more difficult to visually recognize the display, it is possible to simplify the screen more.

また、前記制御部は、前記拡張現実感情報の種類に応じた前記グラフィックスオブジェクトを前記表示部に描画させる処理を行い、前記集合グラフィックスオブジェクトは、所定の条件で並べられた複数の前記グラフィックスオブジェクトが重なり合った形状であることが好適である。 Further, the control unit, the graphics object corresponding to the type of the augmented reality information performs processing for drawing on the display unit, the set graphics object, a plurality of the graphics which are arranged in a predetermined condition it is preferable that the scan object is overlapped shape. このように構成することで、集合グラフィックスオブジェクトが複数のグラフィックスオブジェクトを含むことを容易に視認することができるとともに、例えばユーザにとって情報検索し易い表示とすることが可能となる。 With such a configuration, it is possible to it is possible to easily visually recognize that the set graphics object comprises a plurality of graphics objects, for example, information retrieval easily displayed for the user.

また、前記制御部は、前記集合グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該集合グラフィックスオブジェクトとして前記表示部に表示させている複数の前記拡張現実感情報の前記グラフィックスオブジェクトを、環状に並べて前記表示部に表示させる処理を行うことが好適である。 The control unit, when detecting a user operation of selecting the set graphics object, the graphics of the plurality of the augmented reality information being displayed on the display unit as the set graphics object an object, it is preferable to perform a process of displaying on the display unit side by side annularly. このように構成することで、制御部により、ユーザの操作を検出すると集合グラフィックスオブジェクトとしてまとめられたグラフィックスオブジェクトが環状に展開される。 With such a configuration, the control unit, graphics objects grouped as a set graphics object and for detecting the operation of a user is expanded annularly. このため、画面の簡素化を図りつつユーザが必要とする場合のみ詳細な情報を表示することが可能となるユーザインターフェイスを提供することができる。 Therefore, it is possible to provide a user interface that makes it possible to display detailed information only when required by the user while achieving simplification of the screen.

また、前記制御部は、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させている前記拡張現実感情報の数が、環状に並べて一度に表示可能な前記グラフィックスオブジェクトの数よりも多い場合には、表示可能な数だけ環状に並べられた前記グラフィックスオブジェクトを前記表示部に表示させ、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作を検出した場合には、環状に並べた前記グラフィックスオブジェクトそれぞれを周方向に沿って回転移動させるとともに、表示されているグラフィックスオブジェクトを入れ替える処理を行うことが好適である。 The control unit, when the number of the augmented reality information being displayed on the display unit as one of said set graphics object is larger than the number of side by side in an annular viewable said graphics object at a time the, when the graphics object is annularly as many displayable are displayed on the display unit, and detecting operation of demonstrating the movement direction of said graphics objects arranged in annular user, is rotated moves along each said graphics objects arranged annularly in the circumferential direction, it is preferable to carry out the process to replace the graphics objects displayed. このように構成することで、制御部により、移動方向を明示する操作に応じて環状に並べたグラフィックスオブジェクトを周方向に沿って回転移動させるとともに、グラフィックスオブジェクトが入れ替えられて表示部に表示される。 With this configuration, the control unit, displays graphics objects arranged in a ring in accordance with demonstrating the operation moving direction is rotated moves along the circumferential direction, the display unit is swapped graphics objects It is. このため、ユーザにとって直感的で理解しやすく、操作性に優れたユーザインターフェイスを提供することができる。 Therefore, intuitive and easy to understand for the user, it is possible to provide a user interface with excellent operability.

また、前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることが好適である。 Further, the control unit, when performing the processing for displaying a plurality of the graphics object of the augmented reality information on the display unit side by side in an annular, a size of the graphics object on the basis of a predetermined condition it is preferable to be displayed on the display unit to change. このように構成することで、制御部により、所定の条件に基づいて環状に並んだグラフィックスオブジェクトの大きさが変更される。 With such a configuration, the control unit, the size of graphics objects arranged in a ring shape based on a predetermined condition is changed. このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。 Therefore, it is possible to provide an intuitive and easy to understand user interface for the user.

また、前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの透明度を変更して前記表示部に表示させることが好適である。 Further, the control unit, when a plurality of the graphics object of the augmented reality information performs a process of displaying on the display unit side by side annularly, changing the transparency of the graphics object on the basis of a predetermined condition it is preferable to be displayed on the display unit in. このように構成することで、制御部により、所定の条件に基づいて環状に並んだグラフィックスオブジェクトの透明度が変更される。 With such a configuration, the control unit, transparency of graphics objects arranged in a ring shape based on a predetermined condition is changed. このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。 Therefore, it is possible to provide an intuitive and easy to understand user interface for the user.

また、前記制御部は、所定の条件を満たす前記拡張現実感情報の前記グラフィックスオブジェクトを、前記集合グラフィックスオブジェクトの先頭に位置するように前記表示部に表示させることが好適である。 Further, the control unit, the graphics object satisfies a predetermined condition the augmented reality information, it is preferable to be displayed on the display unit so as to be positioned at the head of the set graphics object. このように構成することで、制御部により所定の条件を満たす拡張現実感情報のグラフィックスオブジェクトが集合グラフィックスの先頭に配置される。 With this configuration, graphics object satisfying a predetermined condition augmented reality information is placed at the beginning of the set graphics by the control unit. このため、例えばユーザにとって情報検索し易い表示とすることができる。 Therefore, it is possible to an information retrieval easily displayed, for example, for the user.

また、前記制御部は、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作として前記グラフィックスオブジェクトに沿ってドラッグするユーザの操作を検出した場合であって、ドラッグするユーザの操作が閾値より低速である場合には表示されている前記グラフィックスオブジェクトを1個ずつ入れ替え、閾値以上の高速である場合には表示されている前記グラフィックスオブジェクトを全て入れ替える処理を行うことが好適である。 The control unit is a case of detecting a user operation to drag along said graphics objects moving direction as an operation for demonstrating the user of the graphics objects arranged in annular, the user drags operation one by one said graphics objects displayed replaced if it is slower than the threshold value, preferable to perform the process of replacing all the graphics objects displayed if it is faster than the threshold value it is. このように構成することで、制御部により、閾値より低速でドラッグするユーザの操作に応じて環状に並べたグラフィックスオブジェクトが1つずつ入れ替って回転移動し、閾値より高速でドラッグするユーザの操作に応じて環状に並べたグラフィックスオブジェクトの全てが、入れ替って表示部に表示される。 With this configuration, the control unit, in response to operation of the user to drag slower than the threshold graphics objects arranged in a ring is rotated moves interchanged by one, the user drags faster than the threshold value all graphics objects arranged in a ring in accordance with the operation is displayed on the display unit interchanged. このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。 Therefore, it is possible to provide an intuitive and easy to understand user interface for the user.

また、前記制御部は、前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる前記拡張現実感情報について、実行可能な処理を表示する前記グラフィックスオブジェクトを環状に並ぶように前記表示部に表示させ、環状に並んで表示された前記グラフィックスオブジェクトのうち1つの前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる処理を行うことが好適である。 Further, the control unit, wherein, when detecting a user operation of selecting a graphics object, for the augmented reality information relating to the graphics object, cyclic said graphics object for displaying the executable processing It is displayed on the display unit so as to be aligned in, when detecting a user operation for selecting one of said graphics objects among the graphics objects displayed alongside annularly, according to the graphic object processing it is preferable to perform. このように構成することで、制御部により、環状に並べたグラフィックスオブジェクトのうちユーザにより選択された1つのグラフィックスオブジェクトに係る処理が実行される。 With such a configuration, the control unit, processing according to one graphics object selected by the user out of the graphics objects arranged annularly is executed. このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。 Therefore, it is possible to provide an intuitive and easy to understand user interface for the user.

また、前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることが好適である。 The control unit, for the augmented reality information, it is preferable to be displayed on the display unit by changing the size of the graphics object on the basis of a predetermined condition. このように構成することで、制御部により、所定の条件に基づいてグラフィックスオブジェクトの大きさが変更されて表示部に表示される。 With such a configuration, the control unit, the size of the graphics object is displayed on the display unit is changed based on a predetermined condition. このため、実空間の映像に情報が平板に表示されることを回避することができるので、優れた拡張現実感を提供することが可能となる。 Therefore, it is possible to prevent the information on the image of the real space is flat displays, it is possible to provide an excellent augmented reality.

さらに、前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの情報量を変更して前記表示部に表示させることが好適である。 Further, the control unit, for the augmented reality information, it is preferable to be displayed on the display unit by changing the amount of information of the graphics object on the basis of a predetermined condition. このように構成することで、制御部により、所定の条件に基づいてグラフィックスオブジェクトの情報量が変更されて表示部に表示される。 With such a configuration, the control unit, information of the graphics object is displayed on the display unit is changed based on a predetermined condition. このため、実空間の映像に情報が平板に表示されることを回避することができるので、優れた拡張現実感を提供することが可能となる。 Therefore, it is possible to prevent the information on the image of the real space is flat displays, it is possible to provide an excellent augmented reality.

また、本発明に係る情報提示システムは、表示部により画面を表示する端末装置と、前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、を備える情報提示システムであって、前記サーバは、実空間の映像を前記表示部に表示させ、前記端末装置の位置情報に基づいて、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させるとともに、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うサーバ制御部を備えること、を特徴として構成される。 The information information presentation system according to the present invention, comprises a terminal device for displaying a screen by the display unit is configured to be capable of communicating with the terminal device, a server having the Augmented Reality information associated with the positional information, the a presentation system, wherein the server, the image of the real space is displayed on the display unit, based on the position information of the terminal device, determines the display position of the graphics object corresponding to the augmented reality information, causes drawn on the display unit the graphics object on the image of the real space superimposed on the display position, a plurality of the augmented reality information which the display position is proximate, the display as a single set graphics object providing the server control unit that performs processing for displaying a section configured as characterized.

本発明に係る情報提示システムによれば、サーバ制御部により、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして端末装置の表示部に表示させることができる。 According to the information presentation system according to the present invention, the server control unit, a plurality of augmented reality information display position it is close, can be displayed on the display unit of the terminal device as one set graphics object. このため、近接した複数の拡張現実感情報が端末装置の表示部に表示されることないので、端末装置の画面の複雑化を回避することができる。 Therefore, since it is not a plurality of augmented reality information in close proximity is displayed on the display unit of the terminal device, it is possible to avoid complication of the screen of the terminal device.

また、本発明に係る端末画面表示方法は、カメラ部により取得された実空間の映像に、位置情報に関連付けられた拡張現実感情報と対応するグラフィックスオブジェクトを重畳して表示部に描画させる端末画面表示方法であって、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定する表示位置決定ステップと、複数の前記グラフィックスオブジェクトの前記表示位置が近接するか否かを判定する近接判定ステップと、前記表示位置が近接する場合には、複数の前記拡張現実感情報を1つの集合グラフィックスオブジェクトとして前記表示部に表示させる表示ステップと、を備えることを特徴として構成される。 The terminal screen display method according to the present invention, the image of the real space acquired by the camera unit, is drawn on the display section by superimposing a graphics object that corresponds to the augmented reality information associated with positional information terminal a screen display method, proximity determining a display position determining step of determining a display position of the graphics object corresponding to the augmented reality information, whether the display position of a plurality of said graphics objects close a determination step, when the display position is proximate is composed of a display step of displaying on the display unit a plurality of the augmented reality information as one set graphics object, in that it comprises as a feature.

本発明に係る端末画面表示方法によれば、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして表示部に表示させることができる。 According to the terminal screen display method according to the present invention, a plurality of augmented reality information display position are close, can be displayed on the display unit as one set graphics object. このため、近接した複数の拡張現実感情報が表示されることがないので、画面の複雑化を回避することができる。 Therefore, since no plurality of augmented reality information in close proximity is displayed, it is possible to avoid complication of the screen.

本発明によれば、実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる。 According to the present invention can also increasingly amount of information to be displayed on the image of the real space suppressing complication of the screen.

実施形態に係る端末装置を有する情報提示システムの構成を示す概略図である。 It is a schematic diagram showing a configuration of an information presentation system having a terminal device according to the embodiment. 実施形態に係る端末装置の機能ブロック図である Is a functional block diagram of a terminal apparatus according to the embodiment 位置情報コンテンツのリストの一例である。 It is an example of a list of location information content. 拡張現実感情報を丸形のアイコンで表示する画面図である。 The augmented reality information is a screen view displayed in round icon. 近接するアイコン及び集合グラフィックスオブジェクトの説明図である。 Is an explanatory view of icons and collection graphics objects close. 実空間の映像に拡張現実感情報を重畳した画面図である。 Is a screen view by superimposing the augmented reality information to the image in the real space. タイプ毎に絵柄を付したアイコンの一例である。 It is an example of the icon subjected picture for each type. アイコンの画面動作を説明する画面図である。 It is a screen diagram illustrating a screen operation icon. アイコンの画面動作を説明する画面図である。 It is a screen diagram illustrating a screen operation icon. アイコンの他の画面動作を説明する画面図である。 It is a screen diagram illustrating another screen operation icon. アイコンの他の画面動作を説明する説明図である。 It is an explanatory view illustrating another screen operation icon. アイコンの他の画面動作を説明する画面図である。 It is a screen diagram illustrating another screen operation icon. 実施形態に係る拡張現実感サーバの機能ブロック図である。 It is a functional block diagram of the augmented reality server according to the embodiment. 実施形態に係る端末装置の起動から操作待ちの状態になるまでの動作を示すフローチャートである。 Is a flow chart showing the operation of the activation of a terminal device according to the embodiment to a state of the operation waiting. 実施形態に係る端末装置の起動から操作待ちの状態になるまでの他の動作を示すフローチャートである。 Is a flow chart showing another operation from the activation of a terminal device according to the embodiment to a state of the operation waiting. 実施形態に係る端末装置のスパイラルメニュー動作を示すフローチャートである。 It is a flowchart illustrating a spiral menu operation of the terminal apparatus according to the embodiment. 実施形態に係る端末装置のディスクメニュー動作を示すフローチャートである。 It is a flowchart illustrating a disc menu operation of the terminal apparatus according to the embodiment. ディスクバリエーションのインジケータである。 An indicator of the disk variations.

以下、本発明を実施するための形態について説明する。 The following describes embodiments of the present invention. 図1は、本発明の実施形態にかかる端末装置100と、端末装置100に拡張現実感情報を提供する拡張現実感サーバ300とを備える拡張現実感システム(情報提示システム)1の構成を概略的に示した図面である。 Figure 1 includes a terminal device 100 according to an embodiment of the present invention, schematically augmented reality system (information presentation system) 1 of the structure and a Augmented Reality server 300 for providing augmented reality information to the terminal device 100 it is a diagram showing in. 端末装置100は、通信網150と接続して通信を行う携帯電話等のモバイル端末であって、後述するようにイメージ取得機能を備えたカメラ部および表示部を備えている。 Terminal 100 is a mobile terminal such as a cellular phone that performs communication by connecting to the communication network 150, and a camera unit and a display unit having an image acquisition function as described below. 拡張現実感サーバ300は、通信網150と接続されたネットワーク200と接続されたサーバコンピュータシステムであり、同様にネットワーク200と接続された外部サーバである地図情報サーバ351、経路情報サーバ361および位置情報コンテンツサーバ371ならびに端末装置100と通信可能な構成となっている。 Augmented reality server 300 is a communication network 150 and connected to a server computer system connected to a network 200 which is an external server that is likewise connected to the network 200 map information server 351, the route information server 361 and the location information It has become capable of communicating configuration as the contents server 371 and the terminal device 100. このような構成の拡張現実感システム1は、端末装置100のユーザが実空間に向けたカメラで取得した画像に、拡張現実感サーバ300が提供する情報を重畳することにより、ユーザに拡張現実感を与えるサービスを提供するものである。 Augmented Reality system 1 having such a configuration, the user of the terminal device 100 to the image acquired by the camera toward the real space, superimposes the information augmented reality server 300, expansion to the user reality it is intended to provide a service to give. 以下、端末装置100および拡張現実感サーバ300について詳細に説明する。 DESCRIPTION terminal device 100 and augmented reality server 300 will be described in detail.

まず端末装置100について説明する。 First described the terminal apparatus 100. 図2は本実施形態における端末装置100の機能ブロック図である。 Figure 2 is a functional block diagram of the terminal apparatus 100 in this embodiment. この端末装置100は、主として、端末の位置情報を取得する位置情報取得部101と、画面を表示する表示部102と、ユーザのキー操作による入力を受け付けるキー入力部103と、端末が向いている方位を検出する方位センサ104と、通信網150と接続して通信を行う通信部105と、実空間の映像を取得するカメラ部106と、所定のプログラムおよびデータを記憶する記憶部107と、各部の動作を制御するとともに所定の情報処理を実現する制御部108とから構成されている。 The terminal apparatus 100 mainly includes a position information acquisition unit 101 acquires position information of the terminal, a display unit 102 for displaying a screen, a key input unit 103 for accepting an input by a key operation of the user, the terminal is oriented a direction sensor 104 for detecting an azimuth, a communication unit 105 for performing communication by connecting to the communication network 150, a camera unit 106 for acquiring an image of the real space, a storage unit 107 for storing a predetermined program and data, each unit and a control unit 108. realizing the predetermined information processing and controls the operation.

位置情報取得部101は、例えば、複数のGPS(Global Positioning System)衛星からの電波を受信して、それらの強度から現在の端末位置情報を取得するGPSモジュールを用いることができる。 Position information obtaining unit 101, for example, by receiving radio waves from a plurality of GPS (Global Positioning System) satellites, from their intensity can be used GPS module to obtain the current terminal location information. また、GPS方式に加えて通信部105を介して通信網150と通信することにより端末の近くに存在する衛星の情報をアシストデータとして取得し、位置測位を行うAGPS(Assisted Global Positioning System)方式に対応したモジュールを利用すれば、端末位置情報をより高速かつ正確に取得することができるので好適である。 Further, the information of the satellite to be located near the terminal acquired as assist data by communicating with the communication network 150 via the communication unit 105 in addition to the GPS system, the AGPS (Assisted Global Positioning System) method of performing positioning by using the corresponding modules, it is suitable because it is possible to obtain the terminal location information faster and more accurately. ただし、位置情報取得システムはGPSまたはAGPSを利用するものに限られるものではなく、GPSに依存することなく端末位置情報を取得する構成とすることも可能である。 However, the position information acquiring system is not limited to those utilizing GPS or AGPS, it is also possible to adopt a configuration that acquires the terminal position information without depending on GPS. 例えば、WiFiやBluetooth(登録商標)等の無線通信基地局を空間内に複数配設し、それらからの電波強度により端末位置情報を取得する方式を利用してもよいし、このような方式をGPSないしはAGPSに併用する方式を利用することも可能である。 For example, a WiFi or Bluetooth (registered trademark) radio communication base station, such as arranging a plurality of the spaces, may be utilized a method of acquiring the terminal position information by a radio wave strength from them, such method it is also possible to use a method in which both the GPS or AGPS.

表示部102は、画面表示を行うためのLCDモジュール113およびLCDコントローラ112と、画面にユーザがタッチする操作に反応し、ユーザの接触位置を検出するセンサモジュール114および位置検出部111とを備え、画面表示機能およびタッチパネル機能を実現したものである。 Display unit 102 includes an LCD module 113, and an LCD controller 112 for displaying a screen, in response to operation of the user touches the screen, and a sensor module 114 and the position detecting unit 111 detects the contact position of the user, one in which to achieve a screen display function and a touch panel function. すなわち、表示部102は、制御部108からのデータおよび制御信号をLCDコントローラ112で受け付けて所定の画面をLCDモジュール113で表示するとともに、画面をタッチするユーザの操作をセンサモジュール114で受け付けて位置検出部111にて接触位置を検出し、その接触位置に関する位置信号を制御部108に入力として通知するものである。 That is, the display unit 102, the data and control signals from the control unit 108 and displays accept the LCD controller 112 a predetermined screen on the LCD module 113, a position ready for operation by the user touching the screen with the sensor module 114 detecting a contact position by the detector 111, and notifies the input position signal regarding the contact position to the control unit 108. 本実施形態の端末装置100おいては、後述する動作に従って、カメラ部106により取得した実空間の映像に拡張現実感サーバから取得した情報を付加して表示することによりユーザに拡張現実感を提供し、また表示機能およびタッチパネル機能によりユーザインターフェイスを提供する。 Terminal device 100 Oite of this embodiment, according to the operation to be described later, provides an augmented reality to the user by displaying added the acquired information to the image of the real space acquired by the camera unit 106 from the Augmented Reality server and also provides a user interface by the display function and the touch panel function.

キー入力部103は、端末装置100の筐体に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部108に通知され、種々の操作ないしは制御に利用される。 The key input unit 103 is an input device such as a keypad, and other buttons provided on the housing of the terminal apparatus 100, the key event controlling unit is a signal corresponding to each key or button by the user operating 108 is notified, is used for various operations or control.

方位センサ104は、自分が向いている方向の姿勢・角度を検出し、それに相当する信号を制御部108に出力するモジュールである。 Azimuth sensor 104 detects the attitude-angle in the direction he is facing a module that outputs a signal to the control unit 108 corresponding thereto. 制御部108は、方位センサ104の検出値からユーザが端末装置100を保持している姿勢・角度を認識することが可能である。 Control unit 108, a user from the detected value of the azimuth sensor 104 is capable of recognizing the attitude-angle holding the terminal apparatus 100. このような方位センサ104には複数の地磁気センサを組み合わせたものを利用することが可能であり、さらに地磁気センサに加えて複数の加速度センサを組み合わせたモーションセンサを用いてもよい。 This is in such a direction sensor 104 may utilize a combination a plurality of geomagnetic sensor may be used motion sensor that combines a plurality of the acceleration sensor in addition to the geomagnetic sensor. 3軸方向の地磁気センサと3軸方向の加速度センサとを組み合わせた6軸センサ、3軸方向の地磁気センサと2軸方向の加速度センサとを組み合わせた5軸センサ、また、加速度センサの代わりにジャイロを用いる場合等は、いずれもモーションセンサとして方位センサ104に利用することができる。 3 axial geomagnetic sensor and three-axis directions six-axis sensor combining the acceleration sensor of the three geomagnetic sensor in the axial direction and five-axis sensor combining a biaxial acceleration sensor direction, gyro instead of an acceleration sensor If such use can be used both in the azimuth sensor 104 as a motion sensor. このようにモーションセンサを利用した場合には、端末装置100の姿勢・角度に関する情報だけでなく、ユーザが端末装置100を動かしたり傾けたりした動作の向きおよび速さを検出することが可能となる。 If such using motion sensors, not only information about the orientation and angle of the terminal apparatus 100, the user is able to detect the direction and speed of operation or tilted to move the terminal device 100 .

通信部105は、通信網150と接続して、他の端末装置やサーバシステムと通信を行うためのモジュールである。 The communication unit 105 is connected to the communication network 150 is a module for communicating with another terminal device or a server system. ここでの通信としては、例えば、他の端末装置と通信接続して行う回線交換型通信、通信網150を介してネットワーク200に接続されたサーバシステムと行うパケット交換型通信等を挙げることができる。 The communication here, for example, a packet-switched communication or the like for the other terminals circuit-switched communication performed by the communication connection, a server system connected to a network 200 via the communication network 150 . また、AGPS方式により端末位置情報を取得する場合には、通信部105は位置情報取得部101と協調動作して端末位置情報の取得を補助する。 Also, when acquiring the terminal position information by AGPS scheme, the communication unit 105 in cooperated with the position information acquisition unit 101 to aid the acquisition of the terminal location information.

カメラ部106は、所定の光学系および受像素子を有し、デジタル画像を取得する機能を提供するモジュールである。 The camera unit 106 has a predetermined optical system and the image-receiving element, a module that provides a function of acquiring digital images. 端末装置100でデジタル画像を撮影する際には、起動されたカメラ部106は、通常、光学系の取得した被写体像から所定露光時間で受像素子によりデータを取得する処理を所定時間間隔で繰り返し、当該データを表示部102に表示することによりライブビュー機能を実現する。 When taking a digital image in the terminal apparatus 100 includes a camera unit 106 which is activated, usually repeated processing of acquiring the data by receiver element at a predetermined exposure time from the acquired subject image optical system at a predetermined time interval , it realizes a live view function by displaying the data on the display unit 102. そして、その状態でユーザがさらにキー入力部103で所定の操作を行うことにより、カメラ部106は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは記憶部107に保存される。 Then, by performing a predetermined operation by the user further key input unit 103 in this state, the camera unit 106 generates image data in the photographing condition set from the acquired subject image optical system, the generated image data It is stored in the storage unit 107. 本実施形態にかかる拡張現実感システムは、上述のライブビュー機能により表示部102に表示される実空間映像に拡張現実感をもたらす情報を表示するものである。 Augmented Reality system according to the present embodiment is to display the information providing augmented reality to the real space image to be displayed on the display unit 102 by the live view function described above.

記憶部107は、所定の情報を制御部108の制御下で記憶し、また記憶している情報を制御部108に提供するためのメモリである。 Storage unit 107 stores predetermined information under control of the control unit 108, also a memory for providing information stored in the control unit 108. また、記憶部107は、制御部108で実行される種々のプログラムを記憶しており、制御部108はこれを適宜読み出して実行する。 The storage unit 107 stores a variety of programs executed by the control unit 108, the control unit 108 reads and executes this as appropriate. 記憶部107は一様な構成である必要はなく、ROM、RAM、Flash ROM等の各種メモリを適宜組み合わせて構成することが可能であり、さらにHDDのような二次記憶装置を組み合わせるようにしても構わない。 Storage unit 107 need not be uniform configuration, ROM, RAM, it is possible to properly combined the various memories such as a Flash ROM, further so as to combine the secondary storage device such as a HDD it may be. なお、端末装置100に付与された固有の端末IDもその他のデータとともに記憶部107に記憶されている。 Incidentally, stored in the storage unit 107 together with the unique terminal ID are other data provided to the terminal apparatus 100. また、記憶部107は、後述する拡張現実感サーバから提供された種々の拡張現実感情報を記憶している。 The storage unit 107 stores a variety of augmented reality information provided by the augmented reality server to be described later. 図3には、記憶部107が記憶している拡張現実感情報のうち位置情報コンテンツのリストを一例として示す。 3 shows as an example a list of position information content of the augmented reality information storage section 107 has stored. 位置情報コンテンツは、端末装置100からのリクエストに応じて拡張現実感サーバ300により位置情報コンテンツサーバ371から取得され、端末装置100にレスポンスとして返されたものである。 Position information content is acquired from the location information the content server 371 by Augmented Reality server 300 in response to a request from the terminal apparatus 100, but returned as a response to the terminal apparatus 100. 記憶部107のリストには、各位置情報コンテンツについて、コンテンツID、コンテンツタイプ、コンテンツ名および位置情報(地点情報)が含まれており、さらに端末装置100の現在の端末位置からの距離、視野角内か否かの項目が設けられている。 The list in the storage unit 107, for each position information content, a content ID, content type, content name and the position information (spot information) are included, further distance from the current terminal position of the terminal apparatus 100, the viewing angle inner whether items are provided. このうち、距離と視野角以外の項目については拡張現実感サーバ300から取得した情報がそのまま記録されており、距離および視野角の項目については端末装置100の制御部108が算出および判定した結果が記録されている。 Among them, the distance information acquired from the augmented reality server 300 for items other than the viewing angle are directly recorded, the items in the distance and viewing angle result in which the control unit 108 of the terminal apparatus 100 is calculated and determined It is recorded.

制御部108は、不図示のCPU上で記憶部107に記憶されたプログラムを実行することにより仮想的に構成される機能ブロックであって、端末装置100の位置情報取得部101、表示部102、キー入力部103、方位センサ104、通信部105、カメラ部106および記憶部107といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、端末装置100の各種機能を実現するものである。 Control unit 108 is a virtually configured functional blocks by executing programs stored in the storage unit 107 on a CPU (not shown), the position information acquisition unit 101 of the terminal apparatus 100, a display unit 102, key input unit 103, a direction sensor 104, a communication unit 105, between such camera unit 106 and the storage unit 107 of the respective functional blocks by exchanging data and control signals, and realizes various functions of the terminal device 100 . また、本実施形態における端末装置100の制御部108は、位置情報取得部101が取得した端末位置情報を送信してリクエストすることにより拡張現実感サーバ300から端末位置情報に応じた拡張現実感情報のレスポンスを受けて、拡張現実感をユーザに提供する。 The control unit 108 of the terminal apparatus 100 in the present embodiment, augmented reality information corresponding to the terminal position information from the augmented reality server 300 by the position information acquisition unit 101 makes a request by sending the acquired terminal location information in response to the response, to provide augmented reality to the user. この場合に特徴的な機能として、制御部108、前記カメラ部の撮影した実空間の映像を表示部102に表示させつつ、拡張現実感情報を実空間の映像に重畳する表示位置を決定し、当該表示位置に当該拡張現実感情報と対応したグラフィックスオブジェクトを重畳して描画する際に、重畳する表示位置が近接した複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させる処理を行う。 This as a characteristic feature if the control unit 108, while displaying the image of the captured real space of the camera unit to the display unit 102, determines a display position of superimposing the augmented reality information to the image in the real space, when drawing by superimposing the graphics object corresponding with the augmented reality information on the display position, the display unit 102 a plurality of augmented reality information display position close to superposed as one set graphics object the processing to be carried out. 以下、このような処理について詳細に説明する。 Hereinafter, such processing will be described in detail.

まず、カメラ部106の姿勢および角度に基づいて拡張現実感情報の表示位置を決定し、実空間の映像に重畳して表示部に表示させる処理について説明する。 First, based on the attitude and the angle of the camera unit 106 determines the display position of the augmented reality information, a description will be given of a process of displaying on the display unit by being superimposed on the image of the real space. この処理では、まず、方位センサ104の検出値からカメラの向いている姿勢・方向を導出し、カメラの水平方向視野角および垂直方向視野角に基づいて、記憶部107に記憶されている拡張現実感情報がカメラ部106の視野に入るか否かを判定し、結果を拡張現実感情報のリストに記録する(図3参照)。 In this process, first, to derive the position and direction facing from the detection value of the azimuth sensor 104 of the camera, horizontal view angle of the camera and on the basis of the vertical viewing angle, augmented reality stored in the storage unit 107 sensitive information determines whether or not to enter the field of view of the camera unit 106, the result is recorded in the list of extended reality information (see FIG. 3). 続いて、視野にはいると判定された拡張現実感情報について、端末装置100の現在の端末位置を原点とした座標空間に配置したと想定し、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行い、透過投影された位置をもって表示位置と決定する。 Then, the augmented reality information determined to be within the field of view, assuming arranged in the coordinate space in which the current terminal location as the origin of the terminal apparatus 100, horizontal camera a predetermined height of the origin as the center point It performs a process of transmitting projecting each augmented reality information from the origin in a rectangular plane that is determined by a predetermined distance based on the direction the viewing angle and vertical viewing angle and the image size is determined as the display position with a transparent projected position. ここで、透過投影する中心点の高さについては、ユーザが立った状態で端末装置100を使用する状況を再現するために、1.5m程度の高さとすることが好適である。 Here, the height of the center point of rear projection, in order to reproduce the situation of using the terminal device 100 while the user is standing, it is preferable that a height of about 1.5 m.

上記処理の後、決定された表示位置に各拡張現実感情報を描画することにより実空間映像に重畳させて表示する処理を行う。 After the above processing, it performs processing for displaying superimposed on a real space image by drawing each augmented reality information on the determined display position. このような処理についての制限は特にないが、各拡張現実感情報が所定の表示位置に描画されて残部が透明の画面レイヤーを作成し、この画面レイヤーを実空間映像に重ねて表示部102に表示させることができ、これにより実空間映像の適切な位置に拡張現実感情報が表示される。 Such limitation is not particularly processing, balance each augmented reality information is drawn in a predetermined display position to create a screen layer of transparent, the display unit 102 by superimposing the frame layer in the real space image can be displayed, thereby augmented reality information in the appropriate position in the real space image is displayed. この際、本実施形態における拡張現実感情報は、アイコン、情報バルーン、サブウィンドウ等のグラフィックスオブジェクトとして画面上に表示される。 In this case, augmented reality information in this embodiment, the icon, the information balloon, is displayed on the screen as a graphics object, such as subwindow.

この際、制御部108は重畳する表示位置が近接した複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させる。 At this time, the control unit 108 causes the display unit 102 a plurality of augmented reality information display position close to superposed as one set graphics object. 図4(a)、(b)、(c)は拡張現実感情報を丸形のアイコンで表示する画面の例を示したものであり、(a)はカメラ部106の取得した実空間の映像を示し、(b)は前述の方法により各拡張現実感情報の表示位置を求めてアイコンを描画したイメージを示したものである。 Figure 4 (a), (b), (c) is a drawing showing an example of a screen displaying the augmented reality information round icon, (a) shows the image of the acquired real space of the camera unit 106 are shown, there is shown an image drawing the icon asking the display position of each augmented reality information by (b) the above method. ここで、この画面では、アイコンの大きさがアイコンごとに変更されて表示される。 Here, in this screen, the size of the icon is displayed is changed for each icon. また、アイコンの透明度がアイコンごとに変更されて表示されてもよい。 Further, transparency of the icon may be displayed is changed for each icon. 大きさ及び透明度の変更は、所定の条件に従って変更される。 Changing the size and transparency is changed according to a predetermined condition. 所定条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。 As the predetermined condition, for example, the distance to the position indicated by the position information content from the current position, position information content at a height of illustrating, and construction date of the building indicated by the position information content of the position information content update date, information freshness, the number of accesses, access time, recommendation degree, users and services are adopted tag or the like used to categorize. 例えば、所定条件として距離を採用した場合には、アイコンが示す位置情報が、現在の端末地点から近い位置となるほど大きく表示され、アイコンが示す位置情報が、現在の端末地点から近い位置となるほど透明度が小さく表示される。 For example, in the case of employing the distance as the predetermined condition, the icon position information indicated it can be displayed large enough a position close to the current terminal location, location information indicating the icon, transparency as a position close to the current terminal location It is displayed in a small size. すなわち、現在の端末地点から近い位置を示すアイコンほど、大きくはっきりと表示される。 That is, as the icon indicating a position close to the current terminal location is greatly clearly visible. 他方、現在の端末地点から遠い位置を示すアイコンほど、小さくぼやけて(かすんで)表示される。 On the other hand, as the icon indicating a position far from the current terminal location, blurred less (hazy) is displayed. すなわち距離に応じてアイコンの情報量が変更される。 That amount of information icon is changed according to the distance. なお、透明度の表示方法は、従来の3Dレタリング技術を用いてもよいし、明るさや青系統の色を用いて遠近感を表現してもよい。 The display method of transparency may be used conventional 3D lettering techniques, may represent perspective using a color brightness and blue family. このように表示することで、平板に重畳された情報により拡張現実感が損なわれることも防止できる。 By thus displaying may prevent be impaired augmented reality by information superimposed on the flat plate.

しかしながら、図4に示されるように、画面上に表示される拡張現実感情報の量が多くなると、画面が煩雑となり、また、アイコンが重なり合って視認し難くなる。 However, as shown in FIG. 4, when the amount of augmented reality information displayed on the screen increases, the screen is complicated, also become less visible overlap with the icon. さらに、本実施形態では表示部102にタッチパネル機能を設けているが、図4(c)に示した状態で密集したアイコンをタッチして操作することは極めて困難である。 Furthermore, in the present embodiment is provided with the touch panel function on the display unit 102, it is very difficult to operate by touching an icon dense in the state shown in FIG. 4 (c).

そこで、本実施形態では、さらに、図5(a)に示すように重畳する表示位置が近接するアイコン(アイコングループα、β、γ)については、個々のアイコンを表示することなく、図5(b)に示すように、アイコンが密集していることを示す集合グラフィックスオブジェクトとして表示部102に表示させる。 Therefore, in this embodiment, further, the icon display position close to superimpose, as shown in FIG. 5 (a) (the icon group alpha, beta, gamma) for, without displaying the individual icons, Figure 5 ( as shown in b), the icon is displayed on the display unit 102 as a set graphics object indicating that densely. 図5(b)に示すように、ここでの集合グラフィックスオブジェクトは、複数のアイコンが重なり合った図柄のアイコンである。 As shown in FIG. 5 (b), the set graphics object here is the design of the icon overlap multiple icons. このような集合グラフィックスオブジェクトを使用することにより、実空間の映像に拡張現実感情報を表示した画面を図6に示す。 The use of such a set graphics object, showing a screen displaying augmented reality information to the image in the real space in Figure 6. 図6に示されるように、集合グラフィックスオブジェクトを使用することで画面の表示は簡素化され、画面が煩雑化して視認し難くなることを防ぐことができる。 As shown in FIG. 6, the set graphics display screen by using the object is simplified, it is possible to prevent the screen becomes less visible and complicated.

このような集合グラフィックスオブジェクトで表示する対象は、例えば、決定された表示位置に描画するとグラフィックスオブジェクトが重なり合う複数の拡張現実感情報とすることができる。 Such object to be displayed by a set graphics object, for example, when drawn in the determined display position may be a plurality of augmented reality information graphics objects overlap. これによりアイコンが重なり合って視認できなくなることを未然に防止することができる。 Thus it is possible to prevent to become invisible overlap icons. グラフィックスオブジェクトが重なり合うか否かは、実際に個々のグラフィックスオブジェクトを描画してAND条件により検出してもよいし、描画することなく計算により検出してもよい。 Whether graphics objects overlap, it may actually be detected by the individual to draw graphics object AND condition may be detected by calculation without drawing. また、図10(a)に示すように、画面を複数のエリアに分割して管理し、図10(b)に示すように、重畳する表示位置が同じエリアに決定された複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させることもできる。 Further, as shown in FIG. 10 (a), manages the screen is divided into a plurality of areas, as shown in FIG. 10 (b), a plurality of augmented reality display position to be superimposed is determined in the same area It can be displayed on the display unit 102 information as one set graphics object. エリアの分割管理は、投影面を分割管理して行えばよい。 Division management area may be performed by dividing manages projection surface. この場合には、各グラフィックスオブジェクトが重なり合うか判定する必要がないので、重畳する表示位置の近接した拡張現実感情報を検出する負荷を軽減することができる。 In this case, it is not necessary to determine whether each graphic object overlap, it is possible to reduce the load for detecting a proximate augmented reality display position information to be superimposed. また、位置情報(地点情報)が近接している複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させることも可能である。 It is also possible to display on the display unit 102 a plurality of augmented reality information position information (spot information) is proximate a single set graphics object. 図11を用いて詳細を説明する。 It will be described in detail with reference to FIG. 11. 図11は、カメラの撮像方向の地図情報の平面図であって、位置情報コンテンツが示す位置情報を×印で示したものである。 Figure 11 is a plan view of the imaging direction of the map information of the camera shows the position information indicating the position information content × mark. 図11に示すように、×印で示す位置情報コンテンツのうち位置情報が近接する位置情報コンテンツ(点線で囲う部分)を集合グラフィックスオブジェクトとして表示させる。 As shown in FIG. 11, and displays the position information contents position information is proximate of the position information content indicated by × mark (the portion surrounded by a dotted line) as a set graphics object. この場合には、位置情報コンテンツを住所ごとに集合グラフィックスオブジェクトとして表示部102に表示させることができる。 In this case, it is possible to display on the display unit 102 as a set graphics object position information content for each address. なお、この場合には、端末装置から遠距離にある地点に関連付けられた拡張現実感情報の間では、実空間映像における遠近法の効果を考慮して、近接していると判定する範囲を拡大することが好ましい。 In this case, between the augmented reality information associated with a point in the long-distance from the terminal apparatus, in consideration of the effect of perspective in the real space image, enlarged and determining range are close it is preferable to. これにより、位置情報が現在地点から遠い地点を示す位置情報コンテンツほど集合グラフィックスオブジェクトとして表示できるので、画面の複雑化を回避することが可能となる。 Thus, the position information can be displayed as a set graphics object as position information content indicating the furthest away from the current position, it is possible to avoid complication of the screen.

図7(a)は、拡張現実感情報のうち位置情報コンテンツを表示するアイコンについて、そのタイプ毎に絵柄を付した例である。 7 (a) is, the icons for displaying the positional information content of the augmented reality information, an example in which given the pattern for respective types. このようなグラフィックスオブジェクトを使用することで拡張現実感情報の視認性を向上することができる。 It is possible to improve the visibility of the augmented reality information by use of such graphics objects. また、位置情報コンテンツの集合グラフィックスオブジェクトについては、図7(b)に示すように、所定の条件を満たす場所の位置情報コンテンツのタイプに応じた絵柄を付したものとすることができる。 Also, the set graphics object position information content, as shown in FIG. 7 (b), it can be assumed that given the picture for the type of location information content satisfying a predetermined condition locations. 所定の条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。 As the predetermined condition, for example, the distance to the position indicated by the position information content from the current position, position information content at a height of illustrating, and construction date of the building indicated by the position information content of the position information content update date , information freshness, the number of accesses, access time, recommendation degree, user and service tag or the like is adopted to be used to categorize. 例えば、所定条件として距離を採用した場合には、端末装置100に最も近い場所の位置情報コンテンツのタイプに応じた絵柄を付したものとすることができる。 For example, in the case of employing the distance as the predetermined condition can be as denoted by the pattern for the type of location information content closest to the terminal apparatus 100. さらに、集合グラフィックスオブジェクトは、上述した所定の条件でグラフィックスオブジェクトが並べられて表示される。 Furthermore, a set graphics object is displayed in the graphics objects are arranged in a predetermined condition as described above. このように表示されることで、拡張現実感情報の視認性を向上することができるとともに、情報検索を容易とすることが可能となる。 By being thus displayed, it is possible to improve the visibility of the augmented reality information, it becomes possible to facilitate information retrieval.

以上のように、重畳する表示位置が近接した複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させることで、画面が煩雑化して視認し難くなることを防ぐことができる。 As described above, by displaying on the display unit 102 a plurality of augmented reality information display position close to superposed as one set graphics object, it is possible to prevent the screen becomes less visible and complicated . ここで、集合グラフィックスオブジェクトから個々の拡張現実感情報に対するインターフェイスを設計する必要がある。 Here, it is necessary to design the interface for the individual augmented reality information from the set graphics object. 最も簡単な方法は、カーソルを集合グラフィックスオブジェクトに合わせるキー操作をすることで情報のリストが表示部102に表示され、再度キー操作をすることで目的の情報が選択されるインターフェイスとすることである。 The easiest way is a list of information by a key operation to align the cursor to set the graphics object is displayed on the display unit 102, by the interface information of interest is selected by again keystrokes is there. しかし、本実施形態では、タッチパネル機能を備えた表示部102を利用して、以下に示す画面遷移のインターフェイスを提案する。 However, in this embodiment, by using the display unit 102 having a touch panel function, we propose an interface screen transition shown below.

このインターフェイスでは、図6に示した集合アイコンα上をユーザがタッチしたことを検出すると、表示部102に表示される実空間映像はタッチした時点のものに固定され、画面の明度は暗く変更される。 In this interface and on the collecting icon α shown in FIG. 6 the user detects that the user touches, real space image to be displayed on the display unit 102 is fixed to that of the time of the touch, the lightness of the screen is changed darkened that. 同時に他のアイコン等は画面から消去され、集合アイコンαが画面中央に移動される(図8(a))。 At the same time other icons like is erased from the screen, the set icons α is moved to the center of the screen (Fig. 8 (a)). 続いて、集合アイコンαとして表示されている拡張現実感情報の一つ一つを表示するために、各拡張現実感情報に対応したアイコンが表示される。 Subsequently, in order to display one single augmented reality information displayed as a set icon alpha, icons corresponding to each augmented reality information is displayed. ここでは集合アイコンαから各アイコンが回転しながら広がっていくように展開され(図8(b))、距離の近い位置情報コンテンツから順に所定数のアイコンが環状(リング状)に配置される(図8(c))。 Here is expanded as spreads while rotating each icon set icon alpha (FIG. 8 (b)), the distance a predetermined number of icons from the location information content on the order of closeness of is arranged in an annular (ring-shaped) ( Figure 8 (c)).

このようにアイコンを表示した画面に対して、ユーザが表示部102の表面をアイコンのリングに沿ってドラッグ操作することで、画面に表示されたアイコンのリングはドラッグした方向(リングの周方向)に回転し、左方向にドラッグすると先頭のアイコンα1が画面から消え、代わりにα8に続くα9が表示される(図9(a))。 For such a screen displaying icons, the user can further be dragged along with the icon of the ring surface of the display unit 102, direction ring icon displayed on the screen to drag (circumferential direction of the ring) rotates and drags to the left off the top of the icon α1 from the screen, instead following the [alpha] 8 .alpha.9 is displayed (FIG. 9 (a)) to. すなわち、アイコンの回転移動方向および表示位置(リングにおけるアイコンの配置位置)に基づいて入れ替えされるアイコンが決定される。 That is, icons that are replaced on the basis of the rotation direction and the display position of the icon (icon placement position in the ring) is determined. このようなインターフェイスは、集合アイコンαとして表示されている拡張現実感情報が、画面に対して垂直な螺旋の上に距離の近いものから順に並んでいる状態を、螺旋の正面から見た状態としてモデル化したものである。 Such interface is augmented reality information displayed as a set icon α is, a state in which are arranged in order from the close of the distance on the vertical helix to the screen, as when viewed from the front of the spiral it is obtained by modeling. すなわち、実空間の映像と同様にユーザの手前から奥に向かって、拡張現実感情報が近いものから連続的に表示され、ねじを回転させるようにドラッグ操作することでアイコンの表示領域は螺旋上の画面奥へと進む。 That is, similarly to the image of the real space from the front of the user towards the back, are continuously displayed from those augmented reality information is short, the display area of ​​the icon by dragging to rotate the screw spiral on proceeds to the screen back. このようなインターフェイスによれば、ユーザが片手で端末装置100を保持して画面上を親指でドラッグし、親指の届く位置に所望のアイコンを移動させてタッチ操作することにより、片手のみで端末装置100を操作することができる。 According to this interface, the user drags the thumb on the screen by holding the terminal device 100 with one hand, a touch operation by moving a desired icon in the reach of the thumb position, with one hand only by the terminal device it is possible to operate the 100.

また、図8(c)に示す画面を図12(a)に示す画面のように表示してもよい。 It may also be displayed as the screen shown in FIG. 12 (a) the screen shown in Figure 8 (c). 図12に示す画面は、上述した螺旋のモデルを視覚的に表した画面である。 Screen shown in FIG. 12 is a screen a visual representation of the model of the helix as described above. この画面では、アイコンの大きさがアイコンごとに変更されて表示される。 In this screen, the size of the icon is displayed is changed for each icon. また、アイコンの透明度がアイコンごとに変更されて表示されてもよい。 Further, transparency of the icon may be displayed is changed for each icon. 大きさ及び透明度の変更は、所定の条件に従って変更される。 Changing the size and transparency is changed according to a predetermined condition. 所定条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。 As the predetermined condition, for example, the distance to the position indicated by the position information content from the current position, position information content at a height of illustrating, and construction date of the building indicated by the position information content of the position information content update date, information freshness, the number of accesses, access time, recommendation degree, users and services are adopted tag or the like used to categorize. 例えば、所定条件として距離を採用した場合には、位置情報コンテンツが示す位置情報が現在の端末地点から近い位置となるほどアイコンは大きく表示され、位置情報コンテンツが示す位置情報が現在の端末地点から近い位置となるほどアイコンの透明度は小さく表示される。 For example, in the case of employing the distance as the predetermined condition, the icon as position information indicating the position information content is located closer to the current terminal location is displayed larger, the closer to the current terminal location position information indicated by the position information content transparency enough icons the position is displayed small. すなわち、現在の端末地点から近い位置を示す位置情報コンテンツほど、アイコンが大きくはっきりと表示される。 That is, as the position information content indicating the position close to the current terminal location, the icon is larger clearly visible. 他方、現在の端末地点から遠い位置を示す位置情報コンテンツほど、アイコンが小さくぼやけて(かすんで)表示される。 On the other hand, as the position information content indicating the position far from the current terminal point icon blurred small (hazy) is displayed. なお、透明度の表示方法は、従来の3Dレタリング技術を用いてもよいし、明るさや青系統の色を用いて遠近感を表現してもよい。 The display method of transparency may be used conventional 3D lettering techniques, may represent perspective using a color brightness and blue family. そして、所定条件を満たす順にアイコンを並べてリング状に表示することで、アイコンの大きさ及び透明度が周方向に徐々に変化するように表示することができるので、螺旋を示すモデルを視覚的にユーザに提供することが可能となる。 Then, by displaying in a ring shape side-by-side icon to a predetermined condition is satisfied order, it is possible to size and transparency of the icon is displayed so as to gradually change in a circumferential direction, the model indicating the helical visually user it is possible to provide in. そして、図12(b)に示すように、図9(a)に示す画面と同様にドラッグした方向に螺旋を回転させることができる。 Then, as shown in FIG. 12 (b), it is possible to rotate the helix in a direction dragged like the screen shown in Figure 9 (a). 左方向にドラッグすると先頭のアイコンα1が画面から消えるとともにアイコンα2がアイコンα1の表示されていた位置に移動される。 Icon α2 with the top of the icon [alpha] 1 and dragging to the left disappears from the screen is moved to a position that was displayed icon [alpha] 1. そして、アイコンα2の大きさ及び透明度が、先頭に位置したアイコンα1の大きさ及び透明度と同等となるように変更される。 The size and transparency of the icon α2 is changed to be equal to the size and transparency of the icon α1 positioned at the head. このように、リング状のアイコンが螺旋的に表示されることで、時間や距離等を直感的に表現することができる。 In this manner, the ring-shaped icon is helically display, it is possible to intuitively express time and distance, and the like.

また、図8(c)または図9(a)に示した状態で、アイコンの1つをタッチすると、アイコンで表示された拡張現実感情報について利用可能なメニューアイコンのセットがリング状に表示される(図9(b))。 Further, in a state where shown in FIG. 8 (c) or 9 (a), when touching one of the icons, the set of menu icons available for Augmented Reality information displayed by the icon is displayed in ring-shape that (FIG. 9 (b)). この状態でも前記同様に画面をドラッグすることでアイコンをリングに沿って回転させることができる。 An icon by dragging the same manner screen in this state can be rotated along the ring. ただし、図9(b)の画面は固定的なメニュー表示を行うものなので、前述のように回転させながらアイコンを入れ替えることはしない。 However, the screen of FIG. 9 (b) because they are performing fixed menu display and will not be interchanged icon while rotating as described above. メニューアイコンのセットは、画面中央にディスクとして表現されており、表示部102の表面を速くドラッグすることにより次または前のディスク(メニューアイコンのセット)へ画面は遷移する。 Set of menu icons are represented as a disk in the center of the screen, the screen is changed by fast drag surface of the display unit 102 to the next or previous disc (set menu icon). このようにタッチパネル機能を利用した物理的な操作をともなう視覚性および認識性に優れたインターフェイスによって、本実施形態に係る端末装置は優れた拡張現実感をもたらすものである。 This way interface with excellent visual and recognizability with the physical operation using the touch panel function, the terminal device according to the present embodiment is one that results in superior augmented reality.

次に、拡張現実感サーバ300について説明する。 Next, a description will be given of augmented reality server 300. 図13は、本実施形態における拡張現実感サーバ300の機能ブロック図である。 Figure 13 is a functional block diagram of an augmented reality server 300 in this embodiment. この拡張現実感サーバ300は、Webサーバの常駐したサーバシステムであり、主として、通信部301、サーバ制御部310およびユーザDB316を有し、端末装置100からのリクエストを通信網150およびネットワーク200を介して受け付け、必要に応じてネットワーク200に接続された地図情報サーバ351、経路情報サーバ361または位置情報コンテンツサーバ371からデータを取得して、拡張現実感情報として端末装置100にレスポンスする処理を行う。 The augmented reality server 300 is a Web server resident server system, mainly, a communication unit 301 includes a server control unit 310 and the user DB 316, via the communication network 150 and network 200 a request from the terminal device 100 Te accepted, the map information server 351 connected to the network 200 as necessary, acquires data from the route information server 361 or the location information contents server 371 performs a process of a response to the terminal device 100 as augmented reality information.

通信部301は、ネットワークに接続して端末装置100、地図情報サーバ351、経路情報サーバ361および位置情報コンテンツサーバ371といった外部サーバと通信を行うネットワークモジュールであり、公知のものを使用することができる。 The communication unit 301, the terminal device 100 connected to the network, a network module that communicates with an external server such as the map information server 351, the route information server 361 and the location information content server 371 may be a known . ユーザDB316は、拡張現実感サーバ300のシステム領域内にあるデータベースマシンであり、端末装置100から受け付けた端末ID、端末位置情報およびハンドル名を関連付けて記録し、管理する。 User DB316 is a database machine in the system area of ​​the augmented reality server 300, the terminal ID received from the terminal apparatus 100, and recorded in association with the terminal location information and the handle name, to manage.

サーバ制御部310は、不図示のCPUで所定のプログラムを実行することにより仮想的に構成される機能ブロックである。 Server control unit 310 are virtually configured functional blocks by executing a predetermined program by an unshown CPU. サーバ制御部310は、より詳細には、地図情報サーバ351から地図データを取得する地図データ取得部311、経路情報サーバ361から経路データを取得する経路データ取得部312、位置情報コンテンツサーバ371から位置情報コンテンツを取得する位置情報コンテンツ取得部313、およびユーザDB316にアクセスするユーザデータ部315からなっている。 Server control unit 310, more specifically, the map data acquisition unit 311 for acquiring map data from the map information server 351, the route data obtaining unit 312 for obtaining routing data from the route information server 361, the location from the location information contents server 371 It consists user data unit 315 to access the location information content acquisition unit 313, and the user DB316 to obtain information content. これら地図データ取得部311、経路データ取得部312、位置情報コンテンツ取得部313およびユーザデータ部315は、いずれも端末装置100から送信されたリクエストに基づき、対応するCGIプログラムである拡張現実感サーバAPIを呼び出すことにより所定の処理を行うものである。 These map data acquisition unit 311, the route data acquisition unit 312, position information content acquisition unit 313 and the user data portion 315 are all based on the request sent from the terminal apparatus 100, the corresponding augmented reality server API is CGI program It performs predetermined processing by calling. 以下、地図データ取得部311、経路データ取得部312および位置情報コンテンツ取得部313について詳細に説明する。 Hereinafter, the map data acquisition unit 311, the route data acquisition unit 312 and the position information content acquisition unit 313 will be described in detail.

地図データ取得部311は、端末装置100が地図データを要求した場合に呼び出されるAPIであり、端末装置100から送信された端末位置情報を中心とした所定範囲についての地図データを、公開APIを利用して地図情報サーバ351に要求する。 Map data acquisition unit 311 is an API that terminal device 100 is invoked when requested map data, the map data for a predetermined range around the terminal location information transmitted from the terminal apparatus 100, using the public API to request the map information server 351 and. これに応じて地図情報サーバ351が地図情報DB352から対応する地図データを抽出して拡張現実感サーバ300に返却し、拡張現実感サーバ300は取得した地図データを端末装置100で表示可能なデータ形式として端末装置100にリプライする。 In response to this map information server 351 is returned to extract the map data augmented reality server 300 corresponding map information DB 352, displayable data format augmented reality server 300 map data acquired by the terminal apparatus 100 to reply to the terminal device 100 as. この際、端末装置100が地図データをリクエストする際に、地図データの範囲および縮尺をパラメータとして指定している場合には、これらを指定して地図情報サーバ351が公開しているAPIを呼び出す処理を行う。 At this time, when the terminal device 100 requests a map data, if you specify the scope and scale of the map data as a parameter, processing to specify these calls the API that the map information server 351 publishes I do.

経路データ取得部312は、端末装置100が経路データを要求した場合に呼び出されるAPIであり、端末装置100が位置情報取得部101で取得された端末位置情報を始点として、併せて送信された位置情報(地点情報)を終点とした経路データを経路情報サーバ361に要求する。 Route data acquisition unit 312 is an API that is invoked when the terminal apparatus 100 requests the route data, as the starting point the terminal location information acquired by the terminal apparatus 100 is position information acquisition unit 101, the transmitted together position requesting information route data and end point (point information) to the route information server 361. これに応じて経路情報サーバ361が経路情報DB362から対応する経路データを生成して拡張現実感サーバ300に返却し、拡張現実感サーバ300は取得した経路データを端末装置100で対応可能なデータ形式として端末装置100にリプライする。 This route information server 361 generates a corresponding route data from the route information DB362 returned to augmented reality server 300 in response to, augmented reality server 300 compatible data format path data acquired by the terminal apparatus 100 to reply to the terminal device 100 as. この際、経路情報サーバ361が算出して総所要時間、総料金を経路データに付加してリプライしてもよい。 At this time, the total time required to calculate the route information server 361 may reply by adding the total fee to route data.

位置情報コンテンツ取得部313は、端末装置100が位置情報コンテンツを要求した場合に呼び出されるAPIである。 Position information content acquisition unit 313 is an API for the terminal device 100 is invoked when requesting the location information content. ここで、位置情報コンテンツとは、駅、空港、港、バス停、インターチェンジ、サービスエリア、ガソリンスタンド、レストラン、居酒屋、コンビニ、デパート、病院、学校、信号、曲がり角、交差点等について、それらの位置情報(地点情報)と関連付けられた当該施設の情報をいう。 Here, the position information content, stations, airports, ports, bus stop, interchange, service area, gas stations, restaurants, taverns, convenience stores, department stores, hospitals, schools, signal, corner, about the intersection, etc., their location information ( It refers to the information of the facility associated with the location information). 例えば、レストランに関しては、住所、電話番号、ファクス番号、メールアドレス、ホームページURL、紹介文、営業時間情報、店舗画像等を含んだ位置情報コンテンツが、情報サービスプロバイダーの提供するサービスで公開されている。 For example, with respect to the restaurant, address, telephone number, fax number, e-mail address, home page URL, testimonials, business hours information, position information content that includes the store image or the like, have been published in the service provided by the information service provider .

位置情報コンテンツ取得部313は、端末装置100の位置情報取得部101で取得された端末位置情報を中心とした所定距離内に存在する位置情報コンテンツを、情報サービスプロバイダー等により公開されている位置情報コンテンツサーバ371に要求する。 Position information content acquisition unit 313, position information of the position information content present in the predetermined distance around the to terminal location information acquired by the position information acquisition unit 101 of the terminal apparatus 100, published by the information service provider, etc. to request to the content server 371. これに応じて位置情報コンテンツサーバ371が位置情報コンテンツDB372から条件を満たす位置情報コンテンツを抽出したリストを拡張現実感サーバ300に返却し、拡張現実感サーバ300は取得した位置情報コンテンツを端末装置100で利用可能なデータ形式として端末装置100にリプライする。 Returns a list of location information contents server 371 in response to this was extracted satisfies positional information content from the location information content DB372 in augmented reality server 300, the location information content augmented reality server 300 acquired the terminal device 100 in replies to the terminal apparatus 100 as available data formats. この際、位置情報コンテンツ取得部313は、複数の位置情報コンテンツサーバ371に対して位置情報(地点情報)を要求することができ、この場合に拡張現実感サーバ300は複数の位置情報コンテンツサーバ371からのリストを共通フォーマットに統合して端末装置100にリプライする。 At this time, the position information content obtaining unit 313 may request location information (location information) for a plurality of position information content server 371, augmented reality server 300 in this case a plurality of positioning information content server 371 the list from integrated into a common format to reply to the terminal device 100. また、位置情報コンテンツの分野毎に利用する位置情報コンテンツサーバ371を登録しておけば、端末装置100から要求のあった分野についてのみ位置情報コンテンツを要求することも可能である。 Further, if registered location information contents server 371 to be used for each field of location information content, it is also possible to request the location information content only for a disciplines requested by the terminal apparatus 100.

また、ユーザDB316には別の端末装置の端末IDおよび端末位置情報がユーザのハンドル名とともに記録されているが、かかる内容も位置情報(地点情報)と関連付けられたコンテンツであり、他の位置情報コンテンツと等価に取り扱うことができる。 Although the terminal ID and the terminal location information of another terminal apparatus to the user DB316 is recorded with the handle name of the user, a content according content was also associated with the position information (spot information), other location information it can be treated as equivalent to a content. すなわち、位置情報コンテンツ取得部313からユーザデータ部315に対して、端末装置100の現在の端末位置から所定距離内の位置情報(地点情報)に関連付けて記録されているユーザのハンドル名を要求させ、ユーザデータ部がこれに応じてユーザDB316から抽出したハンドル名のリストを拡張現実感サーバ300に返却し、拡張現実感サーバ300から端末装置100へ共通フォーマットでリプライすれば、他の位置情報コンテンツとともにコンテンツとして利用可能である。 That is, the user data unit 315 from the position information content acquisition unit 313, to request the handle name of the user is recorded in association with the positional information within a predetermined distance from the current terminal position of the terminal device 100 (point information) , returns the list of handle names that the user data portion is extracted from the user DB316 accordingly the augmented reality server 300, if the reply in a common format from the augmented reality server 300 to the terminal apparatus 100, another position information content it is available as a content with.

以下、以上のように構成された拡張現実感システム1における端末装置100の動作についてフローチャートを参照しながら説明する。 Hereinafter will be described with reference to a flowchart, the operation of the terminal apparatus 100 in the configuration has been augmented reality system 1 as described above.

図14は、本実施形態における端末装置100側の動作について、起動から拡張現実感情報を表示してユーザによる操作待ちの状態になるまでを示したフローチャートである。 14, the operation of the terminal apparatus 100 in this embodiment is a flowchart showing a until the state of operation waiting for a user by displaying the augmented reality information from the boot.

この動作は、ユーザが端末装置100のキー入力部103を操作して拡張現実感プログラムを起動することにより開始される。 This operation, the user begins by activating the augmented reality program by operating the key input unit 103 of the terminal apparatus 100. まず、カメラ部106および各種センサ(位置情報取得部101および方位センサ104)を起動し、初期画面としてライブビュー表示を開始する(ST101)。 First, start the camera unit 106 and the various sensors (positional information acquisition unit 101 and the azimuth sensor 104), starts a live view displayed as an initial screen (ST 101). ライブビュー表示は、常法にしたがって、起動されたカメラ部106の光学系により取得された被写体像から所定露光時間で受像素子により映像データを生成し、当該データを表示部102に表示させる処理を所定時間間隔で繰り返すことにより行われる。 Live view display in a conventional manner, generates video data by receiver element at a predetermined exposure time from the subject image acquired by the optical system of the camera unit 106 is activated, and displays the data on the display unit 102 process It is performed by repeating at predetermined time intervals. 続いて位置情報取得部101の検出値より端末装置100の現在の端末位置にかかる端末位置情報を取得する(ST102)。 Subsequently acquires the terminal position information according to the current terminal position of the terminal apparatus 100 from the detection value of the position information acquisition section 101 (ST 102).

次に、端末装置100がST102で取得した端末位置情報を拡張現実感サーバ300へ送信して拡張現実感情報をリクエストし(ST103)、拡張現実感サーバ300によりレスポンスされた端末装置100周辺の拡張現実感情報のリストを受信し、記憶部107に記録する(ST104)。 Then transmits the acquired terminal location information terminal apparatus 100 in ST102 to augmented reality server 300 to request the augmented reality information (ST 103), extension of the peripheral terminal device 100 which is a response by the Augmented Reality server 300 receiving a list of reality information is recorded in the storage unit 107 (ST 104).

続いて、ST104で受信したリストの拡張現実感情報について、方位センサ104で検出されたカメラ部106の姿勢および角度の情報およびST102で取得された端末位置情報に基づいて、リストに記載された情報の関連付けられた地点がカメラ部106の視界に入るか否かを個々に判定し、記憶部107に記憶された拡張現実感情報のリストに記録する(ST105)。 Then, the augmented reality information list received in ST 104, based on the obtained terminal location information and orientation and angle information and ST102 of the camera unit 106 which is detected by the azimuth sensor 104, the information on the list point's associated is determined whether or not to enter the field of view of the camera unit 106 individually recorded in the list of stored augmented reality information in the storage unit 107 (ST105). 以下では、記憶部107のリストを参照し、ここでカメラ部106の視界に入るものと判定された拡張現実感情報について処理を行う。 Hereinafter, referring to the list in the storage unit 107 performs processing for where augmented reality information determined to be within the field of view of the camera unit 106.

次に、端末装置100の現在の端末位置を原点とした座標空間に抽出された拡張現実感情報を配置したと想定して、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行うことにより各情報の表示位置を算出する(ST106)。 Next, assuming that arranged augmented reality information extracted in the coordinate space with the origin of the current terminal position of the terminal apparatus 100, the horizontal view angle of the camera a predetermined height of the origin as the center point and perpendicular calculating the display position of each information by performing a process of transmission projection each augmented reality information in a rectangular plane defined at a predetermined distance from the origin based on the direction the viewing angle and the image size (ST 106).

続いて、算出された各情報の表示位置に基づいて、表示位置の間隔が所定値以下となる拡張現実感情報があるか否かを判定し(ST107)、表示位置の間隔が所定値以下となる拡張現実感情報がある場合には当該拡張現実感情報を集合アイコンとして表示し(ST108)、残りの拡張現実感情報を通常のアイコンとして表示する(ST109)。 Then, based on the display position of each information calculated, the interval of the display position is determined whether or not there is augmented reality information equal to or less than a predetermined value (ST 107), the spacing of the display position is equal to or less than a predetermined value If there is augmented reality information made displays the augmented reality information as a set icon (ST 108), and displays the remaining augmented reality information as a normal icon (ST 109). 以上で、実空間の映像に拡張現実感情報を重畳する動作は終了してユーザの操作を待つ動作となる。 Thus, the operation of superimposing the augmented reality information to the image in the real space is the operation of waiting for user operation ends. 終了指示があったか否かを判定し(ST110)、終了指示があったと判定した場合には一連の動作を終了する。 It determines whether there is an end instruction (ST110), and ends the series of operations when it is determined that there is an end instruction. 終了指示があったと判定しない場合には、続いて集合アイコンにタッチする操作がなされたか否かを判定し(ST111)、集合アイコンにタッチする操作がなされていると判定した場合には後述するスパイラルメニューの動作へと進む。 If not determined that the termination instruction is subsequently operation of touching the set icon determines whether or not made (ST111), described below when it is determined that operation of touching the set icon is made spiral It proceeds to the operation of the menu. 一方。 on the other hand. 集合アイコンにタッチする操作がなされていると判定しない場合には、通常のアイコンにタッチする操作がなされたか否かを判定する(ST112)。 If not determined that the operation of touching the set icon is made determines whether or not an operation of touching the normal icon is made (ST 112). 通常のアイコンにタッチする操作がなされていると判定した場合には、後述するディスクメニューの動作へと進む。 When the operation of touching the normal icon is determined to have been made, the process proceeds to the operation of the disc menu, which will be described later. ST112で通常のアイコンにタッチする操作がなされていると判定しない場合には、ST110に戻って以降の動作を繰り返す。 If not determined that the operation of touching the normal icon is made in ST 112, and repeats the subsequent operation returns to ST110.

続いて、起動から拡張現実感情報を表示してユーザによる操作待ちの状態になるまでの別の動作を図15のフローチャートを参照しながら説明する。 Next, with reference to the flowchart of FIG. 15 another operation until the state of operation waiting for a user by displaying the augmented reality information from the boot.

この動作は、まず前記動作と同様に、カメラ部106および各種センサを起動してライブビュー表示を開始し(ST101')、位置情報取得部101が端末位置情報を取得し(ST102')、端末位置情報を拡張現実感サーバ300へ送信して拡張現実感情報をリクエストし(ST103')、拡張現実感サーバ300によりレスポンスされた拡張現実感情報のリストを記憶部107が記録し(ST104')、リストの拡張現実感情報がカメラ部106の視界に入るか否かを判定する(ST105')。 This operation, first as in the operation, and activates the camera unit 106 and the various sensors to start a live view display (ST 101 '), the position information acquisition unit 101 acquires the terminal location information (ST 102'), the terminal send the location information to the augmented reality server 300 to request the augmented reality information (ST 103 '), it has been the list of augmented reality information storage unit 107 to record the response by Augmented reality server 300 (ST 104') , augmented reality information list determines whether or not to enter the field of view of the camera unit 106 (ST105 ').

続いて、記憶部107に記録されたリストのうちカメラ部106の視野角に入ると判定された拡張現実感情報について、その位置情報(地点情報)にかかる地点から端末装置100までの距離をそれぞれ算出して記憶部107のリストに記録する(ST120)。 Then, the augmented reality information determined as falling on the viewing angle of the camera unit 106 of the list recorded in the storage unit 107, the distance from the point according to the position information (spot information) to the terminal device 100, respectively calculating and recording in the list in the storage unit 107 (ST120). 次に、前記動作と同様に各情報の表示位置を算出する(ST121)。 Then, it calculates the display position of each information in the same manner as in the operation (ST121).

この動作では拡張現実感情報のうち位置情報コンテンツを実空間の映像に重畳するにあたり、位置情報(地点情報)にかかる地点が近距離の場合には大きいアイコン(グラフィックスオブジェクト)を描画し、遠距離の場合には小さいアイコン(グラフィックスオブジェクト)を描画することにより、拡張現実感情報に実際の距離に応じて遠近感をもたせ、優れた拡張現実感をもたらすものである。 Upon This operation superimposes the position information content of the augmented reality information to the image in the real space, and draw a large icon (graphics object) if the point according to the position information (spot information) is a short distance, the far by drawing a small icon (graphics object) if the distance, remembering perspective in accordance with the actual distance to the augmented reality information is intended to provide a better augmented reality. したがって、この動作では、距離に応じたサイズのアイコンを表示部102に表示させると、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があるか否かを判定する(ST122)。 Thus, in this operation of determining, when the display size of the icon corresponding to the distance to the display unit 102, whether or not there is an augmented reality information overlapping the icon of another augmented reality information (ST122). ここで、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があると判定した場合には、当該拡張現実感情報を集合アイコンとして表示部102に表示させ(ST123)、続いて残りの情報を距離に応じた通常のアイコンとして表示部102に表示させる(ST124)。 Here, when it is determined that there is augmented reality information overlapping the icon of another augmented reality information, the extended reality information is displayed on the display unit 102 as a set icon (ST123), followed by the rest of the information on the display unit 102 as a normal icon corresponding to the distance (ST124). 一方、ST123で、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があると判定しない場合には、そのまま各拡張現実感情報を距離に応じた通常のアイコンとして表示する(ST124)。 On the other hand, in ST123, if not determined that there is augmented reality information overlapping the icon of another augmented reality information is displayed as a normal icon corresponding intact each augmented reality information on the distance (ST124).

以降、前述の動作と同様にユーザの操作を待つ動作となり、終了指示があったか否かの判定(ST110')、集合アイコンにタッチする操作がなされたか否かの判定(ST111')、通常のアイコンにタッチする操作がなされたか否かの判定(ST112')を繰り返す。 Hereinafter, an operational waiting for user operation as with the above-described operation, the determination of whether there is an end instruction (ST110 '), whether operation of touching the set icon has been performed determination (ST111'), the normal icon repeat is determined whether or not operation of touching is made (ST 112 ') to.

次に、上記ユーザの操作を待っている動作において、ST111またはST111'にて、ユーザが集合アイコンをタッチする操作がなされたものと判定した場合に行われるスパイラルメニュー動作について、図16のフローチャートを参照しながら説明する。 Next, the operation awaiting operation of the user, in ST111 or ST111 ', the spiral menu operation by the user is performed when the control unit 100 determines that the operation of touching the set icon is made, the flow chart of FIG. 16 referring to will be described.

本実施形態のスパイラルメニュー動作においては、ST111またはST111'にてユーザが集合アイコンをタッチする操作がなされたと判定して開始する場合には、まず、表示部102に表示されているライブビュー画像をタッチされた時点でロックするとともに明度を低減する(ST201)。 In spiral menu operations of the present embodiment, when the user starts to determine the operation of touching the set icon has been performed in ST111 or ST111 ', first, a live view image displayed on the display unit 102 reducing the brightness as well as locked in the touched point (ST 201). ここでライブビュー画像をロックするとは、表示部102に表示される実空間の映像をタッチされた時点のものに固定することである。 Here the lock a live view image is to fix those of the time it is touched image of the real space displayed on the display unit 102. このようにすることで、メニュー操作中に端末の姿勢角度が変化しても集合アイコンにかかる拡張現実感情報の関連付けられた地点の映像を表示し続けることができる。 By doing so, it is possible to continue displaying the image of the point's associated augmented reality information even after changing the attitude angle of the terminal during menu operation according to the set icon. また、実空間映像の明度を低減することによりアイコン等の拡張現実感情報をより強調して表示することが可能となる。 Further, it is possible to display the more emphasized the augmented reality information such as an icon by reducing the brightness of the real space image. 続いてタッチされた集合アイコン以外のアイコンを画面から消去し(ST202)、タッチされた集合アイコンを画面中央に移動させる(ST203、図8(a)。)次に、画面中央に移動された集合アイコンを、通常のアイコンを重ね合わせた画像に書き換え、集合アイコンとして表示されていた拡張現実感情報のうち所定個のアイコンを、端末装置100までの距離が近いものから順に画面中央を中心として回転移動させてリング状に展開させて配置する(ST204、図8(b))。 Followed by erasing the touched except set Icon from the screen (ST 202), moving the touched set icon in the center of the screen (ST 203, FIG. 8 (a).) Next, the set that has been moved to the center of the screen rotation icon, rewriting the image obtained by superposing the normal icon, a predetermined number of icons of the augmented reality information displayed as a set icon around the screen center in order of distance to the terminal device 100 is close the moved to be arranged to be deployed in a ring shape (ST 204, Figure 8 (b)). 以上でタッチされた集合アイコンに関するスパイラルメニューが表示部102に表示される。 Spiral menu is displayed on the display unit 102 about the touched set icon above.

以降はスパイラルメニューに対するユーザの入力に応じた処理となる。 And later it is processed in accordance with the input of the user to the spiral menu. まず、アイコンのなすリングの中央部分をタッチする操作等、スパイラルメニュー終了指示として定義された操作がなされたか否かを判定する(ST205)。 First determines an operation such as touching the central portion of the forming ring icon, whether defined operation is performed as a spiral menu termination instruction (ST205). スパイラルメニュー終了指示として定義された操作がなされたと判定した場合には、表示中のメニューをクリアし(ST211)、ライブビュー画像のロックを解除して実空間映像の明度を戻し(ST212)、通常のアイコン、集合アイコンを再表示させて(ST213)、図14のST110または図15のST110'以降の処理でユーザの操作待ちに戻る。 Spiral If the menu operation defined as the end instruction has been determined to have been made, clears the menu being displayed (ST 211), to unlock the live view image return the brightness of the real space image (ST212), usually icon, by re-displaying the set icon (ST 213), returns to the operation waits for the user in ST110 'subsequent processing of ST110 or 15 of Figure 14.

一方、スパイラルメニュー終了指示として定義された操作がなされていないと判定した場合は、まず個々のアイコンに対するタッチ操作がなされたか否かを判定する(ST206)。 On the other hand, when it is determined that the operations defined as a spiral menu termination instruction has not been made, first it determines whether or not a touch operation on each icon is made (ST 206). ST206で個々のアイコンに対するタッチ操作がなされたと判定した場合には、後述するディスクメニュー動作を開始する。 If it is determined that the touch operation has been performed for each icon in ST 206, it starts a disc menu operation to be described later. ST206でタッチ操作がなされたと判定しない場合は、続いて所定のドラッグ操作がなされたか否かを判定する(ST207)。 If not determined that the touch operation has been performed in ST206 is subsequently determines whether or not a predetermined drag operation has been performed (ST207). ここで、所定のドラッグ操作とは、スパイラルメニューに対する入力操作であって、具体的にはスパイラルメニューをなすリング状に配置されたアイコンに沿って回転させるようにドラッグする動作のことである。 Here, the predetermined drag operation, an input operation to the spiral menus, specifically, that the operation of drag to rotate along the icons arranged in a ring which forms a spiral menu. 表示部102のタッチパネル機能によりこのようなドラッグ操作がなされたと判定した場合、続いてドラッグ操作の方向が左方向であるか否かを判定する(ST208)。 When it is determined by the touch panel function of the display unit 102 such a drag operation is performed, followed by the direction of the drag operation determines whether the left (ST208). ドラッグ操作の方向が左方向であると判定した場合には、リング状に配置されているアイコンを左方向へリング状の周方向に回転移動させて、表示されるアイコンを1個ずつ遠距離方向へシフトさせる(ST209)。 If the direction of the drag operation is determined to be leftward, by rotational movement of the icons that are arranged in a ring to the left in a ring-shaped circumferential direction, farther objects one by one icon displayed to shift to (ST209). また、ST208でドラッグ操作の方向が左方向であると判定しない場合には、右方向へドラッグされたものとして、リング状に配置されているアイコンを右方向へリング状の周方向に回転移動させて、表示されたアイコンを1個ずつ近距離方向へシフトさせる(ST210)。 Further, when the direction of the drag operation in ST208 is not determined to be a left direction, as having been dragged to the right, rotate moving the icon that is arranged in a ring to the right in a ring-shaped circumferential direction Te shifts to a close direction one by one displayed icon (ST210). ST209またはST210でアイコンをシフトさせた後、ST207で所定のドラッグ操作がなされたと判定しない場合には、いずれもST205に戻って以上の動作を繰り返す。 After shifting the icon in ST209 or ST210, if not determined that the predetermined drag operation is performed in ST207 are both repeating the above operation returns to ST205.

次に、図14のST112または図15のST112'にて通常のアイコンにタッチする操作がなされたと判定した場合、ならびに図16のST206のスパイラルメニュー動作で個々のアイコンに対するタッチ操作がなされたと判定した場合に行われるディスクメニュー動作について、図17のフローチャートを参照しながら説明する。 Then, if the ST112 or operation of touching a normal icon in ST112 'of FIG. 15 in FIG. 14 is determined to have been made, as well as a touch operation for the individual icon spiral menu operation of ST206 in FIG. 16 is determined to have been made the disc menu operation performed when, with reference to the flowchart of FIG.

このディスクメニュー動作は、個々のアイコンにかかる拡張現実感情報について選択可能なメニューを、表示部102に一度に表示可能な数のセットに配分したディスクメニューとして表示し、表示部102のタッチパネル機能を利用して片手でも容易に操作可能なインターフェイスを提供するものである。 The disc menu operation, a selectable menu for augmented reality information relating to each icon, and appears as a disk menu allocated to display the number of possible sets at a time on the display unit 102, a touch panel function of the display unit 102 even with one hand and use is to provide an easily operable interface.

まず、前述のスパイラルメニューを経ずに図14のST112または図15のST112'からディスクメニュー動作を開始する場合には、まず、前述のST201と同様にライブビュー画像をロックするとともに明度を低減し、タッチされなかったアイコンを消去して(ST250)、タッチされたアイコンを画面中央に移動させる(ST251)。 First, when starting the disc menu operation from ST112 'in ST112 or 15 of Figure 14 without passing through the spiral menu described above, firstly, to reduce the brightness as well as locking the same live view image and ST201 described above erases the icon that has not been touched (ST250), moves the touched icon in the center of the screen (ST251). スパイラルメニュー動作のST206からディスクメニュー動作を開始する場合は、ST251から開始する。 If you want to start the disc menu operations from ST206 of spiral menu operation, to start from the ST251.

続いて、初期メニューディスクのアイコンのセットを、スパイラルメニュー動作のST204と同様の動作でリング状に展開させて配置する(ST252)。 Subsequently, a set of initial menu disk icon is arranged to expand to a ring shape in the same operation as ST204 spiral menu operation (ST252). 以降はディスクメニューに対するユーザの入力に応じた処理となり、まず所定のディスクメニュー終了指示として定義された操作がなされたか否かを判定し(ST253)、終了指示の操作がなされたと判定した場合には表示中のメニューをクリアし(ST254)、集合アイコンが選択された状態であるか否かを判定する(ST265)。 Thereafter becomes processing corresponding to user input for disc menu, it is determined first whether an operation defined as a predetermined disc menu termination instruction has been issued (ST253), if it is determined that operation of the end instruction is made, clear menu being displayed (ST254), and determines whether or not the state set icon is selected (ST265). 集合アイコンが選択されていると判定した場合にはアイコンおよび集合アイコンを再描画してスパイラルメニュー動作のST203に戻り、集合アイコンが選択されていると判定しない場合には図14のST110または図15のST110'に戻る。 Returning to ST203 spiral menu operation when the set icon is determined to have been selected by redrawing the icons and set icon, ST110 or 15 of Figure 14 is when not determined that the set icon is selected Back to the ST110 '.

続いて、現在表示しているディスクメニューのアイコンに対してタッチ操作がなされたか否かを判定し(ST255)、タッチ操作がなされたと判定した場合には当該アイコンに対応した処理を実行する(ST256)。 Subsequently, it is judged whether or not a touch operation on the icon of the disc menu currently displayed is made (ST255), when it is determined that a touch operation has been made to perform the processing corresponding to the icon (ST256 ). 一方、タッチ操作がなされたと判定しない場合には、続いて所定のドラッグ操作がなされたか否かを判定する(ST257)。 On the other hand, when not determined that the touch operation has been performed, subsequently determines whether or not a predetermined drag operation is performed (ST257). ここで、所定のドラッグ操作とは、ディスクメニューに対する入力操作であって、ディスクメニューをなすリング状に配置されたアイコンに沿って回転させるようにドラッグする動作のことである。 Here, the predetermined drag operation, an input operation to the disc menu is that the operation of drag to rotate along the icons arranged in a ring which forms the disc menu. このようなドラッグ操作がなされたと判定した場合、続いてドラッグ操作の方向が左方向であるか否かを判定する(ST258)。 When such drag operation is determined to have been made, followed by the direction of the drag operation determines whether the left (ST258). ドラッグ操作の方向が左方向であると判定した場合、続いてドラッグ操作が低速であったか否かを判定する(ST259)。 When the direction of the drag operation is determined to be left, followed by a drag operation it is determined whether a low speed (ST259). ドラッグ操作が低速であると判定した場合にはディスクメニューとして表示しているアイコンのセットを左へ1個ずつリング状の周方向に回転移動させ(ST260)、ドラッグ操作が低速であると判定しない場合には画面から表示中のアイコンを消去して次のメニューディスクのアイコンセットを表示させ(ST261)、ST253以降の動作を繰り返す。 A set of icons that are displayed by the rotational movement one by one to the left in a ring-shaped circumferential direction disc menu when the drag operation is determined to be the low speed (ST260), does not determine that the drag operation is slow to erase the icon in the display from the screen to display the icon next set of menu disk in the case (ST261), it repeats the operation after ST253. また、ST258でドラッグ操作が左方向と判定しない場合には、続いてドラッグ操作が低速であったか否かを判定する(ST262)。 Further, when the drag operation in ST258 is not determined that the leftward direction, subsequently determines whether the drag operation was slow (ST262). ドラッグ操作が低速であると判定した場合にはディスクメニューとして表示しているアイコンのセットを右へ1個ずつリング状の周方向に回転移動させる(ST263)。 Rotates moves in a circumferential direction of the one by one ring a set of icons which are displayed as a disk menu to the right when the drag operation is determined to be the low speed (ST263). ドラッグ操作が低速であると判定しない場合には画面から表示中のアイコンを消去して前のメニューディスクのアイコンセットを表示させ(ST264)、ST253以降の動作を繰り返す。 If the drag operation is not determined to be slow to display the icon set in the previous menu disc to erase the icon being displayed from the screen (ST264), it repeats the operation after ST253.

図18は、図17に示したディスクメニュー動作において、リング状に並べられたアイコンの中央に表示されるディスクバリエーションのインジケータである。 18, the disc menu operation shown in FIG. 17, an indicator of the disk variations that appear in the center of the icon arranged in a ring shape. 図18に示すように、このディスクメニューは、一例として初期メニュー、コミュニケーション、ナビゲーション、関連ブログに関する操作のメニューアイコンのセットに大別されている。 As shown in FIG. 18, the disc menu, the initial menu, communication, navigation, and is divided into a set of menu icons operations involving blogs as an example. ディスクメニュー動作では、表示中のディスクメニューの種別に応じてインジケータの強調箇所(図中斜線部分)を変更する。 The disc menu operation, to change the indicator emphasis added (hatched portion) in accordance with the type of disc menu being displayed. このため、視認性に優れたインターフェイスが実現される。 Therefore, excellent interface visibility is achieved.

以上のような処理により、本実施形態の端末装置100は、実空間の映像に情報を表示する拡張現実感技術に対応し、表示する情報の量が多くなっても重畳する表示位置の近接した拡張現実感情報を集合グラフィックスオブジェクトとして表示するので、画面の煩雑化を抑制することが可能である。 With the above processing, the terminal device 100 of the present embodiment corresponds to the augmented reality technology to display information to the video of the real space, close the display position that overlaps even when many amount of information to be displayed since displaying the augmented reality information as a set graphics object, it is possible to prevent the complication of the screen. これに加えてスパイラルメニューとディスクメニューによって、タッチパネルを利用した物理的な操作により直感的で視認性に優れた分かりやすいインターフェイスを実現しているので、ユーザエクスペリエンスに優れた拡張現実感を提供することができる。 The spiral menus and disc menu in addition to this, because it realizes an intuitive excellent intuitive interface visibility by physical operation using the touch panel, to provide augmented reality with excellent user experience can. さらに、情報を重畳する対象物と端末装置100との距離に応じて、視覚的または情報量的な遠近感を設けて情報を重畳することができるので、平板に重畳された情報により拡張現実感が損なわれることも防止できる。 Furthermore, the object for superimposing information and in accordance with the distance between the terminal device 100, visual or because the information can superimpose information provided quantitative perspective, augmented reality by information superimposed on the flat plate can also be prevented is impaired.

なお、本発明の端末装置、情報提示システム及び端末画面表示方法は、上記実施形態に限られるものではなく、種々変形が可能である。 The terminal device, the information presentation system and the terminal screen display method of the present invention is not limited to the above embodiments, and various modifications are possible. たとえば上記実施形態ではグラフィックスオブジェクトを丸形のアイコンとした場合を示したが、これに限られるものではなく、角形のアイコンであってもよいし情報バルーンのようなものであっても構わない。 For example, in the above embodiment, showing a case in which the graphics object and round icons is not limited thereto, but may may be a rectangular icons be as information balloon .

また、上記実施形態ではリング状にグラフィックスオブジェクトを展開する例を説明したが、正確なリング状である必要な無く、環状であればよい。 In the above embodiment an example has been described to expand the graphics object in a ring shape, without need a precise ring, may be a cyclic.

また、上記実施形態では、端末装置100の制御部108が拡張現実感情報の表示位置等を決定する処理を行う例を説明したが、拡張現実感サーバ300のサーバ制御部310が拡張現実感情報の表示位置等を決定する処理を行い、結果のみを端末装置100へ返すように構成してもよい。 Further, in the above embodiment, the control unit 108 of the terminal apparatus 100 has been described an example of performing processing for determining the display position of the augmented reality information, the server control unit 310 of the augmented reality server 300 augmented reality information It performs a process of determining the display position and the like, may be configured to return results only to the terminal device 100.

また、上記実施形態では、リング状に表示させたグラフィックスオブジェクトをドラッグするユーザ操作を検出し、左方向であるか否かを判定する場合(ST208)を例に説明したが、図17のST259、ST262に示すように、ドラッグの速度に応じて表示アイコンの全てを入れ替える処理を実行してもよい。 In the above embodiment, detects a user operation to drag the graphic object that is displayed in the form of a ring, it has been described a case where determining whether a left direction (ST208) Examples, ST259 in FIG. 17 , as shown in ST262, it may perform the process of replacing all the display icons according to the speed of the drag.

また、上記実施形態では、サーバの機能を呼び出す際、機能をCGIで構築しその呼び出しをAPIとしているが、その手法は他のプロトコルや、分散オブジェクトなど、いかなるアプリケーション間の通信手段で構成してもよい。 In the above embodiment, when calling the functions of the server, although the API was the call build feature in CGI, the technique and other protocols, such as distributed object, constituted by a means of communication between any application it may be.

また、上記実施形態では、表示部102がタッチパネル機能を備える例を説明したが、これに限られるものではなく、ユーザの操作を検出する機能を端末装置100が有していればよい。 Further, in the above embodiment, the display unit 102 has been described an example in which a touch panel function is not limited to this, a function of detecting the operation of the user has only to have the terminal apparatus 100. 例えば、タッチパネル機能に替えて、ポインティングデバイス、十字キー、テンキー等のハードウェアボタンによる画面操作を検出する構成としてもよい。 For example, instead of the touch panel function, a pointing device, a cross key may be configured to detect the screen operation by hardware buttons such as a numeric keypad.

1…拡張現実感システム(情報提示システム)、100…端末装置、101…位置情報取得部、102…表示部、103…キー入力部、104…方位センサ、105…通信部、106…カメラ部、107…記憶部、108…制御部。 1 ... Augmented Reality system (information presentation system), 100 ... terminal apparatus, 101 ... position information acquisition unit, 102 ... display unit, 103 ... key input unit, 104 ... orientation sensor, 105 ... communication unit, 106 ... camera unit, 107 ... storage unit, 108 ... control unit.

Claims (17)

  1. 実空間の映像を取得するカメラ部と、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、前記各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、前記制御部は、前記カメラ部により取得された実空間の前記映像を前記表示部に表示させるとともに、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させる処理を行う端末装置であって、 A camera unit for acquiring an image of the real space, and a display unit for displaying a screen, realizing a storage unit which stores augmented reality information associated with the position information, an information processing function to control the operation of the respective units and a control unit, the image of real space acquired by the camera unit causes display on the display unit, and determines the display position of the graphics object corresponding to the augmented reality information, a terminal apparatus for performing a process of the graphics object on the image of the real space superimposed on the display position is drawn on the display unit,
    前記制御部は、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うこと、 Wherein the control unit, a plurality of the augmented reality information which the display position is proximate, the performing a process of displaying on the display unit as one set graphics object,
    を特徴とする端末装置。 Terminal device according to claim.
  2. 前記制御部は、前記表示位置で描画させるとグラフィックスオブジェクトが重なり合う複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴とする請求項1に記載の端末装置。 Wherein the control unit claims, characterized in that to perform said when the rendered in the display position the plurality of the augmented reality information graphics object overlap, it is displayed on the display unit as one of said set graphics object processing terminal device according to 1.
  3. 前記制御部は、前記画面を複数のエリアに分割して管理し、前記表示位置が同じエリアとなる複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴とする請求項1に記載の端末装置。 The control unit manages by dividing the screen into a plurality of areas, a plurality of the augmented reality information which the display position is the same area, to be displayed on the display unit as one of said set graphics object processing terminal device according to claim 1, wherein the performing.
  4. 前記制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が近接している複数の前記拡張現実感情報を1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴とする請求項1に記載の端末装置。 Wherein the control unit, the extended said is associated with reality information based on the position information to determine the display position, one of said set graphics a plurality of augmented reality information the location information is close terminal device according to claim 1, wherein the performing processing for displaying on the display unit as an object.
  5. 前記制御部は、現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど前記位置情報が近接していると判定する範囲を拡大することを特徴とする請求項4に記載の端末装置。 Terminal according to claim 4 wherein the control unit, characterized in that expanding the the determining range distance from the current location is proximate said position information about the Augmented Reality information associated with a point far apparatus.
  6. 前記制御部は、前記拡張現実感情報の種類に応じた前記グラフィックスオブジェクトを前記表示部に描画させる処理を行い、 Wherein the control unit performs a process of drawing the graphics object corresponding to the type of the augmented reality information on the display unit,
    前記集合グラフィックスオブジェクトは、所定の条件で並べられた複数の前記グラフィックスオブジェクトが重なり合った形状であることを特徴とする請求項1〜5の何れか1項に記載の端末装置。 The set graphics object, the terminal device according to any one of claims 1 to 5, wherein the plurality of graphics objects arranged in a predetermined condition is overlapped shape.
  7. 前記制御部は、前記集合グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該集合グラフィックスオブジェクトとして前記表示部に表示させている複数の前記拡張現実感情報の前記グラフィックスオブジェクトを、環状に並べて前記表示部に表示させる処理を行うことを特徴とする請求項1〜6の何れか1項に記載の端末装置。 Wherein, when detecting a user operation of selecting the set graphics object, the graphics object of the plurality of the augmented reality information being displayed on the display unit as the set graphics object the terminal apparatus according to any one of claims 1 to 6, characterized in that performing the processing of displaying on the display unit side by side annularly.
  8. 前記制御部は、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させている前記拡張現実感情報の数が、環状に並べて一度に表示可能な前記グラフィックスオブジェクトの数よりも多い場合には、表示可能な数だけ環状に並べられた前記グラフィックスオブジェクトを前記表示部に表示させ、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作を検出した場合には、環状に並べた前記グラフィックスオブジェクトそれぞれを周方向に沿って回転移動させるとともに、表示されているグラフィックスオブジェクトを入れ替える処理を行うことを特徴とする請求項7に記載の端末装置。 Wherein, when the number of the augmented reality information being displayed on the display unit as one of said set graphics object is larger than the number of side by side in an annular viewable said graphics objects at a time , the graphics object is annularly as many displayable are displayed on the display unit, when detecting the operation of demonstrating the user movement direction of said graphics objects arranged in annular, annularly is rotated moves along each said graphics objects arranged in the circumferential direction, the terminal device according to claim 7, characterized in that the process to replace the graphics objects displayed.
  9. 前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることを特徴とする請求項7又は8に記載の端末装置。 Wherein, when a plurality of the graphics object of the augmented reality information performs a process of displaying on the display unit side by side in an annular, change the size of the graphics object on the basis of a predetermined condition terminal device according to claim 7 or 8, characterized in that to be displayed on the display unit Te.
  10. 前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの透明度を変更して前記表示部に表示させることを特徴とする請求項7〜9の何れか1項に記載の端末装置。 Wherein, when a plurality of the graphics object of the augmented reality information performs a process of displaying on the display unit side by side in an annular, change the transparency of the graphics object on the basis of a predetermined condition terminal device according to any one of claims 7-9, characterized in that to be displayed on the display unit.
  11. 前記制御部は、所定の条件を満たす前記拡張現実感情報の前記グラフィックスオブジェクトを、前記集合グラフィックスオブジェクトの先頭に位置するように前記表示部に表示させることを特徴とする請求項1〜10の何れか1項に記載の端末装置。 Wherein the control unit, according to claim 10, characterized in that displaying the said graphics object satisfies a predetermined condition the augmented reality information, on the display unit so as to be positioned at the head of the set graphics object terminal device according to any one of.
  12. 前記制御部は、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作として前記グラフィックスオブジェクトに沿ってドラッグするユーザの操作を検出した場合であって、ドラッグするユーザの操作が閾値より低速である場合には表示されている前記グラフィックスオブジェクトを1個ずつ入れ替え、閾値以上の高速である場合には表示されている前記グラフィックスオブジェクトを全て入れ替える処理を行うことを特徴とする請求項7〜11の何れか1項に記載の端末装置。 Wherein, in a case of detecting a user operation to drag along said graphics objects moving direction as an operation for demonstrating the user of the graphics objects arranged in an annular, operation of the user to drag the interchanging the graphics object that is displayed if a slower than the threshold value one by one, and performs the process to replace all the graphics objects displayed if it is faster than the threshold value terminal device according to any one of claims 7-11.
  13. 前記制御部は、前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる前記拡張現実感情報について、実行可能な処理を表示する前記グラフィックスオブジェクトを環状に並ぶように前記表示部に表示させ、 Wherein, when detecting a user operation for selecting the graphics object, for the augmented reality information relating to the graphics object, arranged said graphics object for displaying the executable processing annularly the is displayed on the display unit as,
    環状に並んで表示された前記グラフィックスオブジェクトのうち1つの前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる処理を行うことを特徴とする請求項1〜12の何れか1項に記載の端末装置。 When detecting a user operation for selecting one of said graphics objects among the graphics objects displayed alongside annularly claim 1, characterized in that performing such processing to the graphics object terminal device according to any one of 12.
  14. 前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることを特徴とする請求項1〜13の何れか1項に記載の端末装置。 The control unit, the on augmented reality information, any one of the preceding claims, characterized in that to be displayed on the display unit by changing the size of the graphics object on the basis of a predetermined condition terminal device according to.
  15. 前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの情報量を変更して前記表示部に表示させることを特徴とする請求項1〜14の何れか1項に記載の端末装置。 The control unit, the on augmented reality information, any one of claims 1 to 14, characterized in that to be displayed on the display unit by changing the amount of information of the graphics object on the basis of a predetermined condition terminal device according to.
  16. 表示部により画面を表示する端末装置と、 A terminal device for displaying a screen by the display unit,
    前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、 A server having a terminal device and configured to communicate with, augmented reality information associated with the positional information,
    を備える情報提示システムであって、 An information presentation system comprising a,
    前記サーバは、実空間の映像を前記表示部に表示させ、前記端末装置の位置情報に基づいて、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させるとともに、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うサーバ制御部を備えること、 Wherein the server, the image of the real space is displayed on the display unit, based on the position information of the terminal device, determines the display position of the graphics object corresponding to the augmented reality information, to the image of the real space causes drawn on the display unit superimposes the graphics object on the display position, a plurality of the augmented reality information which the display position is proximate, the process of displaying on the display unit as one set graphics object providing the server control unit that performs,
    を特徴とする情報提示システム。 Information presentation system according to claim.
  17. カメラ部により取得された実空間の映像に、位置情報に関連付けられた拡張現実感情報と対応するグラフィックスオブジェクトを重畳して表示部に描画させる端末画面表示方法であって、 The image of the real space acquired by the camera unit, a terminal screen display method for drawing on the display section by superimposing a graphics object that corresponds to the augmented reality information associated with the positional information,
    前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定する表示位置決定ステップと、 A display position determining step of determining a display position of the graphics object corresponding to the augmented reality information,
    複数の前記グラフィックスオブジェクトの前記表示位置が近接するか否かを判定する近接判定ステップと、 A proximity determining whether the display position of a plurality of the graphics object are close,
    前記表示位置が近接する場合には、複数の前記拡張現実感情報を1つの集合グラフィックスオブジェクトとして前記表示部に表示させる表示ステップと、 Wherein when the display position is proximate includes a display step of displaying on the display unit a plurality of the augmented reality information as one set graphics object,
    を備えることを特徴とする端末画面表示方法。 Terminal screen display method comprising: a.
JP2009087204A 2009-03-31 2009-03-31 Terminal, the information presentation system and the terminal screen display method Active JP5315111B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009087204A JP5315111B2 (en) 2009-03-31 2009-03-31 Terminal, the information presentation system and the terminal screen display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009087204A JP5315111B2 (en) 2009-03-31 2009-03-31 Terminal, the information presentation system and the terminal screen display method

Publications (2)

Publication Number Publication Date
JP2010238098A true true JP2010238098A (en) 2010-10-21
JP5315111B2 JP5315111B2 (en) 2013-10-16

Family

ID=43092341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009087204A Active JP5315111B2 (en) 2009-03-31 2009-03-31 Terminal, the information presentation system and the terminal screen display method

Country Status (1)

Country Link
JP (1) JP5315111B2 (en)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080385A1 (en) * 2009-12-29 2011-07-07 Nokia Corporation Method and apparatus for decluttering a mapping display
JP2011257865A (en) * 2010-06-07 2011-12-22 Ntt Docomo Inc Object display device, and object display method
WO2012038585A1 (en) * 2010-09-23 2012-03-29 Nokia Corporation Methods, apparatuses and computer program products for grouping content in augmented reality
WO2012059627A1 (en) * 2010-11-04 2012-05-10 Nokia Corporation Method and apparatus for annotating point of interest information
JP2012108842A (en) * 2010-11-19 2012-06-07 Konica Minolta Holdings Inc Display system, display processing device, display method, and display program
WO2012098872A1 (en) * 2011-01-18 2012-07-26 京セラ株式会社 Mobile terminal and method for controlling mobile terminal
JP2012155678A (en) * 2011-01-28 2012-08-16 Konica Minolta Holdings Inc Display system, display processing apparatus, display method and display program
EP2506222A2 (en) 2011-03-31 2012-10-03 Sony Corporation Augmented reality apparatus, method and program
JP2012198668A (en) * 2011-03-18 2012-10-18 Ns Solutions Corp Information processing device, augmented reality provision method and program
JP2012199824A (en) * 2011-03-22 2012-10-18 Kyocera Corp Photographing device, control method, and virtual information display program
JP2012205153A (en) * 2011-03-25 2012-10-22 Kyocera Corp Photographing device, control method, and virtual information display program
JP2013120606A (en) * 2011-12-08 2013-06-17 Samsung Electronics Co Ltd Apparatus and method for content display in mobile terminal
WO2013088637A2 (en) 2011-12-14 2013-06-20 Sony Corporation Information processing device, information processing method and program
JP2013129352A (en) * 2011-12-22 2013-07-04 Panasonic Corp In-vehicle display system
WO2013118373A1 (en) 2012-02-10 2013-08-15 ソニー株式会社 Image processing apparatus, image processing method, and program
WO2013050953A3 (en) * 2011-10-04 2013-09-12 Nokia Corporation Methods, apparatuses, and computer program products for restricting overlay of an augmentation
FR2987924A1 (en) * 2012-03-08 2013-09-13 Schneider Electric Ind Sas Human-machine interface generating method for use in mobile terminal e.g. tablet, involves displaying user interface component, and locating display of graphical user interface on periphery of detected position of finger
WO2013153740A2 (en) 2012-04-11 2013-10-17 Sony Corporation Information processing apparatus, display control method, and program
US20130321269A1 (en) * 2012-06-01 2013-12-05 Nokia Corporation Displaying elements
JP2014006582A (en) * 2012-06-21 2014-01-16 Yahoo Japan Corp Augmented reality display device, augmented reality display system, augmented reality display method and augmented reality display program
JP2014502740A (en) * 2010-12-10 2014-02-03 サムスン エレクトロニクス カンパニー リミテッド Screen display method and apparatus of a portable terminal provided with the touch screen
JP2014026675A (en) * 2012-06-15 2014-02-06 Sharp Corp Information distribution system
JP2014071537A (en) * 2012-09-27 2014-04-21 Sharp Corp Information processor and method for controlling the same
WO2014073346A1 (en) 2012-11-09 2014-05-15 ソニー株式会社 Information processing device, information processing method, and computer-readable recording medium
WO2014073345A1 (en) 2012-11-09 2014-05-15 ソニー株式会社 Information processing device, information processing method and computer-readable recording medium
JP2014102812A (en) * 2012-11-19 2014-06-05 Wikipad Inc Virtual multiple sided virtual rotatable user interface icon queue
JP2014203153A (en) * 2013-04-02 2014-10-27 パイオニア株式会社 The display control device
JP2014241602A (en) * 2014-07-24 2014-12-25 京セラ株式会社 Portable terminal, lock state control program and lock state control method
US9058686B2 (en) 2010-12-07 2015-06-16 Casio Computer Co., Ltd. Information display system, information display apparatus, information provision apparatus and non-transitory storage medium
JP2015138445A (en) * 2014-01-23 2015-07-30 富士通株式会社 Display control method, information processing device, and display control program
JP2015179537A (en) * 2015-05-21 2015-10-08 新日鉄住金ソリューションズ株式会社 Information processor, augmented reality provision method and program
US9201498B2 (en) 2010-12-07 2015-12-01 Casio Computer Co., Ltd. Information display system, information display apparatus and non-transitory storage medium
JP2016018367A (en) * 2014-07-08 2016-02-01 沖電気工業株式会社 Information processing apparatus, information processing method, and program
JP2016028340A (en) * 2015-10-02 2016-02-25 ソニー株式会社 Image processor, image processing method, and program
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
CN105531756A (en) * 2013-09-17 2016-04-27 索尼公司 Information processing device, information processing method, and computer program
US9373195B2 (en) 2011-03-31 2016-06-21 Sony Corporation Display control device, display control method, and program
US9467544B2 (en) 2010-08-27 2016-10-11 Kyocera Corporation Mobile terminal, lock state control program for mobile terminal, and a method for controlling lock state of mobile terminal
WO2016189791A1 (en) * 2015-05-26 2016-12-01 ソニー株式会社 Display device, information processing system, and control method
US9626806B2 (en) 2011-10-27 2017-04-18 Sony Corporation Image processing apparatus, image processing method, and program
JP2017108401A (en) * 2010-11-04 2017-06-15 ディジマーク コーポレイション Smartphone-based method and system
WO2017104198A1 (en) * 2015-12-14 2017-06-22 ソニー株式会社 Information processing device, information processing method, and program
WO2017169909A1 (en) * 2016-03-29 2017-10-05 日本電気株式会社 Work assistance device, wearable terminal, work assistance method, and recording medium

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03246614A (en) * 1990-02-23 1991-11-05 Seiko Epson Corp Menu selection system
JPH05216611A (en) * 1991-10-28 1993-08-27 Internatl Business Mach Corp <Ibm> Method for displaying plural objects from menu of data processing system and device for the same
JPH08115192A (en) * 1994-10-17 1996-05-07 Hitachi Ltd Data editing processing method and system
JP2001125702A (en) * 1999-10-29 2001-05-11 Nippon Telegraph & Telephone West Corp Display control method
JP2002157077A (en) * 2000-09-11 2002-05-31 Matsushita Electric Ind Co Ltd Coordinate input device, and mobile information equipment provided therewith
JP2002163670A (en) * 2000-11-24 2002-06-07 Mixed Reality Systems Laboratory Inc Device for presenting combined sense of reality and its controlling method
JP2002340588A (en) * 2001-03-16 2002-11-27 Alpine Electronics Inc Navigation system and poi-icon display method
JP2003330586A (en) * 2002-05-13 2003-11-21 Kyocera Corp Display control device, personal digital assistant device display control information and display control method
JP2003337041A (en) * 2002-05-17 2003-11-28 Sony Corp Map display system, method for displaying map and program
JP2004138581A (en) * 2002-10-21 2004-05-13 Matsushita Electric Ind Co Ltd Map display, and method of displaying map
JP2005148782A (en) * 2003-11-11 2005-06-09 Fuji Xerox Co Ltd Image display device, image display program and image display method
JP2006091390A (en) * 2004-09-24 2006-04-06 Mitsubishi Electric Corp Information display system and method, program and information display terminal device for making computer perform information display method
JP2007278807A (en) * 2006-04-05 2007-10-25 Access Co Ltd Information displaying device

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03246614A (en) * 1990-02-23 1991-11-05 Seiko Epson Corp Menu selection system
JPH05216611A (en) * 1991-10-28 1993-08-27 Internatl Business Mach Corp <Ibm> Method for displaying plural objects from menu of data processing system and device for the same
JPH08115192A (en) * 1994-10-17 1996-05-07 Hitachi Ltd Data editing processing method and system
JP2001125702A (en) * 1999-10-29 2001-05-11 Nippon Telegraph & Telephone West Corp Display control method
JP2002157077A (en) * 2000-09-11 2002-05-31 Matsushita Electric Ind Co Ltd Coordinate input device, and mobile information equipment provided therewith
JP2002163670A (en) * 2000-11-24 2002-06-07 Mixed Reality Systems Laboratory Inc Device for presenting combined sense of reality and its controlling method
JP2002340588A (en) * 2001-03-16 2002-11-27 Alpine Electronics Inc Navigation system and poi-icon display method
JP2003330586A (en) * 2002-05-13 2003-11-21 Kyocera Corp Display control device, personal digital assistant device display control information and display control method
JP2003337041A (en) * 2002-05-17 2003-11-28 Sony Corp Map display system, method for displaying map and program
JP2004138581A (en) * 2002-10-21 2004-05-13 Matsushita Electric Ind Co Ltd Map display, and method of displaying map
JP2005148782A (en) * 2003-11-11 2005-06-09 Fuji Xerox Co Ltd Image display device, image display program and image display method
JP2006091390A (en) * 2004-09-24 2006-04-06 Mitsubishi Electric Corp Information display system and method, program and information display terminal device for making computer perform information display method
JP2007278807A (en) * 2006-04-05 2007-10-25 Access Co Ltd Information displaying device

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080385A1 (en) * 2009-12-29 2011-07-07 Nokia Corporation Method and apparatus for decluttering a mapping display
JP2011257865A (en) * 2010-06-07 2011-12-22 Ntt Docomo Inc Object display device, and object display method
US10051472B2 (en) 2010-08-27 2018-08-14 Kyocera Corporation Mobile terminal, lock state control program for mobile terminal, and a method for controlling lock state of mobile terminal
US9467544B2 (en) 2010-08-27 2016-10-11 Kyocera Corporation Mobile terminal, lock state control program for mobile terminal, and a method for controlling lock state of mobile terminal
US9642011B2 (en) 2010-08-27 2017-05-02 Kyocera Corporation Mobile terminal, lock state control program for mobile terminal, and a method for controlling lock state of mobile terminal
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
JP2013543170A (en) * 2010-09-23 2013-11-28 ノキア コーポレイション How to group the content in augmented reality, devices and computer program product
WO2012038585A1 (en) * 2010-09-23 2012-03-29 Nokia Corporation Methods, apparatuses and computer program products for grouping content in augmented reality
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
WO2012059627A1 (en) * 2010-11-04 2012-05-10 Nokia Corporation Method and apparatus for annotating point of interest information
JP2017108401A (en) * 2010-11-04 2017-06-15 ディジマーク コーポレイション Smartphone-based method and system
US8952983B2 (en) 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
JP2012108842A (en) * 2010-11-19 2012-06-07 Konica Minolta Holdings Inc Display system, display processing device, display method, and display program
US9058686B2 (en) 2010-12-07 2015-06-16 Casio Computer Co., Ltd. Information display system, information display apparatus, information provision apparatus and non-transitory storage medium
US9201498B2 (en) 2010-12-07 2015-12-01 Casio Computer Co., Ltd. Information display system, information display apparatus and non-transitory storage medium
JP2014502740A (en) * 2010-12-10 2014-02-03 サムスン エレクトロニクス カンパニー リミテッド Screen display method and apparatus of a portable terminal provided with the touch screen
US9405454B2 (en) 2010-12-10 2016-08-02 Samsung Electronics Co., Ltd. Method and system for displaying screens on the touch screen of a mobile device
CN103262016B (en) * 2010-12-10 2017-10-27 三星电子株式会社 The screen display method and a device on the touch screen of the mobile device
WO2012098872A1 (en) * 2011-01-18 2012-07-26 京セラ株式会社 Mobile terminal and method for controlling mobile terminal
JP5661808B2 (en) * 2011-01-18 2015-01-28 京セラ株式会社 Method of controlling a mobile terminal and a mobile terminal
JP2012155678A (en) * 2011-01-28 2012-08-16 Konica Minolta Holdings Inc Display system, display processing apparatus, display method and display program
JP2012198668A (en) * 2011-03-18 2012-10-18 Ns Solutions Corp Information processing device, augmented reality provision method and program
US9454300B2 (en) 2011-03-22 2016-09-27 Kyocera Corporation Device, control method, and storage medium storing program
JP2012199824A (en) * 2011-03-22 2012-10-18 Kyocera Corp Photographing device, control method, and virtual information display program
JP2012205153A (en) * 2011-03-25 2012-10-22 Kyocera Corp Photographing device, control method, and virtual information display program
EP2506222A2 (en) 2011-03-31 2012-10-03 Sony Corporation Augmented reality apparatus, method and program
US9373195B2 (en) 2011-03-31 2016-06-21 Sony Corporation Display control device, display control method, and program
US8811667B2 (en) 2011-03-31 2014-08-19 Sony Corporation Terminal device, object control method, and program
WO2013050953A3 (en) * 2011-10-04 2013-09-12 Nokia Corporation Methods, apparatuses, and computer program products for restricting overlay of an augmentation
US9418292B2 (en) 2011-10-04 2016-08-16 Here Global B.V. Methods, apparatuses, and computer program products for restricting overlay of an augmentation
US9704297B2 (en) 2011-10-27 2017-07-11 Sony Corporation Image processing apparatus, image processing method, and program
US9626806B2 (en) 2011-10-27 2017-04-18 Sony Corporation Image processing apparatus, image processing method, and program
US10068382B2 (en) 2011-10-27 2018-09-04 Sony Corporation Image processing apparatus, image processing method, and program
JP2013120606A (en) * 2011-12-08 2013-06-17 Samsung Electronics Co Ltd Apparatus and method for content display in mobile terminal
WO2013088637A2 (en) 2011-12-14 2013-06-20 Sony Corporation Information processing device, information processing method and program
US9378570B2 (en) 2011-12-14 2016-06-28 Sony Corporation Information processing device, information processing method and program
JP2013129352A (en) * 2011-12-22 2013-07-04 Panasonic Corp In-vehicle display system
WO2013118373A1 (en) 2012-02-10 2013-08-15 ソニー株式会社 Image processing apparatus, image processing method, and program
JPWO2013118373A1 (en) * 2012-02-10 2015-05-11 ソニー株式会社 Image processing apparatus, image processing method, and program
US9268410B2 (en) 2012-02-10 2016-02-23 Sony Corporation Image processing device, image processing method, and program
FR2987924A1 (en) * 2012-03-08 2013-09-13 Schneider Electric Ind Sas Human-machine interface generating method for use in mobile terminal e.g. tablet, involves displaying user interface component, and locating display of graphical user interface on periphery of detected position of finger
US9823821B2 (en) 2012-04-11 2017-11-21 Sony Corporation Information processing apparatus, display control method, and program for superimposing virtual objects on input image and selecting an interested object
WO2013153740A2 (en) 2012-04-11 2013-10-17 Sony Corporation Information processing apparatus, display control method, and program
US20130321269A1 (en) * 2012-06-01 2013-12-05 Nokia Corporation Displaying elements
US9518836B2 (en) 2012-06-01 2016-12-13 Here Global B.V. Displaying elements
WO2013178567A1 (en) * 2012-06-01 2013-12-05 Navteq B.V. Displaying elements
JP2014026675A (en) * 2012-06-15 2014-02-06 Sharp Corp Information distribution system
JP2014006582A (en) * 2012-06-21 2014-01-16 Yahoo Japan Corp Augmented reality display device, augmented reality display system, augmented reality display method and augmented reality display program
JP2014071537A (en) * 2012-09-27 2014-04-21 Sharp Corp Information processor and method for controlling the same
WO2014073345A1 (en) 2012-11-09 2014-05-15 ソニー株式会社 Information processing device, information processing method and computer-readable recording medium
WO2014073346A1 (en) 2012-11-09 2014-05-15 ソニー株式会社 Information processing device, information processing method, and computer-readable recording medium
US9933848B2 (en) 2012-11-09 2018-04-03 Sony Corporation Information processing apparatus, information processing method for controlling display of virtual object
US9632593B2 (en) 2012-11-09 2017-04-25 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
US9753534B2 (en) 2012-11-09 2017-09-05 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
JP2014102812A (en) * 2012-11-19 2014-06-05 Wikipad Inc Virtual multiple sided virtual rotatable user interface icon queue
JP2014203153A (en) * 2013-04-02 2014-10-27 パイオニア株式会社 The display control device
CN105531756A (en) * 2013-09-17 2016-04-27 索尼公司 Information processing device, information processing method, and computer program
JP2015138445A (en) * 2014-01-23 2015-07-30 富士通株式会社 Display control method, information processing device, and display control program
JP2016018367A (en) * 2014-07-08 2016-02-01 沖電気工業株式会社 Information processing apparatus, information processing method, and program
JP2014241602A (en) * 2014-07-24 2014-12-25 京セラ株式会社 Portable terminal, lock state control program and lock state control method
JP2015179537A (en) * 2015-05-21 2015-10-08 新日鉄住金ソリューションズ株式会社 Information processor, augmented reality provision method and program
JP2016218981A (en) * 2015-05-26 2016-12-22 ソニー株式会社 Display device, information processing system, and control method
WO2016189791A1 (en) * 2015-05-26 2016-12-01 ソニー株式会社 Display device, information processing system, and control method
JP2016028340A (en) * 2015-10-02 2016-02-25 ソニー株式会社 Image processor, image processing method, and program
WO2017104198A1 (en) * 2015-12-14 2017-06-22 ソニー株式会社 Information processing device, information processing method, and program
WO2017169909A1 (en) * 2016-03-29 2017-10-05 日本電気株式会社 Work assistance device, wearable terminal, work assistance method, and recording medium

Also Published As

Publication number Publication date Type
JP5315111B2 (en) 2013-10-16 grant

Similar Documents

Publication Publication Date Title
US7945546B2 (en) Local search and mapping for mobile devices
US6288704B1 (en) Motion detection and tracking system to control navigation and display of object viewers
US20100315417A1 (en) Mobile terminal and display controlling method thereof
US20020075323A1 (en) System and method for using real-world images for providing routing directions
US20100031186A1 (en) Accelerated Panning User Interface Interactions
US20020024506A1 (en) Motion detection and tracking system to control navigation and display of object viewers
US20090280863A1 (en) Mobile terminal and method for displaying menu on the same
US20100328344A1 (en) Method and apparatus for an augmented reality user interface
US8068121B2 (en) Manipulation of graphical objects on a display or a proxy device
US20120001939A1 (en) Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
US20090113296A1 (en) Displaying a map and associated symbolic context information
US8698843B2 (en) Range of focus in an augmented reality application
US20120098754A1 (en) Mobile terminal having an image projector module and controlling method therein
US8493408B2 (en) Techniques for manipulating panoramas
US6882350B2 (en) Information processing apparatus, information processing method, program storage medium and program
US20090096875A1 (en) Camera-fitted information retrieval device
US20130194217A1 (en) Electronic device and method of controlling the same
US20100099456A1 (en) Mobile terminal and method for controlling functions related to external devices
US20120200665A1 (en) Apparatus and method for displaying panoramic images
US20120096403A1 (en) Mobile terminal and method of managing object related information therein
US20060212828A1 (en) Method, program and device for displaying menu
US20040233160A1 (en) Method for navigation and selection at a terminal device
WO2009061501A1 (en) Points-of-interest panning on a displayed map with a persistent search on a wireless phone
US20080273109A1 (en) Portable device with interactive display and geographical location capability
US20080150921A1 (en) Supplementing and controlling the display of a data set

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130708

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250