KR100651508B1 - Method for providing local information by augmented reality and local information service system therefor - Google Patents

Method for providing local information by augmented reality and local information service system therefor Download PDF

Info

Publication number
KR100651508B1
KR100651508B1 KR1020040006280A KR20040006280A KR100651508B1 KR 100651508 B1 KR100651508 B1 KR 100651508B1 KR 1020040006280 A KR1020040006280 A KR 1020040006280A KR 20040006280 A KR20040006280 A KR 20040006280A KR 100651508 B1 KR100651508 B1 KR 100651508B1
Authority
KR
South Korea
Prior art keywords
information
mobile communication
communication terminal
information data
local information
Prior art date
Application number
KR1020040006280A
Other languages
Korean (ko)
Other versions
KR20050078136A (en
Inventor
변기종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040006280A priority Critical patent/KR100651508B1/en
Publication of KR20050078136A publication Critical patent/KR20050078136A/en
Application granted granted Critical
Publication of KR100651508B1 publication Critical patent/KR100651508B1/en

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F3/00—Biological treatment of water, waste water, or sewage
    • C02F3/02—Aerobic processes
    • C02F3/10—Packings; Fillings; Grids
    • C02F3/104—Granular carriers
    • C—CHEMISTRY; METALLURGY
    • C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F3/00—Biological treatment of water, waste water, or sewage
    • C02F3/02—Aerobic processes
    • C02F3/10—Packings; Fillings; Grids
    • C02F3/105—Characterized by the chemical composition
    • C02F3/107—Inorganic materials, e.g. sand, silicates
    • C—CHEMISTRY; METALLURGY
    • C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F7/00—Aeration of stretches of water

Abstract

본 발명은 증강현실을 이용한 지역 정보를 이동 통신 단말기에 제공하기 위한 방법에 관한 것으로, 이동 통신 단말기에 위치와 자세를 측정할 수 있는 GPS 수신기와 자이로 센서를 구비하여 카메라의 위치와 자세를 찾아 영상 정합하여 촬영한 지형 및 시설물에 대한 지역 정보를 제공한다. 이를 위해 본 발명은 카메라를 통해 실사 영상을 캡쳐하면서 그 실사 영상의 촬영 위치 및 자세 정보를 기반으로 위치 정보 데이터를 생성하여 이를 서버로 전송한다. 그러면 서버는 전송받은 위치 정보 데이터를 분석하여 분석된 결과에 따라 그 실사 영상에 대한 지역 정보를 지역 정보 데이터베이스로부터 로드한다. 그리고나서 서버는 지역 정보 데이터를 생성하여 이를 이동 통신 단말기로 전송한다. 그러면 이동 통신 단말기는 실사 영상에 서버로부터 전송된 지역 정보를 중첩하여 디스플레이한다. The present invention relates to a method for providing local information using augmented reality to a mobile communication terminal. The mobile communication terminal is provided with a GPS receiver and a gyro sensor capable of measuring a position and a posture. Provide local information about the terrain and facilities photographed consistently. To this end, the present invention generates location information data based on the shooting position and attitude information of the live image while capturing the live image through a camera and transmits it to the server. Then, the server analyzes the received location information data and loads local information on the live image from the local information database according to the analyzed result. The server then generates local information data and transmits it to the mobile communication terminal. Then, the mobile communication terminal superimposes the area information transmitted from the server on the live image.

증강현실, 지역 정보, 실사 영상Augmented Reality, Local Information, Live Video

Description

증강현실을 이용한 지역 정보 제공 방법 및 이를 위한 지역 정보 서비스 시스템{METHOD FOR PROVIDING LOCAL INFORMATION BY AUGMENTED REALITY AND LOCAL INFORMATION SERVICE SYSTEM THEREFOR} Method of providing local information using augmented reality and a local information service system for the same {METHOD FOR PROVIDING LOCAL INFORMATION BY AUGMENTED REALITY AND LOCAL INFORMATION SERVICE SYSTEM THEREFOR}             

도 1은 본 발명의 실시 예에 따른 이동 통신 단말기의 위치와 자세를 측정하기 위한 방법을 설명하기 위한 도면,1 is a view for explaining a method for measuring the position and posture of a mobile communication terminal according to an embodiment of the present invention;

도 2는 본 발명의 실시 예에 따른 이동 통신 단말기의 내부 구성 블록도,2 is a block diagram illustrating an internal configuration of a mobile communication terminal according to an embodiment of the present invention;

도 3은 본 발명에 의한 이동 통신 단말기로의 지역 정보 제공 이동 통신 시스템의 개략적인 구성도,3 is a schematic configuration diagram of a mobile communication system for providing local information to a mobile communication terminal according to the present invention;

도 4는 본 발명의 실시 예에 따른 이동 통신 단말기와 서버 사이의 데이터 전송 흐름도,4 is a flowchart illustrating a data transmission between a mobile communication terminal and a server according to an embodiment of the present invention;

도 5는 본 발명의 실시 예에 따른 지역 정보 제공 방법에 대한 이동 통신 단말기에서의 제어흐름도,5 is a control flowchart of a mobile communication terminal for a method for providing region information according to an embodiment of the present invention;

도 6은 본 발명의 실시 예에 따라 지역 정보가 제공되는 화면예시도,6 illustrates an example of a screen on which regional information is provided according to an embodiment of the present invention;

도 7은 본 발명의 실시 예에 따른 지역 정보를 제공하는 서버에서의 제어흐름도.7 is a control flowchart of a server providing local information according to an exemplary embodiment of the present invention.

본 발명은 이동 통신 시스템에 관한 것으로, 특히 카메라를 구비한 이동 통신 단말기에서 증강현실 기술을 이용하여 실사 영상에 대한 지역 정보를 제공하는 방법 및 이를 위한 지역 정보 서비스 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a mobile communication system, and more particularly, to a method for providing region information on a live image using augmented reality technology in a mobile communication terminal having a camera, and a region information service system therefor.

최근들어 이동 통신 단말기에 있어서 다양한 서비스 및 부가 기능들이 점차 확대되는 가운데, 사용자에게 각종 정보를 제공하는 다양한 서비스 시스템들이 개발되고 있다. 예를 들면, 임의의 사용자가 자신의 현 위치를 알고 싶을 때, 소지하고 있는 이동 통신 단말기를 이용하여 자신의 위치에 대한 정보 즉, 그 이동 통신 단말기의 현 위치 정보를 요구했을 경우, 그 이동 통신 단말기에 대한 기본적인 위치 정보를 제공해주는 시스템이 최근 소개되고 있다.Recently, various services and additional functions have been gradually expanded in mobile communication terminals, and various service systems for providing various information to users have been developed. For example, when an arbitrary user wants to know his / her current location, and requests information on his / her location, that is, the current location information of the mobile communication terminal by using his mobile terminal, the mobile communication Recently, a system for providing basic location information of a terminal has been introduced.

이러한 위치 정보를 제공해주는 기술의 하나로써, 종래에는 증강현실 분야에서 사용자의 위치를 위치 측정 장치(Global Position System: 이하 GPS라 함)와 자이로(GYRO)를 이용하여 파악하고 난 후 씨-쓰루(See-Through) 헤드 마운트 디스플레이(HMD: Head Mounted Display) 장치를 이용하여 사용자에게 실사와 함께 부가 정보를 정합하여 제공하는 기술이 있었다. 이러한 기술은 현실 세계에서는 불가능한 영상 표현이나 정보 제공을 위하여 최근 실세계와 컴퓨터로 생성한 사이버 세계를 혼합하여 보다 유용한 정보를 제공하는 기술이며, 이러한 기술을 증강현실 (Augmented Reality) 기술이라고 한다.As one of the technologies for providing such location information, in the conventional augmented reality field, the position of the user is determined by using a position measuring device (Global Position System (GPS)) and a gyro (GYRO), and then C-Thru ( See-Through (HMD) has been a technology that provides additional information to the user with due diligence using a Head Mounted Display (HMD) device. This technology is a technology that provides more useful information by combining the real world and computer-generated cyber world in order to provide image expression or information that is impossible in the real world, and this technology is called Augmented Reality technology.

상세히 설명하면, 증강현실 기술이란 가상현실(Virtual Reality) 기술에서 파생된 기술로서 실세계에 대한 인지도를 향상시키는 기술을 말하는데, 이때 실세계와의 상호작용을 배제하고 오직 미리 구축해 놓은 가상공간 내에서의 상호작용을 처리하는 가상현실 기술과는 달리, 실시간 처리를 바탕으로 미리 구축된 실세계 정보(이를 증강정보라 함)가 특수 인터페이스를 통해 실제로 관찰되는 실세계의 영상에 겹쳐서 표현되고, 실제와의 상호작용을 제공하도록 함으로써 관찰자가 실세계 관찰 지역에 대한 신속하고 편리한 상황 판단을 할 수 있도록 하는 기술이다. 이러한 기술은 관광을 하는 여행객에게 주변 관광 정보를 비롯한 여러 정보를 제공하는 기술로 활용할 수 있었다.In detail, augmented reality technology is a technology derived from virtual reality technology that improves awareness of the real world, which excludes interaction with the real world and only interacts with each other in the pre-established virtual space. Unlike the virtual reality technology that processes the action, the real-world information (called augmented information), which is built in advance based on real-time processing, is superimposed on the image of the real world actually observed through a special interface, and the interaction with the real Technology that allows observers to make quick and convenient situational judgments about real-world observation areas. This technology could be used as a technology to provide tourists with a variety of information, including surrounding tourist information.

하지만, 종래의 씨-쓰루 헤드 마운트 디스플레이 장치를 이용한 기술은 단순히 사용자가 주시하는 지역의 실사만을 획득하여 이를 화면으로 출력하여 주는 단순한 정보 제공만 이루어졌다. However, the conventional technology using the see-through head-mounted display device is merely to provide a simple information to obtain only due diligence of the area that the user watches and outputs it to the screen.

상술한 바와 같이 종래에는 증강현실 기술을 적용하기 위해서 사용자로 하여금 그 지역에 대한 정보를 저장하고 있는 장치, 위치 측위 장치 및 디스플레이 장치를 별도로 착용해야 하는 불편함이 있었다. 또한, 화면에 디스플레이되는 그 지역에 대한 정보는 실제 사용자가 주시하는 지역과는 보는 각도 등의 요인에 의해 다를 수 있다. 또한, 단순히 카메라가 획득한 실사 영상만을 보여줌으로써, 실사의 지형 지물에 대한 부가 정보를 얻기 위해서는 자료를 검색하거나 조사해야 하는 별도의 행위가 필요한 문제점이 있었다. 이와 같이 저장된 정보는 그 용도적인 면 또는 지역적인 면에서 제약이 있었다.As described above, in order to apply the augmented reality technology, there is a inconvenience in that a user needs to separately wear a device, a positioning device, and a display device, which store information about a region. Also, the information about the area displayed on the screen may be different from the area watched by the actual user depending on factors such as the viewing angle. In addition, by simply showing the actual image obtained by the camera, in order to obtain additional information on the terrain feature of the real world, there was a problem that a separate action that needs to search for or investigate the data. The information stored in this way was limited in terms of its use or locality.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 이동 통신 단말기에 대한 더욱 정밀한 위치 정보의 제공은 물론 그 이동 통신 단말기 주변의 정보까지도 제공해 줄 수 있는 증강현실 기술을 이용한 지역 정보 제공 방법을 제공하는 것이다.
또한, 본 발명은 증강현실을 이용한 지역 정보를 이동 통신 단말기에 제공하기 위한 지역 정보 서비스 시스템을 제공하는 것이다.Therefore, the present invention has been made to solve the above problems, a method of providing local information using augmented reality technology that can provide more accurate location information for the mobile communication terminal as well as information around the mobile communication terminal. To provide.
In addition, the present invention is to provide a local information service system for providing a mobile communication terminal with local information using augmented reality.

상술한 목적들을 달성하기 위해 본 발명에 따른 증강현실을 이용한 지역 정보를 이동 통신 단말기에 제공하기 위한 지역 정보 서비스 시스템은, 상기 이동 통신 단말기로부터 실사 영상에 대한 지역 정보 요청이 있는 경우 상기 이동 통신 단말기로부터 제공받은 위치 정보 데이터에 따라 상기 실사 영상의 지형 및 시설물에 대한 정보를 포함하는 지역 정보 데이터를 생성하여 상기 이동 통신 단말기로 전송하는 서버를 포함하고, 상기 이동 통신 단말기는 사용자로부터 지역 정보 요청이 있으면 지형 및 시설물에 대한 실사 영상을 촬영하고 상기 실사 영상의 촬영 위치 및 자세를 측정하여 위치 정보 데이터를 생성하고 상기 생성한 위치 정보 데이터를 상기 서버로 전송하며, 상기 위치 정보 데이터 전송에 대응하여 상기 서버로부터 지역 정보 데이터가 수신되면 상기 실사 영상에 지역 정보를 중첩하여 디스플레이하는 것을 특징으로 한다.The area information service system for providing area information using augmented reality according to the present invention to a mobile communication terminal in order to achieve the above objects, if there is a request for area information for live image from the mobile communication terminal; And a server configured to generate area information data including information on the terrain and facilities of the live-action video according to the location information data received from the mobile station, and transmit the area information data to the mobile communication terminal. If present, take a photo-realistic image of the terrain and facilities, measure location and posture of the photo-realistic image, generate location information data, transmit the generated location information data to the server, and correspond to the location information data transmission. Place data from server Once received, it characterized in that the display is superimposed on the area information, the live-action video.

이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the same elements in the figures are represented by the same numerals wherever possible. In addition, detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted.

이하, 첨부된 도면을 참고하여 본 발명의 실시 예에 따라 증강현실 기술을 이용한 지역 정보 제공 방법을 설명한다. 본 발명의 실시 예에서는 이동 통신 단말기에 구비된 카메라를 이용하여 촬영한 실사 영상에 기지국에서 생성한 지역 정보를 합성하는 증강현실 기술을 이용하여 실사 영상과 함께 실사 영상에 대한 정보를 동시에 디스플레이한다.Hereinafter, with reference to the accompanying drawings will be described a method of providing local information using augmented reality technology according to an embodiment of the present invention. According to an embodiment of the present invention, the photorealistic image is simultaneously displayed along with the photorealistic image by using an augmented reality technique of synthesizing the region information generated by the base station with the photorealistic image photographed using the camera provided in the mobile communication terminal.

통상적으로 증강현실 기술에서 실사 영상에 가상 영상을 정합하기 위해서는 카메라가 구비된 이동 통신 단말기의 위치와 자세값을 이용하여 미리 3차원으로 모델링된 데이터를 실제 카메라가 실사 영상을 투영하는 것과 같은 3차원 원근 투영법을 이용하여 가상 영상을 렌더링한 다음, 실사 영상과 가상 영상을 합성하여 보여주게 된다. 그리고 이동 통신 단말기의 위치와 자세 정보를 이용하여 원근투영되는 가상 영상은 그 이동 통신 단말기의 위치와 자세 오차에 매우 민감하게 변화되며, 따라서 안정적인 이동 통신 단말기의 위치와 자세 정보를 아는 것이 필요하다. 이와 같이 안정적인 이동 통신 단말기의 위치와 자세를 알기 위하여, 본 발명에서는 실시간으로 위치와 자세를 측정할 수 있는 GPS(Global Position System)와 자이로(GYRO)를 구비한다. 또한, 그 이동 통신 단말기의 위치와 자세 오차는 칼만 필터(Kalman Filter)와 같은 보정 방법으로 부분적 보정을 하여 줄일 수 있다.In general, in order to match a virtual image to a real image in augmented reality technology, the data modeled in three dimensions in advance using a position and a posture value of a mobile communication terminal equipped with a camera is a three-dimensional image such as a real camera projecting the real image. After the virtual image is rendered using the perspective projection method, the real image and the virtual image are synthesized and displayed. In addition, the virtual image projected by using the position and posture information of the mobile communication terminal is very sensitive to the position and posture error of the mobile communication terminal. Therefore, it is necessary to know the position and posture information of the stable mobile communication terminal. In order to know the position and posture of the stable mobile communication terminal as described above, the present invention includes a Global Position System (GPS) and a GYRO capable of measuring the position and posture in real time. In addition, the position and posture error of the mobile communication terminal can be reduced by partial correction using a correction method such as a Kalman filter.

한편, 본 발명에서는 이동 통신 단말기가 원하는 주변 영상을 카메라로 찍은 정지 영상에 대한 위치 정보를 지역 정보 데이터 서버(이하 서버)로 전송한다. 그리고 서버는 자신의 셀(Cell)에 대한 지역 정보를 저장하고 있는 데이터베이스(Database : DB)로부터 그 정지 영상에 대한 위치 정보에 부합하는 지역 정보를 추출하여 그 위치 정보에 지역 정보를 정합하여 이동 통신 단말기에 제공한다. 이에 따라 이동 통신 단말기 화면에는 촬영한 정지 영상 즉, 실사 영상에 지역 정보가 중첩되어 디스플레이된다. 따라서, 사용자는 실사 영상과 함께 그 실사 영상의 특정 위치에 표시되는 지형 및 시설물에 대한 지역 정보를 동시에 볼 수 있다.On the other hand, in the present invention, the mobile communication terminal transmits the location information on the still image, which is captured by the camera, to a local information data server (hereinafter referred to as a server). The server extracts local information corresponding to the location information of the still image from a database (DB), which stores local information about its cell, matches the location information with the location information, and performs mobile communication. To the terminal. Accordingly, the area information is displayed on the mobile communication terminal screen by superimposing the captured still image, that is, the live-action image. Therefore, the user can simultaneously view the live image and the local information about the terrain and the facilities displayed at a specific location of the live image.

이러한 이동 통신 단말기의 위치와 자세를 측정하기 위한 방법은 도 1을 참조하여 설명한다. 여기서 도 1은 본 발명의 실시 예에 따른 이동 통신 단말기의 위치와 자세를 측정하기 위한 방법을 설명하기 위한 도면이다. A method for measuring the position and posture of the mobile communication terminal will be described with reference to FIG. 1. 1 is a view for explaining a method for measuring the position and posture of a mobile communication terminal according to an embodiment of the present invention.

도 1에 도시된 바와 같이 본 발명의 실시 예에 따른 이동 통신 단말기(100)는 실사 영상을 촬영하기 위한 카메라(205) 및 위치와 자세를 측정하기 위한 GPS 수신기(270)와 자이로 센서(280)를 구비한다. 이동 통신 단말기(100)에 장착된 GPS 수신기(270)는 GPS 위성(110)으로부터의 전파를 안테나를 통해 수신하여 이동 통신 단말기(100)의 위치를 즉각적으로 알아낼 수 있다. 다시 말하면, 이동 통신 단말기(100)는 내장된 GPS 수신기(270)를 통해 GPS 위성(110)으로부터 전송되는 GPS 측위 정보를 수신한다. 그리고 자이로 센서(280)는 자세 측위 장치로서 이동 통신 단말기(100)의 자세 변화를 측정한다. 이하의 설명에 있어서, GPS 위성(110)으로부터 전송되는 GPS 측위 정보와 자이로 센서(280)의 자세 정보는 이미 이 기술 분야에서 잘 알려져 있기 때문에 이에 대한 설명은 생략한다. As shown in FIG. 1, the mobile communication terminal 100 according to an exemplary embodiment of the present invention includes a camera 205 for capturing a live-action image, a GPS receiver 270, and a gyro sensor 280 for measuring position and posture. It is provided. The GPS receiver 270 mounted in the mobile communication terminal 100 may immediately receive a radio wave from the GPS satellite 110 through an antenna to immediately find the location of the mobile communication terminal 100. In other words, the mobile communication terminal 100 receives GPS positioning information transmitted from the GPS satellite 110 through the built-in GPS receiver 270. The gyro sensor 280 measures a change in posture of the mobile communication terminal 100 as a posture positioning device. In the following description, the GPS positioning information transmitted from the GPS satellite 110 and the attitude information of the gyro sensor 280 are well known in the art, and thus description thereof will be omitted.

이하, 본 발명의 실시 예에 따라 증강현실 기술을 이용한 지역 정보를 제공하는 이동 통신 단말기(100)의 내부 구성부들의 역할을 살펴보기 위해 도 2를 참조하여 설명한다. 도 2는 본 발명의 실시 예에 따른 이동 통신 단말기(100)의 내부 구성 블록도이다.
제어부(200)는 이동 통신 단말기(100)의 전반적인 제어 동작을 수행하며, 후술하는 바와 같이 본 발명에 따라 실사 영상의 특정 위치에 표시되는 지형 및 시설물에 대응하는 지역 정보를 제공하는 기능을 처리한다. 그러므로 이하의 설명에 있어서 통상적인 전화 통화나 데이터 통신, 무선 인터넷 접속에 대한 제어부(200)의 처리 및 제어에 관한 설명은 생략한다. Hereinafter, the role of the internal components of the mobile communication terminal 100 for providing local information using augmented reality technology according to an embodiment of the present invention will be described with reference to FIG. 2. 2 is a block diagram illustrating an internal configuration of a mobile communication terminal 100 according to an exemplary embodiment of the present invention.
The controller 200 performs an overall control operation of the mobile communication terminal 100 and processes a function of providing region information corresponding to the terrain and facilities displayed at a specific location of the live image according to the present invention as described below. . Therefore, in the following description, the description of the processing and control of the control unit 200 for ordinary telephone call, data communication, and wireless Internet connection is omitted.

본 발명의 실시 예에 따른 제어부(200)는 사용자로부터 지역 정보 서비스를 이용하기 위한 메뉴 선택이 있으면 지형 및 시설물 영상을 캡쳐하기 위한 카메라(205)를 구동한다. 이와 동시에 제어부(200)는 실사 영상의 촬영 위치와 자세를 측정하기 위해 GPS 수신기(270)와 자이로 센서(280)도 함께 구동한다. 그러면 제어부(200)는 GPS 수신기(270)를 통해 GPS 위성으로부터 수신된 GPS 측위 정보를 이용하여 이동 통신 단말기(100)의 현재 위치를 파악한다. 그리고 제어부(200)는 자이로 센서(280)로부터 전달되는 이동 통신 단말기(100)의 각도를 근거로 하여 현재 자세 변화를 계산한다. 다시 말하면, 실사 영상의 촬영 위치는 이동 통신 단말기(100)에 구비된 GPS 수신기를 통해 GPS 위성으로부터 전송되는 GPS 측위 정보를 이용하여 측정된다. 그리고 실사 영상의 촬영 자세는 이동 통신 단말기(100)에 구비된 자세 측위 장치인 자이로 센서(280)로부터 전달되는 이동 통신 단말기(100)의 각도를 이용하여 측정된다.The controller 200 according to an embodiment of the present invention drives the camera 205 for capturing terrain and facility images when there is a menu selection for using a local information service from a user. At the same time, the control unit 200 also drives the GPS receiver 270 and the gyro sensor 280 together to measure the shooting position and posture of the live image. Then, the controller 200 determines the current location of the mobile communication terminal 100 using the GPS positioning information received from the GPS satellites through the GPS receiver 270. The controller 200 calculates a current posture change based on an angle of the mobile communication terminal 100 transmitted from the gyro sensor 280. In other words, the photographing position of the live-action image is measured using GPS positioning information transmitted from a GPS satellite through a GPS receiver provided in the mobile communication terminal 100. The photographing posture of the live-action image is measured using an angle of the mobile communication terminal 100 transmitted from the gyro sensor 280, which is a posture positioning device provided in the mobile communication terminal 100.

그리고나서 제어부(200)는 카메라(205)를 통해 지역 정보를 요청할 실사 영상을 입력받는다. 그리고 카메라 촬영이 완료되면 즉, 촬영 셔터가 눌리는 순간 제어부(200)는 촬영 완료 시점의 실사 영상에 대한 촬영 위치 및 자세를 측정한다. 그리고나서 사용자로부터 그 실사 영상의 특정 위치에 표시되는 지형 및 시설물에 대응하는 지역 정보를 제공받기 위한 요청이 있으면 제어부(200)는 촬영한 지형지물에 대한 정보를 얻기 위한 다양한 서비스 항목을 디스플레이하고, 이 중 사용자로부터 어느 하나의 서비스 항목을 선택받는다. 그러면 제어부(200)는 선택된 서비스 항목과 함께 촬영 완료 시점의 실사 영상에 대해 측정된 촬영 위치 및 자세 정보를 이용하여 위치 정보 데이터를 생성하고, 이를 서버(305)로 전송한다.Then, the controller 200 receives a live image to request local information through the camera 205. When the camera photographing is completed, that is, at the moment when the photographing shutter is pressed, the controller 200 measures the photographing position and posture of the real image at the point of photographing completion. Then, if a user requests to receive local information corresponding to the terrain and facilities displayed at a specific location of the live-action image, the controller 200 displays various service items for obtaining information on the photographed feature. Among them, any one service item is selected by the user. Then, the controller 200 generates location information data by using the photographing position and posture information measured on the live image at the time of photographing completion together with the selected service item, and transmits the location information data to the server 305.

이하 본 발명의 실시 예에 따른 서버로 전송할 데이터를 위치 정보 데이터라 칭한다. 그리고나서 제어부(200)는 서버로부터 전송된 지역 정보 데이터를 수신하여 촬영한 실사 영상과 함께 그 실사 영상에 대한 지역 정보를 중첩하여 표시부(210)를 통해 디스플레이한다. 즉, 제어부(200)는 사용자가 원하는 지역과 시설물을 촬영하여 그 지역과 시설물에 대한 지역 정보 및 상세 정보가 제공되도록 제어한다. Hereinafter, data to be transmitted to a server according to an embodiment of the present invention is called location information data. Then, the control unit 200 overlaps the area information on the live image with the live image captured by receiving the area information data transmitted from the server and displays the area information through the display unit 210. That is, the controller 200 controls the photographing of the area and facilities desired by the user so that area information and detailed information about the area and facilities are provided.

그리고 그래픽 처리부(220)는 제어부(200)의 제어하에 서버로부터 전송된 지역 정보 데이터에 따라 그 지역 정보를 디스플레이할 수 있는 형식의 이미지로 변환시킨다. 이와 같이 변환된 형식의 지역 정보는 표시부(210)를 통해 디스플레이된다. 즉, 본 발명의 실시 예에 따른 표시부(210)는 제어부(200)의 제어하에 카메라(205)를 통해 촬영되는 실사 영상과 함께 그 실사 영상에 중첩된 지역 정보를 디스플레이한다. 또한, 표시부(210)는 제어부(200)의 제어하에 키패드를 통해 입력된 키입력 데이터에 대한 표시 데이터를 입력받아 표시하거나, 이동 통신 단말기(100)의 동작 상태 및 다수의 정보를 아이콘 및 문자로 표시한다. 그리고 표시부(210)는 제어부(200)의 제어하에 사용자가 필요한 기능을 설정하거나 구동시킴에 있어 그 상태를 가시적으로 알 수 있도록 한다. The graphic processor 220 converts the region information into an image in a format that can be displayed according to the region information data transmitted from the server under the control of the controller 200. The regional information in the converted format is displayed on the display unit 210. That is, the display unit 210 according to an exemplary embodiment of the present invention displays the live image captured by the camera 205 and the area information superimposed on the live image under the control of the controller 200. In addition, the display unit 210 receives and displays the display data of the key input data input through the keypad under the control of the controller 200, or displays the operation state and a plurality of information of the mobile communication terminal 100 as icons and text. Display. In addition, the display unit 210 allows the user to visually know the state in setting or driving a required function under the control of the controller 200.

또한, 제어부(200)와 연결되는 메모리부(230)는 이동 통신 단말기(100)의 동작 제어 시 필요한 다수의 프로그램과 정보를 저장하기 위한 롬(ROM: Read Only Memory) 및 램(RAM: Random Access Memory), 음성 메모리 등으로 이루어진다. In addition, the memory unit 230 connected to the controller 200 includes a read only memory (ROM) and a random access memory (RAM) for storing a plurality of programs and information necessary for controlling the operation of the mobile communication terminal 100. Memory), voice memory and the like.

그리고 RF모듈(250)은 안테나(ANT)를 통해 기지국과 RF신호를 송/수신하는데, 수신되는 RF신호를 IF(Intermediate Frequency)신호로 변환하여 베이스밴드 처리부(240)로 출력하고 베이스밴드 처리부(240)로부터 입력하는 IF신호를 RF신호로 변환하여 송신한다. 여기서 베이스밴드 처리부(240)는 제어부(200)와 RF모듈(250) 사이의 인터페이스를 제공하는 BAA(Baseband Analog ASIC)로서, 제어부(200)로부터 인가되는 베이스밴드의 디지털신호를 아날로그 IF신호로 변환하여 RF모듈(250)에 인가하며, RF모듈(250)로부터 인가되는 아날로그 IF신호를 베이스밴드의 디지털신호로 변환하여 제어부(200)에 인가한다. 그리고 제어부(200)와 연결된 음성처리부(Voiceband Signal Processor)(260)는 마이크로폰(MIC) 및 스피커(SPK)와 접속되며, 마이크로폰(MIC)으로부터 수신되는 음성신호를 데이터화하여 제어부(200)로 출력하고, 제어부(200)로부터 입력되는 음성데이터를 스피커(SPK)를 통해 가청음으로 변환하여 출력한다.In addition, the RF module 250 transmits / receives an RF signal with a base station through an antenna ANT. The RF module 250 converts the received RF signal into an IF (Intermediate Frequency) signal and outputs the signal to the baseband processor 240 and the baseband processor ( The IF signal input from 240 is converted into an RF signal and transmitted. The baseband processor 240 is a baseband analog ASIC (BAA) that provides an interface between the controller 200 and the RF module 250. The baseband processor 240 converts a baseband digital signal applied from the controller 200 into an analog IF signal. The RF module 250 is applied to the RF module 250, and the analog IF signal applied from the RF module 250 is converted into a digital signal of the baseband and applied to the control unit 200. The voice signal processor 260 connected to the controller 200 is connected to the microphone MIC and the speaker SPK, and outputs the voice signal received from the microphone MIC to the controller 200. The voice data input from the controller 200 is converted into an audible sound through the speaker SPK and output.

그리고 GPS 수신기(270)는 제어부(200)의 제어하에 GPS 위성(110)으로부터 전송되는 GPS 측위 정보를 수신한다. 그리고 자이로(280)는 제어부(200)의 제어하에 자세 측위 장치로서 이동 통신 단말기(100)의 자세 변화를 측정한다.The GPS receiver 270 receives GPS positioning information transmitted from the GPS satellite 110 under the control of the controller 200. The gyro 280 measures a change in posture of the mobile communication terminal 100 as a posture positioning device under the control of the controller 200.

이하, 본 발명의 실시 예에 따른 지역정보 제공 방법의 구현을 설명하기 위해 도 3을 참조한다. 여기서 도 3은 본 발명에 의한 이동 통신 단말기로의 지역 정보 제공 이동 통신 시스템의 개략적인 구성도이다. 이러한 이동 통신 시스템은 본 발명의 실시 예에 따른 지역정보 제공 방법의 구현을 위한 것이다. Hereinafter, referring to FIG. 3 to describe an implementation of a method for providing local information according to an exemplary embodiment of the present invention. 3 is a schematic block diagram of a system for providing local information to a mobile communication terminal according to the present invention. This mobile communication system is for the implementation of the method for providing local information according to an embodiment of the present invention.

먼저, 이동 통신 시스템은 지역 정보 데이터를 제공하는 서버(305)와 이동 통신망(300)을 통하여 연결되는 이동 통신 단말기(100)를 포함하여 이루어진다. 그리고 서버(305)는 위치 정보 데이터 수신 모듈(310), 영상영역 계산 모듈(315), 정보 추출 모듈(320), 위치 보정 모듈(325), 지역 정보 데이터 송신 모듈(330)을 포함하여 구성된다. 이와 같이 서버(305)는 이동 통신 단말기(100)와 통신을 수행하기 위해 위치 정보 데이터 수신 모듈(310) 및 지역 정보 데이터 송신 모듈(330)과 같은 통신 모듈을 구비한다. First, the mobile communication system includes a server 305 for providing local information data and a mobile communication terminal 100 connected through a mobile communication network 300. The server 305 includes a location information data receiving module 310, an image area calculation module 315, an information extraction module 320, a location correction module 325, and a location information data transmission module 330. . As such, the server 305 includes a communication module such as the location information data receiving module 310 and the area information data transmitting module 330 to communicate with the mobile communication terminal 100.

그리고 서버(305)는 본 발명의 실시 예에 따라 지역 정보 데이터를 제공하는 서버로서 이동통신망(300)을 통하여 사용자가 원하는 지역과 시설물에 대한 지역 정보 및 각종 부가 정보를 제공한다. 이러한 서버(305)는 해당 셀에 위치한 지형지물에 대한 정보를 데이터베이스화하여 저장한 지역정보 DB(335)로부터 해당 지역 정보를 추출하여 사용자에게 제공한다. 이때 본 발명의 실시 예에 따른 지역정보 DB(335)는 그 지형지물에 대한 일반 지명 정보 및 주소 정보 DB(340), 관광 정보DB(345), 쇼핑 정보 DB(350), 광고 DB(355)를 포함하여 구성된다. 따라서 지역 정보는 사용자의 용도에 따라 선택적으로 제공된다.In addition, the server 305 is a server providing local information data according to an exemplary embodiment of the present invention, and provides local information and various additional information about a region and facilities desired by a user through the mobile communication network 300. The server 305 extracts the corresponding local information from the local information DB 335 which stores the database of the information on the feature located in the corresponding cell and provides it to the user. At this time, the local information DB 335 according to an embodiment of the present invention is a general geographical name information and address information DB 340, tourism information DB 345, shopping information DB 350, advertising DB 355 for the feature It is configured to include. Therefore, local information is selectively provided according to the user's purpose.

그리고 서버(305)와 연결된 지역정보 DB(335)는 카메라에 의해 주변 환경을 촬영한 실사 영상의 지리적 위치에 표시되는 지형 및 시설물에 대응되는 위치에 표시될 지역 정보와 매핑(mapping) 관계를 정의하는 매핑 정보를 포함한다. 여기서 매핑 정보는 촬영된 실사 영상의 특정 위치에 표시되는 지형 및 시설물에 대응하는 지역 정보를 말한다.The area information DB 335 connected to the server 305 defines a mapping relationship with the area information to be displayed at a location corresponding to the terrain and facilities displayed at the geographical location of the live image captured by the camera. Contains mapping information. Here, the mapping information refers to local information corresponding to the terrain and facilities displayed at a specific location of the photographed live image.

이어, 이동 통신 단말기로의 지역 정보 제공 과정을 설명하면 후술하는 바와 같다. 먼저, 서버(305)는 이동 통신 단말기(100)로부터의 지역 정보 요청에 대응하여 그 이동 통신 단말기(100)로부터 수신된 위치 정보 데이터를 분석한다. 분석된 위치 정보 데이터에 따라 서버(305)는 해당 지역 정보를 지역 정보 데이터베이스(Database : DB)(335)로부터 추출하여 이동 통신 단말기(100)로 전송한다. 이에 따라 이동 통신 단말기(100)는 그래픽 처리부(220)를 통해 촬영한 실사 영상과 전송받은 지역 정보를 중첩하여 디스플레이할 수 있도록 처리하여 표시부(210)에 디스플레이한다.Next, a process of providing region information to the mobile communication terminal will be described later. First, the server 305 analyzes the location information data received from the mobile communication terminal 100 in response to the area information request from the mobile communication terminal 100. According to the analyzed location information data, the server 305 extracts the corresponding area information from the area information database (DB) 335 and transmits the area information to the mobile communication terminal 100. Accordingly, the mobile communication terminal 100 processes and displays the live image captured by the graphic processor 220 and the received area information so as to be superimposed and displayed on the display unit 210.

이러한 이동 통신 단말기(100)와 서버(305) 사이의 지역 정보 제공 과정을 도 4를 참조하여 좀 더 상세히 설명한다. 도 4는 본 발명의 실시 예에 따른 이동 통신 단말기와 서버 사이의 데이터 전송 흐름도이다.
이동 통신 단말기(100)는 (400)단계에서 촬영한 지형 지물의 실사 영상에 대해 사용자로부터 지역 정보 요청이 있는지 판단한다.The process of providing region information between the mobile communication terminal 100 and the server 305 will be described in more detail with reference to FIG. 4. 4 is a flowchart illustrating a data transmission between a mobile communication terminal and a server according to an exemplary embodiment of the present invention.
The mobile communication terminal 100 determines whether there is a local information request from the user with respect to the live-action image of the feature photographed in operation 400.

이때 본 발명의 실시 예에 따른 이동 통신 단말기(100)는 사용자로부터 지역 정보 요청이 있으면 이에 대응하여 지역 정보에 대한 다양한 서비스 항목을 표시할 수도 있다. 이에 따라 사용자는 촬영한 지형지물에 대한 원하는 어느 하나의 서비스 항목을 선택하면 된다. 여기서 다양한 서비스 항목에는 촬영한 지형 지물에 대한 정보가 포함되며, 예를 들어 일반 지명 정보, 관광 정보, 쇼핑 정보 등이 있다. 따라서, 사용자는 이러한 항목 중에서 촬영한 지형지물에 대해 필요한 항목을 선택하여 지정하게 된다.In this case, the mobile communication terminal 100 according to an embodiment of the present invention may display various service items for the local information in response to the request for the local information from the user. Accordingly, the user may select any desired service item for the photographed feature. Here, the various service items include information on the photographed feature, for example, general name information, tourism information, shopping information, and the like. Accordingly, the user selects and specifies a required item for the photographed feature from among these items.

한편, 사용자에 의해 서비스 항목이 선택되면 이동 통신 단말기(100)는 (410)단계로 진행하여 촬영 완료 시점의 실사 영상에 대한 촬영 위치 및 자세 정보와 함께 사용자에 의해 선택된 서비스 항목을 포함하여 위치 정보 데이터를 생성한다. 그리고나서 이동 통신 단말기(100)는 (420)단계에서 생성된 위치 정보 데이터를 서버(305)로 전송한다. On the other hand, if a service item is selected by the user, the mobile communication terminal 100 proceeds to step 410 and includes location information including a service item selected by the user together with the shooting location and posture information of the live image at the time of shooting completion. Generate data. Then, the mobile communication terminal 100 transmits the location information data generated in step 420 to the server 305.

이로써 서버(305)는 (430)단계에서 이동 통신 단말기(100)로부터 전송된 위치 정보 데이터를 수신하고 이를 분석한다. 그리고나서 서버(305)는 (440)단계에서 그 위치 정보 데이터에 따른 해당 실사 영상이 위치한 지형 지물을 파악하고, 이에 대한 지역 정보를 지역 정보 DB(335)로부터 추출하여 지역 정보 데이터를 생성한다. 그리고 서버(305)는 (450)단계에서 생성된 지역 정보 데이터를 이동 통신 단말기(100)로 전송한다. 이렇게 하여 이동 통신 단말기(100)는 서버(305)로부터 전송된 지역 정보 데이터를 분석하여 촬영한 실사 영상에 지역 정보를 중첩하여 디스플 레이한다.Thus, the server 305 receives the location information data transmitted from the mobile communication terminal 100 in step 430 and analyzes it. Then, in step 440, the server 305 grasps the geographical feature in which the corresponding live image is located according to the location information data, and extracts local information from the local information DB 335 to generate local information data. The server 305 transmits the area information data generated in operation 450 to the mobile communication terminal 100. In this way, the mobile communication terminal 100 analyzes the area information data transmitted from the server 305 and displays the area information by superimposing the area information on the photographed live image.

그러면, 상술한 바와 같은 지역 정보 제공 방법과 관련하여 본 발명의 실시 예에 따른 이동 통신 단말기에서 지역 정보 제공 방법의 실행 과정에 대해 상세히 설명하기로 한다. 이를 위해 본 발명의 실시 예에 따른 지역 정보 제공 방법에 대한 이동 통신 단말기에서의 제어흐름도인 도 5를 참조한다. Next, the execution process of the method for providing area information in the mobile communication terminal according to an embodiment of the present invention will be described in detail with respect to the method for providing area information as described above. To this end, reference is made to FIG. 5, which is a control flowchart of a mobile communication terminal for a method for providing region information according to an exemplary embodiment of the present invention.

먼저, 본 발명의 실시 예에 따라 제어부(200)는 (500)단계에서 사용자로부터 지역 정보 서비스 메뉴 선택이 있으면 (510)단계로 진행하여 카메라(205), GPS 수신기(270) 및 자이로 센서(280)를 구동한다. 여기서 제어부(200)는 GPS 수신기(270)를 통해 촬영이 이루어지는 곳의 현재 위치를 파악하고 자이로 센서(280)를 통해 촬영한 영상에 대한 자세를 측정한다. 그러면 제어부(200)는 (520)단계로 진행하여 사용자에 의해 카메라(205)를 이용하여 원하는 지형 및 시설물에 대한 촬영이 이루어지도록 한다. First, according to an embodiment of the present invention, if there is a local information service menu selection from the user in step 500, the controller 200 proceeds to step 510 in which the camera 205, the GPS receiver 270, and the gyro sensor 280 are selected. ). Here, the controller 200 determines the current position of the location where the image is taken by the GPS receiver 270 and measures the posture of the image captured by the gyro sensor 280. Then, the control unit 200 proceeds to step 520 to allow the user to take pictures of desired terrain and facilities by using the camera 205.

그리고나서 제어부(200)는 (530)단계에서 사용자로부터 지역 정보 요청이 있는지를 판단한다. 판단 결과 지역 정보 요청이 있으면 제어부(200)는 지역 정보에 대한 다양한 서비스 항목을 디스플레이한다. 즉, 제어부(200)는 표시부(210)를 통해 촬영한 지형 및 시설물 영상에 대한 다양한 정보를 제공하기 위해 지역 정보 선택 메뉴를 디스플레이할 수 있다. Then, the controller 200 determines whether there is a request for local information from the user in step 530. As a result of the determination, if there is a request for local information, the controller 200 displays various service items for the local information. That is, the controller 200 may display a local information selection menu to provide various information about the terrain and the facility image photographed through the display unit 210.

그러면 제어부(200)는 디스플레이되는 지역 정보에 대한 다양한 서비스 항목 중 사용자로부터 어느 하나의 서비스 항목을 선택받는다. 그리고 제어부(200)는 (540)단계로 진행하여 선택된 서비스 항목에 해당하는 정보를 요청하기 위해 선택 된 서비스 항목과 함께 촬영 완료 시점의 측정된 실사 영상에 대한 촬영 위치 및 자세 정보를 이용하여 위치 정보 데이터를 생성하고, 이를 서버(305)로 전송한다.  Then, the controller 200 receives one service item selected from the user among various service items for the displayed local information. In addition, the control unit 200 proceeds to step 540 by using the selected service item to request information corresponding to the selected service item and the location information using the photographing position and posture information on the measured live image at the time of shooting completion. Generates data and sends it to server 305.

그리고나서 제어부(200)는 (550)단계에서 서버(305)에서 생성된 지역 정보 데이터가 수신되는지를 검사한다. 그리고 (550)단계에서 지역 정보 데이터를 수신한 경우 제어부(200)는 (560)단계로 진행하여 촬영한 실사 영상에 서버(305)로부터 전송된 지역 정보를 중첩하여 도 6에 도시된 바와 같이 각 지형 및 시설물마다 정해진 특정 위치에 각각의 지역 정보를 디스플레이한다. 여기서 도 6은 본 발명의 실시 예에 따라 지역 정보가 제공되는 화면예시도이다. Then, the controller 200 checks whether the regional information data generated by the server 305 is received in operation 550. When receiving the area information data in step 550, the control unit 200 proceeds to step 560 to superimpose the area information transmitted from the server 305 on the photographed live image, as shown in FIG. Each area information is displayed at a specific location determined for each terrain and facility. 6 is a diagram illustrating an example of providing region information according to an exemplary embodiment of the present invention.

이어, 전술한 바와 같은 지역 정보 제공 방법과 관련하여 본 발명의 실시 예에 따른 서버에서 지역 정보 제공 방법의 실행 과정에 대해 도 3 및 도 7을 참조하여 상세히 설명하기로 한다. 여기서 도 7은 본 발명의 실시 예에 따른 지역 정보를 제공하는 서버에서의 제어흐름도이다. Subsequently, a process of executing the regional information providing method in the server according to the exemplary embodiment of the present invention will be described in detail with reference to FIGS. 3 and 7. 7 is a control flowchart of a server providing local information according to an exemplary embodiment of the present invention.

먼저, 서버(305)는 (600)단계에서 위치 정보 데이터 수신 모듈(310)을 통해 이동 통신 단말기(100)로부터 수신된 위치 정보 데이터가 있는지 검사한다. 검사 결과 수신된 위치 정보 데이터가 있는 경우 서버(305)는 (610)단계로 진행하여 수신된 위치 정보 데이터를 분석한다. 이러한 분석 과정에서 서버(305)는 위치 정보 데이터 수신 모듈(310)을 통해 실사 영상의 촬영 위치 및 자세 데이터를 추출한다. 그리고 서버(305)는 (620)단계로 진행하여 영상 영역 계산 모듈(315)을 통해 추출된 실사 영상의 촬영 위치 및 자세 데이터로부터 촬영된 실사 영상의 영역을 산출한다. 이때 산출되는 실사 영상의 영역은 이동 통신 단말기(100)로부터 전송된 데이터에 포함되어 있다.  First, the server 305 checks whether there is location information data received from the mobile communication terminal 100 through the location information data receiving module 310 in step 600. If there is the received location information data as a result of the inspection, the server 305 proceeds to step 610 and analyzes the received location information data. In this analysis process, the server 305 extracts the photographing position and posture data of the live-action image through the position information data receiving module 310. In operation 620, the server 305 calculates an area of the live image captured from the photographing position and posture data of the live image extracted by the image region calculation module 315. At this time, the area of the calculated live image is included in the data transmitted from the mobile communication terminal 100.

그리고나서 서버(305)는 (630)단계로 진행하여 정보 추출 모듈(320)을 통해 산출된 영역에 해당하는 지역 정보를 서버(305)와 연결된 지역 정보 DB(335)로부터 추출한다. 다시 말하면, 서버(305) 내의 정보 추출 모듈(320)은 산출된 영역 즉, 카메라에 의해 주변 환경을 촬영한 실사 영상의 지리적 위치에 매핑되는 지역 정보를 지역 정보 DB(335)로부터 추출한다. 이때 촬영된 실사 영상의 특정 위치에 표시되는 지역 정보는 사용자에 의해 선택된 지역 정보 서비스 메뉴 항목에 의해 결정된다. 예를 들어, 사용자에 의해 선택된 지역 정보 서비스 메뉴가 일반 지명 메뉴라면, 서버(305)에서의 정보 추출 모듈(320)은 지역 정보 DB(335)로부터 그 실사 영상의 각 지형 및 시설물에 해당하는 지명을 추출한다. Then, the server 305 proceeds to step 630 to extract area information corresponding to the area calculated by the information extraction module 320 from the area information DB 335 connected to the server 305. In other words, the information extraction module 320 in the server 305 extracts, from the area information DB 335, the area information mapped to the calculated area, that is, the geographic location of the live image captured by the camera. In this case, the region information displayed at a specific location of the photographed live image is determined by a region information service menu item selected by the user. For example, if the local information service menu selected by the user is a general geographical name menu, the information extraction module 320 in the server 305 is a geographical name corresponding to each terrain and facilities of the live image from the local information DB 335. Extract

그리고 지역 정보 DB(335)로부터 추출된 해당 지역 정보는 촬영된 실사 영상에 정확하게 중첩되어 위치되도록 하는 과정을 거치게 된다. 이를 위해 서버(305)에서의 위치 보정 모듈(325)은 분석된 위치 정보 데이터에 의해 산출된 위치와 자세 값을 기반으로 촬영한 실사 영상에 해당 지역 정보가 디스플레이될 위치를 계산한다. 그리고나서 서버(305)는 (640)단계에서 위치 보정 모듈(325)을 통해 해당 지역 정보가 실사 영상의 지형 및 시설물상의 특정 위치에 정확하게 위치하도록 하는 지역 정보 데이터를 생성한다. 이를 통해 예를 들면, 촬영된 실사 영상 내에 시설물마다 각각의 지역 정보인 건물 이름이 정확하게 특정 위치에 디스플레이되도록 할 수 있다. 이와 같은 과정을 통해 서버(305)는 (650)단계에서 생성한 지역 정보 데이터를 지역 정보 데이터 송신 모듈(330)을 통해 이동 통신 단말기(100)로 전송한다. The region information extracted from the region information DB 335 is subjected to a process of being accurately overlapped with the photographed live image. To this end, the position correction module 325 of the server 305 calculates a position at which the corresponding local information is to be displayed on the captured live image based on the position and posture values calculated by the analyzed position information data. Then, in step 640, the server 305 generates local information data through the position correction module 325 so that the corresponding local information is accurately positioned at a specific location on the terrain and the facility of the live image. Through this, for example, the building name, which is local information for each facility, may be accurately displayed at a specific location in the photographed live-action image. Through this process, the server 305 transmits the region information data generated in operation 650 to the mobile communication terminal 100 through the region information data transmission module 330.

전술한 바와 같은 과정을 통해 본 발명의 실시 예에서는 사용자가 카메라를 통해 보이는 지형 및 시설물을 직접 촬영하고, 촬영한 실사 영상의 지형 및 시설물에 대응하는 지역 정보를 얻기 위해 지역 정보 서비스 항목을 선택할 수 있도록 한다. 이와 같이 선택된 지역 정보 서비스 항목은 실사 영상의 부가 정보를 제공하기 위한 것으로서 선택된 지역 정보 서비스 항목에 따른 지역 정보가 도 6에 도시된 바와 같이 디스플레이된다. 예컨대, 선택된 지역 정보 서비스 항목이 일반 지명인 경우 이동 통신 단말기 화면에는 실사 영상의 지형 및 시설물에 대응하는 일반 지명 즉, 건물의 이름(호텔, 교회, 무역센터 등)이 그 실사 영상에 중첩되어 디스플레이된다.According to the embodiment of the present invention through the above-described process, the user can directly photograph the terrain and the facilities visible through the camera, and select a local information service item to obtain local information corresponding to the terrain and the facilities of the photographed live image. Make sure The region information service item selected as described above is for providing additional information of the live-action image, and the region information according to the selected region information service item is displayed as shown in FIG. 6. For example, when the selected local information service item is a general place name, a general place name corresponding to the terrain and facilities of the live action image, that is, the name of a building (hotel, church, trade center, etc.) is displayed on the mobile communication terminal screen. .

상술한 바와 같이 본 발명은 사용자가 원하는 주변 지역을 촬영함과 동시에, 서버로부터 촬영한 주변 지역의 지형 및 시설물에 대한 정보를 전송받아 이를 촬영한 실사 영상과 합성된 형태로 볼 수 있도록 하여 지명, 관광, 쇼핑, 광고 등의 다양한 분야에 이용할 수 있는 효과가 있다.As described above, the present invention captures the surrounding area desired by the user and at the same time receives information about the terrain and facilities of the surrounding area from the server so that it can be viewed in a form synthesized with the real-world image of the shooting. There is an effect that can be used in various fields, such as tourism, shopping, advertising.

Claims (12)

증강현실을 이용한 지역 정보를 이동 통신 단말기에 제공하기 위한 지역 정보 서비스 시스템은,Local information service system for providing local information using augmented reality to the mobile communication terminal, 상기 이동 통신 단말기로부터 실사 영상에 대한 지역 정보 요청이 있는 경우 상기 이동 통신 단말기로부터 제공받은 위치 정보 데이터에 따라 상기 실사 영상의 지형 및 시설물에 대한 정보를 포함하는 지역 정보 데이터를 생성하여 상기 이동 통신 단말기로 전송하는 서버를 포함하고,When there is a request for area information on the live image from the mobile communication terminal, the mobile terminal generates area information data including information on the terrain and facilities of the live image according to the location information data provided from the mobile communication terminal. Includes a server for sending to, 상기 이동 통신 단말기는 지형 및 시설물에 대한 실사 영상을 촬영한 후 사용자로부터 지역 정보 요청이 있으면 촬영 완료 시점에 측정된 상기 실사 영상의 촬영 위치 및 자세를 이용하여 위치 정보 데이터를 생성하고 상기 위치 정보 데이터를 상기 서버로 전송하며, 상기 위치 정보 데이터 전송에 대응하여 상기 서버로부터 지역 정보 데이터가 수신되면 상기 실사 영상에 지역 정보를 중첩하여 디스플레이하는 것을 특징으로 하는 지역 정보 서비스 시스템.The mobile communication terminal generates location information data by using the photographing position and posture of the live image measured at the time of photographing completion after photographing the live image of the terrain and the facility and requesting local information from the user. And transmits the local information to the server and displays the local information superimposed on the live image when the regional information data is received from the server in response to the transmission of the location information data. 이동 통신 단말기에서 지역 정보를 디스플레이하기 위한 방법에 있어서,In the method for displaying local information in a mobile communication terminal, 카메라를 이용하여 지역 정보를 요청할 실사 영상을 입력받는 과정과,Receiving a live-action video for requesting local information using a camera; 사용자로부터 지역 정보 요청이 있으면 촬영 완료 시점에 측정된 상기 실사 영상의 촬영 위치 및 자세를 이용하여 위치 정보 데이터를 생성하며 상기 생성한 위치 정보 데이터를 지역 정보 데이터 서버로 전송하는 과정과,Generating location information data by using a location and a posture of the live-action image measured at the time of completion of photographing when a user requests local information, and transmitting the generated location information data to a local information data server; 상기 요청에 따라 상기 실사 영상의 지형 및 시설물에 대한 정보를 포함하는 지역 정보 데이터를 상기 지역 정보 데이터 서버로부터 전송받는 과정과,Receiving area information data including information on the terrain and facilities of the live-action image from the area information data server according to the request; 상기 전송받은 지역 정보 데이터를 분석하여 상기 실사 영상에 지역 정보를 중첩하여 디스플레이하는 과정을 포함함을 특징으로 하는 방법.Analyzing the received area information data to display area information superimposed on the live-action image. 제 2항에 있어서, The method of claim 2, 상기 사용자로부터 지역 정보 요청이 있으면 상기 실사 영상에 대한 지역 정보 서비스 항목을 디스플레이하는 과정과,Displaying a local information service item for the live image when a local information request is made from the user; 상기 지역 정보 서비스 항목 중 상기 사용자로부터 어느 하나의 항목을 선택받는 과정과,Receiving any one of the local information service items from the user; 상기 선택된 서비스 항목을 상기 위치 정보 데이터에 포함하여 전송하는 과정을 더 포함함을 특징으로 하는 방법.And including the selected service item in the location information data and transmitting the location information data. 제 3항에 있어서, 상기 지역 정보 서비스 항목은 촬영한 실사 영상에 대한 일반 지명 정보, 주소 정보, 관광 정보, 쇼핑 정보 항목을 포함함을 특징으로 하는 방법.The method of claim 3, wherein the area information service item includes general place name information, address information, tourism information, and shopping information item for the photographed live-action image. 제 2항에 있어서, 상기 실사 영상의 촬영 위치는 상기 이동 통신 단말기에 구비된 GPS 수신기를 통해 GPS 위성으로부터 전송되는 GPS 측위 정보를 이용하여 측정됨을 특징으로 하는 방법.The method of claim 2, wherein the photographing position of the live image is measured using GPS positioning information transmitted from a GPS satellite through a GPS receiver provided in the mobile communication terminal. 제 2항에 있어서, 상기 실사 영상의 촬영 자세는 상기 이동 통신 단말기에 구비된 자세 측위 장치인 자이로(GYRO) 센서로부터 전달되는 상기 이동 통신 단말기의 각도를 이용하여 측정됨을 특징으로 하는 방법.The method of claim 2, wherein the photographing posture of the live-action image is measured using an angle of the mobile communication terminal transmitted from a GYRO sensor, which is a posture positioning device provided in the mobile communication terminal. 제 2항에 있어서, 상기 지역 정보 데이터 서버는 상기 이동 통신 단말기로부터 지역 정보 요청이 있는 경우 상기 이동 통신 단말기로부터 제공받은 위치 정보 데이터를 분석하여 지역 정보 데이터를 생성하며 생성한 지역 정보 데이터를 상기 이동 통신 단말기로 전송하는 것을 특징으로 하는 방법.The mobile terminal of claim 2, wherein the area information data server analyzes the location information data provided from the mobile communication terminal when the area information request is received from the mobile communication terminal, generates the area information data, and moves the generated area information data. Transmitting to a communication terminal. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020040006280A 2004-01-30 2004-01-30 Method for providing local information by augmented reality and local information service system therefor KR100651508B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040006280A KR100651508B1 (en) 2004-01-30 2004-01-30 Method for providing local information by augmented reality and local information service system therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040006280A KR100651508B1 (en) 2004-01-30 2004-01-30 Method for providing local information by augmented reality and local information service system therefor

Publications (2)

Publication Number Publication Date
KR20050078136A KR20050078136A (en) 2005-08-04
KR100651508B1 true KR100651508B1 (en) 2006-11-29

Family

ID=37265394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040006280A KR100651508B1 (en) 2004-01-30 2004-01-30 Method for providing local information by augmented reality and local information service system therefor

Country Status (1)

Country Link
KR (1) KR100651508B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997084B1 (en) 2010-06-22 2010-11-29 (주)올포랜드 A method and system for providing real time information of underground object, and a sever and method for providing information of the same, and recording medium storing a program thereof
CN102474902A (en) * 2009-10-05 2012-05-23 索尼公司 Mobile device visual input systems and methods
KR101213022B1 (en) 2010-12-09 2012-12-18 (주)그리다 System and method of searching a virtual treasure using a mobile terminal
KR101314023B1 (en) 2010-12-07 2013-10-01 가시오게산키 가부시키가이샤 Information display system, information display apparatus, and storage medium
US8823855B2 (en) 2010-10-13 2014-09-02 Pantech Co., Ltd. User equipment and method for providing augmented reality (AR) service

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100987248B1 (en) 2005-08-11 2010-10-12 삼성전자주식회사 User input method and apparatus in mobile communication terminal
KR101309176B1 (en) 2006-01-18 2013-09-23 삼성전자주식회사 Apparatus and method for augmented reality
KR100777215B1 (en) * 2006-05-30 2007-11-19 한국과학기술연구원 Augmented reality imaging system using a hand-held mobile device
US8171237B2 (en) 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
KR101285360B1 (en) * 2007-01-25 2013-07-11 삼성전자주식회사 Point of interest displaying apparatus and method for using augmented reality
KR100836490B1 (en) * 2007-03-08 2008-06-09 에스케이 텔레콤주식회사 Terminal-based memory regeneration system and method thereof
US7844229B2 (en) 2007-09-21 2010-11-30 Motorola Mobility, Inc Mobile virtual and augmented reality system
US7853296B2 (en) 2007-10-31 2010-12-14 Motorola Mobility, Inc. Mobile virtual and augmented reality system
KR100912369B1 (en) * 2007-12-13 2009-08-19 한국전자통신연구원 System and method for serving information of spot trial
KR100912264B1 (en) * 2008-02-12 2009-08-17 광주과학기술원 Method and system for generating user-responsive augmented image
WO2009104923A2 (en) * 2008-02-21 2009-08-27 주식회사 아이디폰 Field monitoring system using a mobile terminal
US8406531B2 (en) 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
US9753948B2 (en) 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US8350871B2 (en) 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
KR101335617B1 (en) * 2009-04-16 2013-12-02 주식회사 제니텀 Method and device for implementing augmented reality in mobile environment
KR101447180B1 (en) * 2009-04-28 2014-10-07 에스케이플래닛 주식회사 Live image providing service system
KR101013751B1 (en) * 2009-07-09 2011-02-14 주식회사 인스프리트 Server for processing of virtualization and system for providing augmented reality using dynamic contents delivery
CN102625993B (en) * 2009-07-30 2016-08-03 Sk普兰尼特有限公司 For providing the method for augmented reality, server and portable terminal device
KR101370320B1 (en) * 2009-07-30 2014-03-05 에스케이플래닛 주식회사 Method for Providing Augmented Reality by User Selection Area, Server And Portable Terminal Therefor
KR101423196B1 (en) * 2009-07-30 2014-07-25 에스케이플래닛 주식회사 Method for Providing Augmented Reality by Using Image Feature, Server And Portable Terminal Therefor
KR101648339B1 (en) 2009-09-24 2016-08-17 삼성전자주식회사 Apparatus and method for providing service using a sensor and image recognition in portable terminal
KR100957575B1 (en) * 2009-10-01 2010-05-11 (주)올라웍스 Method, terminal and computer-readable recording medium for performing visual search based on movement or pose of terminal
KR101640020B1 (en) * 2009-10-19 2016-07-22 삼성전자주식회사 Augmentated image providing system and method thereof
KR101401321B1 (en) * 2009-10-20 2014-05-29 에스케이플래닛 주식회사 System and method for augmented reality service based wireless personal area network
US8670939B2 (en) 2009-12-18 2014-03-11 Electronics And Telecommunications Research Institute Apparatus and method of providing facility information
KR101229078B1 (en) * 2009-12-21 2013-02-04 한국전자통신연구원 Apparatus And Method for Mixed Reality Content Operation Based On Indoor and Outdoor Context Awareness
KR101667033B1 (en) * 2010-01-04 2016-10-17 삼성전자 주식회사 Augmented reality service apparatus using location based data and method the same
KR101099137B1 (en) 2010-01-29 2011-12-27 주식회사 팬택 Method and Apparatus for Providing Augmented Reality Information in Mobile Communication System
KR101232864B1 (en) * 2010-02-25 2013-02-19 김희남 Method and system for providing peripheral information to mobile device
KR101002030B1 (en) * 2010-04-30 2010-12-16 (주)올라웍스 Method, terminal and computer-readable recording medium for providing augmented reality by using image inputted through camera and information associated with the image
KR101136542B1 (en) * 2010-04-30 2012-04-17 (주)에이엔티홀딩스 Method, terminal device and computer-readable recording medium for providing service for reservation using augmented reality
KR101643869B1 (en) * 2010-05-06 2016-07-29 엘지전자 주식회사 Operating a Mobile Termianl with a Vibration Module
KR101103333B1 (en) * 2010-05-27 2012-01-11 한창수 Method for supplying sea traffic information using smart phone application
KR101688033B1 (en) * 2010-06-15 2016-12-21 주식회사 엘지유플러스 System and method for providing augumented reality information using video transmission
KR101650579B1 (en) * 2010-06-24 2016-09-05 엘지전자 주식회사 Method for providing messenger using augmented reality in mobile terminal
KR101658087B1 (en) * 2010-07-02 2016-09-21 엘지전자 주식회사 Mobile terminal and method for displaying data using augmented reality thereof
KR101118010B1 (en) * 2010-07-16 2012-06-12 텔코웨어 주식회사 Method and system for video call service using augmented reality, and recording medium
KR101683676B1 (en) 2010-07-22 2016-12-07 삼성전자 주식회사 Apparatus and method for providing augmented reality service using sound
KR101332816B1 (en) * 2010-07-26 2013-11-27 주식회사 팬택 Augmented Reality Method and Apparatus for Providing Private Tag
KR101659089B1 (en) * 2010-08-11 2016-09-22 주식회사 엘지유플러스 Augmented reality apparatus using position information
WO2012020867A1 (en) * 2010-08-13 2012-02-16 엘지전자 주식회사 Apparatus and method for displaying service information rendered within a service zone
KR101299910B1 (en) * 2010-08-18 2013-08-23 주식회사 팬택 Method, User Terminal and Remote Terminal for Sharing Augmented Reality Service
KR101102408B1 (en) * 2010-10-06 2012-01-05 주식회사 인스프리트 Parking guide system and method using augmented reality
KR101726227B1 (en) * 2010-11-08 2017-04-13 엘지전자 주식회사 Method for providing location based service using augmented reality and terminal thereof
KR101656423B1 (en) * 2010-12-21 2016-09-12 주식회사 케이티 Method and system for managing solar power plants based on augmented reality
KR101719264B1 (en) * 2010-12-23 2017-03-23 한국전자통신연구원 System and method for providing augmented reality contents based on broadcasting
KR101181967B1 (en) * 2010-12-29 2012-09-11 심광호 3D street view system using identification information.
KR101282292B1 (en) * 2011-01-24 2013-07-10 주식회사 코세이프 System and method for servicing advertisement using augmented reality
WO2013073727A1 (en) * 2011-11-17 2013-05-23 Song Chan Ho System and method for three-dimensional advertising
KR101413011B1 (en) * 2013-01-17 2014-07-02 국방과학연구소 Augmented Reality System based on Location Coordinates and Augmented Reality Image Providing Method thereof
KR101648132B1 (en) * 2014-06-13 2016-08-16 전주대학교 산학협력단 Interface device and method of moving pointer
KR101594513B1 (en) * 2014-09-23 2016-02-16 (주)포스트미디어 Device and operating method of bluetooth beacon with portable terminal which provide thread service from recognizing of position coordinate of road structure
KR102223777B1 (en) * 2019-06-12 2021-03-05 주식회사 디지포레 A Method and Apparatus For Sharing Augmented Reality Content Based On the Location
KR102117510B1 (en) * 2019-07-25 2020-06-03 주식회사 비즈모델라인 Method for Displaying Selectable Virtual-Object Data of Augmented Reality
KR102204721B1 (en) * 2019-10-18 2021-01-19 주식회사 도넛 Method and user terminal for providing AR(Augmented Reality) documentary service
KR102576449B1 (en) * 2020-11-27 2023-09-11 주식회사 소프트그래피 Device and method of image registration for 3d models
KR102446878B1 (en) * 2020-12-17 2022-09-22 건국대학교 글로컬산학협력단 APPARATUS AND METHOD, system for providing dokdo information

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474902A (en) * 2009-10-05 2012-05-23 索尼公司 Mobile device visual input systems and methods
KR100997084B1 (en) 2010-06-22 2010-11-29 (주)올포랜드 A method and system for providing real time information of underground object, and a sever and method for providing information of the same, and recording medium storing a program thereof
US8823855B2 (en) 2010-10-13 2014-09-02 Pantech Co., Ltd. User equipment and method for providing augmented reality (AR) service
KR101314023B1 (en) 2010-12-07 2013-10-01 가시오게산키 가부시키가이샤 Information display system, information display apparatus, and storage medium
KR101213022B1 (en) 2010-12-09 2012-12-18 (주)그리다 System and method of searching a virtual treasure using a mobile terminal

Also Published As

Publication number Publication date
KR20050078136A (en) 2005-08-04

Similar Documents

Publication Publication Date Title
KR100651508B1 (en) Method for providing local information by augmented reality and local information service system therefor
US11776185B2 (en) Server, user terminal, and service providing method, and control method thereof for displaying photo images within a map
JP5389111B2 (en) Augmented reality information providing apparatus and method
US20130342713A1 (en) Cloud service based intelligent photographic method, device and mobile terminal
US6762789B1 (en) Omnidirectional video output method and apparatus
US8879784B2 (en) Terminal and method for providing augmented reality
US9013505B1 (en) Mobile system representing virtual objects on live camera image
US20130128059A1 (en) Method for supporting a user taking a photo with a mobile device
KR20120086810A (en) Terminal and method for processing image thereof
KR20110070210A (en) Mobile terminal and method for providing augmented reality service using position-detecting sensor and direction-detecting sensor
WO2012004622A1 (en) An augmented reality method, and a corresponding system and software
JP2010198104A (en) Image display system, portable terminal system, portable terminal equipment, server, and image display method thereof
JP2010102588A (en) Device and method for superimposing virtual object on real image captured in the past and displaying composite image
JP2006119797A (en) Information providing system and mobile temrinal
KR20130068463A (en) System for providing history information using location based information service and the method
KR101688033B1 (en) System and method for providing augumented reality information using video transmission
JP5649842B2 (en) Information providing apparatus, information providing method, and program
KR102207566B1 (en) System for providing location based social network service using augmented reality
JP2011041020A (en) Mobile terminal, display method, and display system
JP6815439B2 (en) A system including a terminal device and a server device for displaying a virtual object, and the server device.
JP5670092B2 (en) Topographic display system, portable terminal, topographic display method and program
JP2011022662A (en) Portable telephone terminal and information processing system
JP6523362B2 (en) Server device, terminal device and program
JP6541704B2 (en) System including terminal device for displaying virtual object and server device
JP6673700B2 (en) Feature information providing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 13