RU2324236C2

RU2324236C2 - Method for matching a camera-photographed image with map data in a portable terminal and method for travel route guidance

Info

Publication number: RU2324236C2
Application number: RU2006120530/11A
Authority: RU
Inventors: Мун Хо ДЗУНГ (KR); Мун Хо ДЗУНГ
Original assignee: ЭлДжи ЭЛЕКТРОНИКС ИНК.
Priority date: 2005-06-14
Filing date: 2006-06-13
Publication date: 2008-05-10
Also published as: RU2006120530A

Abstract

FIELD: transporting.

SUBSTANCE: location information of objects of images photographed by a camera and location information of display objects, such as a building included in the map data are calculated based on location information of the camera. The calculated location information is used to match the objects with the display objects. The image photographed by the camera is displayed on a screen. Text information of display objects matched to the objects is read out from the map data and is displayed on the locations of the objects displayed on the screen. If a user moves, a travel route is guided using the matching information between the objects and display objects, so the user can be guided with the travel route while personally checking objects such as a building.

EFFECT: accomplishment of enhanced precision navigation tasks.

32 cl, 8 dwg

Description

Перекрестная ссылка на родственные заявкиCross reference to related applications

По заявке испрашивается приоритет в соответствии с более ранней датой подачи заявки KR 10-2005-0051093, поданной 14 июня 2005 г., заявки KR 10-2005-0051099, поданной 14 июня 2005 г., и заявки KR 10-2005-0054397, поданной 23 июня 2005 г., содержание которых полностью включено в настоящее описание в качестве ссылки.The application claims priority in accordance with the earlier filing date of application KR 10-2005-0051093, filed June 14, 2005, application KR 10-2005-0051099, filed June 14, 2005, and application KR 10-2005-0054397, filed June 23, 2005, the contents of which are fully incorporated into this description by reference.

Область, к которой относится изобретениеFIELD OF THE INVENTION

Настоящее изобретение относится к способу сопоставления изображения, сфотографированного камерой, с данными карты в портативном терминале. Настоящее изобретение также относится к способу направления по маршруту перемещения с использованием изображения, сфотографированного камерой в портативном терминале.The present invention relates to a method for matching an image photographed by a camera with map data in a portable terminal. The present invention also relates to a method for guiding a travel route using an image photographed by a camera in a portable terminal.

УРОВЕНЬ ТЕХНИКИBACKGROUND

В Глобальной Системе Позиционирования (GPS), для максимизации охвата пользователей в любой точке на поверхности Земли, в шести орбитальных плоскостях позиционированы четыре или большее количество спутников GPS на плоскость, с каждым GPS спутником, пересекающим экватор Земли под углом наклона в 55 градусов. Для передачи навигационных сообщений приблизительно каждые 12 часов каждый спутник GPS делает круг вокруг земли.In the Global Positioning System (GPS), to maximize user coverage anywhere on the surface of the Earth, four or more GPS satellites are positioned on the plane in six orbital planes, with each GPS satellite crossing the Earth's equator at a 55-degree angle. To transmit navigation messages approximately every 12 hours, each GPS satellite circles around the earth.

Приемник GPS принимает навигационные сообщения, периодически передаваемые по меньшей мере из четырех или большего количества спутников GPS из числа спутников GPS. Приемник GPS для вычисления своего вектора положения определяет расстояние между приемником и спутниками GPS и вектор положения (пространственную координату местоположения) спутников GPS.The GPS receiver receives navigation messages periodically transmitted from at least four or more GPS satellites from among the GPS satellites. The GPS receiver for calculating its position vector determines the distance between the receiver and the GPS satellites and the position vector (spatial coordinate of the location) of the GPS satellites.

В навигационной системе, оборудованной приемником GPS, вектор положения, обнаруженный приемником GPS, сопоставляют с картой относительно цифровой карты, которая должна отображаться на экране устройства отображения. В качестве дополнительной услуги навигационная система обеспечивает услугу направления по маршруту перемещения, предоставляющую информацию относительно текущей позиции пользователя или маршрута перемещения из отправного пункта в пункт назначения. Соответственно, пользователь навигационной системы, принимая услугу направления по маршруту перемещения навигационной системы, может просто находить пункт назначения из отправного пункта или текущего местоположения.In a navigation system equipped with a GPS receiver, the position vector detected by the GPS receiver is compared with a map relative to a digital map to be displayed on a display device. As an additional service, the navigation system provides a travel direction service providing information on the user's current position or travel route from the starting point to the destination. Accordingly, the user of the navigation system, while accepting the direction service along the navigation path of the navigation system, can simply find the destination from the starting point or the current location.

В последнее время навигационные системы были установлены на различные мобильные терминалы, такие как портативный терминал, персональный цифровой ассистент (PDA, ПЦА), телефон iBook и смарт (интеллектуальный) телефон. Далее, для удобства, мобильный терминал будет просто определен как портативный терминал. Соответственно, посредством маршрута перемещения может быть осуществлено направление пользователя в пункт назначения, даже если пользователь идет в пункт назначения пешком.Recently, navigation systems have been installed on various mobile terminals, such as a portable terminal, a personal digital assistant (PDA, OCA), an iBook phone, and a smart (smart) phone. Further, for convenience, a mobile terminal will simply be defined as a portable terminal. Accordingly, through the travel route, the user can be directed to the destination, even if the user is walking to the destination.

Если пользователю портативного терминала, оборудованного навигационной системой, обеспечивают услугу для наведения пользователя в предварительно определенный пункт назначения по маршруту перемещения, то, обычно, пользователь должен проверить, что действительный объект на улице соответствует объекту, отображенному на цифровой карте на устройстве отображения портативного терминала.If a user of a portable terminal equipped with a navigation system is provided with a service for guiding the user to a predetermined destination along a travel route, then usually the user should check that the actual object on the street corresponds to the object displayed on a digital map on the display device of the portable terminal.

В этом случае пользователь должен визуально проверить и сопоставить один за другим объект на карте с действительным объектом на улице. Например, пользователь должен будет сопоставить здание, которое он действительно наблюдает на улице, с этим зданием, изображенным на цифровой карте, чтобы удостовериться, что предварительно описанное здание ("A"), отображенное на экране, идентично действительному зданию. После этого осуществляется распознавание относительно того, какое здание на карте действительно соответствует зданию "A" на экране.In this case, the user must visually check and match one by one the object on the map with the actual object on the street. For example, the user would have to match the building that he was actually observing on the street with that building shown on a digital map to make sure that the previously described building (“A”) displayed on the screen was identical to the actual building. After that, recognition is made as to which building on the map really matches building "A" on the screen.

В частности, если здание объекта расположено на расстоянии от текущего местоположения пользователя, пользователь должен лично переместиться в местоположение здания объекта для получения информации относительно здания объекта. При перемещении в местоположение здания объекта пользователь может подтвердить, что требуемое ему здание соответствует зданию объекта на карте, только если информация, полученная относительно здания объекта сопоставлена со зданием, отображенным на карте.In particular, if the building of the object is located at a distance from the current location of the user, the user must personally move to the location of the building of the object to obtain information on the building of the object. When moving to the location of the building of the object, the user can confirm that the building he needs corresponds to the building of the object on the map only if the information received regarding the building of the object is compared with the building displayed on the map.

Кроме того, если пользователь перемещается в пункт назначения, принимая маршрут перемещения через навигационную систему, размещенную на портативном терминале, навигационная система, обычно, отображает карту на экране и направляет пользователя по маршруту перемещения. В результате пользователь должен найти пункт назначения посредством проверки зданий на карте, одного за другим, относительно действительных зданий объектов на улице.In addition, if a user moves to a destination by taking a travel route through a navigation system located on a portable terminal, the navigation system typically displays a map on the screen and guides the user along a travel route. As a result, the user must find the destination by checking the buildings on the map, one by one, with respect to the actual buildings of the objects on the street.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

Настоящее изобретение направлено на сопоставление изображения, сфотографированного камерой, с данными карты в портативном терминале.The present invention is directed to comparing an image photographed by a camera with map data in a portable terminal.

Дополнительные признаки и преимущества изобретения будут сформулированы в последующем описании и станут частично ясны из описания или могут быть изучены при практическом осуществлении изобретения. Решение задач и другие преимущества изобретения будут реализованы и достигнуты посредством структуры, в частности указанной в настоящем описании и формуле изобретения этой заявки, а также в приложенных чертежах.Additional features and advantages of the invention will be set forth in the description that follows, and will become partially apparent from the description, or may be learned by practice of the invention. Problem solving and other advantages of the invention will be realized and achieved through the structure, in particular, indicated in the present description and claims of this application, as well as in the attached drawings.

Для достижения указанных и других преимуществ и в соответствии с задачей настоящего изобретения, как реализовано и описано в общих чертах, настоящее изобретение реализуется посредством способа сопоставления изображения, сфотографированного камерой, с данными карты в портативном терминале. Способ включает фотографирование по меньшей мере одного объекта камерой, размещенной на портативном терминале, определение информации местоположения камеры, фотографирующей по меньшей мере один объект, вычисление информации местоположения по меньшей мере одного сфотографированного объекта, вычисление информации местоположения по меньшей мере одного объекта отображения, содержащегося в данных карты, на основе текущего местоположения камеры, сравнение информации местоположения по меньшей мере одного сфотографированного объекта с информацией местоположения по меньшей мере одного объекта отображения и сопоставление по меньшей мере одного объекта отображения с по меньшей мере одним сфотографированным объектом на основе соответствующей ему информации местоположения.To achieve these and other advantages, and in accordance with the object of the present invention, as implemented and described in general terms, the present invention is implemented by a method of matching an image photographed by a camera with map data in a portable terminal. The method includes photographing at least one object with a camera located on a portable terminal, determining location information of a camera photographing at least one object, calculating location information of at least one photographed object, calculating location information of at least one display object contained in the data maps, based on the current location of the camera, comparing the location information of at least one photographed object with and the location information of the at least one display object and matching at least one display object with at least one photographed object based on the corresponding location information.

Согласно одному аспекту изобретения определение информации местоположения камеры, фотографирующей по меньшей мере один объект, включает определение текущего местоположения камеры в соответствии с сообщениями GPS, принятыми приемником GPS, размещенным на портативном терминале, определение полярного угла центральной оси камеры с использованием датчика азимута, размещенного на портативном терминале, и определение наклона камеры с использованием датчика наклона, размещенного на портативном терминале.According to one aspect of the invention, determining the location information of a camera photographing at least one object includes determining the current location of the camera in accordance with GPS messages received by a GPS receiver located on a portable terminal, determining a polar angle of a central axis of the camera using an azimuth sensor located on a portable terminal, and detecting camera tilt using a tilt sensor located on a portable terminal.

Предпочтительно, информацию местоположения по меньшей мере одного сфотографированного объекта и информацию местоположения по меньшей мере одного объекта отображения вычисляют из определенной информации местоположения камеры на основе текущего местоположения камеры и полярного угла центральной оси камеры. Предпочтительно, информация местоположения камеры содержит текущее местоположение камеры и полярный угол центральной оси камеры.Preferably, the location information of the at least one photographed object and the location information of the at least one display object are calculated from the determined camera location information based on the current camera location and the polar angle of the central axis of the camera. Preferably, the camera location information comprises the current camera location and the polar angle of the central axis of the camera.

Согласно другому аспекту изобретения вычисление информации местоположения по меньшей мере одного сфотографированного объекта включает выделение контура по меньшей мере из сфотографированного объекта, установление точки вычисления информации местоположения по меньшей мере одного объекта из выделенного контура, вычисление полярного угла точки вычисления информации местоположения на основе полярного угла центральной оси камеры и вычисление расстояния от текущего местоположения камеры до точки вычисления информации местоположения.According to another aspect of the invention, calculating the location information of at least one photographed object includes extracting a contour from at least a photographed object, establishing a point for calculating location information of at least one object from a selected contour, calculating a polar angle of a location information calculating point based on a polar angle of a central axis cameras and calculating the distance from the current camera location to the point of calculating location information .

Предпочтительно, выделение контура по меньшей мере из одного объекта выполняют посредством захвата по меньшей мере одного сфотографированного объекта. Предпочтительно, информация местоположения камеры дополнительно содержит наклон камеры. Предпочтительно, вычисление информации местоположения по меньшей мере одного сфотографированного объекта дополнительно включает корректирование вычисленного расстояния от текущего местоположения камеры до точки вычисления информации местоположения.Preferably, the selection of the contour from at least one object is performed by capturing at least one photographed object. Preferably, the camera location information further comprises a camera tilt. Preferably, the calculation of the location information of the at least one photographed object further includes adjusting the calculated distance from the current location of the camera to the point of calculation of the location information.

Согласно дополнительному аспекту изобретения вычисление информации местоположения по меньшей мере одного объекта отображения на основе текущего местоположения камеры включает сопоставление информации местоположения камеры с данными карты, установление точки вычисления информации местоположения по меньшей мере одного объекта отображения и вычисление информации местоположения точки вычисления информации местоположения по меньшей мере одного объекта отображения на основе местоположения камеры, сопоставленного с данными карты. Предпочтительно, информация местоположения камеры содержит текущее местоположение камеры и полярный угол центральной оси камеры.According to a further aspect of the invention, calculating the location information of at least one display object based on a current camera location includes comparing camera location information with map data, setting a location information calculation point of at least one display object, and computing location information of a location information calculation point of the at least one display object based on camera location mapped to map data. Preferably, the camera location information comprises the current camera location and the polar angle of the central axis of the camera.

Предпочтительно, вычисление информации местоположения точки вычисления информации местоположения по меньшей мере одного объекта отображения содержит вычисление расстояния от текущего местоположения камеры до точки вычисления информации местоположения по меньшей мере одного объекта отображения и вычисление полярного угла точки вычисления информации местоположения на основе полярного угла центральной оси камеры.Preferably, the calculation of the location information of the location information calculation point of the at least one display object comprises calculating a distance from the current location of the camera to the location information calculation point of the at least one display object and calculating a polar angle of the location information calculation point based on the polar angle of the camera center axis.

Предпочтительно, сопоставление по меньшей мере одного объекта отображения по меньшей мере одному сфотографированному объекту выполняют, когда величина ошибки между информацией местоположения по меньшей мере одного сфотографированного объекта и информацией местоположения по меньшей мере одного объекта отображения находится в пределах предварительно определенной величины.Preferably, the mapping of at least one display object to the at least one photographed object is performed when the error value between the location information of the at least one photographed object and the location information of the at least one display object is within a predetermined value.

Согласно еще одному аспекту изобретения способ дополнительно включает считывание из текстовой информации данных карты по меньшей мере одного объекта отображения, сопоставленного по меньшей мере с одним сфотографированным объектом, вставку текстовой информации считывания в соответствующие местоположения в пределах по меньшей мере одного сфотографированного объекта и отображение по меньшей мере одного сфотографированного объекта, имеющего вставленную в него текстовую информацию считывания.According to yet another aspect of the invention, the method further includes reading from the text information of the map data of at least one display object mapped to at least one photographed object, inserting text read information at appropriate locations within at least one photographed object, and displaying at least one photographed object having text reading information inserted therein.

Предпочтительно, вставка текстовой информации считывания в соответствующие местоположения в пределах по меньшей мере одного сфотографированного объекта включает определение местоположения отображения текстовой информации в местоположении по меньшей мере одного сфотографированного объекта, сопоставленного по меньшей мере одному объекту отображения, и нанесение текстовой информации по меньшей мере одного объекта отображения на определенное местоположение отображения.Preferably, inserting the read text information at appropriate locations within the at least one photographed object includes determining a display location of the text information at the location of the at least one photographed object associated with the at least one display object, and applying text information to the at least one display object to a specific display location.

Предпочтительно, отображение по меньшей мере одного сфотографированного объекта, имеющего вставленную в него текстовую информацию считывания, включает определение цвета отображения и отображение контура по меньшей мере одного сфотографированного объекта и текстовой информации определенным цветом отображения.Preferably, displaying at least one photographed object having reading text inserted therein includes determining a display color and displaying the outline of at least one photographed object and text information with a specific display color.

Согласно другому варианту осуществления настоящего изобретения способ наведения по маршруту перемещения с использованием изображения, сфотографированного камерой, в портативном терминале включает поиск маршрута перемещения из отправного пункта в пункт назначения с использованием данных карты, которые хранятся в портативном терминале, определение информации местоположения камеры, размещенной в портативном терминале, сопоставление по меньшей мере одного объекта отображения, содержащегося в данных карты, по меньшей мере одному объекту, сфотографированному камерой, определение объекта наведения из числа по меньшей мере одного объекта, сфотографированного камерой, вставку пиктограммы объекта наведения в местоположение объекта наведения, определенного по меньшей мере одним сфотографированным объектом, отображение пиктограммы объекта наведения на экране портативного терминала и наведение по маршруту перемещения.According to another embodiment of the present invention, a method for guiding a travel route using an image photographed by a camera in a portable terminal includes finding a travel route from a starting point to a destination using map data stored in the portable terminal, determining camera location information located in the portable terminal, matching at least one display object contained in the map data to at least one volume the photographed by the camera, determining guidance object from among at least one object photographed by the camera, insertion icon pointing object location pointing object specified by at least one photographed object displaying icons pointing object on the screen of the portable terminal and guidance along the route displacement.

Согласно одному аспекту изобретения определение информации местоположения камеры, размещенной в портативном терминале, содержит определение текущего местоположения камеры в соответствии с сообщениями GPS, принятыми приемником GPS, размещенном на портативном терминале, определение полярного угла центральной оси камеры с использованием датчика азимута, размещенного на портативном терминале и определение наклона камеры с использованием датчика наклона, размещенного на портативном терминале.According to one aspect of the invention, determining the location information of the camera located in the portable terminal comprises determining the current location of the camera in accordance with GPS messages received by the GPS receiver located on the portable terminal, determining a polar angle of the central axis of the camera using an azimuth sensor located on the portable terminal, and detecting camera tilt using an tilt sensor located on a portable terminal.

Согласно другому аспекту изобретения сопоставление по меньшей мере одного объекта отображения, содержащегося в данных карты, по меньшей мере одному объекту, сфотографированному камерой, содержит вычисление информации местоположения по меньшей мере одного сфотографированного объекта, вычисление информации местоположения по меньшей мере одного объекта отображения, содержащегося в данных карты, сравнение вычисленной информации местоположения по меньшей мере одного сфотографированного объекта с вычисленной информацией местоположения по меньшей мере одного объекта отображения и сопоставление по меньшей мере одного объекта отображения по меньшей мере одному сфотографированному объекту на основе соответствующей им информации местоположения.According to another aspect of the invention, matching at least one display object contained in the map data to at least one object photographed by the camera comprises computing location information of at least one photographed object, calculating location information of at least one display object contained in the data maps, comparing the calculated location information of at least one photographed object with the calculated location information I at least one display object, and comparing the at least one display object to at least one photographed object based on the location information corresponding to them.

Предпочтительно, информацию местоположения по меньшей мере одного сфотографированного объекта и по меньшей мере одного объекта отображения, содержащегося в данных карты, вычисляют на основе информации местоположения камеры. Предпочтительно, информация местоположения камеры содержит текущее местоположение камеры и полярный угол центральной оси камеры.Preferably, the location information of at least one photographed object and at least one display object contained in the map data is calculated based on the location information of the camera. Preferably, the camera location information comprises the current camera location and the polar angle of the central axis of the camera.

Согласно дополнительному аспекту изобретения вычисление информации местоположения по меньшей мере одного сфотографированного объекта содержит выделение контура по меньшей мере из сфотографированного объекта, установление точки вычисления информации местоположения по меньшей мере одного объекта из выделенного контура, вычисление полярного угла точки вычисления информации местоположения на основе полярного угла центральной оси камеры и вычисление расстояния от текущего местоположения камеры до точки вычисления информации местоположения.According to an additional aspect of the invention, calculating the location information of at least one photographed object comprises extracting a contour from at least a photographed object, establishing a point for calculating location information of at least one object from a selected contour, computing a polar angle of a location information calculating point based on a polar angle of a central axis cameras and calculating the distance from the current location of the camera to the point of computing the location information position.

Предпочтительно, информация местоположения камеры дополнительно включает наклон камеры. Предпочтительно, вычисление информации местоположения по меньшей мере одного сфотографированного объекта дополнительно включает корректирование вычисленного расстояния от текущего местоположения камеры до точки вычисления информации местоположения.Preferably, the camera location information further includes tilting the camera. Preferably, the calculation of the location information of the at least one photographed object further includes adjusting the calculated distance from the current location of the camera to the point of calculation of the location information.

Согласно еще одному аспекту изобретения вычисление информации местоположения по меньшей мере одного объекта отображения, содержащегося в данных карты, включает сопоставление информации местоположения камеры с данными карты, установление точки вычисления информации местоположения по меньшей мере одного объекта отображения и вычисление информации местоположения точки вычисления информации местоположения по меньшей мере одного объекта отображения на основе местоположения камеры, сопоставленной с данными карты.According to yet another aspect of the invention, computing location information of at least one display object contained in map data includes comparing camera location information with map data, establishing a location point for computing location information of at least one display object, and computing location information of a location information computing point of at least at least one display object based on camera location associated with map data.

Предпочтительно, информация местоположения камеры содержит текущее местоположение камеры и полярный угол центральной оси камеры. Предпочтительно, вычисление информации местоположения точки вычисления информации местоположения по меньшей мере одного объекта отображения включает вычисление расстояния от текущего местоположения камеры до точки вычисления информации местоположения по меньшей мере одного объекта отображения и вычисление полярного угла точки вычисления информации местоположения на основе полярного угла центральной оси камеры.Preferably, the camera location information comprises the current camera location and the polar angle of the central axis of the camera. Preferably, calculating the location information of the location information calculation point of the at least one display object includes calculating a distance from the current camera location point to the location information calculation point of the at least one display object and calculating a polar angle of the location information calculation point based on the polar angle of the camera center axis.

Предпочтительно, сопоставление по меньшей мере одного объекта отображения с по меньшей мере одним сфотографированным объектом осуществляют, когда величина ошибки между информацией местоположения по меньшей мере одного сфотографированного объекта и информацией местоположения по меньшей мере одного объекта отображения находится в пределах предварительно определенной величины.Preferably, at least one display object is compared with at least one photographed object when the error value between the location information of the at least one photographed object and the location information of the at least one display object is within a predetermined value.

Предпочтительно, вставка текстовой информации считывания в соответствующие местоположения по меньшей мере в пределах одного сфотографированного объекта включает определение местоположения отображения текстовой информации в местоположении по меньшей мере одного сфотографированного объекта, сопоставленного по меньшей мере одному объекту отображения, и отображение текстовой информации по меньшей мере одного объекта отображения в определенном местоположении отображения.Preferably, inserting read text information at appropriate locations within at least one photographed object includes determining a display location of text information at a location of at least one photographed object associated with at least one display object, and displaying text information of at least one display object at a specific display location.

Предпочтительно, определение объекта наведения содержит определение, является ли объект, существующий по меньшей мере в одном сфотографированном объекте, доступным в качестве пункта назначения, определение объекта, существующего по меньшей мере в одном сфотографированном объекте, в качестве объекта наведения, если объект, существующий по меньшей мере в одном сфотографированном объекте, определен доступным в качестве пункта назначения, и выбор одного объекта, существующего на маршруте перемещения, по меньшей мере из одного сфотографированного объекта и определение выбранного объекта в качестве объекта наведения, если определено, что никакой объект не доступен в качестве пункта назначения.Preferably, the definition of the guidance object comprises determining whether the object existing in at least one photographed object is available as a destination, determining the object existing in at least one photographed object as a guidance if the object exists at least in at least one photographed object, determined to be available as a destination, and the selection of one object existing on the travel route of at least one photographed a defined object and determining the selected object as a guidance object, if it is determined that no object is available as a destination.

Предпочтительно, отображение пиктограммы объекта наведения на экране портативного терминала включает отображение определенной пиктограммы объекта наведения в соответствии с тем, является ли объект, определенный в качестве объекта наведения пунктом назначения или нет.Preferably, displaying the target object icon on the screen of the portable terminal includes displaying a specific target object icon in accordance with whether the object defined as the target is the destination or not.

Первая задача настоящего изобретения состоит в обеспечении способа сопоставления изображения, сфотографированного камерой, с данными карты в портативном терминале, при котором фотографируют объекты, такие как здания и т.п., камерой, размещенной на портативном терминале, и сопоставляют объектам в сфотографированных изображениях объекты отображения на данных карты.A first object of the present invention is to provide a method of matching an image photographed by a camera with map data in a portable terminal, in which objects, such as buildings and the like, are photographed by a camera located on the portable terminal, and display objects are compared to objects in the photographed images on map data.

Вторая задача состоит в обеспечении способа сопоставления изображения, сфотографированного камерой, с данными карты в портативном терминале, при котором отображают на экране текстовую информацию объектов отображения совместно со сфотографированными изображениями камеры, если объекты в сфотографированных изображениях сопоставляются с объектами отображения на данных карты.The second task is to provide a method of matching the image photographed by the camera with the map data in a portable terminal, in which the text information of the display objects is displayed on the screen together with the photographed camera images if the objects in the photographed images are compared with the display objects on the map data.

Третья задача состоит в обеспечении способа наведения по маршруту перемещения с использованием изображения, сфотографированного камерой в портативном терминале, при котором сопоставляют объекты отображения на данных карты объектам в сфотографированных изображениях, и осуществляют направление по маршруту перемещения из текущего местоположения пользователя в пункт назначения с использованием сфотографированных изображений камеры.The third task is to provide a method of guiding along a travel route using an image photographed by a camera in a portable terminal, in which display objects on map data are compared to objects in photographed images, and they are guided along a travel route from a user's current location to a destination using photographed images cameras.

Четвертая задача состоит в обеспечении способа наведения по маршруту перемещения c использованием изображения, сфотографированного камерой в портативном терминале, при котором отображают на экране текстовую информацию объектов отображения на данных карты, которые сопоставлены объектам сфотографированных изображений, совместно с изображениями, сфотографированными камерой, для наведения по маршруту перемещения, когда осуществляется направление пользователя по маршруту перемещения.The fourth task is to provide a guidance method along a travel route using an image photographed by a camera in a portable terminal, in which text information of display objects on map data that are mapped to objects of photographed images, together with images photographed by a camera, is displayed for guidance along a route movement when the user is guided along a movement route.

Распознавание информации местоположения камеры выполняют таким образом, что приемник GPS принимает навигационные сообщения и определяет местоположение, определенное посредством принятых навигационных сообщений, как текущее местоположение камеры, и полярный угол и наклон, обнаруженные датчиком, определяют полярный угол и наклон центральной оси, сфотографированные камерой.The recognition of the camera’s location information is such that the GPS receiver receives the navigation messages and determines the location determined by the received navigation messages as the current camera location, and the polar angle and tilt detected by the sensor determine the polar angle and tilt of the center axis photographed by the camera.

Кроме того, на основе информации местоположения, распознанной камерой, вычисляют информацию местоположения по меньшей мере одного объекта, существующего в сфотографированных изображениях, и информацию местоположения объектов отображения, содержащихся в данных карты, и сопоставляют по меньшей мере один объект объекту отображения, имеющему идентичную информацию местоположения.In addition, based on the location information recognized by the camera, the location information of at least one object existing in the photographed images and the location information of display objects contained in the map data are calculated, and at least one object is mapped to a display object having identical location information .

Вычисление информации местоположения по меньшей мере одного объекта осуществляют таким образом, что выделяют контур объекта из сфотографированных изображений для отделения по меньшей мере одного объекта и устанавливают центральную точку из отделенного объекта для вычисления информации местоположения. Затем используют полярный угол камеры для вычисления центральной точки для вычисления информации местоположения объекта и вычисляют расстояние от текущего местоположения камеры до центральной точки объекта.The calculation of the location information of the at least one object is carried out in such a way that the contour of the object is extracted from the photographed images to separate at least one object and a center point is set from the separated object to calculate the location information. Then use the polar angle of the camera to calculate the center point to calculate the location information of the object and calculate the distance from the current location of the camera to the center point of the object.

Вычисление информации местоположения объектов отображения, содержащихся в данных карты, выполняют таким образом, что сопоставляют информацию местоположения камеры с данными карты для установки центральных точек объектов отображения. Затем используют местоположение и полярный угол камеры, сопоставленной с данными карты, для вычисления расстояния между камерой и соответствующими объектами отображения и полярных углов.The calculation of the location information of the display objects contained in the map data is performed in such a way that the camera location information is compared with the map data to set the center points of the display objects. Then use the location and polar angle of the camera mapped to the map data to calculate the distance between the camera and the corresponding display objects and polar angles.

Сопоставление между по меньшей мере одним объектом и объектом отображения выполняют таким образом, что сравнивают информацию местоположения по меньшей мере одного объекта с соответствующей информацией местоположения объектов отображения, и в результате сравнения, если ошибка между двумя видами информации местоположения находится в пределах предварительно определенного диапазона, то объект отображения, имеющий ошибку в пределах предварительно определенного диапазона информации местоположения сопоставляют по меньшей мере одному объекту.The comparison between the at least one object and the display object is performed in such a way that the location information of the at least one object is compared with the corresponding location information of the display objects, and as a result of the comparison, if the error between the two kinds of location information is within a predetermined range, then a display object having an error within a predetermined range of location information is mapped to at least one ektu.

Кроме того, из данных карты считывают текстовую информацию объекта отображения, сопоставленного по меньшей мере одному объекту, и вставляют текстовую информацию считывания в местоположение соответствующего объекта, при этом объект отображения сопоставляют в изображениях, соответственно сфотографированных, и отображают информацию.In addition, the text information of the display object associated with at least one object is read from the map data, and the read text information is inserted at the location of the corresponding object, the display object being compared in the images respectively photographed and the information displayed.

Вставку и отображение текстовой информации в сфотографированном изображении осуществляют таким образом, что определяют местоположение отображения текстовой информации местоположением объекта, сопоставленного с объектом отображения, и наносят текстовую информацию объекта отображения на определенное местоположение отображения. Затем определяют цвета отображения для отображения объекта и текстовой информации, и контур объекта и текстовую информацию отображают определенными цветами отображения.The insertion and display of text information in the photographed image is carried out in such a way that the location of the display of text information by the location of the object associated with the display object is determined, and the text information of the display object is applied to a specific display location. Then, display colors for displaying an object and text information are determined, and an object outline and text information are displayed with specific display colors.

В соответствии с третьей и четвертой задачами настоящего изобретения определяют отправной пункт и пункт назначения и осуществляют поиск маршрута перемещения из отправного пункта в пункт назначения посредством загрузки данных карты. Если пользователь перемещается по найденному маршруту перемещения, объекты фотографируют камерой, и по меньшей мере один объект в сфотографированных изображениях сопоставляют с объектом отображения, содержащимся в данных карты.In accordance with the third and fourth objectives of the present invention, a starting point and a destination are determined and a travel route is searched from the starting point to the destination by loading map data. If the user moves along the found travel route, the objects are photographed by the camera, and at least one object in the photographed images is compared with the display object contained in the map data.

Кроме того, по меньшей мере один объект, сопоставленный с предварительно определенным объектом отображения, из числа объектов сфотографированных изображений определяют в качестве объекта наведения, и пиктограмму объекта наведения вставляют на местоположение определенного объекта наведения и отображают на экране для направления по маршруту перемещения из отправного пункта в пункт назначения.In addition, at least one object mapped to a predetermined display object from among the objects of the photographed images is determined as a guidance object, and the icon of the guidance object is inserted at the location of the specific guidance object and displayed on the screen for direction along the travel route from the starting point to destination.

Определение объекта наведения выполняют таким образом, что если в сфотографированных изображениях существует пункт назначения, то в качестве объекта наведения определяют пункт назначения. Например, если в качестве пункта назначения введено предварительно определенное здание, то распознают, доступно ли соответствующее здание на сфотографированных изображениях, и если соответствующее здание доступно, то в качестве объекта наведения определяют соответствующее здание. Если на сфотографированных изображениях не существует пункта назначения, то в качестве объекта наведения выбирают и определяют по меньшей мере один объект из числа объектов, сопоставленных объектам отображения, существующий на сфотографированных изображениях и расположенный на маршруте перемещения.The determination of the guidance object is performed in such a way that if the destination exists in the photographed images, then the destination is determined as the guidance object. For example, if a predefined building is entered as the destination, then it is recognized whether the corresponding building is available in the photographed images, and if the corresponding building is available, then the corresponding building is determined as the guidance object. If the destination does not exist on the photographed images, then at least one object is selected and determined from the number of objects mapped to the display objects existing on the photographed images and located on the movement path as a guidance object.

Должно быть понятно, что и предыдущее общее описание и последующее подробное описание настоящего изобретения являются иллюстративными и поясняющими и предназначены для обеспечения дополнительного пояснения изобретения, как оно заявлено.It should be understood that both the foregoing general description and the following detailed description of the present invention are illustrative and explanatory and are intended to provide further explanation of the invention as claimed.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

Приложенные чертежи, которые включены для обеспечения дополнительного понимания изобретения и составляют часть этого описания, иллюстрируют варианты осуществления изобретения и совместно с описанием служат для пояснения принципов изобретения. Признаки, элементы и аспекты изобретения, которые обозначены идентичными числами на различных чертежах, представляют одинаковые, эквивалентные или подобные признаки, элементы или аспекты в соответствии с одним или большим количеством вариантов осуществления.The accompanying drawings, which are included to provide a further understanding of the invention and form part of this description, illustrate embodiments of the invention and together with the description serve to explain the principles of the invention. The features, elements and aspects of the invention, which are indicated by identical numbers in the various drawings, represent the same, equivalent or similar features, elements or aspects in accordance with one or more embodiments.

Фиг.1 - блок-схема, иллюстрирующая конструкцию навигационной системы, согласно одному варианту осуществления настоящего изобретения.1 is a block diagram illustrating a structure of a navigation system according to one embodiment of the present invention.

Фиг.2 - блок-схема сигналов, иллюстрирующая операцию отображения текстовой информации в местоположениях объектов, согласно одному варианту осуществления настоящего изобретения.FIG. 2 is a signal flowchart illustrating an operation of displaying text information at locations of objects, according to one embodiment of the present invention.

Фиг.3 - схематическая диаграмма, иллюстрирующая операцию вычисления информации местоположения объектов, согласно одному варианту осуществления настоящего изобретения.FIG. 3 is a schematic diagram illustrating an operation for calculating location information of objects according to one embodiment of the present invention.

Фиг.4 - блок-схема сигналов, иллюстрирующая операцию отображения текстовой информации в местоположениях объектов, согласно одному варианту осуществления настоящего изобретения.FIG. 4 is a signal flowchart illustrating an operation for displaying text information at locations of objects, according to one embodiment of the present invention.

Фиг.5 - возможный вариант, иллюстрирующий случай, где отображают текстовую информацию для объектов, согласно одному варианту осуществления настоящего изобретения.5 is a possible embodiment illustrating a case where text information for objects is displayed, according to one embodiment of the present invention.

Фиг.6 - блок-схема сигналов, иллюстрирующая операцию наведения по маршруту перемещения, согласно одному варианту осуществления настоящего изобретения.FIG. 6 is a signal flowchart illustrating a guidance operation on a moving route, according to one embodiment of the present invention.

Фиг.7a и фиг.7b - возможные варианты, иллюстрирующие операции отображения пунктов объекта наведения на сфотографированных изображениях, согласно одному варианту осуществления настоящего изобретения.Figa and Fig.7b are possible options illustrating the operation of displaying points of the object of guidance on photographed images, according to one variant of implementation of the present invention.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНОГО ВАРИАНТА ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF A PREFERRED EMBODIMENT

Настоящее изобретение относится к способу сопоставления изображения, сфотографированного камерой, с данными карты в портативном терминале и к способу наведения по маршруту перемещения с использованием изображения, сфотографированного камерой, в портативном терминале. Настоящее изобретение будет пояснено со ссылкой на прилагаемые чертежи, иллюстрирующие предпочтительный вариант осуществления настоящего изобретения.The present invention relates to a method for matching an image photographed by a camera with map data in a portable terminal and to a method for guiding along a travel route using an image photographed by a camera in a portable terminal. The present invention will be explained with reference to the accompanying drawings, illustrating a preferred embodiment of the present invention.

Фиг.1 - блок-схема, иллюстрирующая конструкцию навигационной системы, согласно одному варианту осуществления настоящего изобретения. Согласно фиг.1 ссылочная позиция 100 обозначает приемник GPS. Приемник 100 GPS принимает навигационные сообщения, периодически передаваемые несколькими спутниками GPS, и использует навигационные сообщения для извлечения координат местоположения.1 is a block diagram illustrating a structure of a navigation system according to one embodiment of the present invention. 1, reference numeral 100 denotes a GPS receiver. The GPS receiver 100 receives navigation messages periodically transmitted by several GPS satellites and uses the navigation messages to retrieve location coordinates.

Ссылочная позиция 102 обозначает камеру для фотографирования объектов, и ссылочная позиция 104 обозначает процессор обработки изображений. Процессор 104 обработки изображений захватывает изображения объектов, сфотографированных камерой 102, и выполняет обработку изображений на изображениях, такую как вставка текстовой информации в захваченные изображения и вставка индикатора объекта наведения.Reference numeral 102 denotes a camera for photographing objects, and reference numeral 104 denotes an image processing processor. The image processing processor 104 captures images of objects photographed by the camera 102, and performs image processing on the images, such as inserting text information into the captured images and inserting a target indicator.

Ссылочная позиция 106 представляет блок памяти для хранения данных карты, в котором предварительно сохранены данные карты. Данные карты в блоке 106 памяти для хранения данных карты хранятся с текстовой информацией, содержащей информацию местоположения различных объектов отображения, таких как здания, и текстовой информации, такой как названия зданий объектов отображения.Reference numeral 106 represents a memory unit for storing map data in which map data is previously stored. Map data in a memory unit 106 for storing map data is stored with text information containing location information of various display objects, such as buildings, and text information, such as building names of display objects.

Ссылочная позиция 108 обозначает датчик. Датчик 108 размещен для обнаружения полярных углов и наклонов камеры 102 посредством датчика наклона для обнаружения наклонов и датчика полярного угла, такого как гироскоп.Reference numeral 108 denotes a sensor. A sensor 108 is arranged to detect polar angles and tilts of the camera 102 by a tilt sensor for detecting tilts and a polar angle sensor such as a gyroscope.

Ссылочная позиция 110 обозначает блок ввода данных. Блок 110 ввода данных размещен посредством нескольких функциональных клавиш. Блок 110 ввода данных формирует соответствующую команду на операцию в ответ на избирательное манипулирование пользователем функциональными клавишами. То есть пользователь может манипулировать функциональными клавишами блока 110 ввода данных для ввода команды сопоставления объектов, команды наведения по маршруту перемещения, и отправного пункта и пункта назначения для наведения по маршруту перемещения.Reference numeral 110 denotes a data input unit. The data input unit 110 is placed by means of several function keys. The data input unit 110 generates a corresponding operation command in response to the selective manipulation of the function keys by the user. That is, the user can manipulate the function keys of the data input unit 110 to enter the object matching command, the guidance command on the movement route, and the starting point and destination for guidance on the movement route.

Ссылочная позиция 112 определяет контроллер. Контроллер 112 управляет камерой 102 таким образом, что камера 102 может фотографировать предварительно определенные объекты. Контроллер 112 управляет процессором 104 обработки изображений таким образом, что процессор 104 обработки изображений захватывает изображения предварительно определенных объектов, сфотографированных камерой 102, и обрабатывает захваченные изображения. Контроллер 112 определяет текущее местоположение камеры 102 в ответ на выходной сигнал приемника 100 GPS и определяет полярные углы и наклоны объектов, сфотографированных камерой 102, в ответ на сигнал обнаружения датчика 108. Контроллер 112 использует полярные углы и наклоны объектов, сфотографированных камерой 102, для сопоставления объектов с объектами отображения в данных карты, которые хранятся в блоке 106 памяти для хранения данных карты. Контроллер 112 считывает из блока 106 памяти для хранения данных карты текстовую информацию объектов отображения, сопоставленных объектам, и осуществляет управление таким образом, что текстовую информацию считывания вставляют на местоположение соответствующего сопоставленного объекта в сфотографированных изображениях. Контроллер 112 также осуществляет поиск маршрута перемещения пользователя и осуществляет управление таким образом, что пользователь может быть направлен по найденному маршруту перемещения.Reference numeral 112 defines a controller. The controller 112 controls the camera 102 so that the camera 102 can photograph predefined objects. The controller 112 controls the image processing processor 104 in such a way that the image processing processor 104 captures images of predetermined objects photographed by the camera 102 and processes the captured images. The controller 112 determines the current location of the camera 102 in response to the output of the GPS receiver 100 and determines the polar angles and inclinations of the objects photographed by the camera 102 in response to the detection signal of the sensor 108. The controller 112 uses the polar angles and inclinations of the objects photographed by the camera 102 for matching objects with display objects in map data that are stored in a memory unit 106 for storing map data. The controller 112 reads from the memory block 106 for storing map data the text information of the display objects mapped to the objects, and controls such that the text read information is inserted at the location of the corresponding mapped object in the photographed images. The controller 112 also searches for the user's travel route and controls so that the user can be directed along the found travel route.

Ссылочная позиция 114 обозначает задающий блок отображения. Задающий блок 114 отображения в ответ на управление контроллера 112 отображает на блоке 116 отображения изображения объектов, сфотографированные камерой 102, и текстовую информацию.Reference numeral 114 denotes a driving display unit. The display unit 114, in response to the control of the controller 112, displays on the display unit 116 images of objects photographed by the camera 102 and text information.

Ссылочная позиция 118 обозначает блок формирования звукового сигнала. Блок 118 формирования звукового сигнала формирует звуковой сигнал для наведения по маршруту перемещения пользователя в ответ на управление контроллера 112 и выводит сформированный звуковой сигнал на динамик 120 для обеспечения возможности прослушивания звука пользователем.Reference numeral 118 denotes an audio signal generating unit. An audio signal generating unit 118 generates an audio signal for guidance along a user's movement path in response to the control of the controller 112 and outputs the generated audio signal to a speaker 120 to enable the user to listen to the sound.

В соответственно сконструированной навигационной системе, если объекты изображений, сфотографированных камерой 102, и объекты отображения данных карты, которые хранятся в блоке 106 памяти для хранения данных карты, сопоставлены, то контроллер 112 сначала оперирует приемником 100 GPS для приема навигационных сообщений и для обнаружения текущего местоположения и затем оперирует камерой 102 для фотографирования предварительно определенных объектов. Кроме того, если предварительно определенные объекты сфотографированы камерой 102, то контроллер 112 управляет процессором 104 изображений для захвата изображений, сфотографированных камерой 102.In an appropriately designed navigation system, if the image objects photographed by the camera 102 and the map data display objects that are stored in the memory unit 106 for storing map data are mapped, then the controller 112 first operates the GPS receiver 100 to receive navigation messages and to find the current location and then operates the camera 102 to photograph predefined objects. In addition, if predefined objects are photographed by the camera 102, then the controller 112 controls the image processor 104 to capture images photographed by the camera 102.

Если процессор 104 обработки изображений захватывает изображения, сфотографированные камерой 102, то контроллер 112 распознает информацию местоположения камеры 102 посредством выходного сигнала приемника 100 GPS и сигнала обнаружения датчика 108. То есть контроллер 112 определяет текущее местоположение камеры 102 посредством выходного сигнала приемника 100 GPS и определяет полярный угол и наклон камеры 102 посредством сигнала обнаружения датчика 108.If the image processing processor 104 captures images photographed by the camera 102, then the controller 112 recognizes the location information of the camera 102 by the output of the GPS receiver 100 and the detection signal of the sensor 108. That is, the controller 112 determines the current location of the camera 102 by the output of the GPS receiver 100 and determines the polar the angle and tilt of the camera 102 through the detection signal of the sensor 108.

Соответственно, непосредственно определенное текущее местоположение и полярный угол камеры 102 используют для вычисления соответствующей информации местоположения объектов из захваченных изображений. Вычисленную информацию местоположения корректируют на наклон камеры 102 для правильного вычисления соответствующей информации местоположения объектов.Accordingly, the directly determined current location and polar angle of the camera 102 are used to calculate the corresponding location information of the objects from the captured images. The calculated location information is corrected for the tilt of the camera 102 to correctly calculate the corresponding location information of the objects.

Контроллер 112 считывает из блока 106 памяти для хранения данных карты данные карты предварительно определенной области, которая содержит текущее местоположение камеры 102 и сопоставляет текущее местоположение камеры 102 с данными карты считывания. Сопоставленное текущее местоположение и полярный угол камеры 102 используют для вычисления информации местоположения соответствующих объектов отображения, таких как здания, содержащихся в данных карты.The controller 112 reads from the memory block 106 for storing map data the map data of a predetermined area that contains the current location of the camera 102 and compares the current location of the camera 102 with the data of the readout card. The associated current location and polar angle of the camera 102 are used to calculate the location information of the respective display objects, such as the buildings contained in the map data.

Контроллер 112 сравнивает информацию местоположения вычисленных объектов с информацией местоположения объектов отображения и в соответствии с результатом сравнения сопоставляет вычисленные объекты с объектами отображения. Если сопоставление между вычисленными объектами и объектами отображения завершено, то контроллер 112 считывает соответствующую текстовую информацию сопоставленных объектов отображения. Текстовую информацию считывания вставляют в местоположение соответствующего объекта захваченных изображений, захваченных процессором 104 обработки изображений в соответствии с управлением контроллера 112. Затем захваченные изображения, в которые вставлена текстовая информация, выводят на блок 116 отображения через задающий блок 114 отображения и делают их отображаемыми на экране.The controller 112 compares the location information of the calculated objects with the location information of the display objects and, in accordance with the comparison result, compares the calculated objects with the display objects. If the matching between the computed objects and the display objects is completed, then the controller 112 reads the corresponding text information of the mapped display objects. The read text information is inserted into the location of the corresponding object of the captured images captured by the image processing processor 104 in accordance with the control of the controller 112. Then, the captured images into which the text information is inserted are output to the display unit 116 through the display display unit 114 and made them displayed on the screen.

Предпочтительно, местоположение вставки текстовой информации различается местоположением вставки соответствующей текстовой информации. Кроме того, предпочтительно, чтобы соответствующая текстовая информация была вставлена и отображалась в местоположениях так, чтобы они не перекрывались друг с другом.Preferably, the insertion location of the text information differs by the insertion location of the corresponding text information. In addition, it is preferable that the corresponding textual information be inserted and displayed in locations so that they do not overlap with each other.

Фиг.2 - блок-схема сигналов, иллюстрирующая операцию отображения текстовой информации в местоположениях объектов, согласно одному варианту осуществления настоящего изобретения. Согласно фиг.2, контроллер 112 распознает, была ли сформирована команда сопоставления для сопоставления объекта отображения, содержащегося в данных карты, по меньшей мере одному объекту в изображениях, сфотографированных камерой 102 (S200). Команда сопоставления может быть задана лично пользователем, манипулирующим блоком 110 ввода данных. Команда сопоставления может быть сформирована также при отображении информации объекта, когда пользователь манипулирует блоком 110 ввода данных или при наведении по маршруту перемещения.FIG. 2 is a signal flowchart illustrating an operation of displaying text information at locations of objects, according to one embodiment of the present invention. 2, the controller 112 recognizes whether a matching command has been generated for matching the display object contained in the map data to at least one object in the images photographed by the camera 102 (S200). The matching command may be set personally by the user manipulating the data input unit 110. The matching command can also be generated when displaying information of the object, when the user manipulates the data input unit 110 or when hovering along a travel route.

Если команда сопоставления сформирована, то контроллер 112 оперирует приемником 100 GPS и камерой 102 (S202) и управляет процессором 104 обработки изображений для обеспечения возможности захвата изображений, сфотографированных камерой 102, в предварительно определенный интервал времени (S204).If the matching command is generated, the controller 112 operates the GPS receiver 100 and the camera 102 (S202) and controls the image processing processor 104 to enable the capture of images photographed by the camera 102 at a predetermined time interval (S204).

Контроллер 112 определяет информацию местоположения камеры 102, которая сфотографировала объекты (S206). Предпочтительно, контроллер 112 распознает в качестве текущего местоположения камеры 102 текущее местоположение, вычисленное посредством навигационных сообщений, принятых приемником 100 GPS. Полярный угол центральной оси камеры 102 определяют полярным углом, обнаруженным датчиком азимута, таким как гироскоп, размещенным в датчике 108.The controller 112 determines the location information of the camera 102 that has photographed objects (S206). Preferably, the controller 112 recognizes, as the current location of the camera 102, the current location calculated by the navigation messages received by the GPS receiver 100. The polar angle of the central axis of the chamber 102 is determined by the polar angle detected by the azimuth sensor, such as a gyroscope, located in the sensor 108.

Если информация местоположения камеры 102 определена, то контроллер 112 вычисляет информацию местоположения по меньшей мере одного объекта из изображений, захваченных процессором 104 изображений (S208).If the location information of the camera 102 is determined, then the controller 112 calculates the location information of at least one object from the images captured by the image processor 104 (S208).

Вычисление по меньшей мере одного объекта (S208) выполняют таким образом, что сначала камерой 102, которая сфотографировала объекты, определяют наклон посредством сигнала обнаружения датчика 108 (S208-2). То есть датчик 108 снабжен датчиком наклона для обнаружения наклона камеры 102. Соответственно, контроллер 112 определяет наклон камеры 102 наклоном, обнаруженным датчиком наклона датчика 108.The calculation of at least one object (S208) is performed in such a way that first the camera 102 that photographed the objects determines the slope by the detection signal of the sensor 108 (S208-2). That is, the sensor 108 is provided with a tilt sensor for detecting the tilt of the camera 102. Accordingly, the controller 112 determines the tilt of the camera 102 by the tilt detected by the tilt sensor of the sensor 108.

Если наклон камеры 102 определен, то контроллер 112 управляет процессором 104 обработки изображений для отделения по меньшей мере одного объекта их захваченных изображений (S208-4). Предпочтительно, процессор 104 обработки изображений выделяет контуры соответствующих объектов из захваченных изображений и отделяет по меньшей мере один объект с использованием выделенных контуров. Затем контроллер 112 устанавливает центральную точку для выделения координаты местоположения по меньшей мере из одного соответственно отделенному объекту (S208-6). Если центральная точка объекта установлена, то контроллер 112 вычисляет информацию местоположения соответствующего объекта на основе текущего местоположения и полярного угла камеры 102 (S208-8).If the tilt of the camera 102 is determined, then the controller 112 controls the image processing processor 104 to separate at least one object of their captured images (S208-4). Preferably, the image processing processor 104 extracts the contours of the corresponding objects from the captured images and separates at least one object using the selected contours. Then, the controller 112 sets a center point for extracting a location coordinate from at least one correspondingly separated object (S208-6). If the center point of the object is set, then the controller 112 calculates the location information of the corresponding object based on the current location and the polar angle of the camera 102 (S208-8).

Например, если из изображений, сфотографированных камерой 102, были выделены четыре объекта (с 300-1 по 300-4), как показано фиг.3, то в качестве центральных точек для извлечения информации местоположения соответствующих объектов устанавливают нижние центральные точки соответствующих объектов (с 300-1 по 300-4). Кроме того, приемник 100 GPS вычисляет полярные углы θ1, θ2, θ3 и θ4, которые являются информацией местоположения относительно центральных точек (с 301-1 по 301-4) четырех объектов (300-1~300-4). Приемник 100 GPS также вычисляет расстояния r1, r2, r3 и r4 на основе полярного угла 311 центральной оси камеры 102, распознанного посредством сигнала обнаружения датчика 108.For example, if four objects were selected from the images photographed by camera 102 (from 300-1 to 300-4), as shown in Fig. 3, then the lower central points of the corresponding objects are set as center points for extracting location information of the corresponding objects (with 300-1 to 300-4). In addition, the GPS receiver 100 calculates polar angles θ1, θ2, θ3, and θ4, which are location information regarding the center points (301-1 to 301-4) of four objects (300-1 ~ 300-4). The GPS receiver 100 also calculates the distances r1, r2, r3 and r4 based on the polar angle 311 of the center axis of the camera 102 recognized by the detection signal of the sensor 108.

Расстояния r1, r2, r3 и r4 от текущего местоположения 310 камеры 102 до центральных точек (с 301-1 по 301-4) четырех объектов (с 300-1 по 300-4) варьируются в зависимости от наклона камеры 102 и информации увеличения. Вследствие этого расстояния r1, r2, r3 и r4 от текущего местоположения 310 камеры 102 до центральных точек (с 301-1 по 301-4) четырех объектов (с 300-1 по 300-4) корректируют на наклон камеры 102, обнаруженный датчиком 108, и на информацию увеличения, при котором объекты были сфотографированы камерой 102 (S208-10 фиг.2). В результате могут быть точно вычислены горизонтальные расстояния от текущего местоположения 310 камеры 102 до центральных точек (с 301-1 по 301-4) четырех объектов (с 300-1 по 300-4).The distances r1, r2, r3 and r4 from the current location 310 of the camera 102 to the central points (301-1 to 301-4) of the four objects (300-1 to 300-4) vary depending on the tilt of the camera 102 and the magnification information. Because of this, the distances r1, r2, r3 and r4 from the current location 310 of the camera 102 to the central points (301-1 to 301-4) of four objects (300-1 to 300-4) are corrected for the tilt of the camera 102 detected by the sensor 108 , and the magnification information at which the objects were photographed by the camera 102 (S208-10 of FIG. 2). As a result, the horizontal distances from the current location 310 of the camera 102 to the central points (301-1 to 301-4) of four objects (300-1 to 300-4) can be accurately calculated.

Тем временем, согласно фиг.2, одновременно с вычислением информации местоположения по меньшей мере одного объекта, контроллер 112 загружает данные карты, которые хранятся в блоке 106 памяти для хранения данных карты. Предпочтительно, на основе обнаруженного текущего местоположения камеры 102, контроллер 112 загружает из блока 106 памяти для хранения данных карты данные карты предварительно определенной области (S210). Затем контроллер 112 на основе текущего местоположения камеры 102 вычисляет по загруженным данным карты информацию местоположения нескольких объектов отображения, таких как соответствующие здания (S212).Meanwhile, according to FIG. 2, at the same time as calculating the location information of the at least one object, the controller 112 loads map data that is stored in the memory unit 106 for storing map data. Preferably, based on the detected current location of the camera 102, the controller 112 loads, from the memory block 106 for storing map data, map data of a predetermined area (S210). Then, the controller 112, based on the current location of the camera 102, calculates the location information of several display objects, such as the corresponding buildings, from the downloaded map data (S212).

Предпочтительно, вычисление (S212) информации местоположения относительно нескольких объектов отображения включает сопоставление текущего местоположения камеры 102 с данными карты (S212-2), установку центральных точек каждого объекта отображения (S212-4), вычисление расстояний от определенного текущего местоположения камеры 102 до центральных точек каждого объекта отображения и вычисление полярных углов центральных точек каждого объекта отображения на основе определенного полярного угла камеры 102 (S212-6).Preferably, calculating (S212) location information regarding several display objects includes comparing the current location of the camera 102 with map data (S212-2), setting the center points of each display object (S212-4), calculating the distances from the determined current location of the camera 102 to the center points each display object and calculating the polar angles of the center points of each display object based on the determined polar angle of the camera 102 (S212-6).

Если информация местоположения объектов в захваченных изображениях и информация местоположения объектов отображения в данных карты вычислена, то контроллер 112 сравнивает вычисленную информацию местоположения по меньшей мере одного объекта с информацией местоположения объектов отображения. Последовательно, соответствующий объект отображения сопоставляют по меньшей мере с одним объектом, имеющим соответствующую информацию местоположения (S214).If the location information of the objects in the captured images and the location information of the display objects in the map data is calculated, the controller 112 compares the calculated location information of at least one object with the location information of the display objects. Subsequently, the corresponding display object is mapped to at least one object having corresponding location information (S214).

Дополнительно, предпочтительно осуществлять распознавание, что величина ошибки устанавливается заранее, осуществляется сравнение информации местоположения по меньшей мере одного объекта и информации местоположения объектов отображения, содержащихся в данных карты, и объект отображения в пределах предварительно установленной величины ошибки сопоставляется по меньшей мере с одним объектом.Additionally, it is preferable to recognize that the error value is set in advance, the location information of the at least one object and the location information of the display objects contained in the map data are compared, and the display object is mapped to at least one object within the preset error value.

После сопоставления по меньшей мере одного объекта в пределах сфотографированных изображений и объекта отображения в данных карты контроллер 112 считывает из блока 106 памяти для хранения данных карты текстовую информацию объекта отображения, сопоставленного по меньшей мере с одним объектом (S216). Затем контроллер 112 вставляет текстовую информацию считывания в захваченное изображение и отображает ее на экране (S218). Предпочтительно, текстовую информацию считывания объектов отображения соответственно вставляют в местоположения соответствующих сопоставленных объектов и выводят на задающий блок 114 отображения для отображения на экране блока 116 отображения.After matching at least one object within the photographed images and the display object in the map data, the controller 112 reads from the memory unit 106 for storing the map data the text information of the display object associated with the at least one object (S216). Then, the controller 112 inserts the read text information into the captured image and displays it on the screen (S218). Preferably, the text information for reading the display objects is respectively inserted into the locations of the corresponding mapped objects and output to the display display unit 114 for display on the screen of the display unit 116.

При вставке текстовой информации в местоположение по меньшей мере одного объекта, сопоставленного с объектом отображения, и отображении ее на экране контроллер 112 сначала определяет местоположение отображения, где вставляют текстовую информацию по меньшей мере в один объект, сопоставленный с объектом отображения (S400), согласно фиг.4. Местоположение отображения может быть определено в верхней позиции, промежуточной позиции или нижней позиции объекта, где не перекрывается текстовая информация. Когда определено местоположение отображения текстовой информации, контроллер 112 осуществляет нанесение текстовой информации на соответствующее местоположение отображения (S402).When inserting text information into the location of at least one object associated with the display object, and displaying it on the screen, the controller 112 first determines a display location where text information is inserted into at least one object associated with the display object (S400), according to FIG. .four. The display location can be determined in the upper position, intermediate position or lower position of the object, where the text information does not overlap. When the display location of the text information is determined, the controller 112 applies text information to the corresponding display location (S402).

Для точной проверки пользователем текстовой информации по меньшей мере одного объекта в настоящем изобретении определяют по меньшей мере один объект, сопоставленный с объектом отображения, и цвет отображения текстовой информации (S404), и контур соответствующего объекта и текстовую информацию отображают с использованием определенного цвета (S406).For a user to accurately verify the text information of at least one object in the present invention, at least one object associated with the display object is determined, and the display color of the text information (S404), and the outline of the corresponding object and text information are displayed using a specific color (S406) .

Например, как показано на фиг.5, камера 102 выполнена с возможностью захвата сфотографированного изображения, и объекты 500 в пределах захваченного изображения представлены сопоставленными с объектами отображения в данных карты. Определены местоположения 510 отображения для отображения текстовой информации объектов, и текстовая информация 520 вставлена в определенные местоположения 510 отображения и отображена. Предпочтительно, контур объектов 500 и текстовая информация отображены одним цветом.For example, as shown in FIG. 5, the camera 102 is configured to capture a photographed image, and objects 500 within the captured image are presented mapped to display objects in map data. Display locations 510 for displaying text information of objects are determined, and text information 520 is inserted at specific display locations 510 and displayed. Preferably, the outline of the objects 500 and the text information are displayed in the same color.

После отображенной вставки текстовой информации в местоположения объектов в соответственно захваченном изображении контроллер 112 распознает, была ли сформирована соответствующая команда на завершение сопоставления для объектов (S220 фиг.2). Команда на завершение сопоставления может быть сформирована при манипуляции пользователем блоком 110 ввода данных. Соответствующая команда на завершение сопоставления для объектов может быть также сформирована, когда завершено направление пользователя по маршруту перемещения.After the displayed text information is inserted into the locations of the objects in the correspondingly captured image, the controller 112 recognizes whether an appropriate command to complete the mapping for the objects has been generated (S220 of FIG. 2). A command to complete the mapping may be generated when the user manipulates the data input unit 110. The corresponding command to complete the mapping for objects can also be generated when the user’s direction along the travel route is completed.

Согласно фиг.2, если команда на завершение сопоставления для объектов не сформирована, то контроллер 112 возвращается к этапу S204 для захвата изображений, сфотографированных камерой 102. Соответственно, сопоставляют объекты в пределах захваченных изображений и объекты отображения в данных карты и повторно выполняют операцию отображения текстовой информации. Если соответствующая команда на завершение сопоставления сформирована, то контроллер 112 завершает операцию отображения текстовой информации.2, if the command to complete the mapping for objects is not generated, then the controller 112 returns to step S204 to capture images photographed by the camera 102. Accordingly, objects within the captured images and display objects in the map data are matched and the text display operation is repeated information. If the corresponding command to complete the mapping is generated, then the controller 112 completes the operation of displaying text information.

Тем временем, если осуществляют наведение пользователя по маршруту перемещения, то контроллер 112 сначала через блок 110 ввода данных принимает отправной пункт и пункт назначения для направления по маршруту перемещения. Если введены отправной пункт и пункт назначения для наведения по маршруту перемещения, то контроллер 112 загружает данные карты, которые хранятся в памяти 106 данных карты, и использует загруженные данные карты для поиска маршрута перемещения из отправного пункта в пункт назначения.In the meantime, if the user is guided along the travel route, then the controller 112 first, through the data input unit 110, receives the starting point and destination for the direction along the moving path. If a starting point and a destination for entering along a travel route are entered, the controller 112 downloads map data that is stored in the map data memory 106 and uses the downloaded map data to search for a travel route from the starting point to the destination.

Если маршрут перемещения найден, то контроллер 112 через процессор 104 обработки изображений захватывает изображения, сфотографированные камерой 102, для сопоставления с объектами в изображениях объектов отображения, содержащихся в данных карты. Кроме того, контроллер 112 отображает захваченные изображения на экране блока 116 отображения для использования сопоставленной информации между объектами и объектами отображения и для наведения по маршруту перемещения для пользователя.If a travel route is found, then the controller 112, through the image processing processor 104, captures the images photographed by the camera 102 for matching with objects in the images of the display objects contained in the map data. In addition, the controller 112 displays the captured images on the screen of the display unit 116 for using the mapped information between the objects and the display objects and for guiding the travel route for the user.

Согласно фиг.6 контроллер 112 распознает, введена ли из блока 110 ввода данных команда на наведение по маршруту перемещения (S600). Если команда на наведение по маршруту перемещения введена, то контроллер 112 включает приемник 100 GPS и камеру 102 для нормального функционирования (S602). Затем контроллер 112 определяет отправной пункт и пункт назначения для наведения по маршруту перемещения (S604).6, the controller 112 recognizes whether a guidance command has been entered from the data input unit 110 along the travel route (S600). If the guidance command along the travel route is entered, then the controller 112 turns on the GPS receiver 100 and the camera 102 for normal operation (S602). Then, the controller 112 determines a starting point and a destination for guidance along a travel route (S604).

Предпочтительно, если через блок 110 ввода данных введено текущее местоположение, то в качестве отправного пункта маршрута перемещения определяют местоположение, распознанное приемником 100 GPS, который принял навигационные сообщения. Если пользователь дает команду на наведение по маршруту перемещения, то контроллер 112 загружает данные карты, которые хранятся в блоке 106 памяти для хранения данных карты для отображения данных карты на экране блока 116 отображения, и пользователь может лично ввести отправной пункт и пункт назначения посредством карты, отображенной на блоке 116 отображения.Preferably, if the current location is entered through the data input unit 110, then the location recognized by the GPS receiver 100 that has received the navigation messages is determined as the starting point of the travel route. If the user gives a command to guide along the travel route, the controller 112 downloads map data that is stored in the memory unit 106 for storing map data for displaying the map data on the screen of the display unit 116, and the user can personally enter the starting point and destination using the map, displayed on the block 116 display.

Если отправной пункт и пункт назначения определены, то контроллер 112 извлекает карту из блока 106 памяти для хранения данных карты (S606) и с использованием извлеченных данных карты осуществляет поиск оптимального маршрута перемещения из отправного пункта в пункт назначения (S608). Предпочтительно, операцией поиска маршрута перемещения является одна из различных известных операций поиска.If the starting point and destination are determined, then the controller 112 retrieves the card from the memory unit 106 for storing map data (S606) and, using the extracted map data, searches for the optimal travel route from the starting point to the destination (S608). Preferably, the search operation of the travel route is one of various known search operations.

Если поиск маршрута перемещения завершен, то контроллер 112 управляет процессором 104 обработки изображений для захвата изображений, сфотографированных камерой 102, в предварительно определенный интервал времени (S610) и сопоставляет объекты в захваченных изображениях с объектами отображения, содержащимися в данных карты (S612). Затем из данных карты из блока 106 памяти для хранения данных карты считывают текстовую информацию объектов отображения, сопоставленных с объектами, и текстовую информацию считывания вставляют в захваченные изображения и отображают (S614).If the search of the travel route is completed, then the controller 112 controls the image processing processor 104 to capture images photographed by the camera 102 at a predetermined time interval (S610) and matches the objects in the captured images to the display objects contained in the map data (S612). Then, from the card data from the memory unit 106 for storing the card data, text information of the display objects mapped to the objects is read, and text read information is inserted into the captured images and displayed (S614).

Предпочтительно, операция сопоставления между объектами в захваченных изображениях и объектами отображения, содержащимися в данных карты, и отображение текстовой информации являются идентичными, иллюстрируемыми фиг.3. После сопоставления между объектами и объектами отображения и отображения текстовой информации контроллер 112 распознает, является ли доступным в захваченном изображении объект, содержащий пункт назначения (S616).Preferably, the matching operation between the objects in the captured images and the display objects contained in the map data and the display of text information are identical, illustrated in FIG. After matching between the display and text information display and display objects, the controller 112 recognizes whether an object containing the destination is available in the captured image (S616).

Если объект, содержащий пункт назначения, является доступным в захваченном изображении, то контроллер 112 определяет в качестве объекта наведения объект, содержащий пункт назначения, в захваченном изображении (S618). Если объект, содержащий пункт назначения, отсутствует в захваченном изображении, то контроллер 112 определяет в качестве объекта наведения предварительно определенный объект, существующий на маршруте перемещения (S620).If the object containing the destination is available in the captured image, then the controller 112 determines as the target object the object containing the destination in the captured image (S618). If the object containing the destination is not in the captured image, then the controller 112 determines as a guidance object a predefined object existing on the travel route (S620).

Когда определен объект наведения, контроллер 112 вставляет индикатор объекта наведения в местоположение объекта, соответствующего объекту наведения в захваченном изображении, и изображение, в котором вставлен индикатор объекта наведения, посредством задающего блока 114 отображения отображают на блоке 116 отображения для проверки пользователем (S622).When the guidance object is determined, the controller 112 inserts the guidance of the guidance object into the location of the object corresponding to the guidance object in the captured image, and the image in which the guidance of the guidance object is inserted is displayed on the display unit 116 for verification by the user via the display display unit 114 (S622).

Кроме того, контроллер 112 использует изображение, отображенное на блоке отображения 116, и текстовую информацию для наведения по маршруту перемещения пользователя (S624). Контроллер 112 управляет блоком 118 формирования звукового сигнала для формирования звукового направляющего сигнала и выводит сформированный звуковой сигнал на динамик 120 так, чтобы наведение пользователя по маршруту перемещения могло осуществляться посредством звукового сигнала, если выполнено изменение наведения маршрута перемещения или регулирование объекта наведения. При этом условии контроллер 112 распознает, было ли завершено наведение по маршруту перемещения в пункт назначения (S626).In addition, the controller 112 uses the image displayed on the display unit 116 and text information to guide the user along a travel route (S624). The controller 112 controls the audio signal generating unit 118 to generate the audio guide signal and outputs the generated audio signal to the speaker 120 so that the user can be guided along the travel route by means of an audio signal if a change in the guidance of the travel route or regulation of the guidance object is performed. Under this condition, the controller 112 recognizes whether guidance along the travel route to the destination has been completed (S626).

В результате распознавания, если наведение по маршруту перемещения в пункт назначения не было завершено, то контроллер 112 захватывает изображение, сфотографированное камерой 102, и сопоставляет объектам в захваченном изображении объект отображения данных карты для установки объекта наведения. Затем повторно выполняют операцию вставки и отображения пиктограмм объекта наведения. Предпочтительно, пиктограммы объекта наведения отображают различным образом для обеспечения возможности проверки пользователем, является ли объект, определенный в качестве объекта наведения, пунктом назначения.As a result of recognition, if the guidance along the travel route to the destination has not been completed, then the controller 112 captures the image photographed by the camera 102 and maps the map data display object to the objects in the captured image to set the guidance object. Then, the operation of inserting and displaying pictograms of the guidance object is repeatedly performed. Preferably, the icons of the guidance object are displayed in various ways to allow the user to check whether the object defined as the guidance object is the destination.

Предпочтительно, если объект, определенный в качестве объекта наведения, является пунктом назначения, то для него отображают индикатор 700 объекта наведения, как показано на фиг.7a. Предпочтительно, если в качестве объекта наведения определен предварительно определенный объект, существующий на маршруте перемещения, то для него отображают другой индикатор 710 объекта наведения, как показано на фиг.7b.Preferably, if the object defined as the target is the destination, then the indicator 700 of the target is displayed for it, as shown in figa. Preferably, if a predetermined object existing on the movement path is defined as the guidance object, then another indicator 710 of the guidance object is displayed for it, as shown in FIG. 7b.

Вышеупомянутое описание определенных вариантов осуществления настоящего изобретения были представлены в целях иллюстрации и описания. Не подразумевается, что они являются исчерпывающими, или что изобретение ограничено определенными раскрытыми видами, и является очевидным, что в свете вышеизложенных принципов возможны многие модификации и изменения. Варианты осуществления были выбраны и описаны для наилучшего пояснения принципов изобретения и его практического применения, следовательно, для обеспечения возможности использования наилучшим образом другими специалистами в данной области техники изобретения и различных вариантов осуществления с различными модификациями, соответствующими определенному предполагаемому использованию. Подразумевается, что объем изобретения определен приложенной формулой изобретения и ее эквивалентами.The above description of certain embodiments of the present invention has been presented for purposes of illustration and description. It is not intended that they be exhaustive, or that the invention is limited to the particular types disclosed, and it is obvious that many modifications and changes are possible in light of the foregoing principles. Embodiments have been selected and described in order to best explain the principles of the invention and its practical application, therefore, to enable the best use by other persons skilled in the art of the invention and various embodiments with various modifications corresponding to the particular intended use. It is understood that the scope of the invention is defined by the appended claims and their equivalents.

Claims

1. A method of comparing an image of at least one object photographed by a camera located on a portable terminal with map data in a portable terminal, including

determining location information of a camera photographing at least one object,

calculating location information of at least one photographed object,

calculating location information of at least one display object contained in map data based on a current camera location,

comparing the location information of the at least one photographed object with the location information of the at least one display object;

matching at least one display object with at least one photographed object based on their corresponding location information.

2. The method according to claim 1, in which determining the location information of the camera photographing at least one object, comprises

determining the current location of the camera in accordance with the GPS messages received by the GPS receiver located on the portable terminal,

determining the polar angle of the central axis of the camera using an azimuth sensor located on the portable terminal, and

detecting camera tilt using an tilt sensor located on a portable terminal.

3. The method according to claim 2, in which the camera location information contains the current camera location and the polar angle of the central axis of the camera.

4. The method according to claim 3, in which the camera location information further comprises a camera tilt.

5. The method according to claim 1, wherein the location information of the at least one photographed object and the location information of the at least one display object are calculated from the determined camera location information based on the current camera location and the polar angle of the camera center axis.

6. The method according to claim 5, in which the calculation of the location information of at least one photographed object contains

selecting a contour from at least a photographed object,

establishing a calculation point for the location information of at least one object from the selected path,

computing a polar angle of a location information calculation point based on a polar angle of a camera’s center axis and

calculating the distance from the current location of the camera to the point of calculating the location information.

7. The method according to claim 6, in which the selection of the contour of at least one object is carried out by capturing at least one photographed object.

8. The method according to claim 6, in which the calculation of the location information of the at least one photographed object further includes adjusting the calculated distance from the current location of the camera to the point of calculation of the location information.

9. The method according to claim 5, in which the calculation of the location information of at least one display object based on the current location of the camera contains

matching camera location information with map data,

establishing a calculation point for the location information of the at least one display object; and

calculating location information of a point of computing location information of at least one display object based on a camera location mapped to map data.

10. The method according to claim 9, in which the location information of the camera contains the current location of the camera and the polar angle of the Central axis of the camera.

11. The method according to claim 9, in which the calculation of the location information of the point of computing the location information of at least one display object comprises

calculating the distance from the current location of the camera to the point of computing the location information of at least one display object, and

computing a polar angle of a location information calculation point based on a polar angle of a camera center axis.

12. The method according to claim 1, in which the comparison of at least one display object with at least one photographed object is carried out when the error value between the location information of at least one photographed object and the location information of at least one display object is within a predefined value.

13. The method according to claim 1, additionally containing

reading from the map data text information of at least one display object mapped to at least one photographed object,

inserting read text information at appropriate locations within at least one photographed object; and

displaying at least one photographed object having reading text information inserted therein.

14. The method according to item 13, in which the insertion of textual read information at appropriate locations within at least one photographed object includes

determining a display location of text information at a location of at least one photographed object mapped to at least one display object, and

applying textual information of at least one display object in a specific display location.

15. The method according to item 13, in which the display of at least one photographed object having inserted read text information therein, includes

display color definition and

displaying the outline of at least one photographed object and text information in a specific display color.

16. A guidance method along a travel route using an image photographed by a camera located on a portable terminal, including

search for a travel route from a starting point to a destination using map data stored in a portable terminal,

determining the location information of the camera located on the portable terminal,

matching at least one display object contained in the map data with at least one object photographed by a camera,

determining an object of guidance in at least one object photographed by a camera,

the insertion of the icon of the targeting object in the location of the targeting object defined on at least one photographed object,

displaying a pictogram of the guidance object on the screen of the portable terminal and

guidance along the route of movement.

17. The method according to clause 16, in which the determination of the location information of the camera located on the portable terminal, contains

detecting camera tilt using an tilt sensor located on a portable terminal.

18. The method according to 17, in which the location information of the camera contains the current location of the camera and the polar angle of the Central axis of the camera.

19. The method of claim 18, wherein the camera location information further comprises tilting the camera.

20. The method according to clause 16, in which the comparison of at least one display object contained in the map data with at least one object photographed by the camera, contains

calculating location information of at least one photographed object,

calculating location information of at least one display object contained in map data,

comparing the calculated location information of at least one photographed object with the calculated location information of at least one display object;

21. The method according to clause 16, in which the location information of at least one photographed object and at least one display object contained in the map data is calculated based on the location information of the camera.

22. The method according to item 21, in which the calculation of the location information of at least one photographed object contains

selecting a contour from at least a photographed object,

23. The method according to item 22, in which the calculation of the location information of at least one photographed object further includes adjusting the calculated distance from the current location of the camera to the point of calculation of the location information.

24. The method according to item 21, in which the calculation of the location information of at least one display object contained in the map data, contains

comparing camera location information with map data, establishing a point for calculating location information of at least one display object, and

25. The method according to paragraph 24, in which the location information of the camera contains the current location of the camera and the polar angle of the Central axis of the camera.

26. The method according to paragraph 24, in which the calculation of the location information of the point of computing the location information of at least one display object comprises

27. The method according to claim 20, in which the comparison of at least one display object with at least one photographed object is performed when the error value between the location information of at least one photographed object and the location information of at least one display object is within a predefined value.

28. The method according to claim 20, further comprising

29. The method according to p. 28, in which the insertion of read text information at appropriate locations within at least one photographed object contains

displaying text information of at least one display object at a specific display location.

30. The method according to p, in which the display of at least one photographed object having inserted read text information therein, comprises

display color definition and

31. The method according to clause 16, in which the definition of the guidance object contains

determining whether an object existing in at least one photographed object is accessible as a destination, and

determining an object existing in at least one photographed object as a guidance object if the object existing in at least one photographed object is determined to be available as a destination, and

selecting one object existing on the travel route from among at least one photographed object and determining the selected object as a guidance object if no object has been determined to be available as a destination.

32. The method according to p, in which the display of the pictogram of the guidance object on the screen of the portable terminal includes displaying a certain pictogram of the guidance object in accordance with whether the object defined as the guidance object, destination or not.

Priority on points:

06/14/2005 according to claims 1-15;

06/23/2005 according to claims 16-32.