KR20140139319A - Mobile termianl, computer-readable recording medium and method for image recognation and implementing augmented reality - Google Patents
Mobile termianl, computer-readable recording medium and method for image recognation and implementing augmented reality Download PDFInfo
- Publication number
- KR20140139319A KR20140139319A KR20130059829A KR20130059829A KR20140139319A KR 20140139319 A KR20140139319 A KR 20140139319A KR 20130059829 A KR20130059829 A KR 20130059829A KR 20130059829 A KR20130059829 A KR 20130059829A KR 20140139319 A KR20140139319 A KR 20140139319A
- Authority
- KR
- South Korea
- Prior art keywords
- mobile terminal
- predetermined
- image
- movement
- camera module
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 증강 현실 제공 방법에 관한 것이며, 구체적으로는 모바일 단말기를 이용할 때 빈번한 영상 처리를 방지하기 위한 증강 현실 제공 방법에 관한 것이다.The present invention relates to a method of providing an augmented reality, and more particularly, to a method of providing augmented reality for preventing frequent image processing when using a mobile terminal.
최근 스마트폰, 태플릿 등과 같이 다양한 모바일 단말기가 출시 되면서, 모바일 단말기의 카메라를 통해 실제 영상 화면 위에 객체를 보여주는 증강 현실 기술이 많이 이용되고 있다.Recently, a variety of mobile terminals such as smartphones and tablets have been introduced, and augmented reality technologies that show objects on a real image screen through a camera of a mobile terminal are widely used.
증강 현실(augmented reality)은 사용자가 눈으로 보는 현실 세계의 실제 이미지 상에 가상 이미지를 겹쳐 보여 주는 기술이다. 이러한 증강 현실 기술은 방송 통신 분야, 의료 기기 분야, 그리고 최근 스마트폰, 네비게이션 등의 모바일 장치 분야에 점차 확대되고 있다.Augmented reality is a technology that superimposes a virtual image on a real image of the real world seen by the user. Such augmented reality technology is gradually expanding to the fields of broadcasting and communication, medical devices, and mobile devices such as smart phones and navigation devices.
일 예로, 최근의 스마트폰과 같은 모바일 기기는 이미지를 촬영하는 카메라, 상기 카메라로부터 취득한 영상 정보를 판단하는 제어부, 그리고 사용자에게 영상 정보를 표시하는 디스플레이부를 포함한다. 이와 같은 구성의 모바일 단말기에 증강 현실 기능을 구현하는 경우, 제어부가 카메라에 의해 촬영된 전방의 실제 이미지들을 분석하고, 해당 실제 이미지에 대한 정체를 파악한 후 이와 관련된 정보 이미지를 상기 실제 이미지들에 오버랩하여 증강 현실로 표시하게 된다.For example, a recent mobile device such as a smart phone includes a camera that captures an image, a control unit that determines image information acquired from the camera, and a display unit that displays image information to a user. When the augmented reality function is implemented in the mobile terminal having the above-described configuration, the controller analyzes the actual images in front of the camera, captures the congestion of the actual image, and overlays the information image related thereto with the actual images. And is displayed as an augmented reality.
하지만 모바일 단말기를 이용한 대부분의 증강 현실은 특정 태그(QR코드, AR 태그, 바코드 등)를 인식하거나 위치 정보를 이용하여 해당 화면에서 객체를 증강시키는 방법이 주로 이용되고 있다.However, most augmented reality using mobile terminals is mainly used for recognizing specific tags (QR codes, AR tags, bar codes, etc.) or for enhancing objects on the corresponding screens using position information.
그러나 태그나 위치정보가 없는 환경에서는 위와 같은 방법의 사용이 불가하여, 실제 사물을 그대로 인식하여 증강하는 기술을 이용해야 한다. 이를 위해서는 실제 사물을 그대로 인식하여 해당 위치에 객체를 증강해야 하는데, 태그와 같이 단순하지 않은 실제 사물을 인식하는 기술은 처리하는 시간이 오래 걸려 실시간으로 입력 받은 영상을 바로 처리하기에는 한계가 있다는 문제가 있다.However, in an environment without tags or location information, it is impossible to use the above method. Therefore, it is necessary to use a technique of recognizing and enhancing real objects as they are. To do this, it is necessary to recognize real objects as they are and to augment the objects at the corresponding positions. However, the technology that recognizes real objects that are not simple, such as tags, takes a long time to process, have.
데스크톱 PC 등의 환경에서는 실제 사물을 인식하는 영상처리 기술도 실시간으로 무리 없이 처리할 수 있지만, 모바일 단말기 같은 상대적으로 성능이 낮은 단말기에서는 동일한 기술을 그대로 적용할 때는 모바일 단말기가 다운되는 현상이 발생할 가능성이 높은 문제점이 존재한다.In an environment such as a desktop PC, the image processing technology for recognizing real objects can be processed in real time. However, when the same technology is applied to a relatively low performance terminal such as a mobile terminal, There is such a high problem.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.It is an object of the present invention to solve all the problems described above.
또한 본 발명은 상대적으로 성능이 낮은 모바일 단말기에서 실제 사물을 그대로 인식하여 증강 현실을 제공하는 데 다운 현상이 발생하지 않는 새로운 증강 현실 제공 방법을 제공하는 것을 목적으로 한다.It is another object of the present invention to provide a new method for providing augmented reality in which a downward phenomenon does not occur in a mobile terminal with relatively low performance by recognizing real objects as they are.
또한 본 발명은 빈번한 영상 처리로 인한 모바일 단말기의 성능 저하를 방지할 수 있으면서도 필요한 경우 바로 증강 현실을 제공할 수 있는 증강 현실 제공 방법을 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a method of providing an augmented reality that can prevent a performance degradation of a mobile terminal due to frequent image processing and provide an augmented reality when necessary.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.In order to accomplish the above object, a representative structure of the present invention is as follows.
본 발명의 일 태양에 따르면, (a) 소정의 센서를 이용하여 모바일 단말기의 움직임을 감지함으로써 상기 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단계; (b) 상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 단계; 및 (c) 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공하는 단계를 포함하되, 상기 (a) 단계는, 상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되, 상기 기 설정된 변위 값은, 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴이 저장되고 이를 통해 데이터 학습을 통하여 적응적으로 조정되는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법을 포함한다.According to an aspect of the present invention, there is provided a mobile terminal comprising: (a) determining whether the mobile terminal stays in a stopped state for a predetermined time by detecting a movement of the mobile terminal using a predetermined sensor; (b) recognizing an image input through a camera module of the mobile terminal through a predetermined image recognition technology when the movement of the mobile terminal is in a stopped state for the predetermined time; And (c) providing augmented reality service by adding recognition information on an image input through the camera module, wherein the step (a) includes the steps of: The mobile terminal determines that the mobile terminal remains in the stopped state, and the predetermined displacement value indicates that the movement pattern of the mobile terminal is stored for a predetermined time, and through the data learning, And a method of providing an image enhancing reality using the mobile terminal.
본 발명의 다른 태양에 따르면, 소정의 센서를 사용하여 모바일 단말기의 움직임을 감지함으로써 상기 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단말기 멈춤 여부 판단부; 상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 영상 인식 관련부; 및 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공하는 증강 현실 제공부를 포함하되, 상기 단말기 멈춤 여부 판단부는, 상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되, 상기 모바일 단말기와 통신 가능한 단말기 멈춤 여부 판단 학습 시스템에 의해 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴에 대하여 데이터 학습이 행하여짐으로써 상기 기 설정된 변위 값이 적응적으로 조정되면, 상기 단말기 멈춤 여부 판단부는 상기 적응적으로 조정된 기 설정된 변위 값을 바탕으로 상기 멈춤 상태 여부를 판단하는 것을 특징으로 하는 모바일 단말기를 제시한다. According to another aspect of the present invention, there is provided a mobile terminal comprising: a terminal stop determining unit for determining whether the mobile terminal stays in a stopped state for a predetermined time by detecting a movement of the mobile terminal using a predetermined sensor; An image recognition unit for recognizing an image input through a camera module of the mobile terminal through a predetermined image recognition technology when the movement of the mobile terminal is in a stopped state for the predetermined time; And an augmented reality providing unit for providing augmented reality service by adding recognition information about an image input through the camera module, wherein the terminal stop determining unit determines whether the mobile terminal is within a predetermined displacement value The mobile terminal determines whether the mobile terminal remains in the stopped state when only a movement is detected, and data learning is performed on the movement pattern of the mobile terminal for a predetermined time by the terminal stop determination learning system capable of communicating with the mobile terminal When the predetermined displacement value is adaptively adjusted, the terminal stop determination unit determines whether the mobile terminal is in the stop state based on the adaptively adjusted predetermined displacement value .
이 외에도, 본 발명을 구현하기 위한 다른 방법, 및 상기 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition to this, another method for implementing the present invention and a computer-readable recording medium for executing the method are further provided.
본 발명에 의하면, 모바일 단말기의 자이로 센서를 이용하여 움직임을 감지하여, 움직임이 거의 없을 때에만 영상 인식 알고리즘을 구동함으로써 빈번한 영상 처리로 인한 성능 저하를 개선할 수 있으며, 모바일 단말의 낮은 성능으로 인한 다운 현상 발생을 사전에 방지할 수 있다.According to the present invention, it is possible to improve the performance degradation due to frequent image processing by sensing the motion using the gyro sensor of the mobile terminal and driving the image recognition algorithm only when there is almost no motion, The occurrence of the down phenomenon can be prevented in advance.
또한, 본 발명에 따르면, 모바일 단말기의 멈춤 상태를 판단함에 있어서, 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴을 저장하고 이를 통해 데이터 학습을 통하여 멈춤 상태를 판단하기 위한 기 설정된 변위 값을 적응적으로 조정함으로써, 사용자별로 멈춤 상태를 맞춤형으로 판단할 수 있다.According to another aspect of the present invention, there is provided a mobile terminal including a mobile terminal for storing a movement pattern of the mobile terminal for a predetermined period of time and determining a pause state through data learning, The stop state can be determined in a customized manner for each user.
도 1은 본 발명에 따른 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법의 흐름도를 나타낸다.
도 2는 본 발명에 따른 증강 현실을 제공하는 모바일 단말기의 구성을 나타내는 개략도이다.1 is a flowchart illustrating a method of providing an image recognition and augmented reality using a mobile terminal according to the present invention.
2 is a schematic diagram showing the configuration of a mobile terminal providing an augmented reality according to the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention.
도 1은 본 발명에 따른 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법의 흐름도를 나타낸다.1 is a flowchart illustrating a method of providing an image recognition and augmented reality using a mobile terminal according to the present invention.
도 1을 참조하면, 본 발명에 따른 증강 현실 제공 방법은, 먼저 소정의 센서를 이용하여 모바일 단말기의 움직임을 감지함으로써 이 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단계(S101)를 수행한다.Referring to FIG. 1, the method for providing an augmented reality according to the present invention includes the steps of: (S101) determining whether a mobile terminal is in a pause state for a predetermined time by detecting a movement of the mobile terminal using a predetermined sensor; .
이때 모바일 단말기의 멈춤 상태 유지 여부를 판단하는 수단은 모바일 단말기에 부착된 자이로 센서를 이용할 수 있다.In this case, the gyro sensor attached to the mobile terminal can be used as the means for determining whether the mobile terminal stays in the stopped state.
이 단계(S101)에서는, 모바일 단말기가 삼각대에 고정되어 있거나 바닥에 놓여있지 않고 사람이 손을 잡고 있는 이상 어느 정도 흔들림이 존재할 수 밖에 없기 때문에, 모바일 단말기가 상기 소정 기간 동안 기 설정된 변위 이내의 움직임 밖에 감지되지 않는다면 모바일 단말기가 멈춤 상태를 유지하는 것으로 판단하고 기 설정된 변위 이상의 움직임이 감지된다면 모바일 단말기가 멈춤 상태를 유지하지 않고 계속 움직이는 것으로 판단할 수 있을 것이다.In this step S101, since the mobile terminal is fixed on the tripod or is not placed on the floor, and there is a certain degree of shaking when the person holds the hand, the mobile terminal moves within the predetermined displacement It is determined that the mobile terminal maintains the stopped state and it is determined that the mobile terminal continues to move without stopping if the mobile terminal detects movement beyond the predetermined displacement.
다만, 본 발명은 상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되, 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴을 저장하고 이를 통해 데이터 학습을 통하여 상기 기 설정된 변위 값을 적응적으로 조정하는 것을 특징으로 한다. 구체적으로, 상기 기 설정된 변위 값은, 상기 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴이 상기 모바일 단말기와 통신 가능한 서버에 실시간으로 저장되고 이를 통해 데이터 학습을 통하여 통계치가 획득되고 이에 따라 적응적으로 조정될 수도 있을 것이다.However, according to the present invention, when the mobile terminal is detected only within a predetermined displacement value for the predetermined time, it is determined that the mobile terminal maintains the stop state, And adjusts the predetermined displacement value adaptively through data learning. Specifically, the predetermined displacement value is stored in a server in which the movement pattern of the mobile terminal is communicable with the mobile terminal for a predetermined time, and a statistical value is obtained through data learning through the server, thereby being adaptively adjusted It might be.
그리고 나서 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우(Y), 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통해 인식한다(S102). 이때, 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 소정의 영상 인식 기술을 통하여 두 영상을 비교하여 영상을 인식하는 것이 바람직하다. 이 경우, 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하기 위하여, 모바일 단말기의 카메라 모듈을 통해 입력되는 영상의 특징점과 소정의 데이터베이스에 저장되어 있는 영상들의 특징점을 매칭하는 방법을 사용하면 좀 더 쉽게 두 영상 사이의 유사도를 판단할 수 있을 것이다.Then, when the movement of the mobile terminal is stopped for the predetermined time (Y), the image input through the camera module of the mobile terminal is recognized through a predetermined image recognition technology (S102). At this time, it is preferable to compare the two images through the image input through the camera module of the mobile terminal and the predetermined image recognition technology stored in the predetermined database to recognize the image. In this case, in order to compare the image input through the camera module of the mobile terminal and the images stored in the predetermined database through a predetermined image recognition technology, the feature points of the image input through the camera module of the mobile terminal, The similarity between two images can be more easily judged by using the method of matching the feature points of the images stored in the memory.
만일 데이터베이스에 저장되어 있는 영상들 중 특정 영상과 모바일 단말기의 카메라 모듈을 통해 입력되는 영상이 소정의 유사도 이상인 것으로 판단되면(Y), 특정 영상에 대응되어 저장되어 있는 정보를 사용하여 모바일 단말기 카메라 모듈을 통해 입력되는 영상을 증강 현실 서비스 제공 대상인 영상으로 인식한다(S103).If it is determined that the specific image among the images stored in the database and the image input through the camera module of the mobile terminal are equal to or more than a predetermined degree of similarity (Y), using the information stored corresponding to the specific image, (Step S103). In step S103, the input image is recognized as an image to be provided by the augmented reality service.
만일, 모바일 단말기가 계속 멈춤 상태가 아닌 것으로 판단되거나(S101 단계의 판단 시 N), 카메라 모듈로부터 입력되는 영상이 증강 현실 제공을 위한 영상으로 인식되지 않는 경우 (S103에서의 N)에는, 계속해서 모바일 단말기의 자이로 센서 등의 소정 센서를 이용하여 모바일 단말기의 움직임을 계속 감지하여 소정 시간 멈춤 상태를 유지할 때까지 기다리게 된다.If it is determined that the mobile terminal is not in the stop state (N at S101), or if the image input from the camera module is not recognized as an image for providing an augmented reality (N at S103) The mobile terminal continuously senses the movement of the mobile terminal by using a predetermined sensor such as a gyro sensor of the mobile terminal, and waits until the mobile terminal is stopped for a predetermined time.
카메라 모듈에서 입력되는 영상이 증강 현실 서비스 제공 대상인 경우에는 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공한다(S104).When the image input from the camera module is an object to be provided by the augmented reality service, the augmented reality service is provided by adding recognition information on the image input through the camera module (S104).
이와 같이 본 발명에 따른 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법은 모바일 단말기의 자이로 센서 등의 소정 센서를 이용하여 움직임을 감지하여, 움직임이 거의 없을 대에만 영상 인식 알고리즘을 구동하게 되고, 이에 따라 빈번한 영상 처리로 인한 모바일 단말기의 성능 저하를 개선할 수 있다.As described above, the image recognition and augmented reality providing method using the mobile terminal according to the present invention detects a motion using a predetermined sensor such as a gyro sensor of a mobile terminal and drives the image recognition algorithm only when there is little motion. Accordingly, performance deterioration of the mobile terminal due to frequent image processing can be improved.
기존과 같이 카메라로 입력되는 영상을 일일이 정보 대상 영상인지 인식하기 위해 영상에 대한 인식 알고리즘을 계속 처리하게 되면 상대적으로 성능이 낮은 모바일 단말기에서 다운 현상이 발생하게 되지만, 본 발명과 같이 모바일 단말기의 카메라에서 입력되는 영상을 계속 영상 인식 알고리즘을 구동하여 처리하지 않고, 단말기의 움직임이 일정 수준 이상 멈추어 있는 상태에서만 영상 인식 알고리즘을 구동하기 때문에, 기존의 방법에서의 성능 저하나 빈번한 다운 현상을 방지할 수 있게 된다. If the recognition algorithm for the image is continuously processed to recognize the image input by the camera as the information target image, the down phenomenon occurs in the mobile terminal having relatively low performance. However, Since the image recognition algorithm is operated only when the motion of the terminal is stopped at a certain level or more without driving the image inputted by the image recognition algorithm continuously, it is possible to prevent performance degradation and frequent down phenomenon in the conventional method .
즉, 사용자가 특정 물체를 인식하여 증강 현실 서비스를 받기 위해서는 특정 물체에 카메라를 비추고 해당 카메라 모듈(즉, 모바일 단말기)이 멈춰 있는 형태일 것이고, 모바일 단말기의 움직임이 활발할 때에는 증강 현실 서비스를 받기 위한 것이기 보다는 이를 위한 준비 과정이거나 이동 중이기 때문에 증강 현실 서비스를 받을 상황이 아니므로 영상 인식 알고리즘을 구동할 필요가 없기 때문이다.That is, in order for the user to recognize a specific object and receive the augmented reality service, the camera module (that is, the mobile terminal) may be stopped by illuminating the camera with respect to a specific object. When the motion of the mobile terminal is active, This is because it is not a situation to receive augmented reality service because it is a preparatory process for it or because it is in motion and therefore it is not necessary to drive the image recognition algorithm.
도 2는 본 발명에 따른 증강 현실을 제공하는 모바일 단말기의 구성을 나타내는 개략도이다.2 is a schematic diagram showing the configuration of a mobile terminal providing an augmented reality according to the present invention.
도 2를 참조하면, 본 발명에 따른 모바일 단말기(200)는 단말기 멈춤 여부 판단부(201), 영상 인식 관련부(202), 증강 현실 제공부(205), 카메라 모듈(206) 및 디스플레이부(207)를 포함한다.2, a
단말기 멈춤 여부 판단부(201)는 소정의 센서를 이용하여 모바일 단말기의 움직임을 감지하고 이를 통해 이 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 기능을 한다. 이 소정의 센서는 단말기 내부에 부착된 자이로 센서를 이용할 수 있다.The terminal
이 단말기 멈춤 여부 판단부(201)는 모바일 단말기가 시간 동안 기 설정된 변위 이내의 움직임 밖에 감지되지 않는다면 모바일 단말기가 멈춤 상태를 유지하는 것으로 판단하고 기 설정된 변위 이상의 움직임이 감지된다면 모바일 단말기가 멈춤 상태를 유지하지 않고 계속 움직이는 것으로 판단할 것이다.If the mobile terminal determines that the mobile terminal remains in a stopped state only if the mobile terminal is detected only within a predetermined displacement during the time, the mobile terminal determines whether the mobile terminal is in a stopped state, We will judge it as moving without keeping.
다만, 단말기 멈춤 여부 판단 학습 시스템(400)은 소정의 시간 동안 상기 모바일 단말기(200)의 움직임 패턴을 수신하여 저장하고 이를 통해 데이터 학습을 수행할 수 있을 것이며, 이에 따라 상기 기 설정된 변위 값을 적응적으로 조정한 후 상기 모바일 단말기(200)에 전송할 수 있을 것이며, 단말기 멈춤 여부 판단부(201)는 적응적으로 조정된 기 설정된 변위 값을 바탕으로 단말기의 멈춤 여부를 보다 정확하게 판단할 수 있을 것이다. 구체적으로, 단말기 멈춤 여부 판단 학습 시스템(400)은 상기 소정의 시간 동안 상기 모바일 단말기(200)의 움직임 패턴을 실시간으로 수신하여 저장할 수도 있고, 이를 통해 데이터 학습을 통하여 통계치를 획득할 수 있고, 이에 따라 상기 기 설정된 변위 값을 적응적으로 조정할 수 있을 것이다.However, the terminal stop
한편, 영상 인식 관련부(202)는 모바일 단말기의 움직임이 소정 시간 동안 멈춤 상태인 경우 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상을 소정의 영상 인식 기술(영상 인식 알고리즘)을 통하여 증강 현실을 제공할 대상이 되는 영상인지를 인식하는 기능을 한다.Meanwhile, when the motion of the mobile terminal is in a stopped state for a predetermined time, the image recognition
영상 인식 관련부(202)는 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우, 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상과 소정의 데이터베이스(300)에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하는 영상 비교부(203)와 데이터베이스(300)에 저장되어 있는 영상들 중 특정 영상과 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상이 소정의 유사도 이상인 것으로 판단되면, 이 특정 영상에 대응되어 저장되어 있는 정보를 사용하여 모바일 단말기의 모듈을 통해 입력되는 영상을 증강 현실 서비스 제공 대상으로 인식하는 영상 인식부(204)를 포함한다.When the motion of the mobile terminal is stopped for the predetermined time, the image recognition
한편, 영상 비교부(203)는 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하기 위해, 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상의 특징점과 데이터베이스(300)에 저장되어 있는 영상들의 특징점을 매칭함으로써 두 영상의 유사도를 비교할 수 있을 것이다.The
한편, 단말기 멈춤 여부 판단부(201)는 상기 단말기 멈춤 여부 판단부(201)에서 모바일 단말기가 멈춤 상태가 아닌 것으로 판단하거나, 영상 인식 관련부(202)가 입력되는 영상이 증강 현실 제공을 위한 영상으로 인식하지 않는 경우는, 모바일 단말기의 멈춤 상태 여부를 계속 판단하게 된다.The terminal
즉, 사용자가 특정 물체를 인식하여 증강 현실 서비스를 받기 위해서는 특정 물체에 카메라를 비추고 멈추고 있을 것이기에, 모바일 단말기의 움직임이 활발할 때에는 증강 현실 서비스를 받기 위한 것이기 보다는 이를 위한 준비 과정이거나 이동 중이기 때문에 증강 현실 서비스를 받을 상황이 아니므로 영상 인식 알고리즘을 구동할 필요가 없다고 판단하고, 사용자가 증강 현실 서비스를 제공받기 위해 일정 사물에 카메라를 소정 시간 동안 고정 시킬 때까지 기다리는 것이다.That is, in order to recognize the specific object and receive the augmented reality service, the user will be pausing and stopping the camera on a specific object. Therefore, when the mobile terminal is active, the augmented reality service is not prepared for receiving the augmented reality service, It is determined that there is no need to drive the image recognition algorithm since the service is not to be received and the user waits until the user fixes the camera on the predetermined object for a predetermined time in order to receive the augmented reality service.
증강 현실 제공부(205)는 카메라 모듈(206)을 통해 입력되는 영상과 이 영상에 대한 인식 정보를 부가하여 이를 단말기 내의 디스플레이부(207)로 디스플레이 하여 증강 현실 서비스를 제공하는 기능을 한다.The augmented
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 추천한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 추천한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 추천한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 추천한 것일 수도 있다. 컴퓨터 판독 추천한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, either singly or in combination. The program instructions recorded on the computer-readable recording medium may be those specially designed and constructed for the present invention or may be those recommended for use by those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto- optical media such as floptical disks, optical media), and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.
Claims (13)
(b) 상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 단계; 및
(c) 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공하는 단계
를 포함하되,
상기 (a) 단계는,
상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되,
상기 기 설정된 변위 값은, 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴이 저장되고 이를 통해 데이터 학습을 통하여 적응적으로 조정되는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.(a) determining whether the mobile terminal remains in a paused state for a predetermined time by detecting movement of the mobile terminal using a predetermined sensor;
(b) recognizing an image input through a camera module of the mobile terminal through a predetermined image recognition technology when the movement of the mobile terminal is in a stopped state for the predetermined time; And
(c) providing augmented reality service by adding recognition information on an image input through the camera module
, ≪ / RTI &
The step (a)
The mobile terminal determines that the mobile terminal maintains the stop state when only the movement within the predetermined displacement value is detected for the predetermined time,
Wherein the predetermined displacement value is adaptively adjusted through data learning by storing a movement pattern of the mobile terminal for a predetermined period of time.
상기 기 설정된 변위 값은, 상기 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴이 상기 모바일 단말기와 통신 가능한 단말기 멈춤 여부 판단 학습 시스템에 실시간으로 저장되고 이를 통해 데이터 학습을 통하여 통계치가 획득되고 이에 따라 적응적으로 조정되는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.The method according to claim 1,
The predetermined displacement value is stored in real time in the terminal stop determination learning system in which the movement pattern of the mobile terminal can communicate with the mobile terminal for the predetermined time and the statistics are obtained through data learning, The method of claim 1, further comprising:
상기 (b) 단계는,
(b1) 상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우, 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하는 단계; 및
(b2) 상기 데이터베이스에 저장되어 있는 영상들 중 특정 영상과 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상이 소정의 유사도 이상인 것으로 판단되면, 상기 특정 영상에 대응되어 저장되어 있는 정보를 사용하여 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 인식하는 단계
를 포함하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.The method according to claim 1,
The step (b)
(b1) comparing images input through a camera module of the mobile terminal and images stored in a predetermined database through a predetermined image recognition technology when the movement of the mobile terminal is in a stopped state for the predetermined time; And
(b2) if it is determined that the specific image among the images stored in the database and the image input through the camera module of the mobile terminal are equal to or more than a predetermined degree of similarity, A step of recognizing an image input through the camera module of the terminal
And a method for providing augmented reality image recognition using a mobile terminal.
상기 (b1) 단계에서,
상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하기 위하여, 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상의 특징점과 소정의 데이터베이스에 저장되어 있는 영상들의 특징점을 매칭하는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.The method of claim 3,
In the step (b1)
In order to compare images input through the camera module of the mobile terminal and images stored in a predetermined database through a predetermined image recognition technology, the feature points of the images input through the camera module of the mobile terminal are compared with a predetermined database And matching the feature points of the stored images.
상기 (a) 단계는,
상기 모바일 단말기에 부착된 자이로 센서를 이용하여 상기 모바일 단말기의 움직임을 감지하는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.The method according to claim 1,
The step (a)
And detecting a motion of the mobile terminal using a gyro sensor attached to the mobile terminal.
상기 (b) 단계는,
상기 모바일 단말기가 멈춤 상태가 아닌 것으로 판단되거나 상기 입력되는 영상이 증강 현실 제공을 위한 영상으로 인식되지 않는 경우는 상기 (a) 단계로 돌아가 상기 모바일 단말기의 멈춤 상태 여부를 계속 판단하는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.The method according to claim 1,
The step (b)
Wherein if the mobile terminal is determined not to be in a pause state or the input image is not recognized as an image for providing an augmented reality, the mobile terminal returns to step (a) and continues to determine whether the mobile terminal is in a paused state Image recognition and augmented reality providing method using mobile terminal.
상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 영상 인식 관련부; 및
상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공하는 증강 현실 제공부
를 포함하되,
상기 단말기 멈춤 여부 판단부는,
상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되,
상기 모바일 단말기와 통신 가능한 단말기 멈춤 여부 판단 학습 시스템에 의해 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴에 대하여 데이터 학습이 행하여짐으로써 상기 기 설정된 변위 값이 적응적으로 조정되면, 상기 단말기 멈춤 여부 판단부는 상기 적응적으로 조정된 기 설정된 변위 값을 바탕으로 상기 멈춤 상태 여부를 판단하는 것을 특징으로 하는 모바일 단말기.A terminal stop determining unit for determining whether the mobile terminal stays in a stopped state for a predetermined time by detecting a movement of the mobile terminal using a predetermined sensor;
An image recognition unit for recognizing an image input through a camera module of the mobile terminal through a predetermined image recognition technology when the movement of the mobile terminal is in a stopped state for the predetermined time; And
An augmented reality providing unit for providing augmented reality service by adding recognition information on an image input through the camera module;
, ≪ / RTI &
The terminal stop determination unit may determine,
The mobile terminal determines that the mobile terminal maintains the stop state when only the movement within the predetermined displacement value is detected for the predetermined time,
If the predetermined displacement value is adaptively adjusted by performing data learning on a movement pattern of the mobile terminal for a predetermined time by a terminal stop determination learning system capable of communicating with the mobile terminal, And determines whether the mobile terminal is in the stop state based on the adaptively adjusted predetermined displacement value.
상기 단말기 멈춤 여부 판단 학습 시스템은,
상기 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴을 실시간으로 수신하여 저장하고 이를 통해 데이터 학습을 수행하여 통계치를 획득하고 이에 따라 상기 기 설정된 변위 값을 적응적으로 조정하는 것을 특징으로 하는 모바일 단말기.8. The method of claim 7,
Wherein the terminal stop determination learning system comprises:
Wherein the mobile terminal receives and stores a movement pattern of the mobile terminal for a predetermined time in real time, performs data learning through the received movement pattern to acquire statistics, and adaptively adjusts the predetermined displacement value accordingly.
상기 영상 인식 관련부는,
상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우, 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하는 영상 비교부; 및
상기 데이터베이스에 저장되어 있는 영상들 중 특정 영상과 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상이 소정의 유사도 이상인 것으로 판단되면, 상기 특정 영상에 대응되어 저장되어 있는 정보를 사용하여 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 인식하는 영상 인식부
를 포함하는 모바일 단말기.9. The method of claim 8,
Wherein the image recognition-
An image comparing unit for comparing images input through the camera module of the mobile terminal and images stored in a predetermined database through a predetermined image recognition technology when the movement of the mobile terminal is stopped for the predetermined time; And
If it is determined that the specific image among the images stored in the database and the image input through the camera module of the mobile terminal are equal to or greater than a predetermined degree of similarity, An image recognition unit for recognizing an image input through the module,
Lt; / RTI >
상기 영상 비교부는,
상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하기 위하여, 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상의 특징점과 소정의 데이터베이스에 저장되어 있는 영상들의 특징점을 매칭하는 것을 특징으로 하는 모바일 단말기.10. The method of claim 9,
Wherein the image comparing unit comprises:
In order to compare images input through the camera module of the mobile terminal and images stored in a predetermined database through a predetermined image recognition technology, the feature points of the images input through the camera module of the mobile terminal are compared with a predetermined database And matching the feature points of the stored images.
상기 단말기 멈춤 여부 판단부는,
상기 모바일 단말기에 부착된 자이로 센서를 이용하여 상기 모바일 단말기의 움직임을 감지하는 것을 특징으로 하는 모바일 단말기.8. The method of claim 7,
The terminal stop determination unit may determine,
Wherein the mobile terminal detects movement of the mobile terminal using a gyro sensor attached to the mobile terminal.
상기 단말기 멈춤 여부 판단부는,
상기 단말기 멈춤 여부 판단부에서 상기 모바일 단말기가 멈춤 상태가 아닌 것으로 판단하거나 상기 영상 인식 관련부가 상기 입력되는 영상이 증강 현실 제공을 위한 영상으로 인식하지 않는 경우는, 상기 모바일 단말기의 멈춤 상태 여부를 계속 판단하는 것을 특징으로 하는 모바일 단말기.8. The method of claim 7,
The terminal stop determination unit may determine,
If the terminal stop determining unit determines that the mobile terminal is not in a stop state or the image recognition related unit does not recognize the input image as an image for providing an augmented reality, And judges whether or not the mobile terminal is a mobile terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130059829A KR101518833B1 (en) | 2013-05-27 | 2013-05-27 | Mobile termianl, computer-readable recording medium and method for image recognation and implementing augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130059829A KR101518833B1 (en) | 2013-05-27 | 2013-05-27 | Mobile termianl, computer-readable recording medium and method for image recognation and implementing augmented reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140139319A true KR20140139319A (en) | 2014-12-05 |
| KR101518833B1 KR101518833B1 (en) | 2015-05-13 |
Family
ID=52459374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130059829A KR101518833B1 (en) | 2013-05-27 | 2013-05-27 | Mobile termianl, computer-readable recording medium and method for image recognation and implementing augmented reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101518833B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016126083A1 (en) * | 2015-02-06 | 2016-08-11 | 삼성전자 주식회사 | Method, electronic device, and recording medium for notifying of surrounding situation information |
| WO2016190493A1 (en) * | 2015-05-26 | 2016-12-01 | 동국대학교 산학협력단 | Interaction-based remote video communication and lecturing system using transparent display |
| WO2018101749A1 (en) * | 2016-11-30 | 2018-06-07 | (주)잼투고 | On-site evaluation method using real world image of mobile terminal, and server |
| KR101889025B1 (en) | 2017-05-22 | 2018-08-16 | 동서대학교산학협력단 | System and Method for Displaying 3-Dimension Images for Mobile Terminal Using Object Recognition Based on R-CNN Algorithm |
| US10943404B2 (en) | 2016-12-06 | 2021-03-09 | Samsung Electronics Co., Ltd. | Content output method and electronic device for supporting same |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100957575B1 (en) | 2009-10-01 | 2010-05-11 | (주)올라웍스 | Method, terminal and computer-readable recording medium for performing visual search based on movement or pose of terminal |
| KR101264874B1 (en) | 2011-05-20 | 2013-05-15 | 주식회사 가나테크 | Learning apparatus and learning method using augmented reality |
-
2013
- 2013-05-27 KR KR1020130059829A patent/KR101518833B1/en active IP Right Grant
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016126083A1 (en) * | 2015-02-06 | 2016-08-11 | 삼성전자 주식회사 | Method, electronic device, and recording medium for notifying of surrounding situation information |
| KR20160096966A (en) * | 2015-02-06 | 2016-08-17 | 삼성전자주식회사 | Method for notifying environmental context information, electronic apparatus and storage medium |
| US10748000B2 (en) | 2015-02-06 | 2020-08-18 | Samsung Electronics Co., Ltd. | Method, electronic device, and recording medium for notifying of surrounding situation information |
| WO2016190493A1 (en) * | 2015-05-26 | 2016-12-01 | 동국대학교 산학협력단 | Interaction-based remote video communication and lecturing system using transparent display |
| WO2018101749A1 (en) * | 2016-11-30 | 2018-06-07 | (주)잼투고 | On-site evaluation method using real world image of mobile terminal, and server |
| US10943404B2 (en) | 2016-12-06 | 2021-03-09 | Samsung Electronics Co., Ltd. | Content output method and electronic device for supporting same |
| KR101889025B1 (en) | 2017-05-22 | 2018-08-16 | 동서대학교산학협력단 | System and Method for Displaying 3-Dimension Images for Mobile Terminal Using Object Recognition Based on R-CNN Algorithm |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101518833B1 (en) | 2015-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109791608B (en) | Mapping summary and localization | |
| US11188187B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| US9448635B2 (en) | Rapid gesture re-engagement | |
| KR101518833B1 (en) | Mobile termianl, computer-readable recording medium and method for image recognation and implementing augmented reality | |
| US10255504B2 (en) | Object position tracking using motion estimation | |
| EP2775374B1 (en) | User interface and method | |
| US9922423B2 (en) | Image angle variation detection device, image angle variation detection method and image angle variation detection program | |
| US10620826B2 (en) | Object selection based on region of interest fusion | |
| US20140328514A1 (en) | Object tracking device | |
| US9298246B2 (en) | Information processing device, system, and information processing method | |
| JP2018524657A (en) | Managing feature data for environment mapping on electronic devices | |
| CN112955901A (en) | Method and apparatus for performing loop detection | |
| US20140132817A1 (en) | Method and apparatus for capturing and displaying an image | |
| US9148537B1 (en) | Facial cues as commands | |
| CN111712777B (en) | Determining content pose of virtual content segments | |
| US20160349838A1 (en) | Controlling a head mounted device | |
| US10013052B2 (en) | Electronic device, controlling method and storage medium | |
| Neto et al. | Real-time head pose estimation for mobile devices | |
| US9507429B1 (en) | Obscure cameras as input | |
| US11507768B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| EP3786838A1 (en) | Face tracking method and apparatus | |
| US20230410492A1 (en) | A Computer Software Module Arrangement, a Circuitry Arrangement, an Arrangement and a Method for Improved Object Detection by Compensating the Confidence Determination of a Detected Object | |
| US20230334841A1 (en) | A Computer Software Module Arrangement, a Circuitry Arrangement, an Arrangement and a Method for Improved Object Detection | |
| US20230401820A1 (en) | A Computer Software Module Arrangement, a Circuitry Arrangement, an Arrangement and a Method for Improved Object Detection Adapting the Detection through Shifting the Image | |
| WO2014169441A1 (en) | Method and system for eye tracking using combination of detection and motion estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190225 Year of fee payment: 5 |