KR20110039660A - A method and apparatus for translating foreign language using user's gesture, and mobile device using the same - Google Patents

A method and apparatus for translating foreign language using user's gesture, and mobile device using the same Download PDF

Info

Publication number
KR20110039660A
KR20110039660A KR1020090096608A KR20090096608A KR20110039660A KR 20110039660 A KR20110039660 A KR 20110039660A KR 1020090096608 A KR1020090096608 A KR 1020090096608A KR 20090096608 A KR20090096608 A KR 20090096608A KR 20110039660 A KR20110039660 A KR 20110039660A
Authority
KR
South Korea
Prior art keywords
gesture
foreign language
translation
displayed
translation result
Prior art date
Application number
KR1020090096608A
Other languages
Korean (ko)
Other versions
KR101148786B1 (en
Inventor
조동호
정방철
김재정
이동원
김상태
황성재
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020090096608A priority Critical patent/KR101148786B1/en
Publication of KR20110039660A publication Critical patent/KR20110039660A/en
Application granted granted Critical
Publication of KR101148786B1 publication Critical patent/KR101148786B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A foreign language translation method and apparatus thereof, and mobile device using the same are provided to translate a foreign language word according to a user gesture and to disappear a translated word from a display unit. CONSTITUTION: A display unit(110) displays a foreign language content. A sensor(120) senses a gesture. A translating unit(130) translates a foreign language word according to the sensed gesture. A controller displays a translation result on the display unit and removes the translation result from the display unit. If the gesture is a first gesture, the translating unit performs translation. If the gesture is a second gesture, the translation result is removed from the display unit.

Description

사용자 제스쳐를 이용한 외국어 번역 방법 및 장치, 이를 이용한 모바일 기기{A method and apparatus for translating foreign language using user's gesture, and mobile device using the same}A method and apparatus for translating foreign language using user's gesture, and mobile device using the same}

본 발명은 사용자 제스쳐를 이용한 외국어 번역 방법 및 장치, 이를 이용한 모바일 기기에 관한 것으로, 보다 상세하게는 플립 업, 플립 다운 등과 같이 서로 구별되는 간단한 사용자 동작 제스쳐에 따라 난이도별 외국어 단어를 번역하거나, 또는 번역된 의미를 디스플레이에서 사라지게 할 수 있는, 사용자 제스쳐를 이용한 외국어 번역 방법 및 장치, 이를 이용한 모바일 기기에 관한 것이다.The present invention relates to a foreign language translation method and apparatus using a user gesture, a mobile device using the same, and more specifically, to translate foreign language words of different difficulty levels according to simple user gesture gestures such as flip up and flip down. The present invention relates to a foreign language translation method and apparatus using a user gesture and a mobile device using the same, which can cause the translated meaning to disappear from the display.

최근 인터넷 사용자들이 급증하면서 필요한 정보를 얻기 위해 국내뿐 아니라 외국의 뉴스, 정치, 경제, 인터넷 비즈니스 관련 웹사이트를 통해 다양한 정보를 얻고 있다. 하지만, 외국어에 능숙치 못한 사람들에게는 국어가 아닌 외국어로 된 문서를 통해 필요한 정보를 얻는 데에는 시간이나 노력 면에서 많은 투자가 필요하다. 더 나아가, 전자 통신 기술의 발달로 스마트 폰 등과 같이 휴대폰과 같은 모바일 기기에서 다양한 업무를 처리하는 상황에서는 인터넷만이 아니더라도 외국어로 된 전자 메일이나 문서파일을 읽고자 할 경우에도 언어의 장벽으로 인한 불편함이 존재하고, 사무실이 아닌 외부에서 모바일 기기에서 이러한 외국어를 해석하는 경우에는 모바일 기기 내에 구비된 별도 사전(dictionary)을 이용하여야 하므로, 업무의 연속성이 떨어지는 문제가 있다. 또한, 외국어의 의미를 모르는 경우 외국어 단어를 먼저 읽은 후, 단어 의미를 검색하여야 하므로, 외국어 컨텐츠의 해석에 있어서 상당한 시간 지연이 발생하였다. Recently, as Internet users are rapidly increasing, various information is obtained through websites related to news, politics, economy, and internet business in Korea as well as foreign countries. However, those who are not fluent in foreign languages need a lot of time and effort to get the information they need from documents other than Korean. Furthermore, in the situation of processing various tasks in mobile devices such as mobile phones such as smart phones due to the development of electronic communication technology, inconveniences due to language barrier even when trying to read e-mails or document files in foreign languages, not just the Internet. In the case where a box exists and the foreign language is interpreted by the mobile device outside of the office, a separate dictionary provided in the mobile device must be used, so there is a problem that the continuity of the work is poor. In addition, when the meaning of a foreign language is not known, a foreign language word must be read first, and then the word meaning must be searched. Therefore, a considerable time delay has occurred in the interpretation of the foreign language content.

본 발명이 해결하고자 하는 과제는 사용자 제스쳐에 기반한 외국어 번역 방법을 제공하는 데 있다. The problem to be solved by the present invention is to provide a foreign language translation method based on the user gesture.

본 발명이 해결하고자 하는 또 다른 과제는 사용자 제스쳐에 기반한 외국어 번역 장치를 제공하는 데 있다. Another object of the present invention is to provide a foreign language translation apparatus based on a user gesture.

본 발명이 해결하고자 하는 또 다른 과제는 사용자 제스쳐에 기반한 외국어 번역장치를 포함하는 모바일 기기를 제공하는 데 있다. Another object of the present invention is to provide a mobile device including a foreign language translation apparatus based on a user gesture.

상기 과제를 해결하기 위하여, 본 발명은 디스플레이 상의 외국어 컨텐츠 번역 방법으로, 상기 방법은, 사용자의 제 1 동작 제스쳐를 감지하는 단계; 상기 제 1 동작 제스쳐에 따라 디스플레이 상의 외국어 컨텐츠 단어를 번역하는 단계; 및 상기 번역 결과를 상기 디스플레이 상에 표시하는 단계를 포함하는 것을 특징으로 하는 외국어 컨텐츠 번역 방법을 제공하며, 상기 제 1 동작 제스쳐에 따라 번역되는 외국어 단어는 기설정된 난이도에 해당된다. In order to solve the above problems, the present invention provides a method for translating foreign language content on a display, the method comprising: detecting a first gesture of a user; Translating the foreign language content word on the display according to the first gesture gesture; And displaying the translation result on the display, wherein the foreign language word translated according to the first gesture gesture corresponds to a predetermined difficulty level.

본 발명의 일 실시예에서 상기 번역 결과는 번역된 상기 외국어 컨텐츠 단어 하단에 표시되며, 특히 상기 번역 결과는 상기 외국어 컨텐츠의 줄 간격 사이에 표시되며, 상기 번역 결과가 표시될 때 상기 줄 간격은 넓어진다. 또한 상기 번역되는 난이도의 단어는 번역되지 않는 난이도의 단어와 구별되도록 표시된다. In one embodiment of the present invention, the translation result is displayed at the bottom of the translated foreign language word, in particular the translation result is displayed between the line spacing of the foreign language content, and the line spacing is widened when the translation result is displayed. All. In addition, the words of the difficulty level to be translated are displayed to be distinguished from the words of difficulty that are not translated.

또한, 상기 난이도는 사용자에 의하여 기설정될 수 있다. In addition, the difficulty may be preset by the user.

상기 과제를 해결하기 위하여, 본 발명은 디스플레이 상의 외국어 컨텐츠 번역 방법으로, 상기 방법은, 사용자의 제 1 동작 제스쳐를 감지하는 단계; 상기 제 1 동작 제스쳐에 따라 디스플레이 상의 외국어 컨텐츠 단어를 번역하는 단계; 상기 번역 결과를 상기 디스플레이 상에 표시하는 단계; 사용자의 제 2 동작 제스쳐를 감지하는 단계; 및 상기 제 2 동작 제스쳐에 따라 상기 디스플레이상에 표시된 번역 결과를 제거하는 단계를 포함하는 것을 특징으로 하는 외국어 컨텐츠 번역 방법을 제공한다. In order to solve the above problems, the present invention provides a method for translating foreign language content on a display, the method comprising: detecting a first gesture of a user; Translating the foreign language content word on the display according to the first gesture gesture; Displaying the translation result on the display; Detecting a second gesture of a user; And removing the translation result displayed on the display according to the second operation gesture.

본 발명의 일 실시예에서 상기 제 1 동작 제스쳐는 플립-다운 제스쳐이고, 제 2 동작 제스쳐는 플립-업 제스쳐이고, 상기 제 1 동작 제스쳐에 따라 번역되는 외국어 단어는 기설정된 난이도에 해당된다. 또한, 상기 번역 결과는 번역된 상기 외국어 컨텐츠 단어 하단에 표시되는데, 이때 상기 번역 결과는 상기 외국어 컨텐츠의 줄 간격 사이에 표시되며, 상기 번역 결과가 표시될 때 상기 줄 간격은 넓어지며, 상기 번역결과가 제거될 때 상기 줄 간격은 좁아질 수 있다. 본 발명의 일 실시예에서 상기 번역되는 난이도의 단어는 번역되지 않는 난이도의 단어와 구별되도록 표시된다. In one embodiment of the present invention, the first gesture gesture is a flip-down gesture, the second gesture gesture is a flip-up gesture, and the foreign language word translated according to the first gesture gesture corresponds to a predetermined difficulty level. Further, the translation result is displayed at the bottom of the translated foreign language word, wherein the translation result is displayed between the line spacing of the foreign language content, the line spacing is widened when the translation result is displayed, the translation result The line spacing can be narrowed when is removed. In an embodiment of the present invention, the word of difficulty that is translated is displayed to be distinguished from a word of difficulty that is not translated.

상기 또 다른 과제를 해결하기 위하여, 본 발명은 외국어 컨텐츠가 표시되는 디스플레이부; 동작 제스쳐를 감지하기 위한 센싱부; 상기 센싱부로 감지된 동작 제스쳐에 따라 외국어 컨텐츠의 단어를 번역하는 번역부; 및 상기 번역부에 의한 번역 결과를 상기 디스플레이부에 표시하거나, 상기 표시된 번역 결과를 디스플레이로부터 제거하는 제어부를 포함하는 것을 특징으로 하는 외국어 컨텐츠 번역 장 치를 제공하며, 상기 번역부의 번역은 상기 센싱부에 의하여 감지된 동작 제스쳐가 기설정된 제 1 동작 제스쳐인 경우 수행되며, 상기 번역 결과의 제거는 상기 센싱부에 의하여 감지된 동작 제스쳐가 기설정된 제 2 동작 제스쳐인 경우 수행된다. In order to solve the above another problem, the present invention provides a display unit for displaying foreign language content; A sensing unit for sensing an operation gesture; A translation unit for translating words of foreign language content according to the motion gesture detected by the sensing unit; And a controller which displays the translation result by the translation unit on the display unit or removes the displayed translation result from the display, wherein the translation unit translates the sensing unit to the sensing unit. If the motion gesture detected by the sensor is a preset first motion gesture, the translation result is removed when the motion gesture detected by the sensing unit is a second motion gesture.

본 발명의 일 실시예에서 제 1 동작 제스쳐는 플립-다운, 제 2 동작 제스쳐는 플립-업 제스쳐이며, 이때 상기 번역부는 기설정된 난이도의 단어를 번역한다. 또한, 상기 번역 결과는 번역된 상기 외국어 컨텐츠 단어 하단에 표시되는데, 이때 상기 번역 결과는 상기 외국어 컨텐츠의 줄 간격 사이에 표시되며, 상기 번역 결과가 표시될 때 상기 줄 간격은 넓어지며, 상기 번역결과가 제거될 때 상기 줄 간격은 좁아진다. In one embodiment of the present invention, the first gesture is flip-down and the second gesture is a flip-up gesture, wherein the translation unit translates a word having a predetermined difficulty level. Further, the translation result is displayed at the bottom of the translated foreign language word, wherein the translation result is displayed between the line spacing of the foreign language content, the line spacing is widened when the translation result is displayed, the translation result The line spacing narrows when is removed.

상기 또 다른 과제를 해결하기 위하여, 본 발명은 상술한 외국어 컨텐츠 번역 장치를 포함하는 모바일 기기를 제공한다. In order to solve the another problem, the present invention provides a mobile device including the above-described foreign language content translation apparatus.

본 발명에 따른 외국어 번역 방법 및 장치는 플립 업, 플립 다운 등과 같이 서로 구별되는 간단한 사용자 동작 제스쳐에 따라 난이도별 외국어 단어를 번역하거나, 또는 번역된 의미를 디스플레이에서 사라지게 할 수 있다. 이로써, 별도의 사전을 이용하여, 외국어 단어를 번역하여야 하는 종래 기술의 문제를 효과적으로 해결할 수 있다. 또한, 난이도를 사용자가 직접 선택할 수 있으므로, 컨텐츠 내용, 주변 환경 등에 따라 사용자가 주관적으로 느끼는 단어 난이도 차이를 효과적으로 극복할 수 있으며, 이를 통하여 매우 효과적이고, 즉각적인 외국어 학습, 번역이 가능하다. 더 나아가 번역된 단어가, 해당되는 외국어 컨텐츠에 근접, 표시되므로, 사용자는 외국어 단어와 그 번역된 의미를 한눈에 파악할 수 있으며, 이러한 구성으로부터 번역 결과가 별도의 창이나, 디스플레이 영역에 표시되는 종래 기술보다 즉각적인 외국어 해석이 가능하다. The foreign language translation method and apparatus according to the present invention can translate foreign language words by difficulty level or make the translated meaning disappear from the display according to simple user gesture gestures such as flip up and flip down. In this way, it is possible to effectively solve the problem of the prior art in which a foreign word must be translated using a separate dictionary. In addition, since the difficulty can be directly selected by the user, it is possible to effectively overcome the difference in the difficulty of the words subjectively felt by the user according to the content content, the surrounding environment, etc. Through this, very effective, immediate foreign language learning and translation is possible. Furthermore, since the translated word is displayed in proximity to the corresponding foreign language content, the user can grasp the foreign language word and its translated meaning at a glance, and the translation result is displayed in a separate window or display area. Immediate foreign language interpretation is possible than technology.

본 발명은 사용자 동작 제스쳐에 기반한 외국어 번역 방법 및 번역 장치에 관한 것으로, 보다 구체적으로는 사용자 동작 제스쳐에 따라 외국어 번역결과를 표시하거나, 또는 표시된 번역 결과를 사라지게 하는 외국어 번역 장치에 관한 것이다. The present invention relates to a foreign language translation method and a translation apparatus based on a user gesture gesture, and more particularly, to a foreign language translation apparatus for displaying a foreign language translation result or disappearing a displayed translation result according to a user gesture gesture.

이하 도면을 이용하여 본 발명을 보다 상세히 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 외국어 번역 방법의 단계도이다.1 is a step diagram of a foreign language translation method according to an embodiment of the present invention.

본 발명에 따른 번역 방법은 먼저 외국어 컨텐츠의 번역을 수행하기 위한 제 1 동작 제스쳐가 수행된다(S100). 본 발명의 일 실시예에서는 상기 제 1 동작 제스쳐로 플립 동작, 특히 플립-업(flip-up) 제스쳐와 같은 간단한 제스쳐를 통하여 사용자는 원하는 수준의 외국어를 먼저 선행적으로 번역하여, 그 결과를 디스플레이 상에 표시할 수 있다(S200). In the translation method according to the present invention, a first operation gesture for first performing translation of foreign language content is performed (S100). In an embodiment of the present invention, the user first translates a foreign language of a desired level in advance through a simple gesture such as a flip operation, in particular a flip-up gesture, and displays the result as the first operation gesture. It may be displayed on (S200).

본 발명의 일 실시예에서는 제스쳐로부터 얻어진 번역 결과(즉, 해당 난이도의 외국어에 대한 사전적 의미 등을 말한다)를 별도의 창이나 컨텐츠 상에 오버레이 하는 방식으로 표시하는 대신, 해당 외국어에 인접한 영역(예를 들면, 단어의 하단 영역)에 별도로 표시하는 구성을 제공한다. 즉, 본 발명자는 실제 외국어 번역 결과가 별도의 창이나, 원거리로 이격된 디스플레이 영역에 표시되는 경우, 실 제 해석을 위한 번역 효과가 상당히 떨어지며, 특히 번역되는 단어가 많은 경우, 종래 기술의 상기 구성은 많은 문제(예를 들면, 시선의 반복적 이동에 따른 피로감 등)를 야기시킨다는 점에 주목하였으며, 이를 해결하기 위하여, 번역 결과를 해당 외국어에 인접한 영역에 표시하는 방식을 제공하는데, 본 발명의 일 실시예에 따른 번역 결과 표시 방식은 아래에서 보다 상세히 설명된다. According to an embodiment of the present invention, instead of displaying the translation result obtained from the gesture (that is, the dictionary meaning of the foreign language of the difficulty level) on a separate window or in a manner that is overlaid on the content, an area adjacent to the foreign language ( For example, a configuration of displaying separately in the lower region of the word is provided. That is, the present inventors, when the actual foreign language translation results are displayed in a separate window or a remotely spaced display area, the translation effect for the actual interpretation is considerably inferior, especially when there are many words to be translated, the above configuration of the prior art It is noted that has caused a number of problems (for example, fatigue due to repeated movement of the gaze), to solve this problem, to provide a way to display the translation results in the region adjacent to the foreign language, one of the present invention The translation result display method according to the embodiment is described in more detail below.

제 1 동작 제스쳐에 따라 번역되는 외국어 컨텐츠 단어는 상기 컨텐츠 내의 모든 단어일 수 있으나, 본 발명의 일 실시예에서는 기설정된 난이도의 외국어가 번역된다. 이 경우, 외국어 컨텐츠에서 추출된 단어의 난이도가 먼저 결정되어야 하며, 사용자 수준 이상의 단어, 즉, 사용자가 학습하거나, 해석을 위해서는 번역이 필요하다고 인정되는 수준의 단어부터 사용자는 번역할 수 있다. 예를 들면, 사용자가 대학교 이상의 교육 수준인 경우라면, 중학교 수준의 외국어 단어는 사실상 모두 이해할 것이므로, 중학교 수준의 외국어 단어의 번역은 사실상 불필요할 것이다 따라서, 본 발명에서 외국어 컨텐츠 원문 내의 단어의 추출 및 그 수준 결정은 매우 중요한 단계가 되며, 상기 사용자 수준 결정은 다양한 방식으로 설정될 수 있다.The foreign language content word translated according to the first operation gesture may be all words in the content, but in an embodiment of the present invention, a foreign language having a predetermined difficulty level is translated. In this case, the difficulty level of the words extracted from the foreign language content must be determined first, and the user can translate words above the user level, that is, words whose level is recognized as necessary for the user to learn or interpret. For example, if the user is at an educational level of university or higher, translation of the foreign language words at the junior high level will be virtually unnecessary since the foreign language words at the junior high level will be virtually all understood. The level decision is a very important step, and the user level decision can be set in various ways.

본 발명의 일 실시예에 따른 외국어 번역 방법은 표시된 번역 결과가 다시 사용자의 간단한 제 2 동작 제스쳐로 사라지게 하는 구성을 제공한다. 즉, 본 발명의 일 실시예에서는 사용자의 제 1 동작 제스쳐에 따라 번역 결과가 외국어 컨텐츠의 줄과 줄 사이에 표시된 후, 사용자는 선택적으로 상기 제 1 동작 제스쳐와 구별되는 제 2 동작 제스쳐를 수행한다(S300), 상기 제 2 동작 제스쳐에 따라 줄과 줄 사이에 표시된 상기 번역 결과는 제거, 사라지게 되며, 외국어 컨텐츠 원문이 초기 형태로 표시된다(S400). 이로써, 사용자는 상기 번역 결과로부터 이해한 외국어 컨텐츠 단어의 의미를 이용, 전체 컨텐츠를 다시 해석할 수 있다. The foreign language translation method according to an embodiment of the present invention provides a configuration in which the displayed translation result disappears again with a simple second gesture of the user. That is, in an embodiment of the present invention, after the translation result is displayed between the lines of the foreign language content according to the first gesture of the user, the user selectively performs the second gesture gesture distinguished from the first gesture. In operation S300, the translation result displayed between the lines according to the second operation gesture is removed and disappeared, and the original text of the foreign language content is displayed in an initial form. As a result, the user may interpret the entire content again using the meaning of the foreign language content word understood from the translation result.

본 발명은 특히 간단한 동작 제스쳐를 통하여 번역 결과의 표시 및 제거를 매우 짧은 시간에 수행할 수 있으므로, 많은 수의 단어에 대한 번역 결과와 이를 바탕으로 한 전체 문장 해석이 사실상 연속적으로 수행될 수 있다. In the present invention, the display and removal of the translation result can be performed in a very short time through a particularly simple gesture gesture, so that the translation result for a large number of words and the whole sentence interpretation based on the same can be performed in a continuous manner.

이하, 본 발명의 일 실시예에 따른 외국어 번역 방법을 도면을 이용하여 보다 상세히 설명한다.Hereinafter, a foreign language translation method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 2a 및 2b는 본 발명의 일 실시예에 따른 제 1 동작 제스쳐(즉, 번역 결과가 표시되게 하는 동작 제스쳐)와 제 2 동작 제스쳐(즉, 표시된 번역결과를 사라지게 하는 동작 제스쳐)의 예를 나타낸다.2A and 2B illustrate examples of a first motion gesture (that is, an operation gesture that causes a translation result to be displayed) and a second motion gesture (ie, an action gesture that causes the displayed translation result to disappear) according to an embodiment of the present invention. .

도 2a를 참조하면, 모바일 기기(200)의 끝(200a)을 사용자 쪽으로 올린 후 다시 내리는, 소위 플립-다운(flip-down) 제스쳐가 제 1 동작 제스쳐의 예로 개시된다. 상기 플립-다운 제스쳐에 의하여, 기정의된 난이도의 단어에 대한 번역 결과가 한꺼번에 표시된다.Referring to FIG. 2A, a so-called flip-down gesture that raises and then lowers the tip 200a of the mobile device 200 toward the user is disclosed as an example of the first operating gesture. By the flip-down gesture, translation results for words of a predetermined difficulty level are displayed at once.

도 2b를 참조하면, 모바일 기기의 끝을 사용자 쪽과 반대되는 방향으로 내린 후 다시 올리는, 소위 플립-업(flip-up) 제스쳐가 제 2 동작 제스쳐의 예로 개시된다. 이로써 상기 플립-업 제스쳐에 의하여 표시된 번역 결과는 일시에 사라지게 된다.Referring to FIG. 2B, a so-called flip-up gesture, which lowers the end of the mobile device in a direction opposite to the user side and then raises it again, is disclosed as an example of the second operation gesture. This causes the translation result indicated by the flip-up gesture to disappear at a time.

하지만, 상기 플립-다운, 플립-업 제스쳐는 제 1 및 제 2 동작 제스쳐의 일 예일 뿐, 모바일 기기에 구비된 다양한 센서(G-센서, 기울기 센서 등)에 의하여 구별되는 임의의 모든 동작 제스쳐가 상기 제 1 및 제 2 동작 제스쳐로 사용될 수 있으며, 이는 본 발명의 범위에 속한다. 예를 들면, 좌/우측으로의 흔들기 제스쳐 등도 가능하다.However, the flip-down and flip-up gestures are only examples of the first and second motion gestures, and any motion gestures distinguished by various sensors (G-sensors, tilt sensors, etc.) included in the mobile device may be used. It can be used as the first and second gesture gestures, which is within the scope of the present invention. For example, shaking gestures to the left and right sides are possible.

본 발명은 상술한 바와 같이 번역 결과를 외국어 문장의 줄과 줄 사이에 표시하여, 외국어 단어와 그 번역 의미를 인접하게 하여, 번역 및 학습 효과를 높이는 구성을 제공한다.The present invention provides a configuration in which a translation result is displayed between a line and a line of a foreign language sentence as described above, so that a foreign language word and its translation meaning are adjacent to each other, thereby enhancing the translation and learning effect.

도 3a 내지 3c는 본 발명의 일 실시예에 따른 외국어 번역 방법을 나타내는 도면이다.3A to 3C are diagrams illustrating a foreign language translation method according to an embodiment of the present invention.

도 3a를 참조하면, 먼저 복수의 줄로 이루어진 하나의 외국어 컨텐츠가 모바일 기기의 디스플레이 상에 표시된다.Referring to FIG. 3A, one foreign language content consisting of a plurality of lines is first displayed on a display of a mobile device.

도 3b를 사용자가 제 1 동작 제스쳐, 예를 들면 플립-다운 제스쳐를 수행함에 따라 대응되는 난이도의 외국어 단어가 선택, 번역된다. 상술한 바와 같이 제 1 동작 제스쳐에 따라 번역되는 단어의 난이도는 사용자가 미리 설정할 수 있다. In FIG. 3B, as a user performs a first gesture gesture, for example, a flip-down gesture, a foreign language word having a corresponding difficulty level is selected and translated. As described above, the difficulty level of the word translated according to the first gesture may be preset by the user.

본 발명의 일 실시예에서는 플립-다운 제스쳐에 따라 번역된 외국어의 번역 결과가 해당 단어의 하단에 바로 표시된다. 이를 위하여, 본 발명은 외국어 켄텐츠 문장의 줄과 줄 사이의 간격을 넓히며, 상기 넓어진 간격에 해당되는 외국어 번역 결과가 바로 표시되는 구성을 제공한다. 따라서 본 발명은 표시된 번역 결과와 외국어 컨텐츠를 인접시킴으로써, 특히 많은 단어가 동시에 번역되는 경우 많은 수의 번역 결과를 실제 컨텐츠에 매칭시켜, 번역 효과를 개선할 수 있다. In an embodiment of the present invention, the translation result of the foreign language translated according to the flip-down gesture is displayed directly at the bottom of the word. To this end, the present invention provides a configuration in which a space between lines of a foreign language content sentence is widened and a foreign language translation result corresponding to the widened space is immediately displayed. Therefore, the present invention can improve the translation effect by matching a large number of translation results to actual contents, especially when a plurality of words are translated at the same time by adjoining the displayed translation result and foreign language content.

또한, 본 발명의 일 실시예에서는 플립-다운 제스쳐에 따라 번역되는 외국어 단어는 다른 단어와 구별되는 방식으로 표시된다. 예를 들면, 색의 변화, 밑줄, 글씨체 변화 등과 같이 번역되는 단어와 번역되지 않는 단어를 구별시키는 임의의 모든 방식이 사용되어, 사용자는 한눈에 번역되는 단어를 파악할 수 있다. In addition, in one embodiment of the present invention, the foreign language words translated according to the flip-down gesture are displayed in a manner distinguished from other words. For example, any method of distinguishing between words that are translated and words that are not translated, such as color changes, underlining, and font changes, may be used, so that a user can identify words that are translated at a glance.

예를 들면 도 3b에서는 플립-다운 제스쳐에 따라 기설정된 난이도의 "education", "research", "reorganized", "excellent"가 번역 대상 단어로 선택되고, 상기 단어의 색은 변화된다. For example, in FIG. 3B, "education", "research", "reorganized", and "excellent" of predetermined difficulty levels are selected as translation target words according to a flip-down gesture, and the color of the word is changed.

또한 상기 번역 대상이 되는 외국어 단어의 의미는, 외국어 컨텐츠에서 넓어진 줄 간격에 표시되며, 특히 해당되는 단어의 하부에 인접, 표시된다. 이로써, 사용자는 전체 컨텐츠 문장과 함께 번역 결과를 한눈에 파악할 수 있다. 따라서, 별도의 창이나, 영역에서 사용자가 단어를 직접 찾는 종래 기술에서 발생하는 문제, 즉, 전체 컨텐츠 문장에 대한 연속된 해석이 끊기게 되는 문제를 방지할 수 있다. In addition, the meaning of the foreign language word to be translated is displayed at a wider line interval in the foreign language content, and is particularly adjacent to and displayed below the corresponding word. Thus, the user can grasp the translation result together with the entire content sentence at a glance. Therefore, it is possible to prevent a problem occurring in the prior art in which the user directly searches for words in a separate window or area, that is, a problem in which the continuous interpretation of the entire content sentence is broken.

사용자는 다시 모바일 기기에 대하여 제 2 동작 제스쳐를 취하게 되는데, 본 발명의 일 실시예에서 상기 제 2 동작 제스쳐는 플립-업 제스쳐이다. 이로써, 표시된 번역 결과는 사라지고, 다시 컨텐츠는 최초 형식으로 복귀한다. The user again takes a second gesture gesture with respect to the mobile device. In one embodiment of the present invention, the second gesture gesture is a flip-up gesture. As a result, the displayed translation result disappears, and the content returns to the original form.

도 3c는 플립-업 제츠쳐에 의하여 표시된 번역결과가 디스플레이로부터 제거된 후의 모습을 나타내는 도면이다.FIG. 3C is a view illustrating a translation result displayed by a flip-up gesture after being removed from a display. FIG.

도 3c를 참조하면, 넓어진 줄 간격 사이에 표시된 번역 결과는 모두 제거되고, 최초 형태의 외국어 컨텐츠가 디스플레이에 표시된다. 이로써, 사용자는 번역결과를 표시하는 플립-다운 제스쳐와 구별되는, 또 다른 플립-업 제스쳐를 통하여 표시된 번역 결과를 일시에 제거할 수 있다. 이후, 사용자는 이전에 파악한 번역 결과를 바탕으로 다시 외국어 컨텐츠 원문을 최초 상태에서 해석할 수 있다. Referring to FIG. 3C, all translation results displayed between the widened line intervals are removed, and the first type of foreign language content is displayed on the display. In this way, the user can temporarily remove the displayed translation result through another flip-up gesture, which is distinguished from the flip-down gesture that displays the translation result. Thereafter, the user may interpret the original text of the foreign language in the initial state again based on the previously recognized translation result.

본 발명은 상술한 방법을 구현하기 위한 번역 장치 및 이를 포함하는 모바일 기기를 제공한다. The present invention provides a translation apparatus for implementing the above-described method and a mobile device including the same.

도 4는 본 발명의 일 실시예에 따른 외국어 번역 장치의 블록도이다.4 is a block diagram of a foreign language translation apparatus according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 상기 외국어 번역 장치는 외국어 컨텐츠가 표시되는 디스플레이부(110); 동작 제스쳐를 감지하기 위한 센싱부(120); 상기 센싱부로 감지된 동작 제스쳐에 따라 외국어 컨텐츠의 단어를 번역하는 번역부(130); 및 상기 번역된 결과를 상기 디스플레이부에 표시하거나, 상기 표시된 번역 결과를 디스플레이로부터 제거하는 제어부(140)를 포함한다.Referring to FIG. 4, the foreign language translation apparatus of the present invention includes a display unit 110 displaying foreign language contents; A sensing unit 120 for detecting an operation gesture; A translation unit 130 for translating words of foreign language content according to the motion gesture detected by the sensing unit; And a controller 140 for displaying the translated result on the display unit or removing the displayed translation result from the display.

상기 디스플레이부(110)는 터치패널, LCD 액정 등과 같이 외국어 컨텐츠가 표시되고, 감지된 동작 제스쳐에 따라 외국어의 번역 결과가 표시된다. 또한, 상기 센싱부(120)는 번역 장치를 포함하는 기기에 대하여 수행되는, 서로 구별되는 두 개의 동작 제스쳐, 즉, 제 1 및 제 2 동작 제스쳐를 감지한다. 상술한 바와 같이 제 1 동작 제스쳐에 의하여 해당 난이도의 단어를 모두 번역, 표시하며, 제 2 동작 제스쳐에 의하여 상기 표시된 번역 결과는 모두 제거되어, 디스플레이 상에서 사라진다. 상기 센싱부(120)는 당업계에서 사용되는 임의의 모든 센서가 다 활용될 수 있으나, 적어도 두 종류의 동작 제스쳐를 구별하여야 한다. 본 발명의 일 실시예에서 상기 제 1 동작 제스쳐는 플립-다운, 제 2 동작 제스쳐는 플립-업이었으나, 본 발명의 범위는 이에 제한되지 않는다.The display 110 displays foreign language content such as a touch panel and an LCD, and displays the translation result of the foreign language according to the detected gesture. In addition, the sensing unit 120 detects two distinct gesture gestures, that is, first and second gesture gestures, which are performed with respect to a device including a translation apparatus. As described above, all words of the corresponding difficulty are translated and displayed by the first gesture, and all the translation results displayed by the second gesture are removed and disappear on the display. The sensing unit 120 may use any of all sensors used in the art, but should distinguish at least two kinds of gestures. In one embodiment of the present invention, the first gesture gesture was flip-down and the second gesture gesture was flip-up, but the scope of the present invention is not limited thereto.

상기 번역부(130)는 외국어 단어를 번역하는 기능을 수행하는 프로세서 또는 프로그램을 모두 통칭하며, 상기 센싱부(120)에 의하여 감지된 사용자의 동작 제스쳐가 기설정된 제 1 동작 제스쳐인 경우에만 기설정된 난이도의 외국어 단어에 대한 번역 작업을 수행한다. The translation unit 130 collectively refers to all of a processor or a program that performs a function of translating a foreign language word, and is preset only when a user's motion gesture detected by the sensing unit 120 is a preset first motion gesture. Perform translation work on foreign language words of difficulty.

본 발명의 제어부(140)는 상기 번역부(130)에 의하여 번역된 번역 결과를 상기 디스플레이에 표시한다. 더 나아가 상기 제어부는 상기 센싱부(120)에 의하여 감지된 동작 제스쳐가 제 2 동작 제스쳐이고, 상기 제 1 동작 제스쳐에 의한 번역 결과가 디스플레이부에 표시된 경우, 상기 번역 결과를 디스플레이로부터 제거한다. 이로써, 다시 외국어 컨텐츠 원문이 최초 상태로 디스플레이 상에 표시된다. 본 발명에 따른 번역장치의 상기 구성은 원문 상태를 최대한 유지하면서, 필요한 단어를 미리 선행적으로 번역하여, 사용자에게 전달함으로써, 번역의 효과를 극대화시킨다. The controller 140 of the present invention displays the translation result translated by the translation unit 130 on the display. Furthermore, when the motion gesture detected by the sensing unit 120 is the second motion gesture, and the translation result by the first motion gesture is displayed on the display unit, the controller removes the translation result from the display. As such, the original text of the foreign language is again displayed on the display in its initial state. The above-described configuration of the translation apparatus according to the present invention maximizes the effect of translation by translating necessary words in advance and delivering them to the user, while maintaining the original state as much as possible.

동작 제스쳐에 기반한 본 발명의 상기 번역장치는 특히 구별되는 두 종류의 간단한 동작 제스쳐를 통하여, 외국어 단어의 선행적 번역 및 번역 결과의 제거를 매우 짧은 시간에 선택적으로 수행할 수 있으므로, 휴대 단말기, PMP 등의 모바일 기기에 사용되는 경우, 특히 유리하다. The translation device of the present invention based on gesture gesture can selectively perform prior translation of foreign language words and removal of the translation result in a very short time through two distinctly simple gesture gestures. It is particularly advantageous when used in mobile devices such as.

도 1은 본 발명의 일 실시예에 따른 외국어 번역 방법의 단계도이다. 1 is a step diagram of a foreign language translation method according to an embodiment of the present invention.

도 2a 및 2b는 본 발명의 일 실시예에 따른 제 1 동작 제스쳐(즉, 번역 결과가 표시되게 하는 동작 제스쳐)와 제 2 동작 제스쳐(즉, 표시된 번역결과를 사라지게 하는 동작 제스쳐)의 예를 나타내는 도면이다.2A and 2B illustrate examples of a first gesture gesture (that is, an gesture gesture for displaying a translation result) and a second gesture gesture (that is, an gesture gesture for disappearing the displayed translation result) according to an embodiment of the present invention. Drawing.

도 3a 내지 3c는 본 발명의 일 실시예에 따른 외국어 번역 방법을 나타내는 도면이다.3A to 3C are diagrams illustrating a foreign language translation method according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 외국어 번역 장치의 블록도이다.4 is a block diagram of a foreign language translation apparatus according to an embodiment of the present invention.

Claims (19)

디스플레이 상의 외국어 컨텐츠 번역 방법으로, How to translate foreign language content on the display, 상기 방법은, The method, 사용자의 제 1 동작 제스쳐를 감지하는 단계;Detecting a first gesture of a user; 상기 제 1 동작 제스쳐에 따라 디스플레이 상의 외국어 컨텐츠 단어를 번역하는 단계; 및Translating the foreign language content word on the display according to the first gesture gesture; And 상기 번역 결과를 상기 디스플레이 상에 표시하는 단계를 포함하는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.Displaying the translation result on the display. 제 1항에 있어서, The method of claim 1, 상기 제 1 동작 제스쳐에 따라 번역되는 외국어 단어는 기설정된 난이도에 해당되는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.The foreign language word translation method according to the first gesture gesture corresponds to a predetermined difficulty level. 제 1항에 있어서,The method of claim 1, 상기 번역 결과는 번역된 상기 외국어 컨텐츠 단어 하단에 표시되는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.And the translation result is displayed at the bottom of the translated foreign language word. 제 3항에 있어서, The method of claim 3, wherein 상기 번역 결과는 상기 외국어 컨텐츠의 줄 간격 사이에 표시되며, 상기 번 역 결과가 표시될 때 상기 줄 간격은 넓어지는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.The translation result is displayed between the line spacing of the foreign language content, when the translation result is displayed, the line spacing is widened. 제 2항에 있어서, 3. The method of claim 2, 상기 번역되는 난이도의 단어는 번역되지 않는 난이도의 단어와 구별되도록 표시되는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.The foreign language content translation method characterized in that the word of difficulty to be translated is displayed to be distinguished from the word of difficulty that is not translated. 제 2항에 있어서, 3. The method of claim 2, 상기 난이도는 사용자에 의하여 기설정되는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.The difficulty level is a foreign language content translation method characterized in that predetermined by the user. 디스플레이 상의 외국어 컨텐츠 번역 방법으로, How to translate foreign language content on the display, 상기 방법은, The method, 사용자의 제 1 동작 제스쳐를 감지하는 단계;Detecting a first gesture of a user; 상기 제 1 동작 제스쳐에 따라 디스플레이 상의 외국어 컨텐츠 단어를 번역하는 단계; Translating the foreign language content word on the display according to the first gesture gesture; 상기 번역 결과를 상기 디스플레이 상에 표시하는 단계; Displaying the translation result on the display; 사용자의 제 2 동작 제스쳐를 감지하는 단계; 및Detecting a second gesture of a user; And 상기 제 2 동작 제스쳐에 따라 상기 디스플레이상에 표시된 번역 결과를 제거하는 단계를 포함하는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.And removing the translation result displayed on the display according to the second operation gesture. 제 7항에 있어서, The method of claim 7, wherein 상기 제 1 동작 제스쳐는 플립-다운 제스쳐이고, 제 2 동작 제스쳐는 플립-업 제스쳐인 것을 특징으로 하는 외국어 컨텐츠 번역 방법.And the first gesture is a flip-down gesture and the second gesture is a flip-up gesture. 제 7항에 있어서, The method of claim 7, wherein 상기 제 1 동작 제스쳐에 따라 번역되는 외국어 단어는 기설정된 난이도에 해당되는 것을 특징으로 하는 외국어 컨텐츠 번역 방법The foreign language word translation method according to the first gesture gesture corresponds to a preset difficulty level. 제 7항에 있어서,The method of claim 7, wherein 상기 번역 결과는 번역된 상기 외국어 컨텐츠 단어 하단에 표시되는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.And the translation result is displayed at the bottom of the translated foreign language word. 제 7항에 있어서, The method of claim 7, wherein 상기 번역 결과는 상기 외국어 컨텐츠의 줄 간격 사이에 표시되며, 상기 번역 결과가 표시될 때 상기 줄 간격은 넓어지며, 상기 번역결과가 제거될 때 상기 줄 간격은 좁아지는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.The translation result is displayed between the line spacing of the foreign language content, the line spacing is widened when the translation result is displayed, the line spacing is narrowed when the translation result is removed. . 제 9항에 있어서, The method of claim 9, 상기 번역되는 난이도의 단어는 번역되지 않는 난이도의 단어와 구별되도록 표시되는 것을 특징으로 하는 외국어 컨텐츠 번역 방법.The foreign language content translation method characterized in that the word of difficulty to be translated is displayed to be distinguished from the word of difficulty that is not translated. 외국어 컨텐츠가 표시되는 디스플레이부; A display unit displaying foreign language content; 동작 제스쳐를 감지하기 위한 센싱부; A sensing unit for sensing an operation gesture; 상기 센싱부로 감지된 동작 제스쳐에 따라 외국어 컨텐츠의 단어를 번역하는 번역부; 및 A translation unit for translating words of foreign language content according to the motion gesture detected by the sensing unit; And 상기 번역부에 의한 번역 결과를 상기 디스플레이부에 표시하거나, 상기 표시된 번역 결과를 디스플레이로부터 제거하는 제어부를 포함하는 것을 특징으로 하는 외국어 컨텐츠 번역 장치.And a controller which displays the translation result by the translation unit on the display unit or removes the displayed translation result from the display. 제 13항에 있어서, The method of claim 13, 상기 번역부의 번역은 상기 센싱부에 의하여 감지된 동작 제스쳐가 기설정된 제 1 동작 제스쳐인 경우 수행되며, 상기 번역 결과의 제거는 상기 센싱부에 의하여 감지된 동작 제스쳐가 기설정된 제 2 동작 제스쳐인 경우 수행되는 것을 특징으로 외국어 컨텐츠 번역 장치.The translation of the translation unit is performed when the motion gesture detected by the sensing unit is a first predetermined gesture, and the removal of the translation result is when the motion gesture detected by the sensing unit is a second preset gesture. Apparatus for translating foreign language content, characterized in that performed. 제 14항에 있어서, 15. The method of claim 14, 제 1 동작 제스쳐는 플립-다운, 제 2 동작 제스쳐는 플립-업 제스쳐인 것을 특징으로 하는 외국어 컨텐츠 번역 장치.The apparatus of claim 1, wherein the first gesture gesture is flip-down and the second gesture gesture is flip-up gesture. 제 13항에 있어서, The method of claim 13, 상기 번역부는 기설정된 난이도의 단어를 번역하는 것을 특징으로 하는 외국어 컨텐츠 번역 장치.And the translation unit translates a word having a predetermined difficulty level. 제 13항에 있어서, The method of claim 13, 상기 번역 결과는 번역된 상기 외국어 컨텐츠 단어 하단에 표시되는 것을 특징으로 하는 외국어 컨텐츠 번역 장치.And the translation result is displayed under the translated foreign language word. 제 17항에 있어서, The method of claim 17, 상기 번역 결과는 상기 외국어 컨텐츠의 줄 간격 사이에 표시되며, 상기 번역 결과가 표시될 때 상기 줄 간격은 넓어지며, 상기 번역결과가 제거될 때 상기 줄 간격은 좁아지는 것을 특징으로 하는 외국어 컨텐츠 번역 장치.The translation result is displayed between the line spacing of the foreign language content, the line spacing is widened when the translation result is displayed, the line spacing is narrowed when the translation result is removed. . 제 13항 내지 제 18항 중 어느 한 항에 따른 외국어 컨텐츠 번역 장치를 포함하는 모바일 기기.A mobile device comprising a device for translating foreign language content according to any one of claims 13 to 18.
KR1020090096608A 2009-10-12 2009-10-12 A method and apparatus for translating foreign language using user's gesture, and mobile device using the same KR101148786B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090096608A KR101148786B1 (en) 2009-10-12 2009-10-12 A method and apparatus for translating foreign language using user's gesture, and mobile device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090096608A KR101148786B1 (en) 2009-10-12 2009-10-12 A method and apparatus for translating foreign language using user's gesture, and mobile device using the same

Publications (2)

Publication Number Publication Date
KR20110039660A true KR20110039660A (en) 2011-04-20
KR101148786B1 KR101148786B1 (en) 2012-05-24

Family

ID=44046150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090096608A KR101148786B1 (en) 2009-10-12 2009-10-12 A method and apparatus for translating foreign language using user's gesture, and mobile device using the same

Country Status (1)

Country Link
KR (1) KR101148786B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954314B2 (en) 2012-03-01 2015-02-10 Google Inc. Providing translation alternatives on mobile devices by usage of mechanic signals

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3866859B2 (en) 1998-05-08 2007-01-10 富士通株式会社 Editing device
AUPQ539700A0 (en) 2000-02-02 2000-02-24 Worldlingo.Com Pty Ltd Translation ordering system
US20020015064A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
CN101137983A (en) 2005-01-10 2008-03-05 梅林格有限公司 Embedded translation-enhanced search

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954314B2 (en) 2012-03-01 2015-02-10 Google Inc. Providing translation alternatives on mobile devices by usage of mechanic signals

Also Published As

Publication number Publication date
KR101148786B1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
US20110320975A1 (en) Inputting symbols into an electronic device having a touch-screen
TWI521380B (en) Method, apparatus and system for interacting with content on web browsers
KR100703771B1 (en) Apparatus and method for displaying input panel
US10909308B2 (en) Information processing apparatus, information processing method, and program
KR960002070A (en) Information processing device and information processing method
US20150089429A1 (en) Very Thin Virtual Keyboards and Keyboard Locators
US20110078636A1 (en) Apparatus and method for displaying input character indicator
JP5092985B2 (en) Content decoration apparatus, content decoration method, and content decoration program
US9501220B2 (en) Device and method for extracting data on a touch screen
CN104133905A (en) System and method for carrying out clicking word taking search through searcher
CN104360733A (en) Aided translation method based on eye control operation
US20170031457A1 (en) Method for inputting multi-language texts
US20150026224A1 (en) Electronic device, method and storage medium
KR101148786B1 (en) A method and apparatus for translating foreign language using user's gesture, and mobile device using the same
US9501161B2 (en) User interface for facilitating character input
KR101294458B1 (en) Apparatus and method of inputting text in mobile device
EP2942704A1 (en) Handheld device and input method thereof
JP2017157027A (en) Display device
JP2016024586A (en) Information processing device, information processing method, and program
US20140215397A1 (en) Apparatus and Method Pertaining to Predicted-Text Derivatives
WO2014013587A1 (en) Display apparatus
JP2018185569A (en) Information processing apparatus, display control program and display control method
Kuno et al. Meyboard: A QWERTY-Based Soft Keyboard for Touch-Typing on Tablets
US9690477B2 (en) Method and device to associate user symbols with previously non-associated operations
KR101073055B1 (en) A method and apparatus for learning foreign language using user's gesture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee