KR102090269B1 - 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체 - Google Patents

정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체 Download PDF

Info

Publication number
KR102090269B1
KR102090269B1 KR1020120146408A KR20120146408A KR102090269B1 KR 102090269 B1 KR102090269 B1 KR 102090269B1 KR 1020120146408 A KR1020120146408 A KR 1020120146408A KR 20120146408 A KR20120146408 A KR 20120146408A KR 102090269 B1 KR102090269 B1 KR 102090269B1
Authority
KR
South Korea
Prior art keywords
information
objects
input
relationship
search
Prior art date
Application number
KR1020120146408A
Other languages
English (en)
Other versions
KR20140077510A (ko
Inventor
진선미
권지현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120146408A priority Critical patent/KR102090269B1/ko
Priority to JP2013245702A priority patent/JP6391234B2/ja
Priority to AU2013360585A priority patent/AU2013360585B2/en
Priority to PCT/KR2013/011469 priority patent/WO2014092451A1/en
Priority to RU2015128285A priority patent/RU2654145C2/ru
Priority to US14/105,277 priority patent/US10614120B2/en
Priority to EP13197217.6A priority patent/EP2743846A3/en
Priority to EP20186046.7A priority patent/EP3745280A1/en
Priority to CN201310687717.3A priority patent/CN103870535B/zh
Publication of KR20140077510A publication Critical patent/KR20140077510A/ko
Priority to US16/802,979 priority patent/US11314804B2/en
Application granted granted Critical
Publication of KR102090269B1 publication Critical patent/KR102090269B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 디스플레이 되고 있는 이미지 기반의 직관적인 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체에 관한 것이다. 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법은, 이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식하는 단계; 선택된 복수의 오브젝트의 검색 관계를 나타내는 제 2 입력을 인식하는 단계; 제 1 입력과 제 2 입력에 기초하여 정보를 검색하는 단계; 및 검색된 정보를 디바이스를 통해 출력하는 단계를 포함한다.

Description

정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체{Method for searching information, device, and computer readable recording medium thereof}
본 발명은 정보 검색에 관한 것으로, 특히, 디스플레이 되는 이미지 기반의 정보 검색에 관한 것이다.
디바이스에 장착되는 메모리 용량의 증가와 클라우드 서버를 이용한 데이터 저장량이 증가함에 따라 사용자가 원하는 정보를 좀더 정확하고 빠르게 제공하기 위한 정보 검색 방법들이 제안되고 있다.
그러나 기존에 제안되고 있는 정보 검색 방법들은 일반적으로 사용자의 질의(Query) 기반으로 수행되고 있다. 따라서 좀더 용이하고 직관적인 정보 검색 방법이 요구되고 있다.
본 발명이 해결하고자 하는 과제는 디스플레이 되고 있는 이미지 기반의 직관적인 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체를 제공하는데 있다.
본 발명이 해결하고자 하는 다른 과제는 디스플레이 되고 있는 이미지 기반으로 선택된 복수의 오브젝트의 검색 관계에 기초한 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체를 제공하는데 있다.
본 발명이 해결하고자 하는 또 다른 과제는 디스플레이 되고 있는 이미지 기반으로 선택된 복수의 오브젝트간의 관계에 기초한 서비스 제공 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체를 제공하는데 있다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 디바이스에 디스플레이 되고 있는 이미지 기반의 정보 검색 방법은, 상기 이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식하는 단계; 상기 선택된 복수의 오브젝트의 검색 관계를 나타내는 제 2 입력을 인식하는 단계; 상기 제 1 입력과 상기 제 2 입력에 기초하여 정보를 검색하는 단계; 및 상기 검색된 정보를 상기 디바이스를 통해 출력하는 단계를 포함하는 것이 바람직하다.
상기 복수의 오브젝트의 검색 관계는, 상기 정보 검색시 상기 복수의 오브젝트가 동일 레벨임을 나타내는 대등 관계 및 상기 정보 검색시 상기 복수의 오브젝트가 종속 레벨임을 나타내는 종속 관계중 하나를 포함하는 것이 바람직하다.
상기 복수의 오브젝트의 검색 관계가 상기 대등 관계임을 나타내는 상기 제 2 입력은, 상기 선택된 복수의 오브젝트를 모으는 것을 의미하는 터치 기반 제스처, 상기 선택된 복수의 오브젝트를 상기 선택된 복수의 오브젝트의 디스플레이 위치이외의 위치로 이동시키는 것을 의미하는 터치 기반 제스처중 하나를 포함하는 것이 바람직하다.
상기 복수의 오브젝트의 검색 관계가 상기 종속 관계임을 나타내는 상기 제 2 입력은, 상기 선택된 복수의 오브젝트중 하나의 오브젝트의 디스플레이 위치로 나머지 오브젝트를 이동시키는 것을 의미하는 터치 기반 제스처, 및 상기 선택된 복수의 오브젝트중 하나의 오브젝트의 디스플레이 위치로 적어도 하나의 오브젝트를 이동시키는 것을 의미하는 터치 기반 제스처를 포함하는 것이 바람직하다.
상기 터치 기반 제스처는, 터치 앤 드래그를 포함하는 것이 바람직하다.
상기 정보를 검색하는 단계는, 상기 복수의 오브젝트의 검색 관계가 대등 관계인 경우에, 상기 복수의 오브젝트를 모두 포함하는 정보를 검색하는 단계; 및 상기 복수의 오브젝트의 검색 관계가 종속 관계인 경우에, 상기 복수의 오브젝트의 주종관계에 따라 정보를 검색하는 단계를 포함하는 것이 바람직하다.
상기 정보를 검색하는 단계는, 상기 복수의 오브젝트의 검색 관계가 대등 관계인 경우에, 상기 복수의 오브젝트중 적어도 하나의 오브젝트를 포함하는 정보를 검색하는 단계; 및 상기 복수의 오브젝트의 검색 관계가 종속 관계인 경우에, 상기 복수의 오브젝트의 주종관계에 따라 정보를 검색하는 단계를 포함하는 것이 바람직하다.
상기 정보를 검색하는 단계는, 상기 복수의 오브젝트의 검색 관계가 대등 관계인 경우에, 상기 복수의 오브젝트중 적어도 하나의 오브젝트를 포함하는 정보 검색 항목과 상기 복수의 오브젝트를 모두 포함하는 정보 검색 항목을 선택할 수 있는 정보를 디스플레이 하는 단계; 상기 디스플레이 되는 정보에 기초하여 선택된 정보 검색 항목에 따라 정보를 검색하는 단계; 및 상기 복수의 오브젝트의 검색 관계가 종속 관계인 경우에, 상기 복수의 오브젝트의 주종관계에 따라 정보를 검색하는 단계를 포함하는 것이 바람직하다.
상기 제 1 입력은, 상기 복수의 오브젝트에 대한 롱 터치 및 닫힌 영역을 의미하는 터치 기반 제스처중 하나를 포함하는 것이 바람직하다.
상기 정보를 검색하는 단계는, 상기 제 1 입력 및 상기 제 2 입력에 따라 결정된 적어도 하나의 검색 항목을 디스플레이 하는 단계; 상기 디스플레이 되는 검색 항목중 선택된 검색 항목에 기초하여 상기 정보를 검색하는 단계를 포함하는 것이 바람직하다.
상기 이미지 기반의 정보 검색 방법은, 상기 제 1 입력을 인식한 결과 정보를 상기 디바이스상에 디스플레이 하는 단계를 더 포함하는 것이 바람직하다.
상기 제 1 입력을 인식한 결과 정보는, 상기 선택된 오브젝트의 윤곽선에 기초한 닫힌 영역을 나타내는 정보, 상기 선택된 오브젝트의 윤곽선에 기초한 잘린 이미지 기반의 정보, 및 상기 잘린 이미지 기반의 멀티 스크린중 하나를 포함하는 것이 바람직하다.
상기 이미지 기반의 정보 검색 방법은, 상기 제 2 입력을 인식한 결과 정보를 상기 디바이스상에 디스플레이 하는 단계를 더 포함하는 것이 바람직하다.
상기 검색 단계는 상기 디바이스 및 상기 디바이스에 연결된 외부 기기중 적어도 하나에 저장된 정보를 대상으로 수행되는 것이 바람직하다.
상기 검색된 정보는 이미지 기반 정보 및 텍스트기반 정보중 적어도 하나를 포함하는 것이 바람직하다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 디바이스는, 적어도 하나의 정보 및 적어도 하나의 프로그램을 저장하는 저장부; 이미지를 디스플레이하고, 상기 디스플레이 되고 있는 이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력 및 상기 선택된 복수의 오브젝트의 검색 관계를 나타내는 제 2 입력을 수신하고, 상기 제 1 입력과 상기 제 2 입력에 따라 검색된 정보를 디스플레이 하는 터치 스크린; 상기 터치 스크린에 기초한 사용자 인터페이스를 제공하고, 상기 터치 스크린을 통해 수신된 상기 제 1 입력과 상기 제 2 입력을 각각 인식하고, 상기 인식 결과에 따라 상기 저장부로부터 정보를 검색하고, 상기 검색된 정보를 상기 터치 스크린을 통해 출력하는 프로세서를 포함하는 것이 바람직하다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 디바이스는, 이미지를 디스플레이하고, 상기 디스플레이 되고 있는 이미지 기반의 사용자 입력을 수신하는 터치 스크린; 상기 터치 스크린에 기초한 사용자 인터페이스를 제공하는 프로세서; 및 상기 프로세서에 의해 실행 가능하도록 구성된 적어도 하나의 프로그램 및 상기 이미지 기반으로 검색 가능한 정보를 저장하는 저장부를 포함하고, 상기 프로그램은, 상기 이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식하고, 상기 선택된 복수의 오브젝트의 검색 관계를 나타내는 제 2 입력을 인식하고, 상기 제 1 입력과 상기 제 2 입력에 기초하여 정보를 검색하고, 상기 검색된 정보를 상기 터치 스크린을 통해 출력하는 명령어들을 포함하는 것이 바람직하다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 서비스 제공 방법은, 상기 이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식하는 단계; 상기 선택된 복수의 오브젝트간의 관계를 나타내는 제 2 입력을 인식하는 단계; 상기 제 1 입력과 상기 제 2 입력에 기초하여 제공 가능한 적어도 하나의 서비스 항목을 디스플레이 하는 단계; 및 상기 디스플레이 되고 있는 서비스 항목에 기초하여 선택된 서비스 항목에 따른 서비스를 실행하는 단계를 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 바람직한 실시 예에 따른 디스플레이 되고 있는 이미지 기반의 정보 검색 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 이미지 기반의 정보 검색 방법은 상술한 이미지 기반의 정보 검색 방법과 같이 수행된다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 디스플레이 되고 있는 이미지 기반의 서비스 제공 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 이미지 기반의 서비스 제공 방법은 상술한 이미지 기반의 서비스 제공 방법과 같이 수행된다.
도 1a는 본 발명의 바람직한 일 실시 예에 따른 디바이스의 기능 블록도이다.
도 1b는 도 1a의 저장부에 저장되는 프로그램 및/또는 명령어 세트를 모듈별로 분류한 예이다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 이미지 기반의 정보 검색 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 바람직한 실시 예에서 제 1 입력의 예시도이다.
도 4는 본 발명의 바람직한 실시 예에서 복수의 오브젝트의 검색 관계가 대등 관계일 때 제 2 입력의 예시도이다.
도 5는 본 발명의 바람직한 실시 예에서 복수의 오브젝트의 검색 관계가 종속 관계일 때 제 2 입력의 예시도이다.
도 6은 도 5에 도시된 제 2 입력의 예들을 이미지에 적용한 예시도이다.
도 7 내지 도 9는 제 1 입력, 제 2 입력 및 검색된 정보간의 화면 예시도들이다.
도 10은 본 발명의 바람직한 다른 실시 예에 따른 이미지 기반의 정보 검색 방법을 설명하기 위한 흐름도이다.
도 11 내지 도 13은 도 10에서의 제 1 입력을 인식한 결과 정보가 디스플레이 되는 화면의 예들이다.
도 14는 본 발명의 바람직한 또 다른 실시 에에 따른 이미지 기반의 정보 검색 방법을 설명하기 위한 흐름도이다.
도 15는 도 14의 흐름도에 따라 디스플레이 되는 화면의 예시도이다.
도 16은 복수의 검색 항목이 디스플레이 되는 화면의 예시도이다.
도 17은 본 발명의 바람직한 다른 실시 예에 따른 디바이스의 기능 블록도이다.
도 18은 도 1 및 도 17에 도시된 디바이스가 적용된 네트워크의 구성도이다.
도 19는 본 발명의 바람직한 또 다른 실시 예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전반에서 언급되는 입력은 사용자의 입력으로서, 터치 기반 입력이다. 터치 기반 입력은 사용자의 요청(request) 또는 사용자의 선택(selection)(예를 들어, 이미지상의 복수의 오브젝트의 선택) 또는 사용자의 커맨드(command)(예를 들어, 선택된 복수의 오브젝트의 검색 관계를 설정하는 커맨드) 등을 포함할 수 있으나 이로 제한되지 않는다. 터치 기반 입력은 터치 기반의 사용자의 제스처(gesture)에 의존할 수 있다. 터치 기반의 사용자의 제스처는, 예를 들어, 탭(tap 또는 터치), 롱 탭(long tap 또는 롱 터치), 터치 앤 홀드(touch and hold), 터치 앤 드래그(touch and drag), 더블 탭(double tap), 드래그(drag), 패닝(panning), 플릭(flick), 드래그 앤 드롭(drag and drop), 및 스윕(sweep) 등을 포함할 수 있으나 이로 제한되지 않는다.
입력은 상술한 터치 기반의 사용자의 제스처로 제한되지 않는다. 예를 들어, 입력은 모션 기반(motion-based) 또는 비전 기반(vision-based)으로 정의될 수 있다.
모션 기반의 입력은 사용자에 의한 디바이스의 움직임 기반의 사용자의 제스처(예를 들어, 디바이스 흔들기, 디바이스 치기 등)에 기초할 수 있다. 예를 들어, 후술할 실시 예들에서 언급될 선택된 오브젝트의 검색 관계는 디바이스를 흔드는 패턴 또는 방향에 따라 대등 관계 또는 종속 관계로 설정될 수 있다. 선택된 오브젝트의 검색 관계를 대등 관계 또는 종속 관계로 설정하기 위한 디바이스를 흔드는 패턴 또는 방향은 사전에 설정될 수 있다. 예를 들어 디바이스를 좌우로 흔드는 경우에, 선택된 오브젝트의 검색 관계는 대응 관계로 설정되고, 디바이스를 상하로 흔드는 경우에 선택된 오브젝트의 검색 관계는 종속 관계로 설정될 수 있도록 모션 기반의 입력은 사전에 정의된다.
비전 기반의 입력은 디바이스와 접촉 없이 카메라를 이용하여 획득된 입력 영상의 분석을 통해 인식된 사용자의 제스처에 기초할 수 있다. 예를 들어, 후술할 실시 예들에서 언급될 선택된 오브젝트의 검색 관계는 터치 기반의 사용자 제스처와 같은 사용자의 공간 제스처(예를 들어 손가락을 모으는 공간 제스처)를 포함하는 카메라를 이용하여 획득된 입력 영상의 분석을 통해 대등 관계 또는 종속 관계로 설정될 수 있다. 대등 관계와 종속 관계를 설정하기 위한 사용자의 공간 제스처는 사전에 설정된다.
이하, 본 발명의 실시 예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1a는 본 발명의 바람직한 실시 예에 따른 디바이스(100)의 기능 블록도이다. 도 1a에 도시된 디바이스(100)는 일례로, 스마트 폰(Smart Phone), 스마트 TV, PC(Personal Computer), 데스크탑(Desktop) PC, 노트북(Notebook), 스마트 보드(Smart Board), 태블릿(Tablet) PC, 모바일 기기Mobile Device), 핸드헬드(handheld) 기기 또는 핸드헬드 컴퓨터, 미디어 플레이어, 전자북 단말기, PDA(Personal Digital Assistant), 터치 기반의 사용자의 제스처를 입력할 수 있는 디지털 카메라, 및 디지털 CE(Consumer Electronics, 예를 들어 이미지 디스플레이 및 터치 기반의 사용자의 제스처를 입력할 수 있는 기능을 갖는 장치) 등이 될 수 있으나 이로 제한되지 않는다.
디바이스(100)는 정보 입력부(101), 센싱부(102), 터치 스크린(103), 카메라(104), 오디오 입력부(105), 오디오 출력부(106), 저장부(107), 무선 통신부(108), 유선 통신부(109), 프로세서(110), 및 전원부(111)를 포함한다. 그러나 디바이스(100)의 구성은 도 1a에 도시된 바로 제한되지 않는다. 즉, 디바이스(100)의 구성은 도 1a에 도시된 구성 요소보다 더 많은 구성 요소를 포함하거나 더 적은 구성 요소를 포함할 수 있다.
정보 입력부(101)는 디바이스(100)의 동작을 제어하기 위한 입력 데이터 및 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법의 실행을 요청하는 정보를 입력할 수 있으나 입력될 수 있는 정보는 이로 제한되지 않는다. 정보 입력부(101)는 키 패드(key pad), 돔 스위치(dome switch), 조그 휠(Jog wheel), 조그 스위치(Jog swich), 하드웨어(H/W) 버튼, 핫키(hot key), 및 터치 패널 등을 포함할 수 있으나 이로 제한되지 않는다.
센싱부(102)는 디바이스(100)의 위치, 사용자의 접촉 유무, 디바이스(100)의 방위, 디바이스(100)의 가속 또는 감속 등과 같이 디바이스(100)의 현재 상태를 감지하여 디바이스(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 센싱부(102)는 근접 센서 및 모션 센서를 포함할 수 있다. 센싱부(102)는 센서 기반의 사용자의 제스처를 인식한 신호를 발생시킬 수 있다.
근접 센서는 사전에 설정된 검출면에 접근하는 물체, 또는 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로 투과형 광전 센서, 직접 반사형 광전 센서, 미러 발사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
터치 스크린(103)은 저항막(감압) 방식 또는 정전 용량 방식으로 구성될 수 있으나 이로 제한되지 않는다. 터치 스크린(103)은 상술한 사용자의 터치 기반 제스처에 의존하는 사용자의 요청(request) 또는 사용자의 선택(selection) 또는 사용자의 커맨드(command)를 수신할 수 있다. 사용자의 터치 기반 제스처는 터치 횟수, 터치 패턴, 터치 면적, 및 터치 강도 등의 다양한 조합에 의해 상술한 터치 기반의 사용자의 제스처들이 정의될 수 있다. 그러나 정의 가능한 터치 기반의 사용자의 제스처는 상술한 바로 제한되지 않는다.
터치 스크린(103)은 터치 스크린(103)의 터치 또는 근접 터치를 감지하기 위한 다양한 센서가 구비될 수 있다. 터치 스크린(103)에 구비되는 센서는 상술한 터치 기반의 사용자의 제스처들 또는 패턴을 센싱한 신호를 발생시킬 수 있다. 터치 스크린(103)을 위한 근접 센서는 센싱부(102)에 포함되는 근접 센서와 동일할 수 있다.
터치 스크린(103)의 터치를 감지하기 위한 센서의 일례로 촉각 센서를 포함할 수 있다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다. 근접 센서는 사전에 설정된 검출면에 접근하는 물체, 또는 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉 없이 검출하는 센서를 말한다. 근접 센서의 예로 투과형 광전 센서, 직접 반사형 광전 센서, 미러 발사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
터치 스크린(103)의 터치는 터치 패널에 포인터(pointer)가 터치된 경우이다. 터치 스크린(103)의 근접 터치(proximity-touch)는 포인터가 터치 패널에 실제로 터치되지 않고, 터치 패널로부터 소정 거리내에 접근된 경우이다. 포인터는 터치 스크린(103)의 특정 부분을 터치하거나 근접 터치하기 위한 도구이다. 포인터의 예로, 스타일러스 펜, 손가락 등을 들 수 있으나 이로 제한되지 않는다.
터치 스크린(103)은 디바이스(100)에서 처리되는 정보를 디스플레이 한다. 예를 들어, 터치 스크린(103)은 터치 스크린(103)에 구비된 센서들을 통해 센싱된 사용자의 제스처 또는 터치 패턴 또는 정보 입력부(101)를 통해 입력된 제어 데이터 또는 사용자의 입력 정보 또는 센싱부(102)를 통해 센싱된 신호에 응답하는 화면을 디스플레이 할 수 있다.
본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법을 수행하기 위하여, 터치 스크린(103)은 디스플레이 되고 있는 이미지 기반의 복수의 오브젝트에 대한 선택을 나타내는 사용자의 입력(이하, 제 1 입력이라고 약함)과 선택된 복수의 오브젝트의 검색 관계를 나타내는 사용자의 입력(이하 제 2 입력이라고 약함)을 수신하고, 수신된 제 1 입력 및 제 2 입력을 프로세서(110)로 전송한다. 프로세서(110)로부터 제 1 입력과 제 2 입력에 기초하여 검색된 정보가 수신되면, 터치 스크린(103)은 수신된 검색된 정보를 디스플레이한다.
터치 스크린(103)은 제 1 입력과 제 2 입력이 수신될 때, 프로세서(110)로부터 제공되는 제 1 입력과 제 2 입력의 수신을 인식한 결과 정보를 출력할 수 있다. 터치 스크린(103)을 통해 출력되는 상기 결과 정보는 상기 제 1 입력과 제 2 입력에 대한 UI(User Interface)적인 피드백(feedback) 정보로 언급될 수 있다.
터치 스크린(103)은 입력 및 출력 장치로 언급될 수 있다. 터치 스크린(103)에 디스플레이 되고 있는 화면은 UI(User Interface) 기반의 GUI(Graphic User Interface) 화면을 포함한다.
터치 스크린(103)은 액정 디스플레이(Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display), 유기 발광 다이오드(Organic Light-emitting diode), 플렉시블 디스플레이(Flexible display), 3차원 디스플레이(3D display), 및 AMOLED(Active-Matrix Organic Light-Emitting Diode) 등을 포함할 수 있으나 이로 제한되지 않는다. 터치 스크린(103)은 디스플레이로 언급될 수 있다. 터치 스크린(103)은 디바이스(100)의 구현 형태에 따라 2개 이상 존재할 수 있다.
카메라(104)는 영상 통화 모드 또는 촬영 모드에서 이미지 센서(또는 광 센서)에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 터치 스크린(103)에 디스플레이 될 수 있다. 이에 따라 카메라(104)에 의해 얻어진 정지 영상 또는 동영상에 포함된 화상 프레임에 기초하여 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법을 수행할 수 있다.
카메라(104)에서 처리된 화상 프레임은 저장부(107)에 저장되거나 무선 통신부(108) 또는 유선 통신부(109)를 통해 외부로 전송될 수 있다. 카메라(104)는 디바이스(100)의 구성에 따라 2개 이상이 구비될 수 있다. 또한, 카메라(104)는 사용자의 공간 제스처를 인식하는 입력 장치로 사용될 수 있다.
오디오 입력부(105)는 통화모드, 또는 녹화 모드, 또는 음성 인식 모드 등에서 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 변환하여 프로세서(110)로 전송한다. 오디오 입력부(105)는 예를 들어 마이크로폰으로 구성될 수 있다. 오디오 입력부(105)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 포함하도록 구성될 수 있다.
오디오 입력부(105)를 이용하여 입력되는 상기 음향 신호는 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법의 실행을 요청하는 사용자의 입력 정보를 포함할 수 있다. 상기 음향 신호가 자연어 기반의 사용자의 입력 정보인 경우에, 상기 음향 신호는 음성 인식 기반의 사용자의 입력으로 언급될 수 있다. 오디오 입력부(105)를 통해 입력되는 외부의 음향 신호는 프로세서(110)를 통해 저장부(107)에 저장되거나 프로세서(110) 및 무선 통신부(108) 또는 프로세서(110) 및 유선 통신부(109)를 통해 외부로 전송될 수 있다.
오디오 출력부(106)는 통화 모드, 또는 오디오 재생 모드 등에서 외부로부터 수신되거나 저장부(107)로부터 리드되는 음향 신호 또는 오디오 신호를 출력한다. 오디오 출력부(106)는 스피커로 구성될 수 있다. 오디오 출력부(106)는 컨텐트가 재생될 때, 재생되는 컨텐트에 오디오 신호가 포함되어 있으면, 재생되는 컨텐트에 포함되어 있는 오디오 신호를 출력한다. 오디오 입력부(105)와 오디오 출력부(106)는 헤드셋과 같이 일체형으로 구성될 수 있다.
저장부(107)는 후술할 프로세서(110)에서 실행 가능하도록 구성된 적어도 하나의 프로그램 및/또는 명령어 세트와 자원(resource)을 저장한다. 적어도 하나의 프로그램은 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법을 실행하기 위한 적어도 하나의 프로그램, 디바이스(100)의 오퍼레이팅 시스템(Operating System) 프로그램, 디바이스(100)에서 수행되는 각종 기능(또는 서비스)에 관련된 애플리케이션 프로그램, 및 디바이스(100)에 포함된 하드웨어 컴포넌트(component)들을 구동시키는 프로그램을 포함하나 이로 제한되지 않는다.
자원은 상술한 제 1 입력과 제 2 입력에 기초하여 검색될 수 있는 정보를 포함할 수 있다. 검색될 수 있는 정보는 이미지 기반의 정보와 텍스트 기반의 정보중 적어도 하나를 포함할 수 있다. 예를 들어, 검색될 수 있는 정보는 선택된 복수의 오브젝트들을 모두 포함한 이미지들 또는 텍스트들, 복수의 오브젝트들중 적어도 하나의 오브젝트를 포함한 이미지들 또는 텍스트들, 제 2 입력에 따라 선택 가능한 검색 항목에 대한 텍스트 정보들을 포함할 수 있으나 이로 제한되지 않는다.
선택 가능한 검색 항목에 대한 텍스트 정보는 제 1 입력과 제 2 입력에 따라 결정된다. 제 1 입력과 제 2 입력에 따라 결정되는 검색 항목에 대한 텍스트 정보의 예는 후술할 화면 예들을 설명할 때 좀 더 상세하게 언급할 것이다.
또한, 자원은 디바이스(100)의 사용자 정보, 디바이스(100)에 설정된 애플리케이션 프로그램을 운영하는데 필요한 정보 및 상술한 하드웨어 컴포넌트들을 구동시키는데 필요한 프로그램을 실행하는데 필요한 정보를 포함할 수 있으나 이로 제한되지 않는다.
저장부(107)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD, XD 메모리 등), 롬(ROM, Read-Only Memory), EEPROM(Electronically Erasable Programmable Read-only Memory), PROM(Programmable Read-only Memory) 자기 메모리, 광 디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
저장부(107)에 저장되는 적어도 하나의 프로그램 및/또는 명령어 세트는 기능에 따라 복수개의 모듈로 분류할 수 있다.
도 1b는 저장부(107)에 저장되는 프로그램 및/또는 명령어 세트를 모듈별로 분류한 예이다. 도 1b를 참조하면, 저장부(107)는 오퍼레이팅 시스템(107-1), 무선 통신 모듈(107-2), 유선 통신 모듈(107-3), 그래픽 모듈(107-4), GPS(Global Position System) 모듈(107-5), UI(User Interface) 모듈(107-6), 센싱 모듈(107-7), 접촉 및 움직임 모듈(107-8), 전원 모듈(107-9), 및 애플리케이션 모듈(107-10)을 포함하나 이로 제한되지 않는다.
애플리케이션 모듈(107-10)은 이미지 재생 모듈(107-11), 정보 검색 모듈(107-12), 및 카메라 모듈(107-13)을 포함하나 이로 제한되지 않는다. 예를 들어 애플리케이션 모듈(107-10)은 이메일 모듈, SNS(Social Network Service) 모듈, 화상 회의 모듈, 이미지 관리 모듈, 브라우징 모듈, 달력 모듈, 위젯 모듈, 검색 모듈 및 워드 문서 작성 모듈 등 다양한 모듈을 더 포함할 수 있다.
오퍼레이팅 시스템(107-1)은 디바이스(100)의 일반적인 기능을 제어하고 관리하는 것으로 디바이스(100)내의 하드웨어 및 소프트웨어 컴포넌트(component)간의 통신을 가능하게 하는 소프트웨어 컴포넌트를 포함한다.
무선 통신 모듈(107-2)은 무선 통신부(108)를 통해 적어도 하나의 외부 디바이스(미 도시됨)와의 통신을 가능하게 하고, 무선 통신부(108)를 통해 적어도 하나의 외부 디바이스로부터 수신되는 데이터와 적어도 하나의 외부 디바이스로 송신되는 데이터를 처리하기 위한 소프트웨어 컴포넌트를 포함한다. 적어도 하나의 외부 디바이스는 클라우드 서버와 디바이스(100) 주변의 디바이스중 적어도 하나를 포함할 수 있다.
본 발명의 바람직한 실시 예에 따라 무선 통신 모듈(107-2)은 정보 검색시 외부 디바이스로 정보 검색을 요청하고, 외부 디바이스로부터 검색된 정보를 수신할 수 있다.
유선 통신 모듈(107-3)은 USB(Universal Serial Bus) 포트 등과 같은 엘리먼트로 구성된 유선 통신부(109)와 외부 디바이스(미 도시됨)간의 통신을 가능하게 하고, 유선 통신부(109)을 통해 외부 디바이스(미 도시됨)로부터 수신되는 데이터와 외부 디바이스(미 도시됨)로 송신되는 데이터를 처리하기 위한 소프트웨어 컴포넌트를 포함한다.
그래픽 모듈(107-4)은 터치 스크린(103)에 디스플레이 되고 있는 그래픽의 밝기 조절 및 랜더링을 위한 소프트웨어 컴포넌트 및 애플리케이션 모듈(107-10)에서 텍스트를 입력하기 위한 가상 키보드(또는 소프트 키보드)를 제공하는 소프트웨어 컴포넌트를 포함한다.
GPS 모듈(107-5)은 디바이스(100)의 위치를 결정하고, 결정된 위치 정보를 위치 기반 서비스를 제공하는 애플리케이션에 제공하는 소프트웨어 컴포넌트를 포함한다. UI 모듈(107-6)은 터치 스크린(103) 기반의 UI 정보를 제공하는 애플리케이션에 필요한 UI를 제공하는 소프트웨어 컴포넌트를 포함한다.
센싱 모듈(107-6)은 센싱부(102) 기반의 센싱 정보를 결정하고 결정된 센싱 정보 기반의 서비스를 제공하는 애플리케이션 모듈(107-10)에 제공하는 소프트웨어 컴포넌트를 포함한다. 접촉 및 움직임 모듈(107-7)은 터치 스크린(103) 기반의 터치 접촉을 감지하고, 접촉에 기초한 움직임을 추적하여 이를 필요로 하는 애플리케이션 모듈(107-10)로 제공하는 소프트웨어 컴포넌트를 포함한다.
전원 모듈(107-9)은 오퍼레이팅 시스템(107-1)과 연동되어 디바이스(100)내의 하드웨어 컴포넌트에 대한 전원 공급을 제어하고, 터치 스크린(103)으로 공급되는 전원에 대한 절전 모드를 제어하는 소프트웨어 컴포넌트를 포함한다.
애플리케이션 모듈(107-10)에 포함되는 모듈들의 기능은 그 명칭으로 당업자가 직관적으로 추론할 수 있을 것으로 생각되므로, 본 발명의 바람직한 실시 예에 관련된 애플리케이션 모듈만을 도시하여 설명하기로 한다.
예를 들어, 이미지 재생 모듈(107-11)을 실행시켜 하나의 이미지가 터치 스크린(103)상에 디스플레이 되고 있을 때, 정보 검색 모듈(107_12)을 실행시켜 디스플레이 되고 있는 이미지 기반의 정보 검색 서비스를 실행한다. 이미지 기반의 정보 검색 서비스를 실행한 후, 접촉 및 움직임 모듈(107-8) 또는 센싱 모듈(107-7)에 의해 센싱된 정보를 따라 상술한 제 1 입력 및 제 2 입력이 인식되면, 인식된 제 1 입력 및 제 2 입력에 기초하여 저장부(107)와 무선 통신부(108) 및 유선 통신부(109)틀 통해 연결된 적어도 하나의 외부 디바이스(미 도시됨)중 적어도 하나로부터 정보를 검색한다.
정보가 검색되면, 정보 검색 모듈(107-12)은 검색된 정보를 터치 스크린(103)을 통해 출력한다. UI 모듈(107-6)은 검색된 정보를 터치 스크린(103)에 디스플레이하고, 제 1 입력 및 제 2 입력이 인식될 때, 인식된 결과 정보를 터치 스크린(103)상에 출력할 수 있다.
제 1 입력 또는 제 2 입력에 기초한 검색 과정은 사용자와 디바이스(100)간의 인터랙션으로 언급될 수 있다. 즉, 제 1 입력을 인식하는 것은 복수의 오브젝트의 선택에 대한 사용자와 디바이스(100)간의 인터랙션으로 정의되고, 제 2 입력을 인식하는 것은 복수의 오브젝트의 검색 관계에 대한 사용자와 디바이스(100)간의 인터랙션으로 정의되고, 검색된 정보를 터치 스크린(103)에 디스플레이 하는 것은 사용자와 디바이스(100)간의 검색 인터랙션으로 정의될 수 있다.
저장부(107)는 도 1b에 도시된 프로그램 및/또는 명령어 세트중 애플리케이션 모듈(107-10)에 포함되는 모듈들을 저장하지 않거나 애플리케이션 모듈의 URL과 같은 위치 정보와 애플리케이션 모듈을 나타낼 수 있는 디스플레이 정보만 저장할 수 있다. 저장부(107)에 애플리케이션 모듈(107-10)에 포함되는 모듈이 저장되어 있지 않은 경우에, 프로세서(110)는 무선 통신부(108) 또는 유선 통신부(109)를 통해 외부 디바이스와 접속하여 외부 디바이스에 저장되어 있는 애플리케이션 모듈(107-10)에 대응되는 프로그램 및/또는 명령어 세트를 사용할 수 있다.
저장부(107)에 애플리케이션 모듈의 위치 정보와 애플리케이션 모듈을 나타낼 수 있는 디스플레이 정보만 저장된 경우에, 터치 스크린(103)을 통해 디스플레이 되고 있는 애플리케이션 모듈의 디스플레이 정보에 기초한 사용자의 선택 신호에 대응되는 애플리케이션의 위치 정보를 이용하여 프로세서(110)는 무선 통신부(108) 또는 유선 통신부(109)를 통해 외부 디바이스에 저장되어 있는 정보를 검색할 수 있다.
무선 통신부(108)는 무선 인터넷, 무선 인트라넷, 무선 전화 네트워크, 무선 랜(LAN), 와이파이(Wi-Fi), 와이파이 다이렉트(WFD, Wi-Fi Direct), 3G(Generation), 4G(4 Generation) LTE(Long Term Evolution), 블루투스(Bluetooth), 적외선 통신(IrDA, Infrared Data Association), RFID(Radio Frequency Identification), UWB(Ultra WideBand), 지그비(Zigbee)와 같은 무선 네트워크를 통해 외부 디바이스와 데이터를 송수신할 수 있다.
무선 통신부(108)는 방송 수신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈, 근거리 통신 모듈, 및 위치 정보 모듈중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다.
유선 통신부(109)는 유선 인터넷과 같은 유선 네트워크를 또는 통해 외부 디바이스와 데이터를 송수신할 수 있다. 유선 통신부(109)는 USB(Universal Serial Bus) 포트(미 도시됨)와 같은 플러그 앤 플레이(Plug and Play) 인터페이스를 이용하여 외부 디바이스(미 도시됨)와 데이터를 송수신할 수 있다. 유선 통신부(109)는 디바이스(100)의 구성 요소에 포함되지 않을 수 있다.
전원부(111)는 디바이스(100)에 포함된 하드웨어 컴포넌트에 전력을 공급한다. 전원부(111)는 배터리 및 교류 전원과 같은 하나 이상의 전원을 포함한다. 디바이스(100)는 전원부(111)를 포함하지 않고, 외부 전원 제공부(미 도시됨)와 연결될 수 있는 연결부(connection unit)(미 도시됨)를 포함할 수 있다.
프로세서(110)는 디바이스(100)의 전반적인 동작을 제어하는 것으로 하나 이상의 프로세서로 언급될 수 있다. 프로세서(110)는 저장부(107)에 저장된 오퍼레이팅 시스템(107-1)과 각종 모듈(107-2 ~ 107-13)들을 이용하여 정보 입력부(101), 센싱부(102), 터치 스크린(103), 카메라(103), 오디오 입력부(105), 오디오 출력부(106), 저장부(107), 무선 통신부(108), 유선 통신부(109), 및 전원부(111)를 전반적으로 제어할 수 있다. 따라서 프로세서(110)는 제어기나 마이크로프로세서, 디지털 신호 처리기(Digital Signal Processor) 등으로 언급될 수 있다.
또한 프로세서(110)는 오퍼레이팅 시스템(107-1)과 UI 모듈(107-6)을 이용하여 정보 입력부(101), 센싱부(102), 터치 스크린(103), 카메라(104), 및 오디오 입력부(105)를 이용하여 사용자 인터페이스를 제공할 수 있다.
프로세서(110)는 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법에 관련된 적어도 하나의 프로그램을 실행시켜 후술할 도 2, 10, 및 14에 도시된 동작 흐름도를 수행할 수 있다. 프로세서(110)는 상기 프로그램을 저장부(107)로부터 리드하여 실행시키거나 무선 통신부(108) 또는 유선 통신부(109)를 통해 연결된 외부 디바이스로부터 다운받아 실행시킬 수 있다. 이 때, 외부 디바이스는 애플리케이션 제공 서버 또는 애플리케이션 마켓 서버로 언급될 수 있다. 외부 디바이스는 클라우드 서버 또는 디바이스(100) 주변의 통신 가능한 디바이스를 포함한다. 프로세서(110)는 디바이스(100)내의 각종 하드웨어 컴포넌트들과 프로세서(110)간의 인터페이스 기능부를 포함하는 것으로 이해될 수 있다.
도 2는 본 발명이 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법의 동작 흐름도이다. 도 2의 동작 흐름도는 도 1a의 프로세서(110)에서 수행된다.
도 2를 참조하면, 프로세서(110)는 터치 스크린(103)에 디스플레이 되고 있는 이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식한다(S201).
도 3은 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법에서 제 1 입력의 입력 예를 설명하기 위한 도면이다. 도 3의 (310)은 터치 스크린(103)에 디스플레이 되고 있는 이미지에 포함된 복수의 오브젝트에 대해 롱 터치하여 제 1 입력을 입력하는 경우이다. 이에 따라 프로세서(110)는 도 3의 화면(310)에 도시된 이미지에서 롱 터치된 지점에 대응되는 오브젝트의 선택을 인식한다. 복수의 오브젝트의 선택을 나타내는 터치 기반의 사용자의 제스처는 상술한 롱 터치로 제한되지 않고, 동시에 발생되지 않을 수 있다.
도 3의 (320)은 터치 스크린(103)에 디스플레이 되고 있는 복수의 오브젝트에 대해 각각 원형(circle)의 닫힌 영역을 설정하는 사용자의 제스처에 의해 제 1 입력이 입력되는 경우이다. 닫힌 영역을 설정하는 사용자의 제스처는 도 3의 (320)에 도시된 바와 같이 원형으로 제한되지 않는다. 즉, 닫힌 영역을 설정하는 사용자의 제스처는 선택하고자 하는 오브젝트를 포함하는 사각형(square) 또는 삼각형(triangle)을 설정하는 사용자의 제스처를 포함할 수 있다. 또한 상술한 닫힌 영역은 반드시 시작 지점과 끝 지점이 만나도록 설정되지 않고 상술한 시작 지점과 끝 지점이 만나는 것을 의미하는 사용자 제스처를 포함할 수 있다.
프로세서(110)는 터치 스크린(103)에 디스플레이 되고 있는 이미지 기반의 선택된 복수의 오브젝트의 검색 관계를 나타내는 제 2 입력을 인식한다(S202).
도 4는 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법에서 제 2 입력이 입력되는 예를 설명하기 위한 도면이다. 도 4에서의 제 2 입력은 정보 검색시 선택된 복수의 오브젝트의 검색 관계를 대등 관계로 설정하기 위한 것이다.
도 4의 (401)은 선택된 복수의 오브젝트를 한 곳으로 모으는 것을 의미하는 터치 기반의 사용자의 제스처에 의한 제 2 입력의 예이다. 즉, 하나의 이미지에 포함된 5개의 오브젝트에 대한 선택을 나타내는 제 1 입력(예를 들어, 롱 터치)을 입력한 후, 제 1 입력이 입력된 지점부터 디스플레이 되고 있는 이미지내의 한 지점으로 드래그하는 제 2 입력을 입력하여 선택된 5개의 오브젝트에 대한 검색 관계를 대등 관계로 설정한 경우이다.
이 때, 제 2 입력은 제 1 입력을 입력한 후, 터치 상태를 유지하면서 상술한 드래그를 연속적으로 수행하도록 정의될 수 있으나 제 1 입력을 입력한 후, 다시 제 1 입력을 입력한 지점을 터치한 후 상술한 한 지점으로 드래그하는 터치 앤 드래그로 정의될 수 있다. 제 1 입력을 입력한 지점을 다시 터치할 경우에, 터치 지점에 대한 이전의 x,y좌표와 현재의 x,y좌표간에 오차가 있을 수 있다. 그러나, 현재의 x,y 좌표가 동일한 오브젝트의 디스플레이 영역내이면, 상술한 오차는 무시될 수 있다. (401)에 도시된 바에 의해 알 수 있는 바와 같이, (401)에서의 한 지점은 다섯 손가락이 모두 만날 수 있는 지점으로 정의될 수 있다.
도 4의 (402)는 선택된 복수의 오브젝트를 선택된 복수의 오브젝트의 디스플레이 위치 이외의 위치로 이동시키는 것을 의미하는 터치 기반의 사용자의 제스처에 의한 제 2 입력의 예이다. 즉, 하나의 이미지에 포함된 5개의 오브젝트에 대한 선택을 나타내는 제 1 입력을 입력한 후, 제 1 입력이 입력된 지점에서 아래로 일정 길이만큼 드래그하는 제 2 입력을 입력하여 선택된 5개의 오브젝트에 대한 검색 관계를 대등 관계로 설정한 경우이다.
도 4의 (402)에서, 제 2 입력은 상술한 (401)에서 설명한 바와 같이 제 1 입력을 입력한 후, 터치 상태를 유지하면서 상술한 드래그를 연속적으로 수행하도록 정의될 수 있으나 제 1 입력을 입력한 후, 다시 제 1 입력을 입력한 지점을 터치한 후, 상술한 일정 길이 아래로 드래그하는 터치 앤 드래그로 정의될 수 있다.
도 4의 (403)은 상술한 (402)와 같이 선택된 복수의 오브젝트를 선택된 복수의 오브젝트의 디스플레이 위치 이외의 위치로 터치 지점이 이동시키는 것을 의미하는 터치 기반의 사용자의 제스처에 의한 제 2 입력의 예이다. 도 4의 (403)은 제 1 입력이 입력된 지점에서 위로 일정 길이 만큼 드래그하는 제 2 입력을 입력하는 경우이다.
도 4의 (404)는 선택된 2개의 오브젝트를 한 지점으로 모으는 것을 의미하는 터치 기반의 사용자의 제스처에 의한 제 2 입력의 예이다. (404)에서 언급되는 한 지점은 2개의 오브젝트를 선택한 손가락이 만날 수 있는 지점으로 정의될 수 있다.
도 4의 (405)는 선택된 2개의 오브젝트를 제 1 입력이 입력된 지점으로부터 내측으로 터치 지점이 이동되는 것을 의미하는 터치 기반의 사용자의 제스처에 의한 제 2 입력의 예이다. 내측으로 이동되는 거리는 상술한 (402)와 (403)에서 언급된 일정 거리 이내로 설정될 수 있다.
도 4의 (406)은 선택된 2개의 오브젝트를 제 1 입력이 입력된 지점으로부터 외측으로 일정 거리 이내에서 터치 지점이 이동되는 것을 의미하는 터치 기반의 사용자의 제스처에 의한 제 2 입력의 예이다.
상술한 도 4 및 후술할 도 5를 비롯한 명세서 전반에서 언급되는 이동은 이미지상에 디스플레이 되고 있는 복수의 오브젝트의 디스플레이 위치의 이동을 의미할 수 있다. 그러나 상술한 이동은 오브젝트의 디스플레이 위치의 실질적인 이동이 아닌 디스플레이 되고 있는 이미지상의 터치 지점의 이동을 의미할 수 있다.
도 5는 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법에서 제 2 입력이 입력되는 예를 설명하기 위한 도면이다. 도 5에서의 제 2 입력은 정보 검색시 선택된 복수의 오브젝트의 검색 관계를 종속 관계로 설정하는 경우이다.
도 5의 (501)은 선택된 5개의 오브젝트중 하나의 오브젝트의 디스플레이 위치로 나머지 오브젝트를 이동시키는 것을 의미하는 터치 기반의 사용자의 제스처에 의한 제 2 입력의 예이다. 이 경우에 하나의 오브젝트는 나머지 오브젝트에 종속된다.
도 5의 (502)는 선택된 2개의 오브젝트중 하나의 오브젝트의 디스플레이 위치에서 다른 오브젝트의 디스플레이 위치로 이동되는 것을 의미하는 터치 기반의 사용자의 제스처에 의한 제 2 입력의 예이다. 이 경우에 상술한 다른 오브젝트가 상술한 하나의 오브젝트에 종속된다.
한편, 도 2에서 프로세서(110)는 터치 스크린(103)에 디스플레이되고 있는 이미지를 기반으로 제 1 입력과 제 2 입력이 인식되면, 인식된 제 1 입력에 따라 선택된 오브젝트를 검출한다. 선택된 오브젝트를 검출하는 방식은 터치된 지점을 기준으로 오브젝트의 윤곽선을 검출하는 방식을 사용할 수 있으나 이로 제한되지 않는다. 선택된 오브젝트가 검출되면, 프로세서(110)는 제 2 입력에 따라 선택된 복수의 오브젝트의 검색 관계에 따라 검색식을 결정한다.
선택된 오브젝트가 대등 관계이면, 선택된 오브젝트를 모두 포함하는 정보를 검색하거나 선택된 오브젝트중 적어도 하나의 오브젝트를 포함하는 정보를 검색할 수 있다. 선택된 오브젝트가 대등 관계일 때, 선택된 오브젝트를 모두 포함하는 정보를 검색할지 적어도 하나의 오브젝트를 포함하는 정보를 검색할지는 사전에 정의될 수 있다.
즉, 사전에 선택된 오브젝트가 대등 관계일 때, 선택된 오브젝트를 모두 포함하는 정보를 검색하도록 설정된 경우에, 프로세서(110)는 선택된 오브젝트를 모두 포함하는 정보를 저장부(107)과 상술한 외부 디바이스중 적어도 하나로부터 검색한다.
사전에 선택된 오브젝트가 대등 관계일 때, 선택된 오브젝트를 적어도 하나를 포함하는 정보를 검색하도록 설정된 경우에, 프로세서(110)는 선택된 오브젝트를 적어도 하나를 포함하는 정보를 저장부(107)와 상술한 외부 디바이스중 적어도 하나로부터 검색한다.
사전에 선택된 오브젝트가 대등 관계일 때, 선택된 오브젝트를 모두 포함하는 정보를 검색하는 것과 적어도 하나를 포함하는 정보를 검색하는 것을 선택적으로 사용하도록 설정된 경우에, 프로세서(100)는 정보를 검색하기 전에 정보 검색 항목 정보(예를 들어, 모두 포함하는 정보 검색 아이템 또는 적어도 하나를 포함하는 정보 검색 아이템)를 터치 스크린(103)에 디스플레이 한다.
터치 스크린(103)에 디스플레이 되는 정보 검색 항목 정보에 기초하여 선택된 복수의 오브젝트를 모두 포함하는 정보 검색 아이템이 선택되면, 프로세서(110)는 선택된 복수의 오브젝트를 모두 포함하는 정보를 검색한다. 그러나, 디스플레이 되는 정보 검색 항목 정보에 기초하여 선택된 적어도 하나의 오브젝트를 포함하는 정보 검색 아이템이 선택되면, 프로세서(110)는 적어도 하나의 선택된 오브젝트를 포함하는 정보를 검색한다.
선택된 오브젝트의 검색 관계가 종속 관계이면, 프로세서(110)는 선택된 오브젝트간의 주종 관계에 따라 검색식을 결정하여 정보를 검색한다.
즉, 도 6에 도시된 (610)과 같이 선택된 오브젝트가 가방과 얼굴이고, 가방으로부터 얼굴로 터치 지점이 이동되는 것을 의미하는 제 2 입력이 인식되면, 프로세서(110)는 검색식을 “가방을 들고 있는 사람"로 설정한다. 이에 따라 프로세서(110)는 ”A가 들고 있는 가방과 동일한 가방을 갖고 있는 임의의 사람“에 대한 정보를 저장부(107)와 외부 디바이스중 적어도 하나로부터 검색한다.
도 6에 도시된 (620)과 같이 선택된 오브젝트가 가방과 얼굴이고, 얼굴로부터 가방으로 터치 지점이 이동되는 것을 의미하는 제 2 입력이 인식되면, 프로세서(110)는 검색식을 “A가 갖고 있는 가방”으로 설정한다. 이에 따라 프로세서(110)는 “A가 가지고 있는 모든 가방”에 대한 정보를 저장부(107)와 외부 디바이스중 적어도 하나로부터 검색한다.
도 6에 도시된 (630)과 같이 선택된 오브젝트가 가방, 얼굴, 옷일 때, 옷으로부터 가방으로 터치 지점이 이동되는 것을 의미하는 제 2 입력과 가방으로부터 얼굴로 터치 지점이 이동되는 것을 의미하는 제 2 입력이 인식되면, 프로세서(110)는 검색식을 “옷의 가방”과 “가방을 들고 있는 사람”으로 설정한다. 이에 따라 프로세서(110)는 “동일한 옷과 임의의 가방을 포함한 정보”와 “동일한 가방을 갖고 있는 임의의 사람”을 포함하는 정보를 저장부(107)와 외부 디바이스중 적어도 하나로부터 검색한다.
도 6에 도시된 (640)과 같이 선택된 오브젝트가 가방, 얼굴, 옷이고, 옷으로부터 얼굴로 터치 지점이 이동되는 것을 의미하는 제 2 입력과 가방으로부터 얼굴로 터치 지점이 이동되는 것을 의미하는 제 2 입력이 인식되면, 프로세서(110)는 검색식을 “동일한 옷을 입고 있는 임의의 사람”을 포함하는 정보와 “동일한 가방을 갖고 있는 임의의 사람”을 포함하는 정보를 저장부(107) 및 외부 디바이스중 적어도 하나로부터 검색한다.
도 6에 도시된 (650)은 선택된 복수의 오브젝트의 검색 관계가 대등 관계를 나타내는 제 2 입력이 입력된 경우이다. 만약 디바이스(100)에 설정된 조건이 선택된 복수의 오브젝트가 대등 관계일 때, 검색식이 논리곱(AND)으로 정의된 경우에, 프로세서(110)는 “동일한 가방과 사람 A"를 모두 포함하고 있는 정보를 저장부(107) 및 외부 디바이스중 적어도 하나로부터 검색한다.
검색되는 정보는 이미지 기반 정보 및 텍스트 기반 정보중 적어도 하나를 포함할 수 있다. 또한, 검색을 저장부(107)에서 할 것인지 외부 디바이스로부터 할 것인지 저장부(107)와 외부 디바이스에서 모두 할 것인지는 사용자에 의해 설정될 수 있다. 사용자가 상술한 검색 범위를 설정할 수 있도록 프로세서(110)는 터치 스크린(103)을 통해 선택 가능한 검색 범위 정보를 디스플레이 할 수 있다.
도 2에서, 프로세서(110)는 검색된 정보를 터치 스크린(103)에 디스플레이 한다. 검색된 정보는 디스플레이 되고 있는 이미지에 중첩된 형태로 디스플레이 될 수 있으나, 별도의 페이지 또는 디스플레이 되고 있는 이미지상에 팝업 창의 형태로 디스플레이 될 수 있다.
도 7 내지 도 9는 선택된 복수의 오브젝트의 검색 관계가 대등 관계일 때, 상술한 제 1 입력, 제 2 입력 및 디스플레이 되는 검색된 정보간의 관계 예시도이다.
도 7은 (710)에서 디스플레이 되고 있는 이미지에 포함된 2개의 오브젝트를 선택하는 제 1 입력을 입력하는 경우이고, (720)에서 제 1 입력을 입력한 후, 선택된 2개의 오브젝트의 디스플레이 위치에서 한 지점으로 모으는 사용자의 제스처에 기초한 제 2 입력을 입력하는 경우이고, (730)에서 선택된 모든 오브젝트를 포함하는 이미지가 검색되어 독립된 페이지에 디스플레이 되는 경우이다.
도 8은 (810)에서 디스플레이 되고 있는 이미지에 포함된 2개의 오브젝트를 선택하는 제 1 입력을 입력하는 경우이고, (820)에서 제 1 입력을 입력한 후, 선택된 2개의 오브젝트의 디스플레이 위치를 상측 방향으로 동시에 이동시키는 사용자의 제스처에 기초한 제 2 입력을 입력하는 경우이고, (830)에서 선택된 복수의 오브젝트중 적어도 하나를 포함하는 이미지가 검색되어 독립된 페이지에 디스플레이 되는 경우이다.
도 9는 (910)에서 디스플레이 되고 있는 이미지에 포함된 2개의 오브젝트를 선택하는 제 1 입력을 입력하는 경우이고, (920)에서 제 1 입력을 입력한 후, 선택된 2개의 오브젝트의 디스플레이 위치를 하측 방향으로 동시에 이동시키는 사용자의 제스처에 기초한 제 2 입력을 입력하는 경우이고, (830)에서 선택된 복수의 오브젝트중 적어도 하나를 포함하는 이미지가 검색되어 독립된 페이지에 디스플레이 되는 경우이다.
상술한 도 7 내지 도 9를 토대로, 선택된 복수의 오브젝트가 대등 관계임을 나타내는 제 2 입력의 입력 패턴에 따라 선택된 복수의 오브젝트를 모두 포함하는 이미지(또는 정보)를 검색하거나 선택된 복수의 오브젝트중 적어도 하나를 포함하는 이미지(또는 정보)를 검색할 수 있음을 알 수 있다.
도 10은 본 발명이 바람직한 다른 실시 예에 따른 이미지 기반의 정보 검색 방법의 동작 흐름도이다. 도 10은 도 2의 동작 흐름도에 제 1 입력이 인식된 후, 인식된 결과 정보를 터치 스크린(103)에 디스플레이 하는 기능과 제 2 입력이 인식된 후, 인식된 결과 정보를 터치 스크린(103)에 디스플레이 하는 기능이 더 추가된 경우이다.
즉, 단계 S1001에서, 프로세서(110)는 도 2의 단계 S201에서와 같이 터치 스크린(103)에 디스플레이 되고 있는 이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식한다.
이에 따라 프로세서(110)는 제 1 입력을 인식한 결과 정보를 터치 스크린(103)에 디스플레이 한다. 상술한 결과 정보는 제 1 입력에 따라 오브젝트에 대한 윤곽선을 검출하고, 검출된 윤관선을 포함하는 영역을 닫힌 영역의 형태로 출력될 수 있다.
도 11 및 도 12는 제 1 입력이 인식된 결과 정보가 터치 스크린(103)에 디스플레이 되는 화면 예이다. 즉, 도 11은 복수의 오브젝트를 롱 터치함에 따라 선택된 오브젝트에 대한 인식된 결과 정보가 사각형의 닫힌 영역으로 디스플레이 되는 경우이다. 사각형의 닫힌 영역은 제 1 입력이 인식된 후, 상술한 윤곽선 검출 방식에 따라 생성되어 도 11의 (1120)과 같이 터치 스크린(103)상에 디스플레이 될 수 있다.
도 12는 도 11에서와 같이 선택된 오브젝트의 윤곽선 검출에 의해 사각형의 닫힌 영역이 생성되면, 생성된 닫힌 영역을 자르고, 잘린 영역을 멀티 스크린형태로 디스플레이 하는 경우이다. 도 12는 잘린 영역의 디스플레이 사이즈가 원래의 디스플레이 사이즈를 유지하고 있다. 그러나 디스플레이 사이즈를 확대하여 두 개의 잘린 영역이 전 화면을 채우거나 디스플레이 사이즈를 축소하여 화면(1210)의 일부 영역에 디스플레이 될 수 있다.
단계 S1003에서 프로세서(110)는 선택된 복수의 오브젝트의 검색 관게를 나타내는 제 2 입력을 도 2의 단계 S202에서와 같이 인식한다. 이에 따라 프로세서(110)는 단계 S1004에서 제 2 입력에 대한 인식 결과를 터치 스크린(103)에 디스플레이 한다.
제 2 입력에 대한 인식 결과는 도 4 내지 도 6에서 설명을 돕기 위해 도시된 터치 지점이 이동되는 방향을 나타내는 화살표가 터치 스크린(103)상에 디스플레이 되거나 도 13에 도시된 바와 같이 잘린 이미지 기반의 멀티 스크린 형태로 디스플레이 될 수 있다.
도 13을 참조하면, 터치 스크린(103)상에 디스플레이 되고 있는 이미지에서 각각 독립적으로 오브젝트를 선택한다(1310, 1320). 화면(1310, 1320)의 경우에는 선택된 오브젝트에 대한 인식 결과를 선택과 동시에 선택된 패턴(원형)을 터치 스크린(103)상에 디스플레이 한 경우이다. 그러나, 선택된 오브젝트에 대한 인식 결과를 터치 스크린(103)상에 디스플레이 되지 않을 수 있다.
도 13의 화면(1330)에서 선택된 복수의 오브젝트에 대한 검색 관계를 나타내는 제 2 입력이 입력되면, 프로세서(110)는 (1340)에 도시된 바와 같이 선택된 복수의 오브젝트를 자른 이미지를 기반으로 멀티 스크린을 디스플레이할 수 있으나 이로 제한되지 않는다.
단계 S1005에서 프로세서(110)는 도 2의 단계 S203에서와 같이 제 1 입력과 제 2 입력을 이용하여 정보를 검색하고, 단계 S1006에서 프로세서(110)는 도 2의 단계 S204에서와 같이 검색된 정보를 디바이스(100)의 터치 스크린(103)을 이용하여 출력한다.
도 10은 제 1 입력에 대한 인식된 결과만을 터치 스크린(103)에 디스플레이 하도록 변형되거나 제 2 입력에 대한 인식된 결과만을 터치 스크린(103)에 디스플레이 하도록 변형될 수 있다.
도 14는 본 발명의 바람직한 또 다른 실시 예에 따른 이미지 기반의 정보 검색 방법의 동작 흐름도이다. 도 14는 도 2의 동작 흐름도에서 제 1 입력과 제 2 입력에 따라 결정된 적어도 하나의 검색 항목을 디스플레이하고 디스플레이 되는 검색 항목중 선택된 검색 항목에 기초하여 정보를 검색하는 기능이 추가된 경우이다. 따라서, 도 14의 단계 S1401, S1402, S1404, S1405는 도 2의 단계 S201 내지 단계 S204와 동일하게 수행되므로 이하 설명을 생략한다.
단계 S1403에서 프로세서(110)는 제 1 입력과 제 2 입력에 따라 결정된 검색 항목을 디스플레이 한다. 예를 들어, 제 1 입력 및 제 2 입력이 도 6의 화면(610)과 같이 입력된 경우에, 프로세서(110)는 상술한 바와 같은 검색식으로 “동일한 가방을 갖고 있는 임의의 사람”에 대한 정보를 검색할 수 있으나, 상술한 검색식을 기반으로 세분화된 검색 항목을 결정하고, 디스플레이 할 수 있다. 예를 들어, 프로세서(110)는 검색식이 상술한 바와 같을 때, 지역 정보를 검색 항목으로 결정할 수 있다. 즉, “1, 서울, 2. 부산, 3. 광주, 4. 한국, 5. 미국 등을 검색항목으로 결정하고, 이를 디스플레이 할 수 있다.
도 15는 도 14의 단계 S1403를 설명하기 위한 화면 예이다. 즉, 복수의 오브젝트를 선택하는 제 1 입력이 화면(1510)과 같이 입력되고, 선택된 복수의 오브젝트의 검색 관계가 화면(1520)에 도시된 바와 같이 대응 관계를 나타내도록 입력(예를 들어, 한 지점으로 모이는 사용자의 제스처)된 경우에, 제 1 입력과 제 2 입력에 따라 검색 항목 정보가 “Function 1, Function 2, Function 3, Function 4, Function 5, Function 6, Function 7, Function 7"로 결정되고, 화면(1530)에 도시된 바와 같이 디스플레이 된다.
도 15에 디스플레이 되는 상술한 검색 항목 정보는, 예를 들어, 선택된 두 사람이 각각 사용했던 서비스 정보 검색, 두 사람이 포함된 사진 및 동영상 검색, 두 사람에게 공통적으로 추천되는 사진 및 동영상 검색, 두 사람이 각각 최근에 사용했던 디바이스 검색, 두 사람이 각각 가장 많이 사용했던 디바이스 검색, 두 사람이 모두 가장 많이 사용했던 디바이스 검색, 두 사람에게 공통적으로 추천하는 디바이스 검색 등을 들 수 있으나 제공 가능한 검색 항목 정보는 이로 제한되지 않는다.
도 15의 화면(1530)에 도시된 바와 같이 검색 항목 정보가 디스플레이 될 때, 하나의 검색 항목 정보가 선택되면, 프로세서(110)는 선택된 검색 항목에 기초하여 정보를 검색한다.
도 15의 화면(1530)은 8개의 검색 항목 정보가 디스플레이 되는 화면 예이다. 그러나, 도 16에 도시된 바와 같이 제 1 입력과 제 2 입력에 따라 제공 가능한 검색 항목은 도 16의 화면(1620) 또는 화면(1630)과 같이 4개의 검색 항목 정보가 디스플레이 될 수 있으나 이로 제한되지 않는다. 제공되는 검색 항목 정보의 수는 사전에 설정될 수 있다.
도 17은 본 발명의 바람직한 실시 예에 따른 디바이스(1700)의 기능 블록도이다. 도 17에 도시된 디바이스(1700)는 도 1a에 도시된 디바이스(100)와 다른 기능 블록도를 갖는다.
도 17를 참조하면, 디바이스(1700)는 정보 입출력부(1710), 통신부(1720), 프로세서(1730), 및 저장부(1740)를 포함하나 이로 제한되지 않는다. 즉, 디바이스(1700)는 도 1a에 도시된 디바이스(100)와 같이 도 17에 도시된 구성 요소보다 더 많은 구성 요소를 포함하거나 도 17에 도시된 구성 요소보다 더 적은 구성 요소를 포함할 수 있다.
도 17에 도시된 구성 요소보다 더 적은 구성 요소를 포함하는 경우는 통신부(1720)를 포함하지 않거나 저장부(1740)를 포함하지 않는 경우를 들 수 있다. 통신부(1720)를 포함하지 않는 경우에, 이미지 기반의 정보 검색 방법에 따른 정보 검색을 저장부(1740)에 저장된 정보를 대상으로 하고, 저장부(1740)에 저장되는 정보는 정보 입출력부(1710)로부터 입력된 정보인 경우이다. 저장부(1740)를 포함하지 않는 경우에, 디바이스(1700)는 통신부(1720)를 통해 상술한 외부 디바이스로부터 정보를 검색한다.
정보 입출력부(1710)는 사용자의 입력을 수신하고, 디바이스(1700)의 출력 정보를 출력한다. 예를 들어, 사용자의 입력은 상술한 바와 같이 터치 기반 입력, 물리적인 버튼 제어 기반의 입력, 사용자의 제스처 기반의 입력, 사용자의 음성 인식 기반의 입력, 얼굴 인식 기반의 입력, 및 원격 제어기(미 도시됨) 기반의 입력을 포함할 수 있으나 이로 제한되지 않는다.
본 발명의 바람직한 실시 예에 따라 정보 입출력부(1710)는 제 1 입력 및 제 2 입력을 수신하고, 제 1 입력과 제 2 입력의 수신을 인식한 결과 정보를 각각 출력할 수 있고, 제 1 입력과 제 2 입력에 따라 검색된 정보를 출력할 수 있다.
정보 입출력부(1710)는 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠, 터치 패드, 터치 스크린, 마이크로 폰, 스피커, 센서들, 커넥터, 표시등, 키패드, 디스플레이 기기, 스크롤 휠, 및 무선 통신에 기초한 원격 신호 수신부 등을 포함할 수 있으나 이로 제한되지 않는다.
통신부(1720)는 네트워크를 통해 외부 디바이스와 통신할 수 있다. 통신부(1720)는 외부 디바이스에 저장된 정보를 검색할 수 있으나 외부 디바이스와 네트워크를 통해 메신저 서비스(messenger service), 메시지 서비스(message service), 이메일 서비스(e-mail service), 영상 통화 서비스, 및 음성 통화 서비스 등의 통신 서비스를 수행할 수 있으나 이로 제한되지 않는다. 통신부(1720)는 도 1a의 무선 통신부(108) 및 유선 통신부(109)중 적어도 하나를 포함하도록 구성될 수 있다.
프로세서(1730)는 저장부(1740)에 저장된 본 발명의 바람직한 실시 예에 따른 이미지 기반의 정보 검색 방법을 수행하기 위한 적어도 하나의 프로그램을 실행시킨다. 즉, 프로세서(1730)는 상기 프로그램을 실행시켜 정보 입출력부(1710)에 디스플레이되고 있는 이미지 기반의 제 1 입력과 제 2 입력의 수신이 인식되면, 인식된 결과에 따라 저장부(1740)에서 정보를 검색하고, 검색된 결과를 정보 입출력부(1710)로 출력한다.
저장부(1740)는 상술한 적어도 하나의 프로그램 및 디바이스(100)와 통신을 위한 적어도 하나의 통신 애플리케이션을 저장하나 이로 제한되지 않는다. 저장부(1740)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD, XD 메모리 등), 롬(ROM, Read-Only Memory), EEPROM(Electronically Erasable Programmable Read-only Memory), PROM(Programmable Read-only Memory) 자기 메모리, 광 디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
프로세서(1730)는 상술한 도 1a의 프로세서(110)와 같이 상술한 도 2, 도 10, 및 도 14의 동작 흐름도에 기초한 동작을 수행할 수 있다.
도 18은 본 발명의 바람직한 실시 예에 따른 디바이스(100, 1700)를 포함하는 네트워크 구성도이다. 도 18은 디바이스(100, 1700), 복수의 외부 디바이스(1820, 1830) 및 네트워크(1810)를 포함한다.
복수의 외부 디바이스(1820, 1830)는 서버와 디바이스(100, 1700)의 주변 디바이스중 적어도 하나를 포함할 수 있다. 도 18에서의 외부 디바이스(1820, 1830)는 상술한 실시 예들에서 언급된 외부 디바이스를 포함한다. 따라서, 디바이스(100, 1700)에서 정보를 검색할 때, 외부 디바이스(1820, 1830)에 저장된 정보를 검색할 수 있다. 네트워크(1810)는 도 1a에서의 무선 통신부(108) 및 유선 통신부(109)중 적어도 이용하여 데이터를 송수신할 수 있는 네트워크로 구성될 수 있다.
상술한 이미지 기반의 정보 검색 방법에서 언급된 복수의 오브젝트는 멀티 오브젝트로 언급될 수 있다. 또한, 상술한 이미지 기반의 정보 검색 방법은 이미지 기반의 서비스 제공 방법에 적용될 수 있다.
도 19는 이미지 기반의 서비스 제공 방법에 대한 동작 흐름도이다. 도 19의 동작 흐름도는 도 1a의 프로세서(110) 또는 도 17의 프로세서(1730)에서 수행될 수 있다. 그러나, 설명의 편의를 위하여 이하 설명은 프로세서(110)에서 수행되는 것으로 설명한다.
단계 S1901에서, 프로세서(110)는 터치 스크린(103)에 디스플레이 되고 있는 이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식한다. 터치 스크린(103)에 디스플레이 되는 이미지는 디바이스(100)에서 재생되는 정지 이미지 또는 사진 또는 동영상중 일시 정지된 이미지일 수 있고, 카메라(104)에서 획득된 입력 영상일 수 있다. 이러한 터치 스크린(103)에 디스플레이 되고 있는 이미지에 대한 정의는 상술한 실시 예들에도 적용될 수 있다.
단계 S1902에서, 프로세서(110)는 선택된 복수의 오브젝트의 관계를 나타내는 제 2 입력을 인식한다. 선택된 복수의 오브젝트의 관계는 상술한 실시 예들에서 언급된 대응 관계와 종속 관계를 포함한다.
단계 S1903에서, 프로세서(110)는 제 1 입력과 제 2 입력을 이용하여 제공 가능한 적어도 하나의 서비스 항목을 결정하고, 터치 스크린(103)상에 디스플레이 한다. 서비스 항목은 상술한 도 16의 화면들(1610, 1620, 1630)과 같이 디스플레이 될 수 있다.
그러나 결정된 서비스 항목은 도 16에 도시된 화면들(1610, 1620, 1630)과 같이 디스플레이 되지 않고, 하나의 서비스 항목을 포함하는 클라우드들이 떠다니는 GUI 정보가 제공될 수 있다. 서비스 항목은 예를 들어, 상술한 도 15에서 언급된 검색 항목과 유사한 서비스 항목을 포함할 수 있으나 디바이스(100) 또는 외부 디바이스(1820, 1830)에서 제공 가능한 애플리케이션과 선택된 오브젝트간의 관계에 의해 가장 많이 사용한 애플리케이션 정보, 추천 애플리케이션 정보 등을 더 포함할 수 있으나 서비스 항목은 이로 제한되지 않는다.
즉, 서비스 항목은 복수의 오브젝트의 관계가 대등 관계인 경우에, 선택된 복수의 오브젝트 각각에 제공 가능한 서비스 항목을 포함하고, 복수의 오브젝트의 관계가 종속 관계인 경우에, 선택된 복수의 오브젝트의 주종관계에 따라 제공 가능한 서비스 항목을 포함할 수 있으나 이로 제한되지 않는다.
단계 S1904에서, 프로세서(110)는 터치 스크린(103)에 디스플레이 되는 서비스 항목에서 선택된 서비스 항목을 실행한다.
본 발명의 실시 예들에 따른 이미지 기반의 정보 검색 방법 및 서비스 제공 방법을 컴퓨터로 구현하는 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로써 기록되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로써 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (36)

  1. 디바이스에 디스플레이 되고 있는 이미지 기반의 정보 검색 방법에 있어서,
    이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식하는 단계;
    선택된 상기 복수의 오브젝트의 검색 관계를 나타내는 제 2 입력을 인식하는 단계;
    상기 제 1 입력과 상기 제 2 입력에 기초하여 정보를 검색하는 단계; 및
    검색된 정보를 상기 디바이스를 통해 출력하는 단계를 포함하고,
    상기 복수의 오브젝트의 검색 관계는,
    상기 정보를 검색할 때, 상기 복수의 오브젝트가 동일 레벨임을 나타내는 대등 관계 및
    상기 정보를 검색할 때, 상기 복수의 오브젝트가 종속 레벨임을 나타내는 종속 관계중 하나를 포함하는 이미지 기반의 정보 검색 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 복수의 오브젝트의 검색 관계가 상기 대등 관계임을 나타내는 상기 제 2 입력은,
    상기 복수의 오브젝트를 모으는 것을 의미하는 터치 기반 제스처,
    상기 복수의 오브젝트를 상기 복수의 오브젝트의 디스플레이 위치이외의 위치로 이동시키는 것을 의미하는 터치 기반 제스처중 하나를 포함하는 이미지 기반의 정보 검색 방법.
  4. 제 1 항에 있어서, 상기 복수의 오브젝트의 검색 관계가 상기 종속 관계임을 나타내는 상기 제 2 입력은,
    상기 복수의 오브젝트중 하나의 오브젝트의 디스플레이 위치로 나머지 오브젝트를 이동시키는 것을 의미하는 터치 기반 제스처, 및
    상기 복수의 오브젝트중 하나의 오브젝트의 디스플레이 위치로 적어도 하나의 오브젝트를 이동시키는 것을 의미하는 터치 기반 제스처를 포함하는 이미지 기반의 정보 검색 방법.
  5. 삭제
  6. 제 1 항에 있어서, 상기 정보를 검색하는 단계는,
    상기 복수의 오브젝트의 검색 관계가 대등 관계인 경우에, 상기 복수의 오브젝트를 모두 포함하는 정보를 검색하는 단계; 및
    상기 복수의 오브젝트의 검색 관계가 종속 관계인 경우에, 상기 복수의 오브젝트의 주종관계에 따라 정보를 검색하는 단계를 포함하는 이미지 기반의 정보 검색 방법.
  7. 제 1 항에 있어서, 상기 정보를 검색하는 단계는,
    상기 복수의 오브젝트의 검색 관계가 대등 관계인 경우에, 상기 복수의 오브젝트중 적어도 하나의 오브젝트를 포함하는 정보를 검색하는 단계; 및
    상기 복수의 오브젝트의 검색 관계가 종속 관계인 경우에, 상기 복수의 오브젝트의 주종관계에 따라 정보를 검색하는 단계를 포함하는 이미지 기반의 정보 검색 방법.
  8. 제 1 항에 있어서, 상기 정보를 검색하는 단계는,
    상기 복수의 오브젝트의 검색 관계가 대등 관계인 경우에,
    상기 복수의 오브젝트중 적어도 하나의 오브젝트를 포함하는 정보 검색 항목과 상기 복수의 오브젝트를 모두 포함하는 정보 검색 항목을 선택할 수 있는 정보를 디스플레이 하는 단계;
    디스플레이 되고 있는 상기 정보에 기초하여 선택된 정보 검색 항목에 따라 정보를 검색하는 단계; 및
    상기 복수의 오브젝트의 검색 관계가 종속 관계인 경우에,
    상기 복수의 오브젝트의 주종관계에 따라 정보를 검색하는 단계를 포함하는 이미지 기반의 정보 검색 방법.
  9. 삭제
  10. 제 1 항에 있어서, 상기 정보를 검색하는 단계는,
    상기 제 1 입력 및 상기 제 2 입력에 따라 결정된 적어도 하나의 검색 항목을 디스플레이 하는 단계;
    디스플레이 되고 있는 상기 검색 항목중 선택된 검색 항목에 기초하여 상기 정보를 검색하는 단계를 포함하는 이미지 기반의 정보 검색 방법.
  11. 제 1 항에 있어서, 상기 이미지 기반의 정보 검색 방법은,
    상기 제 1 입력을 인식한 결과 정보를 상기 디바이스상에 디스플레이 하는 단계를 더 포함하는 이미지 기반의 정보 검색 방법.
  12. 제 11 항에 있어서, 상기 제 1 입력을 인식한 결과 정보는,
    선택된 오브젝트의 윤곽선에 기초한 닫힌 영역을 나타내는 정보,
    선택된 오브젝트의 윤곽선에 기초한 잘린 이미지 기반의 정보, 및
    잘린 이미지 기반의 멀티 스크린중 하나를 포함하는 이미지 기반의 정보 검색 방법.
  13. 삭제
  14. 제 1 항에 있어서, 상기 정보를 검색하는 단계는
    상기 디바이스 및 상기 디바이스에 연결된 외부 기기중 적어도 하나에 저장된 정보를 대상으로 수행되는 이미지 기반의 정보 검색 방법.
  15. 제 1 항에 있어서, 상기 검색된 정보는 이미지 기반 정보 및 텍스트기반 정보중 적어도 하나를 포함하는 이미지 기반의 정보 검색 방법.
  16. 적어도 하나의 정보 및 적어도 하나의 프로그램을 저장하는 저장부;
    이미지를 디스플레이하고,
    상기 디스플레이 되고 있는 이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력 및
    선택된 상기 복수의 오브젝트의 검색 관계를 나타내는 제 2 입력을 수신하고,
    상기 제 1 입력과 상기 제 2 입력에 따라 검색된 정보를 디스플레이 하는 터치 스크린;
    상기 터치 스크린에 기초한 사용자 인터페이스를 제공하고,
    상기 터치 스크린을 통해 수신된 상기 제 1 입력과 상기 제 2 입력을 각각 인식하고,
    인식 결과에 따라 상기 저장부로부터 정보를 검색하고,
    검색된 정보를 상기 터치 스크린을 통해 출력하는 프로세서를 포함하고,
    상기 복수의 오브젝트의 검색 관계는,
    상기 정보를 검색할 때, 상기 복수의 오브젝트가 동일 레벨임을 나타내는 대등 관계 및
    상기 정보를 검색할 때, 상기 복수의 오브젝트가 종속 레벨임을 나타내는 종속 관계중 하나를 포함하는 디바이스.
  17. 삭제
  18. 제 16 항에 있어서, 상기 복수의 오브젝트의 검색 관계가 상기 대등 관계임을 나타내는 상기 제 2 입력은,
    상기 선택된 복수의 오브젝트를 모으는 것을 의미하는 터치 기반 제스처,
    상기 선택된 복수의 오브젝트를 상기 선택된 복수의 오브젝트의 디스플레이 위치이외의 위치로 이동시키는 것을 의미하는 터치 기반 제스처중 하나를 포함하는 디바이스.
  19. 제 16 항에 있어서, 상기 복수의 오브젝트의 검색 관계가 상기 종속 관계임을 나타내는 상기 제 2 입력은,
    상기 복수의 오브젝트중 하나의 오브젝트의 디스플레이 위치로 나머지 오브젝트를 이동시키는 것을 의미하는 터치 기반 제스처, 및
    상기 복수의 오브젝트중 하나의 오브젝트의 디스플레이 위치로 적어도 하나의 오브젝트를 이동시키는 것을 의미하는 터치 기반 제스처를 포함하는 디바이스.
  20. 삭제
  21. 제 16 항에 있어서, 상기 프로세서는,
    상기 복수의 오브젝트의 검색 관계가 대등 관계인 경우에, 상기 복수의 오브젝트를 모두 포함하는 정보를 상기 저장부로부터 검색하고,
    상기 복수의 오브젝트의 검색 관계가 종속 관계인 경우에, 상기 복수의 오브젝트의 주종관계에 따라 정보를 상기 저장부로부터 검색하는 것을 특징으로 하는 디바이스.
  22. 제 16 항에 있어서, 상기 프로세서는,
    상기 복수의 오브젝트의 검색 관계가 대등 관계인 경우에, 상기 복수의 오브젝트중 적어도 하나의 오브젝트를 포함하는 정보를 검색하고,
    상기 복수의 오브젝트의 검색 관계가 종속 관계인 경우에, 상기 복수의 오브젝트의 주종관계에 따라 정보를 검색하는 것을 특징으로 하는 디바이스.
  23. 제 16 항에 있어서, 상기 프로세서는,
    상기 복수의 오브젝트의 검색 관계가 대등 관계인 경우에,
    상기 복수의 오브젝트중 적어도 하나의 오브젝트를 포함하는 정보 검색 항목과 상기 복수의 오브젝트를 모두 포함하는 정보 검색 항목을 선택할 수 있는 정보를 상기 터치 스크린에 디스플레이 하고,
    디스플레이 되고 있는 상기 정보에 기초하여 상기 터치 스크린을 통해 선택된 정보 검색 항목에 따라 정보를 검색하고,
    상기 복수의 오브젝트의 검색 관계가 종속 관계인 경우에,
    상기 복수의 오브젝트의 주종관계에 따라 정보를 검색하는 것을 특징으로 하는 디바이스.
  24. 삭제
  25. 제 16 항에 있어서, 상기 프로세서는,
    상기 제 1 입력 및 상기 제 2 입력에 따라 결정된 적어도 하나의 검색 항목을 상기 터치 스크린상에 디스플레이하고,
    디스플레이 되고 있는 상기 검색 항목중 상기 터치 스크린을 통해 선택된 검색 항목에 기초하여 상기 정보를 검색하는 것을 특징으로 하는 디바이스.
  26. 제 16 항에 있어서, 상기 프로세서는,
    상기 제 1 입력을 인식한 결과 정보를 상기 터치 스크린상에 디스플레이 하는 것을 특징으로 하는 디바이스.
  27. 제 16 항에 있어서, 상기 제 1 입력을 인식한 결과 정보는,
    선택된 오브젝트의 윤곽선에 기초한 닫힌 영역을 나타내는 정보,
    선택된 오브젝트의 윤곽선에 기초한 잘린 이미지 기반의 정보, 및
    잘린 이미지 기반의 멀티 스크린중 하나를 포함하는 디바이스.
  28. 삭제
  29. 제 16 항에 있어서, 상기 프로세서는,
    상기 저장부 및 상기 디바이스에 연결된 외부 기기중 적어도 하나에 저장된 정보를 대상으로 상기 정보를 검색하는 것을 특징으로 하는 디바이스.
  30. 제 16 항에 있어서, 상기 검색된 정보는 이미지 기반 정보 및 텍스트기반 정보중 적어도 하나를 포함하는 디바이스.
  31. 삭제
  32. 디바이스에 디스플레이 되고 있는 이미지 기반의 정보 검색 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    상기 이미지 기반의 정보 검색 방법은,
    이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식하는 단계;
    선택된 상기 복수의 오브젝트의 검색 관계를 나타내는 제 2 입력을 인식하는 단계;
    상기 제 1 입력과 상기 제 2 입력에 기초하여 정보를 검색하는 단계; 및
    검색된 정보를 상기 디바이스를 통해 출력하는 단계를 포함하고,
    상기 복수의 오브젝트의 검색 관계는,
    상기 정보를 검색할 때, 상기 복수의 오브젝트가 동일 레벨임을 나타내는 대등 관계 및
    상기 정보를 검색할 때, 상기 복수의 오브젝트가 종속 레벨임을 나타내는 종속 관계 중 하나를 포함하는 기록 매체.
  33. 디스플레이 되고 있는 이미지 기반의 서비스 제공 방법에 있어서,
    이미지에 포함된 복수의 오브젝트에 대한 선택을 나타내는 제 1 입력을 인식하는 단계;
    선택된 상기 복수의 오브젝트간의 관계를 나타내는 제 2 입력을 인식하는 단계;
    상기 제 1 입력과 상기 제 2 입력에 기초하여 제공 가능한 적어도 하나의 서비스 항목을 디스플레이 하는 단계; 및
    디스플레이 되고 있는 상기 서비스 항목에 기초하여 선택된 서비스 항목에 따른 서비스를 실행하는 단계를 포함하고,
    상기 복수의 오브젝트의 관계는,
    상기 복수의 오브젝트가 동일 레벨임을 나타내는 대등 관계 및
    상기 복수의 오브젝트가 종속 레벨임을 나타내는 종속 관계중 하나를 포함하는 서비스 제공 방법.
  34. 삭제
  35. 제 33 항에 있어서, 상기 적어도 하나의 서비스 항목을 디스플레이 하는 단계는,
    상기 복수의 오브젝트의 관계가 대등 관계인 경우에, 디스플레이 되고 있는 상기 서비스 항목은 선택된 상기 복수의 오브젝트 각각에 제공 가능한 서비스 항목을 포함하고,
    상기 복수의 오브젝트의 관계가 종속 관계인 경우에, 디스플레이 되고 있는 상기 서비스 항목은 선택된 상기 복수의 오브젝트의 주종관계에 따라 제공 가능한 서비스 항목을 포함하는 서비스 제공 방법.

  36. 삭제
KR1020120146408A 2012-12-14 2012-12-14 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체 KR102090269B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020120146408A KR102090269B1 (ko) 2012-12-14 2012-12-14 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
JP2013245702A JP6391234B2 (ja) 2012-12-14 2013-11-28 情報検索方法、そのような機能を有するデバイス及び記録媒体
PCT/KR2013/011469 WO2014092451A1 (en) 2012-12-14 2013-12-11 Information search method and device and computer readable recording medium thereof
RU2015128285A RU2654145C2 (ru) 2012-12-14 2013-12-11 Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого
AU2013360585A AU2013360585B2 (en) 2012-12-14 2013-12-11 Information search method and device and computer readable recording medium thereof
US14/105,277 US10614120B2 (en) 2012-12-14 2013-12-13 Information search method and device and computer readable recording medium thereof
EP13197217.6A EP2743846A3 (en) 2012-12-14 2013-12-13 Information search method and device and computer readable recording medium thereof
EP20186046.7A EP3745280A1 (en) 2012-12-14 2013-12-13 Information search method and device and computer readable recording medium thereof
CN201310687717.3A CN103870535B (zh) 2012-12-14 2013-12-16 信息搜索方法和装置
US16/802,979 US11314804B2 (en) 2012-12-14 2020-02-27 Information search method and device and computer readable recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146408A KR102090269B1 (ko) 2012-12-14 2012-12-14 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20140077510A KR20140077510A (ko) 2014-06-24
KR102090269B1 true KR102090269B1 (ko) 2020-03-17

Family

ID=49765377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146408A KR102090269B1 (ko) 2012-12-14 2012-12-14 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체

Country Status (8)

Country Link
US (2) US10614120B2 (ko)
EP (2) EP3745280A1 (ko)
JP (1) JP6391234B2 (ko)
KR (1) KR102090269B1 (ko)
CN (1) CN103870535B (ko)
AU (1) AU2013360585B2 (ko)
RU (1) RU2654145C2 (ko)
WO (1) WO2014092451A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230013664A (ko) * 2021-07-15 2023-01-27 중앙대학교 산학협력단 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US20130251201A1 (en) * 2012-03-22 2013-09-26 Samsung Electronics Co., Ltd. System and method for recommending buddies in social network
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
JP6232706B2 (ja) * 2013-02-05 2017-11-22 コニカミノルタ株式会社 情報表示装置、画像形成装置、情報表示装置の制御方法、および情報表示装置の制御プログラム
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US20150302036A1 (en) * 2014-04-18 2015-10-22 Inplore Inc. Method, system and computer program for information retrieval using content algebra
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102373460B1 (ko) * 2014-09-15 2022-03-11 삼성전자주식회사 디바이스에 객체를 표시하는 방법 및 그 디바이스
US9971442B2 (en) * 2014-10-29 2018-05-15 Microchip Technology Germany Gmbh Human interface device and method
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
JP6142897B2 (ja) * 2015-05-15 2017-06-07 カシオ計算機株式会社 画像表示装置、表示制御方法及びプログラム
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10097973B2 (en) 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
CN105302434B (zh) * 2015-06-16 2019-03-26 深圳市腾讯计算机系统有限公司 游戏场景中锁定目标的方法和装置
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
EP3112986B1 (en) * 2015-07-03 2020-02-26 Nokia Technologies Oy Content browsing
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
KR102447907B1 (ko) * 2015-11-05 2022-09-28 삼성전자주식회사 추천 객체를 제공하기 위한 전자 장치 및 방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
CN107341185B (zh) 2017-06-05 2020-12-04 北京小米移动软件有限公司 信息显示的方法及装置
CN107562332B (zh) * 2017-08-31 2020-08-11 苏州博瑞尔特信息科技有限公司 一种信息搜索方法、移动终端及计算机可读存储介质
KR102382478B1 (ko) * 2017-10-13 2022-04-05 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102599947B1 (ko) * 2017-10-27 2023-11-09 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
KR102551550B1 (ko) * 2018-04-20 2023-07-06 삼성전자주식회사 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
CN109684438B (zh) * 2018-12-26 2020-11-13 成都科来软件有限公司 一种具有父子层级结构检索数据的方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
KR102608127B1 (ko) * 2019-04-08 2023-12-01 삼성전자주식회사 이미지 프로세싱을 수행하는 전자 장치 및 방법
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11138257B2 (en) * 2020-01-16 2021-10-05 Adobe Inc. Object search in digital images
WO2021152837A1 (ja) * 2020-01-31 2021-08-05 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN113240718A (zh) * 2021-07-13 2021-08-10 萱闱(北京)生物科技有限公司 多目标识别及跟踪方法、系统、介质和计算设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164949A (ja) 2010-02-10 2011-08-25 Canon Inc 情報処理装置、検索条件設定方法及びプログラム並びに記録媒体

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1381800A (zh) * 2001-01-12 2002-11-27 有限会社筑城软件研究所 联系信息管理系统、联系信息管理用程序和记录媒体
US7028228B1 (en) * 2001-03-28 2006-04-11 The Shoregroup, Inc. Method and apparatus for identifying problems in computer networks
US20060200772A1 (en) * 2003-12-08 2006-09-07 Sathiyamoorthy Dhanapal Procedural computation engine for providing complex calculated data results to an object-oriented server system accessible to service clients and agents over a data packet network
JP4413633B2 (ja) * 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
JP2007034847A (ja) * 2005-07-28 2007-02-08 Canon Inc 検索装置及び検索方法
US20070208730A1 (en) * 2006-03-02 2007-09-06 Microsoft Corporation Mining web search user behavior to enhance web search relevance
US20080155409A1 (en) * 2006-06-19 2008-06-26 Andy Santana Internet search engine
US20080184147A1 (en) * 2007-01-31 2008-07-31 International Business Machines Corporation Method and system to look ahead within a complex taxonomy of objects
US8136028B1 (en) * 2007-02-02 2012-03-13 Loeb Enterprises Llc System and method for providing viewers of a digital image information about identifiable objects and scenes within the image
US8228507B2 (en) * 2007-08-18 2012-07-24 Japan Science And Technology Agency Quantum entanglement generating system and method, and quantum entanglement generating and detecting system and method
JP5309570B2 (ja) * 2008-01-11 2013-10-09 株式会社リコー 情報検索装置、情報検索方法、制御プログラム
US8745514B1 (en) * 2008-04-11 2014-06-03 Perceptive Pixel, Inc. Pressure-sensitive layering of displayed objects
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8341593B2 (en) * 2008-10-23 2012-12-25 Sap Ag Integrated development framework for composite applications
US8413188B2 (en) * 2009-02-20 2013-04-02 At&T Intellectual Property I, Lp System and method for processing image objects in video data
US8583673B2 (en) * 2009-08-17 2013-11-12 Microsoft Corporation Progressive filtering of search results
KR101660271B1 (ko) 2009-08-21 2016-10-11 삼성전자주식회사 메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법
US20110196864A1 (en) * 2009-09-03 2011-08-11 Steve Mason Apparatuses, methods and systems for a visual query builder
KR101411593B1 (ko) * 2009-09-14 2014-06-25 삼성전자주식회사 Ｕｉ 제공방법 및 이를 적용한 디스플레이 장치
EP3260969B1 (en) * 2009-09-22 2021-03-03 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US9310907B2 (en) * 2009-09-25 2016-04-12 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8487888B2 (en) 2009-12-04 2013-07-16 Microsoft Corporation Multi-modal interaction on multi-touch display
US8315673B2 (en) * 2010-01-12 2012-11-20 Qualcomm Incorporated Using a display to select a target object for communication
JP2011219197A (ja) * 2010-04-06 2011-11-04 Hitachi Ltd センサ情報管理システム、センサ情報管理方法、およびセンサ情報管理プログラム
US20110282855A1 (en) * 2010-05-12 2011-11-17 International Business Machines Corporation Scoring relationships between objects in information retrieval
US9542091B2 (en) * 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
JP2012027846A (ja) 2010-07-27 2012-02-09 Sony Corp 情報処理装置、情報表示方法及びコンピュータプログラム
KR101640404B1 (ko) * 2010-09-20 2016-07-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101753031B1 (ko) * 2010-11-15 2017-06-30 엘지전자 주식회사 이동 단말기 및 이것의 메타데이터 설정 방법
US8515990B2 (en) * 2010-11-19 2013-08-20 Lg Electronics Inc. Mobile terminal and method of managing video using metadata therein
EP2648108A1 (en) * 2010-11-30 2013-10-09 Fujitsu Limited Analysis support device, analysis support method, and analysis support program
US8553981B2 (en) 2011-05-17 2013-10-08 Microsoft Corporation Gesture-based visual search
US8818049B2 (en) * 2011-05-18 2014-08-26 Google Inc. Retrieving contact information based on image recognition searches
US8719781B2 (en) * 2011-12-01 2014-05-06 Amer Agovic Universal and adaptive software development platform for data-driven applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164949A (ja) 2010-02-10 2011-08-25 Canon Inc 情報処理装置、検索条件設定方法及びプログラム並びに記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230013664A (ko) * 2021-07-15 2023-01-27 중앙대학교 산학협력단 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법
KR102582861B1 (ko) 2021-07-15 2023-09-27 중앙대학교 산학협력단 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법

Also Published As

Publication number Publication date
US10614120B2 (en) 2020-04-07
US20140172831A1 (en) 2014-06-19
US11314804B2 (en) 2022-04-26
US20200201901A1 (en) 2020-06-25
JP2014120159A (ja) 2014-06-30
CN103870535A (zh) 2014-06-18
AU2013360585B2 (en) 2019-05-02
WO2014092451A1 (en) 2014-06-19
CN103870535B (zh) 2019-10-15
JP6391234B2 (ja) 2018-09-19
EP2743846A2 (en) 2014-06-18
RU2654145C2 (ru) 2018-05-16
KR20140077510A (ko) 2014-06-24
RU2015128285A (ru) 2017-01-18
AU2013360585A1 (en) 2015-05-14
EP3745280A1 (en) 2020-12-02
EP2743846A3 (en) 2016-11-23

Similar Documents

Publication Publication Date Title
KR102090269B1 (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
US11907013B2 (en) Continuity of applications across devices
US11755273B2 (en) User interfaces for audio media control
US11496600B2 (en) Remote execution of machine-learned models
US11692840B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
US11048873B2 (en) Emoji and canned responses
US11740764B2 (en) Method and system for providing information based on context, and computer-readable recording medium thereof
US20240163365A1 (en) Displaying and updating a set of application views
US10254948B2 (en) Reduced-size user interfaces for dynamically updated application overviews
US20180329586A1 (en) Displaying a set of application views
US10386995B2 (en) User interface for combinable virtual desktops
US10331297B2 (en) Device, method, and graphical user interface for navigating a content hierarchy
US11822943B2 (en) User interfaces for presenting information about and facilitating application functions
KR20150098424A (ko) 전자 장치의 입력 처리 방법 및 장치
US10613732B2 (en) Selecting content items in a user interface display
KR102255087B1 (ko) 객체를 디스플레이하는 전자 장치 및 방법
US20170357388A1 (en) Device, Method, and Graphical User Interface for Managing Data Stored at a Storage Location

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant