CN103870535B - 信息搜索方法和装置 - Google Patents

信息搜索方法和装置 Download PDF

Info

Publication number
CN103870535B
CN103870535B CN201310687717.3A CN201310687717A CN103870535B CN 103870535 B CN103870535 B CN 103870535B CN 201310687717 A CN201310687717 A CN 201310687717A CN 103870535 B CN103870535 B CN 103870535B
Authority
CN
China
Prior art keywords
selection
information
input
multiple objects
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310687717.3A
Other languages
English (en)
Other versions
CN103870535A (zh
Inventor
陈善美
权志泫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103870535A publication Critical patent/CN103870535A/zh
Application granted granted Critical
Publication of CN103870535B publication Critical patent/CN103870535B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种信息搜索方法和装置。提供一种基于显示的图像的直观的信息搜索方法和装置及其计算机可读记录介质。所述基于装置上显示的图像的信息搜索方法包括：识别指示与图像中所包括的多个对象相关的选择的第一输入；识别指示选择的多个对象之间的搜索关系的第二输入；基于第一输入和第二输入搜索信息；以及通过所述装置输出找到的信息。

Description

信息搜索方法和装置
本申请要求于2012年12月14日提交到韩国知识产权局的第10-2012-0146408号韩国专利申请的优先权，其公开通过引用完整地包含于此。
技术领域
本发明总体构思涉及一种信息搜索方法和装置，更具体地讲，涉及一种基于显示的图像的信息搜索方法和装置。
背景技术
随着安装在装置中的存储器的容量和使用云服务器的数据存储量增加，已提出用于迅速而准确地提供用户想要的信息的信息搜索方法。
然而，通常基于用户查询执行传统的信息搜索方法。因此，需要更容易并且更直观的信息搜索方法。
发明内容
本发明总体构思提供一种基于显示的图像的直观的信息搜索方法和装置及其计算机可读记录介质。
本发明总体构思还提供一种基于根据显示的图像选择的多个对象之间的搜索关系的信息搜索方法和装置及其计算机可读记录介质。
本发明总体构思还提供一种基于根据显示的图像选择的多个对象之间的关系的服务提供方法和装置及其计算机可读记录介质。
在下面的描述中将会部分地阐述本发明总体构思的另外的特征和效用，并且这些特征和效用部分地将会通过描述而变得清楚，或者可通过实施本发明总体构思了解这些特征和效用。
可通过提供一种基于装置上显示的图像的信息搜索方法来实现本发明总体构思的前述和/或其它特征和效用，所述方法包括：识别指示与图像中所包括的多个对象相关的选择的第一输入；识别指示选择的多个对象之间的搜索关系的第二输入；并且基于第一输入和第二输入搜索信息；并且通过所述装置输出找到的信息。
选择的多个对象之间的搜索关系可包括以下关系之一：指示当搜索信息时所述多个对象之间的关系具有相同级别的相同层关系以及指示当搜索信息时所述多个对象之间的关系具有高低级别的高低层关系。
在第二输入可包括以下基于触摸的手势之一的情况下，选择的多个对象之间的搜索关系是相同层关系：指示聚集选择的多个对象的基于触摸的手势以及指示将选择的多个对象移动到除所述选择的多个对象的显示位置之外的至少一个位置的基于触摸的手势。
在第二输入可包括以下基于触摸的手势之一的情况下，选择的多个对象之间的搜索关系是高低层关系：指示将选择的多个对象之中排除一个对象的其余选择的对象移动到排除的一个对象的显示位置的基于触摸的手势以及指示将选择的多个对象中的至少一个对象移动到选择的多个对象之一的显示位置的基于触摸的手势。
基于触摸的手势可包括触摸并拖动。
在选择的多个对象之间的搜索关系是相同层关系的情况下，所述搜索信息的步骤可包括：搜索包括选择的多个对象中的全部的信息。在选择的多个对象之间的搜索关系是高低层关系的情况下，所述搜索信息的步骤可包括：根据选择的多个对象之间的高低层关系搜索信息。
在选择的多个对象之间的搜索关系是相同层关系的情况下，所述搜索信息的步骤可包括：搜索关于选择的多个对象中的至少一个对象的信息。在选择的多个对象之间的搜索关系是高低层关系的情况下，所述搜索信息的步骤可包括：根据选择的多个对象之间的高低层关系搜索信息。
在选择的多个对象之间的搜索关系是相同层关系的情况下，所述搜索信息的步骤可包括：显示用于选择包括选择的多个对象中的至少一个对象的信息搜索项和包括选择的多个对象中的全部的信息搜索项之一的信息，以及根据基于显示的信息选择的信息搜索项搜索信息。在选择的多个对象之间的搜索关系是高低层关系的情况下，所述搜索信息的步骤可包括：根据选择的多个对象之间的高低层关系搜索信息。
第一输入可包括以下基于触摸的手势之一：指示选择的多个对象或每个对象上的长触摸的基于触摸的手势以及指示选择的多个对象或每个对象上的封闭区域的基于触摸的手势。
所述搜索信息的步骤可包括：显示根据第一输入和第二输入确定的至少一个搜索项；以及基于从显示的至少一个搜索项选择的搜索项搜索信息。
所述方法可还包括：显示指示装置的与第一输入相关的识别的信息。
指示装置的与第一输入相关的识别的信息可包括以下信息之一：指示基于选择的多个对象或每个对象的轮廓的封闭区域的信息、基于基于选择的多个对象或每个对象的轮廓的剪出图像的信息和基于剪出图像的多屏幕。
所述方法可还包括：显示指示装置的与第二输入相关的识别的信息。
可针对所述装置和连接到所述装置的至少一个外部装置中的至少一个执行所述搜索信息的步骤。
找到的信息可包括基于图像的信息和基于文本的信息中的至少一个。
还可通过提供一种装置来实现本发明总体构思的前述和/或其它特征和效用，所述装置包括：存储单元，用于存储至少一条信息和至少一个程序；触摸屏，用于显示图像，接收指示与图像中所包括的多个对象相关的选择的第一输入，接收指示选择的多个对象之间的搜索关系的第二输入，并且显示基于第一输入和第二输入搜索的信息；和处理器，用于基于触摸屏提供用户界面，识别通过触摸屏接收的第一输入和第二输入，根据第一输入和第二输入从存储单元搜索信息，并且在触摸屏上输出找到的信息。
还可通过提供一种装置来实现本发明总体构思的前述和/或其它特征和效用，所述装置包括：触摸屏，用于显示图像并且接收基于显示的图像的用户输入；处理器，用于基于触摸屏提供用户界面；和存储单元，用于存储被构造为由处理器执行的至少一个程序和可基于图像搜索的信息，其中，所述程序包括用于执行以下操作的命令，即识别指示与图像中所包括的多个对象相关的选择的第一输入，识别指示选择的多个对象之间的搜索关系的第二输入，搜索基于第一输入和第二输入搜索的信息，并且在触摸屏上输出找到的信息。
还可通过提供一种基于显示的图像的服务提供方法来实现本发明总体构思的前述和/或其它特征和效用，所述方法包括：识别指示与图像中所包括的多个对象相关的选择的第一输入，识别指示选择的多个对象之间的关系的第二输入，显示基于第一输入和第二输入提供的至少一个服务项，并且根据基于显示的至少一个服务项选择的服务项执行服务。
还可通过提供一种存储一个或多个程序的计算机可读记录介质来实现本发明总体构思的前述和/或其它特征和效用，所述一个或多个程序包括用于执行基于装置上显示的图像的信息搜索方法的命令语言，其中，以与上述基于装置上显示的图像的信息搜索方法相同的方式执行基于装置上显示的图像的信息搜索方法。
还可通过提供一种存储一个或多个程序的计算机可读记录介质来实现本发明总体构思的前述和/或其它特征和效用，所述一个或多个程序包括用于执行基于显示的图像的服务提供方法的命令语言，其中，以与上述基于显示的图像的服务提供方法相同的方式执行基于显示的图像的服务提供方法。
还可通过提供一种用于执行信息搜索方法的装置来实现本发明总体构思的前述和/或其它特征和效用，所述装置包括：显示面板，用于在其屏幕上显示包括一个或更多个对象的图像；和处理器，被构造为控制显示面板从显示面板的图像接收对对象的选择作为第一输入，接收选择的对象的至少一个位置相对于选择的对象的另一位置的移动作为第二输入，并且显示根据第一输入和第二输入搜索到的一个或多个图像。
显示面板可根据在它上面的用户输入的存在不同地显示选择的对象和未选择的对象。
显示面板可在不同位置显示选择的对象的至少一个位置。
显示面板的屏幕可包括：第一屏幕，用于显示包括对象的图像；第二屏幕，用于显示对象的选择；第三屏幕，用于显示移动的指示；和第四屏幕，用于显示所述一个或更多个搜索到的图像。
显示面板可根据与显示面板的用户交互显示第二屏幕和第三屏幕。显示面板可在没有与显示面板的用户交互的情况下根据处理器的操作显示第一屏幕和第四屏幕。
第二屏幕可包括第一屏幕。
第二屏幕可不同于第一屏幕。
第三屏幕可包括第一屏幕和第二屏幕。
第三屏幕可不同于第一屏幕和第二屏幕。
还可通过提供一种基于显示的图像的信息搜索方法来实现本发明总体构思的前述和/或其它特征和效用，所述方法包括：在显示面板的屏幕上显示包括一个或更多个对象的图像，从显示面板的图像接收对对象的选择作为第一输入，接收选择的对象的至少一个位置相对于选择的对象的另一位置的移动作为第二输入，并且显示根据第一输入和第二输入搜索到的一个或更多个图像。
附图说明
通过下面结合附图对实施例进行的描述，本发明总体构思的这些和/或其它特征和效用将会变得清楚并且更容易理解，其中：
图1A是示出根据本发明总体构思的实施例的装置的框图；
图1B示出存储在图1A的装置的存储单元中并且根据模块分类的程序和/或命令集的示例；
图2是示出根据本发明总体构思的实施例的基于图像的信息搜索方法的流程图；
图3示出根据本发明总体构思的实施例的在基于图像的信息搜索方法中输入第一输入的屏幕示例；
图4示出根据本发明总体构思的实施例的在基于图像的信息搜索方法中输入第二输入的屏幕示例；
图5示出根据本发明总体构思的另一实施例的在基于图像的信息搜索方法中输入第二输入的屏幕示例；
图6示出与图5的第二输入的屏幕示例对应的图像的屏幕示例；
图7至图9示出第一输入、第二输入和找到的信息的屏幕示例；
图10是示出根据本发明总体构思的实施例的基于图像的信息搜索方法的流程图；
图11至图13示出图10的显示通过识别第一输入而获得的结果信息的屏幕示例；
图14是示出根据本发明总体构思的实施例的基于图像的信息搜索方法的流程图；
图15示出根据图14的流程图显示的屏幕示例；
图16示出显示多个搜索项的屏幕示例；
图17是示出根据本发明总体构思的实施例的装置的框图；
图18是示出用于连接图1和图17的装置的网络的框图；和
图19是示出根据本发明总体构思的实施例的服务提供方法的流程图。
具体实施方式
因为本发明允许各种变化和许多实施例，所以将会在附图中示出并且在书面描述中详细描述特定实施例。然而，这并不意图使本发明总体构思局限于特定实施方式，并且将会理解，不脱离本发明总体构思的精神和技术范围的所有变化、等同物和替换物被包括在本发明总体构思中。在本发明总体构思的描述中，当认为相关技术的某些详细解释可能不必要地模糊本发明总体构思的本质时，省略相关技术的某些详细解释。
现在将对本发明总体构思的实施例进行详细的描述，其示例表示在附图中，其中，相同的标号始终表示相同元件。以下在参照附图的同时对实施例进行描述以解释本发明总体构思。
诸如“第一”和“第二”的术语在这里仅用于描述各种组成元件，但组成元件不受到这些术语的限制。这些术语仅用于区分一个组成元件与另一组成元件。
这里使用的多数术语是在本发明总体构思所属技术领域中广泛使用的一般术语。然而，可创建这里使用的一些术语以反映本领域技术人员的意图、先例或新技术。此外，这里使用的一些术语可由本申请人任意选择。在这种情况下，在以下详细定义这些术语。因此，应该基于这里使用的特定术语的独一无二的含义和本发明总体构思的整个上下文理解这里使用的特定术语。
如这里所使用，除非上下文清楚地另外指出，否则单数形式也意图包括复数形式。还将会理解，当在本说明书中使用时，术语“包含”或“包括”指定存在所陈述的特征、整数、步骤、操作、元件、部件和/或其组合，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或其组合。
在本说明书中，术语“输入”可用于表示作为基于触摸的输入的用户输入。基于触摸的输入可包括用户请求、用户选择(例如，图像上的多个对象的选择)或用户命令(例如，用于设置多个选择的对象之间的搜索关系的命令)，但不限于此。基于触摸的输入可取决于基于触摸的用户手势。基于触摸的用户手势可包括例如轻敲(或触摸)、长敲(或长触摸)、触摸并握住、触摸并拖动、双敲、拖动、平移、轻弹、拖动并放下、清扫等，但不限于此。
输入不限于上述基于触摸的用户手势。例如，输入可被定义为基于运动的输入或基于视觉的输入。
基于运动的输入可基于由用户执行的基于装置运动的用户手势(例如，装置摇晃、装置敲击等)。例如，将稍后在实施例中描述的选择的对象之间的搜索关系可根据装置摇晃模式或方向而被设置为高低层关系或相同层关系。用于将选择的对象之间的搜索关系设置为高低层关系或相同层关系的装置摇晃模式或方向可被预先设置。例如，在装置被上下摇晃的情况下，基于运动的输入被预先以这种方式定义，即选择的对象之间的搜索关系可被设置为高低层关系。对象之间的高低层关系可被称为对象之间的父子层关系。
基于视觉的输入可基于通过在不接触装置的情况下经由使用照相机获得的输入图像的分析而识别的用户手势。例如，将稍后在实施例中描述的选择的对象之间的搜索关系可通过经由使用照相机获得的输入图像的分析而被设置为独立关系或从属关系，用户输入包括用户空间手势(例如，利用手指一起做出的空间手势)，诸如基于触摸的用户手势。用于将选择的对象之间的搜索关系设置为独立关系或从属关系的用户空间手势可被预先设置。
现在将参照附图更充分地描述本发明总体构思，在附图中示出本发明总体构思的示例性实施例。
如这里所使用，术语“和/或”包括关联的列出项目中的一项或多项的任何组合和所有组合。当诸如“…中的至少一个”的表达方式位于一列元件之后时，其修饰整列元件而非修饰列出的单个元件。
图1A是示出根据本发明总体构思的实施例的装置100的框图。图1A的装置100的示例可包括智能电话、智能TV、个人计算机(PC)、桌上型计算机、智能板、平板PC、移动装置、手提装置或手提计算机、媒体播放器、电子书终端、个人数字助手(PDA)、能够输入基于触摸的用户输入的数字照相机、数字消费电子(CE)装置(例如，具有显示图像并输入基于触摸的用户手势的功能的设备)等，但不限于此。
装置100包括信息输入单元101、感测单元102、触摸屏103、照相机104、音频输入单元105、音频输出单元106、存储单元107、无线通信单元108、有线通信单元109、处理器110和供电单元111。然而，装置100的构造不限于图1A中示出的构造。也就是说，装置100可根据设计或用户偏好而包括与图1的元件相比更多或更少的元件。
信息输入单元101可接收用于控制装置100的操作的输入数据和可用于请求根据本发明总体构思的实施例的基于图像的信息搜索方法的执行的信息，但不限于此。信息输入单元101可包括键区、薄膜开关、滚轮、拨动开关、硬件按钮、热键、触摸板等，但不限于此。
感测单元102可感测装置100的当前状态，诸如装置100的位置(不管是否存在与装置100的用户接触)、装置100的移动、装置100的方向、装置100的加速或减速等，并可产生用于控制装置100的操作的感测信号。感测单元102可包括接近传感器和运动传感器。感测单元102可产生识别基于传感器的用户手势的信号。
接近传感器是用于在没有实际物理触摸的情况下通过使用电磁场的力或红外线来检测物体是否接近预先设置的检测表面或者物体是否存在于附近的传感器。接近传感器的示例包括透明光电传感器、直接反射光电传感器、镜反射光电传感器、高频振荡光电传感器、电容光电传感器、磁光电传感器、红外光电传感器等。
触摸屏103可被构造为电阻触摸屏或电容触摸屏，但不限于此。触摸屏103可包括取决于上述基于用户触摸的手势的用户请求、用户选择或用户命令。基于用户触摸的手势可被定义为触摸频率、触摸模式、触摸面积和触摸密度的各种组合，但不限于此。触摸屏103可包括用于感测触摸屏103的触摸或接近触摸的各种传感器。触摸屏103中所包括的传感器可产生感测上述基于触摸的用户手势或模式的信号。可与触摸屏103一起使用的接近传感器可与感测单元102中所包括的接近传感器相同。
用于感测触摸屏103的触摸的传感器的示例可包括触觉传感器。触觉传感器可感测各种类型的信息，诸如触摸表面的粗糙度、触摸物体的硬度、在触摸点的温度等。接近传感器是用于在没有实际物理触摸的情况下通过使用电磁场的力或红外线来检测物体是否接近预先设置的检测表面或者物体是否存在于附近的传感器。接近传感器的示例包括透明光电传感器、直接反射光电传感器、镜反射光电传感器、高频振荡光电传感器、电容光电传感器、磁光电传感器、红外光电传感器等。
触摸屏103的触摸可以是由指示器对触摸面板的触摸。触摸屏103的接近触摸可以是指示器的移动，也就是说，未实际触摸触摸面板，但接近触摸面板至预定距离内。指示器是可用于触摸或接近触摸触摸屏103的特定部分的工具。指示器的示例可包括触控笔、用户的手指等，但不限于此。
触摸屏103显示由装置100处理的信息。例如，触摸屏103可显示通过触摸屏103中所包括的传感器感测的用户手势或触摸模式、通过信息输入单元101输入的控制数据或用户输入信息或者与通过感测单元102感测的信号对应的屏幕。
照相机104处理在图像呼叫模式或拍摄模式下由图像传感器(或光电传感器)获得的图像帧，诸如静止图像或运动图像。处理的图像帧可被显示在触摸屏103上。因此，可基于由照相机104获得的静止图像或运动图像中所包括的图像帧执行根据本发明总体构思的实施例的基于图像的信息搜索方法。
由照相机104处理的图像帧可被存储在存储单元107中或者通过无线通信单元108或有线通信单元109被发送到其外部。照相机104的图像帧可以是可在处理器110中用于执行基于图像的信息搜索方法的图像。根据装置100的构造，照相机104的数量可以是两个或者更多。照相机104可被用作用于识别用户空间手势的输入设备。
音频输入单元105可在呼叫模式、录音模式或语音识别模式下接收外部声信号的输入，将声信号转换成电语音数据，并且将电语音数据发送给处理器110。音频输入单元105可被构造为例如麦克风。音频输入单元105可被构造为包括各种噪声去除算法以去除在用于接收外部声信号的输入的处理期间产生的噪声。
通过使用音频输入单元105输入的声信号可包括可用于请求根据本发明总体构思的实施例的基于图像的信息搜索方法的执行的用户输入信息。在声信号是自然语言用户输入信息的情况下，声信号可被称为基于语音识别的用户输入。通过音频输入单元105输入的外部声信号可通过处理器110而被存储在存储单元107中或者通过处理器110和无线通信单元108或通过处理器110和有线通信单元109被发送到其外部。
音频输出单元106在呼叫模式或音频再现模式下输出从其外部接收或从存储单元107读取的声信号或音频信号。音频输出单元106可被构造为扬声器。如果音频信号被包括在再现的内容中，则音频输出单元106输出再现的内容中所包括的音频信号。音频输入单元105和音频输出单元106可被集成地形成在单一单元(例如，头戴式耳机)内。
存储单元107可包括将在稍后描述的被构造为在处理器110中执行的至少一个程序和/或命令集和资源。所述至少一个程序包括用于执行根据本发明总体构思的实施例的基于图像的信息搜索方法的至少一个程序、装置100的操作系统程序、与由装置100执行的各种功能(或服务)相关的应用程序和用于驱动装置100中所包括的硬件部件的程序，但不限于此。
资源可包括可基于第一输入和第二输入搜索的信息。可搜索的信息可包括基于图像的信息和基于文本的信息中的至少一个。例如，可搜索的信息可包括：一个或多个包括选择的对象中的一个或多个中的全部的图像或文本、包括多个选择的对象中的至少一个选择的对象的图像或文本和关于可根据第二输入选择的搜索项的文本信息，但不限于此。
根据第一输入和第二输入确定关于可选择的搜索项的文本信息。将参照将在稍后描述的屏幕示例更详细地描述关于根据第一输入和第二输入确定的搜索项的文本信息的示例。
资源还可包括装置100的用户信息、操作装置100中的应用程序集所需的信息和执行用于驱动上述硬件部件的程序所需的信息，但不限于此。
存储单元107可包括以下的至少一个存储介质：闪存、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，SD存储器、XD存储器等)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程ROM(PROM)、磁存储器和光盘。然而，本发明总体构思不限于此。存储单元107可包括例如易失性存储单元或非易失性存储单元的存储单元。
存储在存储单元107中的所述至少一个程序和/或命令集可根据对应功能而被分类为多个模块。
图1B示出存储在存储单元107中并且根据模块分类的程序和/或命令集的示例。参照图1B，存储单元107可包括操作系统107-1、无线通信模块107-2、有线通信模块107-3、图形模块107-4、全球定位系统(GPS)模块107-5、用户界面(UI)模块107-6、感测模块107-7、接触和运动模块107-8、供电模块107-9和应用模块107-10，但不限于此。
应用模块107-10包括图像再现模块107-11、信息搜索模块107-12和照相机模块107-13，但不限于此。例如，应用模块107-10可包括各种模块，诸如电子邮件模块、社交联网服务(SNS)模块、视频会议模块、图像管理模块、浏览模块、日历模块、微件模块、搜索模块、Word文档准备模块等。
操作系统107-1控制并管理装置100的一般功能，并且包括能够实现装置100中所包括的硬件部件和软件部件之间的通信的软件部件。
无线通信模块107-2可包括能够通过无线通信单元108实现与至少一个外部装置(未示出)的通信并且处理通过无线通信单元108从至少一个外部装置接收的数据以及发送给至少一个外部装置的数据的软件部件。所述至少一个外部装置可包括云服务器和靠近装置100或可有线连接到装置100或可无线连接到装置100的装置中的至少一个。
当搜索信息并且从外部装置接收找到的信息时，根据本发明总体构思的实施例的无线通信模块107-2可向外部装置请求信息搜索。
有线通信模块107-3包括这样的软件部件：能够实现外部装置(未示出)和有线通信单元109(被构造为诸如通用串行总线(USB)的元件)之间的通信以及通过无线通信单元108从至少一个外部装置接收的数据和发送给至少一个外部装置的数据的处理。
图形模块107-4包括用于触摸屏103上显示的图形的亮度调整和渲染的软件部件和用于提供虚拟键盘(或软键盘)以在应用模块107-10中输入文本的软件部件。
GPS模块107-5包括用于确定装置100的位置并且将确定的位置提供给提供基于位置的服务的应用的软件部件。UI模块107-6包括用于提供提供基于触摸屏103的UI信息的应用所需的UI的软件部件。
感测模块107-7包括用于将感测单元102的感测信息确定为基于感测单元的感测信息并且将基于确定的感测信息的服务提供给应用模块107-10的软件部件。接触和运动模块107-8包括用于检测触摸屏103的触摸接触作为基于触摸屏的触摸接触、跟踪基于接触的运动并且将跟踪的运动提供给需要跟踪的运动的应用模块107-10的软件部件。
供电模块107-9包括用于与操作系统107-1链接、控制对装置100中所包括的硬件部件的供电并且针对提供给触摸屏103的电力控制休眠模式的软件部件。
应用模块107-10中所包括的模块的功能可由用户从其标题直观地推断，因此，现在将仅描述与本发明总体构思的实施例相关的应用模块107-10。
例如，当执行图像再现模块107-11以在触摸屏103上显示图像(或单一图像)时，执行信息搜索模块107-12以执行基于显示的图像的信息搜索服务。在执行基于显示的图像的信息搜索服务之后，如果根据由接触和运动模块107-8和/或感测模块107-7感测的信息识别了上述第一输入和第二输入，则基于识别的第一输入和第二输入从通过存储单元107、无线通信单元108和有线通信单元109连接的至少一个外部装置(未示出)中的至少一个搜索信息。
如果找到搜索的信息，则信息搜索模块107-12将找到的信息输出到触摸屏103。UI模块107-6可在触摸屏103上显示找到的信息，并且在第一输入和第二输入被识别时，在触摸屏103上输出识别的结果信息。
基于第一输入和第二输入处理的术语“搜索”可被称为用户和装置100之间的交互。也就是说，第一输入的识别可被定义为关于多个对象的选择的用户和装置100之间的交互，第二输入的识别可被定义为关于多个对象之间的搜索关系的用户和装置100之间的交互，并且触摸屏103上的找到的信息的显示可被称为搜索交互。例如，装置100能够从触摸屏103接收用户输入并且将接收的用户输入识别为第一输入，然后，装置100能够在第一输入被识别时从触摸屏103接收另一用户输入并且将接收的另一用户输入识别为第二输入。
图1A的存储单元107可不存储图1B的程序和/或命令集之中的应用模块107-10中所包括的模块。替代地，存储单元107可仅存储位置信息(诸如，应用模块107-10的统一资源定位器(URL)或可指示应用模块107-10的显示信息。在存储单元107不存储应用模块107-10中所包括的模块的情况下，处理器110可通过无线通信单元108或有线通信单元109访问外部装置并且使用与应用模块107-10对应并且存储在该外部装置中的程序和/或命令集。
在存储单元107仅存储应用模块107-10的位置信息或可指示应用模块107-10的显示信息的情况下，处理器110可通过使用与用户选择信号对应的应用的位置信息或在触摸屏103上显示的用于指示应用模块107-10的显示信息通过无线通信单元108或有线通信单元109搜索存储在外部装置中的信息。
无线通信单元108可经无线网络(诸如，无线互联网、无线以太网、无线电话网络、无线局域网(LAN)、Wi-Fi网络、Wi-Fi直连(WFD)网络、3G网络、4G长期演进(LTE)网络、蓝牙网络、红外数据协会（IrDA)网络、射频识别(RFID)网络、超宽带(UWB)网络和Zigbee网络)将数据发送给外部装置以及从外部装置接收数据。
无线通信单元108可包括广播接收模块、移动通信模块、无线互联网模块、有线互联网模块、短距离通信模块和位置信息模块中的至少一个，但不限于此。
有线通信单元109可经有线网络(诸如，有线互联网)将数据发送给外部装置以及从外部装置接收数据。有线通信单元109可通过使用即插即用接口(诸如，USB端口(未示出))来与外部装置发送数据和接收数据。有线通信单元109可以不是装置100的元件。
供电单元111向装置100中所包括的硬件部件供电。供电单元111包括至少一个电源，诸如电池和交流(AC)电源。装置100可不包括供电单元111并且可包括可连接到外部供电单元(未示出)的连接单元(未示出)。
处理器110可被称为控制装置100的一般操作的一个或多个处理器。处理器110可通常通过存储在存储单元107中的操作系统107-1和模块107-2至107-13控制信息输入单元101、感测单元102、触摸屏103、照相机104、音频输入单元105、音频输出单元106、存储单元107、无线通信单元108、有线通信单元109和供电单元111。因此，处理器110可被称为控制器、微处理器、数字信号处理器等。
处理器110可通过使用操作系统107-1、UI模块107-6、信息输入单元101、感测单元102、触摸屏103、照相机104和音频输入单元105来提供用户界面。
处理器110可执行与根据本发明总体构思的实施例的基于图像的信息搜索方法相关的至少一个程序，并且执行如图2、图10和图14的流程图中所示的方法，将在稍后对此进行描述。处理器110可通过从存储单元107读取程序或者从通过无线通信单元108或有线通信单元109连接的外部装置下载程序来执行该程序。在这个方面，外部装置可被称为应用提供服务器或应用市场服务器。外部装置可包括云服务器或靠近装置100的可通信的装置。外部装置可以是与装置100相似或相同的另一装置。处理器110可被理解为包括接口功能单元，所述接口功能单元在装置100中所包括的各种硬件部件及其处理器110之间进行交互。
图2是示出根据本发明总体构思的实施例的基于图像的信息搜索方法的流程图。图2的基于图像的信息搜索方法可由图1A的处理器110执行。
参照图2，在操作S201，处理器110识别指示与触摸屏103上显示的图像中所包括的多个对象相关的选择的第一输入。
图3示出根据本发明总体构思的实施例的在基于图像的信息搜索方法中输入第一输入的屏幕示例。参照图3，屏幕310是这样的例子：通过触摸触摸屏103上显示的图像310a中所包括的多个对象310a1和310a2来输入第一输入。这里，在比参考时间段长的时间段期间，触摸可被称为长触摸。因此，处理器110识别对与屏幕310上显示的图像310a上的触摸点对应的对象310a1和310a2的选择。触摸点可被称为比参考触摸点长的触摸点。指示多个对象的选择的基于触摸的用户手势不限于上述长触摸，并且多个对象310a1和310a2的选择可不同时进行。还可以同时选择对象。还可以独立地选择对象。当独立地进行选择时，可在相对于第一对象的第一选择的参考时间段内进行第二对象的第二选择。还可以从对应屏幕上显示的不同图像选择对象。处理器110可将对象的选择识别为第一输入。
参照图3，屏幕320是这样的例子：通过用于设置触摸屏103上显示的图像320a的多个对象320a1和320a2中的每个对象的圆形封闭区域的用户手势来输入第一输入。用于设置圆形封闭区域的用户手势不限于屏幕320上示出的用户手势。也就是说，用于设置圆形封闭区域的用户手势可包括包括将要被选择的对象的正方形或三角形用户手势。圆形封闭区域可不必被设置为使开始点和结束点相交，并且可包括指示开始点和结束点之间的接合的用户手势。用户手势可以是用于形成指示对象的线的手势。还可以同时选择对象。还可以独立地选择对象。当独立地进行选择时，可在相对于第一对象的第一选择的参考时间段内进行第二对象的第二选择。还可以从对应屏幕上显示的不同图像选择对象。处理器110可将以上或以下描述的对象的选择识别为第一输入。
在操作S202，处理器110识别指示基于触摸屏103上显示的图像选择的多个对象之间的搜索关系的第二输入。
图4示出根据本发明的实施例的在基于图像的信息搜索方法中输入第二输入的屏幕示例。在图4中，第二输入被用于将在搜索信息时选择的多个对象之间的搜索关系设置为相同层关系。
参照图4，屏幕401是通过用于聚集多个选择的对象以使聚集的对象被放置在一个地方的基于触摸的用户手势的第二输入的示例。也就是说，屏幕401示出：输入指示单一图像中所包括的五个对象的选择的第一输入(例如，长触摸)，然后，通过将输入第一输入的点拖动到显示的图像中的点来输入第二输入以将选择的五个对象之间的搜索关系设置为相同层关系。
在这个方面，虽然第二输入可被定义为在输入第一输入之后在保持触摸状态的同时连续地执行上述拖动，但第二输入可被定义为触摸输入第一输入的点并且将该点拖动到上述一个点的触摸并拖动。在重新触摸输入第一输入的点的情况下，可能发生关于触摸点的前一x和y坐标与当前x和y坐标之间的误差。然而，如果当前x和y坐标位于同一对象的显示区域内，则可忽略上述误差。从屏幕401可以看出，屏幕401上的点可被定义为与五个对象对应的五个手指可相交在一起的点。
参照图4，屏幕402是通过用于将多个选择的对象移动到除所述多个对象的显示位置之外的位置的基于触摸的用户手势的第二输入的示例。也就是说，屏幕402示出：输入指示单一图像中所包括的五个对象的选择的第一输入，然后，通过输入用于将输入第一输入的点向该点下方拖动预定长度的第二输入而选择的五个对象之间的搜索关系被设置为相同层关系。
关于图4的屏幕402，如参照屏幕401所述，虽然第二输入可被定义为在输入第一输入之后在保持触摸状态的同时连续地执行上述拖动操作，但第二输入可被定义为包括触摸输入第一输入的点并且从该点将该点向下拖动预定长度的触摸并拖动。
参照图4，屏幕403是通过用于通过将多个选择的对象移动到除所述多个对象的显示位置之外的位置来移动触摸点的基于触摸的用户手势的第二输入的示例，如参照屏幕402所述。关于屏幕403，通过从输入第一输入的点将该点向上拖动预定长度来输入第二输入。
参照图4，屏幕404是通过用于聚集选择的两个对象以使聚集的对象被放置在单个点的基于触摸的用户手势的第二输入的示例。屏幕404上的单个点可被定义为选择两个对象的手指相交在一起的点或者所述对象被布置为重叠的点。第二输入可以不是所述对象真正地被布置为重叠的输入，而是第二输入可以是表示所述对象的重叠的用户手势。
参照图4，屏幕405是通过用于通过从输入第一输入的点移动两个选择的对象来向内移动触摸点的基于触摸的用户手势的第二输入的示例。可在参照屏幕402和403描述的预定距离内设置向内移动距离。
参照图4，屏幕406是通过用于通过从输入第一输入的点移动选择的两个对象来在预定长度内向外移动触摸点的基于触摸的用户手势的第二输入的示例。
图4示出用于输入第二输入的对象的移动，并且将在稍后解释的图5可涉及移动图像上显示的多个对象的显示位置。然而，上述移动可不涉及对象的显示位置的实际移动，而是可涉及移动图像上的触摸点。
图5示出根据本发明总体构思的实施例的在基于图像的信息搜索方法中输入第二输入的屏幕示例。图5的第二输入可用于将在搜索信息时选择的多个对象之间的搜索关系设置为高低层关系。
图5的屏幕501是通过用于将五个选择的对象中的四个对象移动到五个选择的对象之一的显示位置的基于触摸的用户手势的第二输入的示例。在这种情况下，所述一个选择的对象可取决于其它四个选择的对象。
图5的屏幕502是通过用于从两个选择的对象之一的显示位置移动到另一选择的对象的显示位置的基于触摸的用户手势的第二输入的示例。在这种情况下，所述另一选择的对象可取决于所述一个选择的对象。
在图2的操作S203，处理器110基于触摸屏103上显示的图像识别第一输入和第二输入并且基于第一输入和第二输入搜索信息。也就是说，处理器110检测根据识别的第一输入选择的对象。通过基于触摸点检测选择的对象的轮廓来检测选择的对象，但不限于此。如果检测到选择的对象，则处理器110根据根据第二输入选择的多个对象之间的搜索关系确定搜索方程。
如果选择的对象具有相同层关系，则可搜索包括选择的对象中的全部的信息，或者可搜索包括选择的对象中的至少一个的信息。当选择的对象具有相同层关系时，可预先定义是搜索包括选择的对象中的全部的信息还是搜索包括选择的对象中的至少一个的信息。
也就是说，当预先选择的对象具有相同层关系时，在定义搜索包括选择的对象中的全部的信息的情况下，处理器110从存储单元107和上述外部装置中的至少一个搜索包括选择的对象中的全部的信息。
当预先选择的对象具有相同层关系时，在定义搜索包括选择的对象中的至少一个的信息的情况下，处理器110从存储单元107和上述外部装置中的至少一个搜索包括选择的对象中的至少一个的信息。
当预先选择的对象具有相同层关系时，在定义选择性地搜索包括选择的对象中的全部的信息和包括选择的对象中的至少一个的信息的情况下，处理器110在搜索信息之前在触摸屏103上显示与信息搜索项(例如，包括选择的对象中的全部的信息搜索项或包括选择的对象中的至少一个的信息搜索项)对应的信息。
如果基于触摸屏103上显示的信息搜索项信息选择了包括选择的对象中的全部的信息搜索项，则处理器110搜索包括选择的对象中的全部的信息。然而，如果基于与触摸屏103上显示的信息搜索项对应的信息选择了包括选择的对象中的至少一个的信息搜索项，则处理器110搜索包括选择的对象中的至少一个的信息。
如果选择的对象之间的搜索关系是高低层关系，则处理器110根据选择的对象之间的高低层关系确定搜索方程并且搜索信息。
也就是说，如图6的屏幕610中所示，如果选择的对象是图像610a的包610a1和脸610a2的组合并且识别出用于将触摸点从包610a1移动到脸610a2的第二输入，则处理器110将搜索方程设置为“携带包的人”。因此，处理器110从存储单元107和外部装置中的至少一个搜索关于“携带与由A携带的包相同的包的任意人”的信息。
如图6的屏幕620中所示，如果选择的对象是包610a1和脸610a2的组合并且识别出用于将触摸点从脸610a2移动到包610a1的第二输入，则处理器110将搜索方程设置为“A具有的包”。因此，处理器110从存储单元107和外部装置中的至少一个搜索关于“A具有的所有包”的信息。
如图6的屏幕630中所示，如果选择的对象是包610a1、脸610a2和衣服610a3的组合并且识别出用于将触摸点从衣服610a3移动到包610a1的第二输入和用于将触摸点从包610a1移动到脸610a2的另一第二输入，则处理器110将搜索方程设置为“衣服的包”和“携带包的人”。因此，处理器110从存储单元107和外部装置中的至少一个搜索包括“相同衣服和任意包”的信息和包括“具有相同包的任意人”的信息。
如图6的屏幕640中所示，如果选择的对象是包610a1、脸610a2和衣服610a3的组合并且识别出用于将触摸点从衣服610a3移动到脸610a2的第二输入和用于将触摸点从包610a1移动到脸610a2的另一第二输入，则处理器110将搜索方程设置为“穿着衣服的人”和“携带包的人”。因此，处理器110从存储单元107和外部装置中的至少一个搜索包括“穿着相同衣服的任意人”的信息和包括“具有相同包的任意人”的信息。
图6的屏幕650是输入将多个选择的对象之间的搜索关系指示为相同层关系的第二输入的示例。当在装置100中设置多个选择的对象具有相同层关系的条件时，在搜索方程被定义为逻辑“AND（与）”的情况下，处理器110从存储单元107和外部装置中的至少一个搜索包括“相同包”和“人A”中的全部的信息。
找到的信息可包括基于图像的信息和基于文本的信息中的至少一个。用户可设置从存储单元107，从外部装置，还是从存储单元107和外部装置两者搜索信息。处理器110可按照用户可设置上述搜索范围的方式在触摸屏103上显示可选择的搜索范围信息。
在图2的操作S204中，处理器110在触摸屏103上显示找到的信息。找到的信息可被显示为与显示的图像重叠或叠加，或者找到的信息可被显示在与屏幕中的图像分离的空间上，显示在单独的页上或者显示在显示的图像上的弹出窗口中。
图7至图9示出当多个选择的对象之间的搜索关系是相同层关系时的上述第一输入、第二输入和找到的信息之间的关系的屏幕示例。
参照图7，屏幕710是输入用于选择显示的图像710a中所包括的两个对象710a1和710a2的第一输入的示例，屏幕720是在输入第一输入之后基于将两个选择的对象710a1和710a2的显示位置聚集到一个点的用户手势输入第二输入的示例，并且屏幕730是在独立页上显示包括选择的对象中的全部的图像730a1、730a2、730a3和730a4的示例。
参照图8，屏幕810是输入用于选择显示的图像810a中所包括的两个对象810a1和810a2的第一输入的示例，屏幕820是在输入第一输入之后基于沿向上方向同时移动两个选择的对象810a1和810a2的显示位置的用户手势输入第二输入的示例，并且屏幕830是在独立页上显示包括选择的对象810a1和810a2中的至少一个选择的对象的图像830a1、830a2、830a3、830a4、830a5、830a6和830a7的示例。
参照图9，屏幕910是输入用于选择显示的图像910a中所包括的两个对象910a1和910a2的第一输入的示例，屏幕920是在输入第一输入之后基于沿向下方向同时移动两个选择的对象910a1和910a2的显示位置的用户手势输入第二输入的示例，并且屏幕930是在独立页上显示包括选择的对象910a1和910a2中的至少一个选择的对象的图像930a1、930a2、930a3、930a4、930a5、930a6和930a7的示例。
基于参照图7至图9提供的描述，根据指示选择的对象中的全部具有相同层关系的第二输入的输入模式，可搜索包括选择的多个对象中的所有对象的至少一个图像(或信息)或者包括选择的对象中的至少一个的至少一个图像(或信息)。
图10是示出根据本发明总体构思的实施例的基于图像的信息搜索方法的流程图。与图2的基于图像的信息搜索方法相比，图10的基于图像的信息搜索方法还包括在识别第一输入之后在触摸屏103上显示识别的结果信息并且在识别第二输入之后在触摸屏103上显示识别的结果信息的功能。
也就是说，像图2的操作201一样，在操作S1001中，处理器110识别指示与触摸屏上显示的图像中所包括的多个对象相关的选择的第一输入。
因此，在操作S1002中，处理器110在触摸屏103上显示通过识别第一输入而获得的结果信息。可按照封闭区域形状输出结果信息作为包括根据第一输入检测的对象的轮廓的区域。
图11至图13示出图10的在触摸屏103上显示通过识别第一输入而获得的结果信息的屏幕示例。也就是说，在图11中，通过识别根据选择的对象1110a1和1110a2的长触摸从图像1110a选择的多个对象1110a1和1110a2而获得的结果信息被显示在正方形封闭区域1120b1和1120b2中。如屏幕1120中所示，可在识别第一输入之后通过使用轮廓检测方法来产生正方形封闭区域1120b1和1120b2并且在触摸屏103上显示正方形封闭区域1120b1和1120b2。
在图12中，如果通过检测图像1210a的选择的对象1210a1和1210a2的轮廓产生了正方形封闭区域1220b1和1220b2，则产生的封闭区域1220b1和1220b2被剪出，并且以多屏幕形式显示剪出的区域1220b1和1220b2。参照图12，剪出的区域1220b1和1220b2的显示尺寸可与原始显示尺寸相同。然而，可通过放大显示尺寸来完全地显示两个剪出的区域1220b1和1220b2，或者可通过减小显示尺寸来在屏幕1220上部分地显示两个剪出的区域1220b1和1220b2。根据选择的对象之间的搜索关系，剪出的区域1220b1和1220b2的尺寸可彼此不同。
像图2的操作S202一样，在操作S1003中，处理器110识别指示多个对象之间的搜索关系的第二输入。因此，在操作S1004中，处理器110在触摸屏103上显示通过识别第二输入而获得的结果信息。
通过识别第二输入而获得的结果信息可在触摸屏103上被显示为为了帮助图4至图6中的理解而示出的指示移动触摸点的方向的箭头，或者可按照基于图像的多屏幕形式被显示。
参照图13，从触摸屏103上显示的图像1310a独立地选择对象1310a1和1310a2(屏幕1310和1320)。在屏幕1310和1320中，在触摸屏103上显示选择的样式(圆圈)的同时，选择选择的对象1310a1和1310a2的识别结果。然而，选择的对象1310a1和1310a2的识别结果可不被显示在触摸屏103上。
在图13的屏幕1330中，如果输入指示选择的对象1310a1和1310a2之间的搜索关系的第二输入，则处理器110可基于从选择的对象1310a1和1310a2剪出的图像1340a1、1340a2显示多屏幕1340a，如屏幕1340中所示。然而，本发明总体构思不限于此。
像图2的操作S203一样，在操作S1005中，处理器110基于第一输入和第二输入搜索信息。像图2的操作S204一样，在操作S1006中，处理器110在装置100的触摸屏103上输出找到的信息。
图10的基于图像的信息搜索方法可被修改以在触摸屏103上仅显示通过识别第一输入而获得的结果信息或者仅显示通过识别第二输入而获得的结果信息。
图14是示出根据本发明总体构思的另一实施例的基于图像的信息搜索方法的流程图。与图2的基于图像的信息搜索方法相比，图14的基于图像的信息搜索方法还包括显示根据第一输入和第二输入确定的至少一个搜索项并且基于从显示的搜索项选择的搜索项搜索信息的功能。因此，以与图2的操作S201至S204相同的方式执行图14的操作S1401、S1402、S1404和S1405，因此在此将省略其详细描述。
在操作S1403中，处理器110显示根据第一输入和第二输入确定的搜索项。例如，在如图6的屏幕610所示输入第一输入和第二输入的情况下，处理器110可通过使用上述搜索方程来搜索关于“具有相同包的任意人”的信息，并且基于搜索方程确定并且显示分类的搜索项。例如，处理器110可基于上述搜索方程将区域信息确定为搜索项。也就是说，处理器110可确定并且显示“1.Seoul,2.Busan,3.Kwangju,4.Korea和5.USA”作为搜索项。
图15示出与图14的操作1403对应的屏幕示例。也就是说，在如屏幕1510的图像1510a中所示输入选择多个对象1510a1和1510a2的第一输入并且如屏幕1520中所示输入将选择的对象1510b1和1510b2之间的搜索关系设置为相同层关系的第二输入(例如，将选择的对象聚集到一个点的用户手势)的情况下，可根据第一输入和第二输入确定搜索项信息(例如，“功能1、功能2、功能3、功能4、功能5、功能6、功能7、功能8”)并且显示搜索项信息，如屏幕1510的图像1530a中所示。
图15的上述搜索项信息可包括例如：对由两个选择的人使用的服务信息的搜索、对包括所述两个人的照片和运动图像的搜索、对由所述两个人通常推荐的照片和运动图像的搜索、对由所述两个人最近使用的装置的搜索、对由所述两个人最频繁地使用的装置的搜索、对由所述两个人通常推荐的装置的搜索等，但不限于此。
当如屏幕1530中所示显示搜索项信息时，如果选择了搜索项信息之一，则处理器110可基于选择的搜索项信息搜索信息。
屏幕1530是显示八条搜索项信息的示例，如图16的屏幕1610中所示。然而，如图16的屏幕1620和1630中所示，一个或多个搜索信息(例如，四条搜索项信息)可被显示为根据第一输入和第二输入提供的搜索项。然而，本发明总体构思不限于此。提供的搜索项信息的数量可以是可变的或者被预先设置。
图17是示出根据本发明总体构思的实施例的装置1700的框图。图17的装置1700可不同于图1的装置100。
参照图17，装置1700包括信息输入和输出单元1710、通信单元1720、处理器1730和存储单元1740，但本发明总体构思不限于此。也就是说，装置1700可根据设计或用户偏好像图1的装置100一样包括与图17的元件相比更多或更少的元件。
在装置1700包括比图17的元件的数量少的数量的元件的情况下，装置1700可不包括通信单元1720或存储单元1740。在装置1700不包括通信单元1720的情况下，根据基于图像的信息搜索方法的信息搜索涉及存储在存储单元1740中的信息，并且从信息输入和输出单元1710输入存储在存储单元1740中的信息。在装置1700不包括存储单元1740的情况下，装置1700通过通信单元1720从上述外部装置搜索信息。
信息输入和输出单元1710接收用户输入并且输出装置1700的输出信息。例如，用户输入可包括上述基于触摸的输入、基于物理按钮控制的输入、基于用户手势的输入、基于用户语音识别的输入、基于面部识别的输入和基于遥控器(未示出)的输入，但本发明总体构思不限于此。
根据本发明的实施例的信息输入和输出单元1710可接收第一输入和第二输入，输出通过接收第一输入和第二输入而获得的结果信息，并且输出根据第一输入和第二输入搜索的信息。
信息输入和输出单元1710可包括转盘、滑动开关、操纵杆、时钟轮、触摸板、触摸屏、麦克风、扬声器、传感器、连接器、显示灯、键区、显示装置、滚轮和基于无线通信的遥控信号接收单元，但本发明总体构思不限于此。
通信单元1720可经网络与外部装置通信。通信单元1720可搜索存储在外部装置中的信息并且经网络提供与外部装置的通信服务，诸如信使服务、消息服务、电子邮件服务、视频会议服务和语音呼叫服务，但不限于此。通信单元1720可被构造为包括无线通信单元108和有线通信单元109中的至少一个。
处理器1730执行存储在存储单元1740中的用于执行根据本发明总体构思的实施例的基于图像的信息搜索方法的至少一个程序。也就是说，处理器1730执行程序，基于信息输入和输出单元1710上显示的图像识别第一输入和第二输入的接收，根据识别的结果搜索存储单元1740中的信息，并且将找到的信息输出到信息输入和输出单元1710。
存储单元1740存储上述至少一个程序和用于与外部装置的通信的至少一个通信应用，但不限于此。存储单元1740可包括从由以下项组成的组选择的至少一个存储介质：闪存、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，SD存储器、XD存储器等)、ROM、EEPROM、PROM、磁存储器和光盘。
处理器1730可像图1A的处理器110一样基于图2、图10和图14的方法执行操作。
图18是示出基于图1的装置100和图17的装置1700的网络结构的框图。图18的网络结构包括装置100和1700、多个外部装置1820和1830以及网络1810。
所述多个外部装置1820和1830可包括服务器以及装置100和1700中的至少一个。图18的多个外部装置1820和1830包括在上述实施例中提及的外部装置。因此，当装置100和1700搜索信息时，存储在多个外部装置1820和1830中的信息可被搜索。网络1810可被构造为通过使用图1A的无线通信单元108和有线通信单元109中的至少一个发送和接收数据的网络。
在上述基于图像的信息搜索方法中提及的多个对象可被称为多对象。上述基于图像的信息搜索方法可被应用于基于图像的服务提供方法。
图19是示出根据本发明总体构思的实施例的服务提供方法的流程图。图19的服务提供方法可由图1A的处理器110或图17的处理器1730执行。然而，在本实施例中，为了方便描述，服务提供方法由处理器110执行。
在操作S1901中，处理器110识别指示与触摸屏103上显示的图像中所包括的多个对象相关的选择的第一输入。触摸屏103上显示的图像可以是在装置100中再现的静止图像或照片或者运动图像的暂时静止图像或者由照相机104获得的输入图像。与触摸屏103上显示的图像相关的这个定义也可被应用于上述实施例。
在操作S1902中，处理器110识别指示选择的对象之间的关系的第二输入。选择的对象之间的关系包括在上述实施例中提及的相同层关系和高低层关系。
在操作S1903中，处理器110确定通过使用第一输入和第二输入提供的至少一个服务项并且在触摸屏103上显示服务项。可如图16的屏幕1610、1620和1630中所示显示服务项。
然而，可不如图16的屏幕1610、1620和1630中所示显示确定的服务项，并且可提供包括包含单一服务项的云(云服务)的GUI信息。服务项可类似于参照图15描述的服务项并且根据由装置100或外部装置1820和1830提供的应用和选择的对象之间的选择可还包括最频繁地使用的应用信息、推荐应用信息等，但不限于此。
也就是说，在选择的对象之间的关系是相同层关系的情况下，服务项可包括可被提供给选择的对象中的每个的服务项，并且在选择的对象之间的关系是高低层关系的情况下，服务项可包括可根据选择的对象之间的高低层关系提供的服务项，但不限于此。
在操作S1904中，处理器110执行从触摸屏103上显示的服务项选择的服务项。
根据本发明的实施例的基于图像的信息搜索方法或服务提供方法还可被实施为计算机可读记录介质上的计算机可读代码。计算机可读介质可以是任何能够存储由计算机系统读取的数据的记录设备，例如只读存储器(ROM)、随机存取存储器(RAM)、致密盘(CD)-ROM、磁带、软盘、光学数据存储装置等。然而，本发明总体构思不限于此。计算机可读介质可分布在通过网络互连的计算机系统之中，并且本发明可被存储并且实现为分布式系统中的计算机可读代码。
虽然已示出和描述了本发明总体构思的一些实施例，但本领域技术人员将会理解，在不脱离本发明总体构思的原理和精神的情况下，可对这些实施例进行改变，其中，本发明总体构思的范围由权利要求及其等同物限定。

Claims (11)

1.一种基于装置上显示的图像的信息搜索方法，所述方法包括：
在所述装置的显示器上显示图像；
接收指示与所述图像中所包括的多个对象相关的选择的第一输入；
接收指示选择的多个对象之间的关系的第二输入，其中，所述关系能够被用于根据选择的多个对象在第一输入之后从各个位置被识别的顺序来搜索信息，所述各个位置是选择的多个对象被显示的位置；
基于第二输入确定用于搜索信息的搜索条件；以及
通过所述装置输出基于所述搜索条件找到的信息，
其中，选择的多个对象之间的关系包括以下关系之一：指示选择的多个对象已在搜索中被分配了相同级别的相同层关系以及指示选择的多个对象已在搜索中被分配了父子级别的父子层关系，
其中，所述搜索信息的步骤包括：
当选择的多个对象之间的关系是相同层关系时，搜索包括选择的多个对象中的全部的信息；以及
当选择的多个对象之间的关系是父子层关系时，根据选择的多个对象之间的父子层关系搜索信息。
2.如权利要求1所述的方法，其中，当选择的多个对象之间的关系是相同层关系时，第二输入包括以下基于触摸的手势之一：指示聚集选择的多个对象的基于触摸的手势以及指示将选择的多个对象移动到除所述选择的多个对象的显示位置之外的至少一个位置的基于触摸的手势。
3.如权利要求1所述的方法，其中，当选择的多个对象之间的关系是父子层关系时，第二输入包括以下基于触摸的手势之一：指示将选择的多个对象之中排除一个对象的一个或更多个选择的对象移动到排除的一个对象的显示位置的基于触摸的手势以及指示将选择的多个对象中的至少一个对象移动到选择的多个对象之一的显示位置的基于触摸的手势。
4.如权利要求1所述的方法，其中：
当选择的多个对象之间的关系是相同层关系时，所述搜索信息的步骤包括：
显示用于选择包括选择的多个对象中的至少一个的信息搜索项和包括选择的多个对象中的全部的信息搜索项之一的信息，以及
根据基于显示的信息选择的信息搜索项搜索信息。
5.如权利要求1所述的方法，其中，所述搜索信息的步骤包括：
显示根据第一输入和第二输入确定的至少一个搜索项；以及
基于从显示的至少一个搜索项选择的搜索项搜索信息。
6.如权利要求1所述的方法，还包括：
显示指示所述装置的与第一输入相关的接收的信息。
7.如权利要求1所述的方法，还包括：
显示指示所述装置的与第二输入相关的接收的信息。
8.一种装置，包括：
存储单元，用于存储至少一条信息和至少一个程序；
触摸屏，用于显示图像，接收指示与所述图像中所包括的多个对象相关的选择的第一输入，接收指示选择的多个对象之间的关系的第二输入，其中，所述关系能够被用于根据选择的多个对象在第一输入之后从各个位置被识别的顺序来搜索信息，所述各个位置是选择的多个对象被显示的位置；和
处理器，被配置用于基于触摸屏提供用户界面，通过触摸屏接收第一输入和第二输入，基于第二输入确定用于从存储单元搜索信息的搜索条件，并且在触摸屏上输出基于第二输入找到的信息，
其中，选择的多个对象之间的关系包括以下关系之一：指示选择的多个对象已在搜索中被分配了相同级别的相同层关系以及指示选择的多个对象已在搜索中被分配了父子级别的父子层关系，
其中，处理器还进行以下操作：当选择的多个对象之间的关系是相同层关系时，搜索包括选择的多个对象中的全部的信息，并且当选择的多个对象之间的关系是父子层关系时，根据选择的多个对象之间的父子层关系搜索信息。
9.如权利要求8所述的装置，其中，当选择的多个对象之间的关系是相同层关系时，第二输入包括以下基于触摸的手势之一：指示聚集选择的多个对象的基于触摸的手势以及指示将选择的多个对象移动到除所述选择的多个对象的显示位置之外的至少一个位置的基于触摸的手势。
10.如权利要求8所述的装置，其中，当选择的多个对象之间的关系是父子层关系时，第二输入包括以下基于触摸的手势之一：用于将选择的多个对象之中排除一个对象的其余选择的对象移动到排除的一个对象的显示位置的基于触摸的手势以及用于将选择的多个对象中的至少一个移动到选择的多个对象之一的显示位置的基于触摸的手势。
11.如权利要求8所述的装置，其中：
当选择的多个对象之间的关系是相同层关系时，处理器控制触摸屏显示用于选择包括选择的多个对象中的至少一个的信息搜索项以及包括选择的多个对象中的全部的信息搜索项之一的信息，根据基于显示的信息选择的信息搜索项搜索信息。
CN201310687717.3A 2012-12-14 2013-12-16 信息搜索方法和装置 Expired - Fee Related CN103870535B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0146408 2012-12-14
KR1020120146408A KR102090269B1 (ko) 2012-12-14 2012-12-14 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체

Publications (2)

Publication Number Publication Date
CN103870535A CN103870535A (zh) 2014-06-18
CN103870535B true CN103870535B (zh) 2019-10-15

Family

ID=49765377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310687717.3A Expired - Fee Related CN103870535B (zh) 2012-12-14 2013-12-16 信息搜索方法和装置

Country Status (8)

Country Link
US (2) US10614120B2 (zh)
EP (2) EP2743846A3 (zh)
JP (1) JP6391234B2 (zh)
KR (1) KR102090269B1 (zh)
CN (1) CN103870535B (zh)
AU (1) AU2013360585B2 (zh)
RU (1) RU2654145C2 (zh)
WO (1) WO2014092451A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853108B2 (en) 2017-10-27 2023-12-26 Samsung Electronics Co., Ltd. Electronic apparatus for searching related image and control method therefor

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US20130251201A1 (en) * 2012-03-22 2013-09-26 Samsung Electronics Co., Ltd. System and method for recommending buddies in social network
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
JP6232706B2 (ja) * 2013-02-05 2017-11-22 コニカミノルタ株式会社 情報表示装置、画像形成装置、情報表示装置の制御方法、および情報表示装置の制御プログラム
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
JP6163266B2 (ja) 2013-08-06 2017-07-12 アップル インコーポレイテッド リモート機器からの作動に基づくスマート応答の自動作動
US20150302036A1 (en) * 2014-04-18 2015-10-22 Inplore Inc. Method, system and computer program for information retrieval using content algebra
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102373460B1 (ko) * 2014-09-15 2022-03-11 삼성전자주식회사 디바이스에 객체를 표시하는 방법 및 그 디바이스
US9971442B2 (en) * 2014-10-29 2018-05-15 Microchip Technology Germany Gmbh Human interface device and method
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
JP6142897B2 (ja) * 2015-05-15 2017-06-07 カシオ計算機株式会社 画像表示装置、表示制御方法及びプログラム
US10097973B2 (en) 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
CN107967116B (zh) * 2015-06-16 2019-07-19 深圳市腾讯计算机系统有限公司 游戏场景中锁定目标的方法和装置、计算机设备
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
EP3112986B1 (en) * 2015-07-03 2020-02-26 Nokia Technologies Oy Content browsing
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
KR102447907B1 (ko) * 2015-11-05 2022-09-28 삼성전자주식회사 추천 객체를 제공하기 위한 전자 장치 및 방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
CN107341185B (zh) 2017-06-05 2020-12-04 北京小米移动软件有限公司 信息显示的方法及装置
CN107562332B (zh) * 2017-08-31 2020-08-11 苏州博瑞尔特信息科技有限公司 一种信息搜索方法、移动终端及计算机可读存储介质
KR102382478B1 (ko) * 2017-10-13 2022-04-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
KR102551550B1 (ko) * 2018-04-20 2023-07-06 삼성전자주식회사 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
CN109684438B (zh) * 2018-12-26 2020-11-13 成都科来软件有限公司 一种具有父子层级结构检索数据的方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
KR102608127B1 (ko) * 2019-04-08 2023-12-01 삼성전자주식회사 이미지 프로세싱을 수행하는 전자 장치 및 방법
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US12069437B2 (en) 2019-06-28 2024-08-20 Starkey Laboratories, Inc. Direct informative communication through an ear-wearable device
US11138257B2 (en) * 2020-01-16 2021-10-05 Adobe Inc. Object search in digital images
US20230056155A1 (en) * 2020-01-31 2023-02-23 Nec Corporation Information processing apparatus, information processing method, and storage medium
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN113240718A (zh) * 2021-07-13 2021-08-10 萱闱(北京)生物科技有限公司 多目标识别及跟踪方法、系统、介质和计算设备
KR102582861B1 (ko) * 2021-07-15 2023-09-27 중앙대학교 산학협력단 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473304A (zh) * 2009-08-21 2012-05-23 三星电子株式会社 元数据标记系统、图像搜索方法和设备、及其用于标记手势的方法
CN102480565A (zh) * 2010-11-19 2012-05-30 Lg电子株式会社 移动终端和在其中使用元数据管理视频的方法
WO2012158808A1 (en) * 2011-05-17 2012-11-22 Microsoft Corporation Gesture-based visual search

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020061119A (ko) * 2001-01-12 2002-07-22 유겐가이샤 츠유키 소프트 겐큐쇼 관계 설정 정보 관리 시스템, 관계 설정 정보 관리용프로그램 및 기록 매체
US7028228B1 (en) * 2001-03-28 2006-04-11 The Shoregroup, Inc. Method and apparatus for identifying problems in computer networks
US20060200772A1 (en) * 2003-12-08 2006-09-07 Sathiyamoorthy Dhanapal Procedural computation engine for providing complex calculated data results to an object-oriented server system accessible to service clients and agents over a data packet network
JP4413633B2 (ja) 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
JP2007034847A (ja) * 2005-07-28 2007-02-08 Canon Inc 検索装置及び検索方法
US20070208730A1 (en) 2006-03-02 2007-09-06 Microsoft Corporation Mining web search user behavior to enhance web search relevance
US20080155409A1 (en) * 2006-06-19 2008-06-26 Andy Santana Internet search engine
US20080184147A1 (en) * 2007-01-31 2008-07-31 International Business Machines Corporation Method and system to look ahead within a complex taxonomy of objects
US8136028B1 (en) * 2007-02-02 2012-03-13 Loeb Enterprises Llc System and method for providing viewers of a digital image information about identifiable objects and scenes within the image
JP5041256B2 (ja) * 2007-08-18 2012-10-03 学校法人 学習院 量子エンタングルメント生成装置及び方法並びに量子エンタングルメント生成検出装置及び方法
JP5309570B2 (ja) * 2008-01-11 2013-10-09 株式会社リコー 情報検索装置、情報検索方法、制御プログラム
US8745514B1 (en) * 2008-04-11 2014-06-03 Perceptive Pixel, Inc. Pressure-sensitive layering of displayed objects
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8341593B2 (en) * 2008-10-23 2012-12-25 Sap Ag Integrated development framework for composite applications
US8413188B2 (en) * 2009-02-20 2013-04-02 At&T Intellectual Property I, Lp System and method for processing image objects in video data
US8583673B2 (en) * 2009-08-17 2013-11-12 Microsoft Corporation Progressive filtering of search results
US20110196864A1 (en) * 2009-09-03 2011-08-11 Steve Mason Apparatuses, methods and systems for a visual query builder
KR101411593B1 (ko) * 2009-09-14 2014-06-25 삼성전자주식회사 Ｕｉ 제공방법 및 이를 적용한 디스플레이 장치
WO2011037558A1 (en) * 2009-09-22 2011-03-31 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8780069B2 (en) * 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8487888B2 (en) 2009-12-04 2013-07-16 Microsoft Corporation Multi-modal interaction on multi-touch display
US8315673B2 (en) * 2010-01-12 2012-11-20 Qualcomm Incorporated Using a display to select a target object for communication
JP5398570B2 (ja) 2010-02-10 2014-01-29 キヤノン株式会社 情報処理装置及びその制御方法
JP2011219197A (ja) * 2010-04-06 2011-11-04 Hitachi Ltd センサ情報管理システム、センサ情報管理方法、およびセンサ情報管理プログラム
US20110282855A1 (en) * 2010-05-12 2011-11-17 International Business Machines Corporation Scoring relationships between objects in information retrieval
US9542091B2 (en) * 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
JP2012027846A (ja) * 2010-07-27 2012-02-09 Sony Corp 情報処理装置、情報表示方法及びコンピュータプログラム
KR101640404B1 (ko) * 2010-09-20 2016-07-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101753031B1 (ko) * 2010-11-15 2017-06-30 엘지전자 주식회사 이동 단말기 및 이것의 메타데이터 설정 방법
WO2012073333A1 (ja) * 2010-11-30 2012-06-07 富士通株式会社 分析支援装置、分析支援方法、及び分析支援プログラム
US8818049B2 (en) 2011-05-18 2014-08-26 Google Inc. Retrieving contact information based on image recognition searches
US8719781B2 (en) * 2011-12-01 2014-05-06 Amer Agovic Universal and adaptive software development platform for data-driven applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473304A (zh) * 2009-08-21 2012-05-23 三星电子株式会社 元数据标记系统、图像搜索方法和设备、及其用于标记手势的方法
CN102480565A (zh) * 2010-11-19 2012-05-30 Lg电子株式会社 移动终端和在其中使用元数据管理视频的方法
WO2012158808A1 (en) * 2011-05-17 2012-11-22 Microsoft Corporation Gesture-based visual search

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853108B2 (en) 2017-10-27 2023-12-26 Samsung Electronics Co., Ltd. Electronic apparatus for searching related image and control method therefor

Also Published As

Publication number Publication date
AU2013360585B2 (en) 2019-05-02
RU2654145C2 (ru) 2018-05-16
CN103870535A (zh) 2014-06-18
JP6391234B2 (ja) 2018-09-19
JP2014120159A (ja) 2014-06-30
KR20140077510A (ko) 2014-06-24
EP2743846A3 (en) 2016-11-23
EP2743846A2 (en) 2014-06-18
US11314804B2 (en) 2022-04-26
RU2015128285A (ru) 2017-01-18
AU2013360585A1 (en) 2015-05-14
US10614120B2 (en) 2020-04-07
WO2014092451A1 (en) 2014-06-19
US20200201901A1 (en) 2020-06-25
US20140172831A1 (en) 2014-06-19
KR102090269B1 (ko) 2020-03-17
EP3745280A1 (en) 2020-12-02

Similar Documents

Publication Publication Date Title
CN103870535B (zh) 信息搜索方法和装置
US11755273B2 (en) User interfaces for audio media control
US11714597B2 (en) Methods and user interfaces for sharing audio
AU2013338327B2 (en) Animation sequence associated with image
US10299110B2 (en) Information transmission method and system, device, and computer readable recording medium thereof
US20140333551A1 (en) Portable apparatus and method of displaying object in the same
CN107402687A (zh) 场境任务快捷方式
KR20140091633A (ko) 모바일 장치에서의 상황 인지에 따른 추천 항목을 제공하기 위한 방법 및 이를 위한 모바일 장치
CN103870132B (zh) 基于情境提供信息的方法和系统
US11863700B2 (en) Providing user interfaces based on use contexts and managing playback of media
CN105612486A (zh) 同时的悬停和触摸接口
CN104238902A (zh) 堆栈式标签视图
CN105190520A (zh) 用于使能触摸的设备的悬停手势
US20170308271A1 (en) Display device and method for controlling display device
CN105930071A (zh) 用于管理项目的方法和装置
KR102255087B1 (ko) 객체를 디스플레이하는 전자 장치 및 방법
KR20170066592A (ko) 다중 스테이지 사용자 인터페이스
CA2857232C (en) Actionable user input on displayed items
KR102077228B1 (ko) 전자 장치 및 이의 제어 방법
KR20150122976A (ko) 디스플레이 디바이스 및 그 제어 방법
KR20150032068A (ko) 복수의 애플리케이션 실행 방법 및 이를 위한 디바이스
KR101970506B1 (ko) 리스트 아이템의 이동 방법 및 장치
KR20150083266A (ko) 휴대장치 및 그 컨텐츠 공유 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191015