CN111095183B - 用户界面中的语义维度 - Google Patents

用户界面中的语义维度 Download PDF

Info

Publication number
CN111095183B
CN111095183B CN201880057436.0A CN201880057436A CN111095183B CN 111095183 B CN111095183 B CN 111095183B CN 201880057436 A CN201880057436 A CN 201880057436A CN 111095183 B CN111095183 B CN 111095183B
Authority
CN
China
Prior art keywords
content
dimension
image
display
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880057436.0A
Other languages
English (en)
Other versions
CN111095183A (zh
Inventor
海德姆·苏曼·辛哈
基兰·普拉桑斯·兰詹
图希·查克拉博蒂
维纳亚克·潘乔利
苏米特里·乔杜里
汉娜·佐林桑吉
赫马·阿拉文丹
纳文·恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111095183A publication Critical patent/CN111095183A/zh
Application granted granted Critical
Publication of CN111095183B publication Critical patent/CN111095183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于提供对与所显示的内容语义相关的内容的访问的方法和系统。可以通过多维用户界面(UI)提供访问。该方法包括检测相对于第一内容的预定义手势。基于检测到的手势,确定最接近的语义链接内容(第二内容)。可以基于诸如共享历史、使用频率、类型、位置、相似性、层次结构、关键词/短语、标签等的参数来建立第一内容与第二内容之间的语义链接。可以将语义链接内容指派给多维UI空间的不同维度。可以使用预定义手势通过不同的维度来遍历多维UI空间,并且从一个维度到另一维度的每个遍历可以是语义相链接的。

Description

用户界面中的语义维度
技术领域
本公开涉及信息检索,更具体地,涉及用于在多维用户界面中提供对语义相关内容的访问的方法和系统。
背景技术
当前,用户在尝试访问在语义上彼此链接的内容时需要在例如,应用、服务等的多个信息源之间来回导航。用于获取内容的跨应用和/或服务的导航的容易程度取决于对多个信息源内的内容的布置的理解和可访问性方法,如在可以访问内容的用户界面(UI)中定义的那样。
当前,可能不存在良好的定义/标准化的空间模型作为用于内容分割和访问的基本框架。用户需要在思维上创建UI的空间模型,语义相关内容被集成在所述空间模型中。用户可以交互并使空间模型可视化以用于获取内容。UI的思维模型通常是模糊的、复杂的和对于每个用户在抽象可视化方面的能力和兴趣而言是主观的。
以上信息仅作为背景信息呈现以帮助理解本公开。关于以上内容中的任何内容是否可以适用为关于本公开的现有技术没有任何判定也没有任何断言。
发明内容
技术问题
提供了用于提供对至少一个内容的访问的方法和系统,所述至少一个内容在语义上与所显示的内容相关。
根据本公开的一方面,提供了一种多维用户界面(UI),其中每个维度包括与包括在另一维度中的内容语义上相关的内容。语义相关内容可以通过使用手势遍历多维UI来访问。
解决问题的方法
根据本公开的一个方面,提供了方法和系统,其提供对与所显示的内容语义上相关的内容的访问。可以通过多维用户界面(UI)来提供访问。一种方法包括检测相对于在与电子设备相关联的多维UI的第一维度上显示的第一内容的第一预定义手势。此外,该方法包括确定语义上链接到所显示的第一内容的至少一个第二内容(最近或最接近的语义上链接的内容)。基于至少一个参数来建立语义链接,并且至少一个参数是内容的类型、相关性、视觉相似性、层次结构、信息架构、使用频率、位置、关键词、短语和标签。此外,该方法包括在多维UI的第二维度中显示该第二内容。
本公开的实施例提供了一种用于访问内容的电子设备,所述内容与所显示的内容在语义上相关。可以通过多维用户界面(UI)来提供访问。该电子设备包括手势识别单元,该手势识别单元被配置为检测相对于在多维UI的第一维度上显示的第一内容的第一预定义手势。可以通过在触摸屏显示器上对第一内容的触摸来实现第一预定义手势,或者可以在描绘第一内容的显示器的一部分上执行第一预定义手势。此外,电子设备包括语义搜索引擎,该语义搜索引擎被配置为确定语义上链接到所显示的第一内容(最近或最接近的语义上链接的内容)的至少一个第二内容。基于至少一个参数来建立语义链接,并且至少一个参数是内容的类型、相关性、视觉相似性、层次结构、信息架构、使用频率、位置、关键词、短语和标签。此外,电子设备包括UI界面,该UI界面被配置为在多维UI的第二维度中显示该第二内容。
附加的方面将在以下的描述中部分地阐述,并且部分地从描述中将是显而易见的,或者可以通过实践所呈现的实施例而获知。
本发明的有益效果
根据本公开的一方面,提供了一种多维用户界面(UI),其中每个维度包括与包括在另一维度中的内容语义上相关的内容。语义相关内容可以通过使用手势遍历多维UI来访问。
附图说明
根据以下结合附图的描述,本公开的特定实施例的上述和其他方面、特征和优点将变得更加明显,在附图中:
图1是示出根据实施例的用于提供对与所显示的内容语义上链接的内容的访问的电子设备的配置的框图;
图2是示出根据实施例的基于预定义用户手势的语义链接内容的视图;
图3是示出根据实施例的基于预定义用户手势的语义链接内容的另一示例的视图;
图4a至图4e是示出根据实施例的在多维用户界面(UI)空间中的维度的布置以访问语义链接内容的示例的视图;
图5a和图5b是示出根据实施例的基于内容的类型来建立语义关系的视图;
图6a至图6d是示出根据实施例的基于相关性来建立语义关系的视图;
图7a和图7b是示出根据实施例的基于应用中的信息架构和层次结构的相似性来建立语义关系的视图;以及
图8a和图8b是示出根据实施例的基于应用中的使用和优先级来建立语义关系的视图。
具体实施方式
以下参考附图更充分地解释本文中的实施例及其各种特征和有利细节。省略了对公知的组件和处理技术的描述,以免不必要地使本文中的实施例变得模糊。本文中使用的示例仅意在促进对可以实践本文中的实施例的方式的理解,并且进一步使本领域技术人员能够实践本文中的实施例。因此,实施例不应解释为限制本文中公开内容的范围。
本文中的实施例公开了用于提供对至少一个内容的访问的方法和系统,该至少一个内容与所显示的内容在语义上相关。可以通过多维用户界面(UI)提供访问。实施例包括检测在所显示的内容(第一内容)上的预定义手势。基于检测到的手势,实施例包括确定至少一个最近的语义上链接的内容(第二内容)。可以基于例如内容的类型、使用频率、相关性、位置、视觉相似性、信息架构、层次结构、关键词/短语、标签等的参数来建立第一内容与第二内容之间的语义链接。参数可以是第一内容和第二内容的语义的一部分。此外,如果在第二内容上检测到预定义手势,则确定第三内容,该第三内容是与第二内容最近的语义上链接的内容。
语义上链接的内容可以通过电子设备上的多维UI进行访问。可以将语义上链接的内容指配到不同的平面(维度)上。UI可以在多维空间中可视化;例如,UI可以在2D、2.5D或3D空间中可视化。内容、对象、数据等可以在语义上指派给UI到不同的平面上。可以使用预定义手势通过不同的维度来遍历多维UI空间,并且从一个维度到另一个维度的每个遍历可以进行语义上链接。
现在参考附图,更具体地参考图1至图8b,其中在所有附图中相似的附图标记始终表示对应的特征,存在示出的实施例。
图1是示出根据实施例的用于提供对内容的访问的电子设备100的配置的框图,该内容与所显示的内容语义上相链接。电子设备100的示例可以是但不限于移动电话、智能电话、平板电脑、笔记本电脑、计算机、可穿戴设备、IoT(物联网)设备、虚拟现实(VR)、增强现实(AR)设备、车载信息娱乐系统、智能电视等。
电子设备100可以包括显示器110和处理器(或至少一个处理器)120。处理器120可以包括手势检测器101、语义搜索引擎102和UI界面103。手势检测器101可以检测用于触发特定功能的多个手势。手势检测器101可以基于由形成在显示器上或与显示器集成的触摸屏检测到的用户触摸输入来检测多个手势。在一个实施例中,手势检测器101可以检测第一预定义手势和第二预定义手势。第一预定义手势可以用于触发语义搜索,且第二预定义手势可以用于访问多维UI的维度之一中的语义链接内容,这些内容是从语义搜索中获取的。在本文的实施例中,单个预定义手势可以用于触发语义搜索并(基于搜索)访问多维UI的维度之一中的语义链接内容。
在检测到第一预定义手势之后,语义搜索引擎102可以执行语义搜索。考虑到第一内容被显示在电子设备100的显示器110上。处理器120的语义搜索引擎102被配置为确定与第一内容在语义上相链接的内容。语义搜索引擎102可以确定语义链接内容。可以基于诸如内容类型、相关性、使用频率、位置、视觉相似性、层次结构、信息架构、关键词/短语、标签等的语义来建立第一内容与所确定的语义链接内容之间的链接。
可以通过UI界面103来访问语义链接内容。UI界面103可以是可由处理器120执行的软件,或者可以是与处理器120分离的硬件组件。可以将语义链接内容指派给多维UI空间的维度之一。根据实施例,每个维度可以显示相同类型的内容(例如,视频、图像、文档、媒体等)。可以通过执行第二预定义手势,来按顺序访问由语义搜索引擎102执行的语义搜索的结果,即,语义链接内容。在实施例中,该顺序(或优先级)可以基于语义链接内容与第一内容的接近度。在实施例中,该顺序可以基于至少一个用户偏好。语义链接内容的接近度可以取决于第一内容与语义的上下文关系。UI界面103可以在手势检测器101检测到第二预定义手势时,在与电子设备100相关联的显示器上显示多维UI空间的维度之一中的语义链接内容。根据实施例,当识别出与第一内容相链接的多个第二内容时,UI界面103可以选择并显示多个第二内容中具有最高优先级(或与第一内容最相关)的一第二内容。在这种状态下,当检测到第二预定义手势时,可以显示具有下一优先级的第二内容。UI界面103可以在显示第二内容之一的同时将其他第二内容的数据保存在存储器中。
考虑在语义上链接到第一内容的内容(第二内容)被显示在多维UI空间的维度之一(第一维度)中。如果用户对第二内容执行第一预定义手势,则可以执行语义搜索。这可以导致确定第三内容,该第三内容可以在多维UI空间的另一维度(第二维度)上显示。可以通过执行第二预定义手势来访问第二维度内的与第二内容语义上相链接的内容。
图1是示出根据实施例的电子设备100的配置的框图,但是应当理解,其他实施例也是可能的,并且图1以示例的方式而非限制的方式提供。在其他实施例中,电子设备100可以包括更少或更多数量的组件。此外,组件的标记或名称仅用于说明性目的,并不限制本公开的范围。可以将一个或多个组件组合在一起以在电子设备100中执行相同或基本相似的功能。
图2是示出根据实施例的基于预定义用户手势的语义链接内容的视图。如图2所示,UI界面103初始在电子设备100的显示器110上显示内容1。内容1是图像,其可以通过图像应用来访问。手势检测器101可以检测来自用户的第一预定义手势。在实施例中,第一预定义手势可以是长按并滑动,但不限于此。例如,第一预定义手势可以包括各种手势,诸如双击、单次长触摸和多触摸。此外,当触摸第一内容时,显示预定义菜单,并且触发对菜单中语义上链接的第二内容的搜索。根据各种实施例,当第一预定义手势是长按并滑动时,超过预定时间的长按、在指定的地方(即,第一内容的边缘)上的长按或以指定的方向的滑动被识别为第一预定义手势。
第一预定义手势可以被配置为触发语义搜索引擎102以执行语义搜索,该语义搜索确定与内容1语义上相链接的内容。语义搜索引擎102可以根据安装在电子设备100中的应用的数据执行语义搜索或使用Web浏览器等在外部网站中执行语义搜索。可以基于与内容1的语义接近度将搜索结果(即,语义链接内容)进行排序以用于按顺序(或优先级)显示。例如,语义搜索引擎102可以识别包括与第一内容的图像类似的图像的图像、视频或GIF文件。之后,可以在多维UI空间中的第一维度中显示语义链接内容。在这种情况下,可以在多维UI空间中的与第一维度不同的维度中显示第一内容。可以使用第二预定义手势以基于与内容1的接近度的顺序依次地访问语义链接内容。在实施例中,第二预定义手势可以是滑动手势。第二预定义手势可以是基本垂直的手势(例如,向上滑动或向下滑动)或相对于第一预定义手势的滑动方向(例如,左或右)的手势。
在检测到第一预定义手势之后,语义搜索引擎102可以将内容2和内容3确定为语义链接内容。内容2可以是该图像所在的聊天历史,内容3可以是该图像所在的社交媒体历史。与内容3相比,内容2可以是与内容1最接近的语义链接内容。UI界面103可以在多维UI空间的第一维度上显示内容2。在这种情况下,UI界面103可以在后台生成关于作为另一链接内容的内容3的信息。在检测到第二预定义手势之后,UI界面103可以在多维UI空间的第一维度上显示内容3。
当用户相对于内容3执行第一预定义手势时,触发语义搜索。确定作为与内容3最接近的语义链接内容的内容4,并将其显示在多维UI空间的第二维度中。内容4可以指示在捕获该图像的旅程中访问过的地方。
当用户相对于内容4执行第一预定义手势时,触发语义搜索。确定作为与内容4最接近的语义链接内容的内容5,并将其显示在多维UI空间的第三维度中。内容5可以提供在该图像中标记的对象的联系人电话。
图3是示出根据实施例的基于预定义用户手势的语义链接内容的视图。如图3所示,UI界面103初始可以在电子设备100的显示器110上显示内容1。内容1可以是对象“James”的联系人详情,其可以通过联系人应用来访问。手势检测器101可以检测来自用户的第一预定义手势。
第一预定义手势可以触发语义搜索以确定可以在语义上链接到对象James的联系人详情。例如,语义搜索引擎102可以识别是否在相似时间(例如,办公时间、晚餐时间等)或确切时间(例如,小时、天)存在与联系人列表中的James的许多呼叫或消息、是否发送相同的消息、是否存在与该联系人的存储详情相似的内容以及相同组的联系人。UI界面103可以在多维UI的第一维度上显示最近的语义链接内容。最近的语义链接内容是内容2,该内容2是联系人列表。可以基于包括James和联系人列表中的对象在内的共同社交群体来生成联系人列表(建立语义链接)。
考虑用户对联系人列表的Shalone执行触摸手势(或进行选择),Shalone是联系人列表中的对象之一。与对象Shalone相关的联系人详情(即,内容3)被显示在显示器110上。如果用户相对于联系人3执行第一预定义手势,则语义搜索引擎102可以将内容4确定为与内容3的最接近的语义链接内容。内容4可以是联系人列表。该联系人列表可以是基于包括Shalone和联系人列表中的对象的共同社交群体来生成(建立语义链接)的。UI界面103可以在多维UI的第二维度中显示内容4。
图4a至图4e是示出根据实施例的在多维UI空间中的维度的各种布置以访问语义链接内容的视图。实施例包括在所描绘的标准化空间模型的不同维度中指派所确定的语义链接内容以用于UI开发。空间模型可以实现逻辑、自然和直观的用户交互以及内容消耗。
所确定的语义链接内容可以是UI元件、UI对象等,它们显示在多维UI空间的不同维度中。如图4a至图4e所示,所有维度可以是唯一的,并且每个维度可以与所有其他维度同时存在。维度可以以任何形式、形状或大小来可视化。维度可以是沿着不同轴或层的不同平面,这些层可以一个接一个地堆叠。每个维度可以包括多个内容,并且该内容是可滚动的。
每个维度可以在语义上链接到另一维度。如果维度之间存在语义关系,则可以从一个维度遍历到另一维度。可以基于以下项来建立语义关系:内容的类型(例如,视频、图像、文档、媒体等)、相关性(例如,从应用到文本的搜索结果的类型等)、相似的信息架构和层次结构(相同月份但不同年份)、使用(例如,与特定联系人共享的频率)、位置、内容的类型之间的视觉相似性、关键词/短语、标签等。
图5a和图5b是示出根据实施例的基于内容的类型来建立语义关系的视图。如图5a所示,不同类型的内容可以被包括在多维UI空间的不同维度中。在一个示例中考虑UI空间包括三个维度。用户可以浏览不同的维度以访问不同类型的内容,该不同类型的内容包括图像、视频和GIF。不同类型的内容可以在它们之间具有语义连接。
当用户对所显示的内容执行第一预定义手势时,可以触发语义搜索。例如,设备可以确定多个图像(图像1至图像7)。该图像与所显示的内容语义上相链接。可以基于诸如相关性、时间、地点、人物,关键词/短语、标签等参数来建立语义链接。可以认为图像1是与所显示的内容最接近的语义链接内容。图像1可以显示在维度1中。可以通过执行第二手势以顺序的方式访问例如图像2至图像7的图像。
当用户对图像4执行第一手势时,可以触发语义搜索。实施例包括确定多个视频(视频1至视频6)。该视频与图像4语义上相链接。可以认为视频1是与图像4最接近的语义链接内容。视频1可以显示在第二维度(维度2)中。可以通过执行第二手势以顺序的方式访问例如视频2至视频6的视频。
当用户对视频3执行第一手势时,可以触发语义搜索。实施例包括确定多个GIF(GIF 1至GIF 4)的设备。GIF与视频3语义上相链接。可以认为GIF 1是与视频3最近的语义链接内容。GIF 1可以显示在第三维度(维度3)中。可以通过执行第二手势以顺序的方式访问例如GIF 2至GIF 4的GIF。基于内容的类型,可以存在附加的维度。
如图5b所示,用户可以对图像执行第一预定义手势。第一预定义手势可以是长按并滑动。长按并滑动可以触发语义搜索,以确定语义链接内容。可以基于视觉相似性来确定语义链接内容。语义链接内容可以是与该图像具有视觉相似性的视频。应当注意,在显示视频之前,可以在显示器110上显示内容,从而指示从图像到视频的转换。该转换可以是立方转换,并且可以是瞬时显示的。实施例包括在多维UI空间的维度之一中显示该视频。
图6a至图6d是示出根据实施例的基于相关性来建立语义关系的视图。考虑用户输入搜索查询,针对该搜索查询生成了搜索结果列表。如图6a所示,列表可以包括四个搜索结果,其中用户打开结果3。如果用户期望在不返回显示搜索结果的显示器110的情况下检查其他搜索结果中的任何搜索结果,则用户可以执行第一预定义手势以触发语义搜索。语义搜索引起对原始搜索结果的检索,因为原始搜索结果是基于该搜索查询彼此相关的。可以认为将与结果3最近的语义链接搜索结果显示在多维UI空间的维度之一中。可以在多维UI空间的不同维度中访问每个搜索结果。用户可以在每个维度中触发语义搜索,以导航到另一维度中的另一搜索结果。
图6b是示出根据实施例的用户跨全局搜索的搜索结果进行导航的视图。所有搜索结果可以通过搜索关键字在语义上相链接。用户可以打开特定结果,并且然后通过执行第一手势来无缝地切换到下一搜索结果的详细视图。
图6c和图6d是示出根据实施例的用户跨消息传递应用中的搜索结果进行导航的视图。在消息传递应用中,用户可以搜索单词“offer”,如图6c所示。如图6d中描述的,可以向用户显示具有多个结果(包括关键字“offer”的消息)的页面。用户可以打开结果中的任何一个,并且结果/相关联的细节可以被显示。如果用户期望在不返回显示包括关键字“offer”在内的消息的页面的情况下检查其他消息,则用户可以执行第一预定义手势来触发语义搜索。语义搜索引起对包括关键字“offer”在内的消息的检索。可以认为,与所显示的消息最近的语义链接消息显示在多维UI空间的维度中。用户通过触发每个维度中的语义搜索,来使用维度转换查看包括关键字“offer”的其他消息。
图7a和图7b是示出根据实施例的基于应用中的信息架构和层次结构的相似性来建立语义关系的视图。图7a示出了在具有相似信息架构的图案或结构之间的立即切换。考虑在日历应用中,用户可以查看特定年份中某月的特定日的事件,并且通过触发语义搜索而立即切换到查看上一年份或下一年份中同一月份同一日的事件。信息架构的相似性可以指连续年份的日、月和年。层次结构可以被视觉化为层次结构顶部的年份,然后是特定年份的月、周和日。
可以在多维UI空间的第一个维度中查看上一年或下一年的事件。可以将特定年份中某月的特定日的事件与在上一年份或下一年份的同一日和同一月的事件语义上相链接。例如,考虑最初查看2017年3月的事件。在2016年3月发生的被确定为与2017年3月的事件最近或最接近的语义链接事件可以被显示在第一维度中。类似地,通过再次触发语义搜索,用户可以在第二维度中查看在2015年3月发生的事件,将在2015年3月发生的事件视为与2016年3月发生的事件最近或最接近的语义链接事件。
如图7b所示,第一维度可以保持2017年3月发生的事件的信息。当在用户执行第一手势时存在向第二维度的维度偏移时,信息类型相同,但是由于定义第二维度的参数的变化,存在所显示的内容(2016年3月发生的事件的信息)的变化。在此,变化是由年份引起的,年份在不同维度上是不同的。也可以通过月份或星期作为参数来定义维度。
图8a和图8b是示出根据实施例的基于应用中的使用和优先级来建立语义关系的视图。在实施例中,考虑联系人应用,该联系人应用包括多个联系人,例如,James、Shalone、Richmond和Aaron。用户可以随时查看第一联系人的详细页面。通过在第一联系人的详细页面上执行第一预定义手势而触发语义搜索,语义链接联系人可以显示在多维UI的第一维度中。联系人之间的语义链接可以基于例如联系人之间的呼叫频率、联系人之间的共享、最近呼叫的联系人等的使用。
可以初始显示与第一联系人(第二联系人)的详细页面最接近的语义链接联系人。可以通过执行第二预定义手势来访问第一维度内的剩余的语义链接联系人。当对第一维度中的语义链接联系人之一执行第一预定义手势时,可以再次触发语义搜索,并且可以在第二维度中显示与当前在第一维度中显示的联系人的详细页面最近的语义链接联系人。
如图8b所示,可以初始显示James的联系人详情。当检测到对James的联系人详情的第一预定义手势时,可以触发语义搜索以确定与James最近或最接近的语义链接联系人。最接近的语义链接内容可以是Shalone。Shalone的联系人详情可以显示在第一维度中。如果用户对Shalone的联系人详情执行第一预定义手势,则可以触发语义搜索以确定与Shalone最接近的语义链接内容。最接近的语义链接内容可以是Richmond。Richmond的联系人详情可以显示在第二维度中。如果用户对Richmond的联系人详情执行第一预定义手势,则可以触发语义搜索以确定与Richmond最接近的语义链接内容。最接近的语义链接内容可以是Aaron。Aaron的联系人详情可以显示在第三维度中。
可以通过在至少一个硬件设备上运行的并执行网络管理功能以控制网络元件的至少一个软件程序来实现实施例。图1所示的网络元件包括框,所述框可以是硬件设备、或者硬件设备和软件模块的组合中的至少一个。
实施例描述了用于提供对内容的访问的方法和系统,所述内容与所显示的内容语义上相关。可以通过多维UI提供访问。因此,可以理解,保护范围扩展到了这样的程序,并且当程序运行在服务器或移动设备或任何合适的可编程设备上时,除了其中具有消息的计算机可读装置之外,这种计算机可读存储装置还包含用于实现该方法的一个或多个步骤的程序代码装置。该方法通过以例如超高速集成电路硬件描述语言(VHDL)或另一种编程语言而编写的软件程序或与所述软件程序一起以优选实施例来实现,或者由在至少一个硬件设备上执行的一个或多个VHDL或几个软件模块来实现。硬件设备可以是可以被编程的任何类型的便携式设备。该设备还可以包括装置,所述装置可以是例如,硬件装置(例如,ASIC)、或硬件和软件装置的组合(例如,ASIC和FPGA)、或者包括位于其中的软件模块在内的至少一个微处理器和至少一个内存。本文中描述的方法实施例可以部分地以硬件并且部分地以软件来实现。备选地,本发明可以例如使用多个CPU在不同的硬件设备上实现。
实施例的前述描述如此充分地揭示了本文中的实施例的普通性质,以至于其他人可以在不脱离通用构思的情况下通过应用当前的知识来容易地修改和/或改编这样的实施例的各种应用,因此,在实施例的等同物的含义和范围内,这样的改编和修改应当并且意在被理解。应当理解,本文中采用的措词或术语是出于描述的目的而非限制性。因此,尽管已经根据优选实施例描述了本文中的实施例,但是本领域技术人员将认识到,可以在本文中描述的实施例的精神和范围内进行修改来实践本文中的实施例。

Claims (6)

1.一种电子设备,包括:
显示器;以及
至少一个处理器,被配置为:
控制所述显示器在多维用户界面UI的第一维度上显示第一图像;
基于在显示所述第一图像期间检测到相对于所述第一图像的第一预定义手势,识别与所述第一图像相链接的多个内容,其中所述多个内容基于参数与所述第一图像相链接,其中所述参数包括以下至少一项:内容的类型、相关性、视觉相似性、层次结构、信息架构、使用频率、位置、关键词、短语或标签;
控制所述显示器从所述第一维度改变为第二维度并在所述第二维度上显示所述多个内容中的具有最高优先级的第二内容,其中所述第二维度与所述第一维度不同并与所述第一维度语义上相链接,且所述第二内容包括含有所述第一图像的至少一部分的视频;
基于在显示所述第二内容期间检测到相对于所述第二内容的第二预定义手势,控制所述显示器在所述第二维度上显示所述多个内容中的相对于所述第二内容具有下一优先级的第三内容,其中所述第三内容包括含有所述第一图像的至少一部分的视频,其中,所述第二维度和所述第一维度是依次堆叠的层,且所述第一维度对应于图像,所述第二维度对应于视频。
2.根据权利要求1所述的电子设备,其中,所述至少一个处理器还被配置为:
相对于所述第一预定义手势,确定与所述第二内容语义上相链接的第三内容;以及
控制所述显示器将所述第三内容显示在所述多维UI的第三维度中。
3.根据权利要求1所述的电子设备,其中,所述至少一个处理器还被配置为将包括所述第一图像在内的视频中的至少一个确定为所述第二内容。
4.根据权利要求1所述的电子设备,其中,所述第一预定义手势包括相对于所述第一图像的触摸手势和在预定方向上的滑动手势。
5.一种在电子设备上访问内容的方法,所述方法包括:
经由显示器在多维用户界面UI的第一维度上显示第一图像;
基于在显示所述第一图像期间检测到相对于所述第一图像的第一预定义手势,识别与所述第一图像相链接的多个内容,其中所述多个内容基于参数与所述第一图像相链接,其中所述参数包括以下至少一项:内容的类型、相关性、视觉相似性、层次结构、信息架构、使用频率、位置、关键词、短语或标签;
控制所述显示器从所述第一维度改变为第二维度,并在所述第二维度上显示所述多个内容中的具有最高优先级的第二内容,其中所述第二维度与所述第一维度不同并与所述第一维度语义上相链接,且所述第二内容包括含有所述第一图像的至少一部分的视频;以及
基于在显示所述第二内容期间检测到相对于所述第二内容的第二预定义手势,在所述第二维度上显示所述多个内容中的相对于所述第二内容具有下一优先级的第三内容,其中所述第三内容包括含有所述第一图像的至少一部分的视频,
其中,所述第二维度和所述第一维度是依次堆叠的层,且所述第一维度对应于图像,所述第二维度对应于视频。
6.根据权利要求5所述的方法,还包括:
相对于所述第一预定义手势,确定与所述第二内容语义上相链接的第三内容;以及
将所述第三内容显示在所述多维UI的第三维度中。
CN201880057436.0A 2017-09-06 2018-09-05 用户界面中的语义维度 Active CN111095183B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201741031578 2017-09-06
IN201741031578 2017-09-06
PCT/KR2018/010368 WO2019050274A1 (en) 2017-09-06 2018-09-05 SEMANTIC DIMENSIONS IN A USER INTERFACE

Publications (2)

Publication Number Publication Date
CN111095183A CN111095183A (zh) 2020-05-01
CN111095183B true CN111095183B (zh) 2024-04-09

Family

ID=65517604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057436.0A Active CN111095183B (zh) 2017-09-06 2018-09-05 用户界面中的语义维度

Country Status (3)

Country Link
US (1) US11416137B2 (zh)
CN (1) CN111095183B (zh)
WO (1) WO2019050274A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069405A (zh) * 2020-08-31 2020-12-11 北京搜狗科技发展有限公司 周期性事件的处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7870140B2 (en) * 2006-06-12 2011-01-11 D&S Consultants, Inc. System and method of incorporating user preferences in image searches
CN103547989A (zh) * 2011-04-13 2014-01-29 诺基亚公司 用于装置状态的用户控制的方法、装置和计算机程序
WO2014100398A2 (en) * 2012-12-21 2014-06-26 Microsoft Corporation Semantic searching using zoom operations
CA2857232A1 (en) * 2013-07-19 2015-01-19 Jonathan Stahl Actionable user input on displayed items
WO2016189390A2 (en) * 2015-05-28 2016-12-01 Eyesight Mobile Technologies Ltd. Gesture control system and method for smart home

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100357261B1 (ko) * 1999-12-30 2002-10-18 엘지전자 주식회사 멀티미디어 데이터의 의미적/구조적 정보 생성방법 및 그 정보의 기록매체와 멀티미디어 검색 및 브라우징 방법
US8326775B2 (en) * 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US7657546B2 (en) * 2006-01-26 2010-02-02 International Business Machines Corporation Knowledge management system, program product and method
US8316000B2 (en) * 2006-12-07 2012-11-20 At&T Intellectual Property Ii, L.P. Method and apparatus for using tag topology
US20080165148A1 (en) * 2007-01-07 2008-07-10 Richard Williamson Portable Electronic Device, Method, and Graphical User Interface for Displaying Inline Multimedia Content
US20090076887A1 (en) * 2007-09-16 2009-03-19 Nova Spivack System And Method Of Collecting Market-Related Data Via A Web-Based Networking Environment
US8386454B2 (en) * 2009-09-20 2013-02-26 Yahoo! Inc. Systems and methods for providing advanced search result page content
US10409851B2 (en) * 2011-01-31 2019-09-10 Microsoft Technology Licensing, Llc Gesture-based search
US20130097501A1 (en) * 2011-04-06 2013-04-18 Yong Zhen Jiang Information Search and Method and System
US8840013B2 (en) * 2011-12-06 2014-09-23 autoGraph, Inc. Consumer self-profiling GUI, analysis and rapid information presentation tools
CN103687539B (zh) * 2011-07-20 2018-02-16 皇家飞利浦有限公司 可佩戴设备及其制造方法
US20130117111A1 (en) * 2011-09-30 2013-05-09 Matthew G. Dyor Commercialization opportunities for informational searching in a gesture-based user interface
US20130085847A1 (en) * 2011-09-30 2013-04-04 Matthew G. Dyor Persistent gesturelets
US9880640B2 (en) 2011-10-06 2018-01-30 Amazon Technologies, Inc. Multi-dimensional interface
US20130179783A1 (en) * 2012-01-06 2013-07-11 United Video Properties, Inc. Systems and methods for gesture based navigation through related content on a mobile user device
US9106762B2 (en) * 2012-04-04 2015-08-11 Google Inc. Associating content with a graphical interface window using a fling gesture
US9507512B1 (en) * 2012-04-25 2016-11-29 Amazon Technologies, Inc. Using gestures to deliver content to predefined destinations
US9223489B2 (en) * 2012-06-13 2015-12-29 Adobe Systems Incorporated Method and apparatus for gesture based copying of attributes
US8977961B2 (en) * 2012-10-16 2015-03-10 Cellco Partnership Gesture based context-sensitive functionality
KR20140069943A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 휴대단말기의 컨텐츠 처리장치 및 방법
US9772995B2 (en) * 2012-12-27 2017-09-26 Abbyy Development Llc Finding an appropriate meaning of an entry in a text
US9672822B2 (en) * 2013-02-22 2017-06-06 Next It Corporation Interaction with a portion of a content item through a virtual assistant
TW201501016A (zh) * 2013-06-18 2015-01-01 Acer Inc 資料搜尋方法與其電子裝置
US20150185982A1 (en) * 2013-12-31 2015-07-02 Barnesandnoble.Com Llc Content flagging techniques for digital content
US9213941B2 (en) * 2014-04-22 2015-12-15 Google Inc. Automatic actions based on contextual replies
US9946771B2 (en) * 2014-05-30 2018-04-17 Apple Inc. User interface for searching
US9785340B2 (en) * 2014-06-12 2017-10-10 Apple Inc. Systems and methods for efficiently navigating between applications with linked content on an electronic device with a touch-sensitive display
US20160054915A1 (en) * 2014-08-25 2016-02-25 Nuance Communications, Inc. Systems and methods for providing information to a user about multiple topics
US20160103586A1 (en) * 2014-10-09 2016-04-14 Wrap Media, LLC System and method for authoring, distributing, viewing and saving wrap packages
US9448704B1 (en) * 2015-04-29 2016-09-20 Dropbox, Inc. Navigating digital content using visual characteristics of the digital content
EP3278251B1 (en) * 2015-08-12 2024-04-10 Samsung Electronics Co., Ltd. Method for masking content displayed on electronic device
US10120454B2 (en) * 2015-09-04 2018-11-06 Eyesight Mobile Technologies Ltd. Gesture recognition control device
US10332297B1 (en) * 2015-09-04 2019-06-25 Vishal Vadodaria Electronic note graphical user interface having interactive intelligent agent and specific note processing features
US10083238B2 (en) * 2015-09-28 2018-09-25 Oath Inc. Multi-touch gesture search
US20170094360A1 (en) * 2015-09-30 2017-03-30 Apple Inc. User interfaces for navigating and playing channel-based content
US9977569B2 (en) * 2016-01-29 2018-05-22 Visual Supply Company Contextually changing omni-directional navigation mechanism
WO2017135797A2 (en) * 2016-02-05 2017-08-10 Samsung Electronics Co., Ltd. Method and electronic device for managing operation of applications
RU2632144C1 (ru) * 2016-05-12 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Компьютерный способ создания интерфейса рекомендации контента
US10423303B1 (en) * 2016-09-29 2019-09-24 A9.Com, Inc. Progressive information panels in a graphical user interface
US20180300771A1 (en) * 2017-04-14 2018-10-18 GumGum, Inc. Maintaining page interaction functionality with overlay content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7870140B2 (en) * 2006-06-12 2011-01-11 D&S Consultants, Inc. System and method of incorporating user preferences in image searches
CN103547989A (zh) * 2011-04-13 2014-01-29 诺基亚公司 用于装置状态的用户控制的方法、装置和计算机程序
WO2014100398A2 (en) * 2012-12-21 2014-06-26 Microsoft Corporation Semantic searching using zoom operations
CA2857232A1 (en) * 2013-07-19 2015-01-19 Jonathan Stahl Actionable user input on displayed items
WO2016189390A2 (en) * 2015-05-28 2016-12-01 Eyesight Mobile Technologies Ltd. Gesture control system and method for smart home

Also Published As

Publication number Publication date
CN111095183A (zh) 2020-05-01
US11416137B2 (en) 2022-08-16
WO2019050274A1 (en) 2019-03-14
US20190073118A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
Koch et al. VarifocalReader—in-depth visual analysis of large text documents
CA2602852C (en) Method and apparatus for customizing the display of multidimensional data
US20160321052A1 (en) Entity action suggestion on a mobile device
US8352524B2 (en) Dynamic multi-scale schema
US20130297604A1 (en) Electronic device and method for classification of communication data objects
MX2011005930A (es) Vista previa de resultados de busqueda para terminos de refinamientos sugeridos y busquedas verticales.
EP2810149B1 (en) Intelligent prioritization of activated extensions
WO2016029099A1 (en) Providing automatic actions for mobile onscreen content
KR20090084870A (ko) 향상된 질의 결과를 전달하는 것을 용이하게 해주는 시스템, 정황을 갖는 질의 결과를 제공하는 것을 용이하게 해주는 컴퓨터 구현 방법 및 컴퓨터 구현 시스템
US20150149429A1 (en) Contextual information lookup and navigation
KR20180073644A (ko) 이동 사용자 인터페이스
EP3005157A1 (en) Centralized management of link data for multiple applications, computers and resources, through operating systems and networked storage services
CN105612511B (zh) 标识并结构化相关数据
US20160077673A1 (en) Intelligent Canvas
KR20130029045A (ko) 상관된 정보의 온라인 분석 및 디스플레이
KR101441219B1 (ko) 정보 엔터티들의 자동 연관
WO2015101945A1 (en) Generating a news timeline and recommended news editions
Khanwalkar et al. Exploration of large image corpuses in virtual reality
CN111095183B (zh) 用户界面中的语义维度
JP6157965B2 (ja) 電子機器、方法、およびプログラム
CN115033153B (zh) 应用程序推荐方法及电子设备
EP3679485A1 (en) Context based operation execution
CN116304210A (zh) 一种数据展示方法、装置、计算机设备及存储介质
CN114036954A (zh) 同步通知消息的方法和装置
CN115756705A (zh) 通知栏消息显示方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant