CN102880381A - 上下文感知用户界面系统 - Google Patents
上下文感知用户界面系统 Download PDFInfo
- Publication number
- CN102880381A CN102880381A CN2012102296260A CN201210229626A CN102880381A CN 102880381 A CN102880381 A CN 102880381A CN 2012102296260 A CN2012102296260 A CN 2012102296260A CN 201210229626 A CN201210229626 A CN 201210229626A CN 102880381 A CN102880381 A CN 102880381A
- Authority
- CN
- China
- Prior art keywords
- view data
- passive area
- graphic element
- equipment
- computer program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 36
- 239000000872 buffer Substances 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 6
- 241001269238 Data Species 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 15
- 230000003139 buffering effect Effects 0.000 claims 4
- 238000001914 filtration Methods 0.000 claims 2
- 238000012986 modification Methods 0.000 claims 2
- 230000004048 modification Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
公开了上下文感知用户界面系统。提供了用于呈现包括图形元素的图像数据的方法和装置。在一个实施例中，一种方法包括：从设备的显示缓冲区获取图像数据；分析图像数据以识别图像数据的主动区和被动区；以及对被动区进行排名以确定每个被动区的置信测度。该方法可以进一步包括将用于显示在设备上的图像数据修改为包括图形元素，其中该图形元素根据排名被呈现在被动区中的。
Description
技术领域
本公开总体上涉及电子设备和显示应用，更具体地涉及除了用于显示图像数据之外还用于呈现图形元素的方法和装置。
背景技术
许多电视和具有显示器的设备通过提供通知或消息来向用户告知消息。这些消息可以被临时显示，或者在某些情况下需要用户交互来清除来自显示器的消息。许多用户发现这些消息是有用的。然而，当这些消息遮挡内容或所显示的文本时，对观看者而言较为重要的信息可能会被丢失。现有技术的一般解决方案可以通过减小所显示的图像数据的大小来修改图像数据的显示，以便显示一个或多个图形元素的非覆盖的显示。然而，这些方法同样包括覆盖内容的缺点，其中显示器可最小化所期望的流的内容或者使观看所期望的流的内容变得困难。用于将内容显示在显示设备上的传统设备和方法的另一缺点是无法确定并显示不重要的区域中的内容。因此，需要显示设备和应用程序的克服一个或多个以上提及的缺点的功能，并且提供了可以改善视觉质量的有用的技术方案和功能。
发明内容
这里公开并请求保护的是用于呈现图像数据的方法和装置。在一个实施例中，一种方法包括：从设备的显示缓冲区获取图像数据；分析图像数据以识别图像数据的主动区和被动区；以及对被动区进行排名以确定每个被动区的置信测度。所述方法进一步包括将用于显示在设备上的图像数据修改为包括图形元素，其中该图形元素根据排名被呈现在被动区中的。
参照实施例的下列详细描述，相关领域的技术人员将会清楚其他方面、特征和技术。
附图说明
结合附图和以下给出的详细描述，本公开的特征、目的和优点将变得更加明显，其中相同的参考字符标识贯穿本说明书的相应部分，其中：
图1示出了根据一个或多个实施例的获取图像数据的图示；
图2示出了根据一个或多个实施例的包括显示在被动区中的图形元素的图像数据的图示；
图3示出了根据一个实施例的设备的简化方框图；
图4示出了根据一个或多个实施例的呈现图形元素的过程；
图5A-5B示出了根据一个或多个实施例显示的图像数据的图示；
图6A-6D示出了根据一个或多个实施例显示的图像数据的图示。
具体实施例
概述及术语
本公开的一个方面涉及确定用于与图像数据(如视频数据)的显示相结合地呈现图形元素的定位和显示属性。提供了用于动态分析用于显示的图像数据并且根据图像数据的内容来呈现一个或多个图形元素的方法和装置。这里描述的实施例的一个优点在于以覆盖所显示的图像数据的方式呈现图形元素，同时避免覆盖对于用户而言重要的或用户所期望的数据。图形元素可以由设备根据所显示的内容来定位，其中图形元素为例如，设备命令、数字视频记录(DVR)和重放命令、访问频道列表、编程指南、以及广播信息。类似地，图形元素可以被呈现为诸如社交网络应用消息、电子邮件、对话框、即时消息应用、网络日志等中的一个或多个的消息。用于显示的图像数据的分析可防止图像数据的屏幕布局和用户界面的特定配置上的覆盖。
在一个实施例中，提供了一种用于呈现图形元素的方法，该方法包括：从设备的显示缓冲区获取图像数据，并分析图像数据以识别主动区和被动区。可以对识别出的被动区进行排名，以确定每个被动区的置信测度。可以把将显示在设备上的图像数据修改为包括根据排名呈现在被动区中的图形元素。与用于显示图形元素的传统方法相反，图形元素的定位没有被固定在特定位置，并且图形元素的呈现可以被定位以避免遮挡图像数据元素。
在另一个实施例中，提供了一种设备，该设备可以被配置为分析显示缓冲区的内容，并且根据存储在显示缓冲区中的图像数据呈现图形元素。该设备可涉及具有显示器的设备、或被配置为处理用于显示器的图像数据的设备。
这里使用的术语“一个”或“一种”应指代一个(种)或多于一个(种)。术语“多个”应指代两个或多于两个。术语“另一个”被定义为第二个或更多个。术语“包括”和/或“具有”是开放式的(例如，包括)。这里使用的术语“或”被理解为包含性的或指代任何一个或任何组合。因此，“A、B或C”表示以下含义中的任意一种：A；B；C；A和B；A和C；B和C；A、B和C。只有当元素、功能、步骤或动作的组合在某些方面内在地相互排斥时，这种定义的例外情况才会出现。
全文中引用的“一个实施例”、“某些实施例”、“实施例”或类似术语意味着，结合实施例描述的特定特征、结构或特性被包括在至少一个实施例中。因此，贯穿说明书出现在各个位置的这些短语并不必然全指相同的实施例。此外，特定特征、结构或特性可以被以任何适当的方式不受限制地结合在一个或多个实施例中。
按照计算机编程领域的技术人员的实践，以下参照计算机系统或相似的电子系统执行的操作来描述一个或多个实施例。这些操作有时被称为由计算机执行的。将会理解，象征性表示的操作包括诸如中央处理单元之类的处理器对表示数据位和诸如系统存储器之类的存储器位置处的数据位的维护的电子信号的操纵以及其他信号处理。维持数据位的存储器位置是具有对应于该数据位的特定的电、磁、光或有机特性的物理位置。
当在软件中实现时，实施例的元素实质上是执行必要任务的代码段。代码段可以被存储在处理器可读介质中，该处理器可读介质可以包括能存储或传递信息的任何介质。处理器可读介质的示例包括电子电路、半导体存储设备、只读存储器(ROM)、闪存或其他非易失性存储器、软盘、CD-ROM、光盘、硬盘等。
示例性实施例
现在参照附图，图1示出了可由一个或多个实施例用来呈现图形元素的图像数据获取的图示。图1包括图像数据100，该图像数据可涉及由设备显示的存储在设备的缓冲区(buffer，缓冲器)中的内容。例如，图像数据100可涉及在设备进行显示之前被存储在帧缓冲区中的视频图像数据。根据一个实施例，可以动态地分析图像数据100，以确定图像数据的被动区和/或主动区，以便呈现一个或多个图形元素。根据设备对图像数据100的分析，可以与图像数据100的现有内容一起呈现一个或多个图形元素。
图像数据100被描绘为包括帧1051-n。帧1051-n可以是视频数据的帧，其中，该视频数据可以为例如广播数据、从介质(例如，视频盘、Blu-rayTM等)读取的数据、和由设备存储的数据。在一个实施例中，可以获取图像数据100的一个或多个帧，以分析图像数据。一个或多个帧可以被从设备的缓冲区获取，并且可以被转换成被描绘为110的图像，其中该图像可以被用来识别图像数据100的主动区和/或被动区。在一个实施例中，图像数据100的多个连续帧可以被结合或转换，以生成图像110。在另一个实施例中，图像数据100的多个非连续帧可以被结合或转换为图像110。图像110包括一般被描绘为115的内容，该内容可以是图像数据100的主题。内容115涉及体育赛事的示例性视频图像，该视频图像可以被描述为主要内容。除了图像数据100的主要内容之外，一个或多个图形元素可以被包括在图像数据100中。通过示例，图像110包括涉及得分和定时指示符的图形元素120。图像110还包括包括文本显示的图形元素125。当图像数据100涉及广播视频数据时，图形元素120和125可涉及被广播员添加到图像数据100的内容。然而，类似形式的内容可由其他媒体类型提供。例如，当图像数据100涉及电影时，图像数据可以包括覆盖在主要图像内容上的副标题的图形元素。图像110可由设备生成，以说明图形元素(诸如图形元素120和125)并且识别主动区和被动区。
图1示出了设备根据图像110确定的被动区1301-n。被动区1301-n可以是屏幕上的遮挡重要信息的几率低的图像数据100的区域。例如，被动区可以是文本几率低的区域。类似地，被动区可以是具有高频率的特定颜色或小的颜色集合的区域。如这里将描述的，被动区可以根据一个或多个附加属性来确定。还应当理解，被动区可以根据以下将讨论的图像110的主动区来确定。根据另一个实施例，可以识别被动区以确定图形元素的定位。
现在参照图2，示出了可由设备显示的图像数据的图示。图2可涉及基于图1的图像数据的分析的设备的显示窗口。通过示例，根据在图像(如图像110)中识别出的一个或多个被动区(例如，被动区1301-n)，设备可以显示除图像数据之外的图形元素。图2示出了设备的显示窗口200。设备显示的图像数据通常被表示为205，该图像数据可涉及视频或图像数据，并且可以包括图形元素210(例如，图形元素120)和图形元素215(例如，图形元素125)。根据一个实施例，基于对用于显示的图像数据(例如，设备的缓冲区存储的图像数据)的分析，设备可以选择被动区220并且在被动区220中呈现图形元素225。这样，图形元素225可以被呈现在屏幕上，而不遮挡图像数据的重要部分。此外，设备呈现的屏幕布局可以被改变，并且可以根据使用的应用程序的不同而各异。这样，根据对图像数据的分析而呈现图形元素225可以改善用户体验。
图形元素225被描绘为允许用户选择菜单的一个或多个元素以控制设备的操作的用户界面菜单。然而，应该明白，其它类型的图形元素可以被呈现。例如，图形元素225可以被显示为一个或多个可选的设备命令，例如数字视频记录(DVR)命令、访问频道列表、编程指南、和广播信息等。根据另一个实施例，图形元素225可以是消息，该消息例如是社交网络应用消息、电子邮件、对话框、即时消息应用、网络日志等中的一个或多个。此外，这里讨论的图形元素225可以根据将被显示的图像数据的内容而被定位和/或修改。
现在参照图3，示出了根据一个实施例的设备的简化方框图。设备300可涉及被配置为显示图像数据的设备，包括但不限于显示设备、个人通信设备、媒体播放器等。在某些实施例中，设备300可涉及被配置为与诸如机顶盒、媒体播放器之类的显示设备接口的外围设备。如图3所示，设备300包括处理器305、存储器310、显示器315、输入/输出(I/O)接口320和显示缓冲区325。设备300的元件可以被配置为通过通信总线330来通信并交互操作。处理器305可以被配置为根据存储在存储器310中的一个或多个计算机可执行指令来控制设备300的操作。在一个实施例中，处理器305可以被配置为控制图像内容的显示，并且提供多个用户控制特征。存储器310可以涉及RAM和ROM存储器之一，并且可以被配置为存储一个或多个文件、以及供设备300操作的计算机可执行指令。尽管被描绘为单个存储器单元，但是存储器310可以涉及内部设备存储器和可移动存储器中的一个或多个。存储器310可以存储一个或多个电子书和书签文件。
显示器315可用于显示诸如视频数据之类的图像数据，并且显示一个或多个由处理器305执行的应用。在某些实施例中，显示器315可涉及触屏显示器。I/O接口320可用于控制设备300的操作，其中控制设备300的操作包括控制显示用的内容的选择以及控制设备300的操作。I/O接口320可包括一个或多个供用户输入的按钮，该按钮诸如是数字键区、音量控件、菜单控件、定点设备、轨迹球、模式选择按钮和重放功能(例如，播放、停止、暂停、前进、后退、慢动作等)。I/O接口320的按钮可以包括硬按钮和软按钮，其中软按钮的功能可取决于在设备300上运行的一个或多个应用。I/O接口320可以包括允许设备300通过有线或无线通信来通信的一个或多个元件。I/O接口320可以包括一个或多个用于接收数据的端口，其中这些端口包括用于可移动存储器的端口。I/O接口320可被配置为允许基于网络的通信，包括但不限于LAN、WAN、Wi-Fi等。
显示缓冲区325可被配置为驱动显示器315显示图像数据。在一个实施例中，显示缓冲区325可被配置为在显示之前存储图像数据。在某些实施例中，显示缓冲区325可被配置为存储图像数据长达10分钟。然而，应该明白，显示缓冲区325可被配置为将数据持续保存其他长度的时间段。根据另一个实施例，显示缓冲区325可以被配置为输出由缓冲区存储的数据到存储器305，以供分析图像数据。在某些实施例中，存储器305可被配置为分析缓冲区325存储的图像数据以监控主动区和被动区。以那种方式，设备可被配置为当根据显示缓冲区325中的经分析的图像数据检测到用户输入时呈现图形元素。
现在参照图4，示出了根据一个或多个实施例呈现图形元素的过程。过程400可用来通过分析用于显示的内容并确定覆盖图形元素的位置来动态地呈现图形元素，其中该位置降低了干扰所显示的图像数据的几率。过程400可被图3的设备、显示设备、多媒体设备、被配置为处理用于显示设备的图像数据的设备、计算设备、个人通信设备、游戏系统等使用。
处理400可通过在方框405处获取用于显示的图像数据而开始。在方框405处获取的图像数据可由设备的显示缓冲区(例如，显示缓冲区325)存储。方框405处的获取图像数据可以包括将图像数据分割为一个或多个图像(诸如，帧)。在某些实施例中，图像数据可以在设备进行显示之前或设备输出图像数据之前在方框405处被获取。例如，存储在显示缓冲区中的一个或多个帧可以在显示之前被提供给处理器。当获取了多个帧时，可以分析一系列连续帧。在某些实施例中，可以分析非连续帧，其中在时间间隔期间选择一个或多个帧，各个帧以时间延迟被分开。在其他实施例中，图像数据可以在设备显示期间在方框405处被获取。例如，可以分析显示缓冲区的输出，以辨认图像数据的区域的特征。在某些实施例中，在方框405处获取的图像数据可以被转换为单个图像，以供分析被动区和主动区。在方框405处，可以从视频流获取包括一个或多个图形元素和文本元素的图像数据。
在方框410处，可以分析在方框405处获取的图像数据，以确定主动区和被动区。处理器可以使用角检测和移动窗口直方图分析来分析图像数据，从而确定主动区和被动区。角检测可以包括检测两个边缘的交叉点或以下的点，其中图像数据中存在该点的附近区域内的两个占优势的不同边缘方向。移动窗口直方图(例如，滑动窗口直方图)可以包括生成横跨图像的数据窗口，以生成每个位置的视觉数据的直方图。这样，图像数据的像素可以被分为不同的类别，以识别图像数据的元素的不同区域。根据图像数据的特征，可以选择允许根据图像数据显示图形元素的区域。如上所述，被动区可以是具有高频率的特定颜色或特定颜色集合的区域。一般，被动区具有直方图窗口中的变化的数值以及低文本显示几率。主动区可以是具有高文本几率和平直方图窗口的区域。在某些实施例中，对于图像数据的文本分析可以使用级联滤波器来执行，以建立特征集直方图，该特征集直方图具有一个或多个颜色，并且这些颜色在频域中具有较大的数值。
过程400在方框415处继续对被动区进行排名。可使用大小为(例如)0到1的表示区域特征的置信测度来对被动区进行排名。这些区域可根据图形元素遮掩重要信息的几率来排名，并且还可根据将要显示的图形元素的一个或多个属性来排名。例如，当图形元素涉及文本或消息框时，消息框的显示属性(如消息框的显示尺寸)可以在对区域进行排名的时候予以考虑。
在方框420处，可以将显示器的图像数据修改为包括图形元素。例如，可选择可以显示图形元素的最大毗邻被动区。然后在显示图形元素期间，可将图形元素定位在所选的被动区中。在某些实施例中，可以调整图形元素的大小，以使图形元素的大小与图像数据的被动区一致。
现在参照图5A-5B，示出了根据一个或多个实施例的包括图形元素的设备的显示窗口的图示。显示窗口500可由设备根据对图像数据的分析来显示，以确定一个或多个主动区和被动区。显示窗口500中显示的图像数据可以包括视频数据505的主题和一个或多个图形元素(如商标510和滚动文本显示515)。根据用户命令，设备可以被配置为显示图形元素。设备可以分析显示窗口500的图像数据并且确定被动区。如图5A所示，可以选择被动区520用于显示图形元素525。图形元素525被描绘为用于控制所记录的视频数据的方向控件。至少部分根据用户命令，图形元素525可以被如显示窗口的上方区域所示地显示。设备可以被配置为监控图像数据，其中图形元素525可以根据所显示的图像数据的改变而被重新定位和/或调整大小。
现在参照图5B，示出了显示窗口500，其中可以将图5A的图像数据修改为包括图形元素535的显示。根据一个实施例，基于显示器元素的改变，如图5B所示，图形元素525可以被重新定位到被动区540中。
现在参照图6A-6B，示出了显示窗口以及对区域分析以确定一个或多个被动区和主动区的图示。首先参照图6A，示出了对用于分析图像数据的内容的图像进行分割的图示。图像数据600可由网格系统(grid system)分割，其中可以分析与每个块(如605所示)相关联的像素。在某些实施例中，可以独立于整个网格来分析网格的多个部分，以减少所处理的图像数据的量。例如，可以在其他块的图像数据600之前或与其结合来分析区域610a-610d，以确定一个或多个被动区。
根据另一个实施例，对图像数据的分析可被局限于显示窗口的预定区域，其中用户可能习惯于从显示窗口看图形元素。如图6B所示，可以参照区域620a-620b来分析图像数据615。分析特定区域可以包括分析每个区620a-620b中的子区。可以选择区域620a-620b之一显示图形元素。
现在参照图6C，示出了图像数据625的图示。可以分析图像数据625以确定主动区和被动区。处理器可根据图像数据相对于多个帧的变化来确定主动区和被动区。根据这些变化，处理器可以确定与主动区相关联的变化的强度，其中，主动区在图6C中被描绘为矩形区域640和645。根据图像内容实质上保持类似的图像数据的区域，可以确定被动区(如被动区630和635)。确定被动区可进一步包括分析文本数据，其中该文本数据对重要的图像数据的图形元素而言是具有决定性的。可将这些区块表示为主动区，即使对于该区域而言像素数据实质上是类似的。
根据另一实施例，可以分析图像数据以确定高活动性的特定区。例如，图像数据可以与电影相关联，并且可以包括显示窗口的中心区，该中心区涉及主动区。图6D示出了显示窗口，其中主动区665被集中在图像数据的特定区域中。根据一个实施例，多个图形元素可以和图像数据650一起显示，其中图形元素被显示在第一被动区655中，第二图形元素被显示在第二被动区660中。通过示例，第一和第二被动区可以包括方向命令。可替代地，被动区655和660可用来显示不同类型的图形元素。
虽然通过参考这些示例性实施例具体示出并说明了本公开，但本领域的普通技术人员将会理解，在不脱离所附权利要求包含的实施例范围的情况下，可在形式和细节上做出不同的改变。
Claims (30)
1.一种用于呈现显示器用的图形元素的方法，所述方法包括：
从设备的显示缓冲区获取图像数据；
分析所述图像数据以识别所述图像数据的主动区和被动区；
对被动区进行排名以确定每个被动区的置信测度；以及
将用于显示在所述设备上的所述图像数据修改为包括图形元素，其中所述图形元素根据所述排名被呈现在被动区中。
2.如权利要求1所述的方法，其中所述图像数据是从所述设备的帧缓冲区获取的。
3.如权利要求1所述的方法，其中获取图像数据包括将所述图像数据分割为一个或多个图像。
4.如权利要求1所述的方法，其中所述图像数据在所述设备进行显示之前被获取。
5.如权利要求1所述的方法，其中所述图像数据在所述设备进行显示期间被获取。
6.如权利要求1所述的方法，其中所述图像数据是缓冲的视频数据，所述缓冲的视频数据包括图形元素和文本数据中的至少一种。
7.如权利要求1所述的方法，其中所述图像数据是用于显示为移动设备、显示设备和媒体播放器中的至少一个上的用户界面的图像数据。
8.如权利要求1所述的方法，其中分析所述图像数据包括角检测和移动窗口直方图分析中的至少一种，以识别主动区和被动区。
9.如权利要求1所述的方法，其中分析所述图像数据包括对所述图像数据的连续帧和非连续帧之一进行采样。
10.如权利要求1所述的方法，其中主动区包括文本几率高的图像数据以及展示不同程度的颜色成分的变化的图像数据中的一个或多个。
11.如权利要求1所述的方法，其中被动区包括文本几率低的图像数据以及展示与特定颜色成分的高相关性的图像数据中的一个或多个。
12.如权利要求1所述的方法，其中对被动区进行排名包括对图像区进行级联滤波，以建立该被动区的颜色梯度和平均梯度值。
13.如权利要求1所述的方法，其中修改所述显示器的图像数据包括将一个或多个图形元素添加到所述显示器输出中。
14.如权利要求1所述的方法，进一步包括根据被动区的特征修改图形元素的形状和呈现尺寸中的一个或多个。
15.一种存储在计算机可读介质上的计算机程序产品，所述计算机可读介质包括用于呈现图像数据的计算机可执行代码，所述计算机程序产品包括：
从设备的显示缓冲区获取图像数据的计算机可读代码；
分析所述图像数据以识别所述图像数据的主动区和被动区的计算机可读代码；
对被动区进行排名以确定每个被动区的置信测度的计算机可读代码；以及
将用于显示在所述设备上的所述图像数据修改为包括图形元素的计算机可读代码，其中所述图形元素根据所述排名被呈现在被动区中。
16.如权利要求15所述的计算机程序产品，其中所述图像数据是从所述设备的帧缓冲区获取的。
17.如权利要求15所述的计算机程序产品，其中获取图像数据包括将所述图像数据分割为一个或多个图像。
18.如权利要求15所述的计算机程序产品，其中所述图像数据在所述设备进行显示之前被获取。
19.如权利要求15所述的计算机程序产品，其中所述图像数据在所述设备进行显示期间被获取。
20.如权利要求15所述的计算机程序产品，其中所述图像数据是缓冲的视频数据，所述缓冲的视频数据包括图形元素和文本数据中的至少一种。
21.如权利要求15所述的计算机程序产品，其中所述图像数据是用于显示为移动设备、显示设备和媒体播放器中的至少一个上的用户界面的图像数据。
22.如权利要求15所述的计算机程序产品，其中分析所述图像数据包括角检测和移动窗口直方图分析中的至少一种，以识别主动区和被动区。
23.如权利要求15所述的计算机程序产品，其中分析图像数据包括对所述图像数据的连续帧和非连续帧之一进行采样。
24.如权利要求15所述的计算机程序产品，其中主动区包括文本几率高的图像数据以及显示不同程度的颜色成分的变化的图像数据中的一个或多个。
25.如权利要求15所述的计算机程序产品，其中被动区包括文本几率低的图像数据以及显示与特定颜色成分的高相关性的图像数据中的一个或多个。
26.如权利要求15所述的计算机程序产品，其中对被动区进行排名包括对图像区进行级联滤波，以建立该被动区的颜色梯度和平均梯度值。
27.如权利要求15所述的计算机程序产品，其中修改所述显示器的图像数据包括将一个或多个图形元素添加到所述显示器输出中。
28.如权利要求15所述的计算机程序产品，进一步包括根据被动区的特征修改图形元素的形状和呈现尺寸中的一个或多个。
29.一种设备，包括：
显示缓冲区；以及
耦和至所述显示缓冲区的处理器，所述处理器被配置为：
从所述显示缓冲区获取图像数据；
分析所述图像数据以识别所述图像数据的主动区和被动区；
对被动区进行排名以确定每个被动区的置信测度；以及
将用于显示在所述设备上的所述图像数据修改为包括图形元素，其中所述图形元素根据所述排名被呈现在被动区中。
30.如权利要求29所述的设备，其中所述设备涉及显示设备、个人通信设备、手持计算设备和通用计算设备中的一个或多个。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/180,850 | 2011-07-12 | ||
| US13/180,850 US8446432B2 (en) | 2011-07-12 | 2011-07-12 | Context aware user interface system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102880381A true CN102880381A (zh) | 2013-01-16 |
| CN102880381B CN102880381B (zh) | 2015-06-24 |
Family
ID=47481732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210229626.0A Expired - Fee Related CN102880381B (zh) | 2011-07-12 | 2012-06-29 | 上下文感知用户界面系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8446432B2 (zh) |
| JP (1) | JP5685224B2 (zh) |
| KR (1) | KR101360721B1 (zh) |
| CN (1) | CN102880381B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392915A (zh) * | 2016-05-14 | 2017-11-24 | 谷歌公司 | 基于捕获内容的截屏图像的像素将计算设备上显示的内容分割成区域 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110110433A (ko) * | 2010-04-01 | 2011-10-07 | 삼성전자주식회사 | 영상 표시 장치 및 영상 표시 방법 |
| US9348479B2 (en) * | 2011-12-08 | 2016-05-24 | Microsoft Technology Licensing, Llc | Sentiment aware user interface customization |
| US9378290B2 (en) | 2011-12-20 | 2016-06-28 | Microsoft Technology Licensing, Llc | Scenario-adaptive input method editor |
| CN110488991A (zh) | 2012-06-25 | 2019-11-22 | 微软技术许可有限责任公司 | 输入法编辑器应用平台 |
| US8959109B2 (en) | 2012-08-06 | 2015-02-17 | Microsoft Corporation | Business intelligent in-document suggestions |
| JP6122499B2 (ja) | 2012-08-30 | 2017-04-26 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 特徴に基づく候補選択 |
| CN105580004A (zh) | 2013-08-09 | 2016-05-11 | 微软技术许可有限责任公司 | 提供语言帮助的输入方法编辑器 |
| US10346023B2 (en) | 2014-02-27 | 2019-07-09 | Dropbox, Inc. | Selectively emphasizing digital content |
| US9836205B2 (en) | 2014-02-27 | 2017-12-05 | Dropbox, Inc. | Activating a camera function within a content management application |
| US10503453B2 (en) * | 2014-10-30 | 2019-12-10 | Dropbox, Inc. | Interacting with digital content using multiple applications |
| CN106101810B (zh) * | 2016-08-15 | 2019-09-20 | 青岛海信电器股份有限公司 | 用于智能电视的界面主题变换方法、装置及智能电视 |
| EP4459619A2 (en) | 2016-11-07 | 2024-11-06 | Snap Inc. | Selective identification and order of image modifiers |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060012715A1 (en) * | 2004-07-14 | 2006-01-19 | Koichi Abe | Image display apparatus and image display method |
| JP2006050070A (ja) * | 2004-08-02 | 2006-02-16 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| US7149968B1 (en) * | 2000-01-21 | 2006-12-12 | Siemens Aktiengesellschaft | Method for the simultaneous non-overlapping representation of at least two data visualization windows in a display area of a monitor of a data processing installation |
| JP2011009816A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Corp | 画像再生装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5822123A (en) * | 1993-09-09 | 1998-10-13 | Davis; Bruce | Electronic television program guide schedule system and method with pop-up hints |
| US6971068B2 (en) | 2001-07-26 | 2005-11-29 | International Business Machines Corporation | Dialog box positioning |
| JP2006155343A (ja) * | 2004-11-30 | 2006-06-15 | Sanyo Electric Co Ltd | 表示装置、及び、表示プログラム |
| KR20070020994A (ko) * | 2005-08-17 | 2007-02-22 | 삼성전자주식회사 | 영상신호 변환장치 및 그 방법 |
| US7437678B2 (en) * | 2005-10-27 | 2008-10-14 | International Business Machines Corporation | Maximizing window display area using window flowing |
| US7770109B2 (en) | 2005-12-16 | 2010-08-03 | Microsoft Corporation | Adaptive layout for content |
| KR20110046928A (ko) * | 2009-10-29 | 2011-05-06 | 엘지전자 주식회사 | 영상의 디스플레이 장치 및 방법 |
-
2011
- 2011-07-12 US US13/180,850 patent/US8446432B2/en active Active
-
2012
- 2012-06-15 KR KR1020120064071A patent/KR101360721B1/ko active IP Right Grant
- 2012-06-29 CN CN201210229626.0A patent/CN102880381B/zh not_active Expired - Fee Related
- 2012-07-02 JP JP2012160949A patent/JP5685224B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7149968B1 (en) * | 2000-01-21 | 2006-12-12 | Siemens Aktiengesellschaft | Method for the simultaneous non-overlapping representation of at least two data visualization windows in a display area of a monitor of a data processing installation |
| US20060012715A1 (en) * | 2004-07-14 | 2006-01-19 | Koichi Abe | Image display apparatus and image display method |
| JP2006050070A (ja) * | 2004-08-02 | 2006-02-16 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| JP2011009816A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Corp | 画像再生装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392915A (zh) * | 2016-05-14 | 2017-11-24 | 谷歌公司 | 基于捕获内容的截屏图像的像素将计算设备上显示的内容分割成区域 |
| US10147197B2 (en) | 2016-05-14 | 2018-12-04 | Google Llc | Segment content displayed on a computing device into regions based on pixels of a screenshot image that captures the content |
| CN107392915B (zh) * | 2016-05-14 | 2019-04-09 | 谷歌有限责任公司 | 基于捕获内容的截屏图像的像素将计算设备上显示的内容分割成区域 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130016113A1 (en) | 2013-01-17 |
| JP5685224B2 (ja) | 2015-03-18 |
| KR101360721B1 (ko) | 2014-02-07 |
| JP2013033471A (ja) | 2013-02-14 |
| US8446432B2 (en) | 2013-05-21 |
| KR20130008454A (ko) | 2013-01-22 |
| CN102880381B (zh) | 2015-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102880381B (zh) | 上下文感知用户界面系统 | |
| US11726645B2 (en) | Display apparatus for classifying and searching content, and method thereof | |
| US10499109B2 (en) | Method and apparatus for providing combined barrage information | |
| US8935169B2 (en) | Electronic apparatus and display process | |
| US8559683B2 (en) | Electronic apparatus and scene-type display method | |
| US7986819B2 (en) | Electronic apparatus and video display method | |
| CN104166547B (zh) | 一种频道的控制方法和装置 | |
| CN105635519B (zh) | 视频处理方法、装置及系统 | |
| KR20120095299A (ko) | 계층적 메뉴 기반 사용자 인터페이스를 탐색하는 방법 및 장치 | |
| EP2728859A2 (en) | Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof | |
| CN105487742A (zh) | 多应用窗口的显示方法和装置 | |
| JP4856105B2 (ja) | 電子機器および表示処理方法 | |
| KR102147389B1 (ko) | 디스플레이 장치 및 이의 제어 방법 | |
| US20170171629A1 (en) | Display device and method for controlling the same | |
| US9207841B2 (en) | Online video distribution | |
| CN110692251A (zh) | 修改数字视频内容 | |
| KR20160134355A (ko) | 디스플레이 장치 및 이의 제어 방법 | |
| US20150026744A1 (en) | Display system, display apparatus, display method, and program | |
| CN112492382B (zh) | 视频帧提取方法、装置、电子设备和存储介质 | |
| CN105930024A (zh) | 交互界面显示方法、装置及用户终端 | |
| KR20150026255A (ko) | 디스플레이 장치 및 그 제어 방법 | |
| US10783930B2 (en) | Display control device, display control method, and computer program product | |
| CN105630579A (zh) | 一种能选择性播放的电脑 | |
| EP2824609A1 (en) | Methods of sifting out significant visual patterns from visual data | |
| CN105916035A (zh) | 一种快速定位播放时间点的显示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150624 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |