CN1265625C - 视频显示装置和控制画中画显示的显示特性的方法 - Google Patents

视频显示装置和控制画中画显示的显示特性的方法 Download PDF

Info

Publication number
CN1265625C
CN1265625C CNB028129156A CN02812915A CN1265625C CN 1265625 C CN1265625 C CN 1265625C CN B028129156 A CNB028129156 A CN B028129156A CN 02812915 A CN02812915 A CN 02812915A CN 1265625 C CN1265625 C CN 1265625C
Authority
CN
China
Prior art keywords
image
pip
gesture
user
audio instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028129156A
Other languages
English (en)
Other versions
CN1520685A (zh
Inventor
E·科亨-索拉尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1520685A publication Critical patent/CN1520685A/zh
Application granted granted Critical
Publication of CN1265625C publication Critical patent/CN1265625C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Abstract

本发明提供了一种视频显示装置，包括：显示器，可显示一主图像和一覆盖在该主图像上的画中画图像；音频输入装置，用于接收用户的音频信息；视频输入装置，用于接收用户的图像信息；处理器，与该显示器连接，用于：接收主图像的第一视频数据流，接收该画中画图像的第二视频数据流，分析所述音频信息，以便识别与所述画中画图像相关的音频指令；接收所述音频指令之后分析所述图像信息，以便识别与所述画中画图像的显示特性中的变化相关的手势，以及响应于所述音频指令和相关的所述手势来改变画中画图像的显示特性。本发明还提供了一种控制覆盖在主图像上的画中画显示的显示特性的方法。

Description

视频显示装置和控制画中画显示的显示特性的方法
技术领域
本发明涉及一种改善家庭电视的使用的方法和装置。特别地，本发明涉及一种可被重定位和/或调整尺寸的画中画(PIP)显示。
背景技术
在电视显示器上同时显示多于一个视频画面的性能对于电视来说是很常见的。通常该显示器被分为两个或多个部分，其中该显示器的一个主要部分被用于显示第一视频数据流(例如一个给定的电视频道)。第二视频数据流被同时地显示在一个显示框中，该显示框像插图一样被显示在第一数据流的显示画面之上。该插入框通常被表示为画中画显示(“PIP”)。此PIP具有使电视观众可同时观看两个或多个视频数据流的功能。该功能在这种情况下是很有用的，当一个给定电视频道上开始一个商业片断时，观众希望在此商业片断期间“搜索”其它的选择电视频道，然而又不希望错过返回商业片断的观看。在其它时候，观众可能希望搜索其它的视频内容，或是仅仅观看其它内容而不错过另一个选择频道的内容。
在任何情况下，PIP的问题在于PIP通常都是在覆盖在一个主要画面之上的一个插入框中显示。覆盖的PIP由于主画面的一部分被遮盖，因而效果不理想。
在现有的系统中，PIP可利用遥控输入来实现，从而用户可决定PIP的尺寸以避免使下面的视频图像部分被遮盖。在其它系统中，用户可利用遥控来移动PIP至视频屏幕的预定或可选择的部分上。然而，这些系统很不方便或很难于被用户所操作。
在某些系统中，电视机可以响应于声音控制来控制电视机的功能，例如频道选择和音量控制。
然而，这些系统的问题在于用户并不熟悉声音控制，而且声音识别系统在辨别不同的控制特性上是个难题。此外，常常有可能声音信号并不希望被作为控制命令。
在计算机视觉技术中，已知有的系统可响应于用户的手势来控制给定系统的特性，但这些系统也是难以操作的，并且有可能用户的不正确检测手势并不希望被作为控制手势。
因此，本发明的目的是克服现有技术中的缺点。
发明内容
本发明的系统具有一个视频显示装置，例如电视机，其具有一画中画(PIP)显示和一个处理器。该系统还具有例如麦克风这样的音频输入装置，和例如摄像机这样的视频输入装置，用于进行根据本发明的操作。
该系统利用用户的音频指令和相关手势的结合来控制PIP显示特性，例如PIP在显示屏中的位置以及PIP的尺寸。麦克风用于捕获音频指令，处理器执行一个识别操作来确定用户希望执行PIP控制命令。然后，摄像机捕获用户的一个图像或一系列图像，该图像包含用户带有一个手势的至少某一部分。然后该处理器识别该手势并响应于音频指令和手势的结合来执行一个PIP显示特性。
本发明提供了一种视频显示装置，包括：
一个显示器，可显示一主图像和一覆盖在该主图像上的画中画图像；
一个音频输入装置，用于接收用户的音频信息；
一个视频输入装置，用于接收用户的图像信息；
一个处理器，与该显示器连接，用于：
-接收主图像的第一视频数据流，
-接收该画中画图像的第二视频数据流，
-分析所述音频信息，以便识别与所述画中画图像相关的音频指令；
-接收所述音频指令之后分析所述图像信息，以便识别与所述画中画图像的显示特性中的变化相关的手势，以及
响应于所述音频指令和相关的所述手势来改变画中画图像的显示特性。
本发明还提供了一种控制覆盖在主图像上的画中画显示的显示特性的方法，该方法包括以下步骤：
从一个音频输入装置接收用户的音频信息；
从一个视频输入装置接收用户的图像信息；
分析所述音频信息，以便识别用户的音频指令；
判断该接收的音频指令是否为多个需要的音频指令中的一个；
如果音频指令为需要的多个音频指令中的一个，则分析所述图像信息，以便识别与所述画中画图像的显示特性相关的手势；和
如果该手势为与该音频指令相关的手势，则控制画中画图像的显示特性。
附图说明
以下是对本发明实施例的说明，结合附图可阐明上述的特征和优点。应当明白所包含的附图是为了举例说明而不能代表本发明的保护范围，本发明的保护范围由随后的权利要求来定义。本发明最好结合相应的附图来理解，其中：
图1示出了根据本发明一个实施例的示例性系统；
图2示出了说明本发明一个实施例的操作的流程图；
图3示出了根据本发明一个实施例，用于训练该系统来识别音频指令和/或手势的准备步骤的流程图。
具体实施方式
在以下的论述中，将根据特定的实施例或系统而举例性的使用一定的术语以便于论述。对于本发明的普通技术人员来说显而易见，这些术语应当被理解为还包含易于实现本发明的其它类似的已知方式。
图1示出了根据本发明一个实施例的示例性系统100，包括一个显示器110，可操作地与处理器120相耦合，和一个遥控装置130。处理器120和遥控装置130通过一个红外(IR)接收器125如已知技术那样被可操作地耦合，红外接收器125可操作地与处理器120相耦合，IR发射器131可操作地与遥控装置130相耦合。
显示器110可以是电视接收机或者其它可再生用户能够观看或收听的音视频内容的装置。处理器120可在显示器110上产生一个画中画(PIP)显示，如本领域的普通技术人员所知的那样。根据本发明的处理器120还可对PIP进行定位和尺寸调整。
遥控装置130包括多个按钮，可进行如现有技术所知的操作。特别的，遥控装置130还包含一个PIP按钮134，一个对换按钮132，和PIP位置控制按钮137A，137B，137C，137D。PIP按钮134可用于启动PIP功能，在显示器110上显示一个PIP。对换按钮132将显示在显示器110上的一个PIP图像和一个主显示图像相对换。PIP位置控制按钮137A，137B，137C，137D使用户可手动地在显示器110的可选择位置上重定位PIP。遥控130还可包含其它控制按钮，如现有技术所知，例如频道选择键139A，139B和138A，138B用于分别为PIP图像和主显示图像选择视频数据流。
对本领域的技术人员来说显而易见，虽然按钮138A，138B，139A，139B被作为频道选择按钮示出，但按钮138A，138B，139A，139B也可用于在一个或多个其它视频源中的多个视频数据流中进行选择。例如，任何一个视频数据流源(例如PIP和主要显示图像)可以为广播视频图像流，而其他源可以为存储装置。该存储装置(例如VHS模拟磁带)，数字存储装置例如硬盘驱动器，光盘存储装置等，以及其他任何已知的用于存储视频数据流的装置。事实上，PIP和主显示图像中的任意一个的视频数据流的任何源都可在不脱离本发明范围的情况下根据本发明而被使用。
但是如上所述，遥控装置很难用于PIP的操作。另外，经常需要根据主显示图像的变化来操作PIP，例如缩放和移动。例如，随着主显示图像的场景的转换主显示图像中的目标区域也将改变。
根据本发明，为了便于PIP，特别是该PIP的显示特性(例如尺寸，位置等)的操作，处理器可操作的与麦克风122这样的音频输入装置和摄像机124这样的图像输入装置连接。该麦克风122与摄像机124分别用于从用户140处捕获音频指令和相关的手势，以便于PIP的控制。
特别的根据本发明，系统100利用相关手势144之后紧接着的一个音频指令142来控制PIP。该手势144之后紧跟着的一系列音频指令142也可用于启动(例如打开)PIP。该音频指令142和手势144彼此相关，从而系统100可以区分用户不用于PIP控制的指令和手势。特别的，手势144之后紧随着的音频指令142这样的结合，可防止系统100根据错误的背景音频以及由于用户在系统100或其附近的动作引起的手势指令而错误的启动PIP。
另外，该音频指令142和手势144彼此相关，从而使系统100可以区别与PIP尺寸和位置相关的指令。特别的，一个特定的手势可以与两个或更多个音频指令相关联。例如在“大拇指向上”的手势之后紧跟着“PIP尺寸”的指令可用于增加PIP的尺寸。但是在“大拇指向上”的手势之后紧跟着“PIP位置”的指令可用于在向上方向上重新定位PIP。本发明其他的操作将参照图2和图3进行说明。图2示出了本发明一个实施例的流程图200。如图2中流程图所示，在处理205期间，用户140向系统100，特别是麦克风输入122提供一音频指令142。该音频指令向系统100指令用户发出一个PIP相关指令，并指令需要进行PIP操作。该系统100将继续接收和翻译音频输入直到接收到一个被识别的音频指令。术语被识别的意思是，系统100必须接收一个音频指令，该指令可由系统100来识别并与PIP的显示特性相关。
该音频指令142可以为一个简单的单个词汇，例如用户140说出“PIP”，从而简单的指令应当紧接着出现一个PIP相关手势144。如上所述，音频指令和手势的结合是相关的，从而对于一个给定的音频指令系统100只期待一个或多个相随着的手势。在发出一简单的音频指令，例如“PIP”时，一紧随的手势将指令系统需要的PIP相关操作。例如手指(例如大拇指)向上，向下，向左，向右，斜向等指令，可指令PIP希望的位置。
一个音频指令之后紧随着一个相关的手势这样的结合还可以启动PIP，该PIP之前没有被一个分离的音频指令和相关手势，或遥控器130启动。其他手势可用于指令与PIP尺寸相关的命令，例如两个手指靠在一起表示希望减少PIP的尺寸等。用户还可将两个手指彼此远离来指令希望增加PIP的尺寸。
应当理解上述音频指令和手势的例子仅是为了说明本发明的操作，并不能对其进行限定。本领域的普通技术人员很容易实现多种音频指令和对应手势的组合。因此，上述实施例并不能限制本发明的范围。
音频指令还可以为比较复杂的多单词句子，例如“PIP尺寸”，用于指令系统100下面的相关手势作为改变PIP尺寸的命令。在任何情况下，在处理210中，处理器120都将音频指令的识别作为一个与PIP相关的音频指令。下面将进一步说明除了手势识别处理以外的该识别处理。当音频指令没有被识别作为与PIP相关的音频指令时，则如图2所示，处理器120转到处理205，继续监视音频指令直到识别一个与PIP相关的音频指令。
当系统100识别到一个音频指令时，则在处理230期间，处理器120将通过摄像机124获取用户140的一个或一系列图像。目前已经存在用于获取和识别用户手势的系统。例如，根据国际手势工作组1999年对基于手势的人机交互通讯的会议记录，Ying Wu和Thomas S.Huang所作的题目为“可视手势识别：评论”中描述了具有控制功能的手势的应用。这里参考引用该文章。
通常，存在两种识别手势的系统。在一个系统中，通常用于手势识别，摄像机124可获取一个或一系列图像以判断用户希望的手势。这种系统通常对用户的手势进行静态评估。在另一种已知系统中，摄像机124可获取一系列图像，从而动态的判断一个手势。这种识别系统通常作为动态/临时手势识别。在一些系统中，动态手势识别可通过分析手的运动轨迹并将该轨迹与对应特殊手势的轨迹模式进行比较来执行。下面将参照图3说明手势和音频指令的处理。
如本领域技术人员所知，有很多种方法来使系统识别语音。还有很多种方法使系统识别静态和动态手势。下面的说明仅用于示意性目的。因此，本发明可被理解为包含这些其他已知系统。
在任何情况下，当摄像机124获得一个或一系列图像后，在处理240中，处理器120开始识别手势。当处理器120没有该手势时，该处理器转到处理230以获取用户140的一个或一系列其他图像。在对该图像或该系列图像中的一手势进行预定次数的判断努力后而没有识别该手势时，处理器120可在处理250期间向用户提供一个指令，说明该手势没有被识别。该指令可以采用从扬声器128输出的音频信号或显示器110的可视信号的形式。在本实施例或其他实施例中，当进行多次尝试后，该系统可返回到处理205以等待其他音频指令。
当处理器120识别该手势时，在处理260期间，该处理器120通过访问存储器126对获取的PIP操作进行判断。该存储器126的结构可以为查询表形式，存储系统100可根据对应的PIP操作识别的手势。在处理270中，当从存储器126中得到要求的PIP操作后，处理器120执行该要求的PIP操作。系统转到处理205以等待用户140的进一步语音指令。
图3示出在识别语音和手势输入的系统100中执行的处理的流程图。虽然用于识别语音和声音的特殊系统、算法等非常不同，但其通常的操作仍然有相似之处。特殊的，在处理310中，语音或手势训练系统提出并捕捉各希望的语音指令或可使别的手势的一个或多个输入样本。词汇“提出”的意思是系统使用户提供一特定的输入样本。
这样，在处理320中，系统将所需的音频指令或可识别手势的一个或多个捕捉的输入样本与一识别该一个或多个输入样本的标号相联系。在处理330中，将该一个或多个被标号的输入样本提供给一分类器(例如处理器120)，从而获取然后可用于识别用户指令的模型。
在一个实施例中，该训练可直接由系统100执行，该系统与用户在设定过程期间进行交互。在另一实施例中，一组系统只执行一次该训练，训练产生的结果(例如所得的模型)将存储在存储器126中。在另一实施例中，可利用存储在存储器126中的结构只训练一次该组系统，然后，各系统可从用户处进行进一步的输入/训练，从而改进这些模型。
最后，上面的描述只用于示意性的说明本发明。本领域技术人员在不脱离本发明精神和范围的情况下，可实现多种替换实施例。例如，虽然所示处理器120与显示器110分离，但很明显他们也可结合在一个单独显示装置，如电视中。另外，处理器可为一专用于执行本发明的处理器或一通用处理器，该通用处理器的功能中只有一个用于执行本发明。另外，处理器可利用一个程序部分、多哥程序部分执行操作，或可为利用一专用或多用途集成电路的硬盘装置。
而且，虽然上述本发明参照电视显示上的PIP进行说明，但本发明还可用于任何可显示一主图像和一PIP的显示装置或其他已知显示装置。
本领域技术人员在不脱离权利要求所属的精神和范围的情况下可实现多种实施例。在说明权利要求时，应当理解：
a)词汇“包括”并不排除权利要求中所列元件之外的其他元件；
b)元件前的词汇“一个”并不排除出现多个该元件的可能性；
c)权利要求中的任何附图标记都不限定范围；和
d)多个“装置”可使用相同结构或功能的部件或硬件或软件来表示。

Claims (11)

1.一种视频显示装置，包括：
一个显示器(110)，可显示一主图像和一覆盖在该主图像上的画中画图像；
一个音频输入装置(122)，用于接收用户的音频信息；
一个视频输入装置(124)，用于接收用户的图像信息；
一个处理器(120)，与该显示器(110)连接，用于：
接收主图像的第一视频数据流，
接收该画中画图像的第二视频数据流，
分析所述音频信息，以便识别与所述画中画图像相关的音频指令，
接收所述音频指令之后分析所述图像信息，以便识别与所述画中画图像的显示特性中的变化相关的手势，以及
响应于所述音频指令和相关的所述手势来改变画中画图像的显示特性。
2.如权利要求1所述的视频显示装置，其中该画中画图像的显示特性为该画中画图像在显示器上的至少一个位置和该画中画图像的显示尺寸。
3.如权利要求1所述的视频显示装置，其中：
用于接收用户的音频指令的所述音频输入装置是麦克风(122)；
用于获取所述图像信息的所述视频输入装置是摄像机(124)。
4.如权利要求1所述的视频显示装置，其中该处理器(120)用于分析从用户处接收的所述音频信息，以便识别所述音频指令何时发出。
5.如权利要求1所述的视频显示装置，其中该处理器(120)用于在接收到所述音频指令后，分析从用户处接收的所述图像信息，以便识别由接收的手势表示的所述画中画图像的显示特性中的变化。
6.如权利要求5所述的视频显示装置，其中该图像信息包括在一系列图像中，其中该处理器(120)用于分析该图像序列从而判断接收的手势。
7.如权利要求6所述的视频显示装置，其中该处理器(120)用于判断用户的手的运动轨迹和/或姿势。
8.如权利要求1所述的视频显示装置，其中该视频显示装置(110)为一电视机。
9.一种控制覆盖在主图像上的画中画显示的显示特性的方法，该方法包括以下步骤：
从一个音频输入装置(122)接收用户的音频信息；
从一个视频输入装置(124)接收用户的图像信息；
分析所述音频信息，以便识别用户的音频指令；
判断该接收的音频指令是否为多个需要的音频指令中的一个；
如果音频指令为需要的多个音频指令中的一个，则分析所述图像信息，以便识别与所述画中画图像的显示特性相关的手势；和
如果该手势为与该音频指令相关的手势，则控制画中画图像的显示特性。
10.如权利要求9所述的方法，其中分析所述图像信息的步骤包括以下步骤：
接收一图像序列；
分析该图像序列以判断该手势。
11.如权利要求10所述的方法，其中分析该图像序列包括：
判断用户一个手的运动轨迹和/或姿势；和
通过判断该运动轨迹和/或姿势来判断该手势。
CNB028129156A 2001-06-29 2002-06-20 视频显示装置和控制画中画显示的显示特性的方法 Expired - Fee Related CN1265625C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/896,199 US20030001908A1 (en) 2001-06-29 2001-06-29 Picture-in-picture repositioning and/or resizing based on speech and gesture control
US09/896,199 2001-06-29

Publications (2)

Publication Number Publication Date
CN1520685A CN1520685A (zh) 2004-08-11
CN1265625C true CN1265625C (zh) 2006-07-19

Family

ID=25405798

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028129156A Expired - Fee Related CN1265625C (zh) 2001-06-29 2002-06-20 视频显示装置和控制画中画显示的显示特性的方法

Country Status (6)

Country Link
US (1) US20030001908A1 (zh)
EP (1) EP1405509A1 (zh)
JP (1) JP2004531183A (zh)
KR (1) KR20040015001A (zh)
CN (1) CN1265625C (zh)
WO (1) WO2003003728A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3837505B2 (ja) * 2002-05-20 2006-10-25 独立行政法人産業技術総合研究所 ジェスチャ認識による制御装置のジェスチャの登録方法
CN100456212C (zh) * 2004-03-18 2009-01-28 钟煜曦 一种基于图像的互动输入控制方法及系统
KR100747842B1 (ko) 2005-05-06 2007-08-08 엘지전자 주식회사 영상 표시 장치에서 화면 크기 변경에 따른 음성 선택방법
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20080046937A1 (en) * 2006-07-27 2008-02-21 LaSean T. Smith Playing Content on Multiple Channels of a Media Device
WO2008069519A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
KR101367100B1 (ko) * 2007-05-21 2014-02-25 삼성전자주식회사 응용 프로그램/메뉴 표시 장치 및 방법
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
US20100071004A1 (en) * 2008-09-18 2010-03-18 Eldon Technology Limited Methods and apparatus for providing multiple channel recall on a television receiver
US8763045B2 (en) 2008-09-30 2014-06-24 Echostar Technologies L.L.C. Systems and methods for providing customer service features via a graphical user interface in a television receiver
US8582957B2 (en) * 2008-09-22 2013-11-12 EchoStar Technologies, L.L.C. Methods and apparatus for visually displaying recording timer information
US9357262B2 (en) * 2008-09-30 2016-05-31 Echostar Technologies L.L.C. Systems and methods for graphical control of picture-in-picture windows
US8572651B2 (en) 2008-09-22 2013-10-29 EchoStar Technologies, L.L.C. Methods and apparatus for presenting supplemental information in an electronic programming guide
US8937687B2 (en) 2008-09-30 2015-01-20 Echostar Technologies L.L.C. Systems and methods for graphical control of symbol-based features in a television receiver
US8473979B2 (en) 2008-09-30 2013-06-25 Echostar Technologies L.L.C. Systems and methods for graphical adjustment of an electronic program guide
US20100083319A1 (en) * 2008-09-30 2010-04-01 Echostar Technologies Llc Methods and apparatus for locating content in an electronic programming guide
US8793735B2 (en) 2008-09-30 2014-07-29 EchoStar Technologies, L.L.C. Methods and apparatus for providing multiple channel recall on a television receiver
US8397262B2 (en) 2008-09-30 2013-03-12 Echostar Technologies L.L.C. Systems and methods for graphical control of user interface features in a television receiver
CN101729808B (zh) * 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统
US9100614B2 (en) 2008-10-31 2015-08-04 Echostar Technologies L.L.C. Graphical interface navigation based on image element proximity
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
TW201032087A (en) * 2009-02-19 2010-09-01 Asustek Comp Inc Command control system and method thereof
US20100275228A1 (en) * 2009-04-28 2010-10-28 Motorola, Inc. Method and apparatus for delivering media content
US9313041B2 (en) * 2009-09-02 2016-04-12 Google Technology Holdings LLC Network attached DVR storage
JP2011087162A (ja) * 2009-10-16 2011-04-28 Sony Corp 受信装置、受信方法、送信装置および送信方法
KR101626159B1 (ko) * 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
KR101715937B1 (ko) * 2010-01-20 2017-03-13 엘지전자 주식회사 프로젝터가 장착된 디스플레이 장치 및 그 제어 방법
CN101783865A (zh) * 2010-02-26 2010-07-21 中山大学 基于数字机顶盒智能化鼠标控制方法及数字机顶盒
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
IT1399695B1 (it) * 2010-04-14 2013-04-26 Sisvel Technology Srl Metodo per visualizzare un flusso video secondo un formato personalizzato.
NL2004670C2 (nl) * 2010-05-04 2012-01-24 Activevideo Networks B V Werkwijze voor multimodale afstandsbediening.
US8717289B2 (en) * 2010-06-22 2014-05-06 Hsni Llc System and method for integrating an electronic pointing device into digital image data
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
WO2012063247A1 (en) * 2010-11-12 2012-05-18 Hewlett-Packard Development Company, L . P . Input processing
US9372540B2 (en) 2011-04-19 2016-06-21 Lg Electronics Inc. Method and electronic device for gesture recognition
WO2012150731A1 (en) * 2011-05-04 2012-11-08 Lg Electronics Inc. Object control using heterogeneous input method
US9063704B2 (en) * 2011-05-05 2015-06-23 Net Power And Light, Inc. Identifying gestures using multiple sensors
CN107529082B (zh) 2011-09-12 2021-02-26 英特尔公司 使用共用和个人装置来提供个性化用户功能的方法和设备
EP2871640B1 (en) 2012-07-09 2021-01-06 LG Electronics, Inc. Speech recognition apparatus and method
EP2738645A1 (en) * 2012-11-30 2014-06-04 Harman Becker Automotive Systems GmbH Vehicle gesture recognition system and method
CN103092339B (zh) * 2012-12-13 2015-10-07 鸿富锦精密工业（深圳）有限公司 电子装置及其页面演示方法
CN103399634B (zh) * 2013-07-22 2016-02-24 瑞声科技（南京）有限公司 手势识别系统及识别方法
CN103987169B (zh) * 2014-05-13 2016-04-06 广西大学 一种基于手势与语音控制的智能led台灯及其控制方法
CN104994314B (zh) * 2015-08-10 2019-04-09 优酷网络技术（北京）有限公司 在移动终端上通过手势控制画中画视频的方法及系统
US10491940B1 (en) 2018-08-23 2019-11-26 Rovi Guides, Inc. Systems and methods for displaying multiple media assets for a plurality of users
CN110362373A (zh) * 2019-06-29 2019-10-22 华为技术有限公司 一种控制屏幕小窗口的方法及相关设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69032645T2 (de) * 1990-04-02 1999-04-08 Koninkl Philips Electronics Nv Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten
JP3630712B2 (ja) * 1994-02-03 2005-03-23 キヤノン株式会社 ジェスチャー入力方法及びその装置
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JPH0965224A (ja) * 1995-08-24 1997-03-07 Hitachi Ltd テレビ受像機
WO1997008895A1 (fr) * 1995-08-30 1997-03-06 Hitachi, Ltd. Systeme de telephone chirologique
US6154723A (en) * 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
DE19843919B4 (de) * 1998-09-24 2004-07-22 Infineon Technologies Ag Verfahren zum Einblenden von Nebenbildern in ein Hauptbild
US6243683B1 (en) * 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
DE19918072A1 (de) * 1999-04-21 2000-06-29 Siemens Ag Bedienverfahren und Bedienvorrichtung für einen bildschirmgesteuerten Prozeß
US7340763B1 (en) * 1999-10-26 2008-03-04 Harris Scott C Internet browsing from a television
JP2001188555A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6930730B2 (en) * 2001-05-03 2005-08-16 Mitsubishi Digital Electronics America, Inc. Control system and user interface for network of input devices

Also Published As

Publication number Publication date
WO2003003728A1 (en) 2003-01-09
EP1405509A1 (en) 2004-04-07
JP2004531183A (ja) 2004-10-07
CN1520685A (zh) 2004-08-11
US20030001908A1 (en) 2003-01-02
KR20040015001A (ko) 2004-02-18

Similar Documents

Publication Publication Date Title
CN1265625C (zh) 视频显示装置和控制画中画显示的显示特性的方法
US10706887B2 (en) Apparatus and method for displaying times at which an object appears in frames of video
US8935169B2 (en) Electronic apparatus and display process
CN101529467B (zh) 用于生成视频内容中感兴趣区域的方法、装置和系统
CN106021496A (zh) 视频搜索方法及视频搜索装置
JP4469905B2 (ja) テロップ収集装置およびテロップ収集方法
CN1645357A (zh) 用于识别视频内容和记录视频的装置、方法和计算机产品
CN1620123A (zh) 节目选择方法
CN1758726A (zh) 动态演示机顶盒操作指导的装置和方法
US20120278765A1 (en) Image display apparatus and menu screen displaying method
CN112672208B (zh) 视频播放方法、装置、电子设备、服务器及系统
CN105657560A (zh) 节目信息的展示方法、装置和终端设备
CN109922352A (zh) 一种数据处理方法、装置、电子设备及可读存储介质
CN1652582A (zh) 字幕显示方法和使用其的设备
GB2405018A (en) Text to speech for electronic programme guide
KR20140085055A (ko) 전자 장치 및 그의 제어 방법
CN1917599A (zh) 图像显示装置的控制方法及图像显示装置
JP6305538B2 (ja) 電子機器及び方法及びプログラム
CN106713974A (zh) 数据转换方法和装置
CN101764970B (zh) 电视机及其操作方法
CN108363770A (zh) 一种机顶盒支持多途径提取关键词并搜索的方法和系统
CN1218567C (zh) 在子节目级电视节目的显示与重放
JP6867541B1 (ja) 画像表示装置及びプログラム
CN114397962A (zh) 分屏控制方法、装置及电子设备
CN106131704A (zh) 一种节目搜索的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: PACE MICRO TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD.

Effective date: 20080808

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20080808

Address after: West Yorkshire

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklike Philips Electronics N. V.

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060719