CN105519097A - 用于显示画中画的系统、装置和方法 - Google Patents

用于显示画中画的系统、装置和方法 Download PDF

Info

Publication number
CN105519097A
CN105519097A CN201480046888.0A CN201480046888A CN105519097A CN 105519097 A CN105519097 A CN 105519097A CN 201480046888 A CN201480046888 A CN 201480046888A CN 105519097 A CN105519097 A CN 105519097A
Authority
CN
China
Prior art keywords
pip
video
display
screen
show
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480046888.0A
Other languages
English (en)
Other versions
CN105519097B (zh
Inventor
邓帆
卡蒂科扬·尚姆加瓦迪韦卢
万顺·文森特·马
纳拉亚纳·卡西克·萨丹那达姆·拉维腊拉
马磊
黄鹏军
刘石忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105519097A publication Critical patent/CN105519097A/zh
Application granted granted Critical
Publication of CN105519097B publication Critical patent/CN105519097B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明揭示在数字显示装置的同一显示器上显示和/或记录多个画中画PIP的系统、装置和方法。所述PIP可以展示来自所述显示装置的主视场的对象，例如前置相机镜头，以及来自不同的视场的对象，例如后置相机镜头。所述PIP可以进一步追踪正被显示的所述对象。

Description

用于显示画中画的系统、装置和方法
技术领域
本发明大体上涉及显示系统和方法。具体来说，本发明揭示用于在显示器上捕捉、显示和/或记录具有追踪能力的两个或更多个画中画(PIP)的系统的特征。
背景技术
随着便宜且更小的视频显示系统的出现，显示行业正在发展。越来越多的人喜欢使用例如摄像机和移动装置等数字观看系统来观看视频。视频可用于多种应用，例如用于消遣、用于专业人员使用、用于娱乐或用于情感的回忆。鉴于观看视频的大量用途，需要显示视频的装置的更多特征和能力。
显示装置中的所需特征中的一些包含在装置的显示器上显示画中画(PIP)。对于数字显示系统的一些用途，能够显示PIP允许观看者观看主屏幕上的视频以及PIP中的其它视频。例如，人们可以在主屏幕中播放实时足球赛时观看实时足球赛，同时还在更小的画面窗口中观看另一赛事的视频精彩部分或其它信息。
然而，单一PIP不允许在观看主视频的同时观看超过一个其它视频。当在主视频屏幕上观看足球赛时，观看者可能想要在更小的画面窗口中观看超过一个其它足球赛。因此，显示仅一个PIP的常规系统有损显示的乐趣和实用性。
此外，可能需要聚焦视频中的特定对象或人并且在那些对象或人正移动时在PIP中进行观看。举例来说，人们可能想要在主视频屏幕上观看足球赛，同时还观看更小窗口，在此窗口中展示主屏幕上的运动选手四处移动时所述运动选手的特写镜头。显示其它视频(例如，其它足球赛)的常规系统缺乏聚焦并追踪PIP中的对象(例如，特定运动选手)的能力。
发明内容
揭示用于在具有追踪能力的数字成像装置的单个显示器上同步显示和/或记录两个或更多个画中画(PIP)的系统、装置和方法。
在本发明的一个方面中，揭示用于在电子装置上显示多个PIP的方法的实施例。在一些实施例中，所述方法包括：在装置的屏幕上显示视频；选择视频中的第一对象；在屏幕上显示第一PIP，其中第一PIP包括第一对象；以及在屏幕上显示第二PIP，其中第二PIP包括第二对象。
在另一方面中，揭示用于在电子装置上显示多个PIP的系统的实施例。在一些实施例中，所述系统包括：选择模块，其经配置以辨识第一对象的选择以在第一视频中进行追踪；以及屏幕，其经配置以显示第一视频、包括正被追踪的第一对象的第一PIP以及包括第二对象的第二PIP。
在另一方面中，一种用于在电子装置上显示多个PIP的系统的实施例包括：用于在装置的屏幕上显示视频的装置；用于选择视频中的第一对象的装置；用于追踪第一对象的装置；用于在屏幕上显示第一PIP的装置，其中第一PIP显示正被追踪的第一对象；以及用于在屏幕上显示第二PIP的装置，其中第二PIP显示第二对象。
揭示一种非暂时性计算机可读媒体的若干实施例，所述非暂时性计算机可读媒体经配置以存储指令，所述指令在由处理器执行时实行用于在电子装置上显示多个PIP的方法。在一些实施例中，所述方法包括：在装置的屏幕上显示视频；选择第一对象以在视频中进行追踪；在屏幕上显示第一PIP，其中第一PIP显示正被追踪的第一对象；以及在屏幕上显示第二PIP，其中第二PIP显示第二对象。
附图说明
通过以下描述和所附权利要求书结合附图理解，本发明的前述和其它特征将变得更加完全清楚。应理解，这些图式只描绘了根据本发明的几个实施例，并且因此不应被视为限制了本发明的范围，将通过使用这些附图用额外的特性和细节来描述本发明。
在以下详细描述中参考附图，附图形成本文的一部分。在图中，相似的符号通常识别相似的组件，除非上下文另外规定。在详细描述、图式以及权利要求书中所描述的说明性实施例并不有意作为限制性的。在不脱离本文呈现的主题的精神或范围的情况下，可以利用其它实施例，并且可以作出其它改动。将容易了解的是，如本文中所一般描述且在图中说明的本发明的各方面可以多种多样的不同配置来布置、取代、组合和设计，所有广泛多种不同配置明确地进行考量并构成本发明的部分。
图1描绘具有两个画中画(PIP)的显示器的实施例的前视图，其中所述PIP中的一者展示显示器上的被追踪对象。
图2描绘图1的显示器的前视图，其中追踪对象的PIP已移动以避免干扰显示器上的被追踪对象。
图3描绘具有三个PIP的图1的显示器的前视图，其中所述PIP中的两者正显示被追踪对象。
图4描绘具有四个PIP的图1的显示器的前视图，其中所述PIP中的三者正显示被追踪对象。
图5描绘具有展示两个PIP的显示器的平板电脑的实施例的透视图，其中每一PIP正从不同视场显示对象。
图6描绘包括记录系统的显示装置的框图，所述记录系统具有用于显示、记录和管理多个PIP的模块。
图7是用图解法表示用于在显示器上显示和记录两个PIP的方法的一个实施例的流程图，其中若第一PIP干扰其正显示的被追踪对象，则第一PIP的方位移动。
图8是用图解法表示用于在显示器上显示和记录四个PIP的方法的一个实施例的流程图，其中若PIP干扰其正显示的对应的被追踪对象，则所述PIP的方位移动。
具体实施方式
以下详细描述是针对如参考图1到9所描述的研发的某些特定实施例。在此描述中，参考图式，为了清楚起见，贯穿其中可以类似标号指示类似部分或步骤。本说明书中提及“一个实施例”、“实施例”或“在一些实施例中”意指结合实施例描述的特定特征、结构或特性包含于本发明的至少一个实施例中。在说明书中的各处出现的短语“一个实施例”、“实施例”或“在一些实施例中”未必全部参考同一实施例，也并非相互排斥其它实施例的单独的或替代的实施例。此外，描述了各种特征，这些特征可以通过一些实施例呈现但不通过其它实施例呈现。类似地，描述了各种要求，这些要求可以是对于一些实施例的要求但不是对于其它实施例的要求。
揭示用于在数字成像装置的显示器上显示和/或记录两个或更多个画中画(PIP)的系统、装置和方法。在一些情况下，通过所述系统追踪在PIP显示窗中展示的对象。例如，观看者可能希望在显示器的主要部分上观看网球比赛，同时能在比赛期间选择更密切地追踪两个运动选手中的任一者。具有两个PIP，其中每一PIP捕捉运动选手之一，这允许观看者在同一显示器上自由观看球在其中被来回击中的整个球场以及在两个PIP中的一者中观看任一运动选手。在一些实施例中，例如移动电话等装置可以在所述装置上显示和/或记录成像传感器的视场中的对象。在一些实施例中，显示含有来自同一视场的项目的超过两个PIP，例如三个PIP、四个PIP或更多个PIP。
在一个实施例中，多个PIP中的一或多者可经编程以追踪场景中的对象，使得所述PIP内的视野始终是关于特定对象或人，不管他们位于场景中的何处。例如，观看者可能希望在比赛期间网球运动选手围绕球场移动时追踪所述运动选手。在一个实施例中，PIP中的一者将在运动选手在视场中移动时显示对所述运动选手的追踪视野，而同时数字装置还显示整个球场视野。在一些实施例中，多个PIP将显示来自装置的视场的多个对象的追踪视野。
在一些实施例中，PIP中的一者可以显示从显示装置上的第二成像传感器获得的视野。从第二图像传感器捕捉的场景中的对象可以在与通过第一图像传感器观看所述对象相同的屏幕上的其自身PIP窗口中展示。在一些实施例中，第二图像传感器可以与所述图像传感器观看完全不同的视场。例如，第一图像传感器可以是在蜂窝电话的正面，且第二图像传感器可以是在蜂窝电话的背面。在此情况下，多个PIP允许来自第一视场的对象连同来自第二视场的对象一起显示在屏幕上。在一些实施例中，第二成像传感器可以在完全不同的装置上。举例来说，单独的视频源可以提供在PIP中的一者或所有中显示的视频。
在一些实施例中，所记录的视频可经处理以显示多个PIP。举例来说，可能需要对网球比赛的记录进行后处理使得在多个PIP中展示两个运动选手。在一个实施例中，装置允许在所记录的视频中选择展示观看者希望在PIP中显示的对象。在另一实施例中，可以选择在所记录的视频的一或多个PIP中显示来自另一视频源的对象。
在一些实施例中，在PIP中显示的视频可以各自显示在单独的装置上或在单独的屏幕上。在一些实施例中，每一PIP保存在单独的视频文件上。在一些实施例中，可以分别观看、全部在一起观看或以子集观看单独的视频文件上记录的PIP。
现转向图1，示出的实施例为装置100具有显示器110，在主视频105上显示两个PIP116、118。显示器110可以在装置100上或来自装置100，例如观看或记录装置，包含摄像机、移动电话、平板电脑、计算机等。在一些实施例中，显示器110可以展示通过装置100捕捉或记录的视频。例如，显示器110可以在捕捉视频的移动电话上。在一些实施例中，显示器110可以展示通过不同装置(未示出)获得的视频。举例来说，显示器110可以在并未捕捉且不捕捉录像的移动电话上。
第一PIP118和第二PIP116在显示器110的主视频105上展示。主视频105可以指录像或具有移动图像单独其它视频。第一PIP118和第二PIP116可以在此主视频105上展示。因此主视频105可被视为在两个PIP116、118“后面”或“之下”，两个PIP116、118可被视为在主视频105“前面”或“之上”。
装置100在显示器110上观看、展示和/或记录主视频105中的第一对象112。主视频105中展示的第一对象112还通过第一PIP118显示为第一所显示对象124。第二对象(未示出)在第二PIP116中显示为第二所显示对象120。
在一些实施例中，第一对象112处于与通过显示器110展示的对象相同的视场中。在一些实施例中，PIP116、118中展示的所显示对象120、124中的一者或这两者处于与彼此相同的视场中。在一些实施例中，第二对象处于与显示器110的主视频105中所展示的不同视场中。在实施例中，第二对象是装置100的用户，并且用户的脸部在第二PIP116中显示为第二所显示对象120。在一些实施例中，如本文中相对于图5更详细地论述，通过装置100正面上的成像传感器(未示出)观看第一对象112，并且通过装置100背面上的不同的成像传感器(未示出)观看第二对象。
在一些实施例中，PIP116、118中的一者或两者可以显示来自不同视频源的图像或视频。举例来说，第二PIP116可以展示通过不同于装置100的记录或传输装置所记录或传输的视频。在一些实施例中，第二PIP116展示通过另一移动电话已记录的或正记录的视频。
在一些实施例中，主视频105和/或PIP116、118中的视频中的一者或两者可以彼此独立。在一些实施例中，主视频105和/或PIP116、118中的一者或两者中的视频可以各自记录在单独的视频文件中。在一些实施例中，播放主视频105与PIP116、118中的一者或两者可以展示主视频105和PIP116、118的各种组合。例如，在播放时，仅可以显示主视频105，或可以显示主视频与PIP116、118中的一者或两者，或仅可以显示第一PIP118或第二PIP116。在一些实施例中，当显示PIP116、118中的一者或两者时，它们可以具有与记录时或最初观看时相同的大小。在另一实施例中，当显示PIP116、118中的一或多者时，它们可以比记录时或最初观看时更大。例如，如果仅显示第一PIP118，那么所述PIP可以占据在其上观看所述PIP的整个显示器。或者，举例来说，如果正显示第一PIP116和第二PIP118两者，那么所述PIP可以各自占据在其上观看所述PIP的装置的显示器的一半或其它比例。
如所展示的第一对象112呈现为星形对象。第一对象112可以是任何数目的项目，包含飞机、自行车、人、汽车等。可以通过用户(例如)在例如移动电话等触摸屏装置的屏幕上触摸第一对象112的位置来手动地选择第一对象112。也可以自动地选择第一对象112。举例来说，可以使用对象辨识特征，例如在以下专利中揭示的那些：第2013/0335575号美国专利申请公开案，其全部内容整体并入本文中，所述公开案揭示用于通过使用对象的边缘检测移动中的对象的特征；第8,254,699号美国专利，其全部内容整体并入本文中，所述专利揭示用于视频的对象辨识算法；第8,064,685号美国专利，其全部内容整体并入本文中，所述专利揭示用于3D对象辨识的特征。在一些实施例中，可以验证第一对象112的选择。例如，装置100可以要求验证第一对象112的选择。在一些实施例中，可以远程地选择第一对象112。举例来说，显示器110可以展示经由因特网连接观看的场景，例如传输到显示器110的通过监控摄像机观看的场景。随后可以(例如)通过触摸移动电话显示器上的触摸屏中第一对象112所位于的区域来选择第一对象112。
在一些实施例中，装置100可以捕捉和/或记录第一对象112，第一对象112可以相对于装置100移动。例如，第一对象112可以在装置100静止时移动，或第一对象112可以在装置100移动时静止，或两者均可以移动。在一些实施例中，可以或手动地或自动地选择第一对象112，接着第一对象112离开装置100的视场，且随后当其返回装置100的视场时再次自动地辨识。当第一对象112在视场中时可以在第一PIP118中展示它。当第一对象112不在视场中时可以不展示第一PIP118。在一些实施例中，第一PIP118是空白的，或展示显示器110中第一对象112最后在视场中所处的位置。当第一对象112离开视场时，第一PIP118还可以显示例如“离开视场”等消息。
在一些实施例中，可以在第一对象112移动时追踪所述对象。如所展示，可以在第一对象112在显示器110上四处移动时追踪所述对象。在第一对象112在显示器110的视场内移动时，在第一PIP118中连续地展示所述对象。在一些实施例中，也可以追踪第二对象(未示出)。在一些实施例中，追踪系统与本发明整合。例如，第8,483,437号美国专利，其内容整体并入本文中，所述专利揭示用于使用训练图像追踪图像中的对象的特征；第2013/0258141号美国专利申请公开案，其内容整体并入本文中，所述公开案揭示用于检测并追踪视频帧中的对象并且否定错误肯定的特征；第2013/0176203号美国专利申请公开案，其内容整体并入本文中，所述公开案揭示用于追踪视频帧中的对象以产生定位结果的特征；以及第8,249,299号美国专利，其内容整体并入本文中，所述专利揭示用于识别并追踪视频中的对象的特征。
在一些实施例中，第一PIP118中的第一所显示对象124可以相比于其在主视频105中的缩放级别被放大或缩小。因此，第一PIP118中的第一所显示对象124可以相比于主视频105中的第一对象112呈现更大或更小。第一所显示对象124也可以缩放到相同程度并且因此在第一PIP118中呈现为与主视频105中的第一对象112相同的大小。在一些实施例中，可以通过记录系统自动地维持第一PIP118中的第一所显示对象124的缩放级别。因此，例如，如果第一对象112如在主视频105中所显示移开或者变小，那么第一PIP118可以通过在第一对象112在主视频105上变小时继续对其放大来维持第一所显示对象124的恒定大小。同样地，如果第一对象112如在主视频105中所显示变大，那么第一PIP118可以通过在第一对象112在主视频105上变大时继续对其缩小来维持第一所显示对象124的恒定大小。在一些实施例中，第一PIP118所维持的缩放的原始缩放级别可以通过装置100自动地进行选择、通过用户手动地进行选择，或其组合。举例来说，可以最初由用户手动地选择第一PIP118中的所关注物件的特定缩放级别，且随后在所述物件移开或朝向装置100物件时，装置100可以自动地维持最初手动选择的缩放级别。应理解，如本文中所使用的“缩放”可以指在记录对象时缩放以及对所记录的对象的缩放。因此，本文中对缩放特征的论述适用于正记录的视频以及已经记录且目前正在显示器110上展示的视频。
在一些实施例中，第一对象112在显示器110上的所关注区域(ROI)114的内部。ROI114可以随着第一对象112在显示器110中移动而与第一对象112一起移动。如图1中所示，ROI114可以配置为虚线框，其捕捉所述框内部的第一对象。在一些实施例中，ROI114可以配置为不同形状、大小或线。例如，ROI114可以展示为较粗的实线，其较严实地包围显示器110上的第一对象112的轮廓。对于ROI114的任何配置，可以限定在第一对象112与ROI114之间留下规定量的距离的界限。例如，可以指定半英寸的界限，其中将总是在第一对象112的边界与ROI114之间存在如显示器上可见的半英寸。
在一些实施例中，第一PIP118占据显示器110的一部分，所述部分小于整个显示器110。如所展示，第一PIP118可以在显示器110的左上角。第一PIP118也可以位于显示器110的任何区域中，例如左下角、右上角、右下角、显示器的中间、沿显示器110的边缘中的一者居中等。
在一些实施例中，可以调整两个PIP116、118的大小。例如，第二PIP116可以展开至调整大小后的PIP122所展示的大小。第二PIP116可以因此在四个方向上具有更大尺寸。第二PIP116还可以具有更小的尺寸，以及不同的形状、线的粗细等。例如，第二PIP116的边界可以是虚线的，如调整大小后的PIP122的边界所展示。
在一些实施例中，PIP窗口可以移动到不同位置。在一些实施例中，可以手动地移动PIP窗口。在一些实施例中，如本文中更详细地论述的，可以(例如)相对于图2、8和9自动地移动PIP窗口。
转向图2，示出的实施例为装置100具有显示器110，其中显示第一对象112的第一PIP118已经移动以避免在第一对象112在显示器110上相对于其方位四处移动时干扰第一对象112。第一对象112可以在显示器110上移动，因为第一对象112相对于显示器110移动。在一个实例中，第一对象112可以是移动的且显示器110是静止的。替代地，第一对象112可以是静止的且显示器110由观看者移动。在另一实施例中，第一对象112和显示器两者均可以是移动的。
在一些实施例中，系统可以移动显示第一对象112的第一PIP118的方位以避免干扰显示器110的选定对象或区域。在一些实施例中，第一PIP118可以移动以避免干扰第一对象112。在一些实施例中，此移动是自动的，使得第一PIP118将在没有来自显示器110的观看者的任何输入的情况下移动。在一些实施例中，系统经编程以当第一对象112的边界接触第一PIP118的边界时移动第一PIP118的方位。在一些实施例中，第一PIP118将在第一对象112的边界在第一PIP118的边界的一定距离内时移动。例如，第一PIP118的方位可以在第一对象112的边界在显示器110上的第一PIP118的边界的半英寸内时移动。在一些实施例中，第一PIP118的方位将在ROI114的边界接触第一PIP118的边界时移动。在一些实施例中，第一PIP118的方位将在ROI114的边界在第一PIP118的边界的一定距离内时移动。例如，第一PIP118的方位可以在ROI114的边界在如显示器110上所展示的第一PIP118的边界的半英寸内时移动。可以实施许多其它配置以确定第一对象112、ROI114或其它选定对象或位置必须与第一PIP118接近的程度以便系统自动地移动第一PIP118的方位。因此，通过“干扰”意味着第一PIP118在至显示器110的第一对象112或ROI114或其它指出位置的指定接近距离内。因此，未必仅在第一PIP118遮挡显示器110上的第一对象112或第一对象112的一部分的视野时发生干扰。由此还会在第一PIP118不遮挡显示器110上的第一对象或第一对象的一部分的视野时发生干扰。此外，除非上下文另外规定，否则本文中任何提及干扰第一对象112或任何其它对象包含干扰显示器110的其它对象或位置。
在一些实施例中，系统可以改变第一PIP118的出现以促进当第一对象112干扰第一PIP118时在显示器110上观看第一对象112。在一些实施例中，第一PIP118可以当存在干扰时消失并且当不再存在干扰时再次出现。在一些实施例中，当存在干扰时第一PIP118可以变为透明的。例如，第一PIP118可以变为百分之五十透明的，使得当第一对象112干扰第一PIP118时仍可以观看第一对象112。
在一些实施例中，在显示器110上当第一PIP118干扰第一对象112时第一PIP118所移动到的一或多个位置可以重复。举例来说，当第一PIP118干扰第一对象112时，第一PIP118可以始终移动到同一第二位置，例如，左下角。随后如果第一PIP118在此第二位置中干扰第一对象112，那么第一PIP118可以移动回其原始位置。因此，第一PIP118可具有如图1中所展示的第一位置，同时其可具有如图2中所展示的第二位置。
在一些实施例中，在显示器110上当第一PIP118干扰第一对象112时第一PIP118所移动到的一或多个位置可以随机。举例来说，当第一PIP118干扰第一对象112时，第一PIP118可以从其原始位置移动到随机的第二位置。随后如果第一PIP118在此第二位置中干扰第一对象112，那么第一PIP118可以移动到随机的第三位置，所述第三位置可以或可以不与原始位置相同。因此，第一PIP118可具有如图1中所展示的第一随机位置，同时其可具有如图2中所展示的第二随机位置。
在一些实施例中，在显示器110上当第一PIP118干扰第一对象112时第一PIP118所移动到的一或多个位置可以受到控制。举例来说，当第一PIP118干扰第一对象112时，第一PIP118可以从其原始位置移动到不干扰显示器110上的其它对象或指定区域的第二位置。在一些实施例中，当第一PIP118干扰第一对象112时，第一PIP118可以移动到第一PIP118将不干扰第一对象112或不干扰第二PIP116的位置。在一些实施例中，如果在显示器110上还展示第二对象，那么在第一PIP118干扰第一对象112和/或第二对象的情况下，第一PIP118可以移动到在其处第一PIP118将不干扰第一对象112、不干扰第二PIP116或不干扰第二对象的位置。虽然在本文中未明确阐述，但是避免各个PIP与显示器110上的其它指定对象或位置之间的干扰的许多其它配置在所属领域的一般技术范围内并且因此在本发明的范围内。举例来说，替代或除第一对象112之外，第一PIP118还可以避免干扰显示器110的一或多个指定位置，例如，上边缘、右边缘等。
现转向图3，示出的实施例为装置100具有显示器110，所述显示器具有三个PIP116、118、126。如所展示，可以在显示器110上展示第一PIP118、第二PIP116和第三PIP126。在一些实施例中，每一PIP可以显示单独的对象。如所展示，第一PIP118可以显示展示为星形对象的第一所显示对象124，第二PIP116可以显示展示为脸部的第二所显示对象120，并且第三PIP125可以显示展示为三角形对象的第三所显示对象128。
在一些实施例中，可以在第一对象112和/或第三对象130移动时追踪它们。围绕被追踪对象的ROI114未必在显示器110中展示。在一些实施例中，PIP116、118、126可以移动以避免干扰显示器110上的对象112、130。即使在显示器110上的对象周围ROI114不可见也可发生这种情况。
如图3中所展示，在一些实施例中，三个PIP116、118、126如所展示靠近显示器110的下边缘对齐。为了避免干扰显示器110上的所关注对象，系统可以移动PIP的方位到显示器110上的其它位置。PIP可以个别地移动或以组移动。例如，仅第一PIP118可移动到显示器110的左上角以避免干扰所关注对象，或全部三个PIP116、118、126可靠近显示器110的不同边缘对齐以避免干扰所关注对象。
具有三个PIP116、118、126的实施例与具有仅两个PIP的其它实施例具有相同的能力和特征。例如，三个PIP116、118、126可以类似方式调整大小、手动地或自动地重定位、已经改变透明度属性、可以展示被追踪对象、可以展示来自相同视场或来自不同视场的对象、可以显示来自不同视频源的对象等。虽然未相对于具有三个PIP的实施例明确地阐述，但是上文相对于具有两个PIP的实施例所论述的任何特征也可以在具有三个PIP的实施例中在加以必要修正的情况下实施。类似地，虽然未相对于具有两个PIP的实施例明确地阐述，但是相对于具有三个PIP的实施例所论述的任何特征也可以在具有两个PIP的实施例中在加以必要修正的情况下实施。
现转向图4，示出的实施例为装置100具有显示器110，所述显示器具有四个PIP116、118、126、134。例如当观看和/或记录具有四个不同运动选手的体育运比赛(例如，双打排球赛)时可能需要四个PIP。在此类情况下，每一PIP可以追踪不同运动选手并在所述运动选手的PIP中进行记录。此类用法可有助于对个别运动选手的赛后分析。虽然可描述具有四个PIP的实施例，但是应理解，超过四个PIP也在本发明的范围内。超过四个PIP可例如在记录和/或观看显微图像(例如，微生物集群)或观看许多对象(例如，成群的许多动物)时适用。可以使用各种PIP以个别地追踪所关注的许多微生物或动物。
如图4中所示，可以在显示器110上展示第一PIP118、第二PIP116、第三PIP126以及第四PIP134。在一些实施例中，每一PIP可以显示单独的对象。如图所示，第一PIP118可以显示展示为星形对象的第一所显示对象124，第二PIP116可以显示展示为脸部的第二所显示对象120，第三PIP126可以显示展示为三角形对象的第三所显示对象128，并且第四PIP134可以显示展示为圆环对象的第四所显示对象136。
在一些实施例中，显示器110可以在显示两个、三个和四个PIP之间切换。举例来说，在某一时间，显示器110可以仅展示第一PIP118和第二PIP116。在稍后的时间，显示器110还可以展示第三PIP126和/或第四PIP134。此外，可以随时间推移展示PIP的不同组合。例如，在某一时间，显示器110可以仅展示第一PIP118和第三PIP126。在稍后的时间，显示器110可以仅展示第二PIP116和第四PIP134。其它组合在本发明的范围内。此外，可以在显示器110上自动地隐藏和/或展示可以展示的任何组合，或可以例如通过显示装置的用户手动地隐藏和/或展示它们。
在一些实施例中，显示器110可以因所关注对象离开装置100的视场而在显示两个、三个和四个PIP之间切换。举例来说，如果第一对象112离开显示器110上展示的装置100的视场，那么将第一对象112展示为第一所显示对象124的第一PIP118可以从显示器110消失。如果第一对象返回到显示器110上展示的视场，那么第一PIP118可以重新出现在显示器110上。在一些实施例中，第一PIP118可以在第一对象112离开显示器110上展示的视场时变为透明的。可以因对象离开和/或返回到显示器110上展示的视场而发生与PIP的出现和/或移动相关的其它动作。相似特征和能力适用于可以从不同视场展示对象的其它PIP。例如，第二PIP116可以从与显示器110上展示的视场不同的视场展示第二所显示对象120。如果对应于第二所显示对象120的第二对象从所述不同视场消失，那么第二PIP116可以消失、变为透明的、调整大小等。
如本文所使用，以其一般和常见含义来使用“视场”，包含大体上在显示装置上的成像传感器的视野或视线中的那些东西。其还应被理解为捕捉了和/或记录了视频的装置的视场。所述装置可以是或可以不是装置100。举例来说，装置100可以展示记录，但是可能已经有不同的装置进行记录。其还可能是捕捉了和/或记录了视频的装置100并且现在也展示视频。因此，如本文所使用的“视场”不限于仅一个显示装置或另一个显示装置的视场。
具有四个PIP116、118、126、134的实施例与具有仅两个或三个PIP的其它实施例具有相同的能力和特征，如上文所论述。例如，四个PIP116、118、126、134可以类似方式调整大小、手动地或自动地重定位、已经改变透明度属性、可以展示被追踪对象、可以展示来自相同视场或来自不同视场的对象、可以显示来自不同视频源的对象等。虽然未相对于具有四个PIP的实施例明确地阐述，但是上文相对于具有两个或三个PIP的实施例所论述的任何特征也可以在具有四个或更多个PIP的实施例中在加以必要修正的情况下实施。类似地，虽然未相对于具有两个或三个PIP的实施例明确地阐述，但是相对于具有四个PIP的实施例所论述的任何特征也可以在具有两个、三个或超过四个PIP的实施例中在加以必要修正的情况下实施。
相对于图1到4所论述的显示器110的各种实施例可以在多种多样的装置和系统上实施。图5描绘一种此类装置500的实施例。除以下论述之外，装置500可以结合如上文相对于图1到4所论述的各种组件的特征中的任一者，包含追踪对象、调整大小和/或重新定位PIP、更改PIP属性(例如透明度)、以不同配置显示PIP等。
现参考图5，在一些实施例中，装置500可以是移动装置，例如，如图所示的平板电脑，或手持式、便携式、膝上型或桌上型计算机。装置500可以是小型的手持式计算装置，具有带触摸式输入和/或微型键盘的显示屏幕，重量小于2磅(0.91kg)。装置500也可以由例如和Motorola等公司制造。
在一些实施例中，装置500具有操作系统(OS)，并且可以运行各种类型应用程序软件，例如应用软件或应用程序。所述装置可以配备有Wi-Fi、蓝牙以及可允许连接到因特网和其它具有蓝牙功能的装置(例如，汽车或麦克风耳机)的GPS能力。一或多个成像传感器512(其可以是一或多个相机，或用于视频和/或音乐文件的媒体播放器特征)可以连同稳定的电池电源(例如，锂电池)一起在装置500上。
在一些实施例中，装置500可以是智能电话。其可以是在移动操作系统上建构的移动电话，具有高级计算和连接能力。其可以组合个人数字助理(PDA)、电子邮件功能性以及移动电话的功能。装置500还可以具有便携式媒体播放器、低端小型数码相机、口袋摄像机和GPS导航单元的功能性以形成一个多用途装置500。在一些实施例中，装置500还包含高分辨率触摸屏和显示标准网页以及移动优化网站的Web浏览器。可以通过Wi-Fi、移动宽带、近场通信(NFC)和/或蓝牙提供高速数据访问。
图5中示出的装置500包含显示器501，其展示主视频503和两个PIP506、508，其中每一PIP显示来自不同视场的对象。第一PIP506将第一观看对象504显示为第一PIP506内的第一所显示对象516。第二PIP508将第二观看对象502显示为第二PIP508内的第二所显示对象514。
在一些实施例中，第一被观看对象504(星形对象)可以在相对于装置500的第一方向505上的视场中，如所描绘。第二被观看对象502(例如，装置500的用户)可以在相对于装置500的第二方向507上的视场中，如所描绘。如图所示，装置500的两个视场的方向505、507在相反方向上。方向507上的视场通过成像传感器512观看，成像传感器512可以是相机。在相反方向505上的视场通过在装置500的与成像传感器512相反侧上的成像传感器(未示出)观看，所述成像传感器可以是另一个相机。因此，第一PIP506中的第一所显示对象516来自与第二PIP508中的第二所显示对象514不同的视场。
如图5中进一步示出的，主视频503可以显示来自方向505上的视场的对象。第一PIP506显示在所述同一视场中的第一被观看对象504。然而，第二PIP508显示来自方向507上的视场的第二被观看对象502。两个PIP506、508重叠到主视频503上。在一些实施例中，PIP506、508完全遮挡主视频503的在PIP506、508“后面”或“之下”的部分。在一些实施例中，PIP506、508部分地遮挡主视频503的在PIP506、508“后面”或“之下”的部分。在一些实施例中，PIP506、508是在一定比例上透明的，例如25％、50％、75％等。
通过本文所揭示的装置、系统和方法经由各种PIP展示的各种视频或对象也可以与其它视频源或显示器相连接。如所提及，PIP中所展示的视频可以源自并非在其上展示PIP的装置的装置或源。此外，在一些实施例中，在一个装置上的PIP中展示的视频也可以在其它装置和/或显示器上展示。本文中例如相对于图6更详细地对此进行论述。
上文所论述的各种装置和系统可以多种显示器配置实施于软件和/或硬件中。图6描绘具有显示器625的装置600的一个此类实施例的框图。在一些实施例中，装置600可以是移动装置，例如上文相对于图5所论述的那些移动装置。装置600也可以是蜂窝电话、数码相机、个人数字助理等。装置600还可以是更加静止的装置，例如桌上型个人计算机、视频会议台或类似装置。装置600可以包括具有用于显示、记录和/或管理多个PIP的模块的记录系统。
如图所示，装置600具有一组组件，包含链接到成像传感器615的处理器620。工作存储器605、存储装置610、电子显示器625以及含有各种模块的存储器630也与处理器620通信。在一些实施例中，处理器620可以是通用处理单元或专门设计用于成像应用的处理器。如图所示，处理器620连接到工作存储器605和存储器630。存储器630中的模块可以是软件，例如程序或应用程序。装置600中可以有多个模块。这些模块包含用以配置处理器620以执行各种图像处理和装置管理任务的指令。模块可以包含与PIP相关的模块，以及传统的摄影应用程序、高动态范围成像、全景视频、或例如3D图像或3D视频等立体成像。在示出的实施例中，存储器630存储成像传感器控制模块635、所关注对象检测模块640、触摸屏输入模块655、设置管理模块660、窗口显示模块670、预览控制模块675、操作系统680、选择模块685、记录模块690以及PIP显示模块695。工作存储器605可以由处理器620用来存储存储器630的模块中所含有的处理器指令的工作集。替代地，工作存储器605也可以由处理器620用来存储在装置600的操作期间创建的动态数据。
在一些实施例中，处理器620通过存储于存储器630中的若干模块来配置。成像传感器控制模块635可以包含配置处理器620以通过成像传感器615捕捉图像的指令。成像传感器控制模块635还可以包含调节成像传感器615的聚焦位置的指令。因此，处理器620连同图像捕捉控制模块635、成像传感器615和工作存储器605一起表示一个用于使用成像传感器捕捉图像的装置。记录模块690可以包含配置处理器620以记录所捕捉图像的指令。触摸屏输入模块655可以包含配置处理器620以接收来自触摸屏显示器(例如，显示器625)的触摸式输入的指令。
所关注对象检测模块640提供配置处理器620以检测由成像传感器615捕捉的图像中的所关注对象的指令。在一些实施例中，所关注对象可以是人体部分，例如脸部。因此，所关注对象检测模块640可以实施用于面部辨识的特征。举例来说，第8,452,107号美国专利(其全部内容以引用的方式并入本文中)揭示用于耐遮挡面部辨识的特征；第2011/0047384号美国专利申请公开案(其全部内容以引用的方式并入本文中)揭示用于使用面部辨识建立特定网络的特征；第7,916,976号美国专利(其全部内容以引用的方式并入本文中)揭示基于面部的图像组织和检索方法；以及第2010/0239130号美国专利申请公开案(其全部内容以引用的方式并入本文中)揭示用于快速面部辨识的特征。655620625
设置管理模块660可以包含用以管理装置600的各种参数设置的指令。例如，可以通过模块660来管理与各个PIP的配置相关的参数。窗口显示模块670可以包含用以管理装置600上的显示器625上产生的PIP内的数据格式(例如，缩放级别)的指令。例如，显示器625可以在其内包含超过一个图像“窗口”(例如，PIP)。一些“窗口”可以不同比例显示数据。窗口显示模块670内的指令可以配置处理器以将与这些子窗口中的每一者相关的数据转化为用于显示器625的显示命令。
预览控制模块675包含用以配置处理器620以根据上文所描述的方法在显示器625上显示预览窗口的指令。例如，预览控制模块675可以包含用以调用成像控制模块635中的子例程以便配置处理器620来使用成像传感器615捕捉第一图像的指令。预览控制模块675随后可以调用所关注对象检测模块640以检测在由成像传感器615捕捉的第一图像中的所关注对象。预览控制模块675中的指令随后可以调用设置管理模块660从而确定操作员已如何配置预览窗口以在显示器625上(例如，在PIP中)显示。此信息可以提供到窗口显示模块670，以便将预览窗口布置为PIP或另外使用成像传感器615捕捉的图像数据和所关注对象检测模块640确定的所关注对象信息进行配置。窗口显示模块670可以调用操作系统680中的指令以控制显示器并使其在电子显示器625上显示适当的预览窗口配置。预览控制模块675还可包含用以配置处理器620以验证显示器625上选定的和/或检测到的所关注对象或从用户搜寻对所述对象的验证的指令。
操作系统模块680配置处理器620以管理装置600的存储器和处理资源。例如，操作系统模块680可以包含用以管理硬件资源(例如，显示器625、存储装置610或成像传感器615)的装置驱动程序。因此，在一些实施例中，上文所论述的模块中所含有的指令可以不与这些硬件资源直接互动，而是替代地通过位于操作系统组件680中的标准子例程或API进行互动。操作系统680内的指令随后可以与这些硬件组件直接互动。
在一些实施例中，操作系统模块680是移动操作系统并且装置600是移动装置。移动装置(例如，智能电话)所使用的移动操作系统可以是谷歌(Google)的安卓(Android)、苹果(Apple)的iOS、塞班系统(Symbian)、黑莓有限公司(BlackberryLtd)的黑莓10、三星(Samsung)的Bada、微软(Microsoft)的微软视窗操作系统(WindowsPhone)、惠普(Hewlett-Packard)的webOS、嵌入式Linux分布，例如Maemo和MeeGo、摩斯拉(Mozilla)的火狐操作系统(FirefoxOS)、Canonical有限公司的乌班图操作系统(UbuntuPhone)、泰泽系统(Tizen)或其它。移动装置可以跨其使用期限接收多个操作系统模块680的更新。
处理器620可以将数据写入到存储模块610。虽然存储模块610以图形方式展现为传统的磁盘装置，但是所属领域的技术人员将了解，多个实施例可以包含基于磁盘的存储装置或若干其它类型的存储媒体中的一者以包含存储器磁盘、USB驱动器、快闪驱动器、远程连接存储媒体、虚拟磁盘驱动器等。
虽然图6描绘了包括分开的组件以包含处理器、成像传感器和存储器的装置，但是所属领域的技术人员将认识到，这些分开的组件可以用多种方式组合以便实现特定的设计目标。例如，在替代实施例中，存储器组件可与处理器组件组合以节省成本且改进性能。
另外，虽然图6图解说明两个存储器组件，以包含包括若干模块的存储器组件630和包括工作存储器的分开的存储器605，但是所属领域的技术人员将认识到利用不同存储器架构的若干实施例。例如，装置600可具有利用ROM或静态RAM存储器以用于存储实施存储器630中所含有的模块的处理器指令的设计。替代地，可在系统启动时从磁盘存储装置读取处理器指令，所述磁盘存储装置集成到装置600中或经由外部装置端口连接。然后，可将处理器指令加载到RAM中，以便于由处理器执行。例如，工作存储器605可以是RAM存储器，其中指令在由处理器620执行之前被加载到工作存储器605中。
在一些实施例中，图5中所描绘的显示器501可以是在图6的框图中所描绘的装置600上的显示器625。例如，参考图5和6，装置600上的成像传感器615可以感测在方向505上的视场中的物件的图像。成像传感器615随后可以将此感测到的数据传输到所链接的处理器620。图像数据随后可以传达到工作存储器605、存储模块610、电子显示器625或存储器630的各种组件。在一些实施例中，可以使用所关注对象检测模块640和/或PIP显示模块695分析和/或选择在方向505上的视场中的物件以可能显示在第一PIP506中。所关注对象检测模块640可以将与第一被观看对象504相关的数据传达到处理器620，所述处理器随后可以在主视频503中显示第一对象516。可以在显示器501上通过(例如)触摸屏输入模块655选择第一对象516。装置600的用户可以触摸显示器501的对应于第一对象516的区域。触摸屏输入模块655随后可以获得此输入并将其传达到处理器620以用于进一步处理。可以使用PIP显示模块695或窗口显示模块670移动第一PIP506或调整其大小。在一些实施例中，对第一PIP506中的第一对象510的追踪可以通过设置管理模块660指示并通过成像传感器控制模块635或所关注对象检测模块640执行。
可以通过图6的模块执行的涉及第一PIP506中的第一对象510的功能中的任一者也可以在第二PIP508中的第二所显示对象514上执行。此外，将在图5中示出的各种特征上执行的图6的模块中的各种指令集可以通过各种模块执行且不必限于仅针对一个能力的一个模块。举例来说，虽然所关注对象检测模块640可以用来检测第一对象510，但是应理解，其它模块(例如，窗口显示模块670)可以替代地或另外提供此功能性。因此应了解，如应用于图5的特征的图6的各种模块和组件的所述功能性不是能够执行上述功能的唯一模块或组件，而仅仅是举例列出可以如何实施所揭示的实施方案。
转向图7，示出用图解法表示用于在显示器上显示和记录两个PIP的过程或方法700的一个实施例的流程图，其中第一PIP可以在其干扰其正显示的被追踪对象时自动地移动。过程700可以步骤705开始，其中在装置的屏幕或显示器上显示视频。视频可以是已记录的或当前记录的，即，录播的或直播的。此外，所显示的直播视频可以来自显示所述视频的同一装置，或其可以来自不同的装置。类似地，所显示的录播的或已记录的视频可已经由显示所述视频的同一装置捕捉和/或记录，或其可已经由不同装置捕捉和/或记录。步骤705中所显示的视频可以包括一个或若干个所关注对象，其可以是移动或静止的。
过程700随后移至步骤710，其中接收对视频中的第一对象的选择。在一些实施例中，可以通过用户触摸屏幕或显示器上第一对象当前在显示器上所位于的位置来接收对第一对象的选择。在一些实施例中，也可以通过接收识别第一对象的信息来接收对第一对象的选择。例如，对第一对象的描述可以存储于装置中。在一些实施例中，选择第一对象包含创建包含第一对象的所关注区域(ROI)。例如，可以围绕第一对象在显示器上形成可见方框，指示已经选定区域中的对象。在一些实施例中，所述区域不可见。
过程700随后移至步骤715，其中检测并追踪第一对象。在一些实施例中，第一对象检测为在先前步骤814中选定的对象。例如，接着可以在其后检测并追踪选定的对象。在一些实施例中，可以接收识别第一对象的信息，并且当第一对象在显示器上时，其可以被检测并识别为第一对象。在一些实施例中，对第一对象的选择是自动的。举例来说，可以存储第一对象的标识，在显示器上匹配对象，并且其后自动地进行选择。之后第一对象还可以离开显示器，并且在返回到显示器后再次被检测并被追踪。
过程700随后移至步骤720，其中在显示器上的第一PIP中显示第一对象。在一些实施例中，第一PIP覆盖显示器的一小部分并且显示其内的第一对象。第一PIP还可以覆盖显示器的较大部分。在一些实施例中，在第一对象移动时追踪第一对象并且当第一PIP仍然在显示器上时在第一PIP中连续地显示第一对象。第一PIP可以位于显示器的任何位置中，包含角落或沿显示器的边缘。
过程700接着移至决策步骤725，其中确定显示器上的第一PIP的位置是否干扰第一对象的位置或显示器上的其它指示位置。在一些实施例中，当第一PIP在至第一对象的指定接近距离内时，显示器上的第一PIP的位置干扰显示器上的第一对象的位置。因此当第一PIP遮挡显示器上的第一对象或其一部分的视野时会发生干扰。在第一PIP不遮挡显示器上的第一对象或第一对象的一部分的视野时也会发生干扰。在一些实施例中，当第一对象的边界接触第一PIP的边界时，第一PIP干扰第一对象。在一些实施例中，当第一对象的边界在第一PIP的边界的一定距离内时，第一PIP干扰第一对象。例如，当第一对象的边界在如显示器上可见的第一PIP的边界的半英寸内时，第一PIP会干扰第一对象。在一些实施例中，当ROI的边界接触第一PIP的边界时第一PIP干扰第一对象。可以实施许多其它配置以确定为使第一PIP干扰第一对象则第一对象或ROI必须与第一PIP接近的程度。此外，应理解，关于干扰第一对象的论述类似地适用于第一PIP可以避免的对显示器上的任何其它指示对象或位置的干扰。
如果在决策步骤725中确定第一PIP干扰第一对象，那么过程700移至步骤730，其中在显示器上移动或者改变第一PIP。在一些实施例中，移动或重定位第一PIP到显示器上的不同位置。在一些实施例中，此移动是自动的，使得第一PIP将在没有来自显示器的用户或观看者的任何输入的情况下移动。在一些实施例中，在显示器上第一PIP所移动到的一或多个位置可以重复。举例来说，当第一PIP干扰第一对象时，第一PIP可以始终移动到同一第二位置。随后如果第一PIP在此第二位置中干扰第一对象，那么第一PIP可以移动回其原始位置。
在一些实施例中，在显示器上第一PIP所移动到的一或多个位置可以随机。举例来说，第一PIP可以从其原始位置移动到随机的第二位置。随后第一PIP可以移动到随机的第三位置，所述第三位置可以或可以不与原始位置相同。
在一些实施例中，在显示器上第一PIP所移动到的一或多个位置可以受到控制。举例来说，第一PIP可以从其原始位置移动到不干扰显示器上的其它对象的第二位置。在一些实施例中，第一PIP可以移动到在其处第一PIP将不干扰第一对象、不干扰第二对象、不干扰第二PIP和/或不干扰第一PIP可以避免的显示器的任何其它指示位置的位置。在一些实施例中，如果还在显示器上展示第二对象，那么在第一PIP干扰第一对象和/或第二对象的情况下，第一PIP可以移动到在其处第一PIP将不干扰第一对象、不干扰第二PIP、不干扰第二对象或不干扰任何其它指示位置的位置。虽然在本文中未明确阐述，但是移动第一PIP的许多其它配置在所属领域的一般技术范围内并且因此在本发明的范围内。
在步骤730的一些实施例中，第一PIP可以改变其出现。这可以(例如)促进当第一对象与第一PIP重叠时在显示器上观看第一对象。在一些实施例中，第一PIP可以当存在干扰时消失并且随后再次出现。在一些实施例中，第一PIP可以变为透明的。例如，第一PIP118可以变为百分之五十透明的。此外，可以实施重新定位和/或改变第一PIP的出现的组合。另外，如上文相对于图1和2所论述的与干扰和/或移动相关的特征或能力中的任一者可以在方法700中实施。
在步骤730之后，方法700移至步骤720，其中其在所述第一PIP中显示器第一对象。在一些实施例中，第一对象随着在步骤730中第一PIP的移动而显示在第一PIP中，并且因此在步骤720中第一对象继续出现。在其它实施例中，第一对象在步骤730中第一PIP被移动或改变时消失，并且随后在步骤720中一旦已经停止移动或改变PIP就重新出现。此外，步骤720可以如上文所描述的方式中的任一者继续进行。
如果在决策步骤725中确定显示器上第一PIP的位置不干扰显示器上第一对象的位置，那么过程移至步骤735。在步骤735中，在显示器上的第二PIP中显示第二对象。在一些实施例中，第二PIP覆盖显示器的一小部分并且显示其内的第二对象。第二PIP还可以覆盖显示器的较大部分。第二PIP可以位于显示器的任何位置中，包含角落或沿显示器的边缘。在一些实施例中，定位第二PIP使得其不干扰第一对象、第一PIP、第二对象和/或显示器的任何其它一或多个指示位置。在一些实施例中，在第二对象移动时追踪第二对象并且当第二PIP仍然在显示器上时在第二PIP中连续地显示第二对象。在一些实施例中，第二对象也在显示器的主视频中。在一些实施例中，第二对象不是来自主视频而是来自另一个视频源。例如，第二对象可以来自显示装置的另一个视场或来自完全另一个显示装置，例如不同的智能电话。
过程700可以随后移至步骤740并且记录显示器上展示的视频、第一PIP和第二PIP。在一些实施例中，视频是第一和第二PIP所位于其上的显示器上的主视频。在一些实施例中，视频、第一PIP和第二PIP全部记录在同一显示器中。例如，记录可以是主视频与位于主视频上的两个PIP的记录。在一些实施例中，视频、第一PIP和第二PIP全部记录在不同显示器中或者在不同文件中。例如，主视频可以记录在一个显示器或文件上，第一PIP记录在另一个显示器或文件中，而第二PIP记录在又一显示器或文件中。
图8是用图解法表示用于在显示器上显示和记录四个PIP的方法或过程800的一个实施例的流程图，其中每一PIP追踪一个对象并且在干扰另一个指定对象或显示器上的指定位置的情况下自动地移动。过程800包含类似于图7中示出的过程700中的框705、720、725和730的步骤。举例来说，过程800的步骤805、810、815和820分别类似于过程700的上述步骤。因此，应理解，上文相对于图7的某些步骤的描述适用于图8中的类似步骤。
过程800以步骤805开始，其中在装置的屏幕或显示器上显示视频。步骤805中所显示的视频可以包括一个或若干个所关注对象，其可以是移动或静止的。此步骤805可进一步包含接收对视频中的第一对象的选择、检测第一对象和/或追踪第一对象805和/或检测并追踪第一对象。过程800随后移至步骤810，其中在显示器上的第一PIP中显示第一对象。800接下来，在步骤815中，确定显示器上的第一PIP的位置是否干扰显示器上的第一对象的位置。如果在决策步骤815中确定第一PIP干扰第一对象，那么过程800移至步骤820，其中在显示器上移动或者改变第一PIP。在步骤820之后，方法800移至步骤810，可以上文所描述的方式继续进行所述步骤。
如果在决策步骤815中确定显示器上第一PIP的位置不干扰显示器上第一对象以及其应避开的任何其它所识别对象的位置，那么过程移至步骤825。在步骤825中，在显示器上的第二PIP中显示第二对象。过程800可以随后针对此第二PIP、针对第三PIP和针对第四PIP以如上文在步骤810、815和820中相对于第一PIP所描述的类似方式继续进行。所述过程随后达至决策步骤820，其中确定第四PIP是否干扰第四对象的位置。此决策步骤820包含确定第四PIP是否干扰显示器的其不应干扰的任何其它PIP或任何其它对象或位置。
如果在决策步骤860中确定第四PIP不干扰上述对象或位置中的任一者，那么过程800移至步骤870，其中记录主视频、第一PIP、第二PIP、第三PIP以及第四PIP。在一些实施例中，视频是第一和第二PIP所位于其上的显示器上的主视频。在一些实施例中，视频、第一PIP、第二PIP、第三PIP和第四PIP全部记录在同一显示器中。例如，记录可以是主视频与位于主视频上的四个PIP的记录。在一些实施例中，视频、第一PIP、第二PIP、第三PIP和第四PIP全部记录在不同显示器中或者在不同文件中。例如，主视频可以记录在一个显示器或文件上，第一PIP记录在第一显示器或文件中，第二PIP记录在第二显示器或文件中，等等。
在一些实施例中，执行过程800的一些部分。例如，可以使用仅两个或三个PIP执行过程800。在一些实施例中，以不同顺序执行过程800。例如，第一PIP可以位于第一，且第三PIP可以位于第二。例如针对过程800等的这些其它改变在本发明的范围内。
所属领域的技术人员将进一步了解，结合本文所揭示的实施方案而描述的各种说明性逻辑块、模块、电路及过程步骤可实施为电子硬件、计算机软件或两者的组合。为清晰地说明硬件与软件的此可互换性，以上已大体就其功能性来描述了各种说明性组件、块、模块、电路和步骤。此类功能性是实施为硬件还是软件取决于具体应用及施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施方案决策不应被解释为会引起脱离本发明的范围。所属领域的技术人员将认识到，一个部分或一部分可包括小于或等于整体的内容。例如，显示器或像素的集合的一部分可以指所述显示器或所述像素的子集合。
结合本文所揭示的实施方案而描述的各种说明性逻辑块、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中描述的功能的任何组合来实施或执行。通用处理器可以为微处理器，但在替代方案中，处理器可以为任何常规的理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。
结合本文中所揭示的实施方案而描述的方法或过程的步骤可直接体现于硬件、由处理器执行的软件模块或其两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM，或此项技术中已知的任何其它形式的非暂时性存储媒体中。示例性计算机可读存储媒体耦合到处理器，使得处理器可以从计算机可读存储媒体读取信息并向计算机可读存储媒体写入信息。在替代方案中，存储媒体可集成到处理器。处理器和存储媒体可以驻留在ASIC中。ASIC可以驻留在用户终端、相机或其它装置中。在替代方案中，处理器和存储媒体可作为离散组件驻留于用户终端、相机或其它装置中。
提供对所揭示的实施方案的前述描述是为了使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改，且本文中定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此，本发明并不希望限于本文中所展示的实施方案，而是应被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。

Claims (30)

1.一种用于在电子装置上显示多个画中画PIP的方法，所述方法包括：
在所述装置的屏幕上显示视频；
选择所述视频中的第一对象；
在所述屏幕上显示第一PIP，其中所述第一PIP显示所述第一对象的图像；以及
在所述屏幕上显示第二PIP，其中所述第二PIP显示第二对象的图像。
2.根据权利要求1所述的方法，其进一步包括当在所述屏幕上显示所述第一对象时检测所述第一对象。
3.根据权利要求2所述的方法，其进一步包括追踪所述第一对象并且在所述第一对象正被追踪时在所述第一PIP中显示所述第一对象。
4.根据权利要求3所述的方法，其进一步包括最初在具有所述屏幕上的第一位置的方位中显示所述第一PIP，使得所述第一位置不干扰正在所述装置的所述屏幕上显示的所述第一对象的图像。
5.根据权利要求3所述的方法，其进一步包括当所述第一位置干扰所述第一对象的所述图像时将所述第一PIP的所述方位移动到所述屏幕上的第二位置。
6.根据权利要求3所述的方法，其进一步包括记录所述视频、所述第一PIP中显示的图像以及所述第二PIP中显示的图像。
7.根据权利要求3所述的方法，其中所述第二对象来自第二视频。
8.根据权利要求3所述的方法，其进一步包括：
在所述屏幕上显示第三PIP和第四PIP，其中所述第三PIP显示第三对象并且所述第四PIP显示第四对象；以及
在正显示所述第一、第二、第三和第四对象时追踪所述对象。
9.根据权利要求1所述的方法，其中所述视频是从所述电子装置的成像传感器捕捉的。
10.一种用于在电子装置上显示多个画中画PIP的系统，所述系统包括：
选择模块，其经配置以辨识第一对象的选择以在第一视频中进行追踪；以及
屏幕，其经配置以显示所述第一视频、在所述第一对象正被追踪时显示包括所述第一对象的第一PIP以及显示包括第二对象的第二PIP。
11.根据权利要求10所述的系统，其进一步包括检测模块，所述检测模块经配置以检测并追踪所述视频中的所述第一对象，并且在所述第一对象正被追踪时在所述第一PIP中显示所述第一对象。
12.根据权利要求10所述的系统，其进一步包括PIP显示模块，所述PIP显示模块经配置以在所述屏幕上的第一位置中显示所述第一PIP，使得所述第一位置不干扰正在所述屏幕上显示的所述第一对象的图像。
13.根据权利要求10所述的系统，其中所述PIP显示模块经配置以在所述第一位置干扰所述第一对象的图像时将所述第一PIP移动到所述屏幕上的第二位置，其中所述第二位置不干扰所述第一对象的所述图像。
14.根据权利要求10所述的系统，其进一步包括记录模块，所述记录模块经配置以记录所述视频、所述第一PIP和所述第二PIP。
15.根据权利要求14所述的系统，其中所述记录模块经进一步配置以将所述视频、所述第一PIP和所述第二PIP各自记录为单独的视频。
16.根据权利要求10所述的系统，其进一步包括成像传感器，所述成像传感器经配置以捕捉所述视频。
17.根据权利要求11所述的系统，其中所述检测模块经进一步配置以追踪所述第二对象并且在所述第二PIP中显示所述第二对象。
18.根据权利要求10所述的系统，其中所述第二对象来自所述电子装置的第二成像传感器。
19.根据权利要求10所述的系统，其中所述第一PIP是可调整大小的。
20.根据权利要求10所述的系统，其中所述视频是直播视频。
21.根据权利要求10所述的系统，其中所述视频是已记录视频。
22.根据权利要求14所述的系统，其中所述记录模块经进一步配置以在所述屏幕上显示第三PIP和第四PIP。
23.一种用于在电子装置上显示多个画中画PIP的系统，所述系统包括：
用于在所述装置的屏幕上显示视频的装置；
用于选择所述视频中的第一对象的装置；
用于在所述屏幕上显示第一PIP的装置，其中所述第一PIP显示所述第一对象的图像；以及
用于在所述屏幕上显示第二PIP的装置，其中所述第二PIP显示第二对象的图像。
24.根据权利要求23所述的系统，其进一步包括用于在所述屏幕上的第一位置中显示所述第一PIP使得所述第一位置不干扰所述第一对象的图像的装置。
25.根据权利要求23所述的系统，其进一步包括用于当所述第一对象在所述屏幕上显示时追踪所述第一对象的装置。
26.根据权利要求23所述的系统，其进一步包括用于记录所述视频、所述第一PIP和所述第二PIP的装置。
27.一种非暂时性计算机可读媒体，其经配置以存储指令，所述指令在由处理器执行时实行用于在电子装置上显示多个画中画PIP定向的方法，所述方法包括：
在所述装置的屏幕上显示视频；
选择所述视频中的第一对象；
在所述屏幕上显示第一PIP，其中所述第一PIP显示所述第一对象的图像；以及
在所述屏幕上显示第二PIP，其中所述第二PIP显示第二对象的图像。
28.根据权利要求27所述的计算机可读媒体，所述方法进一步包括在所述屏幕上的第一位置中显示所述第一PIP使得所述第一位置不干扰正在所述屏幕上显示的所述第一对象的图像。
29.根据权利要求27所述的计算机可读媒体，所述方法进一步包括当正在所述屏幕上的所述第一PIP中显示所述第一对象时追踪所述第一对象。
30.根据权利要求27所述的计算机可读媒体，所述方法进一步包括记录所述视频、所述第一PIP和所述第二PIP。
CN201480046888.0A 2013-08-27 2014-08-19 用于显示画中画的系统、装置和方法 Expired - Fee Related CN105519097B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361870732P 2013-08-27 2013-08-27
US61/870,732 2013-08-27
US14/185,683 US9973722B2 (en) 2013-08-27 2014-02-20 Systems, devices and methods for displaying pictures in a picture
US14/185,683 2014-02-20
PCT/US2014/051732 WO2015031111A1 (en) 2013-08-27 2014-08-19 Systems, devices and methods for displaying pictures in a picture

Publications (2)

Publication Number Publication Date
CN105519097A true CN105519097A (zh) 2016-04-20
CN105519097B CN105519097B (zh) 2018-06-22

Family

ID=52582732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480046888.0A Expired - Fee Related CN105519097B (zh) 2013-08-27 2014-08-19 用于显示画中画的系统、装置和方法

Country Status (5)

Country Link
US (1) US9973722B2 (zh)
EP (1) EP3039858A1 (zh)
JP (1) JP2016538601A (zh)
CN (1) CN105519097B (zh)
WO (1) WO2015031111A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396165A (zh) * 2016-05-16 2017-11-24 杭州海康威视数字技术股份有限公司 一种视频播放方法及装置
CN109416638A (zh) * 2016-06-30 2019-03-01 微软技术许可有限责任公司 可定制的紧凑叠加窗口
CN109565548A (zh) * 2016-08-17 2019-04-02 三星电子株式会社 控制多视场图像的方法和支持该方法的电子设备
CN111263207A (zh) * 2018-11-30 2020-06-09 青岛海尔多媒体有限公司 用于视频播放设备的控制方法、装置及计算机存储介质
CN113544765A (zh) * 2019-03-12 2021-10-22 索尼集团公司 信息处理装置、信息处理方法和程序
CN116055861A (zh) * 2022-05-30 2023-05-02 荣耀终端有限公司 一种视频编辑方法和电子设备
CN116095465A (zh) * 2022-05-25 2023-05-09 荣耀终端有限公司 录像方法、装置及存储介质
CN116095460A (zh) * 2022-05-25 2023-05-09 荣耀终端有限公司 录像方法、装置及存储介质
CN116112781A (zh) * 2022-05-25 2023-05-12 荣耀终端有限公司 录像方法、装置及存储介质
CN116132790A (zh) * 2022-05-25 2023-05-16 荣耀终端有限公司 录像方法和相关装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392217B2 (en) * 2014-03-20 2016-07-12 Blackberry Limited Automatically relocating picture-in-picture window in video calls
KR102396036B1 (ko) 2015-05-18 2022-05-10 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US20160381297A1 (en) 2015-06-26 2016-12-29 Jsc Yukon Advanced Optics Worldwide Providing enhanced situational-awareness using magnified picture-in-picture within a wide field-of-view optical image
KR102393510B1 (ko) * 2015-08-25 2022-05-03 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN105163165B (zh) * 2015-08-31 2018-09-04 广州酷狗计算机科技有限公司 基于画中画的多媒体内容展示方法和装置
US9609230B1 (en) * 2015-12-30 2017-03-28 Google Inc. Using a display as a light source
WO2017122363A1 (ja) * 2016-01-15 2017-07-20 楽天株式会社 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム
US20170213389A1 (en) * 2016-01-22 2017-07-27 Lg Electronics Inc. Mobile terminal and operating method thereof
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置
CN109417587A (zh) * 2016-06-30 2019-03-01 I<sup>3</sup>研究所股份有限公司 图像输出装置、图像输出方法以及程序
CN106131651B (zh) * 2016-08-23 2019-07-16 腾讯科技（深圳）有限公司 一种同屏直播方法及装置
JP7118966B2 (ja) * 2016-12-13 2022-08-16 ロヴィ ガイズ， インコーポレイテッド メディアアセットの着目オブジェクトの移動の経路を予測し、移動の経路におけるオーバーレイの設置を回避することによって、オーバーレイによるメディアアセットの妨害を最小化するためのシステムおよび方法
US10586111B2 (en) * 2017-01-13 2020-03-10 Google Llc Using machine learning to detect which part of the screen includes embedded frames of an uploaded video
KR20180094340A (ko) 2017-02-15 2018-08-23 엘지전자 주식회사 이동단말기 및 그 제어 방법
EP3677042A1 (en) * 2017-08-30 2020-07-08 Vid Scale, Inc. Tracked video zooming
US10893339B2 (en) * 2019-02-26 2021-01-12 Capital One Services, Llc Platform to provide supplemental media content based on content of a media stream and a user accessing the media stream
CN109905749B (zh) * 2019-04-11 2020-12-29 腾讯科技（深圳）有限公司 视频播放方法和装置、存储介质及电子装置
CN110784674B (zh) * 2019-10-30 2022-03-15 北京字节跳动网络技术有限公司 视频处理的方法、装置、终端及存储介质
CN112040249A (zh) * 2020-08-11 2020-12-04 浙江大华技术股份有限公司 一种录播方法、装置及单相机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1921605A (zh) * 2005-08-22 2007-02-28 上海乐金广电电子有限公司 利用机顶盒进行移动通信终端机数码影像传输方法
US20100053212A1 (en) * 2006-11-14 2010-03-04 Mi-Sun Kang Portable device having image overlay function and method of overlaying image in portable device
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
US20130155308A1 (en) * 2011-12-20 2013-06-20 Qualcomm Incorporated Method and apparatus to enhance details in an image

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195497B1 (en) 1993-10-25 2001-02-27 Hitachi, Ltd. Associated image retrieving apparatus and method
JPH11338449A (ja) * 1998-05-21 1999-12-10 Mitsubishi Electric Corp 拡大表示装置
EP1052849B1 (en) 1998-11-30 2011-06-15 Sony Corporation Set-top box and method for operating same
US8250617B2 (en) * 1999-10-29 2012-08-21 Opentv, Inc. System and method for providing multi-perspective instant replay
US20040128317A1 (en) * 2000-07-24 2004-07-01 Sanghoon Sull Methods and apparatuses for viewing, browsing, navigating and bookmarking videos and displaying images
US7206029B2 (en) * 2000-12-15 2007-04-17 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on video content analysis
US6816626B1 (en) * 2001-04-27 2004-11-09 Cisco Technology, Inc. Bandwidth conserving near-end picture-in-picture videotelephony
US8004574B2 (en) * 2004-07-21 2011-08-23 Nokia Corporation Portable electronic devices with picture in picture capability
SE528068C2 (sv) 2004-08-19 2006-08-22 Jan Erik Solem Med Jsolutions Igenkänning av 3D föremål
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
JP4577085B2 (ja) 2005-05-17 2010-11-10 ソニー株式会社 映像処理装置、映像処理方法
US7697024B2 (en) 2005-11-03 2010-04-13 Broadcom Corp. Method and system of tracking and stabilizing an image transmitted using video telephony
US8004555B2 (en) 2006-05-31 2011-08-23 Motorola Mobility, Inc. Methods and devices for simultaneous dual camera video telephony
JP2008048364A (ja) * 2006-08-21 2008-02-28 Toshiba Corp 画像表示装置
US7916976B1 (en) 2006-10-05 2011-03-29 Kedikian Roland H Facial based image organization and retrieval method
JP2008096868A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
CA2706695C (en) * 2006-12-04 2019-04-30 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
JP4915420B2 (ja) * 2006-12-11 2012-04-11 株式会社ニコン 電子カメラ
KR101333065B1 (ko) * 2007-07-04 2013-11-27 삼성전자주식회사 화면 속 화면을 이용한 방송데이터 표시방법 및 장치
KR101009881B1 (ko) * 2008-07-30 2011-01-19 삼성전자주식회사 재생되는 영상의 타겟 영역을 확대 디스플레이하기 위한장치 및 방법
US8254699B1 (en) 2009-02-02 2012-08-28 Google Inc. Automatic large scale video object recognition
US8413188B2 (en) 2009-02-20 2013-04-02 At&T Intellectual Property I, Lp System and method for processing image objects in video data
TWI427541B (zh) 2009-03-18 2014-02-21 Ind Tech Res Inst 人臉快速辨識系統及其方法
US8249299B1 (en) 2009-08-17 2012-08-21 Adobe Systems Incorporated Systems and methods of tracking objects in video
US20110047384A1 (en) 2009-08-21 2011-02-24 Qualcomm Incorporated Establishing an ad hoc network using face recognition
US8452107B2 (en) 2009-10-02 2013-05-28 Qualcomm Incorporated Methods and systems for occlusion tolerant face recognition
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
KR101680684B1 (ko) 2010-10-19 2016-11-29 삼성전자주식회사 영상 처리 방법 및 이를 적용한 영상 촬영 장치
US9298986B2 (en) * 2011-12-09 2016-03-29 Gameonstream Inc. Systems and methods for video processing
US20130174035A1 (en) 2011-12-30 2013-07-04 United Video Properties, Inc. Systems and methods for representing a content dependency list
KR20130082323A (ko) 2012-01-11 2013-07-19 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 입체 영상 표시 방법
US8836799B2 (en) 2012-03-30 2014-09-16 Qualcomm Incorporated Method to reject false positives detecting and tracking image objects
US9224205B2 (en) 2012-06-14 2015-12-29 Qualcomm Incorporated Accelerated geometric shape detection and accurate pose tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1921605A (zh) * 2005-08-22 2007-02-28 上海乐金广电电子有限公司 利用机顶盒进行移动通信终端机数码影像传输方法
US20100053212A1 (en) * 2006-11-14 2010-03-04 Mi-Sun Kang Portable device having image overlay function and method of overlaying image in portable device
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
US20130155308A1 (en) * 2011-12-20 2013-06-20 Qualcomm Incorporated Method and apparatus to enhance details in an image

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396165B (zh) * 2016-05-16 2019-11-22 杭州海康威视数字技术股份有限公司 一种视频播放方法及装置
CN107396165A (zh) * 2016-05-16 2017-11-24 杭州海康威视数字技术股份有限公司 一种视频播放方法及装置
US10701301B2 (en) 2016-05-16 2020-06-30 Hangzhou Hikvision Digital Technology Co., Ltd. Video playing method and device
US11295706B2 (en) 2016-06-30 2022-04-05 Microsoft Technology Licensing, Llc Customizable compact overlay window
CN109416638A (zh) * 2016-06-30 2019-03-01 微软技术许可有限责任公司 可定制的紧凑叠加窗口
CN109565548A (zh) * 2016-08-17 2019-04-02 三星电子株式会社 控制多视场图像的方法和支持该方法的电子设备
CN109565548B (zh) * 2016-08-17 2021-02-12 三星电子株式会社 控制多视场图像的方法和支持该方法的电子设备
CN111263207A (zh) * 2018-11-30 2020-06-09 青岛海尔多媒体有限公司 用于视频播放设备的控制方法、装置及计算机存储介质
CN113544765A (zh) * 2019-03-12 2021-10-22 索尼集团公司 信息处理装置、信息处理方法和程序
CN116095465A (zh) * 2022-05-25 2023-05-09 荣耀终端有限公司 录像方法、装置及存储介质
CN116095460A (zh) * 2022-05-25 2023-05-09 荣耀终端有限公司 录像方法、装置及存储介质
CN116112781A (zh) * 2022-05-25 2023-05-12 荣耀终端有限公司 录像方法、装置及存储介质
CN116132790A (zh) * 2022-05-25 2023-05-16 荣耀终端有限公司 录像方法和相关装置
CN116095465B (zh) * 2022-05-25 2023-10-20 荣耀终端有限公司 录像方法、装置及存储介质
CN116095460B (zh) * 2022-05-25 2023-11-21 荣耀终端有限公司 录像方法、装置及存储介质
CN116132790B (zh) * 2022-05-25 2023-12-05 荣耀终端有限公司 录像方法和相关装置
CN116055861A (zh) * 2022-05-30 2023-05-02 荣耀终端有限公司 一种视频编辑方法和电子设备
CN116055861B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 一种视频编辑方法和电子设备

Also Published As

Publication number Publication date
JP2016538601A (ja) 2016-12-08
US20150062434A1 (en) 2015-03-05
EP3039858A1 (en) 2016-07-06
US9973722B2 (en) 2018-05-15
WO2015031111A1 (en) 2015-03-05
CN105519097B (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN105519097A (zh) 用于显示画中画的系统、装置和方法
US11272160B2 (en) Tracking a point of interest in a panoramic video
US20170111595A1 (en) Methods and apparatuses for controlling video content displayed to a viewer
CN109120981A (zh) 信息列表展示方法、装置及存储介质
CN105955607A (zh) 内容分享方法和装置
US20100208033A1 (en) Personal Media Landscapes in Mixed Reality
CN105210379A (zh) 显示控制装置、显示控制方法和程序
CN103905809A (zh) 信息处理设备和记录介质
CN106464773B (zh) 增强现实的装置及方法
CN104580971B (zh) 图像输出设备
CN103491331A (zh) 显示控制设备、显示控制方法和程序
JP6366626B2 (ja) 生成装置、生成方法、及び生成プログラム
JP7247260B2 (ja) データ処理プログラム、データ処理方法、および、データ処理装置
US20170256283A1 (en) Information processing device and information processing method
CN103731599A (zh) 拍照方法及相机
CN103888696A (zh) 照片的拍摄和查看方法和拍摄装置
US11818467B2 (en) Systems and methods for framing videos
CN106339157A (zh) 移动终端及其控制方法
CN109313653A (zh) 增强媒体
KR20230166957A (ko) 3차원 가상 환경에서 내비게이션 보조를 제공하기 위한 방법 및 시스템
CN109460556A (zh) 一种翻译方法和装置
Roccetti et al. Day and night at the museum: intangible computer interfaces for public exhibitions
CN105261041A (zh) 一种信息处理方法及电子设备
CN107948714A (zh) 多人视频观看场景下的视频播放方法、设备与存储介质
CN107506026A (zh) 控制应用运行的方法、装置及头戴式显示设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180622

Termination date: 20210819

CF01 Termination of patent right due to non-payment of annual fee