CN108718397B - 用于在帧速率上变频中进行帧重复控制的方法及设备 - Google Patents

用于在帧速率上变频中进行帧重复控制的方法及设备 Download PDF

Info

Publication number
CN108718397B
CN108718397B CN201810932824.0A CN201810932824A CN108718397B CN 108718397 B CN108718397 B CN 108718397B CN 201810932824 A CN201810932824 A CN 201810932824A CN 108718397 B CN108718397 B CN 108718397B
Authority
CN
China
Prior art keywords
frame
base
frames
pixels
interpolated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810932824.0A
Other languages
English (en)
Other versions
CN108718397A (zh
Inventor
M·格尔姆蒂诺夫
A·韦谢洛夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN201810932824.0A priority Critical patent/CN108718397B/zh
Publication of CN108718397A publication Critical patent/CN108718397A/zh
Application granted granted Critical
Publication of CN108718397B publication Critical patent/CN108718397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

各实施例总体上涉及用于确定在对基本视频流的帧速率进行上变频时是使用插值帧还是重复基本帧来产生经上变频视频流的技术。一种用于对帧速率进行上变频的设备包括分析组件和选择组件，所述分析组件用于分析一对时间上相邻的基本帧以及与物体在所述一对基本帧之间的移动相关联的运动向量从而确定涉及所述物体在插值帧中的边缘的视觉假象程度，并且该选择组件用于将所述视觉假象程度与阈值进行比较并且在对基本视频流的帧速率进行上变频时选择所述插值帧用于插入前一个基本帧与后一个基本帧之间从而基于所述比较生成经上变频的视频流。对其他实施例进行了描述并要求保护。

Description

用于在帧速率上变频中进行帧重复控制的方法及设备
本申请是PCT国际申请号为PCT/IB2014/000377、国际申请日为2014年2月4日、中国国家申请号为201480072236.4、题为“用于在帧速率上变频中进行帧重复控制的技术”的申请的分案申请。
背景
以非常高的刷新速率操作的平板显示器的日益普遍的使用已经刺激了相应的用于增加运动视频帧的视频流的帧速率以匹配那些刷新速率的帧速率上变频的日益增加的使用。已经设计了各种形式的视频插值用于生成在这种上变频中所需要的附加帧。
早期的视频插值形式主要采用各种平均技术以针对插值帧的像素从相邻的基本帧的相应像素中生成像素颜色值。人们曾预期，物体在相邻的基本帧之间的运动可以通过这种平均技术来适应。然而，在典型的运动视频中物体运动速率的增加结合在运动视频和显示器两者中的像素分辨率的增加已使得这种方法由于所产生的视觉假象不太令人期望。
因此，当前的视频插值形式采用各种技术来具体地检测并表征物体在相邻的基本帧之间的运动。具体地，在相邻基本帧之间检测到被确定用于表示移动物体的像素颜色值的定位的位置变化，并且衍生出运动向量来描述这种改变。然后采用那些运动向量来确定在插值帧的像素中的正确位置，在这些像素处，为了定位那些像素颜色值企图将移动物体正确地定位在插值帧中。
然而，在这种用于视频插值的方法中会出现误差，包括以下误差：其中，相对接近匹配的像素颜色值的区域被错误地确定用于表示移动物体；其中，表示移动物体的其他像素颜色值未被确定用于表示移动物体；和/或其中，运动向量不准确地指示移动的方向和/或幅度。这种误差会引起插值帧中的各种视觉假象，包括：未包括部分或全部移动物体、未包括移动物体的复制部分、移动物体的明显拉伸、移动物体的明显分裂等。
给定运动视频被上变频至的通常明显较高的帧速率，这种假象中的一些假象的视觉呈现可被忽视。然而，人类视觉系统(HVS)充分利用边缘检测作为对物体进行标识的一部分，从而使得添加和/或去除物体一般会具有的边缘的假象的视觉呈现经常容易被注意到并且会非常分散注意力。
附图简要说明
图1展示了视频处理系统的实施例。
图2展示了视频处理系统的替代实施例。
图3展示了对运动视频的帧速率进行上变频的实施例。
图4A至图4E各自展示了生成插值帧的示例。
图5展示了选择上变频帧的实施例。
图6至图8各自展示了对插值结果进行分析的示例。
图9展示了实施例的一部分。
图10展示了根据实施例的逻辑流程。
图11展示了根据实施例的处理架构。
图12展示了图形处理系统的另一个替代实施例。
图13展示了设备的实施例。
详细说明
各实施例总体上涉及用于确定在对运动视频的帧的基本视频流的帧速率进行上变频时是使用插值帧还是重复从中可以导出插值帧的基本帧中的一个基本帧来产生经上变频视频流的技术。从中可以导出插值帧的基本帧以及表示被确定发生在那些基本帧之间的物体移动的运动向量一起被分析，以便确定插值帧的视觉呈现是否将需要对在给定HVS特性的情况下过于分散注意力视觉假象进行视觉呈现。如果这种分散的程度被确定为在预先确定的阈值之下，那么该插值帧被用在经上变频的视频流中。然而，如果这种分散的程度太大，那么在经上变频的视频流中有待由插值帧占据的时间位置之前或之后的基本帧被重复并且代替所述插值帧用在那个位置处。
在执行将帧速率从基本视频流上变频至经上变频的视频流时，由插值组件对基本视频流中的一对时间上相邻的基本帧进行分析以使用各种检测技术中的任何一种来检测在这些基本帧之间移动的物体。在确定存在这种移动物体的情况下，生成指示移动方向、移动范围和/或哪些像素与这种移动相关联的运动向量。
然后，作为生成经上变频的视频流的一部分，该插值组件可以采用运动向量来生成有待在时间上插入在该对时间上相邻的基本帧的这两个基本帧之间的插值帧。该插值组件可以采用多种算法中的任何一种算法来至少部分地基于运动向量生成插值帧。然而，在一些实施例中，插值组件可以等待接收指示所述插值帧是否将在采用处理和/或存储资源来生成其之前被如此插入的信号。
这两个基本帧中的每个基本帧与运动向量一起被分析，以便确定它们的每个像素的像素颜色值的使用重数。如本领域技术人员熟悉的，在生成插值帧时使用运动向量经常导致在提供所述插值帧的像素的像素颜色值和/或基本帧的完全未被使用的其他像素的像素颜色值时基本帧的某些像素的像素颜色值被使用多于一次。基本帧的像素颜色值完全未被使用的像素定义了在那个基本帧中经常被称为“空洞(hole)”的一个或多个区域。基本帧的像素颜色值被使用多于一次的像素定义了在那个基本帧中经常被称为“碰撞(collision)”的一个或多个区域。
还对这两个基本帧中的每个基本帧进行分析以标识与边缘相重合的像素，在这些像素处，在表示颜色和/或亮度的相对较高变化程度的像素颜色值中存在相对较高变化程度。可以采用各种算法中的任何一种算法来标识那些边缘。
在这两个基本帧的每个基本帧内，对任何边缘、空洞和/或碰撞的位置进行分析以标识在其处边缘与空洞相重合的像素的数量以及在其处边缘与碰撞相重合的像素的数量。然后在计算中采用这些数量来推导出指示在插值帧中存在或将存在的涉及移动物体的边缘的分散注意力的视觉假象所达到的程度的值。然后将那个值与预先确定的阈值进行比较以确定插值帧是否将通过在时间上被插入经上变频的视频流中的两个基本帧之间而被使用，或者是否将在经上变频的视频流中重复这两个基本帧中的一个帧。在由插值组件生成插值帧以此确定为条件的实施例中，可以使用对此确定的指示来信号通知插值组件。
大致参考在此所使用的记法和命名，之后的详细描述的部分可以按照在计算机或计算机的网络上执行的程序过程来呈现。本领域的技术人员使用这些过程说明和表示来将其工作的实质最有效地传达给本领域的其他技术人员。过程在此并且通常被认为是导致所需结果的自相一致的操作序列。这些操作是需要对物理量进行物理操纵的那些操作。通常，但不一定，这些量采用能够被存储、传递、组合、比较、以及以另外方式操纵的电、磁或光信号的形式。主要出于常见用法的原因，证明有时将这些信号称为比特、值、元素、符号、字符、术语、数字等是方便的。然而，应当注意，所有这些和相似术语与适当的物理量相关联并且仅是应用于那些量的方便的标签。
进一步地，这些操纵经常被称为如相加或比较等术语，这些术语通常与由人类操作员执行的智力操作相关联。然而，在大多数情况下，在此所描述的形成一个或多个实施例的一部分的任何操作中不需要或不期望人类操作员的这种能力。相反，这些操作是机器操作。用于执行各实施例的操作的有用机器包括通用数字计算机和/或包括针对所需目的专门构造的设备，该通用数字计算机由存储在其中根据本文的教导编写的计算机程序选择性地激活或配置。各实施例还涉及用于执行这些操作的设备或系统。这些设备可以是针对所需目的专门构造的或者可以包括通用计算机。对于各种各样的这些机器的所需结构将从给出的描述中显示。
现在参考附图，其中，贯穿附图相同的参考号用来表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体的细节以便提供对其彻底的理解。然而，可能显而易见的是，可以在没有这些具体细节的情况下实践新颖的实施例。在其他情形下，以框图的形式示出了众所周知的结构和设备，以便促进对其的描述。本发明将涵盖落在权利要求书的范围内的所有修改、等同物和替代方案。
图1展示了结合源设备100、计算设备300和显示设备600中的一者或多者的视频处理系统1000的实施例的框图。在视频处理系统1000中，由计算设备300对表示运动视频影像880的基本视频数据100的帧的基本流的帧速率进行上变频，以生成经上变频的视频数据630的帧的经上变频的流，该经上变频的流也表示运动视频影像880，但具有更高的帧速率。基本视频数据100可以由计算设备300从源设备100接收。经上变频的视频数据630可以存储在计算设备300中并且由计算设备300视觉上进行显示，和/或被传输到显示设备600中以由显示设备600视觉上进行显示。这些计算设备中的每个计算设备可以是各种类型的计算设备中的任何一种计算设备，包括但不限于：台式计算机系统、数据输入终端、膝上计算机、上网本计算机、平板计算机、手持式个人数据助理、智能电话、智能眼镜、智能腕表、数码相机、并入衣服中的身体穿戴式计算设备、整合到车辆(例如，汽车、自行车、轮椅等)中的计算设备、服务器、服务器集群、服务器组等。
如所描绘的，这些计算设备100、300和600通过网络999交换传达表示运动视频880的基本视频数据和经上变频的视频数据和/或相关数据的信号。然而，这些计算设备中的一个或多个设备可以经由网络999与彼此和/或与又其他计算设备(未示出)交换与运动视频880完全不相关的其他数据。在各实施例中，网络999可以是可能受限于在单个建筑物或其他相对有限的区域内延伸的单个网络、可能延伸相当大距离的连通网络的组合，和/或可以包括互联网。因此，网络999可以基于通过其可以交换信号的各种通信技术中的任何一种通信技术(或组合)，包括但不限于：采用电和/或光导电线缆的有线技术、以及采用红外线、射频或其他形式的无线传输的无线技术。
在各实施例中，源设备100(如果存在的话)结合接口190以将源设备100耦接至计算设备300从而为计算设备300提供基本视频数据130。如所描绘的，接口190可以通过与将计算设备300耦接至显示设备600相同的网络999将源设备100耦接至计算设备300。然而，在其他实施例中，源设备100可以用完全不同的方式耦接到计算设备300。可能已经由源设备100创造了基本视频数据130的至少一部分，例如，在源设备100或者是照相机或者结合了照相机的情况下，从而使得基本视频数据100包括由源设备100采集的运动视频880的帧的表示。替代地或此外，基本视频数据130的至少一部分可以简单地存储在源设备100上以用于稍后在从又另一个设备接收其之后将其传达至计算设备300。
在各实施例中，计算设备300结合了处理器组件350、存储器360、控制器400、显示器380以及用于将计算设备300耦接至网络999的接口390中的一者或多者。存储器360存储控制例程340、基本视频数据130和参数数据370中的一者或多者。控制器400结合了处理器组件450和存储器460中的一者或多者。存储器460存储以下各项中的一者或多者：控制例程440、运动向量数据230、插值视频数据330、边缘数据430、重数数据530和经上变频的视频数据630。
控制例程340在其作为计算设备300的主处理器组件的角色中结合了处理器组件350上操作的指令序列以实现用于执行各种功能的逻辑。在一些实施例中，在执行控制例程340时，处理器组件350可以接收表示来自源设备100的运动视频880的基本视频数据130，并且可以至少将其子集存储在存储器360中。应注意的是，在对基本视频数据130进行任何使(包括对其进行上变频、视觉呈现和/或传输)用之前可以将其存储在存储器360中相当长的时间。在基本视频数据130处于压缩形式的情况下，处理器组件350在执行控制例程340时可以对其进行解压。当基本视频数据130需要颜色空间转换来为上变频、视觉呈现和/或传输做准备时，处理器组件350在执行控制例程340时可以转换其颜色空间。然后，处理器组件350为控制器400提供基本视频数据130进行压缩。
控制例程440在其作为计算设备300的控制器400的控制器处理器组件的角色中结合了处理器组件450上操作的指令序列以实现用于执行各种功能的逻辑。在执行控制例程440时，处理器组件450对表示运动视频880的基本视频数据130的帧速率进行上变频以生成经上变频的视频数据630，该经上变频的视频数据也表示运动视频880，但以更高的帧速率。
图3描绘了对基本视频数据130的基本流131的帧速率进行上变频以由处理器组件450在执行控制例程440的至少一部分时生成相应的经上变频的视频数据630的经上变频的流631的示例实施例。如所描绘的，基本流131是由一系列按时间顺序安排的以基本帧速率表示运动视频880的基本帧132构成的。经上变频的流631包括按照相同时间顺序的相同基本帧132，但在每对相邻的基本帧132之间插入一个经上变频的帧632来给予经上变频的流631为基本帧速率双倍的上变频帧速率。
如进一步描述的，处理器组件450可以采用每对相邻的基本帧132来至少部分地执行生成插值视频数据330的插值帧332。处理器组件450执行分析以确定在插值帧332中存在或将存在的涉及一个或多个移动物体的边缘的分散注意力的视觉假象所达到的程度。然后，处理器组件450基于那个程度是否超过预先确定的阈值来确定是否使用那个插值帧332或者是否重复从中推导出那个插值帧332的基本帧132之一，以提供相应的上变频帧632。预先确定的阈值可以由处理器组件450从参数数据370中检索，其可以是从源设备100中接收的和/或可以由处理器组件350提供给控制器400。
应注意的是，加倍帧速率的示例的此描绘仅是帧速率上变频的一个示例，并且不应被视为限制性的。更确切地，其他实施例是可能的，其中，在基本流131与经上变频的流631之间存在帧速率的其他比值。具体地，以下实施例是可能的，其中，可以在经上变频的流631中相邻的多对基本帧132的基本帧132之间插入不同数量的经上变频的帧632。
图4A至图4E描绘了从基本视频数据130的一对基本帧132(确切地，在插值帧332的时间位置之前的基本帧132p以及在那个时间位置之后的另一个基本帧132f)中生成插值视频数据330的插值帧332的可能结果的示例。图4A描绘了此时间顺序，其中，物体(例如，球或具有由其相关联的边缘定义的圆形轮廓的其他物体)以从基本帧132p到基本帧132f的时间发展在两个不同的位置之间移动。应注意的是，这些示例基本帧132p和132f以及从中生成的插值帧332的每个示例是在此呈现的用于帮助讨论和理解的有意地高度简化的示例，并且不应被视为将在此呈现的内容限制为这种简单的情况。应理解的是，运动视频880的更加典型的示例帧可以包含复杂得多的视觉内容，该视觉内容可以适当地包括可在多个不同的方向上移动的多个移动物体。
图4A描绘了可以被视为从基本帧132p和132f中成功地生成插值帧332的示例。确切地，所述球被描绘在插值帧332中在沿着其在基本帧132p与132f的每个帧中的位置之间的路径的位置处而没有(或相对较少的)涉及球的边缘的视觉假象。更确切地，球的形状(如由其边缘定义的)至少是表观不变的。还未失败地视觉上呈现该球使得其所有边缘丢失，球还未被划分为单独地视觉上呈现的多个部分使得存在比应该存在的边缘更多的边缘，并且球形状还未被扭曲使得存在与应该存在的边缘不同数量的边缘和/或边缘相对于彼此在不正确的位置处。不管人类视觉系统(HVS)由于其依赖用于标识物体的边缘检测而对边缘变化的敏感性，当按时间顺序观察前一个基本帧132p、插值帧332和后一个基本帧132f时，在插值帧332中定义了球的边缘的变化的相对缺乏将可能存在很少的或者不存在针对典型的HVS的注意力分散。
相比而言，图4B至图4E中的每个图描绘了从基本帧132p和132f中较不成功地生成插值帧332的示例。在这些示例的每个示例中，用于生成插值帧332的插值已经引入涉及对球的边缘进行定义的视觉假象。更确切地，在插值帧332的这些示例中的每个示例中，边缘的数量和/或球的边缘的相对位置在球的视觉呈现中被错误地更改至可能在观看过程中对典型HVS而言是分散注意力的程度。应注意的是，图4B至图4E的示例的描绘不旨在提供可能由插值引起的涉及移动物体的边缘的每种可能的视觉假象的详尽呈现。
转至图4B，所述球完全从插值帧332的这个示例中丢失。因此，定义该球的所有边缘丢失，并且当由典型的HVS按时间顺序观察前一个基本帧132p、插值帧332和后一个基本帧132f时这可能是分散注意力的。
转至图4C，该球已经在遵循从其在前一个基本帧132p中的位置至其在后一个基本帧132f中的位置的路径的方向上被拉伸。这种形状变化对应于定义该球的边缘的总长度的增加，而且对应于至少一些边缘相对于其他边缘的位置变化，这二者在被典型的HVS观察时都有可能是分散注意力的。
转至图4D，球已经被分成两件，一件总体上位于球在前一个基本帧132p中的位置处而另一件总体上位于球在后一个基本帧132f中的位置处。这种将球划分为多件在其处不应该存在边缘的位置处引入了附加边缘，从而使得球形状被有效地更改。进一步地，定义球的边缘的总长度可能已被改变。这种边缘变化在由典型的HVS观察时可能是分散注意力的。
转至图4E，球已经被复制，从而使得其视觉上呈现于其在前一个基本帧132p中的位置以及其在后一个基本帧132f中的位置两者处。这种球复制有效地加倍了边缘的数量，这在由典型的HVS观察时可能是分散注意力的。
如已经讨论的，为了解决可能出现的视觉假象(如在图4B至图4E中描绘的在插值视频数据330的插值帧332的一个或多个插值帧中的那些视觉假象)，处理器组件450执行分析以确定是否使用每个插值帧332中或者是否重复从中导出每个插值帧332的那些基本帧132之一。图5更详细地描绘了由执行控制例程440引起的这种分析和确定的示例实施例。如所描绘的，控制例程440可以结合插值组件441、分析组件442和选择组件447中的一者或多者。
在执行插值组件441时，处理器组件450分析基本视频数据130的基本流131的一对相邻的基本帧132以标识在该对基本帧132之间按时间发展移动的物体。更确切地，该分析涉及一个基本帧被指定为前一个基本帧132p并且另一个基本帧被指定为后一个基本帧132f。然后，处理器组件450生成双向运动向量，该双向运动向量指示标识的移动物体从基本帧132p到基本帧132f的移动的方向和/或范围，并且指示在基本帧132p和132f的每个帧中哪些像素与这种移动相关联。可以采用各种算法中的任何算法来生成运动向量，包括但不限于由崔(Choi)等人在其论文“使用双向运动估计的新帧速率上变频(New Frame RateUp-Conversion Using Bi-Directional Motion Estimation)”，IEEE Transactions onConsumer Electronics，2000，46卷，603-609页中描述双向运动估计技术。处理器组件450将这种运动向量存储为运动向量数据230。
当进一步执行插值组件441时，处理器组件450可以使用那些运动向量来从基本帧132p和132f中生成插值帧332的一个插值帧，该插值帧对应于在经上变频的视频数据630的经上变频的流631中这两个基本帧132p与132f之间的时间位置。在一些实施例中，处理器组件450可以如此生成此插值帧332，而不用首先等待是否将在经上变频的流631中使用此插值帧332的指示。在其他实施例中，处理器组件450可以以这种指示为生成此插值帧332的条件。
在执行分析组件442时，处理器组件450结合运动向量数据230的那些相同的运动向量分析基本帧132p和132f，以确定插值帧332是否包括(或将包括(如果生成的话))涉及一个或多个移动物体的边缘的视觉假象。基于运动向量以及基本帧132p和132f而非基于插值帧332执行这种分析的优点在于：可以延迟插值帧332的生成，直到已知是否将使用插值帧332。因此，如果确定(分析所致的结果)将不使用插值帧332，那么可以完全避免使用处理、存储和/或功率资源来生成插值帧332。
处理器组件450分析每个基本帧132p和132f以标识与由表示颜色和/或亮度的相对较高变化程度的像素颜色值中的相对较高变化程度定义的边缘重合的像素。可以采用多种算法中的任何算法来标识这种边缘，包括但不限于分析相邻像素的像素颜色值之间的差异程度的基于梯度的方法，如Sobel算子。处理器组件450可以分别针对基本帧132p和132f的每个帧将边缘数据430生成并存储在单独的边缘图432p和432f中，这些边缘图指示在这些基本帧的每个帧中哪些像素对应于这种经标识的边缘的位置。
处理器组件450分析运动向量数据230的这些运动向量中的每个运动向量以在为插值帧332的像素生成像素颜色值时确定在基本帧132p和132f的每个帧中与每个像素的像素颜色值所使用(或将使用)的重数。此外，这些运动向量是指示经标识的移动从基本帧132p到基本帧132f的移动的双向运动向量。基本帧的其像素颜色值在为插值帧332的任何像素提供像素颜色值的过程中未被使用的像素被确定为具有为零的重数。这种像素被认为定义了一个或多个区域，该一个或多个区域由在那个基本帧中的被称为那个基本帧的“空洞”的一个或多个像素构成。相应地，基本帧的其像素颜色值在为插值帧332的多于一个的像素提供像素颜色值的过程中被使用的像素被确定为具有大于一的重数。这种像素被认为定义了一个或多个区域，该一个或多个区域由在那个基本帧中的被称为那个基本帧的“碰撞”的一个或多个像素构成。处理器组件450针对基本帧132p和132f中的每个帧可以分别地将重数数据530生成并存储在单独的空洞图532ph和532fh(具有重数为零的像素的图)以及单独的碰撞图532pc和532fc(具有重数大于一的像素的图)中，这些图指示在每个这些基本帧中哪些像素是定义了空洞或碰撞的一个或多个像素的区域的一部分。换言之，处理器组件450可以生成关于基本帧132p和132f的每个帧的哪些像素具有为除一以外的值的重数值的指示。
针对每个基本帧132p和132f，处理器组件450将边缘图与空洞图和碰撞图中的每个图进行比较以推导出在边缘与空洞或碰撞重合的位置处的像素数量。确切地，针对基本帧132p，将边缘图432p与空洞图532ph和碰撞图532pc进行比较，并且针对基本帧132f将边缘图432f与空洞图532fh和碰撞图532fc进行比较。针对每个基本帧132p和132f，对在这种位置处的那些像素数量进行求和以针对每个基本帧132p和132f生成单独的标准值。然后，将这两个标准值中的较大者与预先确定的阈值进行比较，以确定是否在经上变频的流631中将插值帧332用作在基本帧132p与132f之间的时间位置中的经上变频的帧632，或者在那个时间位置处重复基本帧132p与132f之一作为经上变频的帧632。换言之，将位于每个基本帧的132p和132f中的在其中边缘与空洞或与碰撞重合的像素的数量之和中的较大者与阈值进行比较，以确定针对有待使用的插值帧332是否存在(或将存在)与移动物体在插值帧332中的边缘有关的太大的视觉假象程度。
在一些实施例中，在每个基本帧132p和132f中空洞与边缘在其处重合的位置处的像素的数量Qeh可以推导如下：
Figure GDA0003062360450000111
此数量Qeh表示在所有位置(i，j)处高为H且宽为W的基本帧中的像素之和，在该位置处存在边缘并且在该位置处像素的像素颜色值在生成插值帧的过程中的使用重数为0(例如，在此处像素颜色值未被使用)，其中，i＝1→H，并且其中，j＝1→W。类似地，在每个基本帧132p和132f中碰撞与边缘在其处重合的位置处的像素的数量Qec可以推导如下：
Figure GDA0003062360450000121
此数量Qec表示在所有位置(i，j)处高为H且宽为W的相同基本帧中的像素之和，在该位置处存在边缘并且在该位置处像素的像素颜色值在生成相同插值帧的过程中的使用重数大于1(例如，像素颜色值被使用多于一次)，其中，i＝1→H，并且其中，j＝1→W。
在针对每个基本帧132p和132f这样推导数量Qeh和Qec之后，针对每个这些基本帧的标准值C可以推导如下：
Figure GDA0003062360450000122
此标准值C表示数量Qeh乘以a与数量Qec乘以β之和，其中，该和然后除以在其处存在边缘的所有位置(i，j)处的高为H且宽为W的相同基本帧中的像素的数量，其中，i＝1→H，并且其中，j＝1→W。然后，选择基本帧132p的标准值C与基本帧132f的标准值C中的较大者，并将其与预先确定的阈值进行比较以确定插值帧332是否应该被用作上变频帧632。
乘法因数a和β以及预先确定的阈值全部可以在参数数据370中进行规定。可以通过实验推导出乘法因数a和β以及预先确定的阈值，从而确定有待分配给数量Qeh和Qec各自的相对权重，并且从而确定将与移动物体在帧中的边缘有关的假象程度分离的多大阈值对典型的HVS而言是过于分散注意力的。换言之，可以进行实验以确定：涉及移动物体的边缘的视觉呈现的错误缺乏的视觉假象相比涉及移动物体的比视觉上应该呈现的更多的边缘的错误视觉呈现的视觉假象是否对典型HVS而言多或少会分散注意力。然后可以选择乘法因数a和β以反映这种实验的结果，从而增强哪些插值帧332被确定为具有涉及有待使用的移动物体的边缘的较大的视觉假象程度的准确度。在一些实施例中，由于每运动视频或每类别的运动视频的实验可以每运动视频或每类别的运动视频地规定乘法因数a和β，并且可以针对相对广泛的各种各样的多类别的运动视频规定预先确定的阈值。
在一些实施例中，将是否将要使用插值帧332的指示从分析组件442传达至插值组件441以实现确定是否将要使用插值帧332。如先前所讨论的，这可以控制实际上是否生成插值帧332。在其他实施例中，处理器组件450在执行选择组件447时可以从插值视频数据330中复制插值帧332或者可以复制基本帧132p或132f中的一个基本帧到经上变频的视频数据630中的经上变频的流631中作为上变频帧632以实现确定是否将要使用插值帧332。
图6、图7和图8描绘了对一对示例基本帧132p和132f以及相关联的运动向量进行分析以确定是否使用从中生成的插值帧332的不同的描绘示例的示例。更确切地，在图6至图8中的每个图中描绘一对相同的相邻基本帧132p和132f，其中，由2x2像素正方形表示的物体在从相同的基本帧132p到相同的基本帧132f的时间发展中在两个不同的位置之间移动。然而，在图6至图8的每个图中，运动向量的不同的示例集合源自基本帧132p和132f(例如，通过插值组件441)，导致基于那些基本帧和那些运动向量生成的(或可能生成的)插值帧332的不同示例。再次，在图6至图8的每个图中，如果选择使用插值帧332，则将其插入在经上变频的视频流631中在时间上位于基本帧132p与132f之间的位置处。图6至图8中的每个图描绘了被执行以确定是否使用所描述的示例插值帧332的分析的多个方面。应注意的是，在图6至图8的所有三张附图中所使用的一对示例基本帧132p和132f以及从中生成的插值帧332的这些不同示例中的每个示例是在此呈现的用于帮助讨论和理解的有意地高度简化的示例，并且不应被视为将在此呈现的内容限制为这种简单的情况。确切地，在图6至图8中所描绘的每个帧的分辨率仅为4x8个像素，并且应理解的是运动视频880的更典型的示例帧各自可以具有更高的分辨率。
图6描绘了什么可以被视为使得在此描绘的插值帧332的成功生成的示例成为可能的从基本帧132p和132f中成功地生成运动向量的示例。确切地，物体被描绘在插值帧332中在沿着其在基本帧132p与132f的每个帧中的位置之间的路径的位置处而没有涉及物体的边缘的视觉假象。更确切地，已经正确地推导出双向运动向量，这些双向运动向量描绘了从基本帧132p至基本帧132f的物体的2x2像素正方形的四个像素中的每个像素的位置变化，并且这些正确地推导出的双向运动向量使得能够正确描绘在插值帧332中的物体。
如先前所讨论的，用于确定是否要使用插值帧332的分析包括：分析每个基本帧132p和132f以在每个基本帧的像素的像素颜色值之中定位边缘。在每个基本帧132p和132f中，2x2像素物体是在此所描绘的唯一物体，并且其四个像素的像素颜色值容易从所有其他像素的像素颜色值中区分。因此，如所描绘的，分别源自基本帧132p和132f的边缘图432p和432f在这些基本帧的每个基本帧中将仅有的边缘指示为定义此单个2x2像素物体的形状的那些边缘。
用于确定是否要使用插值帧332的分析还包括：至少结合每个基本帧132p和132f分析运动向量以定位每个帧的空洞和碰撞。更确切地，确定这些基本帧的每个基本帧的像素的像素颜色值的重数以便标识属于空洞(例如，其像素颜色值的使用重数为零的像素)和/或碰撞(例如，其像素颜色值的使用重数大于一的像素)的像素。在每个基本帧132p和132f中，运动向量致使在描绘插值帧332中的物体时使用物体的2x2的像素集的像素颜色值。因此，在提供插值帧332的任何像素的像素颜色值时不使用在这些基本帧的每个基本帧的中心处的2x2的像素集的像素颜色值，该像素集是对应于在其处描绘物体的插值帧332的像素的像素。因此，在基本帧132p和132f的每个基本帧中，在每个基本帧的中心处的2x2像素集定义了这些基本帧的每个帧中的如分别在空洞图532ph和532fh中所指示的空洞。然而，当在基本帧132p和132f的每个帧中存在空洞时，不存在与这些基本帧中的任何一个帧相关联的如分别在碰撞图532pc和532fc中所指示的碰撞，因为这些基本帧的任何一个帧中没有一个像素包括其像素颜色值被使用多于一次的像素。
同样如先前所讨论的，一旦已经标识与基本帧132p和132f中的每个帧相关联的边缘、空洞和碰撞的位置，就对这些位置进行比较。确切地，针对这些基本帧中的每个基本帧，将边缘的位置与空洞的位置进行比较以推导出在边缘与空洞重合的位置处的像素的数量(例如，数量Qeh)，并且将边缘的位置与碰撞的位置进行比较以推导出在边缘与碰撞重合的位置处的像素的数量(例如，数量Qec)。针对基本帧132p和132f中的每个基本帧，对这些数量进行求和以针对这些基本帧中的每个帧生成标准值(例如，标准值C)，并且然后将这两个标准值中的最高值与预先确定的阈值进行比较。如果这两个标准值中的较大者大于预先确定的阈值，那么不使用插值帧332。
假定边缘图432p和432f与空洞图532ph和532fh的比较分别揭示了边缘位置与空洞位置之间没有重合，则针对基本帧132p和132f中的每个基本帧在这种重合位置处的像素的数量为零。进一步地，假定没有任何的碰撞被指示存在于碰撞图532pc或532fc的任何一个图中，则针对基本帧132p和132f中的每个基本帧在边缘与碰撞重合的位置处的像素的数量也为零。因此，针对基本帧132p和132f中的每个基本帧的标准值也为零。假设预先确定的阈值是某个正数非零值，那么没有一个零标准值将超过它，并且选择使用图6的示例插值帧332。
图7描绘了什么可以被视为导致在此描绘的插值帧332的不成功生成的示例的从基本帧132p和132f中不成功地生成运动向量的示例。为了帮助更好地理解图7的这个讨论，已经为基本帧132p和132f、插值帧332、空洞图532ph和532fh以及碰撞图532pc和532fc的描述提供了共同的坐标系，其中，用字母w至z指示行，并且用字母a至h指示列。以此方式，在这个讨论能够明确地指定像素所处的每个位置。同样，已经在空洞图532ph和532fh的每个空洞图中并且在碰撞图532pc和532fc的每个碰撞图中提供了对在这些位置的具体位置处的颜色值的使用重数的指示以又进一步地帮助更好地理解。
不像在图6中成功推导出向量的结果(其中，可以推导出插值帧332的正确示例)，在图7中在插值帧332中一点也没有错误地描绘2x2像素物体。更确切地，已经推导出错误的运动向量，这些运动向量导致在基本帧132p和132f的每个帧中除了2x2像素物体的那些像素之外的像素的像素颜色值被错误地用于确定应该是在插值帧332中的2x2像素物体的像素的像素颜色值。进一步地，尚未推导出导致对构成在基本帧132p或132f的任何一个帧中的2x2像素物体的像素的像素颜色值进行任何使用的运动向量。因此，在确定插值帧332中的任何像素的任何像素颜色值时不使用在基本帧132p的位置(b，x)、(b，y)、(c，x)和(c，y)处的像素的像素颜色值，这些像素是具有描绘了在基本帧132p中的2x2像素物体的像素颜色值的像素。相应地，在确定插值帧332中的任何像素的任何像素颜色值时也不使用在基本帧132f的位置(f，x)、(f，y)、(g，x)和(g，y)处的像素的像素颜色值，这些像素是具有描绘了在基本帧132f中的2x2像素物体的像素颜色值的像素。
转至用于确定是否使用插值帧332的分析，贯穿在图6至图8中描绘的示例使用相同的两个基本帧132p和132f的事实导致边缘图432p和432f与图6中的那些边缘图完全相同。
由于在确定插值帧332的任何像素的像素颜色值时完全不使用描绘基本帧132p和132f的每个基本帧中的2x2像素物体的像素的像素颜色值，所以那些非常相同的像素的位置定义了如在空洞图532ph和532fh中描绘的基本帧132p和132f的空洞的位置的子集。然而，相同的错误运动向量还引起在基本帧132p和132f中在其他位置处像素的像素颜色值在确定插值帧的任何像素的任何像素颜色值的过程中也一点没被使用。因此，基本帧132p的空洞由基本帧132p的位置(b，x)、(b，y)、(c，x)、(c，y)、(g，x)和(g，y)定义(如由空洞图532ph所描绘的)。相应地，基本帧132f的空洞由基本帧132f的位置(b，x)、(b，y)、(f，x)、(f，y)、(g，x)和(g，y)定义(如由空洞图532fh所描绘的)。再次，不利用在那些位置处的像素颜色值的事实进一步由在这些空洞图中的那些位置的每个位置处的重数值为“0”的明确标志所指示。
进一步地，错误地多次使用其他像素(包括在基本帧132p和132f的每个基本帧中与2x2像素物体相邻的一些像素)导致在由那些错误地使用的像素的位置定义的这些基本帧中存在如在碰撞图532pc和532fc中所描绘的碰撞。确切地，在基本帧132p的位置(a，x)、(a，y)、(d，x)和(d，y)处的像素(如由碰撞图532pc所描绘的)的以及在基本帧132f的位置处(e，x)、(e，y)、(h，x)和(h，y)处像素(如由碰撞图532fc所描绘的)的像素颜色值由于错误地推导出的运动向量被错误地使用多次。
如在碰撞图532pc中所指示的，基本帧132p在位置(a，x)处的像素的像素颜色值被用来确定插值帧332的三个像素颜色值，确切地，在插值帧332中在位置(a，x)、(b，x)和(c，x)处的像素的像素颜色值。由于两个错误的运动向量而出现在确定插值帧332中的两个位置(b，x)和(c，x)处的像素颜色值的过程中使用基本帧132p中的这一个像素颜色值，并且此外用于在确定插值帧332中的位置(a，x)处的像素颜色值的过程中正确地使用那个相同的像素颜色值，这与任何运动向量不相关联。因此，如在碰撞表532pc中在位置(a，x)处用标志“3”指示的，在基本帧132p中在位置(a，x)处的像素的像素颜色值在其应当仅被使用一次时被错误地使用三次。在基本帧132p中在位置(a，y)处的像素的像素颜色值以及在基本帧132f中在位置(h，x)和(h，y)处的像素的像素颜色值类似地当各自应当仅被使用一次时被错误地使用三次。
同样如在碰撞图532pc中指示的，基本帧132p在位置(d，x)处的像素的像素颜色值被用来确定插值帧332的两个像素颜色值，确切地，在插值帧332中在位置(d，x)和(f，x)处的像素的像素颜色值。由于一个错误的运动向量而出现在确定插值帧332中的位置(f，x)处的像素颜色值的过程中使用基本帧132p中的这一个像素颜色值，并且此外用于在确定插值帧332中的位置(d，x)处的像素颜色值的过程中正确地使用那个相同的像素颜色值，这与任何运动向量不相关联。因此，如在碰撞表532pc中在位置(d，x)处用标志“2”指示的，在基本帧132p中在位置(d，x)处的像素的像素颜色值在其应当仅被使用一次时被错误地使用两次。在基本帧132p中在位置(d，y)处的像素的像素颜色值以及在基本帧132f中在位置(e，x)和(e，y)处的像素的像素颜色值类似地当各自应当仅被使用一次时被错误地使用两次。
针对基本帧132p和132f中的每个帧基于边缘位置与空洞位置的比较，分析揭示在这些基本帧的每个帧中有四个像素位于边缘与空洞重合的位置处。然而，针对基本帧132p和132f中的每个帧的边缘位置与配置位置的比较揭示针对这些基本帧中的任一帧没有像素位于边缘与碰撞重合的位置处。因此，针对基本帧132p和132f中的每个帧所产生的标准值在边缘与空洞重合的位置处将反映相等数量的像素。在描绘插值帧332中的2x2物体时假定相当高的视觉假象程度(该视觉假象包括缺乏对2x2物体的所有边缘的描绘)，与基本帧132p或132f中的任一帧相关联的标准值可能超过预先确定的阈值。因此，可以不选择使用图7的示例插值帧332。
图8描绘了什么可以被视为导致在此描绘的插值帧332的不成功生成的另一个示例的从基本帧132p和132f中不成功地生成另一个运动向量的示例。确切地，对2x2像素物体进行描绘，其方式为其中该物体沿着在其在基本帧132p和132f的每个帧中的位置之间的路径被错误地拉伸。更确切地，已经推导出错误的运动向量，这些运动向量导致在确定插值帧332中像素的像素颜色值的过程中在基本帧132p和132f的每个帧中的2x2像素物体的四个像素中的两个像素的像素颜色值被错误地使用两次，从而使得在描绘物体的过程中采用的插值帧332的像素的数量被错误地翻倍。进一步地，尚未推导出导致对在基本帧132p或132f的每个帧中在这些基本帧的每个帧中的一对1x2像素集的像素颜色值进行任何使用的运动向量。再次，已经用实现画出了运动向量的一半并且用虚线画出了另一半以便使它们彼此更容易进行区分。
转至用于确定是否使用插值帧332的分析，贯穿在图6至图8中描绘的示例使用相同的两个基本帧132p和132f的事实导致边缘图432p和432f与图6和图7中的那些边缘图完全相同。如刚刚描述的，在确定插值帧332的任何像素的像素颜色值的过程中完全不使用在这些基本帧的每个帧中的一对1x2的像素集的像素颜色值，并且这在空洞图532ph和532fh中被指示。进一步地，错误地多次使用在基本帧132p和132f的每个帧中的2x2像素物体的四个像素中的两个像素导致存在由在这些基本帧的每个帧中的物体的四个像素中的这两个像素的位置定义的碰撞，并且这在碰撞图532pc和532fc中被指示。
针对基本帧132p和132f中的每个帧基于边缘位置与空洞位置的比较，分析揭示在这些基本帧的任一帧中没有像素位于边缘与空洞重合的位置处。然而，针对基本帧132p和132f中的每个帧边缘位置与碰撞位置的比较揭示在这些基本帧的每个帧中有两个像素位于边缘与碰撞重合的位置处。因此，针对基本帧132p和132f中的每个帧所产生的标准值在边缘与碰撞重合的位置处将反映相等数量的像素。在描绘插值帧332中的2x2物体的过程中假定相当高的视觉假象程度(该视觉假象包括通过翻倍物体的尺寸将定义物体的边缘显著地添加于整体长度)，与基本帧132p或132f中的任一基本帧相关联的标准值可能超过预先确定的阈值。因此，可以不选择使用图8的示例插值帧332。
返回到图1，在各实施例中，显示器设备600(如果存在的话)结合了处理器组件650、存储器660、显示器680以及用于将显示器设备600耦接至网络999的接口690中的一者或多者。存储器660存储控制例程640和经上变频的视频数据630。控制例程640结合了在其角色为显示器设备600的主处理器组件的处理器组件650上操作的指令序列以实现用于执行各种功能的逻辑。在一些实施例中，在执行控制例程640时，处理器组件650可以接收表示来自计算设备300的运动视频880的经上变频的视频数据630，并且可以视觉上将其呈现在显示器680上。
图2展示了包括计算设备300的替代实施例的视频处理系统1000的替代实施例的框图。图2的视频呈现系统1000的替代实施例在许多方面类似于图1的实施例，并且因此，贯穿附图相同的参考号用来表示相同的元件。然而，不像图1的计算设备300，图2的计算设备300并不包含控制器400。因此，不像图1的计算设备300，在图2的计算设备300中，正是处理器组件350执行控制例程440来代替处理器组件450这样做。因此，在图2的视频呈现系统1000的替代实施例中，处理器组件350可以对基本视频数据130的运动视频880的呈现的帧速率进行上变频以生成经上变频的视频数据630。
在各实施例中，处理器组件350、450和650中的每个处理器组件可以包括各种各样可商购的处理器中的任何处理器。进一步地，这些处理器组件中的一个或多个处理器组件可以包括多个处理器、多线程处理器、多核处理器(无论多核共存在相同的还是分离的裸片上)、和/或通过其多个物理上分离的处理器以某种方式相连接的其他种类的多处理器架构。
尽管处理器组件350、450和650中的每个处理器组件可以包括各种类型的处理器中的任何处理器，预设想控制器400的处理器组件450(如果存在的话)可以在某种程度上被专门化和/或被优化以执行与图形和/或视频相关的任务。更广泛地，设想控制器400包含计算设备300的图形子系统，以使用与处理器组件350分开且不同的组件及其更密切相关的组件来使与图形渲染、视频压缩、图像尺度改变等相关的性能成为可能。
在各实施例中，存储器360、460和660的每个存储器可以是基于各种各样的信息存储技术的任何一种信息存储技术，可能包括需要不间断电力供应的易失性技术，并且可能包括需要使用可以是或可以不是可移除的机器可读存储介质的技术。因此，这些存储器中的每个存储器可以包括各种各样类型(或类型的组合)的存储设备中的任何存储设备，包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDR-DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、闪存、聚合物存储器(例如，铁电聚合物存储器)、奥氏存储器、相变或铁电存储器、硅氧化氮氧化硅(SONOS)存储器、磁性或光学卡、一个或多个单独的铁磁性磁盘驱动器或者组织成一个或多个阵列的多个存储设备(例如，组织成独立盘冗余阵列或者RAID阵列的多个铁磁磁盘驱动器)。应注意的是，尽管这些储存器中的每个存储器被描绘成单个数据块，这些存储器中的一个或多个存储器可以包括多个存储设备，这些存储设备可以是基于不同的存储技术。因此，例如，这些描绘的存储器中的一个或多个存储器可以表示程序和/或数据通过其可以在某种形式的机器可读存储介质上存储并传达的光驱或闪存读卡器、用于将程序和/或数据本地地存储相对延长的一段时间的铁磁性磁盘驱动器、以及使得能够相对快速访问程序和/或数据的一个或多个易失性固态存储设备(例如，SRAM或者DRAM)的组合。还应注意的是，这些存储器中的每个存储器可以是由基于完全相同的存储技术的多个存储器组件构成的，但是由于用途的专门化这些存储组件可以保持分开(例如，采用某些DRAM设备作为主存储器，而采用其他DRAM设备作为图形控制器的不同的帧缓冲器)。
在各实施例中，接口190、390和690可以采用各种各样的信令技术中的任何信令技术来使这些计算设备能够耦接到如已经描述的其他设备上。这些接口中的每个接口包括提供实现这种耦接所必需的功能性中的至少一些功能性的电路。然而，这些接口中的每个接口还可以至少部分地用由处理器组件中相应的处理器组件执行的指令序列实现(例如，来实现协议栈或其他特征)。在采用电性地和/或光学地导电线缆的情况下，这些接口可以采用与各种各样的工业标准中的任何一种工业标准相符的信令和/或协议，包括但不限于：RS-232C、RS-422、USB、以太网(IEEE-802.3)或IEEE-1394。在需要使用无线信号传输的情况中，这些接口可以采用与各种各样的工业标准中的任何一种工业标准相符的信令和/或协议，包括但不限于：IEEE 802.11a、802.11b、802.11g、802.16、802.20(通常被称为“移动宽带无线接入“)；蓝牙；ZigBee；或者蜂窝无线电话服务，如具有通用分组无线电服务的GSM(GSM/GPRS)、CDMA/IxRTT系统、针对全球演进的增强型数据速率(EDGE)、仅数据演进或演进数据优化(EV-DO)、数据和话音演进(EV-DV)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、4G LTE等。
图9更详细地展示了图1或图2中任一者的视频处理系统1000的实施例的一部分的框图。更确切地，图9描绘了计算设备300的操作环境的方面，其中，处理器组件350和/或450在执行控制例程340和/或440时对表示运动视频880的基本视频数据130的帧速率进行上变频以生成经上变频的视频数据630。如可由本领域技术人员认识的，包括组成各自的这些组件的控制例程340和440被选择为在任何类型的一个或多个处理器上操作，该一个或多个处理器被选择为实现处理器组件350或450中可适用的那个处理器组件。
在各实施例中，控制例程340和440中的每个控制例程可以包括以下各项中的一项或多项：操作系统、设备驱动器和/或应用级例程(例如，在光盘介质上提供的所谓的“套装软件“、从远程服务器获得的”小应用程序“等)。在包括操作系统的情况中，该操作系统可以是各种可用操作系统中的适合于处理器组件350或450中的任何一个相应的处理器组件的任何一个操作系统。在包括一个或多个设备驱动器的情况中，那些设备驱动器可以为计算设备300或控制器400的各种其他组件中的任何组件(无论硬件组件还是软件组件)提供支撑。
控制例程340可以包括通信组件349，该通信组件可由处理器组件350或450中的任何一个处理器组件执行以如已经描述的一样操作接口390经由网络999传输和接收信号。所接收到的信号可以是经由网络999在一个或多个计算设备100、300或600中传达基本视频数据130和/或经上变频的视频数据630的信号。如将由本领域技术人员认识的，通信组件349被选择为可用被选择用于实现接口390的任何类型的接口技术操作。
控制例程440可以包括插值组件441，该插值组件可由处理器组件350和/或450执行以分析基本视频数据130的基本流131的多对相邻的基本帧132从而生成如已经描述的运动向量数据230的运动向量和/或插值帧332的相应运动向量。如已经讨论的，插值组件441可以以接收到关于选择使用插值帧332的指示作为其每个插值帧332的生成的条件。
控制例程440可以包括分析组件442，该分析组件可由处理器组件350和/或450执行以与由插值组件441生成的相应运动向量一起分析该多对相邻的基本帧132从而确定插值帧332的相应运动向量是否将被使用。如所描绘的，分析组件442可以结合边缘检测器4424、重数检测器4425以及比较组件4426。边缘检测器4424可以分析基本流131中的一对相邻基本帧132的每个基本帧132以确定由那些基本帧的每个基本帧的像素的像素颜色值定义的边缘的位置，并且可以存储作为边缘数据430的那些边缘位置的指示(例如，边缘图432p和/或432f)。重数检测器4425至少可以分析存储为运动向量数据230的运动向量的指示以确定该对相邻基本帧132的每个基本帧132的每个像素的像素颜色值的使用重数从而确定那些基本帧的每个帧的那些像素中的哪些像素属于空洞(例如，使用重数为零的像素)和/或碰撞(例如，使用重数大于一个的像素)。重数检测器4425可以将那些空洞(例如，空洞图532ph和/或532fh)和/或碰撞(例如，碰撞图532pc和/或532fc)的位置指示存储为重数数据530。替代地，重数检测器4425可以针对该对基本帧(例如，基本帧132p和132f)的基本帧132的指示每个像素的重数值的每个帧存储单个图。
如已经讨论的，插值组件441可以以接收到关于选择使用插值帧332的指示作为其每个插值帧332的生成的条件。在这种实施例中，分析组件442可以用这种指示来信号通知插值组件441。替代地或此外，控制例程440可以包括选择组件447，该选择组件可由处理器组件350和/或450执行以针对每对相邻的基本帧132选择或者相应的插值帧332或者该对相邻的基本帧132的基本帧132中的一个帧的副本用于插入在经上变频的视频数据630的经上变频的流631中的该对相邻的基本帧132之间。
控制例程340可以包括呈现组件348，该呈现组件可由处理器组件350执行以操作显示器380以经上变频的帧速率视觉上呈现运动视频880，该经上变频帧速率是在经上变频的视频数据630中由表示运动视频880的经上变频的流使能的。替代地，如已经讨论的，经上变频的视频数据630可以被传输至另一个设备(例如，显示设备600)用于远程存储和/或视觉呈现。
图10示出了逻辑流程2100的一个实施例。逻辑流程2100可以代表由在此描述的一个或多个实施例执行的操作的部分或所有。更确切地，逻辑流程2100可以展示在至少执行控制例程440时分别由处理器组件350或450执行的和/或由计算设备300或控制器400的其他组件执行的操作。
在2110，计算设备的处理器组件(例如，或者计算设备300的处理器组件350，或者控制器400的处理器组件450)分析在基本视频流中时间上彼此相邻的一对基本帧(例如，基本流131的一对基本帧132，如基本帧132p和132f)从而推导出运动向量。如先前所讨论的，可以采用各种算法中的任何一种算法来分析多对相邻的基本帧以检测看起来是在这两个基本帧之间运动的一个或多个物体并且推导出指示运动范围、运动方向以及这两个基本帧中的哪些像素与运动相关联的一个或多个运动向量。还如先前所讨论的，运动向量是双向运动向量，该双向运动向量指示已经被标识为移动物体的移动的方向和范围。然而，如还已经讨论的，此类算法中的每种算法已知为至少偶尔错误地标识移动物体并由此生成错误的运动向量。
在2120，该对基本帧和运动向量被一起分析以确定在生成插值帧的像素颜色值的过程中这些基本帧中的每个帧的这些像素中的每个像素的像素颜色值的使用重数，该插值帧是由该对基本帧和运动向量生成的(或可能被生成)。指示其像素颜色值一点也没有被使用的像素的空洞图(例如，其使用重数为零)和/或指示其像素颜色值被使用多于一次的像素的碰撞图(例如，其重数大于一)可以被生成以提供关于这种空洞和碰撞的位置的指示。
在2130，分析该对基本帧以确定由在基本帧的每个帧中的相邻像素的像素颜色值的相对较高的差异程度指示的边缘的位置。如先前所讨论的，可以采用各种算法中的任何一种算法来确定边缘在该对基本帧的每个基本帧中的位置。针对这些基本帧中的每个基本帧可以生成指示哪些像素与边缘的位置重合的边缘图。
在2140，对这些基本帧的每个帧的边缘图与空洞图进行比较以确定这些基本帧的每个帧的在边缘与空洞重合的位置处的像素数量。相应地，在2150，对这些基本帧的每个帧的边缘图与碰撞图进行比较以确定这些基本帧的每个帧的在边缘与碰撞重合的位置处的像素数量。
在2160，针对这些基本帧的每个帧从位于边缘与空洞重合处的像素的数量与位于边缘与碰撞重合处的像素的数量之和中推导出标准值。如先前所讨论的，标准值指示与出现在插值帧中的移动物体的边缘有关的视觉假象程度，该插值帧是从该对基本帧和这些运动向量中生成的(或可能从其中生成)。
在2170，将两个标准值中的较大者与预先确定的阈值进行比较。如果在2180处阈值未被超过，那么在2182处从基本视频流中生成经上变频的视频流时使用从该对基本帧和这些运动向量中生成的(或有待从其中生成的)插值帧。然而，如果在2180处阈值被超过，则重复该对基本帧中的一个基本帧，并且在2190处从基本视频流中生成经上变频的视频流时使用那个基本帧的副本。
图11展示了适用于实现之前所述的各实施例的示例性处理架构3000的实施例。更确切地，处理架构3000(或其变体)可以被实现为一个或多个计算设备100、300或600的一部分的，和/或作为控制器400的一部分。应注意的是，处理架构3000的组件被给以参考号，其中，最后两个数字对应于较早被描绘并描述作为计算设备100、300和600以及控制器400的一部分的组件的至少一些组件的参考号的最后两个数字。这是作为辅助关联各自的组件完成的。
处理架构3000包括一般在数字处理中采用的各种元件，包括但不限于：一个或多个处理器、多核处理器、协处理器、存储单元、芯片组、控制器、外围设备、接口、振荡器、定时设备、视频卡、音频卡，多媒体输入/输出(I/O)组件、电源等。如在本申请中所使用的，术语“系统”和“组件”意旨在其中执行数字处理的计算设备实体，该实体是硬件、硬件与软件的组合、软件、或运行中的软件，其示例由这个描绘的示例性处理架构提供。例如，组件可以是但不限于：在处理器组件上运行的进程、处理器组件自身、可能采用光学和/或磁性存储介质的存储设备(例如，硬盘驱动器、阵列形式的多存储驱动器等)、软件对象、可执行指令序列、执行线程、程序和/或整个计算设备(例如，整个计算机)。举例来说，运行在服务器上的应用程序和该服务器二者都可以是组件。一个或多个组件可以驻留在进程和/或执行线程内，并且组件可以定位在计算设备上和/或分布在两个或更多个的计算设备之间。进一步地，组件可以通过各种类型的通信介质彼此通信地耦接以协调操作。该协调可以涉及信息的单向或双向交换。例如，组件可以以在通信介质上传达的信号的形式来传达信息。信息可以被实现为分配给一条或多条信号线的信号。消息(包括命令、状态、地址或数据消息)可以是一个这样的信号或者可以是多个这样的信号，并且可以或者串联地或者基本上并行地被传输通过各种接线和/或接口中的任何接线和/或接口。
如所描绘的，在实现处理架构3000时，计算设备包括至少一个处理器组件950、存储器960、连接其他设备的接口990以及耦接头959。正如将要解释的，取决于实现处理架构3000的计算设备的不同方面(包括其预期用途和/或使用条件)，这种计算设备可以进一步包括附加的组件，如但不限于，显示器接口985。
耦接头959包括一根或多根总线、点对点互连、收发器、缓冲器、交叉点开关和/或至少将处理器组件950通信地耦接至存储器960的其他导体和/或逻辑。耦接头959可以进一步将处理器组件950耦接至接口990、音频子系统970和显示器接口985中的一者或多者(取决于这些组件和/或同样存在的其他组件)。由于处理器组件950被耦接头959如此耦接，处理器组件950能够针对上述计算设备实现处理架构3000的无论哪个部分执行以上详细描述的各种任务。耦接头959可用各项技术中的任何一项技术或多项技术的组合来实现，通过这些技术光学地和/或电性地传达信号。进一步地，耦接头959的至少一部分可以采用与各种各样的工业标准中的任何工业标准相符的计时和/或协议，包括但不限于：图形加速端口(AGP)、卡总线、扩展工业标准架构(E-ISA)、微通道架构(MCA)、网络用户总线、(扩展的)外设组件互连(PCI-X)、串行总线(PCI-E)、个人计算机存储卡国际协会(PCMCIA)总线、超传输TM、快速路径等。
如先前所讨论的，处理器组件950(对应于处理器组件350、450和650)可以包括各种各样可商购的处理器中的任何一种处理器，该处理器采用各种各样的技术中的任何一种技术并且实现为具有以多种方式中的任何一种方式物理地组合的一个或多个核芯。
如先前所讨论的，存储器960(对应于储存器360、460和660)可以基于各种各样的技术中的任何一项技术或多项技术的组合由一个或多个不同的存储设备构成。更确切地，如所描绘的，存储器960可以包括以下各项中的一项或多项：易失性存储器961(例如，基于一种或多种形式的RAM技术的固态存储器)、非易失性存储器962(例如，不需要持续提供电力以保存其内容的固态、铁磁性或其他存储器)以及可移除介质存储器963(例如，通过其可以在计算设备之间传达信息的可移除盘式或固态记忆卡存储器)。认识到在计算设备中的多于一种类型的存储设备的普通使用使得存储器960的这个描绘可能包括多个不同类型的存储器，其中，一种类型的存储器提供相对快速的读和写能力使得能够由处理器组件950更快速地操纵数据(但可能使用一种持续需要电力的“易失性”技术)而另一种类型的存储器提供相对高密度的非易失性存储器(但可能提供相对慢的读和写能力)。
给定采用不同技术的不同存储设备的通常不同的特性，使这些不同的存储设备通过不同的存储控制器耦接到计算设备的其他部分也是常见的，这些不同的存储控制器通过不同的接口耦接到其不同的存储设备。举例来讲，在易失性存储器961存在且基于RAM技术的情况中，易失性存储器961可以通过存储控制器965a通信性地耦接至耦接头959，该存储控制器965a为可能采用行和列寻址的易失性存储器961提供合适的接口，并且其中，该存储控制器965a可以执行行刷新和/或其他维护任务从而帮助保护存储在易失性存储器961中的信息。通过另一个示例，其中，非易失性存储器962存在并且包括一个或多个铁磁和/或固态磁盘驱动器，非易失性存储器962可以通过存储控制器965b通信性地耦接至耦接头959，该存储控制器965b为可能采用信息块和/或磁道和扇区寻址的非易失性存储器962提供合适的接口。通过又另一个示例，在可移除介质存储器963存在并且包括采用一块或多块机器可读存储介质969的一个或多个光学的和/或固态的磁盘驱动器的情况下，该可移除介质存储器963可以通过存储控制器965c通信性地耦接至耦接959，该存储控制器965c为可能采用信息块寻址的可移除介质存储器963提供合适的接口，并且其中，该存储控制器965c可以用专门用于延伸机器可读存储介质969的使用寿命的方式协调读取、擦除和写入操作。
易失性存储器961或非易失性存储器962中总有一个可以包括机器可读存储介质形式的制品，在该机器可读存储介质上根据其各自基于的技术可以存储包括可由处理器组件950执行的指令序列的例程。举例来讲，在非易失性存储器962包括基于铁磁的磁盘驱动器(例如，所谓的“硬盘驱动器”)的情况下，每个这种磁盘驱动器典型地采用一个或多个旋转圆形磁盘片，在旋转圆形磁盘片上磁响应性颗粒涂层被沉积并且以不同模式被磁性定向以便存储信息(如指令序列)，其方式类似于如软磁盘的存储介质。通过另一个示例，非易失性存储器962可以由用于存储信息(如指令序列)的固态存储设备组构成，其方式类似于压缩闪存卡。再次，在不同时间处在计算设备中采用不同类型的存储设备以存储可执行例程和/或数据是常见的。因此，包括有待由处理器组件950执行的指令序列的例程最初可以被存储在机器可读存储介质969上，并且随后在将那个例程复制到非易失性存储器962上用于更长期的存储而不需要机器可读存储介质969和/或易失性存储器961的继续存在的过程中可以采用可移除介质存储器963以使当那个例程被执行时能够由处理器组件950更快速地进行存取。
如先前所讨论的，接口990(有可能对应于接口190、390或690)可以采用对应于各种通信技术中的任何通信技术的各种信令技术中的任何信令技术，这些通信技术可以被采用以将计算设备通信地耦接至一个或多个其他设备。再次，可以采用不同形式的有线或无线信令中的一者或两者以使处理器组件950能够有可能通过网络(例如，网络999)或网络的互连集与输入/输出设备(例如，所描绘的示例键盘920或打印机925)和/或其他计算设备进行交互。在识别必须经常由任何一个计算设备支持的多种类型的信令和/或协议的经常极不相同的字符时，接口990被描绘为包括多个不同的接口控制器995a、995b和995c。接口控制器995a可以采用不同类型的有线数字串行接口或射频无线接口中的任何接口来接收来自用户输入设备(如所描绘的键盘920)的串行传输的消息。接口控制器995b可以采用各种基于线缆的或无线的信令、定时和/或协议中的任何一种来通过所描绘的网络999(可能是由一条或多条链路、较小的网络或可能互联网构成的网络)访问其他计算设备。接口995c可以采用各种导电线缆中的任何导电线缆从而使得能够使用串行或并行信令传输以将数据传达至所描绘的打印机925。可以通过接口990的一个或多个接口控制器被通信地耦接的设备的其他示例包括但不限于：用于监视人的声音以接收由那些人经由话音或他们可能发出的其他声音发送的命令和/或数据的麦克风、遥控器、手写笔、读卡器、指纹读取器、虚拟现实交互手套、图形输入平板计算机、操纵杆、其他键盘、视网膜扫描仪、触摸屏的触摸输入组件、轨迹球、各种传感器、用于监视人的移动员以接收由那些人通过手势和/或面部表情发送的命令和/或数据的照相机或照相机阵列、激光打印机、喷墨打印机、机械机器人、铣削机器等。
在计算设备通信地耦接至(或有可能实际上结合)显示器(例如，所描绘的示例显示980)的情况下，实现处理架构3000的这种计算设备还可以包括显示器接口985。尽管在通信地耦接至显示器时可以采用更普遍类型的接口，在显示器上视觉地显示各种形式的内容经常需要的稍微专门化的附加处理以及所使用的基于线缆的接口的稍微专门化的性质经常提供令人期望的不同的显示器接口。在显示器980的通信耦接中可以由显示器接口985采用的有线和/或无线信令技术可以利用符合各种工业标准中的任何工业标准的信令和/或协议，包括但不限于，各种模拟视频接口、数字视频接口(DVI)、显示端口等中的任何一种。
图12展示了系统4000的实施例。在各实施例中，系统4000可以代表适合用于在此所描述的一个或多个实施例的系统或架构，如图形处理系统1000；一个或多个计算设备100、300或600；和/或一个或多个逻辑流程图2100或2200。实施例不限于此方面。
如所示的，系统4000可以包括多个元件。如针对给定的设计或性能约束集合所期望的，一个或多个元件可以使用一个或多个电路、组件、寄存器、处理器、软件子例程、模块、或其任何组合来实现。举例来讲，虽然图12示出在某个拓扑中的有限数量的元件，但是可以认识到可以按给定实现方式所期望的在系统4000中使用在任何合适的拓扑中的或多或少的元件。实施例不局限于本上下文中。
在实施例中，虽然系统4000不限于此上下文，系统4000可以是媒体系统。例如，系统4000可以并入个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
在实施例中，系统4000包括耦接到显示器4980的平台4900a。平台4900a可以接收来自内容设备的内容，如内容服务设备4900c或内容传递设备4900d或者其他类似内容源。包括一个或多个导航特征的导航控制器4920可以用来例如与平台4900a和/或显示器4980交互。以下将更详细地描述这些组件中的每个组件。
在实施例中，平台4900a可以包括处理器组件4950、芯片组4955、存储单元4969、收发器4995、存储器4962、应用程序4940和/或图形子系统4985的任意组合。芯片组4955可以在处理器组件4950、存储单元4969、收发器4995、存储器4962、应用程序4940和/或图形子系统4985中提供相互通信。例如，芯片组4955可以包括能够提供与存储器4962的相互通信的存储器适配器(未描绘)。
处理器组件4950可以使用任何处理器或逻辑设备被实现，并且可以与处理器组件150、350、450或650中的一个或多个处理器组件和/或与图11的处理器组件950相同或者相似。
存储单元4969可以使用能够存储数据的任何机器可读的或计算机可读的介质被实现，并且可以与图11的存储介质969相同或相似。
收发器4995可以包括能够使用各种合适的无线通信技术传输并接收信号的一个或多个无线电，并且可以与图11的收发器995b相同或相似。
显示器4980可以包括任何电视类型监视器或显示器，并且可以与显示器380和680中的一个或多个显示器和/或与图11的显示器980相同或相似。
存储器4962可以被实现为非易失性存储设备，并且可以与图11的非易失性存储器962相同或相似。
图形子系统4985可以对如用于显示的静态或视频图像执行处理。例如，图形子系统4985可以是图形处理单元(GPU)或视觉处理单元(VPU)。可以使用模拟或数字接口来通信地耦接图形子系统4985与显示器4980。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或符合无线HD的技术中的任何一个接口。图形子系统4985可以集成到处理器电路4950或芯片组4955中。图形子系统4985可以是通信地耦接到芯片组4955的独立卡。
在此描述的图形和/或视频处理技术可以用各种硬件架构实现。例如，图形和/或视频功能可以被集成到芯片组中。替代性地，可以使用分立的图形和/或视频处理器。如又另一个实施例，图形和/或视频功能可以由通用处理器(包括多核处理器)来实现。在进一步的实施例中，该功能可以在消费电子设备中实现。
在实施例中，内容服务设备4900b可以发起于任意国家的、国际的和/或独立的服务，并因此例如经由互联网可接入平台4900a。内容服务设备4900b可以耦接到平台4900a和/或显示器4980。平台4900a和/或内容服务设备4900b可以耦接到网络4999以将媒体信息传达至网络4999或从网络4999接收(例如，发送和/或接收)。内容传递设备4900c也可以耦接到平台4900a和/或显示器4980。
在实施例中，内容服务设备4900b可以包括有线电视盒、个人电脑、网络、电话、能够传递数字信息和/或内容的启用互联网的设备或应用程序、以及能够在内容提供者与平台4900a和/或显示器4980之间经由网络4999或直接地单向或双向传达内容的任意其他类似设备。将理解，内容可以经由网络4999单向地和/或双向地来往于系统4000中的任何一个组件与内容提供者之间进行通信。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。
内容服务设备4900b接收如包含媒体信息、数字信息和/或其他内容的有线电视节目的内容。内容提供者的示例可以包括任何有线或卫星电视或无线电或互联网内容提供者。所提供的示例并不意在限制实施例。
在实施例中，平台4900a可以从具有一个或多个导航特征的导航控制器4920中接收控制信号。导航控制器4920的导航特征可以用来例如与用户界面4880交互。在实施例中，导航控制器4920可以是定位设备，该定位设备可以是允许用户输入空间(如连续的和多维的)数据到计算机的计算机硬件组件(特别是人机接口设备)。如图形用户界面(GUI)和电视机和监视器的许多系统允许用户使用物理姿势控制计算机或电视机并向计算机或电视机提供数据。
可以通过指针、光标、聚焦环或在显示器上显示的其他视觉指示符的移动在显示器(例如，显示器4980)上回应导航控制器4920的导航特征的移动。例如，在软件应用4940的控制下，位于导航控制器4920上的导航特征可以被映射为在用户界面4880上显示的虚拟导航特征。在实施例中，导航控制器4920可以不是独立组件而是集成在平台4900a和/或显示器4980内。然而实施例不限于这些元素或此处显示或描述的内容。
在实施例中，驱动器(未示出)可以包括使用户能够通过例如在初始启动后启动的按钮的触摸立刻打开和关闭类似电视机的平台4900a的技术。当平台被“关闭”时，程序逻辑可以允许平台4900a流出内容到媒体适配器或其他内容服务设备4900b或内容传递设备4900c。此外，芯片组4955可以例如包括用于支持如5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各实施例中，图形驱动器可以包括外围组件互连(PCI)快速图形卡。
在各实施例中，可以对系统4000中示出的任何一个或多个组件进行集成。例如，平台4900a和内容服务设备4900b可以是集成的，或者平台4900a和内容传递设备4900c可以是集成的，或者平台4900a、内容服务设备4900b和内容传递设备4900c可以例如是集成的。在各实施例中，平台4900a和显示器4890可以是集成单元。例如，显示器4980和内容服务设备4900b可以是集成的，或者显示4980和内容传递设备4900c可以是集成的。这些示例并不意在限制实施例。
在各实施例中，系统4000可以被实现为无线系统、有线系统或二者的组合。当被实现为无线系统时，系统4000可以包括适合于通过如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等的无线共享介质进行通信的组件和接口。无线共享介质的示例可以包括无线频谱部分，如RF频谱等。当被实现为有线系统时，系统4000可以包括适用于通过有线通信介质(如I/O适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。
平台4900a可以建立一个或多个逻辑或物理信道以传达信息。该信息可以包括媒体信息和控制信息。媒体信息可以指表示为用户准备的内容的任何数据。例如，内容的示例可以包括来自语音对话、视频会议、流媒体视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文字等的数据。例如，来自语音对话的数据可以是语音信息、沉默时段、背景噪音、舒适噪音、声调等。控制信息可以是指表示针对自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于将媒体信息路由通过系统或指示节点以预定方式处理媒体信息。然而，各实施例不限于图12中示出或描述的元素或上下文。
如上所述，系统4000可以用变化的物理风格或形成因数来体现。图13展示了可以用其体现系统4000的小形成因数设备5000的实施例。例如，在实施例中，设备5000可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源(如一个或多个电池)的任何设备。
如上所述，移动计算设备的示例可以包括个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
移动计算设备的示例还可以包括被安排来由人穿戴的计算机，如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机以及其他可穿戴计算机。在实施例中，例如移动计算设备可以实现为能够执行计算机应用程序、以及语音通信和/或数据通信的智能电话。举例来讲，尽管一些实施例可以用被实现为智能电话的移动计算设备描述，可以理解的是，其他实施例也可以使用其他无线移动计算设备实现。实施例不局限于本上下文中。
如图13中所示，设备5000可以包括显示器5980、导航控制器5920a、用户界面5880、外壳5905、I/O设备5920b和天线5998。显示器5980可以包括用于显示适合于移动计算设备的信息的任何合适的显示单元，并且可以与图12的显示器4980相同或相似。导航控制器5920a可以包括一个或多个导航特征，该一个或多个导航特征可以用于与用户界面5880交互，并且可以与图12中的导航控制器4920相同或相似。I/O设备5920b可以包括任意适当的用于将信息输入移动计算设备中的I/O设备。I/O设备5920b的示例可以包括字母数字键盘、数字小键盘、触摸板、输入建、按钮、开关、摇杆式开关、麦克风、扬声器、话音识别设备和软件等。信息也可以通过麦克风输入到设备5000中。这种信息可以由话音识别设备数字化。实施例并不局限于本上下文中。
更一般地，在此所描述和描绘的计算设备的各种元件可以包括各种硬件元件、软件元件、或二者的组合。硬件元件的示例可以包括：设备、逻辑设备、组件、处理器、微处理器、电路、处理器电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件元件的示例可以包括：软件组件、程序、应用、计算机程序、应用程序、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。然而，确定是否是使用硬件元件和/或软件元件来实现实施例可以根据多个因数而变化，如针对给定的实现方式所期望的，如期望的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
一些实施例可使用表述“一个实施例”和“一实施例”及其派生词来描述。这些术语意味着与实施例相联系地描述的具体特征、结构或者特性被包含在至少一个实施例中。短语“在一个实施例中”在本说明书中各地方的出现不一定全都引用相同的实施例。进一步地，一些实施例可以使用表述“耦接”以及“连接”及其派生词来描述。这些术语并不必旨在作为彼此的同义词。例如，一些实施例可使用术语“连接”和/或“耦接”来描述，以指示两个或更多元件以直接物理的或电气的方式与彼此接触。然而，术语“耦接”还可以指两个或更多个元件未直接地彼此进行接触，但还是彼此进行合作或交互。此外，可以组合来自不同实施例中的方面和元件。
强调的是，提供本披露的摘要以允许读者快速确定本技术披露的本质。基于其将不被用于解释或者限制权利要求书的范围或者含义的理解提交该摘要。此外，在前一个详细描述中，可以看到，出于将本披露连成一体的目的而将各种特征一起组合在单个实施例中。本披露的方法并不被解释为反映以下意图：所要求保护的实施例需要比每项权利要求中明确表述的特征更多的特征。而是被解释为：以下的权利要求书反映了本发明的主题在于比单个披露的实施例的全部特征少。因此，以下的权利要求书据此被并入详细的说明书中，其中，每项权利要求独立自主地作为单独的实施例。在所附权利要求书中，术语“包括(including)”和“其中(in which)”分别用作对应术语“包括(comprising)”和“其中(wherein)”的易懂的英文等价词。此外，术语“第一”、“第二”、“第三”等仅用作标签，且不旨在对它们的物体施加数字要求。
以上所描述的内容包括所披露的架构的示例。当然，不可能描述组件和/或方法的每个可想到的组合，但是本领域普通技术人员可以认识到许多其他组合和置换是可能的。相应地，本新颖的架构旨在涵盖落入所附权利要求书的精神和范围内的全部这种变更、修改和变体。详细的披露现在变为提供与进一步的实施例有关的示例。以下提供的示例并不旨在是限制性的。
在示例1中，一种用于对运动视频帧速率进行上变频的设备包括分析组件，所述分析组件用于分析基本视频流的一对时间上相邻的基本帧以及运动向量，从而确定涉及物体在插值帧中的边缘的视觉假象程度，所述基本帧包括前一个基本帧和后一个基本帧，并且所述运动向量与所述物体在所述前一个基本帧与所述后一个基本帧之间的移动相关联；以及选择组件，所述选择组件用于将所述视觉假象程度与阈值进行比较并且在对所述基本视频流的帧速率进行上变频时选择所述插值帧用于插入所述前一个基本帧与所述后一个基本帧之间从而基于所述比较生成经上变频的视频流。
在包括示例1的主题的示例2中，所述选择组件可以选择性地将所述前一个帧与所述后一个基本帧之一的副本而非基于所述比较将所述插值帧插入所述前一个基本帧与所述后一个基本帧之间。
在包括示例1和示例2中任一者的主题的示例3中，所述设备可以包括用于分析所述前一个基本帧和所述后一个基本帧以生成所述运动向量的插值组件。
在包括示例1至示例3中任一者的主题的示例4中，所述插值组件可以接收来自所述选择组件的关于所述插值帧是否被选择用于插入在所述前一个基本帧与所述后一个基本帧之间的指示，并且可以基于所述指示从所述前一个基本帧、所述后一个基本帧以及所述运动向量中选择性地生成所述插值帧。
在包括示例1至示例4中任一者的主题的示例5中，所述分析组件可以包括边缘检测器，所述边缘检测器用于确定在所述前一个基本帧和所述后一个基本帧中每一者中多个边缘的位置。
在包括示例1至示例5中任一者的主题的示例6中，所述分析组件可以包括重数检测器，所述重数检测器用于确定在所述前一个基本帧和所述后一个基本帧中每一者中在确定所述插值帧的像素颜色值时在其处像素颜色值的使用重数为除一以外的值的多个像素的位置。
在包括示例1至示例6中任一者的主题的示例7中，所述分析组件可以包括比较组件，所述比较组件用于确定在所述前一个基本帧和所述后一个基本帧中每一者中在其处像素颜色值的使用重数为零并且其与边缘相重合的第一数量的像素，并且用于确定在所述前一个基本帧和所述后一个基本帧中每一者中在其处像素颜色值的使用重数大于一并且其与边缘相重合的第二数量的像素。
在包括示例1至示例7中任一者的主题的示例8中，所述比较组件可以从所述前一个基本帧的所述第一数量与所述第二数量之和中确定所述前一个基本帧的标准值，可以从所述后一个基本帧的所述第一数量与所述第二数量之和中确定所述后一个基本帧的标准值，并且可以将所述前一个基本帧的所述标准值与所述后一个基本帧的所述标准值中的较大者与所述阈值进行比较以确定是否选择所述插值帧用于插入所述前一个基本帧与所述后一个基本帧之间。
在包括示例1至示例8中任一者的主题的示例9中，所述比较组件可以将所述前一个基本帧和所述后一个基本帧中每一者的所述第一数量乘以第一因数，并且可以将所述前一个基本帧和所述后一个基本帧中每一者的所述第二数量乘以第二因数，以便在确定所述前一个基本帧和所述后一个基本帧中每一者的所述标准值时控制所述第一数量和所述第二数量的相对权重。
在包括示例1至示例9中任一者的主题的示例10中，所述比较组件可以将所述前一个帧的所述标准值除以所述前一个基本帧在与边缘相重合的位置处的像素数量，并且可以将所述后一个基本帧的所述标准值除以所述后一个基本帧在与边缘相重合的位置处的像素数量。
在包括示例1至示例10中任一者的主题的示例11中，所述设备可以包括显示器或接口中的至少一者，所述显示器用于视觉上呈现所述经上变频的视频流的多个帧，所述接口用于在对所述基本视频流进行上变频以生成所述经上变频的视频流之后经由网络将包括所述经上变频的视频流的经上变频的视频数据传输至显示器设备，所述基本视频流和所述经上变频的视频流表示运动视频。
在示例12中，一种用于对运动视频帧速率进行上变频的设备包括分析组件，所述分析组件用于分析基本视频流的一对时间上相邻的基本帧以及至少一个运动向量，从而确定涉及物体在源自所述一对基本帧的插值帧中的边缘以及所述至少一个运动向量的视觉假象程度，所述至少一个运动向量与所述物体在所述一对基本帧中的前一个基本帧与后一个基本帧之间的移动相关联；以及插值组件，所述插值组件用于分析所述前一个基本帧和所述后一个基本帧以生成所述至少一个运动向量，并且用于基于对所述视觉假象程度与阈值的比较从所述一对基本帧和所述至少一个运动向量中选择性地生成所述插值帧。
在包括示例12的主题的示例13中，所述分析组件可以包括边缘检测器，所述边缘检测器用于确定在所述前一个基本帧和所述后一个基本帧中每一者中多个边缘的位置。
在包括示例12和示例13中任一者的主题的示例14中，所述分析组件可以包括重数检测器，所述重数检测器用于确定在所述前一个基本帧和所述后一个基本帧中每一者中在确定所述插值帧的像素颜色值时在其处像素颜色值的使用重数为除一以外的值的多个像素的位置。
在包括示例12至示例14中任一者的主题的示例15中，所述分析组件可以包括比较组件，所述比较组件用于确定在所述前一个基本帧和所述后一个基本帧中每一者中在其处像素颜色值的使用重数为零并且其与边缘相重合的第一数量的像素，并且用于确定在所述前一个基本帧和所述后一个基本帧中每一者中在其处像素颜色值的使用重数大于一并且其与边缘相重合的第二数量的像素。
在包括示例12至示例15中任一者的主题的示例16中，所述比较组件可以从所述前一个基本帧的所述第一数量与所述第二数量之和中确定所述前一个基本帧的标准值，可以从所述后一个基本帧的所述第一数量与所述第二数量之和中确定所述后一个基本帧的标准值，并且可以将所述前一个基本帧的所述标准值与所述后一个基本帧的所述标准值中的较大者与所述阈值进行比较以确定是否选择所述插值帧用于插入所述前一个基本帧与所述后一个基本帧之间。
在包括示例12至示例16中任一者的主题的示例17中，所述设备可以包括显示器或接口中的至少一者，所述显示器用于视觉上呈现所述经上变频的视频流的多个帧，所述接口用于在对所述基本视频流进行上变频以生成所述经上变频的视频流之后经由网络将包括所述经上变频的视频流的经上变频的视频数据传输至显示器设备，所述基本视频流和所述经上变频的视频流表示运动视频。
在示例18中，一种用于对运动视频帧速率进行上变频的计算实现的方法包括分析基本视频流的一对时间上相邻的基本帧以及运动向量，从而确定涉及物体在插值帧中的边缘的视觉假象程度，所述基本帧包括前一个基本帧和后一个基本帧，并且所述运动向量与所述物体在所述前一个基本帧与所述后一个基本帧之间的移动相关联；并且选择性地将所述插值帧插入所述前一个基本帧与所述后一个基本帧之间以对所述基本视频流的帧速率进行上变频从而基于对所述视觉假象程度与阈值的比较生成经上变频的视频流。
在包括示例18的主题的示例19中，所述方法可以包括选择性地将所述前一个帧与所述后一个基本帧之一的副本而非基于所述比较将所述插值帧插入所述前一个基本帧与所述后一个基本帧之间。
在包括示例18和示例19中任一者的主题的示例20中，该方法可以包括分析所述前一个基本帧和所述后一个基本帧以生成所述运动向量。
在包括示例18至示例20中任一者的主题的示例21中，该方法可以包括基于所述比较从所述前一个基本帧、所述后一个基本帧和所述运动向量中选择性地生成所述插值帧。
在包括示例18至示例21中任一者的主题的示例22中，所述方法可以包括分析所述前一个基本帧和所述后一个基本帧以确定在每个帧中多个边缘的位置。
在包括示例18至示例22中任一者的主题的示例23中，所述方法可以包括生成针对所述前一个基础帧和所述后一个基本帧中的每一者指示多个边缘的位置的边缘图。
在包括示例18至示例23中任一者的主题的示例24中，所述方法可以包括至少分析所述运动向量以确定在所述前一个基本帧和所述后一个基本帧中每一者中在确定所述插值帧的像素颜色值时在其处像素颜色值的使用重数为除一以外的值的多个像素的位置。
在包括示例18至示例24中任一者的主题的示例25中，所述方法可以包括针对所述前一个基本帧和所述后一个基本帧中每一者生成空洞图，所述空洞图指示在确定所述插值帧的任何像素颜色值时其像素颜色值未被使用的多个像素的位置，并且针对所述前一个基本帧和所述后一个基本帧中每一者生成碰撞图，所述碰撞图指示在确定所述插值帧的任何像素颜色值时其像素颜色值未被使用的多个像素的位置；并且
在包括示例18至示例25中任一者的主题的示例26中，所述方法可以包括确定在所述前一个基本帧和所述后一个基本帧中每一者中在其处像素颜色值的使用重数为零并且其与边缘相重合的第一数量的像素，并且确定在所述前一个基本帧和所述后一个基本帧中每一者中在其处像素颜色值的使用重数大于一并且其与边缘相重合的第二数量的像素。
在包括示例18至示例26中任一者的主题的示例27中，所述方法可以包括从所述前一个基本帧的所述第一数量与所述第二数量之和中确定所述前一个基本帧的标准值，从所述后一个基本帧的所述第一数量与所述第二数量之和中确定所述后一个基本帧的标准值，并且将所述前一个基本帧的所述标准值与所述后一个基本帧的所述标准值中的较大者与所述阈值进行比较以确定是否将所述插值帧插入所述前一个基本帧与所述后一个基本帧之间。
在包括示例18至示例27中任一者的主题的示例28中，所述方法可以包括视觉上呈现所述经上变频的视频流的多个帧或者在对所述基本视频流进行上变频以生成所述经上变频的视频流之后经由网络将包括所述经上变频的视频流的经上变频的视频数据传输至显示器设备中的至少一者，所述基本视频流和所述经上变频的视频流表示运动视频。
在示例29中，至少一种机器可读的存储介质包括多条指令，这些指令当由计算设备执行时引起所述计算设备分析基本视频流的一对时间上相邻的基本帧以及至少一个运动向量，从而确定涉及物体在源自所述一对基本帧的插值帧中的边缘以及所述至少一个运动向量的视觉假象程度，所述至少一个运动向量与所述物体在所述一对基本帧中的前一个基本帧与后一个基本帧之间的移动相关联，并且选择性地将所述插值帧插入所述前一个基本帧与所述后一个基本帧之间以对所述基本视频流的帧速率进行上变频从而基于对所述视觉假象程度与阈值的比较生成经上变频的视频流。
在包括示例29的主题的示例30中，可以引起所述计算设备选择性地将所述前一个帧与所述后一个基本帧之一的副本而非基于所述比较将所述插值帧插入所述前一个基本帧与所述后一个基本帧之间。
在包括示例29和示例30中任一者的主题的示例31中，可以引起所述计算设备分析所述前一个基本帧和所述后一个基本帧以生成所述至少一个运动向量。
在包括示例29至示例31中任一者的主题的示例32中，可以引起所述计算设备分析所述前一个基本帧和所述后一个基本帧以确定在每个帧中多个边缘的位置。
在包括示例29至示例32中任一者的主题的示例33中，可以引起所述计算设备至少分析所述至少一个运动向量以确定在所述前一个基本帧和所述后一个基本帧中每一者中在确定所述插值帧的像素颜色值时在其处像素颜色值的使用重数为除一以外的值的多个像素的位置。
在包括示例29至示例33中任一者的主题的示例34中，可以引起所述计算设备确定在所述前一个基本帧和所述后一个基本帧中每一者中在其处像素颜色值的使用重数为零并且其与边缘相重合的第一数量的像素，并且确定在所述前一个基本帧和所述后一个基本帧中每一者中在其处像素颜色值的使用重数大于一并且其与边缘相重合的第二数量的像素。
在包括示例29至示例34中任一者的主题的示例35中，可以引起所述计算设备从所述前一个基本帧的所述第一数量与所述第二数量之和中确定所述前一个基本帧的标准值，从所述后一个基本帧的所述第一数量与所述第二数量之和中确定所述后一个基本帧的标准值，并且将所述前一个基本帧的所述标准值与所述后一个基本帧的所述标准值中的较大者与所述阈值进行比较以确定是否将所述插值帧插入所述前一个基本帧与所述后一个基本帧之间。
在包括示例29至示例35中任一者的主题的示例36中，可以引起所述计算设备将所述前一个基本帧和所述后一个基本帧中每一者的所述第一数量乘以第一因数，并且将所述前一个基本帧和所述后一个基本帧中每一者的所述第二数量乘以第二因数，以便在确定所述前一个基本帧和所述后一个基本帧中每一者的所述标准值时控制所述第一数量和所述第二数量的相对权重。
在包括示例29至示例36中任一者的主题的示例37中，可以引起所述计算设备将所述前一个帧的所述标准值除以所述前一个基本帧在与边缘相重合的位置处的像素数量，并且将所述后一个基本帧的所述标准值除以所述后一个基本帧在与边缘相重合的位置处的像素数量。
在包括示例29至示例37中任一者的主题的示例38中，可以引起所述计算设备在对所述基本视频流进行上变频以生成所述经上变频的视频流之后经由网络将包括所述经上变频的视频流的经上变频的视频数据传输至显示器设备中的至少一者，所述基本视频流和所述经上变频的视频流表示运动视频。
在示例39中，至少一种机器可读的存储介质可以包括多条指令，这些指令当由计算设备执行时引起所述计算设备执行以上任何一个步骤。
在示例40中，一种用于对运动视频帧速率进行上变频的设备可以包括用于执行以上任何一个步骤的装置。

Claims (6)

1.一种用于对运动视频帧速率进行上变频的设备，包括：
分析组件，所述分析组件用于分析基本视频流的一对时间上相邻的基本帧以及至少一个运动向量，从而确定涉及物体在源自所述一对基本帧的插值帧中的边缘以及所述至少一个运动向量的视觉假象程度，所述至少一个运动向量与所述物体在所述一对基本帧中的在前基本帧与在后基本帧之间的移动相关联；以及
插值组件，所述插值组件用于分析所述在前基本帧和所述在后基本帧以生成所述至少一个运动向量，并且用于基于对所述视觉假象程度与阈值的比较从所述一对基本帧和所述至少一个运动向量中选择性地生成所述插值帧，其中所述插值帧用于插入在所述在前基本帧与所述在后基本帧之间以生成经上变频的视频流，并且其中如果所述视觉假象程度未超过所述阈值，则生成所述插值帧并在生成经上变频的视频流时使用所述插值帧，而如果所述视觉假象程度超过所述阈值，则在生成经上变频的视频流时重复该对基本帧中的一个基本帧。
2.如权利要求1所述的设备，所述分析组件包括边缘检测器，所述边缘检测器用于确定在所述在前基本帧和所述在后基本帧的每一者中的边缘的位置。
3.如权利要求1所述的设备，所述分析组件包括重数检测器，所述重数检测器用于确定在所述在前基本帧和所述在后基本帧的每一者中在确定所述插值帧的像素颜色值时在其处像素颜色值的使用重数为除一以外的值的像素的位置。
4.如权利要求3所述的设备，所述分析组件包括比较组件，所述比较组件用于确定在所述在前基本帧和所述在后基本帧的每一者中在其处像素颜色值的使用重数为零并且其与边缘相重合的第一数量的像素，并且用于确定在所述在前基本帧和所述在后基本帧的每一者中在其处像素颜色值的使用重数大于一并且其与边缘相重合的第二数量的像素。
5.如权利要求4所述的设备，所述比较组件用于从所述在前基本帧的所述第一数量与所述第二数量之和确定所述在前基本帧的标准值，用于从所述在后基本帧的所述第一数量与所述第二数量之和确定所述在后基本帧的标准值，并且用于将所述在前基本帧的所述标准值与所述在后基本帧的所述标准值中的较大者同所述阈值进行比较以确定是否选择所述插值帧用于插入所述在前基本帧与所述在后基本帧之间。
6.如权利要求1所述的设备，包括以下中的至少一者：显示器，所述显示器用于视觉上呈现所述经上变频的视频流的多个帧；或者接口，所述接口用于在对所述基本视频流进行上变频以生成所述经上变频的视频流之后经由网络将包括所述经上变频的视频流的经上变频的视频数据传输至显示器设备，所述基本视频流和所述经上变频的视频流表示运动视频。
CN201810932824.0A 2014-02-04 2014-02-04 用于在帧速率上变频中进行帧重复控制的方法及设备 Active CN108718397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810932824.0A CN108718397B (zh) 2014-02-04 2014-02-04 用于在帧速率上变频中进行帧重复控制的方法及设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/IB2014/000377 WO2015118370A1 (en) 2014-02-04 2014-02-04 Techniques for frame repetition control in frame rate up-conversion
CN201480072236.4A CN105874783B (zh) 2014-02-04 2014-02-04 一种用于对运动视频帧速率进行上变频的设备、方法和计算机可读介质
CN201810932824.0A CN108718397B (zh) 2014-02-04 2014-02-04 用于在帧速率上变频中进行帧重复控制的方法及设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480072236.4A Division CN105874783B (zh) 2014-02-04 2014-02-04 一种用于对运动视频帧速率进行上变频的设备、方法和计算机可读介质

Publications (2)

Publication Number Publication Date
CN108718397A CN108718397A (zh) 2018-10-30
CN108718397B true CN108718397B (zh) 2021-10-08

Family

ID=50543247

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810932824.0A Active CN108718397B (zh) 2014-02-04 2014-02-04 用于在帧速率上变频中进行帧重复控制的方法及设备
CN201480072236.4A Active CN105874783B (zh) 2014-02-04 2014-02-04 一种用于对运动视频帧速率进行上变频的设备、方法和计算机可读介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480072236.4A Active CN105874783B (zh) 2014-02-04 2014-02-04 一种用于对运动视频帧速率进行上变频的设备、方法和计算机可读介质

Country Status (4)

Country Link
US (1) US10349005B2 (zh)
EP (1) EP3103257B1 (zh)
CN (2) CN108718397B (zh)
WO (1) WO2015118370A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3030935B1 (en) 2013-08-09 2020-11-18 Thermal Imaging Radar LLC Methods for analyzing thermal image data using a plurality of virtual devices and methods for correlating depth values to image pixels
KR102489279B1 (ko) * 2016-02-04 2023-01-18 삼성전자주식회사 이미지 처리장치 및 방법
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US11062479B2 (en) * 2017-12-06 2021-07-13 Axalta Coating Systems Ip Co., Llc Systems and methods for matching color and appearance of target coatings
EP3553697B1 (en) * 2018-04-13 2023-06-07 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
JP7139858B2 (ja) * 2018-10-12 2022-09-21 株式会社Ｊｖｃケンウッド 補間フレーム生成装置及び方法
CN109640168B (zh) * 2018-11-27 2020-07-24 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
US10666266B1 (en) * 2018-12-06 2020-05-26 Xilinx, Inc. Configuration engine for a programmable circuit
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
CN111988561B (zh) * 2020-07-13 2022-05-03 浙江大华技术股份有限公司 视频分析的自适应调整方法、装置、计算机设备和介质
CN112057842B (zh) * 2020-09-11 2023-10-03 Oppo广东移动通信有限公司 帧率控制方法、装置以及电子设备
DE102020129908A1 (de) * 2020-11-12 2022-05-12 Mekra Lang Gmbh & Co. Kg Indirektes Schichtsystem und Verfahren zum Anpassen einer Bildwiederholungsrate
CN112804526B (zh) * 2020-12-31 2022-11-11 紫光展锐(重庆)科技有限公司 图像数据存储方法、设备及存储介质、芯片、模组设备
US11871146B1 (en) * 2022-08-16 2024-01-09 Novatek Microelectronics Corp. Video processor for handling irregular input

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044763A (zh) * 2004-08-18 2007-09-26 高通股份有限公司 编码器辅助式自适应视频帧内插
CN101969568A (zh) * 2010-11-16 2011-02-09 上海大学 面向帧速率上变换的运动估计方法
CN102131058A (zh) * 2011-04-12 2011-07-20 上海理滋芯片设计有限公司 高清数字视频帧速率变换处理模块及其方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2279531B (en) 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
US6480632B2 (en) * 1998-12-03 2002-11-12 Intel Corporation Method and apparatus to interpolate video frames
AR049727A1 (es) * 2004-07-20 2006-08-30 Qualcomm Inc Metodo y aparato para la conversion ascendente de la velocidad de las tramas con multiples tramas de referencia y tamanos de bloques variables
US8582660B2 (en) * 2006-04-13 2013-11-12 Qualcomm Incorporated Selective video frame rate upconversion
US20090208123A1 (en) * 2008-02-18 2009-08-20 Advanced Micro Devices, Inc. Enhanced video processing using motion vector data
US8411751B2 (en) 2009-12-15 2013-04-02 Nvidia Corporation Reducing and correcting motion estimation artifacts during video frame rate conversion
WO2011150109A1 (en) * 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
US8861894B2 (en) * 2011-05-27 2014-10-14 Adobe Systems Incorporated Methods and apparatus for edge-aware pixel data generation
US20140010307A1 (en) * 2011-12-30 2014-01-09 Marat Ravilevich Gilmutdinov Method of and apparatus for complexity scalable frame rate up-conversion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044763A (zh) * 2004-08-18 2007-09-26 高通股份有限公司 编码器辅助式自适应视频帧内插
CN101969568A (zh) * 2010-11-16 2011-02-09 上海大学 面向帧速率上变换的运动估计方法
CN102131058A (zh) * 2011-04-12 2011-07-20 上海理滋芯片设计有限公司 高清数字视频帧速率变换处理模块及其方法

Also Published As

Publication number Publication date
WO2015118370A1 (en) 2015-08-13
US20160353054A1 (en) 2016-12-01
BR112016015614A2 (pt) 2017-08-08
EP3103257A1 (en) 2016-12-14
CN105874783A (zh) 2016-08-17
EP3103257B1 (en) 2019-06-19
US10349005B2 (en) 2019-07-09
CN108718397A (zh) 2018-10-30
CN105874783B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN108718397B (zh) 用于在帧速率上变频中进行帧重复控制的方法及设备
US9191108B2 (en) Techniques for low power visual light communication
EP2945374B1 (en) Positioning of projected augmented reality content
CN109741463B (zh) 虚拟现实场景的渲染方法、装置及设备
US8879829B2 (en) Fast correlation search for stereo algorithm
EP3149709B1 (en) Techniques for deferred decoupled shading
EP3129915B1 (en) Object detection using directional filtering
WO2016148791A1 (en) Local change detection in video
US11127126B2 (en) Image processing method, image processing device, image processing system and medium
CN108701355B (zh) Gpu优化和在线基于单高斯的皮肤似然估计
US9292927B2 (en) Adaptive support windows for stereoscopic image correlation
US20140320509A1 (en) Techniques for graphics data prefetching
US10936766B2 (en) Techniques for parallel execution of RANSAC algorithm
KR102225281B1 (ko) 감소된 픽셀 쉐이딩을 위한 기술
EP2798614B1 (en) Method of and apparatus for low-complexity detection of periodic textures
BR112016015614B1 (pt) Dispositivo para a conversão para um valor superior de uma taxa de fotogramas de vídeo de movimento
US20230379585A1 (en) Camera bus carrier images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant