CN112866795A - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN112866795A
CN112866795A CN202010484689.5A CN202010484689A CN112866795A CN 112866795 A CN112866795 A CN 112866795A CN 202010484689 A CN202010484689 A CN 202010484689A CN 112866795 A CN112866795 A CN 112866795A
Authority
CN
China
Prior art keywords
frame
frames
interpolated
processor
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010484689.5A
Other languages
English (en)
Other versions
CN112866795B (zh
Inventor
宋沅锡
郑有善
金信幸
李相水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202311710005.9A priority Critical patent/CN117692703A/zh
Publication of CN112866795A publication Critical patent/CN112866795A/zh
Application granted granted Critical
Publication of CN112866795B publication Critical patent/CN112866795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

公开了一种电子设备。该电子装置包括存储器和处理器，存储器配置为存储包括在输入图像中的多个帧，处理器配置为：识别多个帧中的一个帧是否是基于多个帧中的其它帧的至少两个帧生成的第一内插帧，以及基于识别出第一内插帧来选择将要在多个帧的帧内插中使用的参考帧。

Description

电子设备及其控制方法
相关申请的交叉引用
本申请基于并要求2019年11月28日在韩国知识产权局提交的第10-2019-0156091号韩国专利申请的优先权，该申请公开的内容通过引用整体并入本文。
技术领域
本公开涉及电子设备及其控制方法，并且例如涉及改善图像质量的电子设备及其控制方法。
背景技术
近年来，随着技术的快速发展，诸如生成高质量图像或将低质量生成的图像转换为高质量的技术正在发展。
特别地，在将以低质量生成的图像转换为高质量的技术中，主导方法可以是通过帧内插来提高帧速率的方法。例如，可以通过帧内插将24fps的运动图像的帧速率提高到60fps。对于帧内插方法，可以使用重复特定帧的方法或时间平均方法。重复特定帧的方法可以是复制和添加特定帧作为内插帧的方法，时间平均方法可以是通过平均多个帧并添加所生成的内插帧来生成内插帧的方法。将通过图1A、图1B和图1C更详细地描述上述内容。
图1A、图1B和图1C是示出根据现有技术提高帧速率的方法的图。为了便于描述，图1A示出了两个帧，但是实际的帧数可以更多。此外，图1A、图1B和1C被提供为采用每两帧添加一个帧的内插方法。
如图1A所示，基于已通过的一个帧，图像左侧的圆形对象可以向右侧移动。
如图1B所示，基于通过重复方法对特定帧执行内插，可以在两个帧之间复制和添加左侧帧。此外，基于通过时间平均方法执行内插，可以在两个帧之间添加由两帧中相应位置的像素值的平均值所形成的内插帧，如图1C所示。然而，如图1B和图1C所示，基于在执行帧内插之后输出图像，对象的运动可能非线性地改变。例如，通过如图1B和图1C所示的内插可能非线性地改变图像中以特定速度移动的对象的位置，并且可能产生运动抖动。
例如，诸如图1B和图1C中的内插方法已用在诸如广播公司发送图像的情况中，并且诸如TV等电子设备通过检测如图1B中的重复帧并再次执行内插来消除运动抖动。
例如，电子设备可识别每个帧在从30fps转换为60fps(30fps→60fps)的图像中是否重复两次，并且识别在从50fps转换为60fps(50fps→60fps)的图像中每六个帧中两个相同的帧是否存在一次。也就是说，电子设备可以识别两个通常相邻的帧是否相同，以识别是否已经发生帧重复，并通过移除两个相同的帧之一来移除内插帧。
然而，传统的电子设备不能通过如图1C中的时间平均方法来识别内插帧，仍然存在诸如产生运动抖动的缺点。
发明内容
本公开的实施方式提供了用于通过移除和/或减少图像的运动抖动来改善图像质量的电子设备及其控制方法。
根据本公开的示例性实施方式，电子设备包括存储器和处理器，存储器配置为存储包括在输入图像中的多个帧，处理器配置为：识别多个帧中的一个帧是否是基于来自多个帧中的其余帧的至少两个帧而生成的第一内插帧，以及基于对第一内插帧的识别来选择将在多个帧的帧内插中使用的参考帧。
处理器可进一步配置为基于第一内插帧来识别多个帧中的多个原始帧，以及通过选择多个原始帧作为参考帧并执行帧内插来获得输出图像。
处理器可进一步配置为：基于第一内插帧来识别与输入图像对应的原始图像的帧速率，以及基于原始图像的帧速率和参考帧来执行帧内插。
处理器可进一步配置为识别多个帧中的第一帧是否为基于第二帧和第三帧而生成的第一内插帧，其中第二帧为直接在第一帧之前的帧，第三帧为直接在第一帧之后的帧。
处理器可进一步配置为通过组合第二帧和第三帧来获得组合帧，以及基于组合帧与第一帧之间的相似度来识别第一帧是否为第一内插帧。
处理器可进一步配置为基于第二帧和第三帧的平均值以及第二帧和第三帧的加权和中的一者来获得组合帧。
处理器可进一步配置为基于组合帧与第一帧之间的绝对差和(SAD)值或平方差和(SSD)值小于阈值，将第一帧识别为第一内插帧。
处理器可进一步配置为基于第一帧与第二帧之间的第一绝对差和(SAD)值、第一帧与第三帧之间的第二SAD值以及第二帧与第三帧之间的第三SAD值，来识别第一帧是否为第一内插帧。
处理器可进一步配置为识别多个帧中的一个帧是否为通过重复多个帧中的另一帧而插入的第二内插帧，以及基于第一内插帧或第二内插帧中的至少一者来识别多个帧中的参考帧。
处理器可进一步配置为基于第一内插帧来识别与输入图像对应的原始图像的帧速率，基于原始图像的帧速率和输出帧速率获取与帧内插的定时有关的信息，以及基于与帧内插的定时有关的信息进行帧内插。
处理器可进一步配置为基于与帧内插的定时有关的信息从参考帧获得运动信息，以及基于所获得的运动信息执行帧内插。
电子设备还可以包括显示器，其中处理器配置为控制显示器以显示输出图像。
根据示例性实施方式，控制电子设备的方法包括：识别包括在输入图像中的多个帧中的一个帧是否是基于来自多个帧中的其它帧的至少两个帧而生成的第一内插帧；以及基于对第一内插帧的识别来选择将在多个帧的帧内插中使用的参考帧。
选择的步骤可包括基于第一内插帧来识别多个帧中的多个原始帧，以及选择多个原始帧作为参考帧以及该方法还包括基于选择的参考帧，执行帧内插以获得输出图像。
该方法还可包括基于第一内插帧识别与输入图像对应的原始图像的帧速率，并且其中基于原始图像的所识别的帧速率和参考帧执行帧内插。
识别的步骤可包括识别多个帧中的第一帧是否为基于第二帧和第三帧生成的第一内插帧，其中第二帧是直接在第一帧之前的帧，第三帧是直接在第一帧之后的帧。
识别的步骤可包括通过组合第二帧和第三帧来获得组合帧，以及基于组合帧与第一帧之间的相似度来识别第一帧是否为第一内插帧。
获得组合帧的步骤可以包括基于第二帧和第三帧之间的平均值以及第二帧和第三帧的加权和中的一个获得组合帧。
识别的步骤可包括基于组合帧与第一帧之间的绝对差和(SAD)值或平方差和(SSD)值小于阈值来将第一帧识别为第一内插帧。
识别的步骤可包括基于第一帧与第二帧之间的第一绝对差和(SAD)值、第一帧与第三帧之间的第二SAD值以及第二帧与第三帧之间的第三SAD值，来识别第一帧是否是第一内插帧。
附图说明
从下面结合附图所作的描述中，本公开的某些实施方式的以上和其它方面、特征和优点将变得更加显而易见，在附图中：
图1A是示出根据常规技术提高帧速率的方法的图；
图1B是示出根据常规技术提高帧速率的方法的图；
图1C是示出根据常规技术提高帧速率的方法的图；
图2是示出根据本公开的实施方式的示例性电子设备的示例性配置的框图；
图3是示出根据本公开的实施方式的电子设备的示例性操作的图；
图4是示出根据本公开的实施方式的帧速率转换检测器的示例性操作的图；
图5A是示出根据本公开的实施方式的示例性运动抖动消除的图；
图5B是示出根据本公开的实施方式的示例性运动抖动消除的图；
图5C是示出根据本公开的实施方式的示例性运动抖动消除的图；
图5D是示出根据本公开的实施方式的示例性运动抖动消除的图；
图5E是示出根据本公开的实施方式的示例性运动抖动消除的图；
图6A是示出根据本公开的实施方式的原始帧被移除的示例的图；
图6B是示出根据本公开的实施方式的原始帧被移除的示例的图；以及
图7是示出根据本公开的实施方式的控制电子设备的示例性方法的流程图。
具体实施方式
本公开的各种示例性实施方式可被不同地修改。因此，在附图中示出了各种示例性实施方式，并且在具体实施方式中详细描述了各种示例性实施方式。然而，应当理解，本公开不限于特定的示例性实施方式，而是在不脱离本公开的范围和精神的情况下包括所有修改、等同和替换。此外，公知的功能或构造可能没有被详细描述，因为它们可能会用不必要的细节混淆本公开。
下面将参考附图更详细地描述本公开。
本公开的示例性实施方式基于上述必要性，并且本公开的实施方式提供了用于通过移除图像的运动抖动来改善图像质量的电子设备及其控制方法。
在描述本公开的各种示例性实施方式时所使用的术语是当前考虑其功能而广泛使用的所选择的通用术语。然而，这些术语可根据本领域技术人员的意图、法律或技术解释、新技术的出现等而改变。此外，在某些情况下，可以任意选择术语，并且在这种情况下，该术语的含义将在相应描述中更详细地公开。因此，本文使用的术语不应被简单地理解为其名称，而应该是基于该术语的含义和本公开的整体上下文来理解。
本文使用的诸如表达“包括”、“可包括”、“由…构成”、“可由…构成”将被理解为指示特征(例如，诸如数值的元素、功能、操作、和部件)的存在，并且不排除附加特征的存在。
表达“A和/或B中的至少之一”应当理解为表示“A”或“B”或“A和B”中的任何一者。
本文中所使用的诸如“第一”、“第二”等表达可以指示各种部件，而不管顺序和/或重要性。此外，应该注意这些表达仅用于把一个部件与其它部件区分开来，并且不限制相关部件。
单数表达包括复数表达，除非另有明确指示。应当理解，本文中所使用的术语“包括”或“构成”被用于指定特征、数字、步骤、操作、部件、元件、部件或其组合的存在，但不排除添加其它特征、数字、步骤、操作、元件、部件或其组合中的一个或多个的存在。
在本公开中，术语“用户”可以指使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
下面将参考附图更详细地描述本公开的实施方式。
图2是示出根据本公开的实施方式的示例电子设备100的示例性配置的框图。然而，本公开不限于此，并且电子设备100可以实现为省略了图2中配置的一些部分和/或添加了其它部分。
电子设备100可以是对输入图像执行图像处理的设备。例如，电子设备100可以通过在输入图像中使用帧重复方法或时间平均方法中的任一种来移除内插帧。此外，电子设备100可以通过与上述方法不同的方法在已移除内插帧的图像中添加内插帧。
电子设备100可以包括，例如但不限于，诸如TV、台式PC、笔记本、智能电话、平板PC、数字相机、MP3播放器、PMP、蜂窝电话、智能眼镜、智能手表、导航等的显示器，并且可以是在输入图像上直接显示图像处理结果的电子设备。
此外，电子设备100可以是将输入图像上的图像处理结果提供给外部显示设备的设备，外部显示设备例如为但不限于机顶盒(STB)、服务器、蓝光盘(BD)播放器、光盘播放器、数据流盒等。然而，该设备不限于此，并且电子设备100可以是能够对输入图像执行图像处理的任何设备。
参照图2，电子设备100可以包括存储器110和处理器(例如，包括处理电路)120。
存储器110可以存储输入图像的多个帧。例如，基于从另一电子设备流传输的输入图像，存储器110可以连续地存储被流传输的输入图像的多个帧。所有的输入图像都可存储在存储器110中。在该示例中，包括输入图像的所有帧可存储在存储器110中。
存储器110可以实现为非易失性存储器和易失性存储器，但不限于此。例如，可以使用硬盘代替存储器110，并且任何配置都是可能的，只要该配置能够存储数据即可。
处理器120可以包括各种处理电路，并控制电子设备100的整体操作。处理器120可以连接到电子设备100的每个配置，并控制电子设备100的整体操作。例如，处理器120可以连接到诸如存储器110、显示器(未示出)、通信接口(未示出)等配置，并控制电子设备100的操作。
根据实施方式，处理器120可以例如但不限于实现为数字信号处理器(DSP)、微处理器、时间控制器(TCON)等，但不限于此。处理器120例如可以包括但不限于中央处理单元(CPU)、专用处理器、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、ARM处理器等中的一个或多个，或者可以由相应的术语来定义。此外，处理器120可以实现为嵌入有处理算法的片上系统(SOC)或大规模集成件(LSI)，并且可实现为现场可编程门阵列(FPGA)的形式。
处理器120可识别多个帧中的一个帧是否是基于来自多个帧中的其它帧的至少两个帧而生成的第一内插帧。例如，处理器120可识别多个帧中的一个帧是否是来自多个帧中的其它帧的两个帧的时间平均值。
例如，处理器120可以识别多个帧中的第一帧是否是基于直接在第一帧之前的第二帧和直接在第一帧之后的第三帧的第一内插帧。处理器120可识别基于与第二帧对应的像素值以及与第三帧对应的像素值的平均值的内插帧是否类似于第一帧。处理器120可基于将第一内插帧识别为类似于第一帧，来识别出第一帧是第一内插帧。
处理器120可组合第二帧和第三帧以获得组合帧，且可基于组合帧与第一帧之间的相似度，来识别第一帧是否为第一内插帧。
处理器120可基于第二帧与第三帧之间的平均值和加权和中的一者来获得组合帧。例如，处理器120可以获得具有加权值为(0.5，0.5)的第二帧和第三帧的加权和。然而，处理器不限于此，处理器120可以使用诸如(0.1，0.9)，……，(0.4，0.6)，……，和(0.9，0.1)的各种加权值中的任何一个来获得组合帧。
处理器120可基于组合帧与第一帧之间的绝对差和(SAD，Sum of AbsoluteDifference)的值以及平方差和(SSD，Sum of Squared Difference)的值小于阈值，将第一帧识别为第一内插帧。处理器120可以利用诸如等式1和等式2的方法获得SAD值和SSD值。
Figure BDA0002518706120000081
SAD＝∑i|fn(i)-fn-1(i)|
Figure BDA0002518706120000082
SSD＝∑i(fn(i)-fn-1(i))2
这里，fn表示第一帧，fn-1表示组合帧，并且i表示多个像素中的一个。
阈值可以是预定值。阈值可以是，例如但不限于，在某个时间间隔期间的最小值、最大值、平均值、中值或加权和中的任何一个。例如，处理器120可以通过将连续地直接在帧之前和直接在帧之后的多个帧进行比较来获得SAD值或SSD值。此外，处理器120可使用先前获得的SAD值或SSD值中的最小值、最大值、平均值、中值和加权和中的一者，来识别第一帧是否为第一内插帧。例如，为了使用SAD值来识别第一帧是否是第一内插帧，处理器120可以获得第一帧的5个先前获得的SAD值的平均值作为阈值，并识别从第二帧和第三帧获得的组合帧以及第一帧的SAD值是否小于该阈值。处理器120可基于使用某一时间间隔期间的SAD值、或者为SSD值的最小值、最大值、平均值、中值以及加权和中的一者的阈值，来适应性地识别第一内插帧。
此外，处理器120可基于第一帧与第二帧之间的第一SAD值、第一帧与第三帧之间的第二SAD值以及第二帧与第三帧之间的第三SAD值，来识别第一帧是否为第一内插帧。例如，处理器120可以利用诸如下面的等式3的方法来识别第一帧是否是第一内插帧。
[等式3]
|SAD02-(SAD01+SAD12)|＜SADth
这里，SAD01表示第二SAD值，SAD02表示第三SAD值，SAD12表示第一SAD值，SADth表示阈值SAD值。阈值SAD值可以是预定值。阈值SAD值可以例如是但不限于先前获得的SAD值的最小值、最大值、平均值、中值以及加权和中的一个。在该示例中，处理器120可以通过以上操作适应性地识别第一内插帧。
尽管上面已描述了对三个帧进行比较来识别第一内插帧，但是本公开不限于此。例如，处理器120可以从三个或更多个帧获得组合帧，并将组合帧与一个帧进行比较以获得二者的相似度。此外，处理器120可通过比较非连续的帧来识别第一内插帧。
处理器120可以基于对第一内插帧的识别，从多个帧中选择要在帧内插中使用的参考帧。
处理器120可基于第一内插帧从多个帧中识别多个原始帧，并可通过选择多个原始帧作为参考帧并执行帧内插来获得输出图像。例如，处理器120可以通过移除从多个帧识别的第一内插帧来识别多个原始帧。然后，处理器120可以通过选择多个原始帧中的所有原始帧作为参考帧并执行帧内插，来获得输出图像。处理器120可以通过选择多个原始帧中的一些作为参考帧并执行帧内插来获得输出图像。例如，多个原始帧可以是从多个帧中移除内插帧的帧，并且参考帧可以是用于执行帧内插的帧，并且可以是多个原始帧中的一些或全部。此外，处理器120可将接近于帧内插的定时的原始帧确定为参考帧。例如，基于原始帧的帧号是1、2、3、……和n并且执行帧号1.5的内插，处理器120可以选择原始帧的帧号1和2作为参考帧。然而，处理器不限于此，处理器120可以使用具有不同帧号的任何原始帧作为参考帧。
处理器120可基于第一内插帧来识别与输入图像对应的原始图像的帧速率，并基于原始图像的帧速率和参考帧来执行帧内插。例如，处理器120可基于将来自多个帧的两个连续帧中的一个帧识别为第一内插帧、将当前帧速率的一半值识别为原始图像的帧速率、并基于原始图像的帧速率和参考帧执行帧内插。在该示例中，处理器120在识别原始图像的帧速率之后，可减少功耗，因为可不执行识别第一内插帧的操作。
处理器120可基于第一内插帧来识别与输入图像对应的原始图像的帧速率、基于原始图像的帧速率和输出帧速率来获得与帧内插的定时有关的信息、并基于与帧内插的定时有关的信息来执行帧内插。举例来说，处理器120可基于原始图像的帧速率30fps和帧号1、2、3、4、……和n以及输出帧速率60fps，来获得与帧号的帧内插的定时有关的信息1、1.5、2、2.5、3、3.5、……、n和n+0.5，并基于与帧内插的定时有关的信息来执行帧内插。在此示例中，由于帧号1、2、……和n可使用现有的帧，所以处理器120可产生定时为1.5、2.5、……和n+0.5的内插帧。
处理器120可基于与帧内插的定时有关的信息从参考帧获得运动信息，并基于所获得的运动信息执行帧内插。例如，处理器120可以通过执行反映原始帧中所包括的对象的运动信息的帧内插在不产生运动抖动的情况下执行帧内插，而不是通过特定帧的重复方法或时间平均方法执行内插。也就是说，处理器120可以利用诸如运动估计和补偿、以及光流的方法来执行帧内插，并且可以基于使用这些方法来更平滑地表示包括在帧中的对象的移动。
处理器120可识别多个帧中的一个帧是否是通过重复来自多个帧中的另一帧而插入的第二内插帧。例如，处理器120可以识别第一帧和直接在第一帧之前的第二帧的SAD值或SSD值是否小于阈值，并且基于SAD值或SSD值小于阈值来将第一帧识别为第二内插帧。阈值可以是，例如但不限于，预定值或在某个时间间隔期间的最小值、最大值、平均值、中值或加权和中的一个。
处理器120可基于第一内插帧或第二内插帧中的至少一者从多个帧识别参考帧。例如，处理器120不仅可以执行利用时间平均方法来识别第一内插帧的操作，而且还可利用重复特定帧的方法来识别第二内插帧，并且基于第一内插帧和第二内插帧中的至少一个来从多个帧中识别参考帧。
电子设备100还可以包括显示器(未示出)，并且处理器120可以控制显示器以显示输出图像。
显示器可以实现为各种类型的显示器，例如但不限于液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子体显示板(PDP)等。在显示器中，还可以包括驱动电路和背光单元，其可以以非晶硅薄膜晶体管(TFT)、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等形式实现。显示器可以实现为与触摸传感器、柔性显示器、三维显示器(3D显示器)等耦合的触摸屏。
电子设备100还可以包括通信接口(未示出)。
通信接口可以包括各种通信电路，并配置为根据各种类型的通信方法执行与各种类型的外部设备的通信。通信接口可以包括包含各种通信电路的各种模块，例如但不限于Wi-Fi模块、蓝牙模块、红外通信模块、无线通信模块等。每个通信模块可以以至少一种硬件芯片类型来实现。
处理器120可以使用通信接口从各种外部设备接收输入图像。外部设备可以包括，例如但不限于服务器、蓝牙耳机、显示设备等。
Wi-Fi模块和蓝牙模块可以分别使用Wi-Fi方法和蓝牙方法执行通信。基于使用Wi-Fi模块或蓝牙模块，可以首先发送和接收诸如服务集标识符(SSID)和会话密钥之类的各种连接信息，并且在使用它们建立通信连接之后，可以发送和接收各种信息。
红外线通信模块可以根据红外数据关联(IrDA)技术执行通信，该技术使用在可见光与毫米波之间的红外线在近距离无线地发送数据。
除了上述通信方法之外，无线通信模块可以包括至少一个通信芯片，其根据各种通信标准例如ZigBee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、LTE高级(LTE-A)、第四代(4G)和第五代(5G)执行通信。
其它通信接口可以包括，例如但不限于使用局域网(LAN)模块、以太网模块、对电缆、同轴电缆、光缆等执行通信的有线通信模块中的至少一个。
通信接口还可以包括输入和输出接口。输入和输出接口可以包括各种接口电路，并且可以是，例如但不限于高清晰度多媒体接口(HDMI)、移动高清晰度链路(MHL)、通用串行总线(USB)、显示端口(DP)、雷霆、视频图形阵列(VGA)端口、RGB端口、D-超小型(D-SUB)、数字视觉接口(DVI)等中的任何一个接口。
输入和输出接口可以输入和输出音频信号和视频信号中的至少一个。
根据实施方式，输入和输出接口可以包括用于仅输入和输出音频信号的端口以及用于仅输入和输出视频信号的单独端口，或者可以实现为用于输入和输出音频信号和视频信号两者的一个端口。
如上所述，电子设备可以识别包括在输入图像中的多个帧中通过时间平均方法所插入的内插帧，并且通过基于所识别的内插帧对多个原始帧执行帧内插获得已消除运动抖动的输出图像。
下面将参考各个附图更详细地描述处理器120的操作。
图3是示出根据本公开的实施方式的电子设备的示例性操作的图。
如图3所示，电子设备100可包括帧速率转换检测器(例如，包括帧速率转换检测电路)310和帧内插器(例如，包括帧内插电路)320。帧速率转换检测器310和帧内插器320可实现为分别作为处理器120内的一个配置的硬件、或作为软件模块或其组合，以使得处理器120可根据软件模块操作。
帧速率转换检测器310可以包括各种帧速率转换检测电路和/或可执行程序元件，并且基于被输入的输入图像向帧内插器320提供包括多个原始帧且从输入图像移除了内插帧的图像。此外，帧速率转换检测器310可以向帧内插器320提供帧内插的定时信息。
为了便于描述，下面将参考图4更详细地描述帧速率转换检测器310的操作。
图4是示出根据本公开的实施方式的帧速率转换检测器310的示例性操作的图。
帧速率转换检测器310可包括帧缓冲器410、第一内插帧检测器(例如，包括内插帧检测电路)420、第二内插帧检测器(例如，包括内插帧检测电路)430和帧选择器(例如，包括帧检测电路)440。如图4所示，帧速率转换检测器310的每个配置可实现为作为处理器120内的一个配置的硬件、或者实现为软件模块、或者实现为其组合，以使得处理器120可根据软件模块来操作。
帧缓冲器410可包括各种电路和/或可执行程序元件，并接收和存储输入图像。帧缓冲器410可以向第一内插帧检测器420提供多个帧。例如，帧缓冲器410可以向第一内插帧检测器420提供第一帧和直接在第一帧之前的第二帧。此外，帧缓冲器410可以将多个帧提供给第二内插帧检测器430。例如，帧缓冲器410可以向第二内插帧检测器430提供第二帧，其为直接在第一帧之前的帧。
第一内插帧检测器420可以包括各种电路和/或可执行程序元件，并且连续地接收包括在输入图像中的多个帧，并且从帧缓冲器410接收在连续接收到的帧中当前帧之前的帧。例如，第一内插帧检测器420可以接收第一帧和在第一帧之前的第二帧，并且通过通信接口接收直接在第一帧之后的第三帧。
第一内插帧检测器420可识别多个帧中的一个帧是否是基于来自多个帧中的其它帧的至少两个帧而生成的第一内插帧。例如，第一内插帧检测器420可以识别第一帧是否是基于第二帧和第三帧生成的第一内插帧。
第一内插帧检测器420可以向帧选择器440提供识别的结果。例如，当30fps被转换为60fps(30fps→60fps)时，第一内插帧检测器420可以向帧选择器440提供基于时间平均、使用原始帧的符号D和第一内插帧的符号A的、以DADA的形式的识别结果。
在上文中，仅描述了在帧速率转换过程中保持的原始帧和被附加插入的第一内插帧，但是可以移除原始帧中的一些，并且可附加地插入第一内插帧。例如，基于从50fps到60fps(50fps→60fps)的转换，通过移除一个原始帧并插入两个第一内插帧，将五帧单位转换为六帧。
在该示例中，基于各自表示fn-2、fn-1和fn的三个原始帧，帧速率转换之后的四个帧可以表示gn-3、gn-2、gn-1和gn，并且基于使用加权值(αk，βk)，帧速率转换之后的四个帧可以各自表示为fn-2、(α0fn-2+β0fn-1)/(α0+β0)、(α1fn-1+β1fn)/(α1+β1)和fn。例如，可以建立针对gn-3、gn-2、gn-1和gn中的每一个的等式，并且可以基于从四个等式中移除fn-1来表示以下等式4。
[等式4]
β0(α1+β1)gn-1-α1(α0+β0)gn-2＝β0β1gn-α0α1gn-3
第一内插帧检测器420可以获得以下等式5，并且基于所获得的值小于阈值识别出移除了原始帧之一以及添加了两个第一内插帧。
[等式5]
F(gn-3，gn-2，gn-1，gn)＝
{β0(α1+β1)gn-1-α1(α0+β0)gn-2}-(β0β1gn-α0α1gn-3)
这里，阈值可以是预定值。阈值可以是，例如但不限于等式5的先前获得的值的最小值、最大值、平均值、中值和加权和中的一个。处理器120可使用例如(但不限于)为在某一时间间隔期间的等式5的最小值、最大值、平均值、中值和加权和中的一者的阈值，来适应性地识别第一内插帧。
第二内插帧检测器430可以包括各种电路和/或可执行程序元件，并且连续地接收包括在输入图像中的多个帧，并且从帧缓冲器410接收在连续接收到的帧中当前帧之前的帧。例如，第二内插帧检测器430可以从帧缓冲器410接收作为直接在第一帧之前的帧的第二帧，并通过通信接口接收第一帧。
第二内插帧检测器430可识别多个帧中的一个帧是否是基于来自多个帧中的其它帧的一个帧而生成的第二内插帧。例如，第二内插帧检测器430可以识别第一帧是否是基于第二帧而生成的第二内插帧。
第二内插帧检测器430可以向帧选择器440提供识别的结果。例如，基于通过将24fps转换为60fps(24fps→60fps)来形成三个原始帧和两个第二内插帧的模式，第二内插帧检测器430可以向帧选择器440提供基于重复方法使用原始帧的符号D和第二内插帧的符号S而形成的、以DSDSDSDSSDS的形式的识别结果。
帧选择器440可包括各种电路和/或可执行程序元件，并输出多个原始帧，其中第一内插帧和第二内插帧已从多个帧中移除。
此外，帧选择器440可以输出帧内插的定时信息。例如，帧选择器440可基于第一内插帧或第二内插帧中的至少一者，来识别与输入图像对应的原始图像的帧速率，并基于原始图像的帧速率和输出帧速率来获得与帧内插的定时有关的信息。例如，基于原始图像的帧速率30fps并且输出帧速率60fps，帧选择器440可以输出1、1.5、2、2.5、……作为帧号。另外，基于原始图像的帧速率30fps且输出帧速率120fps，帧选择器440可输出1、1.25、1.5、1.75、……作为帧号。此外，基于原始图像的帧速率24fps且输出帧速率为60fps，帧选择器440可输出1、1.4、1.8、2.2、2.6、……作为帧号。此外，基于原始图像的帧速率24fps并且输出帧速率120fps，帧选择器440可以输出1、1.2、1.4、1.6、1.8、2、2.2、2.4、2.6、2.8、……作为帧号。
基于原始帧被移除，帧选择器440可以将1/(1+被移除的原始帧的数目)乘以当在被移除的原始帧的位置处内插定时的间隔是相等间隔时的间隔的值，以使原始图像的对象的速度与输出图像相同。例如，基于在从50fps转换为60fps(50fps→60fps)的过程中移除一个原始帧并插入两个第一内插帧，第一内插帧检测器420可以向帧选择器440提供以DAADDD的形式的识别结果，并且帧选择器440可以输出1、1.42、1.83、2.5、3.33、4.17、...而非1、1.83、2.67、3.5、4.33、5.17、...作为帧号。
使用上述方法的帧速率转换检测器310可以向帧内插器320提供包括已移除内插帧的多个原始帧以及帧内插的定时信息的原始图像。
返回参考图3中的帧内插器320的操作，帧内插器320可以包括各种电路和/或可执行程序单元，并且基于帧内插的定时信息生成与相关定时信息相对应的帧。帧内插器320可基于正存在的相关定时的帧，在不生成帧的情况下使用相关定时的帧。
例如，帧内插器320可以使用诸如运动估计和补偿，以及光流的技术来执行帧内插。
基于使用上述方法执行帧内插，可以去除运动抖动，并且下面参考图5A更详细地示出和描述该示例。
图5A是示出图1A的原始图像的帧内插的示例性结果的图，并且示出了与图1B和图1C相比没有发生运动抖动的结果。该结果是由于图5A的帧内插方法与图1B和图1C的帧内插方法不同。
图5B、图5C、图5D和图5E是示出对象的示例性移位状态的图。图5B是基于50fps的原始图像的，并且示出了在五个帧期间以相等速度移动的对象。
图5C示出了在图5B的原始图像中已通过重复某些帧的方法添加了第二内插帧的结果。如图5C所示，用户可看到的图像为对象以相等速度移动，并在某一定时暂时停止，并以相等速度再次移动。
图5D示出了图5B的原始图像中已通过时间平均方法添加了第一内插帧的结果。如图5D所示，用户可以观看到对象以相等速度移动，在某一定时改变为两个模糊对象，并再次作为一个对象以相等速度移动。
因此，根据图5C和图5D，运动抖动可能会妨碍用户观看。
图5E示出了如根据本公开的图5C或图5D中那样识别内插图像中的内插帧，并示出了再次执行内插的结果。在该示例中，使用诸如但不限于运动估计和补偿以及光流的技术来执行帧内插，并且用户可以意识到，当用户观看以相等速度移动的对象时，运动抖动已经消除。
图6A和图6B是示出根据本公开的实施方式原始帧被移除的示例的图。
图6A示出了从原始图像中移除的一个原始帧，并且示出了利用时间平均方法插入两个第一内插帧的结果。在该示例中，可能通过识别第二帧中的两个模糊对象和第三帧中的两个模糊对象生成运动抖动。
处理器120可以识别出第二帧和第三帧是通过等式5的时间平均方法插入的第一内插帧，并且可以识别出一个原始帧被移除。
处理器120可基于识别的结果获得帧内插的定时信息，并通过使用例如运动估计和补偿和光流的技术执行帧内插来获得如图6B中所示的输出图像。
根据如图6B所示的输出图像，当用户观看以相等速度移动的对象时，用户可意识到运动抖动已经被消除。
图7是示出根据本公开的实施方式的控制电子设备的示例方法的流程图。
可以识别包括在输入图像中的多个帧中的一个帧是否是基于来自多个帧中的其它帧的至少两个帧而生成的第一内插帧(S710)。可以基于识别出第一内插帧来选择将在多个帧的帧内插中使用的参考帧(S720)。
选择(S720)可包括基于第一内插帧来识别多个帧的多个原始帧，并且控制方法可进一步包括通过选择多个原始帧作为参考帧并执行帧内插来获得输出图像。
控制方法可以进一步包括基于第一内插帧识别与输入图像对应的原始图像的帧速率，并且获得输出图像可以基于原始图像的帧速率和参考帧执行帧内插。
识别(S710)可以包括识别多个帧中的第一帧是否是基于作为直接在第一帧之前的帧的第二帧和作为直接在第一帧之后的帧的第三帧所生成的第一内插帧。
识别(S710)可以包括通过组合第二帧和第三帧来获得组合帧，并且基于组合帧与第一帧之间的相似度来识别第一帧是否是第一内插帧。
获得组合帧可包括基于第二帧与第三帧之间的平均值以及加权和中的一者获得组合帧。
识别(S710)可包括基于组合帧与第一帧之间的绝对差和(SAD)值或平方差和(SSD)值小于阈值，将第一帧识别为第一内插帧。
识别(S710)可包括基于第一帧与第二帧之间的第一SAD值、第一帧与第三帧之间的第二SAD值以及第二帧与第三帧之间的第三SAD值，来识别第一帧是否为第一内插帧。
根据上述各种示例性实施方式，电子设备可以识别在输入图像中包括的多个帧中使用时间平均方法所插入的内插帧，并且基于所识别的内插帧获得通过对多个原始帧执行帧内插而消除运动抖动的输出图像。
根据实施方式，上述各种示例性实施方式可以实现为包括存储在机器可读存储介质(例如，计算机)上的指令的软件。作为能够调用存储在存储介质中并根据所调用的指令操作的指令的设备，机器可以包括根据所公开的实施方式的电子设备(例如，电子设备100)。基于由处理器执行的指令，处理器可以直接或使用在处理器控制下的其它元件来执行对应于该指令的功能。该指令可以包括由编译器生成的代码或由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。“非暂时性”存储介质可以不包括信号并且可以是有形的，但是不区分半永久性或临时存储在存储介质中的数据。
此外，根据实施方式，根据上述各种实施方式的方法可以在计算机程序产品中提供。计算机程序产品可以作为产品在卖方与买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，压缩光盘只读存储器(CD-ROM))的形式来分发，或者通过应用程序商店(例如，PlayStoreTM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少暂时存储在存储介质(诸如制造商的服务器、应用程序商店的服务器或中继服务器的存储器)中，或者临时生成。
此外，根据本公开的实施方式，上述各种实施方式可以使用软件、硬件或其组合在计算机或类似于计算机装置的可读记录介质中实施。在一些情况下，本文中所描述的实施方式可以由处理器本身实施。根据软件实施方案，本文中所描述的诸如过程和功能的实施方式可以实施为单独的软件模块。每个软件模块可以执行本文中所描述的一个或多个功能和操作。
用于执行根据上述各种实施方式的装置的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当由特定装置的处理器执行时，存储在非暂时性计算机可读介质中的计算机指令允许特定装置执行根据上述各种实施方式的装置的处理操作。非暂时性计算机可读介质可以例如指的是半永久存储数据的介质，并且可由装置读取。非暂时性计算机可读介质的示例包括压缩光盘(CD)、数字多功能光盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
此外，根据上述各种实施方式的每个部件(例如，模块或程序)可以包括单个实体或多个实体，并且可以省略上述子部件中的一些子部件，或者可以在各种实施方式中进一步包括其它子部件。替代地或另外地，一些部件(例如，模块或程序)可以被集成到一个实体中以执行由各个部件在集成之前执行的相同或相似功能。根据各种实施方式的由模块、程序或其它部件执行的操作可以顺序地、并行地、迭代地或启发式地执行，或者至少一些操作可以以不同次序来执行或省略，或者可以进一步添加不同的操作。
尽管已经参考各种附图示出并描述了本公开的各种示例性实施方式，但是本公开不限于本文所描述的特定实施方式或附图，本领域普通技术人员将理解，在不脱离包括所附权利要求书及其等同的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子设备，包括：
存储器，配置为存储输入图像中包括的多个帧；以及
处理器，配置为：
识别所述多个帧中的一个帧是否为基于所述多个帧中的其它帧的至少两个帧生成的第一内插帧，以及
基于识别出所述第一内插帧，选择将在所述多个帧的帧内插中使用的参考帧。
2.根据权利要求1所述的电子设备，其中，所述处理器配置为：
基于所述第一内插帧，识别所述多个帧中的多个原始帧，以及
通过将所述多个原始帧选择为所述参考帧并执行帧内插，获得输出图像。
3.根据权利要求2所述的电子设备，其中，所述处理器配置为：
基于所述第一内插帧，识别与所述输入图像对应的原始图像的帧速率，以及
基于所述原始图像的所述帧速率和所述参考帧，来执行帧内插。
4.根据权利要求1所述的电子设备，其中，所述处理器配置为：识别所述多个帧中的第一帧是否是基于第二帧和第三帧所生成的第一内插帧，其中所述第二帧是直接在所述第一帧之前的帧，所述第三帧是直接在所述第一帧之后的帧。
5.根据权利要求4所述的电子设备，其中，所述处理器配置为：
通过组合所述第二帧和所述第三帧来获得组合帧，以及
基于所述组合帧与所述第一帧之间的相似度，识别所述第一帧是否是所述第一内插帧。
6.根据权利要求5所述的电子设备，其中，所述处理器配置为：
基于所述第二帧和所述第三帧的平均值以及所述第二帧和所述第三帧的加权和中的一者，来获得所述组合帧。
7.根据权利要求5所述的电子设备，其中，所述处理器配置为：
基于所述组合帧与所述第一帧之间的绝对差和SAD值或平方差和SSD值小于阈值，将所述第一帧识别为所述第一内插帧。
8.根据权利要求4所述的电子设备，其中，所述处理器配置为：
基于所述第一帧与所述第二帧之间的第一绝对差和SAD值、所述第一帧与所述第三帧之间的第二SAD值以及所述第二帧与所述第三帧之间的第三SAD值，来识别所述第一帧是否为所述第一内插帧。
9.根据权利要求1所述的电子设备，其中，所述处理器配置为：
识别所述多个帧中的一个帧是否为通过重复所述多个帧中的另一帧而插入的第二内插帧；以及
基于所述第一内插帧或所述第二内插帧中的至少一者，来识别所述多个帧中的所述参考帧。
10.根据权利要求2所述的电子设备，其中，所述处理器配置为：
基于所述第一内插帧，识别与所述输入图像对应的原始图像的帧速率；
基于输出帧速率和所述原始图像的所识别的帧速率，获取与帧内插的定时有关的信息；以及
基于所述与帧内插的定时有关的信息执行帧内插。
11.根据权利要求10所述的电子设备，其中，所述处理器配置为：基于所述与帧内插的定时有关的信息从所述参考帧获得运动信息，以及基于所获得的运动信息执行所述帧内插。
12.根据权利要求2所述的电子设备，还包括：显示器，其中所述处理器配置为控制所述显示器显示所述输出图像。
13.一种控制电子设备的方法，所述方法包括：
识别输入图像中包括的多个帧中的一个帧是否是基于所述多个帧中的其它帧的至少两个帧生成的第一内插帧；以及
基于识别出所述第一内插帧，选择将在所述多个帧的帧内插中使用的参考帧。
14.根据权利要求13所述的方法，其中，选择将在所述多个帧的帧内插中使用的参考帧包括：基于所述第一内插帧来识别所述多个帧中的多个原始帧，以及将所述多个原始帧选择为所述参考帧，以及
所述方法还包括：基于所选择的参考帧，执行所述帧内插以获得输出图像。
15.根据权利要求14所述的方法，所述方法还包括：
基于所述第一内插帧来识别与所述输入图像对应的原始图像的帧速率，以及
其中，基于所述原始图像的所识别的帧速率和所述参考帧来执行所述帧内插。
CN202010484689.5A 2019-11-28 2020-06-01 电子设备及其控制方法 Active CN112866795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311710005.9A CN117692703A (zh) 2019-11-28 2020-06-01 电子设备及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0156091 2019-11-28
KR1020190156091A KR20210066619A (ko) 2019-11-28 2019-11-28 전자 장치 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311710005.9A Division CN117692703A (zh) 2019-11-28 2020-06-01 电子设备及其控制方法

Publications (2)

Publication Number Publication Date
CN112866795A true CN112866795A (zh) 2021-05-28
CN112866795B CN112866795B (zh) 2023-12-29

Family

ID=70058266

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311710005.9A Pending CN117692703A (zh) 2019-11-28 2020-06-01 电子设备及其控制方法
CN202010484689.5A Active CN112866795B (zh) 2019-11-28 2020-06-01 电子设备及其控制方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311710005.9A Pending CN117692703A (zh) 2019-11-28 2020-06-01 电子设备及其控制方法

Country Status (5)

Country Link
US (2) US11233970B2 (zh)
EP (1) EP3828814A1 (zh)
KR (1) KR20210066619A (zh)
CN (2) CN117692703A (zh)
WO (1) WO2021107293A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210066619A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 그 제어 방법
US11871146B1 (en) * 2022-08-16 2024-01-09 Novatek Microelectronics Corp. Video processor for handling irregular input

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101411204A (zh) * 2006-04-04 2009-04-15 高通股份有限公司 视频压缩中增强帧内插的设备和方法
US20090161009A1 (en) * 2007-12-20 2009-06-25 Ati Technologies Ulc Method, apparatus and machine-readable medium for handling interpolated video content
US8374240B1 (en) * 2008-07-10 2013-02-12 Marvell International Ltd. Image frame management
CN103108148A (zh) * 2011-11-14 2013-05-15 联想(北京)有限公司 视频帧的插帧方法以及信息处理设备
KR20160136665A (ko) * 2015-05-20 2016-11-30 주식회사 칩스앤미디어 프레임 율 변환 장치 및 그 방법
US20160371816A1 (en) * 2015-06-18 2016-12-22 Sharp Laboratories Of America, Inc. System for enhanced images
US20170178295A1 (en) * 2015-12-17 2017-06-22 Imagination Technologies Limited Artefact Detection and Correction
KR101852967B1 (ko) * 2017-12-27 2018-06-07 주식회사 아나패스 프레임 율 검출 방법 및 프레임 율 변환 방법
US20190310475A1 (en) * 2018-04-10 2019-10-10 Canon Kabushiki Kaisha Image display apparatus and image display method

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6538688B1 (en) * 1998-07-02 2003-03-25 Terran Interactive Method and apparatus for performing an automated inverse telecine process
US20030202780A1 (en) * 2002-04-25 2003-10-30 Dumm Matthew Brian Method and system for enhancing the playback of video frames
KR100530223B1 (ko) * 2003-05-13 2005-11-22 삼성전자주식회사 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
US7805011B2 (en) * 2006-09-13 2010-09-28 Warner Bros. Entertainment Inc. Method and apparatus for providing lossless data compression and editing media content
US8542747B2 (en) * 2006-12-26 2013-09-24 Broadcom Corporation Low latency cadence detection for frame rate conversion
JP4438795B2 (ja) * 2006-12-28 2010-03-24 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
CN101953150A (zh) * 2007-12-20 2011-01-19 Ati技术无限责任公司 用于描述视频处理的方法、设备及其机器可读取介质
US20090208123A1 (en) * 2008-02-18 2009-08-20 Advanced Micro Devices, Inc. Enhanced video processing using motion vector data
PL2319236T3 (pl) * 2008-07-23 2012-08-31 Nxp Bv Konwersja w górę częstotliwości wyświetlania klatek
US8736759B2 (en) * 2008-08-05 2014-05-27 Mediatek Inc. Methods and related apparatus making effective use of bandwidth of storage device to generate interpolated frames
EP2446631A4 (en) 2009-06-25 2015-04-01 Visible World Inc TIME COMPROMISING VIDEO CONTENT
EP2293554A1 (en) 2009-07-27 2011-03-09 Trident Microsystems (Far East) Ltd. Frame-rate conversion
JP2012089986A (ja) * 2010-10-18 2012-05-10 Mitsubishi Electric Corp 画像処理装置及び方法、並びに画像表示装置及び方法
US8537901B2 (en) 2010-12-23 2013-09-17 Stmicroelectronics Asia Pacific Pte Ltd. Apparatus and method for exotic cadence detection
JP2011078136A (ja) 2011-01-11 2011-04-14 Hitachi Ltd 映像ノイズ削減処理装置及び映像処理装置
US8718448B2 (en) 2011-05-04 2014-05-06 Apple Inc. Video pictures pattern detection
KR101756842B1 (ko) * 2011-08-29 2017-07-12 삼성전자주식회사 영상 프레임의 보간 방법 및 장치
US8692935B1 (en) * 2011-11-02 2014-04-08 Marvell International Ltd. Video interpolation mode based on merit
JP5542981B1 (ja) 2013-02-06 2014-07-09 Ｅｉｚｏ株式会社 画像処理装置、フレームレートコントロール処理判定装置またはその方法
US9257092B2 (en) * 2013-02-12 2016-02-09 Vmware, Inc. Method and system for enhancing user experience for remoting technologies
US10432946B2 (en) 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
US9626770B2 (en) * 2015-04-10 2017-04-18 Apple Inc. Generating synthetic video frames using optical flow
US9602762B2 (en) * 2015-06-12 2017-03-21 Sharp Laboratories Of America, Inc. Fallback in frame rate conversion system
US10382718B2 (en) 2017-12-27 2019-08-13 Anapass Inc. Frame rate detection method and frame rate conversion method
JP7102844B2 (ja) 2018-03-27 2022-07-20 株式会社リコー フレーム補間装置、フレーム補間方法およびフレーム補間プログラム
KR20210066619A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101411204A (zh) * 2006-04-04 2009-04-15 高通股份有限公司 视频压缩中增强帧内插的设备和方法
US20090161009A1 (en) * 2007-12-20 2009-06-25 Ati Technologies Ulc Method, apparatus and machine-readable medium for handling interpolated video content
US8374240B1 (en) * 2008-07-10 2013-02-12 Marvell International Ltd. Image frame management
CN103108148A (zh) * 2011-11-14 2013-05-15 联想(北京)有限公司 视频帧的插帧方法以及信息处理设备
KR20160136665A (ko) * 2015-05-20 2016-11-30 주식회사 칩스앤미디어 프레임 율 변환 장치 및 그 방법
US20160371816A1 (en) * 2015-06-18 2016-12-22 Sharp Laboratories Of America, Inc. System for enhanced images
US20170178295A1 (en) * 2015-12-17 2017-06-22 Imagination Technologies Limited Artefact Detection and Correction
KR101852967B1 (ko) * 2017-12-27 2018-06-07 주식회사 아나패스 프레임 율 검출 방법 및 프레임 율 변환 방법
US20190310475A1 (en) * 2018-04-10 2019-10-10 Canon Kabushiki Kaisha Image display apparatus and image display method

Also Published As

Publication number Publication date
US20210168329A1 (en) 2021-06-03
US11778139B2 (en) 2023-10-03
KR20210066619A (ko) 2021-06-07
US20210168328A1 (en) 2021-06-03
WO2021107293A1 (en) 2021-06-03
EP3828814A1 (en) 2021-06-02
CN117692703A (zh) 2024-03-12
US11233970B2 (en) 2022-01-25
CN112866795B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
US8830403B1 (en) Image processing device and image processing method
US9832421B2 (en) Apparatus and method for converting a frame rate
US9830880B1 (en) Method and system for adjusting the refresh rate of a display device based on a video content rate
US11763440B2 (en) Electronic apparatus and control method thereof
CN112866795B (zh) 电子设备及其控制方法
US9294711B2 (en) De-interlacing and frame rate upconversion for high definition video
US9774821B2 (en) Display apparatus and control method thereof
WO2023160617A9 (zh) 视频插帧处理方法、视频插帧处理装置和可读存储介质
US11443461B2 (en) Display apparatus and image processing method for applying random patches to pixel block
US9275468B2 (en) Fallback detection in motion estimation
US20220414828A1 (en) Electronic apparatus, control method thereof and electronic system
EP2689583B1 (en) Panorama picture scrolling
US20230140006A1 (en) Electronic apparatus and controlling method thereof
EP4250282A1 (en) Display device and control method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant