CN111343465A - 电子电路和电子设备 - Google Patents

电子电路和电子设备 Download PDF

Info

Publication number
CN111343465A
CN111343465A CN201911052393.XA CN201911052393A CN111343465A CN 111343465 A CN111343465 A CN 111343465A CN 201911052393 A CN201911052393 A CN 201911052393A CN 111343465 A CN111343465 A CN 111343465A
Authority
CN
China
Prior art keywords
image
candidate
decimated
block
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911052393.XA
Other languages
English (en)
Inventor
郑徼援
金祺原
边柱元
宋杬燮
安志勋
杨政烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111343465A publication Critical patent/CN111343465A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开涉及电子电路和电子设备。所述电子电路包括处理电路以执行运动估计。所述处理电路针对从原始图像生成的每个抽取图像确定当前块和候选块，其中所述处理电路针对最低分辨率的第一抽取图像，基于所述当前块的位置确定第一候选块，而不对所有像素进行完全搜索。所述处理电路针对最高分辨率的第二抽取图像选择第二候选块，所述第二候选块是所述第一候选块中的一些候选块，使得所述处理电路针对所述原始图像确定所述第二候选块，所述第二数目小于所述第一数目。所述处理电路基于一个参考面片生成所述当前块的运动向量，所述一个参考面片是从由所述第二候选块的候选运动向量指示的参考面片中确定的。

Description

电子电路和电子设备
相关申请的交叉引用
本申请要求2018年12月18日在韩国知识产权局提交的韩国专利申请No.10-2018-0164425的优先权，该韩国专利申请的全部公开内容以引用的方式合并于本申请中。
技术领域
本公开涉及电子电路和/或电子设备。例如，至少一些示例实施例涉及用于图像处理或视频处理的运动估计的电路和/或设备。
背景技术
如今，正在使用各种类型的电子设备。电子设备根据电子设备中包括的电子组件(例如，器件和电路)的操作来执行其自己的功能。
目前正在使用的大多数电子设备包括能够生成和输出图像和/或视频的信息的组件。例如，相机设备可以捕获对象以生成静止图像和/或运动图像的数据，并且显示设备可以基于数据来输出可视觉识别的图像信息。
同时，由于对更生动的图像和视频的需求的增加，用于显示图像和视频的数据量逐渐增加，并且正在开发用于处理图像和视频的各种技术。然而，当要处理大量数据时，可能会花费很长时间从存储器中读取数据并处理所读取的数据。在这种情况下，可能会降低数据处理的速度，并且可能会消耗大量电力来处理数据。
发明内容
本公开的示例实施例可以基于分层搜索来减少运动估计所花费的时间，而不会降低运动估计的准确度或者最小化地降低运动估计准确度。在至少一些示例实施例中，可以基于候选块具有的候选运动向量，通过不伴随完全搜索的分层搜索来执行运动估计。
在一些示例实施例中，电子电路可以被配置为执行图像之间的运动估计，所述电子电路包括处理电路，所述处理电路被配置为：针对多个抽取图像中的每个抽取图像确定当前块和候选块，所述多个抽取图像是从原始图像生成的，使得所述多个抽取图像具有不同的分辨率，所述多个抽取图像包括具有第一分辨率的第一抽取图像和具有第二分辨率的第二抽取图像，所述第一分辨率是所述分辨率中的最低分辨率，所述第二分辨率是所述分辨率中的最高分辨率；针对所述多个抽取图像中的每个抽取图像，基于所述当前块的位置确定候选块，使得所述处理电路针对所述第一抽取图像确定所述候选块中的第一数目的第一候选块而不对的所有像素进行完全搜索；针对所述原始图像确定第二候选块，选择所述候选块中的一些候选块使得所述处理电路针对所述第二抽取图像选择第二数目的第二候选块；以及基于一个参考面片生成所述当前块的运动向量，所述一个参考面片是从由所述第二候选块的候选运动向量指示的参考面片中确定的。所述第二数目小于所述第一数目。
在一些示例实施例中，电子设备包括存储器，所述存储器被配置为存储不同分辨率的图像的第一数据，所述图像包括具有第一分辨率的第一图像和具有第二分辨率的第二图像，所述第一分辨率是分辨率中的最低分辨率，所述第二分辨率是分辨率中的最高分辨率；以及第一电子电路，所述第一电子电路被配置为：针对所述第一图像，基于所述图像上的当前块的位置确定候选块，而不对所有像素进行完全搜索，根据从所述第一图像到所述第二图像的顺序，针对每个所述图像，基于所述当前块和参考面片选择所述候选块中的一些候选块，所述参考面片是由所述候选块的候选运动向量指示的，以及基于由针对所述第二图像选择的一个候选块的候选运动向量指示的参考面片来生成所述当前块的运动向量。
在一些示例实施例中，电子设备包括一个或更多个处理器；以及存储器，所述存储器被配置为存储可由所述一个或更多个处理器执行的指令，当由所述一个或更多个处理器执行时所述指令使得所述一个或更多个处理器执行以下操作：针对抽取图像中的第一抽取图像，基于当前块的位置确定候选块而不对所有像素进行完全搜索，所述抽取图像是从原始图像生成的，使得所述抽取图像的分辨率低于所述原始图像的第一分辨率，所述第一抽取图像的第二分辨率是所述抽取图像的所述分辨率中的最低分辨率，以及针对每个所述抽取图像，通过基于所述当前块和所述候选块选择所述候选块中一些候选块，来减少所述候选块的数目。
在一些示例实施例中，电子设备包括：存储器，所述存储器被配置为存储原始图像的第一数据和抽取图像的第二数据，所述抽取图像是从所述原始图像生成的，使得所述抽取图像的分辨率低于所述原始图像的原始分辨率；以及电子电路，所述电子电路被配置为，基于当前块的位置确定候选块，使得针对所述抽取图像中的具有第一分辨率的第一抽取图像，所述电子电路基于所述当前块的位置确定第一候选块而不对所有像素进行完全搜索，所述第一分辨率是所述抽取图像的所述分辨率中的最低分辨率，针对每个所述抽取图像，基于当前块和所述候选块选择所述候选块中的一些候选块，以及通过使用针对具有第二分辨率的第二抽取图像所选择的第二候选块来生成所述当前块的运动向量，所述第二分辨率是所述抽取图像的所述分辨率中的最高分辨率，所述第二候选块是所述第一候选块中的一些候选块。
根据示例实施例，由于基于分层搜索的运动估计所引用的数据量减少，可以提高运动估计的速度并且可以降低功耗。
附图说明
通过参考附图详细描述本公开的示例实施例，本公开的上述和其他目的和特征将变得更加明显。
图1是示出根据一些示例实施例的可以包括电子电路的电子设备的示例配置的框图。
图2是用于描述在图1的电子设备中执行的运动估计的概念图。
图3A至图3C是用于描述针对运动估计对构成图像的块进行递归的概念图。
图4是描述用于执行运动估计的示例操作的流程图。
图5A和图5B是示出在运动估计中所参考的当前块和候选块的示例的概念图。
图6是用于描述当前块与参考面片之间的相似度的概念图。
图7以及图8A至图8C是描述用于运动估计的完全搜索的概念图。
图9是用于描述紧接着的对下一个当前块的运动估计的概念图。
图10是示出根据一些示例实施例的用于执行运动估计的示例配置的框图。
图11A至图11C是示出根据一些示例实施例的运动估计所参考的原始图像和抽取(decimated)图像的示例的概念图。
图12A至图12D是示出根据一些示例实施例的在基于分层搜索的运动估计中选择一些候选块的示例的概念图。
图13是用于描述根据一些示例实施例的基于分层搜索的运动估计的概念图。
图14A和图14B是示出根据一些示例实施例的在基于分层搜索的运动估计中选择一些候选块的示例的概念图。
图15是用于描述根据一些示例实施例的基于分层搜索的运动估计的概念图。
图16是示出根据一些示例实施例的用于执行基于分层搜索的运动估计的示例配置的框图。
图17是描述根据一些示例实施例的用于执行基于分层搜索的运动估计的示例操作的流程图。
图18是示出图1的编解码器的示例配置的框图。
图19是用于描述根据一些示例实施例的运动估计与视频编码之间的关系的概念图。
具体实施方式
下面，将参考附图详细并清楚地描述一些示例实施例，使得本领域技术人员可以容易地实现本公开。
图1是示出根据一些示例实施例的可以包括电子电路的电子设备1000的示例配置的框图。
例如，电子设备1000可以以各种类型的电子设备中的一种电子设备的形式实现，各种类型的电子设备可以是诸如台式计算机、平板计算机、膝上型计算机、智能电话、可穿戴设备、数码相机、显示设备、工作站、服务器、电动车辆、家用电器和/或医疗设备等。
电子设备1000可以包括各种电子电路和设备。例如，电子设备1000可以包括图像处理块1100、通信块1200、音频处理块1300、缓冲存储器1400、非易失性存储器1500、用户接口1600、显示面板1700、主处理器1800和电源管理器电路1900。
图像处理块1100可以通过透镜1110接收光。图像处理块1100的图像传感器1120可以基于所接收的光生成与外部对象相关联的图像信号。图像信号可以描述外部对象的静止图像和/或运动图像。例如，静止图像可以提供图片，运动图像可以提供视频。
通信块1200可以通过天线1210与外部设备/系统交换信号。通信块1200的收发器1220和调制器/解调器(调制解调器)1230可以按照各种有线/无线通信协议中的一种或更多种有线/无线通信协议对与外部设备/系统交换的信号进行处理。
音频处理块1300可以通过使用音频信号处理器1310来处理声音信息。音频处理块1300可以通过麦克风1320接收音频输入和/或可以通过扬声器1330输出音频。
缓冲存储器1400可以存储用于操作电子设备1000的数据。例如，缓冲存储器1400可以临时存储由主处理器1800处理的或要由主处理器1800处理的数据。例如，缓冲存储器1400可以包括易失性存储器(诸如静态随机存取存储器(SRAM)、动态RAM(DRAM)和/或同步DRAM(SDRAM)等)和/或非易失性存储器(诸如相变RAM(PRAM)、磁阻RAM(MRAM)、电阻RAM(ReRAM)和/或铁电RAM(FRAM)等)。
无论是否供电，非易失性存储器1500都可以存储数据。例如，非易失性存储器1500可以包括诸如闪存、PRAM、MRAM、ReRAM和/或FRAM等的各种非易失性存储器中的至少一种。例如，非易失性存储器1500可以包括可移除存储器(诸如安全数字(SD)卡或固态硬盘(SSD))和/或嵌入式存储器(诸如嵌入式多媒体卡(eMMC))。
用户接口1600可以仲裁用户与电子设备1000之间的通信。例如，用户接口1600可以包括用于从用户接收输入的输入接口和用于向用户提供信息的输出接口。
显示面板1700可以向用户提供视觉信息。例如，显示面板1700可以基于图像数据显示静止图像和/或运动图像。例如，显示面板1700可以以液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器和/或有源矩阵OLED(AMOLED)显示器等形式实现。
主处理器1800可以控制电子设备1000的组件的整体操作。主处理器1800可以处理各种操作以操作电子设备1000。例如，主处理器1800可以以通用处理器、专用处理器、应用处理器和/或微处理器等形式实现，并且可以包括一个或更多个处理器核。
例如，缓冲存储器1400和/或非易失性存储器1500可以存储可由一个或更多个处理器(例如，主处理器1800)执行的指令。可以基于软件和/或固件的程序代码来提供指令。例如，当主处理器1800执行指令时，指令可以将主处理器1800变换为用于执行本公开中所描述的操作的专用处理器。
在一些示例实施例中，主处理器1800可以包括图像信号处理器(ISP)1130、帧速率转换器(FRC)1730和编码器/解码器(编解码器)1830。例如，如上所述，指令可以将主处理器1800变换为专用处理器以执行ISP 1130、FRC 1730和编解码器1830的操作。
ISP 1130可以对图像传感器1120生成的图像信号执行各种信号处理。例如，ISP1130可以执行诸如去马赛克、数字图像稳定、降噪和/或边缘增强等图像信号处理，以输出适当地描述外部对象的图像数据。例如，可以将图像数据存储在缓冲存储器1400和/或非易失性存储器1500中，并且可以将基于图像数据的视觉信息显示在显示面板1700上。
编解码器1830可以对图像数据进行编码和/或解码。例如，编解码器1830可以执行编码以减少由ISP 1130生成的图像数据量(例如，压缩图像数据)。例如，编解码器1830可以对编码后的图像数据进行解码，基于解码后的图像数据的视觉信息可以被输出到显示面板1700上。
FRC 1730可以调整与图像数据的频率相关联的帧速率。例如，FRC 1730可以在ISP1130与编解码器1830之间操作，和/或可以在编解码器1830与显示面板1700之间操作。例如，FRC 1730可以将ISP 1130生成的图像数据的帧速率转换为适合于图像数据的格式的帧速率。
例如，当显示面板1700基于编解码器1830所解码的图像数据显示视觉信息时，FRC1730可以将图像数据的帧速率转换为适合于显示面板1700的操作特性的帧速率。例如，当描述视频信息的图像数据的帧速率低于显示面板1700的帧速率时，FRC 1730可以在视频帧之间插入中间帧以增加帧速率。
图1示出了主处理器1800包括ISP 1130、FRC 1730和编解码器1830。然而，提供图1是为了便于更好地理解，而并不意图限制本公开。在一些示例实施例中，主处理器1800还可以包括应用处理器，并且应用处理器、ISP 1130、FRC 1730和编解码器1830可以以一个单芯片系统(SoC)实现。
或者，ISP 1130、FRC 1730和/或编解码器1830中的至少一个可以提供在主处理器1800的外部。例如，ISP 1130可以与图像处理块1100中的图像传感器1120一起实现为一个芯片，FRC 1730可以与显示面板1700一起实现于一个显示设备内。或者，ISP 1130、FRC1730和/或编解码器1830中的至少一个可以与其他组件分开地实现为独立知识产权(IP)。
可以以被配置为执行本公开中所描述的操作的硬件电路(例如，模拟电路和/或逻辑电路等)的形式实现ISP 1130、FRC 1730和编解码器1830。或者，可以以软件和/或固件的程序代码的形式实现ISP 1130、FRC 1730和编解码器1830，并且一个或更多个处理器(例如，主处理器1800)可以执行程序代码的指令以提供ISP 1130、FRC 1730和编解码器1830的操作。在一些情况下，ISP 1130、FRC 1730和编解码器1830中的每一个可以以硬件和软件的组合(或混合)的形式实现。
在一些示例实施例中，ISP 1130、FRC 1730和编解码器1830中的每一个可以兼带运动估计。将参考图2至图17描述在电子设备1000中执行的运动估计。
电源管理器电路1900可以提供用于操作电子设备1000的电力。电源管理电路1900可以通过对从电池和/或外部电源提供的电力进行适当的转换来产生适合于操作电子设备1000的组件的电力。
图2是用于描述在图1的电子设备1000中执行的运动估计的概念图。图3A至图3C是用于描述针对运动估计对构成图像的块进行递归的概念图。
参考图2，可以执行图像之间的运动估计以估计对象的运动。例如，可以执行作为当前帧提供的图像与作为前一帧提供的图像之间的运动估计。对于运动估计，缓冲存储器1400和/或非易失性存储器1500可以存储当前帧的图像的数据和前一帧的图像的数据。
例如，为了执行运动估计，可以将每个帧的图像划分为块(例如，宏块)。对此，可以理解的是，所划分的块构成图像。每个块可以被布置为与图像上的坐标所指示的位置相对应。
可以将一个块划分为包括构成图像的多个像素。例如，可以划分块BK0，使得M×N个像素构成块BK0(M和N是正整数)。可以不同地改变或修改每个块的大小以适合于运动估计。
例如，可以意图在运动估计中估计对象10的运动。对于当前帧，对象10可以显示在与块BK2相对应的位置处。另一方面，对于前一帧，对象10可以显示在与块BK1相对应的位置处。在这种情况下，针对对象10的运动，运动估计可以获得从块BK1起的运动向量MV。
运动向量可以是指示当前帧的图像与前一帧的图像之间的块的位置的改变的元素。例如，图2的运动向量MV可以适用于当前帧的块BK2，并且可以与对象10的运动或块BK1与块BK2之间的位置变化相关联。
可以执行运动估计以生成构成当前帧的图像的所有块的运动向量。可以对构成图像的块递归地执行生成运动向量的操作。可以根据块排列的顺序执行递归。
例如，参考图3A和图3B，可以对构成一行的块递归地执行生成运动向量的操作，然后可以继续对构成另一行的块递归地执行生成运动向量的操作。参考图3A，可以在相邻行上沿相同方向进行生成运动向量的操作。或者，参考图3B，可以在相邻行沿相反方向进行生成运动向量的操作。或者，参考图3C，可以沿着对角线方向的块递归地执行生成运动向量的操作。
然而，提供图3A至图3C中的顺序是为了便于更好地理解，但是本公开不限于图3A至图3C中的顺序。可以不同地改变或修改与生成运动向量的操作相关联的块的顺序，以适合于运动估计。然而，为了便于在以下描述中更好地理解，将假设基于图3A中所示的顺序进行运动估计。
可以在ISP 1130、FRC 1730和编解码器1830中使用运动估计。例如，针对数字信号稳定或时域降噪，ISP 1130可以采用运动估计来将预期图像成分与非预期噪声成分区分开。例如，FRC 1730可以采用运动估计来在前一帧与下一帧之间生成适当地应用了对象运动的中间帧。例如，编解码器1830可以基于块的位置变化采用运动估计来压缩图像数据。此外，运动估计可以不同地用于图像处理和视频处理。
因此，准确且有效地执行运动估计可有助于提高图像处理和视频处理的质量。对此，用于估计运动(接近人可感知的运动)的真实运动估计可以更有利于提高图像处理和视频处理的质量，并且可以提高用户满意度。下面要描述的示例实施例可以有利于准确和有效的真实运动估计。
图4是描述用于执行运动估计的示例操作的流程图。图5A和图5B是示出在运动估计中所参考的当前块和候选块的示例的概念图。图6是用于描述当前块与参考面片(patch)之间的相似度的概念图。图7以及图8A至图8C是描述用于运动估计的完全搜索的概念图。图9是用于描述紧接着的对下一个当前块的运动估计的概念图。
本公开中描述的运动估计可以由ISP 1130、FRC 1730、编解码器1830和/或其他组件执行。例如，采用运动估计的组件可以包括用于执行运动估计的电子电路(参考图10)，并且该电子电路可以执行本公开中所描述的操作。附加地或作为另外的选择，当指令由一个或更多个处理器执行时，指令可以使一个或更多个处理器(例如，主处理器1800)执行本公开中所描述的操作。在下文中，处理电路可以指电子电路或主处理器1800，并且可以包括包含逻辑电路的硬件、硬件/软件组合(例如执行软件的处理器)或它们的组合。例如，更具体地，处理电路可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、单芯片系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。
参考图4，在操作S110中，处理电路可以确定当前块。当前块可以表示在构成被提供为当前帧的图像的块之中的要在当前递归中对其执行生成运动向量的操作的块。当前位置可以与图像上的当前位置(例如，坐标)相对应。如参考图3A至图3C所描述的，可以根据块排列的顺序来确定当前块和当前位置。
在操作S120中，处理电路可以确定候选块。候选块可以表示这样的块：所述块的候选运动向量要被参考以获得当前块的运动向量。候选运动向量中的用于指示与当前块最相似的参考面片的候选运动向量，可以被预期为适合于获得当前块的运动向量。面片或参考面片可以表示大小与位于当前帧的图像上的位置处的块的大小相同的单位区域。
候选块可以与相对于图像上的当前块的当前位置的相对位置对应。当在图像上确定当前块的当前位置时，可以基于当前块的位置在相应的相对位置上确定候选块。
例如，参考图5A，当前块CB1可以对应于当前位置(X1，Y1)。候选块SC11至SC61以及候选块TC11至TC61可以分别与相对于当前位置的相对位置对应。例如，候选块SC11可以对应于(X1+1，Y1+5)，其是相对于当前位置(X1，Y1)的相对位置。为简洁起见，下面将省略与其他候选块的位置相关联的描述。
然而，本公开不限于图5A，并且可以不同地改变或修改候选块的相对位置。例如，参考图5B，当前块CB1可以对应于当前位置(X1，Y1)，并且候选块SC11至SC91以及候选块TC11至TC61可以分别与相对于当前位置的相对位置对应。
从以下描述中，可以容易地理解的是，提供图5A和图5B的示例候选块是为了便于更好地理解。可以考虑诸如运动估计的准确性和性能之类的各种因素来设计诸如候选块的数目、候选块的位置和候选块的分布之类的属性。然而，在以下描述中为了便于更好地理解，将假设基于图5A中示出的当前块CB1的当前位置与候选块SC11至SC61以及候选块TC11至TC61的相对位置之间的坐标关系来进行运动估计。
可以不同地改变或修改候选块的相对位置以准确且适当地执行运动估计。例如，可以在电子设备1000运行之前由采用运动估计的组件(例如，ISP 1130、FRC 1730和/或编解码器1830等)的设计者预先设置候选块的相对位置。或者，可以在电子设备1000的运行期间适当地重新编程候选块的相对位置。
同时，当基于图3A中所示的顺序进行运动估计时，可能已经针对当前帧生成了候选块SC11至SC61的运动向量。另一方面，可能尚未针对当前帧生成候选块TC11至TC61的运动向量。然而，针对前一帧，可能已经生成候选块TC11至TC61的运动向量。
运动估计可以从缓冲存储器1400和/或非易失性存储器1500中读取参考面片的数据，以参考由与相对位置对应的候选块的候选运动向量所指示的参考面片。运动估计可以基于当前帧的图像的数据来参考由候选块SC11至SC61的候选运动向量所指示的参考面片。就这点而言，候选块SC11至SC61可以被理解为空间候选块。
运动估计可以基于前一帧的图像的数据来参考由候选块TC11至TC61的候选运动向量所指示的参考面片。就这点而言，候选块TC11至TC61可以被理解为时域候选块。
返回图4，在操作S130中，处理电路可以计算当前块与由候选块的候选运动向量所指示的每个参考面片之间的相似度。指示与当前块最相似的参考面片的候选运动向量可能与想要获得的针对当前块的运动向量相似。
在操作S140中，处理电路可以基于相似度计算来确定哪个参考面片与当前块最相似。也即是，针对所确定的一个参考面片计算出的相似度可以是针对所有参考面片计算出的相似度中的最大相似度。在本公开中，指示所确定的一个参考面片的候选运动向量可以被称为最佳候选运动向量。
可以以各种方式计算当前块与参考面片之间的相似度。例如，参考图6，可以基于像素值计算相似度。像素值可以指与构成块或面片的像素对应的值(例如，RGB值、亮度值和/或透明度值等)。
例如，运动估计可以计算当前块的像素值与参考面片的像素值之间的差。然后，运动估计可以计算所计算出的差的总和。计算出的总和可以被理解为绝对差之和(SAD)。
可以基于SAD计算相似度。当针对参考面片计算出的SAD很大时，可以理解为参考面片与当前块之间的相似度很小。另一方面，当针对参考面片计算出的SAD很小时，可以理解为参考面片与当前块之间的相似度很大。可以理解的是，在参考面片中，与最小SAD对应的参考面片与当前块最相似。
以此方式，处理电路可以在参考面片中确定一个与当前块最相似的参考面片。然而，参考图6描述的相似度计算是一种可能的方式，而并不意图限制本公开。可以对相似度计算进行各种改变或修改以适合于运动估计。
返回图4，在操作S150中，处理电路可以基于所确定的一个参考面片执行完全搜索。例如，所确定的一个参考面片可以比其他参考面片与当前块更相似，但是可以与当前块稍微不同。因此，完全搜索可以提供用于在所确定的一个参考面片周围的搜索范围内搜索与当前块更相似的面片的微调。
在操作S160中，处理电路可以通过完全搜索在搜索范围内确定最终参考面片。最终参考面片可以表示在搜索范围中包括的面片中被确定为与当前块最相似的参考面片。在本公开中，指示最终参考面片的运动向量可以被称为最终运动向量。
参考图7，当基于相似度计算确定由最佳候选运动向量所指示的参考面片时，运动估计可以在所确定的参考面片周围设置搜索范围。搜索范围可以表示执行完全搜索的范围。
搜索范围可以包括构成所确定的参考面片的像素。另外，搜索范围还可以包括基于所确定的参考面片的像素的位置而确定的像素。例如，可以将搜索范围设置为还包括基于所确定的参考面片的像素的位置沿水平方向和垂直方向确定的若干像素。然而，这仅是一种可能的示例，而并不意图限制本公开。
之后，运动估计可以组合搜索范围中包括的像素以确定搜索面片。运动估计可以基于构成每个搜索面片的像素与构成当前块的像素之间的相似度来确定最终参考面片。可以通过参考图6描述的方式或其他方式来计算相似度。
例如，参考图8A，运动估计可以在搜索范围内确定第一搜索面片(搜索面片1)，并且可以计算当前块与第一搜索面片之间的相似度，第一搜索面片包括与构成当前块的像素的数目相同数目的像素。另外，参考图8B，以类似的方式，运动估计可以在搜索范围内确定第二搜索面片(搜索面片2)，并且可以计算当前块与第二搜索面片之间的相似度。
以此方式，参考图8C，运动估计可以通过组合与构成当前块的像素的数目相同的数目的像素来在搜索范围内确定多个搜索面片。例如，以类似的方式，运动估计可以确定第六搜索面片(搜索面片6)和第二十五搜索面片(搜索面片25)。另外，运动估计可以计算多个搜索面片中的每一个搜索面片与当前块之间的相似度。
运动估计可以将多个搜索面片中与当前块最相似的搜索面片确定为最终参考面片。通过图7至图8C的完全搜索，运动估计可以确定与当前块最相似的最终参考面片。例如，指示最终参考面片的最终运动向量可能与运动估计要从当前块获得的运动向量相似。因此，最终运动向量可能最适合于获得当前块的运动向量。
通过操作S110至操作S160，运动估计可以基于候选块的候选运动向量中的最终候选运动向量来获得当前块的运动向量。例如，可以基于指示搜索范围内的最终参考面片的最终运动向量来生成当前块的运动向量。生成的运动向量可以描述当前块的位置变化或与当前块相关联的对象的运动。
同时，当没有针对构成当前帧图像的所有块都生成运动向量时(图4的操作S170的“否”)，处理电路可以对未生成运动向量的块执行操作S110至操作S160。为此，处理电路可以重新确定当前块，使得当前帧图像上的当前位置移动到与未生成运动向量的块相对应的位置。
例如，当已经生成了图5A中的当前块CB1的运动向量时，运动估计可以重新确定图9中的当前块CB2。参考图9，例如，可以确定当前块CB2，使得其对应于从图5A的位置(X1，Y1)移动到的当前位置(X2，Y2)(例如，当采用图3A的顺序时，(X2，Y2)＝(X1+1，Y1))。可以执行操作S110至操作S160以生成当前块CB2的运动向量。
为了生成当前块CB2的运动向量，处理电路可以确定候选块SC12至SC62以及候选块TC12至TC62。候选块SC12至SC62以及候选块TC12至TC62可以与相对于当前块CB2的当前位置(X2，Y2)的相对位置对应。
运动估计可以确定候选块，使得移动后的当前位置与对应于候选块的相对位置之间的坐标关系不改变。例如，将图5A和图9进行比较，图9中的当前块CB2的当前位置与候选块SC12至SC62和候选块TC12至TC62的相对位置之间的坐标关系可以与图5A中的当前块CB1的当前位置与候选块SC11至SC61和候选块TC11至TC61的相对位置之间的坐标关系相同。也即是，运动估计可以在不改变预先设置或重新编程的相对位置的情况下确定候选块。
可以对构成当前帧图像的块递归地执行参考图4至图9描述的操作。也即是，对于构成图像的块的每次递归，运动估计可以确定当前块和候选块，可以基于关于由候选块的运动向量所指示的参考面片的相似度来确定最终参考面片，以及可以从指示最终参考面片的最终运动向量生成当前块的运动向量。对于对构成图像的块的每次递归，相对于当前位置的相对位置不会改变。
在生成了构成当前帧图像的所有块的运动向量之后(图4的S170的“是”)，可以完成对构成图像的块的递归。ISP 1130、FRC 1730、编解码器1830和/或其他组件可以参考已经完成了运动估计的图像。之后，例如，针对当前帧之后的下一帧，可以执行参考图4至图9描述的操作。
可以参考已经生成运动向量的候选块来执行参考图4至图9描述的运动估计。除了当前帧的图像的数据之外，这种运动估计还可以使用前一帧的图像的数据。在这方面，这种运动估计可以被理解为采用三维递归搜索(3DRS)方式。
图10是示出根据一些示例实施例的用于执行运动估计的示例配置的框图。
在一些示例实施例中，可以提供用于执行图像之间的运动估计的电子电路2000。本公开中描述的运动估计可以由电子电路2000执行。
例如，电子电路2000可以包括在ISP 1130、FRC 1730、编解码器1830和/或其他组件中。或者，电子电路2000可以以独立的IP实现。电子电路2000可以由ISP 1130、FRC 1730、编解码器1830和/或其他组件共享，或者可以分别提供给ISP 1130、FRC 1730、编解码器1830和/或其他组件。
电子电路2000可以包括被配置为执行本公开中所描述的运动估计的硬件电路(例如，逻辑电路等)。在一些示例实施例中，电子电路2000可以以专用集成电路(ASIC)或现场可编程门阵列(FPGA)实现。
附加地或作为另一种选择，电子电路2000可以是一个或更多个处理器(例如，主处理器1800)的一部分，并且可以执行被配置为提供本公开中所描述的运动估计的程序代码的指令。在一些情况下，缓冲存储器1400和/或非易失性存储器1500可以存储指令，电子电路2000可以与缓冲存储器1400和/或非易失性存储器1500进行通信以执行指令。
例如，缓冲存储器1400可以存储图像数据DAT1。图像数据DAT1至少可以包括当前帧的图像的数据和前一帧的图像的数据。例如，图像数据DAT1可以包括像素值的信息。在执行运动估计时，电子电路2000可以与缓冲存储器1400进行通信以读取图像数据DAT1。
在示例实施例中，可以基于分层搜索来执行运动估计。为此，图像数据DAT1可以包括原始图像的数据和K个抽取图像(decimated image)的数据(K是自然数)。这种抽取可以同样地应用于当前图像和先前图像。将参考图11A至图15描述抽取图像和分层搜索。
虽然未在图10中示出，但是在一些情况下，非易失性存储器1500可以存储图像数据DAT1。在这种情况下，电子电路2000可以与非易失性存储器1500进行通信以读取图像数据DAT1。或者，非易失性存储器1500的图像数据DAT1可以被加载到缓冲存储器1400，并且电子电路2000可以与缓冲存储器1400进行通信。
例如，电子电路2000可以从缓冲存储器1400(和/或非易失性存储器1500)的图像数据DAT1中读取与由候选块的候选运动向量所指示的参考面片相关联的数据，以在运动估计中对参考面片进行参考。当运动估计所参考的数据量增加时，可能会花费很长时间从存储器中读取数据并处理所读取的数据。因此，随着处理数据的速度降低，运动估计所花费的时间可能增加，并且可能消耗大量功率来处理数据。另外，随着存储器访问的带宽或频率增加，存储器的功耗可能会增加。
因此，就性能和功耗而言，减少运动估计所参考的数据量可以有利于提高用户满意度。将参考图11A至图15描述减少运动估计中的数据量的示例。
图11A至图11C是示出根据一些示例实施例的被运动估计所参考的原始图像和抽取图像的示例的概念图。
参考图11A，原始图像可以表示在没有修改的情况下通过图像处理块1100生成的图像本身或者在没有修改的情况下要显示在显示面板1700上的图像本身。原始图像可以被划分为块，并且每个块可以包括多个像素。例如，原始图像可以包括块BK3，并且块BK3可以包括多个像素。
在示例实施例中，运动估计可以从原始图像生成抽取图像。在本文中，“抽取”(动词或名词)可以表示降低采样率或下采样。运动估计可以对原始图像进行下采样以生成每个抽取图像。
例如，参考图11B，可以通过对原始图像进行下采样来生成第一抽取图像，使得第一抽取图像的大小对应于原始图像的大小的一半(1/2)。在这种情况下，针对第一抽取图像的块BK3所采样的像素的数目可以是原始图像的块BK3中所包括的像素的数目的四分之一(1/4)。
例如，参考图11C，可以通过对原始图像进行下采样来生成第二抽取图像，使得第二抽取图像的大小对应于原始图像的大小的1/4。在这种情况下，针对第二抽取图像的块BK3所采样的像素的数目可以是原始图像的块BK3中所包括的像素的数目的1/16。
可以生成抽取图像，使得抽取图像具有不同的分辨率。为此，可以通过以不同比率对原始图像进行下采样来生成抽取图像。每个抽取图像的分辨率可以低于原始图像的分辨率。原始图像的分辨率可以是包括原始图像和抽取图像在内的所有图像的分辨率中的最高分辨率。
原始图像上的坐标可以与每个抽取图像上的坐标具有对应关系。例如，针对图11B和图11C的每个抽取图像的块BK3所采样的像素的坐标可以与图11A的原始图像的块BK3中所包括的像素的坐标对应。
以此方式，可以从原始图像生成抽取图像。本文中描述了两个抽取图像(K＝2)，但是可以不同地改变或修改抽取图像的数目，这将在下面描述。另外，可以不同地改变或修改用于生成每个抽取图像的下采样比率，使其不同于1/4或1/16。然而，为了便于更好地理解，下面将描述与图11A至图11C的图像相关联的示例。
在示例实施例中，可以参考包括原始图像和抽取图像在内的每个图像来执行运动估计，而不是针对单个图像执行运动估计。为此，在对抽取图像进行参考之前，处理电路可以预先通过下采样来生成抽取图像，并且可以将抽取图像的数据作为图像数据DAT1预先存储在缓冲存储器1400和/或非易失性存储器1500中。
图12A至图12D是示出根据一些示例实施例的在基于分层搜索的运动估计中选择一些候选块的示例的概念图。图13是用于描述根据一些示例实施例的基于分层搜索的运动估计的概念图。
基于分层搜索的运动估计(下文中称为“运动估计”)可以参考包括原始图像和抽取图像在内的每个图像。处理电路可以针对每个图像确定当前块和候选块。可以在原始图像和抽取图像上的对应坐标上分别确定当前块和候选块。
在每个抽取图像上，可以与从原始图像抽取的量成比例地减小当前块和候选块的大小。在每个抽取图像上，候选块相对于当前块的相对位置可以与从原始图像抽取的量成比例地变得更接近当前块的当前位置。此外，在每个抽取图像上，可以与从原始图像抽取的量成比例地减小候选块的候选运动向量的长度。
例如，参考图12A，针对第二抽取图像，处理电路可以首先基于当前块CB1的位置来确定候选块SC11至SC61以及候选块TC11至TC61。针对第二抽取图像，处理电路可以如参考图4的操作S110和操作S120以及图5A和图5B所描述的，在相对于当前块CB1的当前位置的相对位置上确定候选块SC11至SC61以及候选块TC11至TC61。
针对第二抽取图像，运动估计可以仅确定这些所选择的候选块SC11至SC61以及候选块TC11至TC61，并且可以仅参考所选择的候选块SC11至SC61以及候选块TC11至TC61的候选运动向量，而不是对所有像素执行完全搜索。针对第二抽取图像，运动估计可以如参考图6和图4的操作S130所描述的，计算当前块CB1与候选块SC11至SC61以及候选块TC11至TC61的候选运动向量所指示的每个参考面片之间的相似度。
运动估计可以基于相似度选择候选块SC11至SC61以及候选块TC11至TC61中的一些候选块。例如，运动估计可以在候选块SC11至SC61以及候选块TC11至TC61中选择候选块，所选择的候选块的候选运动向量是与较大相似度对应的那一半候选运动向量。由所选择的候选块的候选运动向量所指示的参考面片与当前块CB1之间的相似度，可以大于由未被选择的候选块的候选运动向量所指示的参考面片与当前块CB1之间的相似度。
可以在参考了第二抽取图像之后，立即针对第一抽取图像使用针对第二抽取图像所选择的候选块。例如，参考图12B，当针对第二抽取图像选择了候选块SC41、SC61、TC21、TC41、TC51和TC61时，针对第一抽取图像可以使用候选块SC41、SC61、TC21、TC41、TC51和TC61。另一方面，可以排除针对第二抽取图像未被选择的候选块，并且针对第一抽取图像不使用这些候选块。
处理电路可以针对第一抽取图像确定候选块SC41、SC61、TC21、TC41、TC51和TC61。针对第一抽取图像，运动估计可以计算由候选块SC41、SC61、TC21、TC41、TC51和TC61的候选运动向量指示的每个参考面片与当前块CB1之间的相似度。运动估计可以在候选块SC41、SC61、TC21、TC41、TC51以及TC61中选择候选块，所选择的候选块的候选运动向量是与较大相似度对应的那一半候选运动向量。
可以在参考了第一抽取图像之后，立即针对原始图像使用针对第一抽取图像所选择的候选块。例如，参考图12C，当针对第一抽取图像选择候了选块SC41、SC61和TC41时，针对原始图像可以使用候选块SC41、SC61和TC41。另一方面，可以排除针对第一抽取图像未被选择的候选块，并且针对原始图像不使用这些候选块。
运动估计可以针对原始图像确定候选块SC41、SC61和TC41。针对原始图像，如参考图4至图6所描述的，处理电路可以确定由候选块SC41、SC61和TC41的候选运动向量中的最佳候选运动向量所指示的一个参考面片。例如，参考图12D，候选块SC61的候选运动向量可以是最佳候选运动向量。
之后，如参考图4和图7至图8C所描述的，运动估计可以针对原始图像基于由最佳候选运动向量所指示的参考面片来执行完全搜索，并且可以基于从完全搜索确定的最终参考面片来生成当前块CB1的运动向量。
参考图13，处理电路可以沿着分层结构(包括抽取图像和原始图像)的层搜索与当前块CB1相似的参考面片，并且可以将参考图4至图9描述的3DRS方式应用于搜索到的参考面片。
为此，首先，针对抽取图像中具有最低分辨率的抽取图像(例如，图13的第二抽取图像)，处理电路可以如参考图5A和图5B以及图4的操作S110和操作S120所描述的，确定当前块CB1以及候选块SC11至SC61和候选块TC11至TC61。
在本文中，处理电路可以基于当前块CB1的位置来确定相对位置处的候选块SC11至SC61以及候选块TC11至TC61，而不对针对第二抽取图像的所有像素进行完全搜索，并且可以参考由确定的候选块SC11至SC61以及候选块TC11至TC61的候选运动向量所指示的参考面片。因此，与对最低分辨率的抽取图像执行完全搜索的方式相比，可以减少运动估计所参考的数据量。
例如，处理电路可以从存储器(例如，缓冲存储器1400和/或非易失性存储器1500)中读取图像数据DAT1，以针对第二抽取图像参考由候选块SC11至SC61以及候选块TC11至TC61的候选运动向量指示的参考面片。从存储器中读取的图像数据DAT1的量可以小于用于完全搜索的数据量。
运动估计可以选择针对每个抽取图像所确定的候选块中的一些候选块。可以基于当前块CB1和候选块(例如，基于候选块的候选运动向量所指示的每个参考面片与当前块CB1之间的相似度)来选择一些候选块。
例如，处理电路可以根据从最低分辨率的抽取图像(例如，图13的第二抽取图像)到最高分辨率的抽取图像(例如，图13的第一抽取图像)的顺序来参考抽取图像。此外，运动估计可以根据顺序针对每个抽取图像选择一些候选块。例如，运动估计可以通过针对每个抽取图像设置的比率或数目来选择一些候选块。
例如，运动估计可以选择候选块SC41、SC61、TC21、TC41、TC51和TC61，它们是针对第二抽取图像所确定的候选块SC11至SC61以及候选块TC11至TC61中的一半候选块。由所选择的候选块SC41、SC61、TC21、TC41、TC51和TC61的候选运动向量所指示的参考面片与当前块CB1之间的相似度可以大于由未被选择的候选块的候选运动向量所指示的参考面片与当前块CB1之间的相似度。在本文中，用于选择一些候选块的比率为一半仅是为了便于更好的理解的示例，并且可以不同地改变或修改比率或数目以适合于运动估计。
可以在参考了第二抽取图之后，立即针对第一抽取图像使用所选择的候选块SC41、SC61、TC21、TC41、TC51和TC61。运动估计可以针对第一抽取图像确定候选块SC41、SC61、TC21、TC41、TC51和TC61。
例如，处理电路可以选择候选块SC41、SC61和TC41，它们是针对第一抽取图像所确定的候选块SC41、SC61、TC21、TC41、TC51和TC61中的一半。由被选择的候选块SC41、SC61和TC41的候选运动向量所指示的参考面片与当前块CB1之间的相似度可以大于由未被选择的候选块的候选运动向量所指示的参考面片与当前块CB1之间的相似度。针对第一抽取图像所选择的候选块SC41、SC61和TC41可以是针对第二抽取图像所选择的候选块SC41、SC61、TC21、TC41、TC51和TC61中的一些。
可以在参考了第一抽取图像之后，立即针对原始图像使用所选择的候选块SC41、SC61和TC41。运动估计可以针对原始图像确定候选块SC41、SC61和TC41。针对原始图像所确定的候选块SC41、SC61和TC41的数目可以比针对第二抽取图像所确定的候选块SC11至SC61以及候选块TC11至TC61的数目少(例如，是其四分之一(1/4))。
以此方式，处理电路可以选择针对先前参考的图像的候选块中一些候选块，并且针对下一抽取图像可以仅使用所选择的候选块。如此，因为根据上述顺序分别基于原始图像和抽取图像选择了候选块中的一些候选块，所以被使用的候选块的数目可以逐渐减少。因此，可以减少针对原始图像所参考的数据量。
处理电路可以通过使用候选块SC41、SC61和TC41(例如，通过参考由候选块SC41、SC61和TC41的候选运动向量指示的参考面片)来生成当前块CB1的运动向量。为此，处理电路可以计算由针对原始图像确定的候选块SC41、SC61和TC41的候选运动向量所指示的每个参考面片与当前块CB1之间的相似度。可以如参考图4的操作S130和图6所描述的那样计算相似度。
处理电路可以基于相似度从候选块SC41、SC61和TC41的候选运动向量所指示的参考面片中选择一个参考面片(例如，由最佳候选运动向量所指示的参考面片)。从由候选块SC41、SC61和TC41的候选运动向量所指示的参考面片中选择的参考面片可以具有与当前块CB1的像素值最相似的像素值。随着通过分层搜索减少候选块的数目，可以从由候选块SC11至SC61以及候选块TC11至TC61的候选运动向量所指示的参考面片中最终选择所选择的参考面片。
处理电路可以基于针对原始图像所选择的参考面片生成当前块CB1的运动向量。为此，如参考图4的操作S150和图7以及图8A至图8C所描述的，运动估计可以基于针对原始图像所选择的参考面片执行完全搜索。然而，选择参考面片可以被理解为：选择候选块以确定由所选择的候选块的候选运动向量所指示的参考面片。
处理电路可以基于从完全搜索确定的最终参考面片来生成当前块CB1的运动向量。可以基于指示最终参考面片的最终运动向量来获得当前块CB1的运动向量。
图14A和图14B是示出根据一些示例实施例的在基于分层搜索的运动估计中选择一些候选块的示例的概念图。
参考图14A，例如，在与当前块CB1的当前位置相邻的坐标对应的相对位置处的候选块SC51、SC61、TC11和TC21的候选运动向量所指示的那些参考面片，可能与当前块CB1相似(因此，这些参考面片可能适合于生成当前块CB1的运动向量)。
在此方面，在一些示例实施例中，可以针对所有抽取图像都选择候选块SC51、SC61、TC11和TC21。在一些示例实施例中，当针对所有抽取图像都确定和选择了候选块SC51、SC61、TC11和TC21时，可以省略与由候选块SC51、SC61、TC11和TC21的候选运动向量所指示的参考面片相关联的相似度计算。
另一方面，可以基于相对于当前块CB1的相似度来选择或不选择与当前块CB1的当前位置不相邻的坐标对应的相对位置处的候选块SC11至SC41以及候选块TC31至TC61。如上所述，针对下一图像，可以仅参考所选择的候选块。
例如，参考图14B，所选择的候选块可以包括在与当前块CB1的坐标相邻的坐标处的候选块SC51、SC61、TC11和TC21。另外，运动估计可以在与当前块的坐标不相邻的坐标处选择一些候选块(例如，候选块SC41、TC41、TC51和TC61)。另一方面，运动估计可以不在与当前块的坐标不相邻的坐标处选择其他一些候选块。
例如，可以针对第二抽取图像选择候选块SC51、SC61、TC11和TC21，并且可以针对第一抽取图像确定候选块SC51、SC61、TC11和TC21。然而，基于针对原始图像计算的相似度，可以将候选块SC51、SC61、TC11和TC21中的每一个确定为具有或不具有最佳候选运动向量。
可以基于相似度针对第二抽取图像选择候选块SC41、TC41、TC51和TC61，并且可以针对第一抽取图像确定候选块SC41、TC41、TC51和TC61。针对第二抽取图像可以不选择其他候选块，并且针对第一抽取图像可以不参考其他候选块。
图15是用于描述根据一些示例实施例的基于分层搜索的运动估计的概念图。
虽然已经参考图11至图14描述了两个抽取图像和选择一半候选块的比率，但是本公开不限于此。可以采用选择K个抽取图像和其他选择候选块的比率来不同地改变或修改运动估计。
例如，可以通过对原始图像进行下采样来生成第K抽取图像，使得第K抽取图像的图像大小与原始图像的1/J相对应(J是正实数)并且其分辨率可以在抽取图像中最低。运动估计可以针对第K抽取图像确定当前块和候选块。在示例实施例中，针对第K抽取图像可以仅使用候选块而不对所有像素进行完全搜索，因此可以减少参考数据量。
可以针对第K抽取图像选择一些候选块，并且可以针对第K-1抽取图像(未示出)确定和参考所选择的候选块。以此方式，可以针对第三抽取图像(未示出)选择1/P的候选块(P是正实数)，并且可以针对第二抽取图像确定和使用所选择的候选块。
可以通过对原始图像进行下采样来生成第二抽取图像，使得第二抽取图像的图像大小对应于原始图像的大小的1/L(L是正实数)。运动估计可以针对第二抽取图像选择1/R(R是正实数)的候选块，并且可以针对第一抽取图像确定并使用所选择的候选块。
例如，可以通过对原始图像进行下采样来生成第一抽取图像，使得第一抽取图像的图像大小对应于原始图像的大小的1/Q(Q是正实数，Q<L<J)并且其分辨率可以在抽取的图像中最高。运动估计可以针对第一抽取图像选择1/S(S是正实数)的候选块，并且可以针对原始图像确定和使用所选择的候选块。运动估计可以通过使用针对原始图像所确定的候选块来生成当前块的运动向量。
以此方式，因为根据从最低分辨率的抽取图像到最高分辨率的抽取图像的顺序选择了一些候选块，所以使用的候选块的数目可以逐渐减少。因此，可以减少针对原始图像所参考的数据量。
在一些示例实施例中，用于表示各个图像的像素的比特数可以彼此不同。例如，可以基于W比特来表示构成原始图像的每个像素，并且可以基于X比特来表示构成第一抽取图像的每个像素。可以基于Y比特来表示构成第二抽取图像的每个像素，并且可以基于Z比特来表示构成第K抽取图像的每个像素(W、X、Y和Z是自然数)。
在本文中，Z可以小于Y，Y可以小于X，X可以小于W。也即是，可以基于较少的比特数来表示分辨率较低的抽取图像的像素。因此，可以基于较少的比特数来获得针对分辨率较低的抽取图像所计算的相似度。在这种情况下，可以减少运动估计所参考的数据量。
可以对候选块的数目、抽取图像的数目、每个抽取图像的分辨率、选择候选块的比率或数目和/或表示每个图像的像素的比特数等进行各种改变或修改。例如，当想要参考更多数目的候选块时，可以生成具有更低分辨率的更多抽取图像。此外，可以对数值进行各种改变或修改以适合于运动估计的要求。
如上所述，在示例实施例中，可以减少运动估计所参考的数据量。在这种情况下，可以减少从存储器中读取数据和处理读取的数据所花费的时间。因此，由于提高了数据处理的速度，可以减少运动估计所花费的时间并且可以减少处理数据所消耗的电量。随着存储器访问的带宽或频率降低，可以降低存储器的功耗。即使数据量减少，但由于采用了分层搜索，也不会降低运动估计的准确度，或者可以使运动估计的准确度的降低最小化。
图16是示出根据一些示例实施例的用于执行基于分层搜索的运动估计的示例配置的框图。图17是描述根据一些示例实施例的用于执行基于分层搜索的运动估计的示例操作的流程图。
参考图16，在一些示例实施例中，电子电路2000可以包括抽取器2050、块确定器2100、候选选择器2300、相似度计算器2500、完全搜索运算器2700和运动向量生成器2900。可以在被配置为执行本公开中描述的操作的硬件电路中实现抽取器2050、块确定器2100、候选选择器2300、相似度计算器2500、完全搜索运算器2700和运动向量生成器2900。
附加地或作为另外的选择，可以通过执行软件来实现抽取器2050、块确定器2100、候选选择器2300、相似度计算器2500、完全搜索运算器2700和运动向量生成器2900。当一个或更多个处理器(例如，主处理器1800和/或用于电子电路2000的单独处理器2005等)执行软件时，一个或更多个处理器可以被转换为专用处理器，以执行抽取器2050、块确定器2100、候选选择器2300、相似度计算器2500、完全搜索运算器2700和运动向量生成器2900的操作。
在操作S205中，抽取器2050可以基于图像数据DAT1从原始图像生成抽取图像，其可以与参考图11A至图11C描述的那些基本相同或相似。抽取图像可以被存储为图像数据DAT1的一部分。
在操作S210中，块确定器2100可以基于图像数据DAT1确定当前块。此外，在操作S212中，块确定器2100可以针对最低分辨率的第K抽取图像确定候选块。操作S210和操作S212可以与参考图4的操作S110和操作S120以及图5A、图5B、图12A和图13描述的那些基本相同或相似。
在操作S213中，相似度计算器2500可以基于图像数据DAT1针对每个抽取图像，计算由块确定器2100确定的当前块与由候选块的候选运动向量所指示的每个参考面片之间的相似度，其可以与参考图4的操作S130以及图6和图13描述的那些基本相同或相似。
在操作S214中，候选选择器2300可以针对每个抽取图像，基于由相似度计算器2500计算的相似度，通过设定的比率或设定的数目，选择具有与较大相似度对应的候选运动向量的候选块，其可以与参考图12A至图12D以及图13描述的那些基本相同或相似。
当还没有针对最高分辨率的第一抽取图像执行候选块选择(图17的S218的“否”)时，在操作S219中，块确定器2100可以针对下一抽取图像确定候选选择器2300所选择的候选块，并且可以将所选择的候选块及其候选运动向量投射到下一抽取图像。因此，可以针对下一抽取图像重复相似度计算和候选块选择(图17的S213和S214)。这些可以与参考图12A至图12D以及图13描述的那些基本相同或相似。
当针对最高分辨率的第一抽取图像执行了候选块选择(图17的S218的“是”)时，在操作S220中，块确定器2100可以针对原始图像确定候选块，并且可以将所确定的候选块及其候选运动向量投射到原始图像。
在操作S230中，相似度计算器2500可以针对原始图像计算当前块与由候选块的候选运动向量指示的每个参考面片之间的相似度。另外，在操作S240中，相似度计算器2500可以基于最大相似度确定由最佳候选运动向量指示的参考面片。这些可以与参考图12A至图12D以及图13描述的那些基本相同或相似。
在操作S250中，完全搜索运算器2700可以对由相似度计算器2500确定的参考面片周围的搜索区域执行完全搜索，其可以与参考图4的操作S150、图7和图8A至图8C描述的那些基本相同或相似。
在操作S260中，运动向量生成器2900可以基于完全搜索运算器2700的完全搜索的结果来确定搜索区域内的最终参考面片，其可以与参考图4的操作S160、图7以及图8A至图8C所描述的那些基本相同或相似。
运动向量生成器2900可以基于指示最终参考面片的最终运动向量来生成当前块的运动向量MV。运动向量MV的数据可以作为运动估计数据DAT2存储在缓冲存储器1400和/或非易失性存储器1500中。运动估计数据DAT2可以被参考用于执行ISP 1130、FRC 1730、编解码器1830和/或其他组件的功能或操作。
当没有针对构成当前帧图像的所有块都生成运动向量(图17的操作S270的“否”)时，可以对未生成运动向量的块执行操作S205至操作S260。为此，块确定器2100可以重新确定当前块，使得当前帧图像上的当前位置移动到与未生成运动向量的块相对应。在生成了构成当前帧图像的所有块的运动向量(图17的S270的“是”)之后，可以完成对构成图像的块的递归。
图18是示出图1的编解码器1830的示例配置的框图。
例如，可以在电子电路中实现编解码器1830，用于按照视频处理标准(例如，HEVC/H265和/或VP9等)对视频数据进行编码和解码。为此，例如，编解码器1830可以包括划分控制器3110、变换器/量化器3120、逆变换器/逆量化器3130、滤波器3140、帧缓冲器3150、帧内预测器3160、运动补偿器3170、运动估计器3180和熵编码器3190。
编解码器1830的每个组件可以包括被配置为执行将在下面描述的操作的硬件电路。附加地或作为另一选择，当由一个或更多个处理器执行用于实现编解码器1830的每个组件的指令时，该一个或更多个处理器可以执行下面描述的操作。
划分控制器3110可以接收原始数据DAT_ORG。原始数据DAT_ORG可以包括被参考以在显示面板1700上显示图像或视频的数据。划分控制器3110可以对原始数据DAT_ORG进行划分以生成变换单元的数据和预测单元的数据，变换单元的数据包括残差数据，预测单元的数据用于帧内预测和/或运动补偿。
变换器/量化器3120可以接收残差数据。残差数据可以与来自划分控制器3110的输出与来自帧内预测器3160和运动补偿器3170之一的输出之间的差相对应。变换器/量化器3120可以变换和量化残差数据以生成变换后的数据。逆变换器/逆量化器3130可以对变换后的数据进行逆变换和逆量化，以恢复残差数据。
滤波器3140可以接收恢复的残差数据与来自帧内预测器3160和运动补偿器3170之一的输出的总和。滤波器3140可以包括去块滤波器、样本自适应偏移滤波器和/或自适应环路滤波器等，去块滤波器用于去除包括在块之间的边界处的噪声，样本自适应偏移滤波器用于补偿原始数据DAT_ORG的帧与恢复的残差数据的帧之间的失真，自适应环路滤波器用于补偿在编码期间发生的信息丢失。
帧缓冲器3150可以缓冲原始数据DAT_ORG的前一帧的数据。例如，缓冲存储器1400和/或非易失性存储器1500可以用作帧缓冲器3150。运动补偿器3170和运动估计器3180可以一起参考缓冲的数据和当前帧的数据。
帧内预测器3160可以接收恢复的残差数据与来自帧内预测器3160和运动补偿器3170之一的输出的总和。帧内预测器3160可以通过使用与原始数据DAT_ORG的当前帧的预测目标块相邻的块来获得预测目标块的预测数据。可以基于包括在一个帧中的块来执行帧内预测。
类似于参考图2至图16描述的那些，运动估计器3180可以执行当前帧图像与前一帧图像之间的帧间预测。运动估计器3180可以生成与构成当前帧图像的块相对应的运动向量。
运动补偿器3170可以获得通过帧间预测检测到的预测数据。通过帧内预测获得的预测数据和通过帧间预测获得的预测数据之一可以用于变换器/量化器3120和滤波器3140。
由运动估计器3180生成的运动向量和由变换器/量化器3120生成的残差数据可以被提供给熵编码器3190。熵编码器3190可以基于运动向量和残差数据生成编码数据DAT_ENC。例如，编码数据DAT_ENC可以存储在缓冲存储器1400和/或非易失性存储器1500中。可以参考编码数据DAT_ENC以在显示面板1700上显示视觉信息。
图19是用于描述根据一些示例实施例的运动估计与视频编码之间的关系的概念图。
如参考图10至图17所描述的，电子电路2000可以根据示例实施例执行基于分层搜索的运动估计以生成运动向量。例如，电子电路2000可以根据从第K抽取图像到第一抽取图像的顺序选择与当前块更相似的候选块。
如参考图18所描述的，编解码器1830可以包括运动估计器3180以基于运动估计执行视频编码和视频解码。在一些示例实施例中，运动估计器3180还可以执行基于分层搜索的运动估计。例如，运动估计器3180可以针对第K抽取图像执行完全搜索，并且可以根据从第K-1抽取图像到第一抽取图像的顺序来选择与当前块更相似的候选块。
在一些示例实施例中，被配置为在编解码器1830中执行运动估计的运动估计器3180的全部硬件组件或一些硬件组件可以与电子电路2000共享。例如，编解码器1830和电子电路2000可以通过使用共享的硬件组件来针对第K-1抽取图像到第一抽取图像执行运动估计。然而，针对第K抽取图像，电子电路2000可以通过使用独立的硬件组件来执行候选块选择，而不是执行完全搜索。
然而，本公开并不限于以上描述。在一些示例实施例中，运动估计器3180还可以针对第K抽取图像执行候选块选择，而不是执行完全搜索。在这种情况下，编解码器1830和电子电路2000可以共享相同的硬件组件。
以上描述意图提供用于实现本公开的示例配置和操作。除了上述示例实施例之外，本公开还可以包括可以通过简单地改变或修改上述示例实施例而获得的实施方式。而且，本公开还可以包括可以通过在将来容易地改变或修改上述示例实施例而实现的实施方式。

Claims (25)

1.一种电子电路，所述电子电路被配置为执行图像之间的运动估计，所述电子电路包括：
处理电路，所述处理电路被配置为：
针对多个抽取图像中的每个抽取图像确定当前块和候选块，其中，所述多个抽取图像是从原始图像生成的，使得所述多个抽取图像具有不同的分辨率，所述多个抽取图像包括具有第一分辨率的第一抽取图像和具有第二分辨率的第二抽取图像，所述第一分辨率是所述分辨率中的最低分辨率，所述第二分辨率是所述分辨率中的最高分辨率；
针对所述第一抽取图像，基于所述当前块的位置确定第一数目的第一候选块，而不对所有像素进行完全搜索；
选择所述候选块中的一些候选块，使得所述处理电路针对所述第二抽取图像选择第二数目的第二候选块，所述第二数目小于所述第一数目；以及
基于一个参考面片生成所述当前块的运动向量，所述一个参考面片是从由所述第二候选块的候选运动向量指示的参考面片中确定的。
2.根据权利要求1所述的电子电路，其中，每一个所述分辨率均低于所述原始图像的分辨率。
3.根据权利要求1所述的电子电路，其中，所述原始图像上的坐标与每个所述抽取图像上的坐标具有对应关系，以及所述处理电路还被配置为，
确定所述当前块和所述候选块，使得所述当前块和所述候选块被确定位于所述原始图像和所述抽取图像上的对应坐标上。
4.根据权利要求1所述的电子电路，其中，所述处理电路被配置为通过按照从具有所述第一分辨率的所述第一抽取图像到具有所述第二分辨率的所述第二抽取图像的顺序，选择所述候选块中的一些候选块来减少所述候选块的数目。
5.根据权利要求1所述的电子电路，其中，所述处理电路还被配置为基于所述当前块与每个参考面片之间的相似度来选择所述候选块中的一些候选块，所述参考面片是由所述候选块的候选运动向量指示的。
6.根据权利要求5所述的电子电路，其中，所述处理电路还被配置为基于所述当前块的像素值与每个由所述候选块的候选运动向量指示的参考面片的像素值之间的差的总和来计算所述相似度。
7.根据权利要求1所述的电子电路，其中，在由所述第二候选块的候选运动向量指示的所述参考面片中，所述一个参考面片具有与所述当前块的像素值最相似的像素值，并且
所述处理电路还被配置为：针对所述原始图像，确定所述当前块和所述第二候选块并从所述第二候选块中选择一个候选块。
8.根据权利要求1所述的电子电路，其中，所述处理电路还被配置为，
基于第一像素加上第二像素与第三像素之间的相似度确定最终参考面片，其中，所述第一像素构成所述一个参考面片，所述第二像素是基于所述原始图像上的所述第一像素的位置而确定的，所述第三像素构成所述当前块，以及
基于指示所述最终参考面片的最终运动向量获得所述当前块的所述运动向量。
9.根据权利要求1所述的电子电路，其中，
用于表示构成所述第一抽取图像的每个像素的第三比特数小于用于表示构成所述第二抽取图像的每个像素的第四比特数，以及
所述第四比特数小于用于表示构成所述原始图像的每个像素的第五比特数。
10.一种电子设备，包括：
存储器，所述存储器被配置为存储不同分辨率的图像的第一数据，所述图像包括具有第一分辨率的第一图像和具有第二分辨率的第二图像，所述第一分辨率是所述分辨率中的最低分辨率，所述第二分辨率是所述分辨率中的最高分辨率；以及
第一电子电路，所述第一电子电路被配置为，
针对所述第一图像，基于所述图像上的当前块的位置确定候选块，而不对所有像素进行完全搜索，
根据从所述第一图像到所述第二图像的顺序，针对每个所述图像，基于所述当前块和参考面片选择所述候选块中的一些候选块，所述参考面片是由所述候选块的候选运动向量指示的，以及
基于由针对所述第二图像选择的一个候选块的候选运动向量指示的参考面片来生成所述当前块的运动向量。
11.根据权利要求10所述的电子设备，其中，所述第一电子电路还被配置为通过对所述第二图像进行下采样，生成所述图像中的除了所述第二图像之外的每个图像。
12.根据权利要求10所述的电子设备，其中，
所述第一电子电路还被配置为根据所述顺序通过参考所述图像来选择所述候选块中的一些候选块，使得(i)在所述图像中的第三图像被参考了之后，立即针对所述图像中的第四图像使用针对所述第三图像所选择的第一候选块，以及(ii)针对所述第四图像，不使用针对所述第三图像未被选择的第二候选块。
13.根据权利要求12所述的电子设备，其中，所述第一电子电路还被配置为针对所述第四图像选择第三候选块，使得所述第三候选块是所述第一候选块中的一些候选块。
14.根据权利要求12所述的电子设备，其中，所述第一候选块包括已经生成运动向量的第四候选块和尚未生成运动向量的第五候选块，
所述存储器还被配置为存储第五图像的第二数据，所述第五图像被提供为所述第二图像的前一帧，以及
所述第一电子电路还被配置为基于所述第一数据参考所述第四候选块，并且基于所述第二数据参考所述第五候选块。
15.根据权利要求10所述的电子设备，其中，所述第一电子电路被还配置为，
选择位于第一坐标处的第一部分候选块，所述第一坐标不与所述图像上的所述当前块的第二坐标相邻，以及
不选择位于所述第一坐标处的第二部分候选块。
16.根据权利要求10所述的电子设备，其中，所选择的候选块包括在与所述图像上的所述当前块的坐标相邻的坐标处的候选块。
17.根据权利要求10所述的电子设备，其中，随着基于每个所述图像根据所述顺序选择所述候选块中的一些候选块，针对每个所述图像所选择的候选块的数目减少。
18.根据权利要求17所述的电子设备，其中，随着所述数目减少，所述一个候选块最后从所述候选块中被选择出来。
19.根据权利要求10所述的电子设备，其中，所述第一电子电路被配置为执行第一运动估计以生成所述运动向量，并且所述电子设备还包括：
第二电子电路，所述第二电子电路被配置为基于第二运动估计来执行视频编码和视频解码，所述第二运动估计使用与用于执行所述第一运动估计的所述第一电子电路共享的至少一个硬件组件。
20.一种电子设备，包括：
一个或更多个处理器；以及
存储器，所述存储器被配置为存储可由所述一个或更多个处理器执行的指令，当由所述一个或更多个处理器执行时所述指令使得所述一个或更多个处理器执行以下操作：
针对抽取图像中的第一抽取图像，基于当前块的位置确定候选块而不对所有像素进行完全搜索，所述抽取图像是从原始图像生成的，使得所述抽取图像的分辨率低于所述原始图像的第一分辨率，所述第一抽取图像的第二分辨率是所述抽取图像的所述分辨率中的最低分辨率，以及
针对每个所述抽取图像，通过基于所述当前块和所述候选块选择所述候选块中的一些候选块，来减少所述候选块的数目。
21.根据权利要求20所述的电子设备，其中，当由所述一个或更多个处理器执行时，所述指令使得所述一个或更多个处理器基于针对每个所述抽取图像设置的比率来选择所述候选块中的一些候选块。
22.根据权利要求20所述的电子设备，其中，当由所述一个或更多个处理器执行时，所述指令使得所述一个或更多个处理器执行以下操作：
在由针对具有第三分辨率的第二抽取图像所选择的候选块的候选运动向量指示的参考面片中，确定具有与所述当前块的像素值最相似的像素值的一个参考面片，所述第三分辨率是所述分辨率中的最高分辨率；以及
基于指示最终参考面片的最终运动向量来获得所述当前块的运动向量，所述最终参考面片是基于所述一个参考面片确定的。
23.一种电子设备，包括：
存储器，所述存储器被配置为存储原始图像的第一数据和抽取图像的第二数据，所述抽取图像是从所述原始图像生成的，使得所述抽取图像的分辨率低于所述原始图像的原始分辨率；以及
电子电路，所述电子电路被配置为，
基于当前块的位置确定候选块，使得针对所述抽取图像中的具有第一分辨率的第一抽取图像，所述电子电路基于所述当前块的位置确定第一候选块而不对所有像素进行完全搜索，所述第一分辨率是所述抽取图像的所述分辨率中的最低分辨率，
针对每个所述抽取图像，基于当前块和所述候选块选择所述候选块中的一些候选块，以及
通过使用针对具有第二分辨率的第二抽取图像所选择的第二候选块来生成所述当前块的运动向量，所述第二分辨率是所述抽取图像的所述分辨率中的最高分辨率，所述第二候选块是所述第一候选块中的一些候选块。
24.根据权利要求23所述的电子设备，其中，所述抽取图像的所述分辨率彼此不同；以及
所述电子电路还被配置为根据从具有所述第一分辨率的所述第一抽取图像到具有所述第二分辨率的所述第二抽取图像的顺序，针对每个所述抽取图像基于所述当前块和所述候选块来选择所述候选块中的一些候选块。
25.根据权利要求23所述的电子设备，其中，所述电子电路还被配置为从所述存储器读取所述第一数据和所述第二数据以确定所述第二候选块，使得从所述存储器读取的所述第一数据和所述第二数据的量小于用于所述完全搜索的数据量。
CN201911052393.XA 2018-12-18 2019-10-31 电子电路和电子设备 Pending CN111343465A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180164425A KR20200076000A (ko) 2018-12-18 2018-12-18 계층 탐색을 통해 모션 추정을 수행하는 전자 회로 및 전자 장치
KR10-2018-0164425 2018-12-18

Publications (1)

Publication Number Publication Date
CN111343465A true CN111343465A (zh) 2020-06-26

Family

ID=71073769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911052393.XA Pending CN111343465A (zh) 2018-12-18 2019-10-31 电子电路和电子设备

Country Status (4)

Country Link
US (1) US10893292B2 (zh)
KR (1) KR20200076000A (zh)
CN (1) CN111343465A (zh)
TW (1) TWI802733B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949869A (zh) * 2020-07-16 2022-01-18 晶晨半导体(上海)股份有限公司 估计像素块运动矢量的方法和视频处理装置及设备和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615156B1 (ko) * 2018-12-18 2023-12-19 삼성전자주식회사 감소된 개수의 후보 블록들에 기초하여 모션 추정을 수행하는 전자 회로 및 전자 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040114688A1 (en) * 2002-12-09 2004-06-17 Samsung Electronics Co., Ltd. Device for and method of estimating motion in video encoder
US20050135482A1 (en) * 2003-12-23 2005-06-23 Genesis Microchip Inc. Motion vector computation for video sequences
US20060233258A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
US20100079606A1 (en) * 2004-09-27 2010-04-01 Texas Instruments Incorporated Motion Stabilization
JP2011074121A (ja) * 2009-09-29 2011-04-14 Dic Corp 微細パターン形成用インキ組成物
US20120008689A1 (en) * 2010-07-06 2012-01-12 Osamu Nasu Frame interpolation device and method
US20150117535A1 (en) * 2013-10-29 2015-04-30 Vixs Systems Inc. Motion search with scaled and unscaled pictures
US20170094311A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Memory-to-memory low resolution motion estimation systems and methods
CN107113442A (zh) * 2014-10-31 2017-08-29 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
CN107592972A (zh) * 2015-05-11 2018-01-16 高通股份有限公司 用于视频数据中特定图片内的帧间译码的搜索区域确定

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761398A (en) 1995-12-26 1998-06-02 C-Cube Microsystems Inc. Three stage hierarchal motion vector determination
US6363117B1 (en) 1998-12-31 2002-03-26 Sony Corporation Video compression using fast block motion estimation
KR100970726B1 (ko) * 2003-10-04 2010-07-16 삼성전자주식회사 계층적 움직임 추정 방법
US20080260033A1 (en) * 2007-04-17 2008-10-23 Horizon Semiconductors Ltd. Hybrid hierarchical motion estimation for video streams
US20110255596A1 (en) 2010-04-15 2011-10-20 Himax Technologies Limited Frame rate up conversion system and method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040114688A1 (en) * 2002-12-09 2004-06-17 Samsung Electronics Co., Ltd. Device for and method of estimating motion in video encoder
US20050135482A1 (en) * 2003-12-23 2005-06-23 Genesis Microchip Inc. Motion vector computation for video sequences
US20100079606A1 (en) * 2004-09-27 2010-04-01 Texas Instruments Incorporated Motion Stabilization
US20060233258A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
JP2011074121A (ja) * 2009-09-29 2011-04-14 Dic Corp 微細パターン形成用インキ組成物
US20120008689A1 (en) * 2010-07-06 2012-01-12 Osamu Nasu Frame interpolation device and method
US20150117535A1 (en) * 2013-10-29 2015-04-30 Vixs Systems Inc. Motion search with scaled and unscaled pictures
CN107113442A (zh) * 2014-10-31 2017-08-29 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
CN107592972A (zh) * 2015-05-11 2018-01-16 高通股份有限公司 用于视频数据中特定图片内的帧间译码的搜索区域确定
US20170094311A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Memory-to-memory low resolution motion estimation systems and methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAITAO YANG: "BoG report on CE4 related contributions", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO, CN, 3–12 OCT. 2018， JVET-L0691-V1, pages 1 - 31 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949869A (zh) * 2020-07-16 2022-01-18 晶晨半导体(上海)股份有限公司 估计像素块运动矢量的方法和视频处理装置及设备和介质
CN113949869B (zh) * 2020-07-16 2024-04-26 晶晨半导体(上海)股份有限公司 估计像素块运动矢量的方法和视频处理装置及设备和介质

Also Published As

Publication number Publication date
US10893292B2 (en) 2021-01-12
TW202038628A (zh) 2020-10-16
KR20200076000A (ko) 2020-06-29
TWI802733B (zh) 2023-05-21
US20200195964A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
JP7004782B2 (ja) 画像予測方法および関連装置
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
CN110741640B (zh) 用于视频代码化中的运动补偿预测的光流估计
RU2512130C2 (ru) Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве
CN107241605B (zh) 视频编码器以及视频编码方法
US20220385932A1 (en) Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US10334271B2 (en) Encoding system using motion estimation and encoding method using motion estimation
CN115486068A (zh) 用于视频编码中基于深度神经网络的帧间预测的方法和设备
CN115567722A (zh) 应用加速
US20220360814A1 (en) Enhanced motion vector prediction
CN111343465A (zh) 电子电路和电子设备
CN110913219A (zh) 一种视频帧预测方法、装置及终端设备
CN111147866A (zh) 对数据阵列进行编码
US11328432B2 (en) Electronic circuit and electronic device performing motion estimation based on decreased number of candidate blocks
US9549205B2 (en) Method and device for encoding video
CN110830806A (zh) 一种视频帧预测方法、装置及终端设备
JP6004852B2 (ja) ピクセルブロックを符号化及び再構成する方法と装置
CN112911307B (zh) 4k、8k、16k超高清视频编码运动估计优化方法和装置、设备及存储介质
WO2020227892A1 (en) Non-local intra block copy and parallel coding for motion prediction
WO2021046692A1 (en) Resolution-adaptive video coding with conditional interpolation filters
CN117501695A (zh) 用于基于深度学习的视频处理的增强体系结构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination