CN113596578A - 视频处理方法及装置、电子设备、计算机可读存储介质 - Google Patents

视频处理方法及装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN113596578A
CN113596578A CN202110854305.9A CN202110854305A CN113596578A CN 113596578 A CN113596578 A CN 113596578A CN 202110854305 A CN202110854305 A CN 202110854305A CN 113596578 A CN113596578 A CN 113596578A
Authority
CN
China
Prior art keywords
block
determining
motion
picture
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110854305.9A
Other languages
English (en)
Other versions
CN113596578B (zh
Inventor
吴晓霞
付谨学
周璇
陈洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN202110854305.9A priority Critical patent/CN113596578B/zh
Publication of CN113596578A publication Critical patent/CN113596578A/zh
Application granted granted Critical
Publication of CN113596578B publication Critical patent/CN113596578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种视频处理方法及装置、电子设备、计算机可读存储介质，其中视频处理方法包括：检测帧画面的黑边信息；根据所述黑边信息确定帧画面的画面内容区域；对所述画面内容区域进行运动补偿。通过检测帧画面的黑边信息并根据黑边信息确定帧画面的画面内容区域，对画面内容区域进行运动补偿，能够使画面内容在进行运动补偿时更少地受到黑边的影响，减少画面内容边缘因参考运动矢量不足或运动程度复杂而在进行运动补偿时出现破碎的现象，提高消费者观看体验。

Description

视频处理方法及装置、电子设备、计算机可读存储介质
技术领域
本发明涉及图像通信技术领域，特别涉及一种视频处理方法及装置、电子设备、计算机可读存储介质。
背景技术
消费者使用电视机等显示设备在观看电视时，观看体验要求越来越高，电视机等显示设备向高清方向快速发展。现有的部分显示设备，在播放片源等帧画面时，会出现播放抖动、运动模糊等问题。部分电视厂商采用了MEMC(Motion Estimate and MotionCompensation，运动估计与补偿，通常简称为运动补偿)技术。MEMC技术通过芯片的算法预估出物体运动的轨迹，根据物体运动的轨迹，在传统的两帧图像之间加插一帧运动补偿帧，以提高帧画面的流畅度。但在使用MEMC技术后，帧画面播放时存在画面破碎的问题，消费者观看体验较差。
发明内容
本发明的主要目的是提出一种视频处理方法，旨在提高消费者观看体验。
为实现上述目的，本发明提出的视频处理方法，包括：检测帧画面的黑边信息；根据所述黑边信息确定所述帧画面的画面内容区域；对所述画面内容区域进行运动补偿。
可选地，所述对所述画面内容区域进行运动补偿，包括：将当前帧画面通过宏块划分为当前块，设置参考帧并将所述参考帧通过宏块划分为参考块；根据所述当前块与所述参考块的灰度值偏差，确定与目标参考块相匹配的目标当前块；获取所述目标参考块与所述目标当前块的块运动矢量；根据所述块运动矢量确定对所述画面内容区域进行运动补偿的强度。
可选地，所述根据所述当前块与所述参考块的灰度值偏差，确定与目标参考块相匹配的目标当前块，包括：设置位移矢量组，所述位移矢量组包括至少两个位移矢量，所述位移矢量根据宏块划分确定；分别以每一位移矢量为对应关系，获取每一所述参考块对应的所述当前块，对所述当前块与对应的所述当前块进行灰度值求差；选定目标当前块，以至少两个所述位移矢量为变量，将灰度值偏差值最小时所对应的所述参考块确定为相匹配的目标当前块。
可选地，所述分别以每一位移矢量为对应关系，获取每一所述参考块对应的所述当前块，对所述当前块与对应的所述当前块进行灰度值求差，包括按以下方式进行：
Figure BDA0003180914770000021
其中，(i，j)为表征所述当前块与所述参考块位置关系的位移矢量，fk和fk-1分别为所述当前块和所述参考块的灰度值，M、N为宏块划分的大小。
可选地，所述根据所述块运动矢量确定对画面内容区域进行运动补偿的强度，包括：根据所述块运动矢量确定平均运动矢量；根据所述平均运动矢量确定对画面内容区域进行运动补偿的强度。
可选地，根据所述平均运动矢量确定对画面内容区域进行运动补偿的强度，包括：设置至少两个阈值；根据所述平均运动矢量与所述至少两个阈值的大小关系，确定对画面内容区域进行运动补偿的强度。
可选地，所述根据所述平均运动矢量与所述至少一个阈值的大小关系，确定对画面内容区域进行运动补偿的强度，包括：根据所述至少一个阈值确定至少两个阈值区间，设置至少两个补偿强度值，所述至少两个补偿强度值与所述至少两个阈值区间一一对应；确定所述平均运动矢量所处的阈值区间，确定补偿强度值；根据所述补偿强度值确定对画面内容区域进行运动补偿的强度。
本发明还提出一种视频处理装置，包括：检测模块，用于检测帧画面的黑边信息；第一处理模块，用于根据所述黑边信息确定帧画面的画面内容区域；第二处理模块，用于对所述画面内容区域进行运动补偿。
本发明还提出一种电子设备，包括上述视频处理装置。
本发明还提出一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器执行时，实现上述视频处理方法。
本发明的技术方案通过检测帧画面的黑边信息并根据黑边信息确定帧画面的画面内容区域，对画面内容区域进行运动补偿，能够使画面内容在进行运动补偿时更少地受到黑边的影响，减少画面内容边缘因参考运动矢量不足或运动程度复杂而在进行运动补偿时出现破碎的现象，提高消费者观看体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明视频处理装置一实施例的结构示意图。
图2为本发明视频处理方法一实施例的流程示意图。
图3为本发明视频处理方法另一实施例的流程示意图。
图4为本发明视频处理方法又一实施例的流程示意图。
附图标号说明：
标号 名称 标号 名称
100 检测模块 200 第一处理模块
300 第二处理模块 310 划分模块
320 第一比较模块 330 强度调整模块
340 第二比较模块
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，若全文中出现的“和/或”或者“及/或”，其含义包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种视频处理装置，如图1所示，该视频处理装置包括检测模块100，检测模块100用于检测帧画面的黑边信息；该视频处理装置还包括第一处理模块200，第一处理模块200用于根据黑边信息确定帧画面的画面内容区域；该视频处理装置还包括第二处理模块300，第二处理模块300用于对画面内容区域进行运动补偿。具体而言，第二处理模块包括划分模块310，划分模块310用于对帧画面进行宏块划分；第二处理模块还包括第一比较模块320，第一比较模块320用于根据当前块与参考块的灰度值偏差，确定与目标参考块相匹配的目标当前块；第二处理模块还包括强度调整模块330，调整模块330用于根据块运动矢量确定对画面内容区域进行运动补偿的强度。第二处理模块还包括第二比较模块340，第二比较模块340用于根据平均运动矢量与至少两个预设阈值的大小关系，确定对画面内容区域进行运动补偿的强度。视频处理装置能够用于通过检测帧画面的黑边信息并根据黑边信息确定帧画面的画面内容区域，对画面内容区域进行运动补偿，能够使画面内容在进行运动补偿时更少地受到黑边的影响，减少画面内容边缘因参考运动矢量不足或运动程度复杂而在进行运动补偿时出现破碎的现象，提高消费者观看体验。
本发明还提出一种视频处理方法。参照图2，在本发明一实施例中，该视频处理方法包括：步骤S100，检测帧画面的黑边信息；步骤S200，根据黑边信息确定帧画面的画面内容区域；步骤S300，对画面内容区域进行运动补偿。
目前电视机屏幕刷新率大多为60Hz或120Hz，但当前电视剧以及电影等大多为24Hz、25Hz的低帧片源。为了避免24Hz、25Hz的低帧片源在高帧屏幕上播放时出现抖动，运动模糊等问题，通常会引入MEMC(Motion Estimate and Motion Compensation，运动估计与补偿，通常简称为运动补偿)技术。MEMC技术能通过芯片的算法预估出物体运动的轨迹，根据物体运动的轨迹，在传统的两帧图像之间加插一帧运动补偿帧，以达到流畅的运动效果。电影等节目源在电视机等显示设备上播放时，由于画面比例与电视机电视比例不一致，帧画面的四周会出现黑色边缘，称为黑边或letter box。经申请人研究发现，在对具有黑边的帧画面的节目源进行播放时，由于画面边缘运动物体的参考运动矢量不足或运动程度复杂，非常容易使画面边缘的黑边(letterbox)出现破碎现象。本发明的技术方案通过检测帧画面的黑边信息并根据黑边信息确定帧画面的画面内容区域，对画面内容区域进行运动补偿，能够使画面内容在进行运动补偿时更少地受到黑边的影响，减少画面内容边缘因参考运动矢量不足或运动程度复杂而在进行运动补偿时出现破碎的现象，提高消费者观看体验。
参照图3，在本发明视频处理方法另一实施例中，该视频处理方法包括：步骤S100，检测帧画面的黑边信息，包括逐行检测帧画面的灰度值，具体为：沿相对的两侧从边缘向内逐行检测，当检测到平均灰度值大于预设值时完成检测。如相对两侧设置为上侧和下侧，此时沿帧画面的上侧从边缘向内逐行检测，当每行的平均灰度值等于零时，可判断当前为黑边(letter box)；当每行的平均灰度值大于零时，即可判断当前画面非黑边(letter box)，属于画面内容区域，同时停止沿上侧从边缘向内的逐行检测动作；同时沿帧画面的下侧边缘向内逐行检测，当每行的平均灰度值等于零时，可判断当前为黑边(letter box)；当每行的平均灰度值大于零时，即可判断当前画面非黑边(letter box)，属于画面内容区域，同时停止沿下侧从边缘向内的逐行检测动作。进行完成上述沿相对的两侧从边缘向内逐行检测后，即可确定画面内容区域的边界。当需要确定帧画面左右侧是否存在黑边时，可进行帧画面的左侧、帧画面的右侧这相对两侧从边缘向内按上述方式进行逐行检测。
可以理解的是，上述与平均灰度值进行比较的预设值可以设置为大于零的固定值，以避免黑边信号误差的影响。此外，检测帧画面的黑边信息，包括检测检测帧画面自身的黑边信息或检测播放设备转换帧画面时增加的黑边信息，以适应部分帧画面自带黑边信息、播放设别在转换帧画面时增加黑边信息的使用情景。在播放设别在转换帧画面时增加黑边信息时，检测播放设备转换帧画面时增加的黑边信息，能够直接获取黑边信息，避免黑边信息转换过程带来的偏差，使黑边信息获取更准确。
步骤S210，根据黑边信息确定帧画面的画面内容区域；包括将平均灰度值大于预设值的区域设置为画面内容区域。通常黑边为固定颜色，将平均灰度值大于预设值的区域设置为画面内容区域，可简化视频处理方法，提高处理效率。其中，该预设值可设置为零，以对应黑边设置为黑色的情景。
步骤S300，对画面内容区域进行运动补偿，包括以下步骤S310至步骤S360。
步骤S310，将当前帧画面通过宏块划分为当前块，设置参考帧并将参考帧通过宏块划分为参考块，具体而言，参考帧可根据前一帧确定，如直接将前一帧设置为参考帧，或是前一帧经过处理后获得参考帧。
步骤S320，根据当前块与参考块的灰度值偏差，确定与目标参考块相匹配的目标当前块。具体而言，包括：设置位移矢量组(i，j)，位移矢量组(i，j)包括至少两个位移矢量，位移矢量根据上述宏块划分确定；即位移矢量组(i，j)的取值包括至少两个。若宏块划分为M乘N个块，则i的取值范围为1至M，j的取值范围为1至N。
分别以每一位移矢量为对应关系，即以i、j取特定值，获取每一参考块对应的当前块，对当前块与对应的当前块进行灰度值求差；
选定目标当前块，以至少两个位移矢量为变量，将灰度值偏差值最小时所对应的参考块确定为相匹配的目标当前块。
上述分别以每一位移矢量为对应关系，获取每一参考块对应的当前块，对当前块与对应的当前块进行灰度值求差，包括按以下方式进行：
Figure BDA0003180914770000061
其中其中，(i，j)为表征当前块与参考块位置关系的位移矢量，fk和fk-1分别为当前块和参考块的灰度值，M、N为宏块划分的大小。即上述MAD(i，j)的值最小时，确定对应的参考块、当前块相匹配，即将灰度值偏差值最小时所对应的参考块确定为相匹配的目标当前块。
步骤S330，获取目标参考块与目标当前块的块运动矢量；具体为由当前块与参考块的相对位置计算出运动位移，所得运动位移即为当前块的运动矢量；假设当前帧为P，参考帧为Pr，当前编码块为B1，在参考帧中的编码块B0与B1在图像中坐标位置相同。在Pr中，按照上述匹配公式，搜索出匹配块Br。Br左上角坐标(xr，yr)与B0左上角坐标(x，y)之差即为块运动矢量。
步骤S340，根据块运动矢量确定平均运动矢量。在完成块运动矢量的获取后，根据块运动矢量确定当前帧与参考帧的平均运动矢量，具体可按照矢量运算规则获得平均值，或获得每一块运动矢量的绝对值后计算处平均值。
步骤S350，根据平均运动矢量确定对画面内容区域进行运动补偿的强度，包括：设置至少两个阈值；根据平均运动矢量与至少两个阈值的大小关系，确定对画面内容区域进行运动补偿的强度。具体而言，包括：根据至少一个阈值确定至少两个阈值区间，设置至少两个补偿强度值，至少两个补偿强度值与至少两个阈值区间一一对应；确定平均运动矢量所处的阈值区间，确定补偿强度值；根据补偿强度值确定对画面内容区域进行运动补偿的强度。本实施例中设置第一阈值motion_value_low、第二阈值motion_value_high，第一阈值motion_value_low小于第二阈值motion_value_high，第一阈值motion_value_low、第二阈值motion_value_high确定出三个阈值区间，即小于motion_value_low、motion_value_low至motion_value_high、大于motion_value_high，以上三个阈值区间一一对应三个补偿强度值，依次为低档位、中档位、高档位。当上述平均运动矢量<motion_value_low，即处于小于motion_value_low的阈值区间,则将运动补偿的强度调节为低档位；当motion_value_low<上述平均运动矢量<motion_value_high，即处于motion_value_low至motion_value_high的阈值区间,则将运动补偿的强度调节为中档位；当上述平均运动矢量>motion_value_high，即处于大于motion_value_high的阈值区间,则将运动补偿的强度调节为高档位。根据运动矢量平均值对当前运动补偿强度调整，能够避免运动补偿强度太高导致画面异常。运动补偿的低中高档档位即运动的流畅度，档位越高越流畅，即插帧的帧对前后两帧融合程度越高。
步骤S360，按所确定的运动补偿的强度对画面内容区域进行运动补偿。即对平均灰度值小于等于预设值的区域(即黑边区域)不做运动补偿，对黑边区域外的内容区域做运动补偿。
在根据黑边信息确定帧画面的画面内容区域后进行宏块划分、确定对画面内容区域进行运动补偿的强度、对画面内容区域进行运动补偿，能够避免黑边对宏块划分下画面内容区域运动补偿的不良影响，进一步提高消费者观看体验。
参照图4，在本发明视频处理方法又一实施例中，该视频处理方法包括：步骤S100，检测帧画面的黑边信息，包括逐行检测帧画面的灰度值，具体为：沿相对的两侧从边缘向内逐行检测，当检测到平均灰度值大于预设值时完成检测。如相对两侧设置为上侧和下侧，此时沿帧画面的上侧从边缘向内逐行检测，当每行的平均灰度值等于零时，可判断当前为黑边(letter box)；当每行的平均灰度值大于零时，即可判断当前画面非黑边(letter box)，属于画面内容区域，同时停止沿上侧从边缘向内的逐行检测动作；同时沿帧画面的下侧边缘向内逐行检测，当每行的平均灰度值等于零时，可判断当前为黑边(letter box)；当每行的平均灰度值大于零时，即可判断当前画面非黑边(letter box)，属于画面内容区域，同时停止沿下侧从边缘向内的逐行检测动作。进行完成上述沿相对的两侧从边缘向内逐行检测后，即可确定画面内容区域的边界。当需要确定帧画面左右侧是否存在黑边时，可进行帧画面的左侧、帧画面的右侧这相对两侧从边缘向内按上述方式进行逐行检测。
可以理解的是，上述与平均灰度值进行比较的预设值可以设置为大于零的固定值，以避免黑边信号误差的影响。此外，检测帧画面的黑边信息，包括检测检测帧画面自身的黑边信息或检测播放设备转换帧画面时增加的黑边信息，以适应部分帧画面自带黑边信息、播放设别在转换帧画面时增加黑边信息的使用情景。在播放设别在转换帧画面时增加黑边信息时，检测播放设备转换帧画面时增加的黑边信息，能够直接获取黑边信息，避免黑边信息转换过程带来的偏差，使黑边信息获取更准确。
步骤S220，根据黑边信息确定帧画面的画面内容区域；包括将灰度值变化大于预设值的区域设置为画面内容区域。部分帧画面的黑边可能设置为与画面内容相匹配的固定颜色，此时灰度值变化可设置为黑边的灰度值方差的变化。将灰度值变化大于预设值的区域设置为画面内容区域，能够使视频处理方法适应黑边颜色设置为各种固定颜色的情景，使视频处理方法能够处理更多种类的帧画面。
步骤S300，对画面内容区域进行运动补偿，包括以下步骤S310至步骤S360。
步骤S310，将当前帧画面通过宏块划分为当前块，设置参考帧并将参考帧通过宏块划分为参考块，具体而言，参考帧可根据前一帧确定，如直接将前一帧设置为参考帧，或是前一帧经过处理后获得参考帧。
步骤S320，根据当前块与参考块的灰度值偏差，确定与目标参考块相匹配的目标当前块。具体而言，包括：设置位移矢量组(i，j)，位移矢量组(i，j)包括至少两个位移矢量，位移矢量根据上述宏块划分确定；即位移矢量组(i，j)的取值包括至少两个。若宏块划分为M乘N个块，则i的取值范围为1至M，j的取值范围为1至N。
分别以每一位移矢量为对应关系，即以i、j取特定值，获取每一参考块对应的当前块，对当前块与对应的当前块进行灰度值求差；
选定目标当前块，以至少两个位移矢量为变量，将灰度值偏差值最小时所对应的参考块确定为相匹配的目标当前块。
上述分别以每一位移矢量为对应关系，获取每一参考块对应的当前块，对当前块与对应的当前块进行灰度值求差，包括按以下方式进行：
Figure BDA0003180914770000091
其中其中，(i，j)为表征当前块与参考块位置关系的位移矢量，fk和fk-1分别为当前块和参考块的灰度值，M、N为宏块划分的大小。即上述MAD(i，j)的值最小时，确定对应的参考块、当前块相匹配，即将灰度值偏差值最小时所对应的参考块确定为相匹配的目标当前块。
步骤S330，获取目标参考块与目标当前块的块运动矢量；具体为由当前块与参考块的相对位置计算出运动位移，所得运动位移即为当前块的运动矢量；假设当前帧为P，参考帧为Pr，当前编码块为B1，在参考帧中的编码块B0与B1在图像中坐标位置相同。在Pr中，按照上述匹配公式，搜索出匹配块Br。Br左上角坐标(xr，yr)与B0左上角坐标(x，y)之差即为块运动矢量。步骤S340，根据块运动矢量确定平均运动矢量。在完成块运动矢量的获取后，根据块运动矢量确定当前帧与参考帧的平均运动矢量，具体可按照矢量运算规则获得平均值，或获得每一块运动矢量的绝对值后计算处平均值。
步骤S350，根据平均运动矢量确定对画面内容区域进行运动补偿的强度，包括：设置至少两个阈值；根据平均运动矢量与至少两个阈值的大小关系，确定对画面内容区域进行运动补偿的强度。具体而言，包括：根据至少一个阈值确定至少两个阈值区间，设置至少两个补偿强度值，至少两个补偿强度值与至少两个阈值区间一一对应；确定平均运动矢量所处的阈值区间，确定补偿强度值；根据补偿强度值确定对画面内容区域进行运动补偿的强度。本实施例中设置第一阈值motion_value_low、第二阈值motion_value_high，第一阈值motion_value_low小于第二阈值motion_value_high，第一阈值motion_value_low、第二阈值motion_value_high确定出三个阈值区间，即小于motion_value_low、motion_value_low至motion_value_high、大于motion_value_high，以上三个阈值区间一一对应三个补偿强度值，依次为低档位、中档位、高档位。当上述平均运动矢量<motion_value_low，即处于小于motion_value_low的阈值区间，则将运动补偿的强度调节为低档位；当motion_value_low<上述平均运动矢量<motion_value_high，即处于motion_value_low至motion_value_high的阈值区间，则将运动补偿的强度调节为中档位；当上述平均运动矢量>motion_value_high，即处于大于motion_value_high的阈值区间，则将运动补偿的强度调节为高档位。根据运动矢量平均值对当前运动补偿强度调整，能够避免运动补偿强度太高导致画面异常。运动补偿的低中高档档位即运动的流畅度，档位越高越流畅，即插帧的帧对前后两帧融合程度越高。
步骤S360，按所确定的运动补偿的强度对画面内容区域进行运动补偿。即对平均灰度值小于等于预设值的区域(即黑边区域)不做运动补偿，对黑边区域外的内容区域做运动补偿。
在根据黑边信息确定帧画面的画面内容区域后进行宏块划分、确定对画面内容区域进行运动补偿的强度、对画面内容区域进行运动补偿，能够避免黑边对宏块划分下画面内容区域运动补偿的不良影响，进一步提高消费者观看体验。
本发明还提出一种电子设备，该电子设备包括上述视频处理装置。该视频处理装置的具体结构参照上述实施例，由于本电子设备采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
本发明还提出一种计算机可读存储介质，用于存储计算机程序，该计算机程序被处理器执行时，实现上述视频处理方法。该视频处理方法的具体步骤参照上述实施例，由于本计算机可读存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种视频处理方法，其特征在于，包括：
检测帧画面的黑边信息；
根据所述黑边信息确定所述帧画面的画面内容区域；
对所述画面内容区域进行运动补偿。
2.如权利要求1所述的视频处理方法，其特征在于，所述对所述画面内容区域进行运动补偿，包括：
将当前帧画面通过宏块划分为当前块，设置参考帧并将所述参考帧通过宏块划分为参考块；
根据所述当前块与所述参考块的灰度值偏差，确定与目标参考块相匹配的目标当前块；
获取所述目标参考块与所述目标当前块的块运动矢量；
根据所述块运动矢量确定对所述画面内容区域进行运动补偿的强度。
3.如权利要求2所述的视频处理方法，其特征在于，所述根据所述当前块与所述参考块的灰度值偏差，确定与目标参考块相匹配的目标当前块，包括：
设置位移矢量组，所述位移矢量组包括至少两个位移矢量，所述位移矢量根据宏块划分确定；
分别以每一位移矢量为对应关系，获取每一所述参考块对应的所述当前块，对所述当前块与对应的所述当前块进行灰度值求差；
选定目标当前块，以至少两个所述位移矢量为变量，将灰度值偏差值最小时所对应的所述参考块确定为相匹配的目标当前块。
4.如权利要求3所述的视频处理方法，其特征在于，所述分别以每一位移矢量为对应关系，获取每一所述参考块对应的所述当前块，对所述当前块与对应的所述当前块进行灰度值求差，包括按以下方式进行：
Figure FDA0003180914760000011
其中，(i，j)为表征所述当前块与所述参考块位置关系的位移矢量，fk和fk-1分别为所述当前块和所述参考块的灰度值，M、N为宏块划分的大小。
5.如权利要求2至4任意一项所述的视频处理方法，其特征在于，所述根据所述块运动矢量确定对画面内容区域进行运动补偿的强度，包括：
根据所述块运动矢量确定平均运动矢量；
根据所述平均运动矢量确定对画面内容区域进行运动补偿的强度。
6.如权利要求5所述的视频处理方法，其特征在于，根据所述平均运动矢量确定对画面内容区域进行运动补偿的强度，包括：
设置至少两个阈值；
根据所述平均运动矢量与所述至少两个阈值的大小关系，确定对画面内容区域进行运动补偿的强度。
7.如权利要求6所述的视频处理方法，其特征在于，所述根据所述平均运动矢量与所述至少一个阈值的大小关系，确定对画面内容区域进行运动补偿的强度，包括：
根据所述至少一个阈值确定至少两个阈值区间，设置至少两个补偿强度值，所述至少两个补偿强度值与所述至少两个阈值区间一一对应；
确定所述平均运动矢量所处的阈值区间，确定补偿强度值；
根据所述补偿强度值确定对画面内容区域进行运动补偿的强度。
8.一种视频处理装置，其特征在于，包括：
检测模块，用于检测帧画面的黑边信息；
第一处理模块，用于根据所述黑边信息确定帧画面的画面内容区域；
第二处理模块，用于对所述画面内容区域进行运动补偿。
9.一种电子设备，其特征在于，包括如权利要求8所述的视频处理装置。
10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7任意一项所述的视频处理方法。
CN202110854305.9A 2021-07-26 2021-07-26 视频处理方法及装置、电子设备、计算机可读存储介质 Active CN113596578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110854305.9A CN113596578B (zh) 2021-07-26 2021-07-26 视频处理方法及装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110854305.9A CN113596578B (zh) 2021-07-26 2021-07-26 视频处理方法及装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113596578A true CN113596578A (zh) 2021-11-02
CN113596578B CN113596578B (zh) 2023-07-25

Family

ID=78250860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110854305.9A Active CN113596578B (zh) 2021-07-26 2021-07-26 视频处理方法及装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113596578B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9402164D0 (en) * 1994-02-04 1994-03-30 Sony Uk Ltd Motion compensated video signal processing
JPH11150731A (ja) * 1998-09-03 1999-06-02 Hitachi Ltd 動画像符号化方法、及び、動画像符号化装置
US20130094765A1 (en) * 2011-10-14 2013-04-18 Novatek Microelectronics Corp. Method for detecting black rim of image frame and image processing apparatus using the same
CN103079028A (zh) * 2011-10-25 2013-05-01 联咏科技股份有限公司 图像画面的黑边检测方法与图像处理装置
WO2014022998A1 (en) * 2012-08-09 2014-02-13 Thomson Licensing Method and apparatus to detect artificial edges in images
CN107358141A (zh) * 2016-05-10 2017-11-17 阿里巴巴集团控股有限公司 数据识别的方法及装置
CN107704823A (zh) * 2017-09-30 2018-02-16 北京奇虎科技有限公司 黑边视频检测方法及装置
CN111951712A (zh) * 2020-08-24 2020-11-17 京东方科技集团股份有限公司 残影消除方法、残影消除装置及显示面板
CN111970556A (zh) * 2020-08-21 2020-11-20 广州欢网科技有限责任公司 视频画面黑边的处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9402164D0 (en) * 1994-02-04 1994-03-30 Sony Uk Ltd Motion compensated video signal processing
JPH11150731A (ja) * 1998-09-03 1999-06-02 Hitachi Ltd 動画像符号化方法、及び、動画像符号化装置
US20130094765A1 (en) * 2011-10-14 2013-04-18 Novatek Microelectronics Corp. Method for detecting black rim of image frame and image processing apparatus using the same
CN103079028A (zh) * 2011-10-25 2013-05-01 联咏科技股份有限公司 图像画面的黑边检测方法与图像处理装置
WO2014022998A1 (en) * 2012-08-09 2014-02-13 Thomson Licensing Method and apparatus to detect artificial edges in images
CN107358141A (zh) * 2016-05-10 2017-11-17 阿里巴巴集团控股有限公司 数据识别的方法及装置
CN107704823A (zh) * 2017-09-30 2018-02-16 北京奇虎科技有限公司 黑边视频检测方法及装置
CN111970556A (zh) * 2020-08-21 2020-11-20 广州欢网科技有限责任公司 视频画面黑边的处理方法及装置
CN111951712A (zh) * 2020-08-24 2020-11-17 京东方科技集团股份有限公司 残影消除方法、残影消除装置及显示面板

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ZHANG FAN等: "Electronic image stabilization algorithm based on fixed-lag smooth filtering", 《OPTOELECTRONICS LETTERS》 *
宋翠翠: "MPEG-4视频处理系统运动估计模块建模与仿真", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
宋翠翠: "MPEG-4视频处理系统运动估计模块建模与仿真", 《中国优秀硕士学位论文全文数据库（电子期刊）》, 15 October 2014 (2014-10-15) *
李沙: "基于运动估计的电子稳像的设计与软件实现", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
李沙: "基于运动估计的电子稳像的设计与软件实现", 《中国优秀硕士学位论文全文数据库（电子期刊）》, 15 March 2016 (2016-03-15) *
王硕: "基于运动估计和运动分离等技术的电子稳像算法研究", 《知网》 *

Also Published As

Publication number Publication date
CN113596578B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US8644387B2 (en) Motion estimation method
US7075988B2 (en) Apparatus and method of converting frame and/or field rate using adaptive motion compensation
US9148622B2 (en) Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
US20050232357A1 (en) Motion vector estimation at image borders
US8254439B2 (en) Apparatus and methods for motion vector correction
US20120154675A1 (en) Frame interpolation apparatus and method
US20080123743A1 (en) Interpolated frame generating method and interpolated frame generating apparatus
JPH08307820A (ja) インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法
TW200945904A (en) Image interpolation with halo reduction
TWI408620B (zh) 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
US20100157162A1 (en) Image processing apparatus, image processing method and computer readable medium
US7305032B2 (en) Image matching device and method for motion pictures
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
JP5669599B2 (ja) 画像処理装置及びその制御方法
US8447126B2 (en) Image processing method and related apparatus
US20120274845A1 (en) Image processing device and method, and program
CN104580978A (zh) 一种视频检测及处理方法、装置
CN113596578B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
US8300150B2 (en) Image processing apparatus and method
US8451900B2 (en) System and method for global motion estimation using profile matching
US8401286B2 (en) Image detecting device and method
CN102158678A (zh) 一种运动向量场插值方法
TWI389568B (zh) 影像解交錯的方法及相關裝置
CN109788297B (zh) 一种基于元胞自动机的视频帧率上转换方法
JP4304911B2 (ja) 動きベクトル検出装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant