CN113067959A - 影像插补方法、装置和存储介质 - Google Patents
影像插补方法、装置和存储介质 Download PDFInfo
- Publication number
- CN113067959A CN113067959A CN202110283107.1A CN202110283107A CN113067959A CN 113067959 A CN113067959 A CN 113067959A CN 202110283107 A CN202110283107 A CN 202110283107A CN 113067959 A CN113067959 A CN 113067959A
- Authority
- CN
- China
- Prior art keywords
- image
- layered
- interpolation
- layering
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 241000023320 Luma <angiosperm> Species 0.000 claims description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
本发明公开了一种影像插补方法、装置和存储介质，影像插补方法包括以下步骤：获取第一影像和第二影像，其中，第一影像和第二影像为待处理视频源中两相邻帧的影像；利用预设的多种分层模式，分别对第一影像和第二影像进行分层处理，得到多个第一分层影像组和多个第二分层影像组；分别对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估，以确定最佳分层模式；根据最佳分层模式对应的第一分层影像组和第二分层影像组确定插帧影像。该影像插补方法，通过分层方式进行影像插补，得到的插补影像可使视频更流畅，进而可提升用户对视频的观看体验。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种影像插补方法、装置和存储介质。
背景技术
随着消费性多媒体产品的盛行，取像或显像相关的电子装置成为重要的产业项目，如平面显示器、数字相机等。以平面显示器为例，不仅尺寸与分辨率的提高,帧率的提高也是目前平面显示器追求的目标,但是旧有的影片帧率都是相对较低的,如果在新式高帧率的平面显示器观看旧的低帧率影片,无法体现出高帧率平面显示器带来的流畅效果。
为此，相关技术中提出了一种将画面切块进行模板匹配的方式进行影像插补处理，但是该技术只适用于单一帧率视频源的处理，对于视频源中存在两种或两种以上帧率(例如，视频源中同时包含25Hz和30Hz的帧率)时，得到的插补结果会产生异常，甚至是比视频源更不利于观看。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种影像插补方法，以提升视频观感。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种影像插补装置。
为达到上述目的，本发明第一方面提出了一种影像插补方法，包括以下步骤：获取第一影像和第二影像，其中，所述第一影像和所述第二影像为待处理视频源中两相邻帧的影像；利用预设的多种分层模式，分别对所述第一影像和所述第二影像进行分层处理，得到多个第一分层影像组和多个第二分层影像组；分别对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估，以确定最佳分层模式；根据所述最佳分层模式对应的第一分层影像组和第二分层影像组确定插帧影像。
本发明实施例的影像插补方法，通过对影像进行分层处理，并对各分层影像分别进行分块匹配，再进行合成，得到的插补影像可使视频更流畅，提升了用户对视频的观看体验。
为达到上述目的，本发明第二方面提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的影像插补方法。
为达到上述目的，本发明第三方面提出了一种影像插补装置，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被处理器执行时，实现上述的影像插补方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明实施例的影像插补方法的流程图；
图2是本发明一个具体实施例的影像插补处理的流程图；
图3是本发明一个示例的分层处理效果图；
图4是本发明一个示例的插帧影像的示意图；
图5(a)、图5(b)是本发明一个示例的得到插帧影像的示意图；
图6(a)、图6(b)、图6(c)是本发明一个具体示例的影像插补处理的效果比对示意图；
图7是本发明实施例的影像插补处理装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的影像插补方法、装置和存储介质。
图1是本发明实施例的影像插补方法的流程图。
如图1所示，影像插补方法包括以下步骤：
S1，获取第一影像和第二影像，其中，第一影像和第二影像为待处理视频源中两相邻帧的影像。
其中，待处理视频源可以是包含多个正在进行视频播放的播放窗口的视频，也可以是视频通话界面中的视频，还可以是显示弹幕或可移动字幕的视频。当然，待处理视频源也可以是常规的视频。
S2，利用预设的多种分层模式，分别对第一影像和第二影像进行分层处理，得到多个第一分层影像组和多个第二分层影像组。
其中，第一分层影像组包括多个第一分层影像，第二分层影像组包括多个第二分层影像。预设的分层模式可以有x种，x为大于等于2的整数，利用预设的分层模式可以将影像分成m层，m＝1时，分层影像组中的分层影像有一个，m＝2时，分层影像组中的分层影像有两个，m＝3时，分层影像组中的分层影像有三个，依次类推。
在一个可行的实施例中，如图2所示，预设三种分层模式，分别记为第一分层模式、第二分层模式和第三分层模式。
作为一个示例，利用第一分层模式对第一影像进行分层处理，可包括：获取第一影像的R、G、B值；根据R、G、B值得到第一影像的亮度值；将第一影像的亮度值与n个预设亮度阈值进行比较，其中，n为大于0的整数；根据比较结果将第一影像分成m张第一分层影像，其中，m为大于0的整数。
具体地，第一影像为RGB影像，第一影像的亮度值Y可为：Y＝0.30R+0.59G+0.11B。若R、G、B值最小为0，最大为1，则对应的Y最小为0，最大为1。可设置一个预设亮度阈值，例如0.95(该0.95为可调整参数)，如图3所示，将第一影像Fn中Y值大于0.95的像素点归类为一层(如图3所示的字幕层Fn_L1T)，将Y值小于或等于0.95的归类为另一层(如图3所示的影像层Fn_L1V)，由此得到两张第一分层影像，这两张分层影像也均为RGB影像。对应地，利用第一分层模式对第二影像Fn+1进行分层处理，可得到两张第二分层影像，分别为Fn+1_L1T和Fn+1_L1V。
作为另一个示例，利用第二分层模式对第一影像进行分层处理，可包括：将第一影像进行RGB转YUV处理，得到第一变换影像；对第一变换影像进行直方图统计，并根据直方图统计结果对第一影像进行等化处理，得到第一等化影像；获取第一等化影像的R、G、B值；根据第一等化影像的R、G、B值得到第一等化影像的亮度值；将第一等化影像的亮度值与n个预设亮度阈值进行比较，其中，n为大于0的整数；根据比较结果将第一影像分成m张第一分层影像，其中，m为大于0的整数。
具体地，先将第一影像进行RGB转YUV处理，得到第一变换影像，并取Y值做影像亮度评估，Y＝0.30R+0.59G+0.11B。然后将Y值影像(即第一变换影像)做直方图统计，并根据直方图统计结果对第一影像做等化处理(即直方图均衡化)，得到第一等化影像，以使较暗的影像，灰阶层次会聚集在数值低的区域；整体看起来明亮的影像，灰阶层次会聚集在数值高的区域，即使得灰阶层次平均分散于第一等化影像所有范围。
进一步地，对第一等化影像的处理方式与上述利用第一分层模式对第一影像的分层方式相同。即，获取第一等化影像的R、G、B值，第一等化影像的亮度值Y可为：Y＝0.30R+0.59G+0.11B。若R、G、B值最小为0，最大为1，则对应的Y最小为0，最大为1。可设置一个预设亮度阈值，例如0.95，将第一影像Fn中对应Y值大于0.95的像素点归类为一层(如字幕层Fn_L2T)，将Y值小于或等于0.95的归类为另一层(如影像层Fn_L2V)，由此得到两张第一分层影像，这两张分层影像也均为RGB影像。对应地，利用第二分层模式对第二影像Fn+1进行分层处理，可得到两张第二分层影像，分别为Fn+1_L2T和Fn+1_L2V
作为另一个示例，利用第三分层模式对第一影像进行分层处理，可包括：将第一影像进行RGB转YUV处理，得到第一变换影像；将第一变换影像分割成N×N个区块；对每个区块分别进行直方图统计，并根据每个区块的直方图统计结果对第一影像进行等化处理，得到第一等化影像；获取第一等化影像的R、G、B值；根据第一等化影像的R、G、B值得到第一等化影像的亮度值；将第一等化影像的亮度值与n个预设亮度阈值进行比较，其中，n为大于0的整数；根据比较结果将第一影像分成m张第一分层影像，其中，m为大于0的整数。
具体地，与第二分层模式相同，也是先将第一影像进行RGB转YUV处理，得到第一变换影像，并取Y值做影像亮度评估，Y＝0.30R+0.59G+0.11B。然后不同的是，第三分层模式增加了将Y值影像(即第一变换影像)先分割成N×N个区块，再做直方图统计，N可以是50、100等可调的值。根据每个区块的直方图统计结果对第一影像对应区块做等化处理(即直方图均衡化)，得到区块化的第一等化影像。
进一步地，对第一等化影像的处理方式与上述利用第一、第二分层模式对第一影像的分层方式相似。即，获取第一等化影像的R、G、B值，第一等化影像的亮度值Y可为：Y＝0.30R+0.59G+0.11B。若R、G、B值最小为0，最大为1，则对应的Y最小为0，最大为1。可设置一个预设亮度阈值，例如0.8，将第一影像Fn中对应Y值大于0.8的像素点归类为一层(如字幕层Fn_L3T)，将Y值小于或等于0.8的归类为另一层(如影像层Fn_L3V)，由此得到两张第一分层影像，这两张分层影像也均为RGB影像。对应地，利用第三分层模式对第二影像Fn+1进行分层处理，可得到两张第二分层影像，分别为Fn+1_L3T和Fn+1_L3V。
需要说明的是，不同的分层模式对同一影像进行分层，得到的分层影像组中的分层影像数可以不同，例如，第一分层模式可将第一影像分成三层，第二分层模式可将第一影像分成两层；但同一分层模式对两相邻帧影像进行分层，得到的分层影像组中的分层影像数一定相同，前提是两相邻帧影像中包含至少一个相同的目标，例如，视频通话中各视频通话终端显示的影像，又如，以弹幕模式观看视频时，视频中的弹幕。当然，如果待处理视频源中存在相邻两帧的影像中没有相同的目标，则对这两帧影像可不做插帧处理。
S3，分别对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估，以确定最佳分层模式。
在一个可行的实施例中，对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估，以确定最佳分层模式，可包括：将第一分层影像组中的第一分层影像分割成M×M个区块，并将第二分层影像组中的第二分层影像分割成M×M个区块；将各相同分层模式下，第一分层影像中的M×M个区块与对应的第二分层影像中的M×M个区块进行比对，得到第一分层影像中包含目标的区块的运动向量；计算第一分层影像中包含目标的区块按照对应的运动向量运动后得到的影像，与对应的第二分层影像之间的差异值，三个分层模式可对应得到三个差异值；将最小差异值对应的分层模式作为最佳分层模式。其中，M可与上述的N取值相同，如为50、100等值。
具体地，以第一分层模式分层得到的第一、第二分层影像为例进行动态评估，可将第一分层影像Fn_L1T、Fn_L1V中的区块与第二分层影像Fn+1_L1T、Fn+1_L1V中的区块，相对位置做周围多个像素点的媒合，即找到相同的目标，并使第一分层影像中的该目标以其所在区块进行运动，例如可以做±15°的旋转+平移，在对应的第二分层影像中找到差异最小的位置角度，基于该运动过程或者起点和终点，可得到运动向量。由此，可对第一分层影像中的每个目标做如是处理，进而将第一分层影像中的区块均按对应的运动向量运动后得到的影像与对应的第二分层影像做差，得到差异值。对应地，参见图2，对第二、三分层模式得到的分层影像进行动态评估，得到第二、三分层模式对应的差异值，通过动态评估媒合筛选器将三个差异值进行比较，得到最小的差异值，并将该最小的差异值对应的分层模式作为最佳分层模式。
S4，根据最佳分层模式对应的第一分层影像组和第二分层影像组确定插帧影像。
由此，利用最佳分层模式对应的第一分层影像组和第二分层影像组确定插帧影像，相对于其他分层模式，确定的插帧影像观感更好。
在一个可行的实施例中，根据第一分层影像组和第二分层影像组确定插帧影像，可包括：获取第一影像与第二影像的时间间隔，并获取第一影像源的帧率；根据时间间隔和帧率确定插帧数目；根据第一分层影像、第一分层影像中包含目标的区块的运动向量和插帧数目确定插帧影像的插帧分层影像；将同一插帧对应的所有插帧分层影像进行合成，得到插帧影像。
具体地，参见图2，若动态评估媒合筛选器确定第一影像Fn和第二影像Fn+1有差异，则插帧数评估器可获取两帧影像之间的时间间隔，并获取待处理视频源中的视频帧率，根据时间间隔和帧率确定Fn和Fn+1需插补的帧数K，如图4所示。基于该帧数K和最佳分层模式分层得到的分层影像，可进行动态补偿插帧。其中，可通过如下公式得到插帧分层影像中包含目标的区块的向量：
Fint_i_B0＝Fn_B0+i×[Mt/(K+1)],
其中，1≤i≤K，且i为整数，B0为包含目标的区块，Fint_i_B0为第i个插帧影像中区块B0的向量，Fn_B0为第一分层影像中区块B0的向量，Mt为运动向量，K为插帧数目。
可选地，插帧分层影像中包含目标的区块的向量还可为Fint_i_B0＝Fn_B0+Mt/10×fix(i×10/(K+1))，即对i×10/(K+1)取整，例如，K＝2，则可得插帧影像为Fn+0.3和Fn+0.6。当然，该取整用fix还可替换为round、floor等。
举例而言，如图5(a)所示，对于第一影像Fn的一个第一分层影像，其中的区块B0在对应的第二分层影像的位置发生了改变，运动向量为Mt；若K取值为1，则插帧影像的分层插帧影像中区块B0的位置如图5(b)所示。
下面结合图6(a)、(b)、(c)，通过一个插补一个影像的具体示例说明本发明实施例的的有益效果：
图6(a)所示，第一影像Fn与第二影像Fn+1的关系是球往左移、字往上移,期望得到的插帧影像Fn+0.5应为图6(a)中的中间图示。如图6(b)所示，传统的Block Matching(模板匹配)插补方法，字CD会因球的特征多导致字跟著球跑。而本发明的影像插补方法，引入了分层的方式，将字和球分开，并分别做Block Matching，最后再合成，如图6(c)所示。显然，本发明的方法得到的插补结果更符合期望。
综上所述，本发明实施例的影像插补方法，通过对影像进行分层处理，并对各分层影像分别进行分块匹配，再进行合成，得到的插补影像可使视频更流畅，提升了用户对视频的观看体验。
进一步地，本发明提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述的影像插补方法。
本发明实施例的计算机可读存储介质，在其上存储的与上述影像插补方法对应的计算机程序被处理器执行时，得到的插补影像可使视频更流畅，提升了用户对视频的观看体验。
图7是本发明实施例的影像插补装置的结构框图。
如图7所示，该影像插补装置100，包括存储器110、处理器120和存储在存储器110上的计算机程序130，其特征在于，计算机程序130被处理器120执行时，实现上述的影像插补方法。
在该实施例中，影像插补装置100可以是一种芯片产品，该芯片产品可嵌入在各种显示器(如电脑显示器、电视机等)、投影仪等中，影像插补装置100还可以作为一个独立的产品，该产品可与多种视频播放终端(如电脑、智能手机、平板等)配合使用。
本发明实施例的影像插补装置，在其存储器上存储的与上述影像插补方法对应的计算机程序被处理器执行时，得到的插补影像可使视频更流畅，提升了用户对视频的观看体验。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种影像插补方法，其特征在于，包括以下步骤：
获取第一影像和第二影像，其中，所述第一影像和所述第二影像为待处理视频源中两相邻帧的影像；
利用预设的多种分层模式，分别对所述第一影像和所述第二影像进行分层处理，得到多个第一分层影像组和多个第二分层影像组；
分别对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估，以确定最佳分层模式；
根据所述最佳分层模式对应的第一分层影像组和第二分层影像组确定插帧影像。
2.如权利要求1所述的影像插补方法，其特征在于，预设三种分层模式，分别记为第一分层模式、第二分层模式和第三分层模式。
3.如权利要求2所述的影像插补方法，其特征在于，利用所述第一分层模式对所述第一影像进行分层处理，包括：
获取所述第一影像的R、G、B值；
根据所述R、G、B值得到所述第一影像的亮度值；
将所述第一影像的亮度值与n个预设亮度阈值进行比较，其中，n为大于0的整数；
根据比较结果将所述第一影像分成m张第一分层影像，其中，n为大于0的整数。
4.如权利要求2所述的影像插补方法，其特征在于，利用所述第二分层模式对所述第一影像进行分层处理，包括：
将所述第一影像进行RGB转YUV处理，得到第一变换影像；
对所述第一变换影像进行直方图统计，并根据直方图统计结果对所述第一影像进行等化处理，得到第一等化影像；
获取所述第一等化影像的R、G、B值；
根据所述第一等化影像的R、G、B值得到所述第一等化影像的亮度值；
将所述第一等化影像的亮度值与n个预设亮度阈值进行比较，其中，n为大于0的整数；
根据比较结果将所述第一影像分成m张第一分层影像，其中，m为大于0的整数。
5.如权利要求2所述的影像插补方法，其特征在于，利用所述第三分层模式对所述第一影像进行分层处理，包括：
将所述第一影像进行RGB转YUV处理，得到第一变换影像；
将所述第一变换影像分割成N×N个区块；
对每个区块分别进行直方图统计，并根据每个区块的直方图统计结果对所述第一影像进行等化处理，得到第一等化影像；
获取所述第一等化影像的R、G、B值；
根据所述第一等化影像的R、G、B值得到所述第一等化影像的亮度值；
将所述第一等化影像的亮度值与n个预设亮度阈值进行比较，其中，n为大于0的整数；
根据比较结果将所述第一影像分成m张第一分层影像，其中，m为大于0的整数。
6.如权利要求2所述的影像插补方法，其特征在于，对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估，以确定最佳分层模式，包括：
将所述第一分层影像组中的第一分层影像分割成M×M个区块，并将所述第二分层影像组中的第二分层影像分割成M×M个区块；
将所述第一分层影像中的M×M个区块与对应的第二分层影像中的M×M个区块进行比对，得到所述第一分层影像中包含目标的区块的运动向量；
计算所述第一分层影像中包含目标的区块按照对应的运动向量运动后得到的影像，与对应的第二分层影像之间的差异值；
将最小差异值对应的分层模式作为所述最佳分层模式。
7.如权利要求6所述的影像插补方法，其特征在于，根据第一分层影像组和第二分层影像组确定插帧影像，包括：
获取所述第一影像与所述第二影像的时间间隔，并获取所述第一影像源的帧率；
根据所述时间间隔和所述帧率确定插帧数目；
根据所述所述第一分层影像、所述第一分层影像中包含目标的区块的运动向量和所述插帧数目确定插帧影像的插帧分层影像；
将同一插帧对应的所有插帧分层影像进行合成，得到插帧影像。
8.如权利要求7所述的影像插补方法，其特征在于，通过如下公式得到插帧分层影像中包含目标的区块的向量：
Fint_i_B0＝Fn_B0+i×[Mt/(K+1)],
其中，1≤i≤M，且i为整数，B0为所述包含目标的区块，Fint_i_B0为第i个插帧影像中区块B0的向量，Fn_B0为所述第一分层影像中区块B0的向量，Mt为所述运动向量，K为所述插帧数目。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的影像插补方法。
10.一种影像插补装置，包括存储器、处理器和存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的影像插补方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110283107.1A CN113067959B (zh) | 2021-03-16 | 2021-03-16 | 影像插补方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110283107.1A CN113067959B (zh) | 2021-03-16 | 2021-03-16 | 影像插补方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113067959A true CN113067959A (zh) | 2021-07-02 |
| CN113067959B CN113067959B (zh) | 2022-05-03 |
Family
ID=76560760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110283107.1A Active CN113067959B (zh) | 2021-03-16 | 2021-03-16 | 影像插补方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113067959B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10164519A (ja) * | 1996-11-25 | 1998-06-19 | Sharp Corp | 画像データ補間装置 |
| JPH10257505A (ja) * | 1997-01-10 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 画像処理方法及び画像処理装置、並びにデータ記録媒体 |
| US20040037471A1 (en) * | 2000-08-24 | 2004-02-26 | Nathalie Laurent-Chatenet | Method for calculating an image interpolated between two images of a video sequence |
| US20040047415A1 (en) * | 2000-07-13 | 2004-03-11 | Guillaume Robert | Motion estimator for coding and decoding image sequences |
| US7003169B1 (en) * | 1999-05-26 | 2006-02-21 | France Telecom | Variable transformation hierarchical image coding |
| JP2006066987A (ja) * | 2004-08-24 | 2006-03-09 | Toshiba Corp | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム |
| JP2006101032A (ja) * | 2004-09-28 | 2006-04-13 | Toshiba Corp | 補間画像生成装置、補間画像生成方法および補間画像生成プログラム |
| US20110255004A1 (en) * | 2010-04-15 | 2011-10-20 | Thuy-Ha Thi Tran | High definition frame rate conversion |
| CN103703785A (zh) * | 2011-08-01 | 2014-04-02 | 索尼电脑娱乐公司 | 视频数据生成单元、图像显示设备、视频数据生成方法、视频图像显示方法、以及视频图像文件数据结构 |
| US20180124422A1 (en) * | 2016-04-15 | 2018-05-03 | Magic Pony Technology Limited | Motion compensation using temporal picture interpolation |
| CN112116715A (zh) * | 2019-06-20 | 2020-12-22 | 三星电子株式会社 | 有效内插的方法和装置 |
| US20200402202A1 (en) * | 2019-06-20 | 2020-12-24 | Samsung Electronics Co., Ltd. | Methods and apparatus for efficient interpolation |
-
2021
- 2021-03-16 CN CN202110283107.1A patent/CN113067959B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10164519A (ja) * | 1996-11-25 | 1998-06-19 | Sharp Corp | 画像データ補間装置 |
| JPH10257505A (ja) * | 1997-01-10 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 画像処理方法及び画像処理装置、並びにデータ記録媒体 |
| US7003169B1 (en) * | 1999-05-26 | 2006-02-21 | France Telecom | Variable transformation hierarchical image coding |
| US20040047415A1 (en) * | 2000-07-13 | 2004-03-11 | Guillaume Robert | Motion estimator for coding and decoding image sequences |
| US20040037471A1 (en) * | 2000-08-24 | 2004-02-26 | Nathalie Laurent-Chatenet | Method for calculating an image interpolated between two images of a video sequence |
| JP2006066987A (ja) * | 2004-08-24 | 2006-03-09 | Toshiba Corp | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム |
| JP2006101032A (ja) * | 2004-09-28 | 2006-04-13 | Toshiba Corp | 補間画像生成装置、補間画像生成方法および補間画像生成プログラム |
| US20110255004A1 (en) * | 2010-04-15 | 2011-10-20 | Thuy-Ha Thi Tran | High definition frame rate conversion |
| CN103703785A (zh) * | 2011-08-01 | 2014-04-02 | 索尼电脑娱乐公司 | 视频数据生成单元、图像显示设备、视频数据生成方法、视频图像显示方法、以及视频图像文件数据结构 |
| US20180124422A1 (en) * | 2016-04-15 | 2018-05-03 | Magic Pony Technology Limited | Motion compensation using temporal picture interpolation |
| CN112116715A (zh) * | 2019-06-20 | 2020-12-22 | 三星电子株式会社 | 有效内插的方法和装置 |
| US20200402202A1 (en) * | 2019-06-20 | 2020-12-24 | Samsung Electronics Co., Ltd. | Methods and apparatus for efficient interpolation |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113067959B (zh) | 2022-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6163621A (en) | Histogram equalization method and device in contrast enhancement apparatus for image processing system | |
| US8532426B2 (en) | Image processing apparatus and image processing method | |
| CA2387701C (en) | System and method for motion compensation and frame rate conversion | |
| JP5075195B2 (ja) | 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置 | |
| US8576341B2 (en) | Occlusion adaptive motion compensated interpolator | |
| US7336316B2 (en) | De-interlacing of video data | |
| EP1411719A2 (en) | Method and system for converting interlaced video signal to progressive video signal using a color edge detection | |
| US20100177239A1 (en) | Method of and apparatus for frame rate conversion | |
| US8289446B2 (en) | Intermediate frame occlusion estimation system using projected vectors | |
| CN102394051A (zh) | 图像显示装置及方法 | |
| US9013584B2 (en) | Border handling for motion compensated temporal interpolator using camera model | |
| US20080129875A1 (en) | Motion and/or scene change detection using color components | |
| US20170249724A1 (en) | Object speed weighted motion compensated interpolation | |
| JP4949463B2 (ja) | アップスケーリング | |
| Yuen | Coding artifacts and visual distortions | |
| US8542322B2 (en) | Motion compensated interpolation system using combination of full and intermediate frame occlusion | |
| US20040160528A1 (en) | Deinterlacer using both low angle and high angle spatial interpolation | |
| GB2458934A (en) | Detection of linear boundary between image border and picture regions based on pixel spatial gradients | |
| CN101895674B (zh) | 一种针对监控视频的去隔行的方法及其装置 | |
| US20070242898A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| US8279223B2 (en) | Image processing apparatus, image processing method and program | |
| US8279354B2 (en) | Apparatuses and methods for processing video signals | |
| CN113067959B (zh) | 影像插补方法、装置和存储介质 | |
| CN113067960B (zh) | 影像插补方法、装置和存储介质 | |
| US8174615B2 (en) | Method for converting an image and image conversion unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230328 Address after: 1903, Yaohua Creation Building, 6023 Shennan Avenue, Tian'an Community, Shatou Street, Futian District, Shenzhen City, Guangdong Province, 518000 Patentee after: Hongguoxin Technology (Shenzhen) Co.,Ltd. Address before: 230088 room 1006, F1 building, phase II, innovation industrial park, 2800 innovation Avenue, high tech Zone, Hefei City, Anhui Province Patentee before: HEFEI HEXIN MICROELECTRONIC TECHNOLOGY CO.,LTD. |