CN106296593B - 图像恢复方法和装置 - Google Patents
图像恢复方法和装置 Download PDFInfo
- Publication number
- CN106296593B CN106296593B CN201510287332.7A CN201510287332A CN106296593B CN 106296593 B CN106296593 B CN 106296593B CN 201510287332 A CN201510287332 A CN 201510287332A CN 106296593 B CN106296593 B CN 106296593B
- Authority
- CN
- China
- Prior art keywords
- unit
- chroma
- brightness
- watermark
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明公开了一种图像恢复方法和装置，属于图像处理技术领域。所述方法包括：确定视频的各帧视频帧中的水印区域，所述水印区域为水印图样在所述各帧视频帧中所占据的区域；对于每帧视频帧，根据所述视频帧中所述水印区域的相邻区域的图像内容预测所述水印区域中的图像内容；根据预测的所述图像内容恢复所述视频帧中的水印区域的内容；解决了现有技术中用户无法正常观看视频帧中被水印所覆盖的内容的问题；达到了用户可以正常观看视频帧中的全部内容，提高了用户的用户体验的效果。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像恢复方法和装置。
背景技术
为了标识视频的来源，各帧视频帧的预设位置处通常会设置用于标识视频来源的水印。比如，视频为‘AA’网提供的视频，则在该视频的视频帧的右上角可以设置有内容为‘AA’的水印。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：水印可能会覆盖视频帧中的原始内容，所以这就导致用户无法正常观看视频帧中被水印所覆盖的内容。
发明内容
为了解决现有技术中存在的问题，本发明实施例提供了一种图像恢复方法和装置。所述技术方案如下：
第一方面，提供了一种图像恢复方法，该方法包括：
确定视频的各帧视频帧中的水印区域，所述水印区域为水印图样在所述各帧视频帧中所占据的区域；
对于每帧视频帧，根据该视频帧中该水印区域的相邻区域的图像内容预测该水印区域中的图像内容；
根据预测的该图像内容恢复该视频帧中的水印区域的内容。
第二方面，提供了一种图像恢复装置，该装置包括：
区域确定模块，用于确定视频的各帧视频帧中的水印区域，所述水印区域为水印图样在所述各帧视频帧中所占据的区域；
内容预测模块，用于对于每帧视频帧，根据该视频帧中该水印区域的相邻区域的图像内容预测该水印区域中的图像内容；
内容恢复模块，用于根据该内容预测模块预测的该图像内容恢复该视频帧中的水印区域的内容。
本发明实施例提供的技术方案的有益效果是：
通过确定视频的各帧视频帧中的水印区域，对于每帧视频帧，根据视频帧中的水印区域的相邻区域的图像内容预测水印区域中的图像内容，进而根据预测的图像内容恢复视频帧中的水印区域的内容；解决了现有技术中用户无法正常观看视频帧中被水印所覆盖的内容的问题；达到了用户可以正常观看视频帧中的全部内容，提高了用户的用户体验的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的图像恢复方法的方法流程图；
图2A是本发明另一实施例提供的图像恢复方法的方法流程图；
图2B是本发明另一实施例提供的终端截取目标区域时终端的显示示意图；
图2C是本发明另一实施例提供的目标区域截取目标的示意图；
图2D是本发明另一实施例提供的水印区域的示意图；
图3是本发明一个实施例提供的图像恢复装置的结构方框图；
图4是本发明另一实施例提供的图像恢复装置的结构方框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参考图1，其示出了本发明一个实施例提供的图像恢复方法的方法流程图，如图1所示，该图像恢复方法可以包括：
步骤101，确定视频的各帧视频帧中的水印区域，水印区域为水印图样在各帧视频帧中所占据的区域。
步骤102，对于每帧视频帧，根据该视频帧中该水印区域的相邻区域的图像内容预测该水印区域中的图像内容。
步骤103，根据预测的该图像内容恢复该视频帧中的水印区域的内容。
综上所述，本实施例提供的图像恢复方法，通过确定视频的各帧视频帧中的水印区域，对于每帧视频帧，根据视频帧中的水印区域的相邻区域的图像内容预测水印区域中的图像内容，进而根据预测的图像内容恢复视频帧中的水印区域的内容；解决了现有技术中用户无法正常观看视频帧中被水印所覆盖的内容的问题；达到了用户可以正常观看视频帧中的全部内容，提高了用户的用户体验的效果。
请参考图2A，其示出了本发明另一实施例提供的图像恢复方法的方法流程图，如图2A所示，该图像恢复方法可以包括：
步骤201，获取该视频中的n帧视频帧；n为大于等于2的整数。
在终端播放视频时，终端可以获取视频中的n帧视频帧。可选地，终端可以获取视频中连续的n帧视频帧。比如，获取视频中的连续的20帧视频帧。
步骤202，对比该n帧视频帧，确定该n帧视频帧中像素值保持不变的区域。
具体的，终端可以计算n帧视频帧中的各个像素点的像素平均值，然后计算每个像素点的像素的方差(或者标准差)，将方差(或者标准差)为0的各个像素点所构成的区域确定为像素值保持不变的区域。
可选地，本步骤可以包括：
第一，截取视频帧中的目标区域。
可选地，本步骤可以包括如下两种可能的实现方式：
在第一种可能的实现方式中，接收用于选择该视频帧中的某一区域的选择信号，将该选择信号选择的区域截取为目标区域。
用户可以在视频播放界面中选择一个区域，终端将用户选择的区域截取为目标区域。比如，请参考图2B，终端可以将用户手指的滑动轨迹所围成的区域21截取为目标区域。
可选地，用户可以通过手指直接截取，也可以通过终端中的触控笔截取，还可以通过鼠标进行截取，本实施例对此并不做限定。
在第二种可能的实现方式中，根据预设的模板区域截取该目标区域。
作为另一种可能的实现方式，终端还可以根据预设的模板来截取视频帧中的目标区域。比如，以预设的模板为图2C所示的模板，且区域22为需要截取的区域为例，终端可以将各帧视频帧中区域22所对应的位置处的区域截取为目标区域。
需要说明的是，在H.264的视频编码标准中，像素块的大小为16*16，所以终端在截取目标区域时，需要以16的倍数递增或者递减截取。也即，若用户选择的区域的大小不是16的倍数，那么终端需要对该区域进行调整，以使得其满足上述条件。类似的，在H.265的视频编码标准中，终端也需要对用户选择的区域进行调整，本实施例在此不再赘述。
第二，对比该n帧视频帧中截取出的该目标区域，确定该n帧视频帧中的该目标区域中像素值保持不变的区域。
在终端截取得到目标区域之后，终端可以对比n帧视频帧中的目标区域，确定n帧视频帧中的目标区域中的像素值不变的区域。
具体的，终端可以计算目标区域中的各个像素点的像素平均值，然后计算各个像素点的像素值的方差(标准差)，将方差(标准差)为0的各个像素点所围成的区域确定为像素值不变的区域。比如，请参考图2D，终端可以计算得到n帧视频帧中像素值不变的区域为图中‘PQTV’所对应的区域。
需要说明的是，本实施例只是以通过方差或者标准差来确定像素值不变的区域为例，可选地，终端还可以通过其他可能的确定方式来确定，本实施例对此并不做限定。
步骤203，将该像素值不变的区域作为该水印区域。
由于同一视频中水印在各帧视频帧中的位置通常不变，且各帧视频帧中的水印内容也相同，也即各帧视频帧中的水印图样所占据的区域中的各个像素点的像素值通常保持不变，所以终端可以将确定各帧视频帧中像素值不变的区域即为水印区域。比如，结合图2D，终端可以将图中‘PQTV’所对应的区域确定为水印区域。
其中，水印区域为水印图样在各帧视频帧中所占据的区域。
步骤204，确定视频帧中的亮度分量、第一色度分量和第二色度分量。
终端可以确定视频帧中的Y分量(也即亮度分量)、U分量(也即第一色度分量)和V分量(也即第二色度分量)。
可选地，当视频帧为根据YUV颜色模型编码得到的视频帧时，终端可以直接得到Y分量、U分量和V分量；而如果视频帧为通过其他颜色模型编码得到的视频帧，则终端可以先将该视频帧的颜色模型转换为YUV颜色模型，然后再确定Y分量、U分量和V分量。其中，终端可以采用现有的颜色模型转换方法进行颜色模型的转换，本实施例在此不再赘述。
步骤205，对于水印区域在亮度分量上的各个亮度单元，获取该亮度单元的相邻亮度单元的像素，根据预设预测算法以及该相邻亮度单元的像素预测该亮度单元的亮度。
对于水印区域在亮度分量上的每个亮度单元，终端可以获取该亮度单元的相邻亮度单元的像素，然后根据预设预测算法以及相邻亮度单元的像素预测该亮度单元的亮度。其中，该相邻亮度单元包括该亮度单元的上侧亮度单元、下侧亮度单元、左侧亮度单元和右侧亮度单元中的至少一种。
可选地，终端可以按照从左到右、从上到下的顺序依次预测水印区域中的各个亮度单元的亮度。
可选地，亮度单元为16*16的像素块，此时终端根据预设预测算法以及相邻亮度单元的像素预测亮度单元的亮度的步骤可以包括：
首先，请参考表1，其示出了17个像素的格子。在表1中，水平方向为x方向、向右为正；垂直方向为y方向、向下为正；除第一行和第一列之外，表中的其他位置的格子构成16*16的像素块。其中，表中的(0，0)为坐标轴的原点。
表1
另外，由于水印区域是目标区域中的全部或者部分区域，所以为了便于理解，假设目标区域为16：9的区域，则请参考表2，其示出了目标区域的分布情况。在表2中，每个格子对应于表1中的16*16的像素块。
| 0,0 | 1,0 | 2,0 | 3,0 | 4,0 | 5,0 | 6,0 | 7,0 | 8,0 | 9,0 | 10,0 | 11,0 | 12,.0 | 13,0 | 14,0 | 15,0 |
| 0,1 | 1,1 | 2,1 | 3,1 | 8,1 | |||||||||||
| 0,2 | 1,2 | 2,2 | 3,2 | 9,2 | |||||||||||
| 0,3 | 1,3 | 2,3 | 3,3 | 10,3 | |||||||||||
| 0,4 | 4,4 | 11,4 | |||||||||||||
| 0,5 | 5,5 | 12,5 | |||||||||||||
| 0,6 | 6,6 | 13,6 | |||||||||||||
| 0,7 | 7,7 | 14,7 | |||||||||||||
| 0,8 | 8,8 | 15,8 |
表2
在表2中，如果格子的左侧格子存在，那么左侧格子的最右侧的像素即为表1中的第一列的各个像素；如果格子的上侧格子存在，那么上侧格子的最下方的像素即为表1中的第一行的各个像素。
设该水印区域的左上角的顶点为坐标原点，该水印区域的水平方向的边界为x轴，该水印区域的竖直方向的边界为y轴。
若该相邻亮度单元包括该亮度单元的上侧亮度单元和左侧亮度单元，则该亮度单元的亮度为：
如果该亮度单元的上侧亮度单元和左侧亮度单元均存在，则此时该亮度单元的亮度即为通过上述计算公式计算得到的亮度。比如，当该亮度单元为表2中的除第一行和第一列之外的其他格子所对应的16*16像素块时，该亮度单元的亮度即为通过上述公式计算得到的亮度。
若该相邻亮度单元包括该亮度单元的左侧亮度单元，则该亮度单元的亮度为：
而如果亮度单元中仅有左侧亮度单元存在，而不存在上侧亮度单元，则该亮度单元的亮度即为上述亮度。比如，当亮度单元为表2中的第一行的各个格子(除坐标原点处的格子)所对应的16*16像素块时，该像素块的亮度即为通过上述公式计算得到的亮度。
若该相邻亮度单元包括该亮度单元的上侧亮度单元，则该亮度单元的亮度为：
类似的，如果亮度单元仅有上侧亮度单元存在，而左侧亮度单元不存在，则终端预测得到该亮度单元的亮度即为上述亮度。比如，当亮度单元为表2中的第一列的各个格子(除坐标原点处的格子)所对应的16*16像素块时，该像素块的亮度即为通过上述公式计算得到的亮度。
其中，该x和该y为该亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值。
需要补充说明的一点是，如果亮度单元的上侧亮度单元和左侧亮度单元均不存在，则该亮度单元的亮度即为：L[x,y]＝(1＜＜(8-1))＝128，x＝0,1,...,15；y＝0,1,...,15。
比如，亮度单元为表2中的坐标原点处的亮度单元时，该亮度单元的亮度即为128。
需要补充说明的另一点是，上述各个公式中的>>为右移位，而<<为左移位，本实施例在此不再赘述。
可选地，亮度单元可以从4*4的像素块递增至64*64的像素块，也即亮度单元为i*i的像素块，i为4、8、16、32或者64。此时终端根据预设预测算法以及相邻亮度单元的像素预测亮度单元的亮度的步骤可以包括：
(1)、根据预设预测算法以及相邻亮度单元的像素获取参考变量，参考变量为：
需要补充说明的是，若亮度单元的左侧亮度单元或者上侧亮度单元不存在，则终端需要先恢复左侧亮度单元或者上侧亮度单元的像素值。其中，左侧亮度单元或者上侧亮度单元的像素值的恢复方法与H.265中的恢复方法类似，本实施例在此不再赘述。
(2)、根据获取到的参考变量计算亮度单元的亮度。
可选地，当该i<32且x＝0,y＝0时，该亮度单元的亮度为：
L[0,0]＝(p[-1,0]+2d+p[0,-1]+2)＞＞2。
当该i<32且x＝1，2，…，i-1，y＝1时，该亮度单元的亮度为：
L[x,0]＝(p[x,-1]+3d+2)＞＞2。
当该i<32且x＝0，y＝1，2，…，i-1时，该亮度单元的亮度为：
L[0,y]＝(p[-1,y]+3d+2)＞＞2。
当该i<32且x＝1,2，…，i-1；y＝1,2，…，i-1时，该亮度单元的亮度为：
L[x,y]＝d。
当该i＝32或者64时，该亮度单元的亮度为：L[x,y]＝d；x＝0,1，…i-1；y＝0,1，…i-1；
其中，该x和该y为该亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值。
步骤206，对于水印区域在第一色度分量和第二色度分量上的各个色度单元，获取该色度单元的相邻色度单元的像素，根据该预设预测算法以及该相邻色度单元的像素预测该色度单元的色度。
类似的，终端还可以获取水印区域在两个色度分量上的各个色度单元的相邻色度单元的像素，然后根据该预设预测算法以及该相邻色度单元的像素预测该色度单元的色度。其中，该相邻色度单元包括该色度单元的上侧色度单元、下侧色度单元、左侧色度单元和右侧色度单元中的至少一种。
可选地，终端可以按照从左到右、从上到下的顺序依次预测水印区域中的各个色度单元的色度。
可选地，色度单元为8*8的像素块，本实施例在计算时，将8*8的像素块切分为4个4*4的像素块，然后具体的：
请参考表3，其示出了将一个8*8的色度块切分为4个4*4的小块之后的分布表。
| C4 | C2 | C2 | C2 | C2 | C2 | C2 | C2 |
| C3 | C1 | C1 | C1 | C1 | C1 | ||
| C3 | C1 | C1 | C1 | ||||
| C3 | C1 | C1 | C1 | ||||
| C3 | |||||||
| C3 | |||||||
| C3 | |||||||
| C3 |
表3
设所述水印区域的左上角的顶点为坐标原点，所述水印区域的水平方向的边界为x轴，所述水印区域的竖直方向的边界为y轴；
若所述相邻色度单元包括所述色度单元的上侧色度单元和左侧色度单元，则所述色度单元的色度为：
比如，色度单元为表3中的C1处的色度单元，则该色度单元的色度即为通过上述计算方式计算得到的色度。
若所述相邻色度单元包括所述色度单元的左侧色度单元，则所述色度单元的色度为：
比如，色度单元为表3中的C2处的色度单元，则该色度单元的色度即为通过上述计算方式计算得到的色度。
若所述相邻色度单元包括所述色度单元的上侧色度单元，则所述色度单元的色度为：
比如，色度单元为表3中的C3处的色度单元，则该色度单元的色度即为通过上述计算方式计算得到的色度。
其中，所述x和所述y为所述色度单元的横纵坐标、x'和y′为相邻色度单元的横纵坐标，p为像素值；x0,y0为每个4*4像素块的左上角的点的坐标。
类似的，如果色度单元的上侧色度单元和左侧色度单元均不存在，则该色度单元的色度即为：C[x+x0,y+y0]＝1＜＜(8-1)＝128，x＝0,1,2,3；y＝0,1,2,3。比如，色度单元为表3中的C4处的色度单元，则该色度单元的色度即为通过上述计算公式计算得到的色度。
需要说明的是，本实施例中的U分量和V分量的色度单元的色度的预测与亮度单元的亮度的预测类似，本实施例在此不再赘述。
可选地，色度单元可以为4*4的像素块递增至32*32的像素块，也即色度单元为j*j的像素块，j为4、8、16或者32。此时终端根据预设预测算法以及相邻色度单元的像素预测色度单元的色度的步骤可以包括：
(1)、根据预设预测算法以及相邻亮度单元的像素获取参考变量，所述参考变量
为：
其中，k＝log2(j)。
需要补充说明的是，若亮度单元的左侧色度单元或者上侧色度单元不存在，则终端需要先恢复左侧色度单元或者上侧色度单元的像素值。其中，左侧亮度单元或者上侧亮度单元的像素值的恢复方法与H.265中的恢复方法类似，本实施例在此不再赘述。
(2)、根据参考变量预测色度单元的色度。
该色度单元的色度为：c[x,y]＝d；x＝0,1，…i-1；y＝0,1，…i-1；
其中，该x和该y为该亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值。
需要补充说明的是，本实施例只是以通过直流预测算法来预测亮度和色度为例，可选地，终端还可以通过其他预测算法来预测，本实施例综合计算复杂度以及预测精度选择直流预测算法，对其实际使用的预测算法并不做限定。
步骤207，根据预测的该图像内容恢复该视频帧中的水印区域的内容。
在终端预测得到各帧视频帧中的水印区域中的亮度和色度之后，终端即可根据预测得到的亮度和色度恢复处视频帧中的水印区域的内容。这样，在视频播放时，终端即可正常播放视频帧中水印区域中的图像内容(水印区域中恢复的内容)。
综上所述，本实施例提供的图像恢复方法，通过确定视频的各帧视频帧中的水印区域，对于每帧视频帧，根据视频帧中的水印区域的相邻区域的图像内容预测水印区域中的图像内容，进而根据预测的图像内容恢复视频帧中的水印区域的内容；解决了现有技术中用户无法正常观看视频帧中被水印所覆盖的内容的问题；达到了用户可以正常观看视频帧中的全部内容，提高了用户的用户体验的效果。
本实施例通过截取n帧视频帧中的目标区域，进而通过目标区域来确定n帧视频帧中像素值不变的区域，降低了终端的处理复杂度，提高了终端恢复水印区域中的图像内容的恢复效率，保证了视频的正常播放。
本实施例只对水印区域中的内容做预测，而并不对目标区域中的全部区域的内容做预测，提高了图像恢复时的恢复效率。
另外，本实施例通过使用视频编码中的直流预测算法，在保证终端计算复杂度较低的前提下尽可能的提高了图像恢复的准确度。
请参考图3，其示出了本发明一个实施例提供的图像恢复装置的结构方框图。该图像恢复装置可以包括：区域确定模块310、内容预测模块320和内容恢复模块330。
区域确定模块310，用于确定视频的各帧视频帧中的水印区域，所述水印区域为水印图样在所述各帧视频帧中所占据的区域；
内容预测模块320，用于对于每帧视频帧，根据所述视频帧中所述水印区域的相邻区域的图像内容预测所述水印区域中的图像内容；
内容恢复模块330，用于根据所述内容预测模块320预测的所述图像内容恢复所述视频帧中的水印区域的内容。
综上所述，本实施例提供的图像恢复装置，通过确定视频的各帧视频帧中的水印区域，对于每帧视频帧，根据视频帧中的水印区域的相邻区域的图像内容预测水印区域中的图像内容，进而根据预测的图像内容恢复视频帧中的水印区域的内容；解决了现有技术中用户无法正常观看视频帧中被水印所覆盖的内容的问题；达到了用户可以正常观看视频帧中的全部内容，提高了用户的用户体验的效果。
请参考图4，其示出了本发明另一个实施例提供的图像恢复装置的结构方框图。该图像恢复装置可以包括：区域确定模块410、内容预测模块420和内容恢复模块430。
区域确定模块410，用于确定视频的各帧视频帧中的水印区域，所述水印区域为水印图样在所述各帧视频帧中所占据的区域；
内容预测模块420，用于对于每帧视频帧，根据该视频帧中该水印区域的相邻区域的图像内容预测该水印区域中的图像内容；
内容恢复模块430，用于根据该内容预测模块420预测的该图像内容恢复该视频帧中的水印区域的内容。
可选地，该内容预测模块420，包括：
确定单元421，用于确定所述视频帧中的亮度分量、第一色度分量和第二色度分量；
第一预测单元422，用于对于所述水印区域在所述亮度分量上的各个亮度单元，获取该亮度单元的相邻亮度单元的像素，根据预设预测算法以及该相邻亮度单元的像素预测该亮度单元的亮度；该相邻亮度单元包括该亮度单元的上侧亮度单元、下侧亮度单元、左侧亮度单元和右侧亮度单元中的至少一种；
第二预测单元423，用于对于所述水印区域在所述第一色度分量和所述第二色度分量上的各个色度单元，获取该色度单元的相邻色度单元的像素，根据该预设预测算法以及该相邻色度单元的像素预测该色度单元的色度；该相邻色度单元包括该色度单元的上侧色度单元、下侧色度单元、左侧色度单元和右侧色度单元中的至少一种。
可选地，该亮度单元为16*16的像素块，该第一预测单元422，还用于：
设该水印区域的左上角的顶点为坐标原点，该水印区域的水平方向的边界为x轴，该水印区域的竖直方向的边界为y轴；
若该相邻亮度单元包括该亮度单元的上侧亮度单元和左侧亮度单元，则该亮度单元的亮度为：
若该相邻亮度单元包括该亮度单元的左侧亮度单元，则该亮度单元的亮度为：
若该相邻亮度单元包括该亮度单元的上侧亮度单元，则该亮度单元的亮度为：
其中，该x和该y为该亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值。
可选地，亮度单元为i*i的像素块，i为4、8、16、32或者64；第一预测单元422，还用于：
设水印区域的左上角的顶点为坐标原点，水印区域的水平方向的边界为x轴，水印区域的竖直方向的边界为y轴；
根据预设预测算法以及相邻亮度单元的像素获取参考变量，参考变量为：
当i<32且x＝0,y＝0时，亮度单元的亮度为：
L[0,0]＝(p[-1,0]+2d+p[0,-1]+2)＞＞2；
当i<32且x＝1，2，…，i-1，y＝1时，亮度单元的亮度为：
L[x,0]＝(p[x,-1]+3d+2)＞＞2；
当i<32且x＝0，y＝1，2，…，i-1时，亮度单元的亮度为：
L[0,y]＝(p[-1,y]+3d+2)＞＞2；
当i<32且x＝1,2，…，i-1；y＝1,2，…，i-1时，亮度单元的亮度为：
L[x,y]＝d；
当i＝32或者64时，亮度单元的亮度为：L[x,y]＝d；x＝0,1，…i-1；y＝0,1，…i-1；
其中，x和y为亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值，k＝log2(i)。
可选地，该色度单元为4*4的像素块，该第二预测单元423，还用于：
设该水印区域的左上角的顶点为坐标原点，该水印区域的水平方向的边界为x轴，该水印区域的竖直方向的边界为y轴；
若该相邻色度单元包括该色度单元的上侧色度单元和左侧色度单元，则该色度单元的色度为：
若该相邻色度单元包括该色度单元的左侧色度单元，则该色度单元的色度为：
若该相邻色度单元包括该色度单元的上侧色度单元，则该色度单元的色度为：
其中，该x和该y为该色度单元的横纵坐标、x'和y′为相邻色度单元的横纵坐标，p为像素值。
可选地，色度单元为j*j的像素块，j为4、8、16或者32；第二预测单元423，还用于：
设水印区域的左上角的顶点为坐标原点，水印区域的水平方向的边界为x轴，水印区域的竖直方向的边界为y轴；
根据预设预测算法以及相邻亮度单元的像素获取参考变量，参考变量为：
色度单元的色度为：c[x,y]＝d；x＝0,1，…i-1；y＝0,1，…i-1；
其中，x和y为亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值，k＝log2(j)。
可选地，该区域确定模块410，包括：
获取单元411，用于获取该视频中的n帧视频帧；n为大于等于2的整数；
第一确定单元412，用于对比该n帧视频帧，确定该n帧视频帧中像素值保持不变的区域；
第二确定单元413，用于将该像素值不变的区域作为该水印区域。
可选地，该第一确定单元412，包括：
截取子单元412a，用于截取视频帧中的目标区域；
确定子单元412b，用于对比该n帧视频帧中截取出的该目标区域，确定该n帧视频帧中的该目标区域中像素值保持不变的区域。
可选地，该截取子单元412a，还用于：
接收用于选择该视频帧中的区域的选择信号，将该选择信号选择的区域截取为该目标区域；
或者，
根据预设的模板区域截取该目标区域。
综上所述，本实施例提供的图像恢复装置，通过确定视频的各帧视频帧中的水印区域，对于每帧视频帧，根据视频帧中的水印区域的相邻区域的图像内容预测水印区域中的图像内容，进而根据预测的图像内容恢复视频帧中的水印区域的内容；解决了现有技术中用户无法正常观看视频帧中被水印所覆盖的内容的问题；达到了用户可以正常观看视频帧中的全部内容，提高了用户的用户体验的效果。
本实施例通过截取n帧视频帧中的目标区域，进而通过目标区域来确定n帧视频帧中像素值不变的区域，降低了终端的处理复杂度，提高了终端恢复水印区域中的图像内容的恢复效率，保证了视频的正常播放。
本实施例只对水印区域中的内容做预测，而并不对目标区域中的全部区域的内容做预测，提高了图像恢复时的恢复效率。
另外，本实施例通过使用视频编码中的直流预测算法，在保证终端计算复杂度较低的前提下尽可能的提高了图像恢复的准确度。
需要说明的是：上述实施例提供的图像恢复装置在进行图像恢复时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像恢复装置与图像恢复方法的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种图像恢复方法，其特征在于，所述方法包括：
获取视频中的n帧视频帧；n为大于等于2的整数；
接收用于选择所述n帧视频帧中的区域的选择信号，将所述选择信号选择的区域截取为目标区域；
对比所述n帧视频帧的所述目标区域，确定所述n帧视频帧的所述目标区域中像素值保持不变的区域；所述确定所述n帧视频帧的所述目标区域中像素值保持不变的区域，包括：计算所述目标区域中的各个像素点的像素平均值，基于所述像素平均值计算所述各个像素点的方差或标准差，将所述方差或标准差为0的所述各个像素点围成的区域确定为所述像素值保持不变的区域；
将所述像素值保持不变的区域作为所述视频的视频帧中的水印区域，所述水印区域为水印图样在所述视频帧中所占据的区域；
根据所述视频帧中所述水印区域的相邻区域的图像内容预测所述水印区域中的图像内容，其中所述图像内容包括亮度和色度，按照从左到右、从上到下的顺序依次预测所述水印区域中各个亮度单元的亮度和各个色度单元的色度；
根据预测的所述图像内容恢复所述视频帧中的水印区域的内容，
所述根据所述视频帧中所述水印区域的相邻区域的图像内容预测所述水印区域中的图像内容，包括：
确定所述视频帧中的亮度分量；
对于所述水印区域在所述亮度分量上的各个亮度单元，获取所述亮度单元的相邻亮度单元的像素，所述相邻亮度单元包括所述亮度单元的上侧亮度单元、下侧亮度单元、左侧亮度单元和右侧亮度单元中的至少一种；
根据预设预测算法以及所述相邻亮度单元的像素预测所述亮度单元的亮度；和，
所述根据所述视频帧中所述水印区域的相邻区域的图像内容预测所述水印区域中的图像内容，包括：
确定所述视频帧中的第一色度分量和第二色度分量；
对于所述水印区域在所述第一色度分量和所述第二色度分量上的各个色度单元，获取所述色度单元的相邻色度单元的像素，所述相邻色度单元包括所述色度单元的上侧色度单元、下侧色度单元、左侧色度单元和右侧色度单元中的至少一种；
根据所述预设预测算法以及所述相邻色度单元的像素预测所述色度单元的色度；
其中，所述亮度单元为i*i的像素块，i为4、8、16、32或者64；所述根据预设预测算法以及所述相邻亮度单元的像素预测所述亮度单元的亮度，包括：
设所述水印区域的左上角的顶点为坐标原点，所述水印区域的水平方向的边界为x轴，所述水印区域的竖直方向的边界为y轴；
根据所述预设预测算法以及所述相邻亮度单元的像素获取参考变量，所述参考变量为：
当所述i<32且x＝0,y＝0时，所述亮度单元的亮度为：
L[0,0]＝(p[-1,0]+2d+p[0,-1]+2)＞＞2；
当所述i<32且x＝1，2，…，i-1，y＝1时，所述亮度单元的亮度为：
L[x,0]＝(p[x,-1]+3d+2)＞＞2；
当所述i<32且x＝0，y＝1，2，…，i-1时，所述亮度单元的亮度为：
L[0,y]＝(p[-1,y]+3d+2)＞＞2；
当所述i<32且x＝1,2，…，i-1；y＝1,2，…，i-1时，所述亮度单元的亮度为：
L[x,y]＝d；
当所述i＝32或者64时，所述亮度单元的亮度为：L[x,y]＝d；x＝0,1，…i-1；y＝0,1，…i-1；
其中，所述x和所述y为所述亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值，k＝log2(i)；
其中，所述色度单元为j*j的像素块，j为4、8、16或者32；所述根据所述预设预测算法以及所述相邻色度单元的像素预测所述色度单元的色度，包括：
设所述水印区域的左上角的顶点为坐标原点，所述水印区域的水平方向的边界为x轴，所述水印区域的竖直方向的边界为y轴；
根据所述预设预测算法以及所述相邻亮度单元的像素获取参考变量，所述参考变量为：
所述色度单元的色度为：c[x,y]＝d；x＝0,1，…i-1；y＝0,1，…i-1；
其中，所述x和所述y为所述亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值，k＝log2(j)。
2.根据权利要求1所述的方法，其特征在于，所述亮度单元为16*16的像素块，所述根据预设预测算法以及所述相邻亮度单元的像素预测所述亮度单元的亮度，包括：
设所述水印区域的左上角的顶点为坐标原点，所述水印区域的水平方向的边界为x轴，所述水印区域的竖直方向的边界为y轴；
若所述相邻亮度单元包括所述亮度单元的上侧亮度单元和左侧亮度单元，则所述亮度单元的亮度为：
若所述相邻亮度单元包括所述亮度单元的左侧亮度单元，则所述亮度单元的亮度为：
若所述相邻亮度单元包括所述亮度单元的上侧亮度单元，则所述亮度单元的亮度为：
其中，所述x和所述y为所述亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值。
3.根据权利要求1所述的方法，其特征在于，所述色度单元为4*4的像素块，所述根据所述预设预测算法以及所述相邻色度单元的像素预测所述色度单元的色度，包括：
设所述水印区域的左上角的顶点为坐标原点，所述水印区域的水平方向的边界为x轴，所述水印区域的竖直方向的边界为y轴；
若所述相邻色度单元包括所述色度单元的上侧色度单元和左侧色度单元，则所述色度单元的色度为：
若所述相邻色度单元包括所述色度单元的左侧色度单元，则所述色度单元的色度为：
若所述相邻色度单元包括所述色度单元的上侧色度单元，则所述色度单元的色度为：
其中，所述x和所述y为所述色度单元的横纵坐标、x'和y′为相邻色度单元的横纵坐标，p为像素值；x0,y0为每个4*4像素块的左上角的点的坐标。
4.根据权利要求1所述的方法，其特征在于，所述对比所述n帧视频帧的所述目标区域，确定所述n帧视频帧的所述目标区域中像素保持不变的区域，包括：
截取视频帧中的所述目标区域；
对比所述n帧视频帧中截取出的所述目标区域，确定所述n帧视频帧中的所述目标区域中像素值不变的区域。
5.一种图像恢复装置，其特征在于，所述装置包括：
获取单元，用于获取视频中的n帧视频帧；n为大于等于2的整数；
截取单元，用于接收用于选择所述n帧视频帧中的区域的选择信号，将所述选择信号选择的区域截取为目标区域；
第一确定单元，用于对比所述n帧视频帧的所述目标区域，确定所述n帧视频帧的所述目标区域中像素值保持不变的区域；所述确定所述n帧视频帧的所述目标区域中像素值保持不变的区域，包括：计算所述目标区域中的各个像素点的像素平均值，基于所述像素平均值计算所述各个像素点的方差或标准差，将所述方差或标准差为0的所述各个像素点围成的区域确定为所述像素值保持不变的区域；
第二确定单元，用于将所述像素值保持不变的区域作为所述视频的视频帧中的水印区域，所述水印区域为水印图样在所述视频帧中所占据的区域；
内容预测模块，用于根据所述视频帧中所述水印区域的相邻区域的图像内容预测所述水印区域中的图像内容，其中所述图像内容包括亮度和色度，按照从左到右、从上到下的顺序依次预测所述水印区域中各个亮度单元的亮度和各个色度单元的色度；
内容恢复模块，用于根据所述内容预测模块预测的所述图像内容恢复所述视频帧中的水印区域的内容，
所述内容预测模块，包括：
确定单元，用于确定所述视频帧中的亮度分量，并且用于确定所述视频帧中的第一色度分量和第二色度分量；
第一预测单元，用于对于所述水印区域在所述亮度分量上的各个亮度单元，获取所述亮度单元的相邻亮度单元的像素，根据预设预测算法以及所述相邻亮度单元的像素预测所述亮度单元的亮度；所述相邻亮度单元包括所述亮度单元的上侧亮度单元、下侧亮度单元、左侧亮度单元和右侧亮度单元中的至少一种；和，
第二预测单元，用于对于所述水印区域在所述第一色度分量和所述第二色度分量上的各个色度单元，根据所述预设预测算法以及相邻色度单元的像素预测所述色度单元的色度；所述相邻色度单元包括所述色度单元的上侧色度单元、下侧色度单元、左侧色度单元和右侧色度单元中的至少一种；
其中，所述亮度单元为i*i的像素块，i为4、8、16、32或者64；所述第一预测单元，还用于：
设所述水印区域的左上角的顶点为坐标原点，所述水印区域的水平方向的边界为x轴，所述水印区域的竖直方向的边界为y轴；
根据所述预设预测算法以及所述相邻亮度单元的像素获取参考变量，所述参考变量为：
当所述i<32且x＝0,y＝0时，所述亮度单元的亮度为：
L[0,0]＝(p[-1,0]+2d+p[0,-1]+2)＞＞2；
当所述i<32且x＝1，2，…，i-1，y＝1时，所述亮度单元的亮度为：
L[x,0]＝(p[x,-1]+3d+2)＞＞2；
当所述i<32且x＝0，y＝1，2，…，i-1时，所述亮度单元的亮度为：
L[0,y]＝(p[-1,y]+3d+2)＞＞2；
当所述i<32且x＝1,2，…，i-1；y＝1,2，…，i-1时，所述亮度单元的亮度为：
L[x,y]＝d；
当所述i＝32或者64时，所述亮度单元的亮度为：L[x,y]＝d；x＝0,1，…i-1；y＝0,1，…i-1；
其中，所述x和所述y为所述亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值，k＝log2(i)；
其中，所述色度单元为j*j的像素块，j为4、8、16或者32；所述第二预测单元，还用于：
设所述水印区域的左上角的顶点为坐标原点，所述水印区域的水平方向的边界为x轴，所述水印区域的竖直方向的边界为y轴；
根据所述预设预测算法以及所述相邻亮度单元的像素获取参考变量，所述参考变量为：
所述色度单元的色度为：c[x,y]＝d；x＝0,1，…i-1；y＝0,1，…i-1；
其中，所述x和所述y为所述亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值，k＝log2(j)。
6.根据权利要求5所述的装置，其特征在于，所述亮度单元为16*16的像素块，所述第一预测单元，还用于：
设所述水印区域的左上角的顶点为坐标原点，所述水印区域的水平方向的边界为x轴，所述水印区域的竖直方向的边界为y轴；
若所述相邻亮度单元包括所述亮度单元的上侧亮度单元和左侧亮度单元，则所述亮度单元的亮度为：
若所述相邻亮度单元包括所述亮度单元的左侧亮度单元，则所述亮度单元的亮度为：
若所述相邻亮度单元包括所述亮度单元的上侧亮度单元，则所述亮度单元的亮度为：
其中，所述x和所述y为所述亮度单元的横纵坐标、x'和y′为相邻亮度单元的横纵坐标，p为像素值。
7.根据权利要求5所述的装置，其特征在于，所述色度单元为4*4的像素块，所述第二预测单元，还用于：
设所述水印区域的左上角的顶点为坐标原点，所述水印区域的水平方向的边界为x轴，所述水印区域的竖直方向的边界为y轴；
若所述相邻色度单元包括所述色度单元的上侧色度单元和左侧色度单元，则所述色度单元的色度为：
若所述相邻色度单元包括所述色度单元的左侧色度单元，则所述色度单元的色度为：
若所述相邻色度单元包括所述色度单元的上侧色度单元，则所述色度单元的色度为：
其中，所述x和所述y为所述色度单元的横纵坐标、x'和y′为相邻色度单元的横纵坐标，p为像素值；x0,y0为每个4*4像素块的左上角的点的坐标。
8.根据权利要求5所述的装置，其特征在于，所述第一确定单元，包括：
截取子单元，用于截取视频帧中的所述目标区域；
确定子单元，用于对比所述n帧视频帧中截取出的所述目标区域，确定所述n帧视频帧中的所述目标区域中像素值保持不变的区域。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序，所述程序用于实现如权利要求1至4任一所述的图像恢复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510287332.7A CN106296593B (zh) | 2015-05-29 | 2015-05-29 | 图像恢复方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510287332.7A CN106296593B (zh) | 2015-05-29 | 2015-05-29 | 图像恢复方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106296593A CN106296593A (zh) | 2017-01-04 |
| CN106296593B true CN106296593B (zh) | 2021-10-29 |
Family
ID=57655034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510287332.7A Active CN106296593B (zh) | 2015-05-29 | 2015-05-29 | 图像恢复方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106296593B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106412720B (zh) * | 2015-07-27 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 视频水印去除的方法和装置 |
| CN108109124A (zh) * | 2017-12-27 | 2018-06-01 | 北京诸葛找房信息技术有限公司 | 基于深度学习的不定位置图片水印修复方法 |
| CN110278439A (zh) * | 2019-06-28 | 2019-09-24 | 北京云摄美网络科技有限公司 | 基于帧间预测的去水印算法 |
| CN111510767B (zh) * | 2020-04-21 | 2022-05-06 | 新华智云科技有限公司 | 一种视频水印的识别方法及其识别装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6980226B2 (en) * | 2004-02-13 | 2005-12-27 | Eastman Kodak Company | Watermarking method for motion picture image sequence |
| CN1963865A (zh) * | 2006-12-01 | 2007-05-16 | 中南大学 | 一种安全多功能图像数字水印系统 |
| US7952767B2 (en) * | 2006-12-22 | 2011-05-31 | Xerox Corporation | Method for coherent watermark insertion and detection in color halftone images |
| CN101330611B (zh) * | 2008-07-22 | 2011-08-24 | 华为技术有限公司 | 视频水印嵌入、擦除方法和装置以及水印处理系统 |
| CN101950407B (zh) * | 2010-08-11 | 2012-04-25 | 吉林大学 | 用于证件防伪的彩色图像数字水印实现方法 |
| CN103116628A (zh) * | 2013-01-31 | 2013-05-22 | 新浪网技术(中国)有限公司 | 图像文件数字签名、以及重复图像文件判断方法和装置 |
-
2015
- 2015-05-29 CN CN201510287332.7A patent/CN106296593B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106296593A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106412720B (zh) | 视频水印去除的方法和装置 | |
| CN106296593B (zh) | 图像恢复方法和装置 | |
| JP7175197B2 (ja) | 画像処理方法および装置、記憶媒体、コンピュータ装置 | |
| KR101198320B1 (ko) | 2차원에서 3차원으로의 영상 변환 방법 및 장치 | |
| CN102113015A (zh) | 使用修补技术进行图像校正 | |
| US20120293537A1 (en) | Data-generating device, data-generating method, data-generating program and recording medium | |
| TWI390465B (zh) | 用於背景去除之影像處理方法 | |
| EP2887314B1 (en) | Video frame conversion method and apparatus | |
| US20130127989A1 (en) | Conversion of 2-Dimensional Image Data into 3-Dimensional Image Data | |
| CN110517304B (zh) | 生成深度图的方法、装置、电子设备和存储介质 | |
| JP2007189657A (ja) | 画像評価装置、画像評価方法及びプログラム | |
| CN114266838A (zh) | 图像数据处理方法、装置、电子设备及存储介质 | |
| CN108197596A (zh) | 一种手势识别方法和装置 | |
| KR20120070125A (ko) | 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법 | |
| TW201431382A (zh) | 影像處理裝置與影像處理方法 | |
| TWI517097B (zh) | 增強影像對比之方法及裝置以及非暫時性計算機可讀媒體 | |
| CN110769210B (zh) | 一种生成hdr图像的方法及装置 | |
| CN112700456A (zh) | 图像区域对比度优化方法、装置、设备及存储介质 | |
| CN111435589B (zh) | 一种目标显示的方法、装置及目标显示系统 | |
| CN110602410B (zh) | 一种图像处理方法、装置、航拍相机及存储介质 | |
| CN108712642B (zh) | 一种适用于立体视频的立体字幕添加位置自动选择方法 | |
| CN110620961A (zh) | 视频水印添加方法、装置以及视频编辑终端 | |
| KR20090063101A (ko) | 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도 | |
| CN113191210A (zh) | 一种图像处理方法、装置及设备 | |
| CN104867094A (zh) | 一种图像处理的方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |