CN106162177B - 视频编码方法和装置 - Google Patents
视频编码方法和装置 Download PDFInfo
- Publication number
- CN106162177B CN106162177B CN201610541399.3A CN201610541399A CN106162177B CN 106162177 B CN106162177 B CN 106162177B CN 201610541399 A CN201610541399 A CN 201610541399A CN 106162177 B CN106162177 B CN 106162177B
- Authority
- CN
- China
- Prior art keywords
- video frame
- region
- video
- code stream
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001914 filtration Methods 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000009499 grossing Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000013139 quantization Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种视频编码方法和装置，该方法包括：获取视频帧；检测所述视频帧中的运动目标，并在所述视频帧中将所述运动目标所在区域确定为感兴趣区域；将所述视频帧中不属于所述感兴趣区域的非感兴趣区域进行平滑滤波后，按照所述感兴趣区域的保真度高于所述非感兴趣区域的保真度的编码方式，对所述视频帧进行编码，得到视频码流。本发明提供的视频编码方法和装置，即使对于复杂场景的视频，也可以将运动目标所在区域保持较高的画面质量，而且通过降低非感兴趣区域的保真度来降低编码后的视频码流对网络资源的占用。
Description
技术领域
本发明涉及视频处理技术领域，特别是涉及一种视频编码方法和装置。
背景技术
视频是涉及动态影像的数据形式，通常包括一系列的视频帧，将视频帧连续播放就可以实现展示视频中的动态影像。通过视频编码，可以利用特定的压缩技术，将一种视频格式文件转换成适于传输的视频码流。
目前的视频编码技术适用于正常场景视频的编码，然而，对于一些复杂场景的视频，比如体育比赛或者舞台演出等视频，由于视频剧烈运动、细节丰富以及不均匀光照等各种原因，往往导致编码后的视频码流画面质量难以控制，或者为保证画质导致编码得到的视频码流占用网络资源太大，不适合传输，因此目前的视频编码方式难以兼顾画面质量和对网络资源的占用。
发明内容
基于此，有必要针对目前将视频编码后的视频码流难以兼顾画面质量和对网络资源的占用的技术问题，提供一种视频编码方法和装置。
一种视频编码方法，包括：
获取视频帧；
检测所述视频帧中的运动目标，并在所述视频帧中将所述运动目标所在区域确定为感兴趣区域；
将所述视频帧中不属于所述感兴趣区域的非感兴趣区域进行平滑滤波后，按照所述感兴趣区域的保真度高于所述非感兴趣区域的保真度的编码方式，对所述视频帧进行编码，得到视频码流。
一种视频编码装置，包括：
感兴趣区域获取模块，用于获取视频帧；检测所述视频帧中的运动目标，并在所述视频帧中将所述运动目标所在区域确定为感兴趣区域；
区域滤波模块，用于将所述视频帧中不属于所述感兴趣区域的非感兴趣区域进行平滑滤波；
编码模块，用于按照所述感兴趣区域的保真度高于所述非感兴趣区域的保真度的编码方式，对所述视频帧进行编码，得到视频码流。
上述视频编码方法和装置，通过检测视频帧中的运动目标，将运动目标所在区域确定为感兴趣区域，从而将视频帧分为感兴趣区域和非感兴趣区域。按照感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，对视频帧进行编码得到相应的视频码流，即使对于复杂场景的视频，也可以将运动目标所在区域保持较高的画面质量，而且，将视频帧中不属于感兴趣区域的非感兴趣区域进行平滑滤波，使得非感兴趣区域是平滑的而不是充满噪声的，从而提高编码后的视频码流整体的画面质量。再者，通过降低非感兴趣区域的保真度来降低编码后的视频码流对网络资源的占用。
附图说明
图1为一个实施例中视频编码系统的应用环境图；
图2A为一个实施例中服务器的内部结构示意图；
图2B为一个实施例中终端的内部结构示意图；
图3为一个实施例中视频编码方法的流程示意图；
图4为一个实施例中对视频帧进行全局运动补偿的步骤的流程示意图；
图5为一个实施例中检测视频帧中的运动目标，并在视频帧中将运动目标所在区域确定为感兴趣区域的步骤的流程示意图；
图6为一个实施例中根据提取的特征判断特征点是否属于运动目标所在区域的步骤的流程示意图；
图7为一个实施例中根据属于运动目标所在区域的特征点确定感兴趣区域的步骤的流程示意图；
图8为一个实施例中视频编码装置的结构框图；
图9为一个实施例中感兴趣区域获取模块的结构框图；
图10为另一个实施例中视频编码装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一个实施例中视频编码系统的应用环境图。如图1所示，该视频编码系统包括服务器110和终端120。服务器110可用于获取视频的视频帧；检测视频帧中的运动目标，并在视频帧中将运动目标所在区域确定为感兴趣区域；将视频帧中不属于感兴趣区域的非感兴趣区域进行平滑滤波后，按照感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，对视频帧进行编码，得到视频码流。服务器110可通过网络向终端120传输视频码流。
图2A为一个实施例中服务器110的内部结构示意图。如图2A所示，该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中，该服务器的非易失性存储介质存储有操作系统、数据库和视频编码装置，数据库中可存储有进行视频编码所需的参数，该视频编码装置用于实现一种视频编码方法。该服务器的处理器用于提供计算和控制能力，支撑整个服务器的运行。该服务器的内存储器为非易失性存储介质中的视频编码装置的运行提供环境，该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行视频编码方法。该服务器的网络接口用于据以与外部的终端通过网络连接通信，向终端发送视频码流等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解，图2A中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图2B为一个实施例中终端的内部结构示意图。如图2B所示，该终端包括通过系统总线连接的处理器、非易失性存储介质、内存储器、网络接口和显示屏。其中，终端的非易失性存储介质存储有操作系统，还存储有一种视频解码装置，该视频解码装置用于实现一种视频解码方法。该处理器用于提供计算和控制能力，支撑整个终端的运行。终端中的内存储器为非易失性存储介质中的视频解码装置的运行提供环境，该内存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种视频解码方法。网络接口用于与服务器进行网络通信，如接收服务器发送的视频码流。终端的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该终端可以是手机、平板电脑、个人数字助理或VR(Virtual Reality，即虚拟现实)终端等。本领域技术人员可以理解，图2B中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图3为一个实施例中视频编码方法的流程示意图。本实施例以该方法应用于上述图1中的服务器110来举例说明。如图3所示，该方法具体包括如下步骤：
S302，获取视频帧。
其中，视频帧是待编码的视频的组成单元，视频帧被按次序展示便可以实现视频播放。服务器可按照待编码的视频中视频帧的次序依次获取视频帧。
在一个实施例中，若获取的视频帧是关键帧，则直接对获取的视频帧执行S304；若获取的视频帧是过渡帧，则可根据该过渡帧所依赖的关键帧计算出完整的视频帧后，对完整的视频帧执行S304。其中，关键帧是指包含完整画面信息的视频帧，过渡帧则是基于关键帧计算出的包含不完整的画面信息的视频帧。
S304，检测视频帧中的运动目标，并在视频帧中将运动目标所在区域确定为感兴趣区域。
其中，运动目标是视频帧所表示的画面中运动的元素，是视频帧的前景；而视频帧中静止或者接近禁止的元素是视频帧的背景。运动目标比如位置或者姿态变化的人、移动的交通工具或者移动的光照等。感兴趣区域(Region Of Interest，ROI)，是图像处理中从被处理的图像中以方框、圆、椭圆或者不规则多边形等方式勾勒出的需要处理的区域。
具体地，服务器可对视频帧进行运动目标检测，检测出视频帧中运动目标所在区域，从而将该区域确定为感兴趣区域。由于该感兴趣区域是视频帧中运动目标所在区域，因此该感兴趣区域也是视频帧中相对于非感兴趣区域被视频观看者所关注的区域。
服务器检测视频帧中的运动目标，具体可采用帧间差分法、背景减除法和基于光流的运动目标检测算法。背景减除法通过统计前若干视频帧的变化情况，从而学习背景扰动的规律。帧间差分法的主要思想就是利用视频图像序列中连续两帧或三顿的差异来检测发生运动的区域。帧间差分法的特点是动态性强，能够适应动态背景下的运动目标检测。基于光流的运动目标检测算法是利用光流方程计算出每个像素点的运动状态矢量，从而发现运动的像素点，进而检测出运动目标所在区域。
S306，将视频帧中不属于感兴趣区域的非感兴趣区域进行平滑滤波后，按照感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，对视频帧进行编码，得到视频码流。
其中，非感兴趣区域是指视频帧中除去感兴趣区域之外的区域。对非感兴趣区域的平滑滤波是将非感兴趣区域中各像素点的像素值平滑过渡的处理过程。保真度是衡量编码后的视频码流解码后的视频帧与编码前原始的视频帧之间相似程度的量化值，保真度越高表示相似程度越高，编码后的视频码流画质损失越小；保真度越低表示相似程度越低，编码后的视频码流画质损失越大。
具体地，平滑滤波可采用均值滤波、中值滤波或者高斯滤波等方式。若采用均值滤波，服务器可将非感兴趣区域中的各个像素点的像素值替换为该像素点邻域内的像素值均值。若采用中值滤波，服务器可将非感兴趣区域中的各个像素点的像素值替换为该邻域中像素值的中间值，该中间值是将该邻域中像素值按像素值大小排序后处于中间位置的像素值。若采用高斯滤波，则服务器可将非感兴趣区域中的各个像素点的像素值替换为该像素点邻域内的各个像素值的加权平均值，且计算加权平均值的权重服从正态分布。
服务器可通过调整感兴趣区域和非感兴趣区域的量化参数(QuantizaionParameter)，实现感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式。量化参数是对视频帧进行量化编码时所采用的参数。量化参数与保真度负相关，量化参数取最小值时表示量化最精细，当量化参数取最大值时表示量化最粗糙。服务器具体可按照感兴趣区域的量化参数低于非感兴趣区域的量化参数的编码方式进行编码，从而实现感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式。
在一个实施例中，服务器可通过调整感兴趣区域和非感兴趣区域的分辨率，实现感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，具体可采用感兴趣区域的分辨率低于非感兴趣区域的分辨率的编码方式。其中，视频帧某区域的分辨率是指该区域中单位面积中所包含的像素点数。
上述视频编码方法，通过检测视频帧中的运动目标，将运动目标所在区域确定为感兴趣区域，从而将视频帧分为感兴趣区域和非感兴趣区域，该感兴趣区域也是观看者所关注的区域。按照感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，对视频帧进行编码得到相应的视频码流，即使对于复杂场景的视频，也可以将运动目标所在区域保持较高的画面质量。而且，如果直接降低非感兴趣区域的保真度会带来明显的阶梯波纹或振铃效应等压缩失真，降低画面质量。在编码之前对非感兴趣区域进行平滑滤波，减少高频信息，降低保真度下降而引起的压缩失真，非感兴趣区域被被观察到是模糊的而非充满噪声的，从而提高编码后的视频码流整体的画面质量。再者，通过降低非感兴趣区域的保真度来降低编码后的视频码流对网络资源的占用。
在一个实施例中，在S304之前，该视频编码方法还包括对视频帧进行全局运动补偿的步骤。假设视频的视频帧是由摄像机拍摄的，该摄像机的运动会导致视频帧画面整体的运动，而视频帧中一些静态的背景并不是运动的，因此这里对视频帧进行全局运动补偿，以修复摄像机运动对视频帧整体画面的影响，从而避免在检测运动目标时检测出错甚至检测到视频帧整个画面都在运动。
图4为一个实施例中对视频帧进行全局运动补偿的步骤的流程示意图。如图4所示，该步骤具体包括如下步骤：
S402，获取摄像机运动参数。
具体地，由于视频中物体的表征运动是由摄像机运动和物体运动叠加而来，而本实施例后续处理视频帧时只需要纯粹的物体运动，因此需要首先估计出摄像机运动参数，再利用摄像机运动参数修复视频帧，实现对视频帧的全局运动补偿。
在一个实施例中，服务器可采用二维仿射模型为摄像机建模，摄像机在位置s＝(x,y)处的运动向量表示为公式(1)：
其中，s＝(x,y)是摄像机某一点在两个轴向上的位置坐标，wθ(s)表示摄像机在位置s＝(x,y)处的运动向量；θ＝(a1,a2,a3,a4,a5,a6)是摄像机运动参数，分别表示摄像机在两个轴向上的伸缩量、旋转量和位移量。摄像机运动参数可采用多种方法进行估计得到，比如M-estimater(M估计法)、最小二乘法或者蚁群算法。两个轴向可以是正交的。
S404，根据摄像机运动参数，对视频帧进行全局运动补偿处理。
具体地，假设摄像机的运动是观测到的表征运动的主导量，由此可以估算出摄像机运动参数，并根据摄像机运动参数修正原始的视频帧，得到只有物体运动的视频帧。若采用二维仿射模型为摄像机建模，则服务器可根据如下公式(2)计算经过全局运动补偿处理的视频帧：
其中表示经过全局运动补偿处理的视频帧，I(s)是摄像机在两个轴向上的位置坐标，wθ(s)表示摄像机在位置s＝(x,y)处的运动向量。
本实施例中，利用估计出的摄像机参数，对视频帧进行全局运动补偿处理，使得经过全局运动补偿处理的视频帧可消除摄像机运动带来的影响，进而可以准确检测出视频帧中运动目标所在区域，保证感兴趣区域是真实的运动目标所在区域，保证视频码流能够有效兼顾画面质量和对网络资源的占用。
如图5所示，在一个实施例中，S304包括以下步骤：
S502，在视频帧的像素点中确定特征点。
在一个实施例中，S502具体包括：将视频帧中的每个像素点作为特征点；或者，在视频帧中随机选取预设数量或预设比例的像素点作为特征点；或者，对视频帧中的像素点进行均匀采样，得到特征点。
具体地，服务器既可以将视频帧中的所有像素点均作为特征点，也可以采用设定的规则从视频帧中选择部分像素点作为特征点。预设比例是指特征点的数量占视频帧的像素点总数的比例。对视频帧中的像素点进行均匀采样，具体是指在视频帧中两个轴向上分别每隔预设个数的像素点选取像素点作为特征点。当在视频帧中随机选取预设数量或预设比例的像素点作为特征点时，或者，对视频帧中的像素点进行均匀采样得到特征点时，特征点的数量少于视频帧的像素点总数。
S504，提取特征点的特征。
在一个实施例中，提取的特征包括运动特征，还包括空间特征、色彩特征和时间特征中的至少一种。
具体地，运动特征是表征特征点的运动特性的特征。假设t时刻特征点为it(x，y)。服务器可采用光流法获得特征点it(x，y)的光流向量(dx，dy)，可根据光流向量中的元素构成运动特征，比如可定义运动特征xm＝{dx，dy}。其中，x和y分别是特征点it两个轴向上的位置坐标。
空间特征是表征特征点相对于视频帧的空间位置的特征，服务器可采用特征点it(x，y)两个轴向上的位置坐标来构成空间特征，比如可定义空间特征xs＝{x，y}。
色彩特征是表征特征点的色彩特性的特征，可以将特征点的像素值构成色彩特征。服务器也可以将视频帧转化为YUV颜色模式后，将特征点it(x，y)在YUV颜色模式下各个分量的像素值yt(x，y)、ut(x，y)和vt(x，y)构成色彩特征xc＝{yt(x，y)，ut(x，y)，vt(x，y)}。采用YUV颜色模式对颜色变化更加敏感，可提高提取的特征对特征点颜色特性的表达能力。
时间特征是表征特征点的时间变化特性的特征，可以用特征点it(x，y)在下一时刻t+1的色彩特征作为本时刻t的时间特征。比如可定义时间特征为xt＝{yt+1(x′，y′)，ut+1(x′，y′)，vt+1(x′，y′)}，其中(x′，y′)＝(x+dx，y+dy)。提取的特征可表示为：X＝{xs，xm，xc，xt}。
S506，根据提取的特征判断特征点是否属于运动目标所在区域。
具体地，服务器可将提取的特征输入到经过训练的分类器，由分类器输出特征点是否属于运动目标所在区域的分类结果，从而判定特征点是否属于运动目标所在区域。在一个实施例中，服务器也可以将特征点进行聚类，得到视频帧中的多个区域，进而判断多个区域中每个区域是否为运动目标所在区域。
S508，根据属于运动目标所在区域的特征点确定感兴趣区域。
具体地，若将视频帧中的每个像素点作为特征点，则服务器可将判定为属于运动目标所在区域的特征点围成的区域作为感兴趣区域。若特征点的数量少于视频帧的像素点总数，则服务器可根据特征点是否属于运动目标所在区域的判断结果，估计视频帧中非特征点的像素点是否属于运动目标所在区域。
本实施例中，依据视频帧中的特征点，判断各个特征点是否属于运动目标所在区域，从而将属于运动目标所在区域的特征点所构成的区域确定为感兴趣区域，可准确检测出视频帧中运动目标所在区域，保证感兴趣区域是真实的运动目标所在区域，保证视频码流能够有效兼顾画面质量和对网络资源的占用。
如图6所示，在一个实施例中，S506包括如下步骤：
S602，根据提取的特征将特征点进行聚类，得到视频帧中的多个区域。
具体地，服务器可根据提取的特征将特征点聚类为多个类别，每个类别的特征点形成相应的区域，从而得到视频帧中的多个区域。服务器具体可采用k-means聚类算法、层次聚类算法、SOM(Self-organizing feature Map，自组织特征映射网络)聚类算法或者Meanshift(均值偏移)聚类算法等进行聚类。通过聚类算法，可将提取的特征在高维空间中收敛到若干局部稠密的区域。本实施例中得到的每个区域便是一个完整的成块分布的前景物体或背景物体。
S604，获取多个区域各自的光流平均运动速度。
多个区域各自的光流平均运动速度，是多个区域中每个区域在光流场中运动速度的平均值。光流场是视频帧中的所有像素点构成的一种二维瞬时速度场。
S606，将多个区域各自的光流平均运动速度分别与预设值比较。
其中，预设值是0或者接近于0的数值。服务器将多个区域各自的光流平均运动速度分别与预设值进行数值大小的比较，从而可根据比较结果确定运动目标所在区域。
S608，将多个区域中光流平均运动速度大于预设值的区域确定为运动目标所在区域。
具体地，服务器可将多个区域中光流平均运动速度大于预设值的区域标定为为运动目标所在区域，并将多个区域中光流平均运动速度小于或等于预设值的区域标定为非感兴趣区域。
本实施例中，根据提取的特征将特征点进行聚类，得到视频帧中的多个区域，通过将多个区域各自的光流平均运动速度与预设值比较，可高效、准确地判定视频帧中的感兴趣区域，保证感兴趣区域是真实的运动目标所在区域，保证视频码流能够有效兼顾画面质量和对网络资源的占用。
在一个实施例中，特征点的数量少于视频帧的像素点总数。如图7所示，S508具体包括如下步骤：
S702，在视频帧中查找与非特征点的像素点距离最近的特征点。
具体地，服务器可遍历视频帧中每个非特征点的像素点，并计算遍历的像素点与每个特征点之间的距离，从而根据计算的距离查找到与遍历的像素点距离最近的特征点，直至遍历完视频帧中所有非特征点的像素点。
S704，根据查找到的特征点是否属于运动目标所在区域的判断结果，确定非特征点的像素点是否属于运动目标所在区域。
具体地，若查找到的特征点属于运动目标所在区域，则服务器可直接判定相应遍历的像素点也属于运动目标所在区域；若查找到的特征点不属于运动目标所在区域，则服务器可直接判定相应遍历的像素点也不属于运动目标所在区域。
S706，根据属于运动目标所在区域的像素点确定感兴趣区域。
具体地，服务器在遍历所有非特征点的像素点并确定其是否属于运动目标所在区域后，便可以获知视频帧中每个像素点是否属于感兴趣区域，进而可以根据视频帧中属于运动目标所在区域的像素点确定感兴趣区域，视频帧中属于运动目标所在区域的像素点包括属于运动目标所在区域的特征点和属于运动目标所在区域的非特征点的像素点。
本实施例中，利用数量少于视频帧的像素点总数的特征点的是否属于运动目标所在区域的判断结果，估计视频帧中非特征点的像素点是否属于运动目标所在区域，可以利用少量计算高效地确定感兴趣区域，提高了视频编码效率。
在一个实施例中，该方法还包括：生成标记视频帧中的每个像素点是否属于感兴趣区域的标记模板。该步骤可在执行步骤S304之后执行。其中，标记模板记录了视频帧中的每个像素点是否属于感兴趣区域的信息。该标记模板具体可以是与视频帧的画面尺寸相同的二维矩阵，该二维矩阵中的元素与视频帧的各个像素点一一对应，该二维矩阵中的每个元素是视频帧中相应的像素点是否属于感兴趣区域的标记。该标记模板中的标记取两个数值，分别表示相应视频帧中的像素点属于感兴趣区域或者不属于感兴趣区域，比如可用“1”和“0”分别表示属于或者不属于感兴趣区域。
在一个实施例中，S306包括：将视频帧中由标记模板标记的不属于感兴趣区域的像素点构成的非感兴趣区域进行平滑滤波后，按照由标记模板标记形成的感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，对视频帧进行编码，得到视频码流。
本实施例中，通过标记模板可以简单高效地表达视频帧中的每个像素点是否属于感兴趣区域，从而在处理视频帧的每个像素点时，以标记模板为参考，对感兴趣区域和非感兴趣区域中的像素点进行差异化的编码，可进一步提高视频编码效率。
在一个实施例中，视频帧包括左眼视频帧和右眼视频帧；视频码流包括左眼视频码流和右眼视频码流；视频编码方法还包括：将左眼视频码流和右眼视频码流发送到VR终端，使得VR终端将左眼视频码流和右眼视频码流分别解码后同步播放。
具体地，服务器可获取左眼视频帧和右眼视频帧，分别检测左眼视频帧和右眼视频帧中的运动目标，并分别在左眼视频帧和右眼视频帧中将检测到的运动目标所在区域确定为感兴趣区域，分别将左眼视频帧和右眼视频帧中不属于感兴趣区域的非感兴趣区域进行平滑滤波后，按照感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，对视频帧进行编码，分别得到左眼视频码流和右眼视频码流。其中，左眼视频帧和右眼视频帧用于生成视觉三维画面。左眼视频帧和右眼视频帧可以从全景视频中获取。
服务器在编码得到左眼视频码流和右眼视频码流后，将左眼视频码流和右眼视频码流推送到VR终端，使得VR终端将左眼视频码流和右眼视频码流分别解码为左眼视频帧和右眼视频帧后同步播放。通过VR终端自带或者附加的左眼镜片和右眼镜片，VR终端展示的左眼视频帧和右眼视频帧经过用户眼睛形成视觉三维画面。其中VR终端可以是自带左眼镜片、右眼镜片和显示屏的专用VR终端，也可以是手机、平板电脑等移动终端，该移动终端通过附加于移动终端的左眼镜片和右眼镜片再经过用户眼睛形成视觉三维画面。
本实施例中，将视频编码为左眼视频码流和右眼视频码流后发送到VR终端，使得VR终端能够还原出左眼视频帧和右眼视频帧并同步播放，VR终端的使用者可以观看到高质量的三维画面。而且将左眼视频码流和右眼视频码流发送到VR终端对网络资源占用小，可避免VR终端播放时发生卡顿。
如图8所示，在一个实施例中，提供了一种视频编码装置800，包括感兴趣区域获取模块810、区域滤波模块820和编码模块830。
感兴趣区域获取模块810，用于获取视频帧；检测视频帧中的运动目标，并在视频帧中将运动目标所在区域确定为感兴趣区域。
区域滤波模块820，用于将视频帧中不属于感兴趣区域的非感兴趣区域进行平滑滤波。
编码模块830，用于按照感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，对视频帧进行编码，得到视频码流。
上述视频编码装置800，通过检测视频帧中的运动目标，将运动目标所在区域确定为感兴趣区域，从而将视频帧分为感兴趣区域和非感兴趣区域，该感兴趣区域也是观看者所关注的区域。按照感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，对视频帧进行编码得到相应的视频码流，即使对于复杂场景的视频，也可以将运动目标所在区域保持较高的画面质量。而且，如果直接降低非感兴趣区域的保真度会带来明显的阶梯波纹或振铃效应等压缩失真，降低画面质量。在编码之前对非感兴趣区域进行平滑滤波，减少高频信息，降低保真度下降而引起的压缩失真，非感兴趣区域被被观察到是模糊的而非充满噪声的，从而提高编码后的视频码流整体的画面质量。再者，通过降低非感兴趣区域的保真度来降低编码后的视频码流对网络资源的占用。
如图9所示，在一个实施例中，感兴趣区域获取模块810包括：全局运动补偿模块811，用于获取摄像机运动参数；根据摄像机运动参数，对视频帧进行全局运动补偿处理。
本实施例中，利用估计出的摄像机参数，对视频帧进行全局运动补偿处理，使得经过全局运动补偿处理的视频帧可消除摄像机运动带来的影响，进而可以准确检测出视频帧中运动目标所在区域，保证感兴趣区域是真实的运动目标所在区域，保证视频码流能够有效兼顾画面质量和对网络资源的占用。
在一个实施例中，感兴趣区域获取模块810包括：特征提取模块812和感兴趣区域判断模块813。
特征提取模块812，用于在视频帧的像素点中确定特征点；提取特征点的特征。
感兴趣区域判断模块813，用于根据提取的特征判断特征点是否属于运动目标所在区域；根据属于运动目标所在区域的特征点确定感兴趣区域。
本实施例中，依据视频帧中的特征点，判断各个特征点是否属于运动目标所在区域，从而将属于运动目标所在区域的特征点所构成的区域确定为感兴趣区域，可准确检测出视频帧中运动目标所在区域，保证感兴趣区域是真实的运动目标所在区域，保证视频码流能够有效兼顾画面质量和对网络资源的占用。
在一个实施例中，特征提取模块812还用于将视频帧中的每个像素点作为特征点；或者，在视频帧中随机选取预设数量或预设比例的像素点作为特征点；或者，对视频帧中的像素点进行均匀采样，得到特征点。
在一个实施例中，提取的特征包括运动特征，还包括空间特征、色彩特征和时间特征中的至少一种。
在一个实施例中，感兴趣区域判断模块813还用于根据提取的特征将特征点进行聚类，得到视频帧中的多个区域；获取多个区域各自的光流平均运动速度；将多个区域各自的光流平均运动速度分别与预设值比较；将多个区域中光流平均运动速度大于预设值的区域确定为运动目标所在区域。
本实施例中，根据提取的特征将特征点进行聚类，得到视频帧中的多个区域，通过将多个区域各自的光流平均运动速度与预设值比较，可高效、准确地判定视频帧中的感兴趣区域，保证感兴趣区域是真实的运动目标所在区域，保证视频码流能够有效兼顾画面质量和对网络资源的占用。
在一个实施例中，特征点的数量少于视频帧的像素点总数；感兴趣区域判断模块813还用于在视频帧中查找与非特征点的像素点距离最近的特征点；根据查找到的特征点是否属于运动目标所在区域的判断结果，确定非特征点的像素点是否属于运动目标所在区域；根据属于运动目标所在区域的像素点确定感兴趣区域。
本实施例中，利用数量少于视频帧的像素点总数的特征点的是否属于运动目标所在区域的判断结果，估计视频帧中非特征点的像素点是否属于运动目标所在区域，可以利用少量计算高效地确定感兴趣区域，提高了视频编码效率。
在一个实施例中，感兴趣区域获取模块810还用于生成标记视频帧中的每个像素点是否属于感兴趣区域的标记模板；
区域滤波模块820还用于将视频帧中由标记模板标记的不属于感兴趣区域的像素点构成的非感兴趣区域进行平滑滤波。
编码模块830还用于按照由标记模板标记形成的感兴趣区域的保真度高于非感兴趣区域的保真度的编码方式，对视频帧进行编码，得到视频码流。
本实施例中，通过标记模板可以简单高效地表达视频帧中的每个像素点是否属于感兴趣区域，从而在处理视频帧的每个像素点时，以标记模板为参考，对感兴趣区域和非感兴趣区域中的像素点进行差异化的编码，可进一步提高视频编码效率。
在一个实施例中，视频帧包括左眼视频帧和右眼视频帧；视频码流包括左眼视频码流和右眼视频码流。如图10所示，视频编码装置还包括：视频码流发送模块840，用于将左眼视频码流和右眼视频码流发送到VR终端，使得VR终端将左眼视频码流和右眼视频码流分别解码后同步播放。
本实施例中，将视频编码为左眼视频码流和右眼视频码流后发送到VR终端，使得VR终端能够还原出左眼视频帧和右眼视频帧并同步播放，VR终端的使用者可以观看到高质量的三维画面。而且将左眼视频码流和右眼视频码流发送到VR终端对网络资源占用小，可避免VR终端播放时发生卡顿。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，该存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种视频编码方法，包括：
获取视频帧；
检测所述视频帧中的运动目标，并在所述视频帧中将所述运动目标所在区域确定为感兴趣区域；
将所述视频帧中不属于所述感兴趣区域的非感兴趣区域进行平滑滤波后，按照所述感兴趣区域的保真度高于所述非感兴趣区域的保真度的编码方式，对所述视频帧进行编码，得到视频码流；
所述检测所述视频帧中的运动目标，并在所述视频帧中将所述运动目标所在区域确定为感兴趣区域包括：
在所述视频帧的像素点中确定特征点；
提取所述特征点的特征；所述特征包括运动特征，还包括空间特征、色彩特征和时间特征中的至少一种；
根据提取的特征将所述特征点进行聚类，得到所述视频帧中的多个区域；获取所述多个区域各自的光流平均运动速度；将所述多个区域各自的光流平均运动速度分别与预设值比较；将所述多个区域中光流平均运动速度大于预设值的区域确定为运动目标所在区域；
根据属于所述运动目标所在区域的特征点确定感兴趣区域。
2.根据权利要求1所述的方法，其特征在于，所述检测所述视频帧中的运动目标，并在所述视频帧中将所述运动目标所在区域确定为感兴趣区域的步骤之前，所述方法还包括：
获取摄像机运动参数；
根据所述摄像机运动参数，对所述视频帧进行全局运动补偿处理。
3.根据权利要求1所述的方法，其特征在于，所述在所述视频帧的像素点中确定特征点包括：
将所述视频帧中的每个像素点作为特征点；或者，
在所述视频帧中随机选取预设数量或预设比例的像素点作为特征点；或者，
对所述视频帧中的像素点进行均匀采样，得到特征点。
4.根据权利要求1所述的方法，其特征在于，所述特征点的数量少于所述视频帧的像素点总数；所述根据属于所述运动目标所在区域的特征点确定感兴趣区域包括：
在所述视频帧中查找与非所述特征点的像素点距离最近的特征点；
根据查找到的特征点是否属于所述运动目标所在区域的判断结果，确定所述非所述特征点的像素点是否属于所述运动目标所在区域；
根据属于所述运动目标所在区域的像素点确定感兴趣区域。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
生成标记所述视频帧中的每个像素点是否属于所述感兴趣区域的标记模板；
所述将所述视频帧中不属于所述感兴趣区域的非感兴趣区域进行平滑滤波后，按照所述感兴趣区域的保真度高于所述非感兴趣区域的保真度的编码方式，对所述视频帧进行编码，得到视频码流的步骤包括：
将所述视频帧中由所述标记模板标记的不属于所述感兴趣区域的像素点构成的非感兴趣区域进行平滑滤波后，按照由所述标记模板标记形成的感兴趣区域的保真度高于所述非感兴趣区域的保真度的编码方式，对所述视频帧进行编码，得到视频码流。
6.根据权利要求1所述的方法，其特征在于，所述视频帧包括左眼视频帧和右眼视频帧；所述视频码流包括左眼视频码流和右眼视频码流；所述方法还包括：
将所述左眼视频码流和右眼视频码流发送到VR终端，使得所述VR终端将所述左眼视频码流和所述右眼视频码流分别解码后同步播放。
7.一种视频编码装置，其特征在于，包括：
感兴趣区域获取模块，用于获取视频帧；检测所述视频帧中的运动目标，并在所述视频帧中将所述运动目标所在区域确定为感兴趣区域；
区域滤波模块，用于将所述视频帧中不属于所述感兴趣区域的非感兴趣区域进行平滑滤波；
编码模块，用于按照所述感兴趣区域的保真度高于所述非感兴趣区域的保真度的编码方式，对所述视频帧进行编码，得到视频码流；
所述感兴趣区域获取模块包括：
特征提取模块，用于在所述视频帧的像素点中确定特征点；提取所述特征点的特征；所述特征包括运动特征，还包括空间特征、色彩特征和时间特征中的至少一种；
感兴趣区域判断模块，用于根据提取的特征将所述特征点进行聚类，得到所述视频帧中的多个区域；获取所述多个区域各自的光流平均运动速度；将所述多个区域各自的光流平均运动速度分别与预设值比较；将所述多个区域中光流平均运动速度大于预设值的区域确定为运动目标所在区域。
8.根据权利要求7所述的装置，其特征在于，所述感兴趣区域获取模块包括：全局运动补偿模块，用于获取摄像机运动参数；根据所述摄像机运动参数，对所述视频帧进行全局运动补偿处理。
9.根据权利要求7所述的装置，其特征在于，所述特征提取模块还用于将所述视频帧中的每个像素点作为特征点；或者，在所述视频帧中随机选取预设数量或预设比例的像素点作为特征点；或者，对所述视频帧中的像素点进行均匀采样，得到特征点。
10.根据权利要求7所述的装置，其特征在于，所述特征点的数量少于所述视频帧的像素点总数；所述感兴趣区域判断模块还用于在所述视频帧中查找与非所述特征点的像素点距离最近的特征点；根据查找到的特征点是否属于所述运动目标所在区域的判断结果，确定所述非所述特征点的像素点是否属于所述运动目标所在区域；根据属于所述运动目标所在区域的像素点确定感兴趣区域。
11.根据权利要求7所述的装置，其特征在于，所述感兴趣区域获取模块还用于生成标记所述视频帧中的每个像素点是否属于所述感兴趣区域的标记模板；
所述区域滤波模块还用于将所述视频帧中由所述标记模板标记的不属于所述感兴趣区域的像素点构成的非感兴趣区域进行平滑滤波；
所述编码模块还用于按照由所述标记模板标记形成的感兴趣区域的保真度高于所述非感兴趣区域的保真度的编码方式，对所述视频帧进行编码，得到视频码流。
12.根据权利要求7所述的装置，其特征在于，所述视频帧包括左眼视频帧和右眼视频帧；所述视频码流包括左眼视频码流和右眼视频码流；所述装置还包括：视频码流发送模块，用于将所述左眼视频码流和右眼视频码流发送到VR终端，使得所述VR终端将所述左眼视频码流和所述右眼视频码流分别解码后同步播放。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610541399.3A CN106162177B (zh) | 2016-07-08 | 2016-07-08 | 视频编码方法和装置 |
| PCT/CN2017/091846 WO2018006825A1 (zh) | 2016-07-08 | 2017-07-05 | 视频编码方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610541399.3A CN106162177B (zh) | 2016-07-08 | 2016-07-08 | 视频编码方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106162177A CN106162177A (zh) | 2016-11-23 |
| CN106162177B true CN106162177B (zh) | 2018-11-09 |
Family
ID=58062467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610541399.3A Active CN106162177B (zh) | 2016-07-08 | 2016-07-08 | 视频编码方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106162177B (zh) |
| WO (1) | WO2018006825A1 (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106162177B (zh) * | 2016-07-08 | 2018-11-09 | 腾讯科技（深圳）有限公司 | 视频编码方法和装置 |
| CN108156459A (zh) * | 2016-12-02 | 2018-06-12 | 北京中科晶上科技股份有限公司 | 可伸缩视频传输方法及系统 |
| US10742999B2 (en) * | 2017-01-06 | 2020-08-11 | Mediatek Inc. | Methods and apparatus for signaling viewports and regions of interest |
| CN108965929B (zh) * | 2017-05-23 | 2021-10-15 | 华为技术有限公司 | 一种视频信息的呈现方法、呈现视频信息的客户端和装置 |
| CN109743892B (zh) | 2017-07-04 | 2020-10-13 | 腾讯科技（深圳）有限公司 | 虚拟现实内容的显示方法和装置 |
| CN107454395A (zh) * | 2017-08-23 | 2017-12-08 | 上海安威士科技股份有限公司 | 一种高清网络摄像机及智能码流控制方法 |
| CN109698957B (zh) * | 2017-10-24 | 2022-03-29 | 腾讯科技（深圳）有限公司 | 图像编码方法、装置、计算设备及存储介质 |
| CN108063946B (zh) * | 2017-11-16 | 2021-09-24 | 腾讯科技(成都)有限公司 | 图像编码方法和装置、存储介质及电子装置 |
| CN108492322B (zh) * | 2018-04-04 | 2022-04-22 | 南京大学 | 一种基于深度学习预测用户视场的方法 |
| CN110536138B (zh) * | 2018-05-25 | 2021-11-09 | 杭州海康威视数字技术股份有限公司 | 一种有损压缩编码方法、装置和系统级芯片 |
| CN108848389B (zh) * | 2018-07-27 | 2021-03-30 | 恒信东方文化股份有限公司 | 一种全景视频处理方法及播放系统 |
| CN108924629B (zh) * | 2018-08-28 | 2021-01-05 | 恒信东方文化股份有限公司 | 一种vr图像处理方法 |
| CN109360436B (zh) * | 2018-11-02 | 2021-01-08 | Oppo广东移动通信有限公司 | 一种视频生成方法、终端及存储介质 |
| US11212537B2 (en) * | 2019-03-28 | 2021-12-28 | Advanced Micro Devices, Inc. | Side information for video data transmission |
| CN110213587A (zh) * | 2019-07-08 | 2019-09-06 | 北京达佳互联信息技术有限公司 | 视频编码方法、装置、电子设备及存储介质 |
| CN110728173A (zh) * | 2019-08-26 | 2020-01-24 | 华北石油通信有限公司 | 基于感兴趣目标显著性检测的视频传输方法和装置 |
| CN110807407B (zh) * | 2019-10-30 | 2023-04-18 | 东北大学 | 一种用于视频中高度近似动态目标的特征提取方法 |
| CN111885332A (zh) * | 2020-07-31 | 2020-11-03 | 歌尔科技有限公司 | 一种视频存储方法、装置、摄像头及可读存储介质 |
| CN112261408B (zh) * | 2020-09-16 | 2023-04-25 | 青岛小鸟看看科技有限公司 | 用于头戴显示设备的图像处理方法、装置及电子设备 |
| CN112532917B (zh) * | 2020-10-21 | 2023-04-14 | 深圳供电局有限公司 | 一种基于流媒体的一体化智能监控平台 |
| CN112672151B (zh) * | 2020-12-09 | 2023-06-20 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、服务器及存储介质 |
| CN112954398B (zh) * | 2021-02-07 | 2023-03-24 | 杭州网易智企科技有限公司 | 编码方法、解码方法、装置、存储介质及电子设备 |
| JP2024513036A (ja) * | 2021-03-31 | 2024-03-21 | 浙江吉利控股集団有限公司 | ビデオ画像処理方法、装置、機器及び記憶媒体 |
| CN113891019B (zh) * | 2021-09-24 | 2024-08-20 | 深圳Tcl新技术有限公司 | 视频编码方法、装置、拍摄设备和存储介质 |
| CN114339222A (zh) * | 2021-12-20 | 2022-04-12 | 杭州当虹科技股份有限公司 | 视频编码方法 |
| CN115297289B (zh) * | 2022-10-08 | 2022-12-23 | 南通第二世界网络科技有限公司 | 一种监控视频高效存储方法 |
| CN116389761B (zh) * | 2023-05-15 | 2023-08-08 | 南京邮电大学 | 一种护理学临床仿真教学数据管理系统 |
| CN116684687B (zh) * | 2023-08-01 | 2023-10-24 | 蓝舰信息科技南京有限公司 | 基于数字孪生技术的增强可视化教学方法 |
| CN117880520B (zh) * | 2024-03-11 | 2024-05-10 | 山东交通学院 | 一种用于机车乘务员值乘标准化监控的数据管理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101102495A (zh) * | 2007-07-26 | 2008-01-09 | 武汉大学 | 一种基于区域的视频图像编解码方法和装置 |
| CN101882316A (zh) * | 2010-06-07 | 2010-11-10 | 深圳市融创天下科技发展有限公司 | 一种图像区域划分/编码方法、装置及系统 |
| CN104125470A (zh) * | 2014-08-07 | 2014-10-29 | 成都瑞博慧窗信息技术有限公司 | 一种视频数据传输方法 |
| CN105100771A (zh) * | 2015-07-14 | 2015-11-25 | 山东大学 | 一种基于场景分类和几何标注的单视点视频深度获取方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10300048B4 (de) * | 2002-01-05 | 2005-05-12 | Samsung Electronics Co., Ltd., Suwon | Verfahren und Vorrichtung zur Bildcodierung und -decodierung |
| CN101164342B (zh) * | 2005-03-01 | 2011-03-02 | 高通股份有限公司 | 使用ρ域位分配的视频电话中的关注区编码方法及装置 |
| CN101341494B (zh) * | 2005-10-05 | 2013-03-06 | 高通股份有限公司 | 基于视频帧运动的自动关注区检测 |
| JP4375452B2 (ja) * | 2007-07-18 | 2009-12-02 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム、並びに表示装置 |
| CN101339602B (zh) * | 2008-07-15 | 2011-05-04 | 中国科学技术大学 | 一种基于光流法的视频火灾烟雾图像识别方法 |
| US10205953B2 (en) * | 2012-01-26 | 2019-02-12 | Apple Inc. | Object detection informed encoding |
| CN106162177B (zh) * | 2016-07-08 | 2018-11-09 | 腾讯科技（深圳）有限公司 | 视频编码方法和装置 |
-
2016
- 2016-07-08 CN CN201610541399.3A patent/CN106162177B/zh active Active
-
2017
- 2017-07-05 WO PCT/CN2017/091846 patent/WO2018006825A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101102495A (zh) * | 2007-07-26 | 2008-01-09 | 武汉大学 | 一种基于区域的视频图像编解码方法和装置 |
| CN101882316A (zh) * | 2010-06-07 | 2010-11-10 | 深圳市融创天下科技发展有限公司 | 一种图像区域划分/编码方法、装置及系统 |
| CN104125470A (zh) * | 2014-08-07 | 2014-10-29 | 成都瑞博慧窗信息技术有限公司 | 一种视频数据传输方法 |
| CN105100771A (zh) * | 2015-07-14 | 2015-11-25 | 山东大学 | 一种基于场景分类和几何标注的单视点视频深度获取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 全局光流场估计技术及展望;宋爽，杨健;《计算机辅助设计与图形学学报》;20140531;第26卷(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018006825A1 (zh) | 2018-01-11 |
| CN106162177A (zh) | 2016-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106162177B (zh) | 视频编码方法和装置 | |
| Xu et al. | Assessing visual quality of omnidirectional videos | |
| US7203356B2 (en) | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications | |
| Fang et al. | Objective quality assessment of screen content images by uncertainty weighting | |
| Lim et al. | VR IQA NET: Deep virtual reality image quality assessment using adversarial learning | |
| US8331617B2 (en) | Robot vision system and detection method | |
| CN103002289B (zh) | 面向监控应用的视频恒定质量编码装置及其编码方法 | |
| WO2018010653A1 (zh) | 全景媒体文件推送方法及装置 | |
| Zhang et al. | An imbalance compensation framework for background subtraction | |
| Yang et al. | An objective assessment method based on multi-level factors for panoramic videos | |
| WO2021164216A1 (zh) | 一种视频编码方法、装置、设备及介质 | |
| US20120242794A1 (en) | Producing 3d images from captured 2d video | |
| CN114003190B (zh) | 一种适应多场景和多设备的增强现实方法和装置 | |
| CN110827193A (zh) | 基于多通道特征的全景视频显著性检测方法 | |
| CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
| JP2005513656A (ja) | 体積成長および変化検出マスクを使用してビデオ内の移動オブジェクトを識別するための方法 | |
| CN110381268A (zh) | 生成视频的方法，装置，存储介质及电子设备 | |
| CN110012350B (zh) | 一种视频处理方法及装置、设备、存储介质 | |
| US20200402243A1 (en) | Video background estimation using spatio-temporal models | |
| US20170116741A1 (en) | Apparatus and Methods for Video Foreground-Background Segmentation with Multi-View Spatial Temporal Graph Cuts | |
| CN112468806B (zh) | 一种用于云vr平台的全景视频传输优化方法 | |
| Sharma et al. | A flexible architecture for multi-view 3DTV based on uncalibrated cameras | |
| CN112104869A (zh) | 一种视频大数据存储及转码优化系统 | |
| TW201535324A (zh) | 移動物體偵測方法及其裝置 | |
| JP2009212605A (ja) | 情報処理方法、情報処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |