CN107454395A - 一种高清网络摄像机及智能码流控制方法 - Google Patents
一种高清网络摄像机及智能码流控制方法 Download PDFInfo
- Publication number
- CN107454395A CN107454395A CN201710730276.9A CN201710730276A CN107454395A CN 107454395 A CN107454395 A CN 107454395A CN 201710730276 A CN201710730276 A CN 201710730276A CN 107454395 A CN107454395 A CN 107454395A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- frame
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种高清网络摄像机智能码流控制方法，包括以下步骤：动态采集网络摄像机的原始YUV图像，获取实时场景图像；利用改进的差分算法分析画面运动特性；利用形态学进行处理，去除噪声信息；运动目标定位；计算运动目标区域，进行多运动区域融合；对目标区域编码质量进行动态调整，提高目标区域编码质量，降低非目标区域编码质量以及帧率。
Description
技术领域
本发明属于网络视频监控技术领域，特别涉及一种高清网络摄像机及智能码流控制方法。
背景技术
近年来，随着高清概念的普及，视频监控行业高清化、网络化已经成为标配，同时家用高清网络摄像机也日渐走进人们视野，人们越来越感受到虽然图像质量提高，但是视频画面的流畅性并不理想，经常出现视频卡顿等问题，虽然我们网络带宽已经达到甚至超过百兆，但是视频监控的流畅性还是不太理想，这是为什么呢？
高清伴随着高传输带宽，同时由于对监控视频传输的实时性，以及流畅性的要求，那么对于传输带宽要求也更大，由于网络传输的波动性以及网络结构的复杂性都会导致视频传输出现延时、卡顿。所以既能保证动态画面图像质量，又能兼顾视频传输流畅性以及降低存储成本的技术就变得非常重要。
目前为解决这种问题，也提出了很多方法，根据画面场景运动情况，来进行动态改变编码，静态画面下降低编码质量，动态画面提高编码质量，这种方法虽然能降低传输带宽，但是由于画面一些微小运动都会导致整体图像编码突然升高，动态画面视频带宽突增，动态画面编码带宽依然很高，甚至高出静态场景数倍。
发明内容
本发明为解决现有技术问题，提供了一种高清网络摄像机，以及高清网络摄像机智能码流控制方法。
本发明的技术方案是，一种高清网络摄像机，该网络摄像机包括存储器；以及
耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：
步骤一、动态采集网络摄像机获取的原始YUV图像，采集实时场景图像时，采用低分辨率的输入图像，图像视场角与原始YUV图像一致；
步骤二、针对监控环境固定情况，采用多帧平均法来建立背景模型，在一个时间段内，将采集到的多帧图像进行相加，获取平均值，作为背景模型，具体公式如式(1)：
其中，Bn是第n帧图像时候建立的背景模型，fn是第n帧的图像，N是平均的帧数，
考虑到环境光线变化，每隔一段时间要更新背景模型，有公式(2)如下：
新的背景模型根据前一次背景模型Bn-1，同时根据当前帧fn和fn-N计算得出，这样就实现了背景模型的更新。
步骤三、对二值化图像进行腐蚀操作，使得白色噪声区大体消失，同时利用膨胀对目标区域进行重建，取得运动目标区域，遵循最终目标区域大于等于运动目标区域原则，保证后续对目标区域编码过程中运动目标整体以及周围画面清晰；
步骤四、提取运动目标区域，对运动目标区域进行规则化处理，上下左右四点定位，在视频中将运动目标用矩形框标记出来，并计算运动目标中心位置以及具体坐标，同时预测目标物体运动方向，将运动方向区域归入运动目标区域；
步骤五、针对可能出现多个运动目标区域的情况，对目标区域根据距离位置进行融合，为下一步目标区域动态编码提供方便；
步骤六、对目标区域编码质量进行动态调整，提高目标区域编码质量，降低非目标区域编码质量以及帧率。
对于步骤二，针对监控场景运动画面较慢情况，根据不同时间目标在画面中位置不同，采用帧差分法获取运动目标，根据时间上连续的两帧图像或者三帧图像进行差分运算，不同帧对应像素点相减，判断不同帧之间灰度值之差，当超过预设阈值，可判断为运动目标，实现对运动目标检测功能，计算公式如式(3)：
Sn(x,y)＝|fn(x,y)-fn-1(x,y)| (3)
其中，fn为第n帧图像，fn-1为第n-1帧图像，两帧对应灰度值分别为fn(x,y)和fn-1(x,y)，相减获取的绝对值就是差分图像Sn，
设置阈值为P，像素点灰度值大于阈值P，则为运动目标像素，取值255，反之则为背景像素，取值为0，可实现对上述差分图像像素点进行二值化处理，得到二值化图像T′n，
针对监控场景运动画面速度较快时，运动目标在画面位置相差较大，一次差分差分不能获取完整运动目标，采用三帧差分，计算公式如式(5)，
S'n(x,y)＝|fn(x,y)-fn-1(x,y)|∩|fn+1(x,y)-fn(x,y)| (5)
其中，取第n帧与n-1帧，以及第n+1帧与第n帧的像素点灰度值，参考上述方法进行差分运算，获取两帧差分画面Sn和Sn+1，然后进行与运算，得到图像S'n，同样利用公式(4)方法，提取运动目标物体T′n。
对于步骤六，通过前述步骤已经获取到一个或者多个运动目标位置坐标信息Zn，根据运动目标坐标位置，将视频编码区域分为两部分，分别为感兴趣区域(ROI)和非感兴趣区域，
预设两个区域编码模块编码量化参数QP以及帧率，编码量化参数QP值越小，编码量化越精细，质量越高，
对运动目标区域降低编码量化参数QP，从而提高编码质量，同时保持正常帧率，
非运动区相对保持低质量编码，降低编码帧率为预设值，通过对图像中不同区域有针对性进行编码。
一种高清网络摄像机智能码流控制方法，包括以下步骤：
步骤一、动态采集网络摄像机获取的原始YUV图像，采集实时场景图像时，采用低分辨率的输入图像，图像视场角与原始YUV图像一致；
步骤二、针对监控环境固定情况，采用多帧平均法来建立背景模型，在一个时间段内，将采集到的多帧图像进行相加，获取平均值，作为背景模型，具体公式如式(1)：
其中，Bn是第n帧图像时候建立的背景模型，fn是第n帧的图像，N是平均的帧数，
考虑到环境光线变化，每隔一段时间要更新背景模型，有公式(2)如下：
新的背景模型根据前一次背景模型Bn-1，同时根据当前帧fn和fn-N计算得出，这样就实现了背景模型的更新。
步骤三、对二值化图像进行腐蚀操作，使得白色噪声区大体消失，同时利用膨胀对目标区域进行重建，取得运动目标区域，遵循最终目标区域大于等于运动目标区域原则，保证后续对目标区域编码过程中运动目标整体以及周围画面清晰；
步骤四、提取运动目标区域，对运动目标区域进行规则化处理，上下左右四点定位，在视频中将运动目标用矩形框标记出来，并计算运动目标中心位置以及具体坐标，同时预测目标物体运动方向，将运动方向区域归入运动目标区域；
步骤五、针对可能出现多个运动目标区域的情况，对目标区域根据距离位置进行融合，为下一步目标区域动态编码提供方便；
步骤六、对目标区域编码质量进行动态调整，提高目标区域编码质量，降低非目标区域编码质量以及帧率。
对于步骤二，针对监控场景运动画面较慢情况，根据不同时间目标在画面中位置不同，采用帧差分法获取运动目标，根据时间上连续的两帧图像或者三帧图像进行差分运算，不同帧对应像素点相减，判断不同帧之间灰度值之差，当超过预设阈值，可判断为运动目标，实现对运动目标检测功能，计算公式如式(3)：
Sn(x,y)＝|fn(x,y)-fn-1(x,y)| (3)
其中，fn为第n帧图像，fn-1为第n-1帧图像，两帧对应灰度值分别为fn(x,y)和fn-1(x,y)，相减获取的绝对值就是差分图像Sn，
设置阈值为P，像素点灰度值大于阈值P，则为运动目标像素，取值255，反之则为背景像素，取值为0，可实现对上述差分图像像素点进行二值化处理，得到二值化图像Tn'，
针对监控场景运动画面速度较快时，运动目标在画面位置相差较大，一次差分差分不能获取完整运动目标，采用三帧差分，计算公式如式(5)，
S'n(x,y)＝|fn(x,y)-fn-1(x,y)|∩|fn+1(x,y)-fn(x,y)| (5)
其中，取第n帧与n-1帧，以及第n+1帧与第n帧的像素点灰度值，参考上述方法进行差分运算，获取两帧差分画面Sn和Sn+1，然后进行与运算，得到图像S'n，同样利用公式(4)方法，提取运动目标物体T′n。
对于步骤六，通过前述步骤已经获取到一个或者多个运动目标位置坐标信息Zn，根据运动目标坐标位置，将视频编码区域分为两部分，分别为感兴趣区域(ROI)和非感兴趣区域，
预设两个区域编码模块编码量化参数QP以及帧率，编码量化参数QP值越小，编码量化越精细，质量越高，
对运动目标区域降低编码量化参数QP，从而提高编码质量，同时保持正常帧率，
非运动区相对保持低质量编码，降低编码帧率为预设值，通过对图像中不同区域有针对性进行编码。
本发明采用视频分析技术，动态分析视频中目标运动情况，预测目标运动轨迹，生成预测目标运动轨迹区域，仅对预测运动区域采用高质量图像编码，保证运动目标清晰，非运动区域采用低质量编码，同时降低帧率，不但有效降低整体视频码流大小，降低网络传输带宽，而且满足人们对高清运动目标的监控。
本发明技术效果：
1、能够有效降低高清网络摄像机视频码流大小，同时保证监控目标清晰。
2、由于仅对运动目标进行高质量编码，在网络带宽不足情况下，能够提供更为流畅的视频画面。
3、降低网络传输以及视频存储成本，提高经济效益。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1是本发明的高清网络摄像机智能码流控制方法程序流程图。
具体实施方式
本发明的具体实施方案是，一种高清网络摄像机智能码流控制技术及方法，包括如下步骤：
步骤一、动态采集原始YUV图像，获取实时场景图像；
采集实时原始YUV数据，进行图像分析，由于嵌入式系统性能有限，因此采用较低分辨率图像作为输入图像，图像视场角与原始图像一致，通过低分辨率处理，将处理结果反馈到其他原始分辨率编码通道，可有效降处理器处理时间。
步骤二、利用改进的差分算法分析画面运动特性；
针对监控环境固定情况，可采用多帧平均法来建立背景模型，在一定时间段内，将采集到的多帧图像进行相加，获取平均值，作为背景模型，具体公式如下：
其中，Bn是第n帧图像时候建立的背景模型，fn是第n帧的图像，N是平均的帧数。
考虑到环境光线变化，每隔一段时间要更新背景模型，具体公式如下：
如公式，新的背景模型根据前一次背景模型Bn-1，同时根据当前帧fn和fn-N计算得出，这样就实现了背景模型的更新。随着时间越长，新的背景模型就越来越接近真实背景，更有利于运动目标的提取。
帧对监控场景运动较慢情况，根据不同时间目标在画面中位置不同，可采用帧差分法获取运动目标。算法根据时间上连续的两帧图像或者三帧图像进行差分运算，不同帧对应像素点相减，判断不同帧之间灰度值之差，当超过预设阈值，可判断为运动目标，实现对运动目标检测功能。公式如下：
Sn(x,y)＝|fn(x,y)-fn-1(x,y)|
其中，fn为第n帧图像，fn-1为第n-1帧图像，两帧对应灰度值分别为fn(x,y)和fn-1(x,y)，相减获取的绝对值就是差分图像Sn。
设置阈值为P，像素点灰度值大于阈值P，则为运动目标像素，取值255，反之则为背景像素，取值为0，可实现对上述差分图像像素点进行二值化处理，得到二值化图像Tn'。
针对运动画面速度较快时，运动目标在画面位置相差较大，一次差分差分不能获取完整运动目标，可采用三帧差分。
S'n(x,y)＝|fn(x,y)-fn-1(x,y)|∩|fn+1(x,y)-fn(x,y)|
其中，取第n帧与n-1帧，以及第n+1帧与第n帧的像素点灰度值，参考上述方法进行差分运算，获取两帧差分画面Sn和Sn+1，然后进行与运算，得到图像S'n,
同样利用上述阈值判断方法，提取运动目标物体T′n。
实际应用中测试发现，由于夜晚光线较暗，画面噪点增加，导致同样的阈值P，并不能有效降低提取运动目标物体，因此，此设计根据光线亮度动态调整阈值P，减少夜晚画面噪声对目标物体的检测。
步骤三、利用形态学进行处理，去除无用信息；
由于步骤二操作中会由于画面抖动造成画面周围有空洞，或者目标物体周围有不规则目标块，进行二值化处理并不能完全消除背景图抖动等的影响，有时候会有块状白色噪声存在，因此就需要用到形态学中的腐蚀和膨胀来处理。对二值化图像进行腐蚀操作后，白色噪声区大体会消失，同时利用膨胀对目标区域进行重建，取得运动目标区域，遵循最终目标区域大于等于运动目标区域原则，保证后续对目标区域编码过程中运动目标整体以及周围画面清晰。
步骤四、运动目标定位；
提取运动目标区域，对运动目标区域进行规则化处理，上下左右四点定位，在视频中将运动目标用矩形框标记出来，并计算运动目标中心位置以及具体坐标，同时预测目标物体运动方向，将运动方向区域归入运动目标区域，可优化在运动目标快速移动情况下，由于处理延时导致运动目标编码质量较低。
步骤五、计算运动目标区域，多运动区域融合；
针对可能出现多个运动目标区域的情况，对目标区域根据距离位置进行融合，为下一步目标区域动态编码提供方便，因为目标区域过多，当目标物体运动过程中，不同目标物体周围编码质量不断调整，增加编码模块复杂度，同时编码复杂度频繁变化，影响画面视觉感受。
步骤六、对目标区域编码质量进行动态调整，提高目标区域编码质量，降低非目标区域编码质量以及帧率；
通过前面步骤已经获取到一个或者多个运动目标位置坐标信息Zn，根据运动目标坐标位置，将视频编码区域分为两部分，感兴趣区域(ROI)和非感兴趣区域，预设两个区域编码模块编码量化参数(QP)以及帧率，编码量化参数QP值越小，编码量化越精细，质量越高，因此对运动目标区域降低编码量化参数QP，从而提高编码质量，同时保持正常帧率，非运动区相对保持低质量编码，降低编码帧率为预设值，通过对图像中不同区域有针对性进行编码，这样既保证运动区域清晰，也降低整体视频传输带宽。
本发明通过实时分析视频原始YUV数据，对采集图像进行预处理过滤噪声，从而有效提取运动目标，预测目标物体运动轨迹；建立包含预测区域在内的目标物体运动区域；视频编码模块对运动区域进行高质量编码，并保持正常帧率，非运动区域进行低帧率低质量编码；从而在保证对目标物体有效监控的情况下，降低高清视频网络传输带宽，以及降低视频存储成本等诸多优点。
值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (6)
1.一种高清网络摄像机，其特征在于，该网络摄像机包括存储器；以及
耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：
步骤一、动态采集网络摄像机获取的原始YUV图像，采集实时场景图像时，采用低分辨率的输入图像，图像视场角与原始YUV图像一致；
步骤二、针对监控环境固定情况，采用多帧平均法来建立背景模型，在一个时间段内，将采集到的多帧图像进行相加，获取平均值，作为背景模型，具体公式如式(1)：
<mrow>
<msub>
<mi>B</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>n</mi>
</msub>
<mo>+</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mo>...</mo>
<mo>+</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mi>N</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Bn是第n帧图像时候建立的背景模型，fn是第n帧的图像，N是平均的帧数，
考虑到环境光线变化，每隔一段时间要更新背景模型，有公式(2)如下：
<mrow>
<msub>
<mi>B</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<msub>
<mi>B</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>n</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mi>N</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
新的背景模型根据前一次背景模型Bn-1，同时根据当前帧fn和fn-N计算得出，这样就实现了背景模型的更新。
步骤三、对二值化图像进行腐蚀操作，使得白色噪声区大体消失，同时利用膨胀对目标区域进行重建，取得运动目标区域，遵循最终目标区域大于等于运动目标区域原则，保证后续对目标区域编码过程中运动目标整体以及周围画面清晰；
步骤四、提取运动目标区域，对运动目标区域进行规则化处理，上下左右四点定位，在视频中将运动目标用矩形框标记出来，并计算运动目标中心位置以及具体坐标，同时预测目标物体运动方向，将运动方向区域归入运动目标区域；
步骤五、针对可能出现多个运动目标区域的情况，对目标区域根据距离位置进行融合，为下一步目标区域动态编码提供方便；
步骤六、对目标区域编码质量进行动态调整，提高目标区域编码质量，降低非目标区域编码质量以及帧率。
2.如权利要求1所述的高清网络摄像机，其特征在于，对于步骤二，针对监控场景运动画面较慢情况，根据不同时间目标在画面中位置不同，采用帧差分法获取运动目标，根据时间上连续的两帧图像或者三帧图像进行差分运算，不同帧对应像素点相减，判断不同帧之间灰度值之差，当超过预设阈值，可判断为运动目标，实现对运动目标检测功能，计算公式如式(3)：
Sn(x,y)＝|fn(x,y)-fn-1(x,y)| (3)
其中，fn为第n帧图像，fn-1为第n-1帧图像，两帧对应灰度值分别为fn(x,y)和fn-1(x,y)，相减获取的绝对值就是差分图像Sn，
设置阈值为P，像素点灰度值大于阈值P，则为运动目标像素，取值255，反之则为背景像素，取值为0，可实现对上述差分图像像素点进行二值化处理，得到二值化图像T′n，
<mrow>
<msubsup>
<mi>T</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "}">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>255</mn>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>n</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>P</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>n</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<mo>=</mo>
<mi>P</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
针对监控场景运动画面速度较快时，运动目标在画面位置相差较大，一次差分差分不能获取完整运动目标，采用三帧差分，计算公式如式(5)，
S'n(x,y)＝|fn(x,y)-fn-1(x,y)|∩|fn+1(x,y)-fn(x,y)| (5)
其中，取第n帧与n-1帧，以及第n+1帧与第n帧的像素点灰度值，参考上述方法进行差分运算，获取两帧差分画面Sn和Sn+1，然后进行与运算，得到图像S'n，同样利用公式(4)方法，提取运动目标物体T′n。
3.如权利要求2所述的高清网络摄像机，其特征在于，对于步骤六，通过前述步骤已经获取到一个或者多个运动目标位置坐标信息Zn，根据运动目标坐标位置，将视频编码区域分为两部分，分别为感兴趣区域(ROI)和非感兴趣区域，
预设两个区域编码模块编码量化参数QP以及帧率，编码量化参数QP值越小，编码量化越精细，质量越高，
对运动目标区域降低编码量化参数QP，从而提高编码质量，同时保持正常帧率，
非运动区相对保持低质量编码，降低编码帧率为预设值，通过对图像中不同区域有针对性进行编码。
4.一种高清网络摄像机智能码流控制方法，其特征在于，包括以下步骤：
步骤一、动态采集网络摄像机获取的原始YUV图像，采集实时场景图像时，采用低分辨率的输入图像，图像视场角与原始YUV图像一致；
步骤二、针对监控环境固定情况，采用多帧平均法来建立背景模型，在一个时间段内，将采集到的多帧图像进行相加，获取平均值，作为背景模型，具体公式如式(1)：
<mrow>
<msub>
<mi>B</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>n</mi>
</msub>
<mo>+</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mo>...</mo>
<mo>+</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mi>N</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Bn是第n帧图像时候建立的背景模型，fn是第n帧的图像，N是平均的帧数，
考虑到环境光线变化，每隔一段时间要更新背景模型，有公式(2)如下：
<mrow>
<msub>
<mi>B</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<msub>
<mi>B</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>n</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mi>N</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
新的背景模型根据前一次背景模型Bn-1，同时根据当前帧fn和fn-N计算得出，这样就实现了背景模型的更新。
步骤三、对二值化图像进行腐蚀操作，使得白色噪声区大体消失，同时利用膨胀对目标区域进行重建，取得运动目标区域，遵循最终目标区域大于等于运动目标区域原则，保证后续对目标区域编码过程中运动目标整体以及周围画面清晰；
步骤四、提取运动目标区域，对运动目标区域进行规则化处理，上下左右四点定位，在视频中将运动目标用矩形框标记出来，并计算运动目标中心位置以及具体坐标，同时预测目标物体运动方向，将运动方向区域归入运动目标区域；
步骤五、针对可能出现多个运动目标区域的情况，对目标区域根据距离位置进行融合，为下一步目标区域动态编码提供方便；
步骤六、对目标区域编码质量进行动态调整，提高目标区域编码质量，降低非目标区域编码质量以及帧率。
5.如权利要求4所述的高清网络摄像机智能码流控制方法，其特征在于，对于步骤二，针对监控场景运动画面较慢情况，根据不同时间目标在画面中位置不同，采用帧差分法获取运动目标，根据时间上连续的两帧图像或者三帧图像进行差分运算，不同帧对应像素点相减，判断不同帧之间灰度值之差，当超过预设阈值，可判断为运动目标，实现对运动目标检测功能，计算公式如式(3)：
Sn(x,y)＝|fn(x,y)-fn-1(x,y)| (3)
其中，fn为第n帧图像，fn-1为第n-1帧图像，两帧对应灰度值分别为fn(x,y)和fn-1(x,y)，相减获取的绝对值就是差分图像Sn，
设置阈值为P，像素点灰度值大于阈值P，则为运动目标像素，取值255，反之则为背景像素，取值为0，可实现对上述差分图像像素点进行二值化处理，得到二值化图像T′n，
<mrow>
<msubsup>
<mi>T</mi>
<mi>n</mi>
<mo>&prime;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "}">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>255</mn>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>n</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>P</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>n</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<mo>=</mo>
<mi>P</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
针对监控场景运动画面速度较快时，运动目标在画面位置相差较大，一次差分差分不能获取完整运动目标，采用三帧差分，计算公式如式(5)，
S'n(x,y)＝|fn(x,y)-fn-1(x,y)|∩|fn+1(x,y)-fn(x,y)| (5)
其中，取第n帧与n-1帧，以及第n+1帧与第n帧的像素点灰度值，参考上述方法进行差分运算，获取两帧差分画面Sn和Sn+1，然后进行与运算，得到图像S'n，同样利用公式(4)方法，提取运动目标物体T′n。
6.如权利要求5所述的高清网络摄像机智能码流控制方法，其特征在于，对于步骤六，通过前述步骤已经获取到一个或者多个运动目标位置坐标信息Zn，根据运动目标坐标位置，将视频编码区域分为两部分，分别为感兴趣区域(ROI)和非感兴趣区域，
预设两个区域编码模块编码量化参数QP以及帧率，编码量化参数QP值越小，编码量化越精细，质量越高，
对运动目标区域降低编码量化参数QP，从而提高编码质量，同时保持正常帧率，
非运动区相对保持低质量编码，降低编码帧率为预设值，通过对图像中不同区域有针对性进行编码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710730276.9A CN107454395A (zh) | 2017-08-23 | 2017-08-23 | 一种高清网络摄像机及智能码流控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710730276.9A CN107454395A (zh) | 2017-08-23 | 2017-08-23 | 一种高清网络摄像机及智能码流控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107454395A true CN107454395A (zh) | 2017-12-08 |
Family
ID=60493860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710730276.9A Pending CN107454395A (zh) | 2017-08-23 | 2017-08-23 | 一种高清网络摄像机及智能码流控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107454395A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664912A (zh) * | 2018-05-04 | 2018-10-16 | 北京学之途网络科技有限公司 | 一种信息处理方法、装置、计算机存储介质及终端 |
| CN109600743A (zh) * | 2018-08-17 | 2019-04-09 | 浙江宇视科技有限公司 | 一种反向探测无线接入设备的方法及装置 |
| CN110572579A (zh) * | 2019-09-30 | 2019-12-13 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
| CN110708507A (zh) * | 2019-09-23 | 2020-01-17 | 深圳市景阳信息技术有限公司 | 监控视频数据传输方法、装置及终端设备 |
| CN111325769A (zh) * | 2018-12-13 | 2020-06-23 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象检测方法及装置 |
| CN113055607A (zh) * | 2019-12-28 | 2021-06-29 | 浙江宇视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113329227A (zh) * | 2021-05-27 | 2021-08-31 | 中国电信股份有限公司 | 视频编码方法、装置、电子设备与计算机可读介质 |
| CN115665359A (zh) * | 2022-10-09 | 2023-01-31 | 西华县环境监察大队 | 一种环境监测数据智能压缩方法 |
| CN116866589A (zh) * | 2023-09-05 | 2023-10-10 | 成都大熊猫繁育研究基地 | 一种野外红外相机无线网络的视频图像压缩方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09130767A (ja) * | 1995-11-06 | 1997-05-16 | Hitachi Ltd | 画像伝送装置 |
| CN101102492A (zh) * | 2007-07-26 | 2008-01-09 | 上海交通大学 | 实现基于感兴趣区域的压缩域mpeg-2到h.264视频转换的方法 |
| CN101699469A (zh) * | 2009-11-09 | 2010-04-28 | 南京邮电大学 | 课堂录像中教师黑板书写动作的自动识别方法 |
| CN101931792A (zh) * | 2010-08-04 | 2010-12-29 | 丁天 | 一种高清视频流中多车牌定位的方法 |
| CN103002289A (zh) * | 2013-01-08 | 2013-03-27 | 中国电子科技集团公司第三十八研究所 | 面向监控应用的视频恒定质量编码装置及其编码方法 |
| CN104754336A (zh) * | 2015-04-13 | 2015-07-01 | 成都华迈通信技术有限公司 | 基于统计分析图像优先级的编码方法及编码码流控制装置 |
| CN106162177A (zh) * | 2016-07-08 | 2016-11-23 | 腾讯科技（深圳）有限公司 | 视频编码方法和装置 |
| US20170085892A1 (en) * | 2015-01-20 | 2017-03-23 | Beijing University Of Technology | Visual perception characteristics-combining hierarchical video coding method |
-
2017
- 2017-08-23 CN CN201710730276.9A patent/CN107454395A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09130767A (ja) * | 1995-11-06 | 1997-05-16 | Hitachi Ltd | 画像伝送装置 |
| CN101102492A (zh) * | 2007-07-26 | 2008-01-09 | 上海交通大学 | 实现基于感兴趣区域的压缩域mpeg-2到h.264视频转换的方法 |
| CN101699469A (zh) * | 2009-11-09 | 2010-04-28 | 南京邮电大学 | 课堂录像中教师黑板书写动作的自动识别方法 |
| CN101931792A (zh) * | 2010-08-04 | 2010-12-29 | 丁天 | 一种高清视频流中多车牌定位的方法 |
| CN103002289A (zh) * | 2013-01-08 | 2013-03-27 | 中国电子科技集团公司第三十八研究所 | 面向监控应用的视频恒定质量编码装置及其编码方法 |
| US20170085892A1 (en) * | 2015-01-20 | 2017-03-23 | Beijing University Of Technology | Visual perception characteristics-combining hierarchical video coding method |
| CN104754336A (zh) * | 2015-04-13 | 2015-07-01 | 成都华迈通信技术有限公司 | 基于统计分析图像优先级的编码方法及编码码流控制装置 |
| CN106162177A (zh) * | 2016-07-08 | 2016-11-23 | 腾讯科技（深圳）有限公司 | 视频编码方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| TIEMAXIAOSU: "背景建模--多帧平均法", 《HTTPS://BLOG.CSDN.NET/TIEMAXIAOSU/ARTICLE/DETAILS/51588593》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664912A (zh) * | 2018-05-04 | 2018-10-16 | 北京学之途网络科技有限公司 | 一种信息处理方法、装置、计算机存储介质及终端 |
| CN108664912B (zh) * | 2018-05-04 | 2022-12-20 | 北京学之途网络科技有限公司 | 一种信息处理方法、装置、计算机存储介质及终端 |
| CN109600743B (zh) * | 2018-08-17 | 2023-03-24 | 浙江宇视科技有限公司 | 一种反向探测无线接入设备的方法及装置 |
| CN109600743A (zh) * | 2018-08-17 | 2019-04-09 | 浙江宇视科技有限公司 | 一种反向探测无线接入设备的方法及装置 |
| CN111325769A (zh) * | 2018-12-13 | 2020-06-23 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象检测方法及装置 |
| CN111325769B (zh) * | 2018-12-13 | 2023-12-08 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象检测方法及装置 |
| CN110708507A (zh) * | 2019-09-23 | 2020-01-17 | 深圳市景阳信息技术有限公司 | 监控视频数据传输方法、装置及终端设备 |
| CN110572579A (zh) * | 2019-09-30 | 2019-12-13 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
| CN113055607A (zh) * | 2019-12-28 | 2021-06-29 | 浙江宇视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113055607B (zh) * | 2019-12-28 | 2022-10-04 | 浙江宇视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113329227A (zh) * | 2021-05-27 | 2021-08-31 | 中国电信股份有限公司 | 视频编码方法、装置、电子设备与计算机可读介质 |
| CN115665359A (zh) * | 2022-10-09 | 2023-01-31 | 西华县环境监察大队 | 一种环境监测数据智能压缩方法 |
| CN116866589A (zh) * | 2023-09-05 | 2023-10-10 | 成都大熊猫繁育研究基地 | 一种野外红外相机无线网络的视频图像压缩方法 |
| CN116866589B (zh) * | 2023-09-05 | 2023-12-26 | 成都大熊猫繁育研究基地 | 一种野外红外相机无线网络的视频图像压缩方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107454395A (zh) | 一种高清网络摄像机及智能码流控制方法 | |
| US11006046B2 (en) | Image processing method and mobile terminal | |
| US10937169B2 (en) | Motion-assisted image segmentation and object detection | |
| US7167519B2 (en) | Real-time video object generation for smart cameras | |
| KR101926490B1 (ko) | 이미지 처리 장치 및 방법 | |
| CN103002289B (zh) | 面向监控应用的视频恒定质量编码装置及其编码方法 | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN101236656B (zh) | 基于块划分的图像中运动目标的检测方法 | |
| CN111901532B (zh) | 基于循环神经网络迭代策略的视频稳定方法 | |
| CN104182718A (zh) | 一种人脸特征点定位方法及装置 | |
| CN105516720B (zh) | 一种监控摄像机码流的自适应控制方法 | |
| CN110321937B (zh) | 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法 | |
| CN111507997B (zh) | 图像分割方法、装置、设备及计算机存储介质 | |
| WO2024002211A1 (zh) | 一种图像处理方法及相关装置 | |
| EP2549754A1 (en) | Method and apparatus for reframing and encoding an original video signal | |
| CN104243994B (zh) | 一种实时运动感知图像增强的方法 | |
| CN111526417B (zh) | 一种视频图像传输方法及传输系统 | |
| CN109410134A (zh) | 一种基于图像块分类的自适应去噪方法 | |
| CN112468808A (zh) | 一种基于强化学习的i帧目标带宽分配方法及装置 | |
| CN106303527B (zh) | 时分复用神经网络处理器的视频分级码流编码方法和系统 | |
| CN107592547B (zh) | 一种基于hevc压缩域的运动感知图提取方法 | |
| CN113893517B (zh) | 基于差帧法的跳绳真假判断方法及系统 | |
| CN107330923A (zh) | 一种动态背景图像的更新方法 | |
| Sanagavarapu et al. | Object Tracking Based Surgical Incision Region Encoding using Scalable High Efficiency Video Coding for Surgical Telementoring Applications. | |
| US20230353732A1 (en) | Video frame rate conversion method supporting replacement of motion-compensated frame interpolation with linear combination of frames and device implementing the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171208 |