CN109348291B - 一种基于运动分析的全景视频码流分发方法和系统 - Google Patents

一种基于运动分析的全景视频码流分发方法和系统 Download PDF

Info

Publication number
CN109348291B
CN109348291B CN201811371998.0A CN201811371998A CN109348291B CN 109348291 B CN109348291 B CN 109348291B CN 201811371998 A CN201811371998 A CN 201811371998A CN 109348291 B CN109348291 B CN 109348291B
Authority
CN
China
Prior art keywords
code stream
time window
motion
consistent
trend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811371998.0A
Other languages
English (en)
Other versions
CN109348291A (zh
Inventor
马国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengwang Video Co ltd
Original Assignee
Shenzhen Mengwang Video Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mengwang Video Co ltd filed Critical Shenzhen Mengwang Video Co ltd
Priority to CN201811371998.0A priority Critical patent/CN109348291B/zh
Publication of CN109348291A publication Critical patent/CN109348291A/zh
Application granted granted Critical
Publication of CN109348291B publication Critical patent/CN109348291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于运动分析的全景视频码流分发方法和系统。本发明方法根据人眼一般集中关注运动物体的特点，利用视频码流携带的运动信息，预测人眼关注点移动轨迹，完成对全景视频拼接的多路码流进行自适应分发。从而在不影响观众的观看效果的同时，提升全景视频播放的流畅度。

Description

一种基于运动分析的全景视频码流分发方法和系统
技术领域
本发明涉及视频分发技术领域，尤其涉及一种基于运动分析的全景视频码流分发方法和系统。
背景技术
构成全景视频的每一帧图像均为大分辨率的全景图图像，它的生成需要大量的计算工作。而全景视频相比全景图，增加了一个新的时间维度。因此，计算量和数据量都将会是数十倍于全景图，这对硬件系统的处理能力和软件系统的工作效率都是极大的挑战。而当全景视频的码流进行分发传输时，对网络的带宽将形成极大地压力，对带宽极其有限的移动网络，更是极大地挑战。
发明内容
本发明实施例的目的在于提出一种基于运动分析的全景视频码流分发方法，旨在解决现有技术全景视频码流分发传输带宽压力大的问题。
本发明实施例是这样实现的，一种基于运动分析的全景视频码流分发方法，所述方法包括：
S1，判断是否存在时长不小于两个时间窗的全景视频码流没有分发，根据判断结果以及预设的重分析参数，进行码流分发；
S2，对码流中携带的视角范围在[视觉角度上限，视觉角度下限限]内的全景视频码流进行运动趋势分析；
S3，根据运动趋势分析结果及预设的加速变量，采用相应的方法进行全景视频码流分发。
本发明实施例的另一目的在于提出一种基于运动分析的全景视频码流分发系统。所述系统包括：
第一码流分发装置，用于判断是否存在时长不小于两个时间窗的全景视频码流没有分发，根据判断结果以及预设的重分析参数，进行码流分发；
码流运动趋势分析装置，用于对码流中携带的视角范围在[视觉角度上限，视觉角度下限]内的全景视频码流进行运动趋势分析；
第二码流分发装置，用于根据运动趋势分析结果及预设的加速变量，采用相应的方法进行全景视频码流分发。
本发明的有益效果
本发明提出一种基于运动分析的全景视频码流分发方法和系统。本发明方法根据人眼一般集中关注运动物体的特点，利用视频码流携带的运动信息，预测人眼关注点移动轨迹，完成对全景视频拼接的多路码流进行自适应分发。从而在不影响观众的观看效果的同时，提升全景视频播放的流畅度。
附图说明
图1是本发明优选实施例一种基于运动分析的全景视频码流分发方法流程图；
图2是图1中步骤S1的详细方法流程图；
图3是图1中步骤S2的详细方法流程图；
图4是图3中步骤S22的详细方法流程图；
图5是图1中步骤S3的详细方法流程图；
图6是本发明优选实施例一种基于运动分析的全景视频码流分发系统结构图；
图7是图6中第一码流分发装置的详细结构图；
图8是图6中码流运动趋势分析装置的详细结构图；
图9是图8中运动趋势分析模块的详细结构图；
图10是图6中第二码流分发装置的详细结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明提出一种基于运动分析的全景视频码流分发方法和系统。本发明方法根据人眼一般集中关注运动物体的特点，利用视频码流携带的运动信息，预测人眼关注点移动轨迹，完成对全景视频拼接的多路码流进行自适应分发。从而在不影响观众的观看效果的同时，提升全景视频播放的流畅度。
实施例一
图1是本发明优选实施例一种基于运动分析的全景视频码流分发方法流程图；所述方法包括：
S1，判断是否存在时长不小于两个时间窗的全景视频码流没有分发，根据判断结果以及预设的重分析参数，进行码流分发。
图2是图1中步骤S1的详细方法流程图；包括：
S11：如果存在时长在两个时间窗及以上的全景视频码流没有分发，则进入S12；否则，则直接发送剩余时间内拼接全景视频的各路码流，然后结束。
S12：如果note＝1，则发送当前时间窗内拼接全景视频的各路码流，同时发送该时间窗内视觉角度上限
Figure BDA0001868701450000031
视觉角度下限
Figure BDA0001868701450000032
然后进入S2；否则，直接进入S2。
其中，t表示当前时间窗序号；note表示重分析参数，初始值为1，用于标志是否需要更新视觉角度后对全景视频码流进行运动分析。
S2，对码流中携带的视角范围在
Figure BDA0001868701450000033
内的全景视频码流进行运动趋势分析。
图3是图1中步骤S2的详细方法流程图；包括：
S21：将当前时间窗当前视角范围
Figure BDA0001868701450000034
内的全景视频码流划入待分析集合；
S22：对待分析集合内的码流进行运动趋势分析；
图4是图3中步骤S22的详细方法流程图；包括：
Step221：如果存在帧内预测帧，则将该帧内预测帧作为定位帧；否则找到当前时间窗内具有最多帧内预测块的帧作为定位帧。
Step222：首先将位于定位帧后第一个P帧核心中心区域且运动矢量非零的帧间预测块，划入运动块集合；接着对运动集合内块，依据其运动方向进一步归类；再接着根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势。
所述“核心中心区域”，可以依据图像分辨率，以图像中点为中心点删除上下左右一定比例的块行块列，剩余的中间块即为“核心中心区域”。
所述“依据其运动方向进一步归类”具体以上下左右四分类举例说明，实际操作可以依据全景模型如柱形、球形、多面体等情况减少或者增加运动分类的数量。上下左右四分类：
ψu＝{block||mvx|*k＜|mvy|且mvy＜0}、ψd＝{block||mvx|*k＜|mvy|且mvy＞0}、
ψl＝{block||mvy|*k＜|mvx|且mvx＞0}、ψr＝{block||mvy|*k＜|mvx|且mvx＜0}；
ψu、ψd、ψl、ψr分别表示上分类、下分类、左分类、右分类集合；mvx、mvy分别表示块block运动矢量的x轴分量、y轴分量；k表示比列系数，一般k≥2。
所述“根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势”具体可细分为“简化确定法”、“多层确定法”。
“简化确定法”：首先找到分类集合中集合内块的数量最多、第二多的集合；接着判定如果第二多的集合内块数量远远小于最多的集合内块数量，则判定存在一致运动趋势，一致运动方向即为块数量最多集合对应的方向。
“多层确定法”：首先使用“简化确定法”，初步判定是否存在一致运动趋势，如果存在则记为第一方向，如果不存在则直接判定不存在一致运动趋势，完成整个Step222的执行；接着，在当前时间窗内找到第二个定位帧，用同样的方法，判定是否存在一致运动趋势，如果存在则记为第二方向，如果不存在则直接判定不存在一致运动趋势，完成整个Step222的执行；再接着判断第一方向和第二方向是否相同，如果相同则判定存在一致运动趋势，一致运动方向即为第一方向，如果不相同则直接判定不存在一致运动趋势，完成整个Step222的执行。
S3，根据运动趋势分析结果及预设的加速变量，采用相应的方法进行全景视频码流分发。
图5是图1中步骤S3的详细方法流程图；包括：
S31：如果存在一致运动趋势且fast＝0，则优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，同时发送上述时间窗内视觉角度上限
Figure BDA0001868701450000042
下限
Figure BDA0001868701450000043
设置note＝0，然后重回S1；否则如果存在一致运动趋势且fast＝1，则进入S32；否则如果不存在一致运动趋势，则按照普通模式分发下一个时间窗内拼接全景视频的各路码流，将当前时间窗设置为下一个时间窗，然后重回S1。
其中，fast表示加速变量，可由使用者自行设定，若使用者倾向于算法的处理速度，则令加速变量为1；若注重运动分析的准确度，则令加速变量为0。
S32：优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗。
S33：判断下一个时间窗拼接全景视频的码流是否存在，若不存在，则结束；若存在，则进入S34。
S34：再接着判定当前时间窗内是否存在帧内预测帧，如果不存在，则继续优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，然后重回S33；如果存在则，则同时发送上述时间窗内视觉角度上限
Figure BDA0001868701450000051
下限
Figure BDA0001868701450000052
然后重回S2。
实施例二
图6是本发明优选实施例一种基于运动分析的全景视频码流分发系统结构图；所述系统包括：
第一码流分发装置，用于判断是否存在时长不小于两个时间窗的全景视频码流没有分发，根据判断结果以及预设的重分析参数，进行码流分发。
码流运动趋势分析装置，用于对码流中携带的视角范围在
Figure BDA0001868701450000053
内的全景视频码流进行运动趋势分析。
第二码流分发装置，用于根据运动趋势分析结果及预设的加速变量，采用相应的方法进行全景视频码流分发。
图7是图6中第一码流分发装置的详细结构图；包括
第一判断处理模块，用于判断如果存在时长在两个时间窗及以上的全景视频码流没有分发，则进入重分析参数判断处理模块；否则，则直接发送剩余时间内拼接全景视频的各路码流，然后结束。
重分析参数判断处理模块，用于判断如果note＝1，则进入第一码流发送处理模块；否则，直接进入码流运动趋势分析装置。
其中，t表示当前时间窗序号；note表示重分析参数，初始值为1，用于标志是否需要更新视觉角度后对全景视频码流进行运动分析。
第一码流发送处理模块，用于发送当前时间窗内拼接全景视频的各路码流，同时发送该时间窗内视觉角度上限
Figure BDA0001868701450000055
视觉角度下限
Figure BDA0001868701450000056
然后进入第二码流分发装置；
图8是图6中码流运动趋势分析装置的详细结构图；包括：
视频码流待分析划分模块，用于将当前时间窗当前视角范围
Figure BDA0001868701450000057
内的全景视频码流划入待分析集合；
运动趋势分析模块，用于对待分析集合内的码流进行运动趋势分析；
图9是图8中运动趋势分析模块的详细结构图；包括：
帧内预测帧判断处理模块，用于判断如果存在帧内预测帧，则将该帧内预测帧作为定位帧；否则找到当前时间窗内具有最多帧内预测块的帧作为定位帧。
一致运动趋势判定处理模块，用于首先将位于定位帧后第一个P帧核心中心区域且运动矢量非零的帧间预测块，划入运动块集合；接着对运动集合内块，依据其运动方向进一步归类；再接着根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势。
所述“核心中心区域”，可以依据图像分辨率，以图像中点为中心点删除上下左右一定比例的块行块列，剩余的中间块即为“核心中心区域”。
所述“依据其运动方向进一步归类”具体以上下左右四分类举例说明，实际操作可以依据全景模型如柱形、球形、多面体等情况减少或者增加运动分类的数量。上下左右四分类：
ψu＝{block||mvx|*k＜|mvy|且mvy＜0}、ψd＝{block||mvx|*k＜|mvy|且mvy＞0}、
ψl＝{block||mvy|*k＜|mvx|且mvx＞0}、ψr＝{block||mvy|*k＜|mvx|且mvx＜0}；
ψu、ψd、ψl、ψr分别表示上分类、下分类、左分类、右分类集合；mvx、mvy分别表示块block运动矢量的x轴分量、y轴分量；k表示比列系数，一般k≥2。
所述“根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势”具体可细分为“简化确定法”、“多层确定法”。
“简化确定法”：首先找到分类集合中集合内块的数量最多、第二多的集合；接着判定如果第二多的集合内块数量远远小于最多的集合内块数量，则判定存在一致运动趋势，一致运动方向即为块数量最多集合对应的方向。
“多层确定法”：首先使用“简化确定法”，初步判定是否存在一致运动趋势，如果存在则记为第一方向，如果不存在则直接判定不存在一致运动趋势，完成整个一致运动趋势判定处理模块的执行；接着，在当前时间窗内找到第二个定位帧，用同样的方法，判定是否存在一致运动趋势，如果存在则记为第二方向，如果不存在则直接判定不存在一致运动趋势，完成整个一致运动趋势判定处理模块的执行；再接着判断第一方向和第二方向是否相同，如果相同则判定存在一致运动趋势，一致运动方向即为第一方向，如果不相同则直接判定不存在一致运动趋势，完成整个一致运动趋势判定处理模块的执行。
图10是图6中第二码流分发装置的详细结构图。包括：
第二码流发送处理模块，用于判断如果存在一致运动趋势且fast＝0，则优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，同时发送上述时间窗内视觉角度上限
Figure BDA0001868701450000061
下限
Figure BDA0001868701450000062
设置note＝0，然后重回第一码流分发装置；否则如果存在一致运动趋势且fast＝1，则进入优先分发模块；否则如果不存在一致运动趋势，则按照普通模式分发下一个时间窗内拼接全景视频的各路码流，将当前时间窗设置为下一个时间窗，然后重回第一码流分发装置。
其中，fast表示加速变量，可由使用者自行设定，若使用者倾向于算法的处理速度，则令加速变量为1；若注重运动分析的准确度，则令加速变量为0。
优先分发模块，用于优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗。
码流存否判断处理模块，用于判断下一个时间窗拼接全景视频的码流是否存在，若不存在，则结束；若存在，则进入第三码流发送处理模块。
第三码流发送处理模块，用于再接着判定当前时间窗内是否存在帧内预测帧，如果不存在，则继续优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，然后重回码流存否判断处理模块；如果存在则，则同时发送上述时间窗内视觉角度上限
Figure BDA0001868701450000071
下限
Figure BDA0001868701450000072
然后重回码流运动趋势分析装置。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于运动分析的全景视频码流分发方法，其特征在于，所述方法包括：
S1，判断是否存在时长不小于两个时间窗的全景视频码流没有分发，根据判断结果以及预设的重分析参数，进行码流分发，包括：
S11：如果存在时长在两个时间窗及以上的全景视频码流没有分发，则进入S12；
S12：如果note＝1，则发送当前时间窗内拼接全景视频的各路码流，同时发送该时间窗内视觉角度上限
Figure FDA0002799443580000011
视觉角度下限
Figure FDA0002799443580000012
然后进入S2；否则，直接进入S2；
其中，t表示当前时间窗序号；note表示重分析参数，初始值为1，用于标志是否需要更新视觉角度后对全景视频码流进行运动分析；
S2，对码流中携带的视角范围在[视觉角度上限,视觉角度下限]内的全景视频码流进行运动趋势分析，包括：
S21：将当前时间窗当前视角范围
Figure FDA0002799443580000013
内的全景视频码流划入待分析集合；
S22：对待分析集合内的码流进行运动趋势分析，具体为：
Step221：如果存在帧内预测帧，则将该帧内预测帧作为定位帧；否则找到当前时间窗内具有最多帧内预测块的帧作为定位帧；
Step222：首先将位于定位帧后第一个P帧核心中心区域且运动矢量非零的帧间预测块，划入运动块集合；接着对运动集合内块，依据其运动方向进一步归类；再接着根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势；
所述核心中心区域，依据图像分辨率，以图像中点为中心点删除上下左右一定比例的块行块列，剩余的中间块即为“核心中心区域”；
所述对运动集合内块，依据其运动方向进一步归类，包括上下左右四分类，具体为：
ψu＝{block||mvx|*k＜|mvy|且mvy＜0}、ψd＝{block||mvx|*k＜|mvy|且mvy＞0}、
ψl＝{block||mvy|*k＜|mvx|且mvx＞0}、ψr＝{block||mvy|*k＜|mvx|且mvx＜0}
ψu、ψd、ψl、ψr分别表示上分类、下分类、左分类、右分类集合；mvx、mvy分别表示块block运动矢量的x轴分量、y轴分量；k表示比列系数，k≥2；
所述“根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势”具体可细分为“简化确定法”、“多层确定法”，具体为：
“简化确定法”：首先找到分类集合中集合内块的数量最多、第二多的集合；接着判定如果第二多的集合内块数量远远小于最多的集合内块数量，则判定存在一致运动趋势，一致运动方向即为块数量最多集合对应的方向，
“多层确定法”：首先使用“简化确定法”，初步判定是否存在一致运动趋势，如果存在则记为第一方向，如果不存在则直接判定不存在一致运动趋势，完成整个Step222的执行；接着，在当前时间窗内找到第二个定位帧，用同样的方法，判定是否存在一致运动趋势，如果存在则记为第二方向，如果不存在则直接判定不存在一致运动趋势，完成整个Step222的执行；再接着判断第一方向和第二方向是否相同，如果相同则判定存在一致运动趋势，一致运动方向即为第一方向，如果不相同则直接判定不存在一致运动趋势，完成整个Step222的执行；
S3，根据运动趋势分析结果及预设的加速变量，采用相应的方法进行全景视频码流分发，包括：
S31：如果存在一致运动趋势且fast＝0，则优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，同时发送上述时间窗内视觉角度上限
Figure FDA0002799443580000021
下限
Figure FDA0002799443580000022
设置note＝0，然后重回S1；否则如果存在一致运动趋势且fast＝1，则进入S32；否则如果不存在一致运动趋势，则按照普通模式分发下一个时间窗内拼接全景视频的各路码流，将当前时间窗设置为下一个时间窗，然后重回S1；
其中，fast表示加速变量，由使用者自行设定，若使用者倾向于算法的处理速度，则令加速变量为1；若注重运动分析的准确度，则令加速变量为0；
S32：优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗；
S33：判断下一个时间窗拼接全景视频的码流是否存在，若不存在，则结束；若存在，则进入S34；
S34：再接着判定当前时间窗内是否存在帧内预测帧，如果不存在，则继续优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，然后重回S33；如果存在，则同时发送上述时间窗内视觉角度上限
Figure FDA0002799443580000023
下限
Figure FDA0002799443580000024
然后重回S2。
2.一种基于运动分析的全景视频码流分发系统，其特征在于，所述系统包括：
第一码流分发装置，用于判断是否存在时长不小于两个时间窗的全景视频码流没有分发，根据判断结果以及预设的重分析参数，进行码流分发，包括：
第一判断处理模块，用于判断如果存在时长在两个时间窗及以上的全景视频码流没有分发，则进入重分析参数判断处理模块；
重分析参数判断处理模块，用于判断如果note＝1，则进入第一码流发送处理模块；否则，直接进入码流运动趋势分析装置；
其中，t表示当前时间窗序号；note表示重分析参数，初始值为1，用于标志是否需要更新视觉角度后对全景视频码流进行运动分析；
第一码流发送处理模块，用于发送当前时间窗内拼接全景视频的各路码流，同时发送该时间窗内视觉角度上限
Figure FDA0002799443580000031
视觉角度下限
Figure FDA0002799443580000032
然后进入第二码流分发装置；
码流运动趋势分析装置，用于对码流中携带的视角范围在[视觉角度上限,视觉角度下限]内的全景视频码流进行运动趋势分析，包括：
视频码流待分析划分模块，用于将当前时间窗当前视角范围
Figure FDA0002799443580000033
内的全景视频码流划入待分析集合；
运动趋势分析模块，用于对待分析集合内的码流进行运动趋势分析，包括：
帧内预测帧判断处理模块，用于判断如果存在帧内预测帧，则将该帧内预测帧作为定位帧；否则找到当前时间窗内具有最多帧内预测块的帧作为定位帧；
一致运动趋势判定处理模块，用于首先将位于定位帧后第一个P帧核心中心区域且运动矢量非零的帧间预测块，划入运动块集合；接着对运动集合内块，依据其运动方向进一步归类；再接着根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势；
所述核心中心区域，依据图像分辨率，以图像中点为中心点删除上下左右一定比例的块行块列，剩余的中间块即为“核心中心区域”；
所述对运动集合内块，依据其运动方向进一步归类，包括上下左右四分类，具体为：
ψu＝{block||mvx|*k＜|mvy|且mvy＜0}、ψd＝{block||mvx|*k＜|mvy|且mvy＞0}、
ψl＝{block||mvy|*k＜|mvx|且mvx＞0}、ψr＝{block||mvy|*k＜|mvx|且mvx＜0}；
ψu、ψd、ψl、ψr分别表示上分类、下分类、左分类、右分类集合；mvx、mvy分别表示块block运动矢量的x轴分量、y轴分量；k表示比列系数，k≥2；
所述“根据归类后的分布特点，判定当前视频在当前时间窗是否存在一致运动趋势”具体可细分为“简化确定法”、“多层确定法”，具体为：
“简化确定法”：首先找到分类集合中集合内块的数量最多、第二多的集合；接着判定如果第二多的集合内块数量远远小于最多的集合内块数量，则判定存在一致运动趋势，一致运动方向即为块数量最多集合对应的方向；
“多层确定法”：首先使用“简化确定法”，初步判定是否存在一致运动趋势，如果存在则记为第一方向，如果不存在则直接判定不存在一致运动趋势，完成整个一致运动趋势判定处理模块的执行；接着，在当前时间窗内找到第二个定位帧，用同样的方法，判定是否存在一致运动趋势，如果存在则记为第二方向，如果不存在则直接判定不存在一致运动趋势，完成整个一致运动趋势判定处理模块的执行；再接着判断第一方向和第二方向是否相同，如果相同则判定存在一致运动趋势，一致运动方向即为第一方向，如果不相同则直接判定不存在一致运动趋势，完成整个一致运动趋势判定处理模块的执行；
第二码流分发装置，用于根据运动趋势分析结果及预设的加速变量，采用相应的方法进行全景视频码流分发，包括：
第二码流发送处理模块，用于判断如果存在一致运动趋势且fast＝0，则优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，同时发送上述时间窗内视觉角度上限
Figure FDA0002799443580000041
下限
Figure FDA0002799443580000042
设置note＝0，然后重回第一码流分发装置；否则如果存在一致运动趋势且fast＝1，则进入优先分发模块；否则如果不存在一致运动趋势，则按照普通模式分发下一个时间窗内拼接全景视频的各路码流，将当前时间窗设置为下一个时间窗，然后重回第一码流分发装置；
其中，fast表示加速变量，可由使用者自行设定，若使用者倾向于算法的处理速度，则令加速变量为1；若注重运动分析的准确度，则令加速变量为0；
优先分发模块，用于优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗；
码流存否判断处理模块，用于判断下一个时间窗拼接全景视频的码流是否存在，若不存在，则结束；若存在，则进入第三码流发送处理模块；
第三码流发送处理模块，用于再接着判定当前时间窗内是否存在帧内预测帧，如果不存在，则继续优先分发一致运动方向的下一个时间窗内视频码流，将当前时间窗设置为下一个时间窗，然后重回码流存否判断处理模块；如果存在，则同时发送上述时间窗内视觉角度上限
Figure FDA0002799443580000051
下限
Figure FDA0002799443580000052
然后重回码流运动趋势分析装置。
CN201811371998.0A 2018-11-16 2018-11-16 一种基于运动分析的全景视频码流分发方法和系统 Active CN109348291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811371998.0A CN109348291B (zh) 2018-11-16 2018-11-16 一种基于运动分析的全景视频码流分发方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811371998.0A CN109348291B (zh) 2018-11-16 2018-11-16 一种基于运动分析的全景视频码流分发方法和系统

Publications (2)

Publication Number Publication Date
CN109348291A CN109348291A (zh) 2019-02-15
CN109348291B true CN109348291B (zh) 2021-05-18

Family

ID=65316270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811371998.0A Active CN109348291B (zh) 2018-11-16 2018-11-16 一种基于运动分析的全景视频码流分发方法和系统

Country Status (1)

Country Link
CN (1) CN109348291B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438152A (zh) * 2016-05-25 2017-12-05 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉方法及系统
WO2018128247A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 인트라 예측 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915937B (zh) * 2016-05-10 2019-12-13 上海乐相科技有限公司 一种全景视频播放方法及设备
CN106791886B (zh) * 2016-11-16 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于视觉特性的全景视频分发方法和系统
CN106604041B (zh) * 2016-12-01 2020-05-22 深圳市梦网视讯有限公司 一种基于视觉连续性的全景视频分发方法和系统
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
CN108616557B (zh) * 2016-12-13 2022-01-25 中兴通讯股份有限公司 一种全景视频传输方法、装置、终端、服务器及系统
CN106973282B (zh) * 2017-03-03 2019-12-24 深圳市梦网百科信息技术有限公司 一种全景视频沉浸感增强方法和系统
CN106851212B (zh) * 2017-03-03 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于用户特性的全景视频分发方法和系统
CN108810427B (zh) * 2017-05-02 2020-12-04 北京大学 基于视点的全景视频内容表示的方法及装置
CN108235131B (zh) * 2018-01-30 2020-07-03 重庆邮电大学 一种基于dash的全景视频自适应传输方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438152A (zh) * 2016-05-25 2017-12-05 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉方法及系统
WO2018128247A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 인트라 예측 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟现实视频处理与传输技术;董振江 等;《电信科学》;20170820;全文 *

Also Published As

Publication number Publication date
CN109348291A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
Moorthy et al. Visual quality assessment algorithms: what does the future hold?
Dou et al. Edge computing-enabled deep learning for real-time video optimization in IIoT
CN107646112B (zh) 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法
CN107527045A (zh) 一种面向多路视频的人体行为事件实时分析方法
US20220067417A1 (en) Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks
EP3349453A1 (en) Video encoding
CN107197199A (zh) 一种智能监控装置及目标跟踪方法
CN111523442A (zh) 视频语义分割中的自适应关键帧选择方法
KR20230028250A (ko) 강화 학습 기반 속도 제어
JP2024511103A (ja) 近似値に基づいて画像又はビデオの品質を評価する方法及び装置、第１のモデルの訓練方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN112016406A (zh) 一种基于全卷积网络的视频关键帧提取方法
CN116503776A (zh) 一种基于时间自适应的时空注意力视频行为识别方法
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
CN114612305B (zh) 一种基于立体图建模的事件驱动视频超分辨率方法
CN111914938A (zh) 一种基于全卷积二分支网络的图像属性分类识别方法
KR102263005B1 (ko) 동적으로 3d cnn을 이용하는 고속 영상 인식 방법 및 장치
CN107729821B (zh) 一种基于一维序列学习的视频概括方法
CN109348291B (zh) 一种基于运动分析的全景视频码流分发方法和系统
CN113837047A (zh) 一种视频质量评估方法、系统、计算机设备及存储介质
TWI732374B (zh) 物件辨識方法及裝置
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
CN116340568A (zh) 一种基于跨场景知识迁移的在线视频摘要生成方法
Lee et al. REINDEAR: REINforcement learning agent for Dynamic system control in Edge-Assisted Augmented Reality service
KR20230068207A (ko) 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법
Huang et al. ISCom: Interest-aware Semantic Communication Scheme for Point Cloud Video Streaming on Metaverse XR Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant after: Shenzhen mengwang video Co., Ltd

Address before: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant