CN108124078B - 一种基于视频运动估计自动生成动感数据的方法 - Google Patents

一种基于视频运动估计自动生成动感数据的方法 Download PDF

Info

Publication number
CN108124078B
CN108124078B CN201810044299.9A CN201810044299A CN108124078B CN 108124078 B CN108124078 B CN 108124078B CN 201810044299 A CN201810044299 A CN 201810044299A CN 108124078 B CN108124078 B CN 108124078B
Authority
CN
China
Prior art keywords
picture
coordinate
curve
point
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810044299.9A
Other languages
English (en)
Other versions
CN108124078A (zh
Inventor
毕先春
崔天龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mitao Zhilian Technology Co ltd
Original Assignee
Guangzhou Baofeng Xinying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baofeng Xinying Technology Co ltd filed Critical Guangzhou Baofeng Xinying Technology Co ltd
Priority to CN201810044299.9A priority Critical patent/CN108124078B/zh
Publication of CN108124078A publication Critical patent/CN108124078A/zh
Application granted granted Critical
Publication of CN108124078B publication Critical patent/CN108124078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频运动估计自动生成动感数据的方法,包括:载入视频影像,对视频影像中的帧画面按照播放顺序赋予编码,获取第一帧画面和第二帧画面,获取得到子画面;获取原始子画面,从第二帧画面中获取对比子画面,在帧画面上建立平面坐标系,用对比子画面的坐标值减去原始子画面的坐标值,得到原始子画面的运动向量;获取运动向量集,并进行聚类,得到至少一个簇,获取包含运动向量最多的簇作为目标簇,获取目标簇中运动向量的平均值作为第一帧画面的画面运动向量,获取各个帧画面的画面运动向量,计算视频影像的动感数据。采用本发明的提出的方法,可以降低对工作人员的经验要求。

Description

一种基于视频运动估计自动生成动感数据的方法
技术领域
本发明涉及动感数据领域,更具体地,涉及一种基于视频运动估计自动生成动感数据的方法。
背景技术
现代社会中,观看电影是人们的主要娱乐方式之一,随着3D电影技术的发展,能够随着电影情节变化能够做出相应动作的动感座椅也逐渐为人们所知。
动感座椅是能够做出特定动作的座椅,人们通过预先设定好的动感数据,从而控制动感座椅根据电影剧情变化做出相应的动作,动感数据是用来控制动感座椅运动的参数。通过控制动感座椅做出随电影视频变化的诸如震动、晃动或移动等动作,从而给观众带来除视听体验外的运动体验,让观众身临其境。动感数据是动感座椅运动的依据,动感座椅根据动感数据在特定的时间点完成特定的运动,达到让座椅整体产生虚拟动感的效果。
现有技术中,人们在制作动感数据时,往往采用手工法和摇杆法,手工法是技术人员观看已经制作好的电影视频,随着剧情变化,有技术人员编辑输入动感数据控制动感座椅的运动,摇杆法是由技术人员手持一个控制动感座椅的摇杆,一边观看电影视频,一边控制动感座椅的运动。无论是手持法还是摇杆法,都是由技术人员一边观看电影一边输入动感数据,对工作人员经验要求高,耗时长。
因此,提供一种基于视频运动估计自动生成动感数据的方法,降低对工作人员的经验要求,是本领域亟待解决的问题。
发明内容
有鉴于此,本发明提供了一种基于视频运动估计自动生成动感数据的方法,解决了现有技术中对工作人员经验要求高的问题。
为了解决上述技术问题,本发明提出一种基于视频运动估计自动生成动感数据的方法,包括:
载入视频影像,对所述视频影像中的帧画面按照播放顺序赋予编码,其中:各个所述帧画面形状相同;
获取所述视频影像中任一所述帧画面作为第一帧画面;
获取所述视频影像中任一所述帧画面作为第二帧画面,其中,所述第二帧画面的编码大于所述第一帧画面的编码;
对所述第一帧画面进行切割,得到至少2个形状相同的子画面;
获取任一所述子画面作为原始子画面,从所述第二帧画面中获取与所述原始子画面形状相同的对比子画面,其中,所述原始子画面和所述对比子画面的画面相似度大于第一阈值,所述第一阈值不小于50%;
在所述帧画面上建立平面坐标系,包括相互垂直的x轴和y轴,所述x轴和所述y轴平行于所述帧画面所在的平面;
用所述对比子画面的坐标值减去所述原始子画面的坐标值,得到所述原始子画面的运动向量;
获取所述第一帧画面上各个所述子画面的运动向量,作为运动向量集,对所述运动向量集进行聚类,得到至少一个簇,其中,任一所述簇包括:至少一个所述运动向量;
获取包含所述运动向量最多的所述簇作为目标簇,获取所述目标簇中所述运动向量的平均值作为所述第一帧画面的所述画面运动向量;
获取各个所述帧画面的画面运动向量;
根据所述画面运动向量,计算所述视频影像的动感数据。
可选的,根据所述画面运动向量,计算所述视频影像的动感数据,包括:
在垂直于所述x轴和所述y轴的方向上设立z轴,使得所述平面坐标系成为三维坐标系,其中,所述三维坐标系为右手坐标系;
在所述三维坐标系中设定基准面,所述基准面包括所述x轴和所述z轴;
设置第一角点、第二角点、第三角点和第四角点,其中,所述第一角点的z坐标与所述第二角点的z坐标相同,所述第二角点与所述第三角点的x坐标相同,所述第三角点的z坐标与所述第四角点的z坐标相同,所述第四角点的x坐标与所述第一角点的x坐标相同,所述第四角点的x坐标大于所述第一角点的x坐标,所述第四角点的z坐标大于所述第一角点的z坐标;
获取任一所述帧画面作为目标帧画面,将所述目标帧画面的所述画面运动向量分解为沿所述x轴的x分量和沿所述y轴的y分量;
设置所述第一角点的y坐标,等于所述x分量的x坐标加上所述y分量的y坐标;
设置所述第二角点的y坐标,等于所述y分量的y坐标减去所述x分量的x坐标;
设置所述第三角点的y坐标与所述第一角点的y坐标相反;
设置所述第四角点的y坐标与所述第二角点的y坐标相反;
获取所述第一角点、所述第二角和所述第三角点的y坐标,分别作为第一幅度、第二幅度和第三幅度;
以时间为横坐标,幅度为纵坐标建立二维坐标系;
在所述二维坐标系中绘制所述目标帧画面的第一曲线点、第二曲线点和第三曲线点,其中,所述第一曲线点的横坐标、所述第二曲线点的横坐标和所述第三曲线的横坐标均等于所述目标帧画面的播放时间,所述第一曲线点的纵坐标等于所述第一幅度,所述第二曲线点的纵坐标等于所述第二幅度,所述第三曲线点的纵坐标等于所述第三幅度;
绘制各个所述帧画面的所述第一曲线点、所述第二曲线点和所述第三曲线点;
对全部所述第一曲线点进行拟合得到第一曲线,对全部所述第二曲线点进行拟合得到第二曲线,对全部所述第三曲线点进行拟合得到第三曲线;
用所述第一曲线、所述第二曲线和所述第三曲线作为所述视频影像的动感数据。
可选的,所述第一曲线、所述第二曲线和所述第三曲线处处可导。
可选的,用所述对比子画面的坐标值减去所述原始子画面的坐标值,得到所述原始子画面的运动向量,进一步为:
获取所述原始子画面和所述对比子画面相同的特征点,作为共有特征点,所述共有特征点的个数不小于1;
用所述共有特征点在所述对比子画面中的坐标值,减去所述共有特征点在所述原始子画面中的坐标值,得到所述共有特征点的坐标差值;
计算所述坐标差值的平均值,作为所述原始子画面的运动向量。
可选的,任一所述共有特征点,在所述原始子画面中的亮度和色度分别为第一亮度和第一色度,在所述对比子画面中的亮度和色度分别为第二亮度和第二色度;
任一所述共有特征点的亮度偏差的绝对值,和色度偏差的绝对值均小于第二阈值,其中,所述第二阈值不大于20%;
所述亮度偏差等于,所述第一亮度与所述第二亮度的差值除以第一亮度;
所述色度偏差等于,所述第一色度与所述第二色度的差值除以第一色度。
可选的,所述第一帧画面和所述第二帧画面的所述编码相邻。
与现有技术相比,本发明的一种基于视频运动估计自动生成动感数据的方法,实现了如下的有益效果:
1)本发明提出的一种基于视频运动估计自动生成动感数据的方法,整个方法中没有任何步骤对于工作人员有经验要求,计算过程方便快捷,解决了以往对工作人员经验要求高、耗时长的问题;
2)本发明提出的一种基于视频运动估计自动生成动感数据的方法,基于帧画面制作动感数据,保证了动感属于与视频影像的精准匹配。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1为实施例1中基于视频运动估计自动生成动感数据的方法流程图;
图2为实施例1中步骤S13的方法流程图;
图3为实施例2中基于视频运动估计自动生成动感数据的方法流程图;
图4为实施例2中步骤S23的方法流程图;
图5为实施例2中步骤S25的方法流程图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1为实施例1中基于视频运动估计自动生成动感数据的方法流程图,如图1所述,本实施例中基于视频运动估计自动生成动感数据的方法,包括:
S11:载入视频影像,对视频影像中的帧画面按照播放顺序赋予编码。
具体的,载入的视频影像可以是任意视频影像,包括完整的电影视频或电影视频的一部分,可以是黑白视频或彩色视频,可以是无声视频,视频影像由一幅幅的帧画面组成,例如每秒包括24幅帧画面,各个帧画面形状相同。
S12:获取第一帧画面和第二帧画面。
具体的,获取视频影像中任一帧画面作为第一帧画面,获取视频影像中任一帧画面作为第二帧画面,其中,第二帧画面的编码大于第一帧画面的编码。第一帧画面和第二帧画面不是同一幅帧画面。
S13:获取第一帧画面的画面运动向量。
图2为实施例1中步骤S13的方法流程图,如图2所示,获取第一帧画面的画面运动向量,包括:
S131:对第一帧画面进行切割,得到至少2个形状相同的子画面。
具体的,各个子画面形状相同是指各个子画面的形状一致且像素面积相等,可选的,第一帧画面为矩形,将第一帧画面按照16×16或32×32的方式进行切割,得到多个矩形的子画面。
S132:获取任一子画面作为原始子画面,从第二帧画面中获取与原始子画面形状相同的对比子画面。
具体的,原始子画面和对比子画面的画面相似度大于第一阈值,第一阈值不小于50%。对比子画面的画面形状与原始子画面的画面形状相同是指形状一致且像素面积相等。
S133:在帧画面上建立平面坐标系,包括相互垂直的x轴和y轴。
具体的,x轴和y轴平行于帧画面所在的平面,建立的平面坐标系可以是笛卡尔坐标系。可选的,帧画面的形状为矩形,x轴和y轴平行于帧画面的边界,即x轴沿水平方向延伸,y轴沿竖直方向延伸。
S134:用对比子画面的坐标值减去原始子画面的坐标值,得到原始子画面的运动向量:。
具体的,对比子画面的坐标值可以是对比子画面中任一点的坐标值,原始子画面的坐标值是对比子画面中同一点的坐标值,例如用对比子画面中心点的坐标值,减去原始子画面中心点的坐标值,得到原始子画面的画面运动向量。
S135:获取第一帧画面上各个子画面的运动向量,作为运动向量集,对运动向量集进行聚类,得到至少一个簇。
具体的,聚类的方法可以采用任何现有的方法,本发明对比不限定,其中任意一个簇包括:至少一个运动向量。通过聚类可以知道各个子画面的运动向量的分布情况,由聚类所生成的簇是一组运动向量的集合,同一个簇中的运动向量彼此相似,不同簇中的运动向量相差较大。
S136:获取包含运动向量最多的簇作为目标簇,获取目标簇中运动向量的平均值作为第一帧画面的画面运动向量。
具体的,目标簇中包含的运动向量的个数最多,因此,目标簇中的运动向量的平均值反映了第一帧画面整体的移动状态,例如:目标簇中运动向量的平均值是(5,0),表示第一帧画面整体沿x轴的正方向平移了5个单位,即电影镜头沿x轴的反方向平移了5个单位。需要注意的是,电影帧画面中的人物和物体往往不是静止的,所以各个子画面的运动向量有所偏差,所以需要通过聚类的算法确定第一帧画面的画面运动向量。
S14:获取各个帧画面的画面运动向量。
具体的,获取各个帧画面的画面运动向量的方法与步骤S13中的方法相同,依次选取每一个帧画面作为第一帧画面,从而获得各个帧画面的画面运动向量,可选的,对于相邻的帧画面,其展示的内容变化往往较小,因此可以不计算每一个帧画面的画面运动向量,而是间隔的取出多个帧画面,计算这些帧画面的画面运动向量,例如,只计算编码为奇数或偶数的帧画面的画面运动向量。
S15:根据画面运动向量计算视频影像的动感数据。
具体的,通过画面运动向量计算视频影像的动感数据时,可以采用任何现有技术,本发明对此不作限定。
本发明提出一种基于视频运动估计自动生成动感数据的方法,整个过程对工作人员无任何经验要求,计算过程方便快捷,解决了以往对工作人员经验要求高、耗时长的问题。本发明提出的方法中,基于帧画面获取动感数据,保证了动感数据与视频影像的精确匹配。
实施例2
图2为实施例1中基于视频运动估计自动生成动感数据的方法流程图,如图2所述,本实施例中基于视频运动估计自动生成动感数据的方法,包括:
S21:载入视频影像,对视频影像中的帧画面按照播放顺序赋予编码。
具体的,载入的视频影像可以是任一视频影像,包括完整的电影视频或电影视频的一部分,可以是黑白视频或彩色视频,可以是无声视频,视频影像由一幅幅的帧画面组成,例如每秒24幅帧画面,任一帧画面具有一个画面运动向量,各个帧画面形状相同。
S22:获取第一帧画面和第二帧画面。
具体的,获取视频影像中任一帧画面作为第一帧画面,获取视频影像中任一帧画面作为第二帧画面,其中,第二帧画面的编码大于第一帧画面的编码。第一帧画面和第二帧画面不是同一幅帧画面,可选的,第一帧画面和第二帧画面的编码相邻,即第二帧画面是紧邻第一帧画面的后一幅帧画面。
S23:获取第一帧画面的画面运动向量。
图4为实施例1中步骤S13的方法流程图,如图4所示,获取第一帧画面的画面运动向量,包括:
S231:对第一帧画面进行切割,得到至少2个形状相同的子画面。
具体的,各个子画面形状相同是指画面的形状一致且像素面积相等,可选的,将第一帧画面按照16×16或32×32的方式进行切割。
S232:获取任一子画面作为原始子画面,从第二帧画面中获取与原始子画面形状相同的对比子画面。
具体的,原始子画面和对比子画面的画面相似度大于第一阈值,第一阈值不小于50%。对比子画面的画面形状与原始子画面的画面形状相同是指形状一致且像素面积相等。
S233:在帧画面上建立平面坐标系,包括相互垂直的x轴和y轴。
具体的,x轴和y轴平行于帧画面所在的平面,建立的平面坐标系可以是笛卡尔坐标系。可选的,帧画面的形状为矩形,x轴和y轴平行于帧画面的边界,即x轴沿水平方向延伸,y轴沿竖直方向延伸。
S234:用对比子画面的坐标值减去原始子画面的坐标值,得到原始子画面的运动向量:。
具体的,对比子画面的坐标值可以是对比子画面中任一点的坐标值,减去原始子画面中对应的点的坐标值,例如用对比子画面中中心点的坐标值,减去原始子画面中中心点的坐标值,得到原始子画面的画面运动向量。
S235:获取第一帧画面上各个子画面的运动向量,作为运动向量集,对运动向量集进行聚类,得到至少一个簇。
具体的,进行聚类的方法可以采用任何聚类的方法,本发明对比不限定,其中任意一个簇包括:至少一个运动向量。通过聚类得到至少一个簇,可以知道各个子画面的运动向量的分布情况,由聚类所生成的簇是一组运动向量的集合,同一个簇的运动向量彼此相似,不同簇中的运动向量相差较大。
S236:获取包含运动向量最多的簇作为目标簇,获取目标簇中运动向量的平均值作为第一帧画面的画面运动向量:。
具体的,目标簇中包含的运动向量的个数最多,因此,目标簇中的运动向量的平均值反映了第一帧画面整体的移动状态,例如:目标簇中运动向量的平均值是(5,0),表示第一帧画面整体沿x轴的正方向平移了5个单位,对应于电影镜头沿x轴的反方向平移了5个单位,因为电影帧画面中的人物和物体往往不是静止的,所以各个子画面的运动向量有所偏差,此时,需要通过聚类的算法确定第一帧画面的画面运动向量。
S24:获取各个帧画面的画面运动向量。
具体的,获取各个帧画面的画面运动向量的方法与步骤S13中的方法相同,依次选取每一个帧画面作为第一帧画面,从而获得该帧画面的画面运动向量,可选的,对于相邻的帧画面,其展示的内容变化往往较小,因此可以不计算每一个帧画面的画面运动向量,而是间隔的取出多个帧画面,计算这些帧画面的画面运动向量,例如,只计算编码为奇数或偶数的帧画面的画面运动向量。
S25:根据画面运动向量计算视频影像的动感数据。
具体的,图5为实施例2中步骤S25的方法流程图,如图5所示,根据画面运动向量,计算视频影像的动感数据,包括:
S251:建立三维坐标系,设定基准面。
具体的,在垂直于x轴和y轴的方向上设立z轴,使得平面坐标系成为三维坐标系,其中,三维坐标系为右手坐标系。可选的,帧画面为矩形,x轴和y轴分别平行于帧画面的水平边和竖直边,z轴垂直于帧画面所在的平面。在三维坐标系中设定基准面,基准面包括x轴和z轴。
S252:设置第一角点、第二角点、第三角点和第四角点。
具体的,第一角点、第二角点、第三角点和第四角点在基准面的投影构成矩形的四个顶点,第一角点的z坐标与第二角点的z坐标相同,第二角点与第三角点的x坐标相同,第三角点的z坐标与第四角点的z坐标相同,第四角点的x坐标与第一角点的x坐标相同,第四角点的x坐标大于第一角点的x坐标,第四角点的z坐标大于第一角点的z坐标。
S253:获取目标帧画面的第一幅度、第二幅度和第三幅度。
获取任一帧画面作为目标帧画面,将目标帧画面的画面运动向量分解为沿x轴的x分量和沿y轴的y分量;
设置第一角点的y坐标,等于x分量的x坐标加上y分量的y坐标;
设置第二角点的y坐标,等于y分量的y坐标减去x分量的x坐标;
设置第三角点的y坐标与第一角点的y坐标相反;
设置第四角点的y坐标与第二角点的y坐标相反;
获取第一角点、第二角点和第三角点的y坐标,分别作为第一幅度、第二幅度和第三幅度;
具体的,例如,目标帧画面的画面运动向量为(2,3),x分量就是(2,0),y分量就是(0,3),第一角点的y坐标等于2加3等于5,第二角点的y坐标就是3减2等于1,第三角点的y坐标就是-5,第四角点的y坐标就是-1。这样设置是因为,画面运动向量用于表示帧画面的移动方向和距离,任何二维向量都可以分解为x分量和y分量,帧画面沿画面运动向量移动等同于先沿x分量运动,再沿y分量运动。例如:x分量沿x轴正方向,即当画面沿x轴正方向运动时,为了使得观众获得类似于观众自己也向x轴正方向运动的感觉,需要改变观众座椅所在的平面,使得观众的身体向x轴正方向倾斜,由第一角点、第二角点、第三角点和第四角点的坐标关系可知,这四个角点位于同一平面,在该平面上绘制一个矩形平面,这四个角点位于该矩形平面的四个角,用该矩形平面表示观众座椅所在的平面,为了使得观众的身体向x轴正方向倾斜,需要减小矩形平面靠近x轴正方向一侧角点的y坐标,即第二角点和第三角点的y坐标,减小为x分量中的x坐标,增加靠近x轴负方向一侧边的y坐标,即增加第一角点和第四角点的y坐标。当y分量沿y轴正方向时,即画面沿y轴正方向运动时,需要让观众获得类似于观众自己也向y轴正方向运动的感觉,由于y方向垂直于基准面,因此无法采用类似于x分量的方法,此时设定第一角点和第二角点的y坐标增加,增量为y分量中的y坐标,设定第三角点和第四角点的y坐标减小,减小量为有分量中的y坐标,使得观众的视线向y轴正方向移动,用于表示画面运动向量中的y分量。
S254:在二维坐标系中绘制目标帧画面的第一曲线点、第二曲线点和第三曲线点,
具体的,以时间为横坐标,幅度为纵坐标建立二维坐标系,其中,第一曲线点的横坐标、第二曲线点的横坐标和第三曲线的横坐标均等于目标帧画面的播放时间,第一曲线点的纵坐标等于第一幅度,第二曲线点的纵坐标等于第二幅度,第三曲线点的纵坐标等于第三幅度。第一曲线点、第二曲线点和第三曲线点用于表示:在目标帧画面的播放时间时,第一角点、第二角点、第三角点和第四角点坐在的平面,由于三个点就可以确定一个平面,所以只需要设置三个曲线点,就可以确定该平面的具体的位置,因此我们只设置三个曲线点,但也可以设置4个或四个以上的曲线点,本发明对此不作具体限制。
S255:绘制各个帧画面的第一曲线点、第二曲线点和第三曲线点;
具体的,绘制各个帧画面的第一曲线点、第二曲线点和第三曲线点的方法与绘制目标帧画面的第一曲线点、第二曲线点和第三曲线点的方法相同。
S256:获取第一曲线、第二曲线和第三曲线作为视频影像的动感数据。
具体的,对全部第一曲线点进行拟合得到第一曲线,对全部第二曲线点进行拟合得到第二曲线,对全部第三曲线点进行拟合得到第三曲线,可选的,采用最小二乘法对各个曲线点进行拟合。再用第一曲线、第二曲线和第三曲线作为视频影像的动感数据,动感数据就是获取的三条曲线,这三条曲线表明第一角点、第二角点、第三角点和第四角点所在平面随着视频影像播放而改变。可选的,第一曲线、第二曲线和第三曲线处处可导,表明这三条曲线是连续的,并且不存在尖锐点,即第一角点、第二角点、第三角点和第四角点所在的平面不会突然改变位置,在使用由这三条曲线导出的动感数据时,观众所做的座椅不会突然上升或下降,提高了观众的使用体验,保证了安全性。。
进一步的,在一些可选的实施例中,用对比子画面的坐标值减去原始子画面的坐标值,得到原始子画面的运动向量,进一步为:
获取原始子画面和对比子画面相同的特征点,作为共有特征点,共有特征点的个数不小于1;用共有特征点在对比子画面中的坐标值,减去共有特征点在原始子画面中的坐标值,得到共有特征点的坐标差值;计算坐标差值的平均值,作为原始子画面的运动向量。
具体的,所选取特征点,例如可以是某一个建筑物的标志点、某一个人的面部标志点,优选的选取静态的背景或建筑物上的某一点作为特征点,在原始子画面和对比子画面中获取背景或建筑物上相同的点,作为共有特征点,再用该共有特征点在对比子画面中的坐标减去其在原始子画面中的坐标,作为该特征点的坐标差值,获取所有共有特征点的坐标差值,并计算平均值,作为原值子画面的运动向量。
进一步的,在一些可选的实施例中,任一共有特征点,在原始子画面中的亮度和色度分别为第一亮度和第一色度,在对比子画面中的亮度和色度分别为第二亮度和第二色度;任一共有特征点的亮度偏差的绝对值,和色度偏差的绝对值均小于第二阈值,其中,第二阈值不大于20%;亮度偏差等于,第一亮度与第二亮度的差值除以第一亮度;色度偏差等于,第一色度与第二色度的差值除以第一色度。
具体的,对于任一共有特征点,其在原始子画面中的亮度和色度,与在对比子画面中的亮度和色度差不应过大。
本发明提出的一种基于视频运动估计自动生成动感数据的方法,相比于现有技术,实现了如下有益效果:
1)本发明提出的一种基于视频运动估计自动生成动感数据的方法,整个方法中没有任何步骤对于工作人员有经验要求,计算过程方便快捷,解决了以往对工作人员经验要求高、耗时长的问题;
2)本发明提出的一种基于视频运动估计自动生成动感数据的方法,基于帧画面制作动感数据,保证了动感属于与视频影像的精准匹配。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (6)

1.一种基于视频运动估计自动生成动感数据的方法,其特征在于,包括:
载入视频影像,对所述视频影像中的帧画面按照播放顺序赋予编码,其中:各个所述帧画面形状相同;
获取所述视频影像中任一所述帧画面作为第一帧画面;
获取所述视频影像中任一所述帧画面作为第二帧画面,其中,所述第二帧画面的编码大于所述第一帧画面的编码;
对所述第一帧画面进行切割,得到至少2个形状相同的子画面;
获取任一所述子画面作为原始子画面,从所述第二帧画面中获取与所述原始子画面形状相同的对比子画面,其中,所述原始子画面和所述对比子画面的画面相似度大于第一阈值,所述第一阈值不小于50%;
在帧画面上建立平面坐标系,包括相互垂直的x轴和y轴,所述x轴和所述y轴平行于帧画面所在的平面;
用所述对比子画面的坐标值减去所述原始子画面的坐标值,得到所述原始子画面的运动向量;
获取所述第一帧画面上各个所述子画面的运动向量,作为运动向量集,对所述运动向量集进行聚类,得到至少一个簇,其中,任一所述簇包括:至少一个所述运动向量;
获取包含所述运动向量最多的所述簇作为目标簇,获取所述目标簇中所述运动向量的平均值作为所述第一帧画面的所述画面运动向量;
获取各个帧画面的画面运动向量;
根据所述画面运动向量,计算所述视频影像的动感数据。
2.根据权利要求1所述的一种基于视频运动估计自动生成动感数据的方法,其特征在于,根据所述画面运动向量,计算所述视频影像的动感数据,包括:
在垂直于所述x轴和所述y轴的方向上设立z轴,使得所述平面坐标系成为三维坐标系,其中,所述三维坐标系为右手坐标系;
在所述三维坐标系中设定基准面,所述基准面包括所述x轴和所述z轴;
设置第一角点、第二角点、第三角点和第四角点,其中,所述第一角点的z坐标与所述第二角点的z坐标相同,所述第二角点与所述第三角点的x坐标相同,所述第三角点的z坐标与所述第四角点的z坐标相同,所述第四角点的x坐标与所述第一角点的x坐标相同,所述第四角点的x坐标大于所述第一角点的x坐标,所述第四角点的z坐标大于所述第一角点的z坐标;
获取任一帧画面作为目标帧画面,将所述目标帧画面的所述画面运动向量分解为沿所述x轴的x分量和沿所述y轴的y分量;
设置所述第一角点的y坐标,等于所述x分量的x坐标加上所述y分量的y坐标;
设置所述第二角点的y坐标,等于所述y分量的y坐标减去所述x分量的x坐标;
设置所述第三角点的y坐标与所述第一角点的y坐标相反;
设置所述第四角点的y坐标与所述第二角点的y坐标相反;
获取所述第一角点、所述第二角和所述第三角点的y坐标,分别作为第一幅度、第二幅度和第三幅度;
以时间为横坐标,幅度为纵坐标建立二维坐标系;
在所述二维坐标系中绘制所述目标帧画面的第一曲线点、第二曲线点和第三曲线点,其中,所述第一曲线点的横坐标、所述第二曲线点的横坐标和所述第三曲线的横坐标均等于所述目标帧画面的播放时间,所述第一曲线点的纵坐标等于所述第一幅度,所述第二曲线点的纵坐标等于所述第二幅度,所述第三曲线点的纵坐标等于所述第三幅度;
绘制各个帧画面的所述第一曲线点、所述第二曲线点和所述第三曲线点;
对全部所述第一曲线点进行拟合得到第一曲线,对全部所述第二曲线点进行拟合得到第二曲线,对全部所述第三曲线点进行拟合得到第三曲线;
用所述第一曲线、所述第二曲线和所述第三曲线作为所述视频影像的动感数据。
3.根据权利要求2所述的一种基于视频运动估计自动生成动感数据的方法,其特征在于,所述第一曲线、所述第二曲线和所述第三曲线处处可导。
4.根据权利要求1所述的一种基于视频运动估计自动生成动感数据的方法,其特征在于,用所述对比子画面的坐标值减去所述原始子画面的坐标值,得到所述原始子画面的运动向量,进一步为:
获取所述原始子画面和所述对比子画面相同的特征点,作为共有特征点,所述共有特征点的个数不小于1;
用所述共有特征点在所述对比子画面中的坐标值,减去所述共有特征点在所述原始子画面中的坐标值,得到所述共有特征点的坐标差值;
计算所述坐标差值的平均值,作为所述原始子画面的运动向量。
5.根据权利要求4所述的一种基于视频运动估计自动生成动感数据的方法,其特征在于,
任一所述共有特征点,在所述原始子画面中的亮度和色度分别为第一亮度和第一色度,在所述对比子画面中的亮度和色度分别为第二亮度和第二色度;
任一所述共有特征点的亮度偏差的绝对值,和色度偏差的绝对值均小于第二阈值,其中,所述第二阈值不大于20%;
所述亮度偏差等于,所述第一亮度与所述第二亮度的差值除以第一亮度;
所述色度偏差等于,所述第一色度与所述第二色度的差值除以第一色度。
6.根据权利要求1所述的一种基于视频运动估计自动生成动感数据的方法,其特征在于,所述第一帧画面和所述第二帧画面的所述编码相邻。
CN201810044299.9A 2018-01-17 2018-01-17 一种基于视频运动估计自动生成动感数据的方法 Active CN108124078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810044299.9A CN108124078B (zh) 2018-01-17 2018-01-17 一种基于视频运动估计自动生成动感数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810044299.9A CN108124078B (zh) 2018-01-17 2018-01-17 一种基于视频运动估计自动生成动感数据的方法

Publications (2)

Publication Number Publication Date
CN108124078A CN108124078A (zh) 2018-06-05
CN108124078B true CN108124078B (zh) 2020-04-03

Family

ID=62233023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810044299.9A Active CN108124078B (zh) 2018-01-17 2018-01-17 一种基于视频运动估计自动生成动感数据的方法

Country Status (1)

Country Link
CN (1) CN108124078B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913585A (zh) * 2005-06-13 2007-02-14 精工爱普生株式会社 数字视频中估算运动并补偿所感知运动模糊的方法及系统
CN101175190A (zh) * 2006-11-02 2008-05-07 日本胜利株式会社 摄影装置及该摄影装置所用的文件管理方法
CN101729785A (zh) * 2008-10-27 2010-06-09 索尼株式会社 图像处理装置、图像处理方法和程序

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913585A (zh) * 2005-06-13 2007-02-14 精工爱普生株式会社 数字视频中估算运动并补偿所感知运动模糊的方法及系统
CN101175190A (zh) * 2006-11-02 2008-05-07 日本胜利株式会社 摄影装置及该摄影装置所用的文件管理方法
CN101729785A (zh) * 2008-10-27 2010-06-09 索尼株式会社 图像处理装置、图像处理方法和程序

Also Published As

Publication number Publication date
CN108124078A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
Boyce et al. MPEG immersive video coding standard
US11138762B2 (en) Visual quality of video based point cloud compression using one or more additional patches
US20190122393A1 (en) Point cloud compression using hybrid transforms
JP6688469B2 (ja) 画像処理装置および画像処理方法
CN107409231B (zh) 图像处理装置和图像处理方法
US7038676B2 (en) System and method for data compression
US20110063410A1 (en) System and method for three-dimensional video capture workflow for dynamic rendering
US9041773B2 (en) Conversion of 2-dimensional image data into 3-dimensional image data
WO2010113859A1 (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
CN108027983A (zh) 针对三维图像的三角形网格的生成
US10791313B2 (en) Method and apparatus for providing 6DoF omni-directional stereoscopic image based on layer projection
US10964067B2 (en) Visual quality enhancement of reconstructed point clouds via color smoothing
JP2021057766A (ja) 画像表示システム、動画配信サーバ、画像処理装置、および動画配信方法
Vadakital et al. The MPEG immersive video standard—current status and future outlook
JP2021057767A (ja) 画像データ転送装置および画像データ転送方法
CN108124078B (zh) 一种基于视频运动估计自动生成动感数据的方法
JP6965439B2 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
JP2021057770A (ja) 画像データ転送装置および画像圧縮方法
Fradet et al. [poster] mr TV mozaik: A new mixed reality interactive TV experience
CN108200430A (zh) 一种基于视觉显著度的自适应下采样深度图压缩方法
WO2019193698A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
JP2021057869A (ja) 画像処理装置、画像表示システム、画像データ転送装置、および画像処理方法
US20220122216A1 (en) Generating and processing an image property pixel structure
US20240013483A1 (en) Enabling Multiple Virtual Reality Participants to See Each Other

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230801

Address after: Room b1179, 01-1101, 10th floor, building 1, yard 8, Gongren Stadium North Road, Chaoyang District, Beijing 100020

Patentee after: Beijing Mitao Zhilian Technology Co.,Ltd.

Address before: Room 1304, Block B, Zhongda Science Park, No. 705, Dayuanyuan West District, No. 135, Xingang West Road, Haizhu District, Guangzhou, Guangdong 510310

Patentee before: GUANGZHOU BAOFENG XINYING TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right