CN105335992B - 一种三维动画场景帧评分模型确定方法及装置 - Google Patents

一种三维动画场景帧评分模型确定方法及装置 Download PDF

Info

Publication number
CN105335992B
CN105335992B CN201510664652.XA CN201510664652A CN105335992B CN 105335992 B CN105335992 B CN 105335992B CN 201510664652 A CN201510664652 A CN 201510664652A CN 105335992 B CN105335992 B CN 105335992B
Authority
CN
China
Prior art keywords
dimensional animation
animation scene
scene frame
disparity
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510664652.XA
Other languages
English (en)
Other versions
CN105335992A (zh
Inventor
刘亮
马华东
王泽宇
卢大玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201510664652.XA priority Critical patent/CN105335992B/zh
Priority to US14/993,612 priority patent/US9965884B2/en
Publication of CN105335992A publication Critical patent/CN105335992A/zh
Application granted granted Critical
Publication of CN105335992B publication Critical patent/CN105335992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种三维动画场景帧评分模型确定方法及装置，方法包括：获得三维动画场景帧数据集，获得预设的每个三维动画场景帧对应的立体感效果标准分数和舒适度标准分数，得到每个三维动画场景帧的视差图，基于每个三维动画场景帧的视差图，提取其视差统计特征，并将各视差统计特征组成一个特征向量，基于每个三维动画场景帧的特征向量，结合其对应的立体感效果标准分数和舒适度标准分数，分别确定三维动画场景帧立体感效果评分模型和舒适度评分模型，以实现对三维动画场景帧的自动评分，减少评分受制作人员主观因素的影响，减小工作量，提高效率。

Description

一种三维动画场景帧评分模型确定方法及装置
技术领域
本发明涉及三维动画制作技术领域，特别涉及一种三维动画场景帧评分模型确定方法及装置。
背景技术
三维动画技术被广泛应用于电影、游戏、教育等可视化展示领域。使用三维动画技术，可以确保动画制作流程的各个环节不受设备、场地等环境因素的影响，在内容的最终视觉效果呈现方面具有无可比拟的天然优势。
一般而言，在三维动画制作流程中，主要根据制作人员在制作环节设定的立体参数来实现对三维动画场景帧立体视觉效果的调整控制，立体参数的设定直接决定了最终动画成片的三维呈现，其质量高低甚至会影响到整部三维动画作品的制作进度，因此，对三维动画场景帧进行评分是非常重要的。
现有技术中，对三维动画场景帧的评分主要是基于制作人员的主观判断，其评分标准受制作人员主观因素影响较大，同时评分过程容易受到当时测试环境和放映设备的影响，而且，工作量大，效率不高。
发明内容
本发明实施例的目的是提供一种三维动画场景帧评分模型确定方法及装置，以实现对三维动画场景帧的自动评分，减少评分受制作人员主观因素的影响，减小工作量，提高效率。具体技术方案如下：
获得三维动画场景帧数据集，所述数据集中包含第一数量的三维动画场景帧；
获得预设的每个三维动画场景帧对应的立体感效果标准分数和舒适度标准分数；
得到每个三维动画场景帧的视差图，基于每个三维动画场景帧的视差图，提取其视差统计特征，并将各视差统计特征组成一个特征向量；
建立三维动画场景帧的特征向量与立体感效果评分的第一回归函数，将对应的立体感效果标准分数作为第一回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第一回归函数进行求解，将求解后得到的第二回归函数确定为三维动画场景帧立体感效果评分模型；建立三维动画场景帧的特征向量与舒适度评分的第三回归函数，将对应的舒适度标准分数作为第三回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第三回归函数进行求解，将求解后得到的第四回归函数确定为三维动画场景帧舒适度评分模型。
可选的，所述获得三维动画场景帧数据集，包括：
获得三维动画不同场景帧的立体图像对以及相同场景帧下不同立体参数设定下的立体图像对，将获得的立体图像对作为三维动画场景帧数据集。
可选的，所述基于每个三维动画场景帧的视差图，提取其视差统计特征，包括：
根据如下公式计算其视差统计特征：
视差平均值MD：
Figure GDA0002271866880000021
视差中值MED：
Figure GDA0002271866880000022
最大正视差MP：
Figure GDA0002271866880000023
最大负视差MN：
Figure GDA0002271866880000024
视差标准差DSD：
Figure GDA0002271866880000025
平均视差梯度MDG：
Figure GDA0002271866880000026
其中，D(i,j)为每个三维动画场景帧视差图的每个像素点的视差值，i为每个三维动画场景帧视差图的横坐标，j为每个三维动画场景帧视差图的纵坐标，M、N分别为每个三维动画场景帧视差图的宽和高，ΔD(i,j)为经过拉普拉斯变换后得到每个三维动画场景帧的视差梯度图的每个像素点值。
可选的，所述三维动画场景帧立体感效果评分模型为：
Figure GDA0002271866880000031
其中，QSE为三维动画场景帧立体感效果分数，totalSV为立体感效果支持向量个数参数值，sv_cofi为模型参数中第i个支持向量所对应的系数值，
Figure GDA0002271866880000032
为线性核函数，SVsi为模型参数中第i个支持向量所对应的特征向量，x为输入的三维动画场景帧的特征向量；
所述三维动画场景帧舒适度评分模型为：
Figure GDA0002271866880000033
其中，QVC为三维动画场景帧舒适度分数，totalSV为舒适度支持向量个数参数值，sv_cofi为模型参数中第i个支持向量所对应的系数值，
Figure GDA0002271866880000034
为线性核函数，SVsi为模型参数中第i个支持向量所对应的特征向量，x为输入的三维动画场景帧的特征向量。
可选的，所述方法还包括：
获得待评分三维动画场景帧；
得到待评分三维动画场景帧的视差图，基于待评分三维动画场景帧的视差图提取其视差统计特征，并将各视差统计特征组成一个特征向量；
基于所述特征向量，根据三维动画场景帧立体感效果评分模型和舒适度评分模型分别计算该待评分三维动画场景帧的立体感效果分数和舒适度分数。
本发明实施例公开了一种三维动画场景帧评分模型确定装置，所述装置包括：
第一获得模块，用于获得三维动画场景帧数据集，所述数据集中包含第一数量的三维动画场景帧；
第二获得模块，用于获得预设的每个三维动画场景帧对应的立体感效果标准分数和舒适度标准分数；
第一提取模块，用于得到每个三维动画场景帧的视差图，基于每个三维动画场景帧的视差图，提取其视差统计特征，并将各视差统计特征组成一个特征向量；
第一确定模块，用于建立三维动画场景帧的特征向量与立体感效果评分的第一回归函数，将对应的立体感效果标准分数作为第一回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第一回归函数进行求解，将求解后得到的第二回归函数确定为三维动画场景帧立体感效果评分模型；建立三维动画场景帧的特征向量与舒适度评分的第三回归函数，将对应的舒适度标准分数作为第三回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第三回归函数进行求解，将求解后得到的第四回归函数确定为三维动画场景帧舒适度评分模型。
可选的，所述第一获得模块具体用于：
获得三维动画不同场景帧的立体图像对以及相同场景帧下不同立体参数设定下的立体图像对，将获得的立体图像对作为三维动画场景帧数据集。
可选的，所述第一提取模块具体用于：
根据如下公式计算其视差统计特征：
视差平均值MD：
Figure GDA0002271866880000041
视差中值MED：
Figure GDA0002271866880000042
最大正视差MP：
Figure GDA0002271866880000043
最大负视差MN：
Figure GDA0002271866880000044
视差标准差DSD：
平均视差梯度MDG：
Figure GDA0002271866880000051
其中，D(i,j)为每个三维动画场景帧视差图的每个像素点的视差值，i为每个三维动画场景帧视差图的横坐标，j为每个三维动画场景帧视差图的纵坐标，M、N分别为每个三维动画场景帧视差图的宽和高，ΔD(i,j)为经过拉普拉斯变换后得到每个三维动画场景帧的视差梯度图的每个像素点值；
将各视差统计特征组成一个特征向量。
可选的，所述三维动画场景帧立体感效果评分模型为：
其中，QSE为三维动画场景帧立体感效果分数，totalSV为立体感效果支持向量个数参数值，sv_cofi为模型参数中第i个支持向量所对应的系数值，
Figure GDA0002271866880000053
为线性核函数，SVsi为模型参数中第i个支持向量所对应的特征向量，x为输入的三维动画场景帧的特征向量；
所述三维动画场景帧舒适度评分模型为：
Figure GDA0002271866880000054
其中，QVC为三维动画场景帧舒适度分数，totalSV为舒适度支持向量个数参数值，sv_cofi为模型参数中第i个支持向量所对应的系数值，
Figure GDA0002271866880000055
为线性核函数，SVsi为模型参数中第i个支持向量所对应的特征向量，x为输入的三维动画场景帧的特征向量。
可选的，所述装置还包括：
第三获得模块，用于获得待评分三维动画场景帧；
第二提取模块，用于得到待评分三维动画场景帧的视差图，基于待评分三维动画场景帧的视差图提取其视差统计特征，并将各视差统计特征组成一个特征向量；
第二确定模块，用于基于所述特征向量，根据三维动画场景帧立体感效果评分模型和舒适度评分模型分别计算该待评分三维动画场景帧的立体感效果分数和舒适度分数。
可见，本发明实施例中，基于每个三维动画场景帧的视差统计特征，结合其对应的立体感效果标准分数和舒适度标准分数，分别确定三维动画场景帧立体感效果评分模型和舒适度评分模型，以实现对三维动画场景帧的自动评分，减少评分受制作人员主观因素的影响，减小工作量，提高效率。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维动画场景帧评分模型确定方法的流程示意图；
图2为本发明实施例提供的三维动画场景帧内容示意图，其中，(a)为profile 侧面场景帧，(b)为seize抓取场景帧，(c)为stand站立场景帧，(d)为rush奔跑场景帧；
图3为本发明实施例提供的针对stand站立场景帧所提取的视差相关示意图，其中的(a)、(b)、(c)分别为视差图、视差梯度图和视差分布直方图的示意图；
图4为本发明实施例中前期制作过程中名为back背面的三维动画场景帧，改变零视差面参数Zero Parallax的数值后得到不同的立体图像对示意图；
图5为本发明实施例中针对back背面场景帧所提取的视差图、视差梯度图和视差分布直方图的示意图；
图6为本发明实施例中针对stand站立场景帧得到的三维动画场景帧立体感效果分数SE和三维动画场景帧舒适度分数VC的结果图；
图7为本发明实施例中针对back背面场景帧得到的三维动画场景帧立体感效果分数SE与观众主观分数的柱状统计图；
图8为本发明实施例中针对back背面场景得到的三维动画场景帧舒适度分数VC与观众主观分数的柱状统计图；
图9为将本发明的评分方法嵌入到三维动画前期制作过程中，实现具有评价反馈功能的三维动画立体效果交互式调整的制作流程示意图；
图10为本发明实施例提供的一种三维动画场景帧评分模型确定装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面通过具体实施例，本发明进行详细说明。
图1为本发明实施例提供的一种三维动画场景帧评分模型确定方法的流程示意图，包括如下步骤：
S101：获得三维动画场景帧数据集，所述数据集中包含第一数量的三维动画场景帧。
三维动画场景帧数据集取材于三维动画前期制作流程，主要是Layout层数据。三维动画场景帧和三维动画场景帧内容均为裸模，即不考虑三维动画场景帧及模型的材质、纹理、光效等因素的三维动画场景帧和模型。
具体的，获得三维动画不同场景帧的立体图像对以及相同场景帧下不同立体参数设定下的立体图像对，将获得的立体图像对作为三维动画场景帧数据集。
对同一个三维动画场景帧，立体参数设定不同，即设定的虚拟立体摄像机的轴间距Interaxial Separation参数和零视差面Zero Parallax参数不相同，其立体图像对产生的立体效果也不相同，其中，一个立体图像对包括左图像和右图像。
因此，三维动画场景帧数据集不仅包含不同场景帧的立体图像对，也包含相同场景帧下不同立体参数设定下的立体图像对，如图2所示，图中为profile 侧面、seize抓取、stand站立和rush奔跑三维动画场景帧的左图像、右图像和红蓝格式的立体图像，其中，图像下方显示了三维动画场景帧立体图像对的立体摄像机设定参数，分别为摄像机类型、轴间距Interaxial Separation和零视差面Zero Parallax。
S102：获得预设的每个三维动画场景帧对应的立体感效果标准分数和舒适度标准分数。
按照ITU-R BT.500的平均评估分值MOS打分方法，将标准分数测试的计分方式设为离散五分制，即：5-优，4-良，3-中，2-差，1-劣。然后按照ITU 标准的标准实验步骤，让受试者针对三维动画场景帧数据集中的立体图像对内容的立体感效果和舒适度分别进行打分。
依照ITU-R BT.500的统计方法，使用Grubbs'test对得到的打分数据进行异常值检测和实验者抛弃处理，并计算经处理后同一立体图像对内容对应的打分数据均值，最终获得三维动画场景帧数据集中不同场景帧的立体图像对的立体感效果分数和舒适度分数，以及相同场景帧下不同立体参数设定下的立体图像对的立体感效果分数和舒适度分数，将所述获得三维动画场景帧数据集的立体感效果分数和舒适度分数分别作为预设的每个三维动画场景帧对应的立体感效果标准分数和舒适度标准分数。
由于一个立体图像对包括左图像和右图像，左图像和右图像的分数均为对应立体图像对的分数，即左右图像的立体感效果标准分数相同，并且左右图像的舒适度标准分数也相同。
S103：得到每个三维动画场景帧的视差图，基于每个三维动画场景帧的视差图，提取其视差统计特征，并将各视差统计特征组成一个特征向量。
利用三维动画场景帧的数据，主要是深度数据，得到左右图像对的视差图。如图3所示，得到stand站立场景帧的视差图、视差梯度图和视差分布直方图，根据该视差图、视差梯度图和视差分布直方图，分别计算其视差统计特征。
具体的，根据如下公式计算其视差统计特征:
视差平均值MD：
Figure GDA0002271866880000091
视差中值MED：
最大正视差MP：
Figure GDA0002271866880000093
最大负视差MN：
Figure GDA0002271866880000094
视差标准差DSD：
Figure GDA0002271866880000095
平均视差梯度MDG：
Figure GDA0002271866880000096
其中，D(i,j)为每个三维动画场景帧视差图的每个像素点的视差值，i为每个三维动画场景帧视差图的横坐标，j为每个三维动画场景帧视差图的纵坐标，M、N分别为每个三维动画场景帧视差图的宽和高，ΔD(i,j)为经过拉普拉斯变换后得到每个三维动画场景帧的视差梯度图的每个像素点值。
其中，MD和MED代表每个三维动画场景帧立体图像对视差幅值大小， MP和MN则反应了每个三维动画场景帧立体图像对视差幅值范围。
进一步的，将各视差统计特征组成一个特征向量用于后续步骤。
S104：建立三维动画场景帧的特征向量与立体感效果评分的第一回归函数，将对应的立体感效果标准分数作为第一回归函数的输出函数值，使用惩罚因子 -支持向量回归机ε-SVR方法引入核函数对第一回归函数进行求解，将求解后得到的第二回归函数确定为三维动画场景帧立体感效果评分模型；建立三维动画场景帧的特征向量与舒适度评分的第三回归函数，将对应的舒适度标准分数作为第三回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第三回归函数进行求解，将求解后得到的第四回归函数确定为三维动画场景帧舒适度评分模型。
得到三维动画场景帧立体感效果评分模型和三维动画场景帧舒适度评分模型的过程可以看作一个回归问题的求解过程，即分别找到特征向量与三维动画场景帧立体感效果评分和三维动画场景帧舒适度评分间的映射关系。
将三维动画场景帧立体感效果分数表示为特征向量x的第一回归函数：
QSE＝f(x)＝<w1,x>+b1
其中，w1是需要求解的未知参数向量即权向量，b1为偏移值。
通过找到合适的特征向量x和参数向量w1间的关系，以使得到的函数值 QSE能够与对应的立体感效果标准分数具有高度相关性。
在使用惩罚因子-支持向量回归机ε-SVR方法求解过程中，为确定参数向量w1和偏移值b1，将求解最优回归函数QSE＝f(x)的问题转化为带有约束条件的对参数向量w1和偏移值b1的最优化问题，引入核函数、正则化常数C1和松弛因子ε1确定参数向量w1和偏移值b1，采用k-folder交叉验证和网格搜索 Grid-Search方法寻找惩罚因子C1和松弛因子ε1的最优值以得到最优的效果，进而得到求解后的第二回归函数，将求解后得到的第二回归函数确定为三维动画场景帧立体感效果评分模型。
将三维动画场景帧舒适度分数表示为特征向量x的第三回归函数：
QVC＝f(x)＝<w2,x>+b2
其中，w2是需要求解的未知参数向量即权向量，b2为偏移值。
通过找到合适的特征向量x和参数向量w2间的关系，以使得到的函数值 QVC能够与对应舒适度的标准分数具有高度相关性。
在使用惩罚因子-支持向量回归机ε-SVR方法求解过程中，为确定参数向量w2和偏移值b2，将求解最优回归函数QVC＝f(x)的问题转化为带有约束条件的对参数向量w2和偏移值b2的最优化问题，引入核函数、正则化常数C2和松弛因子ε2确定参数向量w2和偏移值b2，采用k-folder交叉验证和网格搜索 Grid-Search方法寻找惩罚因子C2和松弛因子ε2的最优值以得到最优的效果，进而得到求解后的第四回归函数，将求解后得到的第四回归函数确定为三维动画场景帧舒适度评分模型。
具体的，三维动画场景帧立体感效果评分模型为：
Figure GDA0002271866880000111
其中，QSE为三维动画场景帧立体感效果分数，totalSV为立体感效果支持向量个数参数值，sv_cofi为模型参数中第i个支持向量所对应的系数值，
Figure GDA0002271866880000112
为线性核函数，SVsi为模型参数中第i个支持向量所对应的特征向量，x为输入的三维动画场景帧的特征向量；
所述三维动画场景帧舒适度评分模型为：
Figure GDA0002271866880000113
其中，QVC为三维动画场景帧舒适度分数，totalSV为舒适度支持向量个数参数值，sv_cofi为模型参数中第i个支持向量所对应的系数值，
Figure GDA0002271866880000114
为线性核函数，SVsi为模型参数中第i个支持向量所对应的特征向量，x为输入的三维动画场景帧的特征向量。
进一步的，在实际操作过程中，由于线性核函数的回归效果最好，所以对第一回归函数和第三回归函数求解过程中引入的核函数为线性核函数，线性核函数的表达式为：
Figure GDA0002271866880000115
其中，xj为第j个三维动画场景帧的特征向量，xk为第k个三维动画场景帧的特征向量。
但本发明并不限于仅使用线性核函数，根据实际的三维动画场景帧和三维动画场景帧数据集，核函数可以选用其他形式。
更进一步的，本发明实施例所提供的一种三维动画场景帧评分模型确定方法还可以包括：
获得待评分三维动画场景帧；
得到待评分三维动画场景帧的视差图，基于待评分三维动画场景帧的视差图提取其视差统计特征，并将各视差统计特征组成一个特征向量；
基于所述特征向量，根据三维动画场景帧立体感效果评分模型和舒适度评分模型分别计算该待评分三维动画场景帧的立体感效果分数和舒适度分数。
下面结合一个具体的实施例进行说明。
获得前期制作过程中名为back背面的三维动画场景帧，改变零视差面参数ZeroParallax的数值，得到该三维动画场景帧的立体图像对，如图4所示；
得到该back背面三维动画场景帧的视差图、视差梯度图和视差分布直方图，如图5所示；
基于back背面三维动画场景帧的视差图提取其视差统计特征，并将各视差统计特征组成一个特征向量；
基于该特征向量，根据三维动画场景帧立体感效果评分模型和舒适度评分模型分别计算back背面三维动画场景帧的立体感效果分数和视觉舒适度分数，如图6所示，分别得到了back背面三维动画场景帧的零视差面Zero Parallax 数值在[2.884m,4.784m]范围内对应的立体感效果评分和舒适度评分。
为了验证本发明方法的有效性，使用本发明方法获得的三维动画场景帧立体感效果分数SE和三维动画场景帧舒适度分数VC分别与观众对这两个方面的主观分数进行比对，如图7和图8所示。
使用4种常用的相关性能指标来验证三维动画场景帧评分模型的有效性，这4种评价指标分别是：皮尔森线性相关系数(PLCC)、斯皮尔曼等级相关系数(SRCC)、肯德尔等级相关系数(KRCC)和均方根误差(RMSE)。其中， PLCC、SRCC、KRCC越接近1，RMSE越接近于0，代表主客观分数越相关。表1所示为使用本发明得到的三维动画场景帧立体感效果分数SE和三维动画场景帧舒适度分数VC与主观分数间的各相关系数。
表1
Figure GDA0002271866880000131
本发明获得的三维动画场景帧的立体感效果分数SE和三维动画场景帧舒适度分数VC可以用于三维动画前期制作的调节反馈，如图9所示，将本发明的三维动画场景帧评分方法嵌入到三维动画前期制作过程中，实现具有评价反馈功能的三维动画立体效果交互式调整的制作流程示意图。在图9中，通过分析图 9 中的 (a)所输入的三维动画场景帧对应的立体图像对的视差分布图，分析过程如图 9 中的 (b) 所示，然后，利用本发明提出的三维动画场景帧评分模型，可以自动得到其立体感效果SE和舒适度VC评分，调控人员根据评分结果，对低于阈值的三维动画场景帧再次进行立体参数调整，否则保留之前的参数设定，重复此过程直到评分全部高于阈值为止，如图 9 中的 (c)所示。
可见，本发明实施例中，基于每个三维动画场景帧的视差统计特征，结合其对应的立体感效果标准分数和舒适度标准分数，分别确定三维动画场景帧立体感效果评分模型和舒适度评分模型，减少评分受制作人员主观因素的影响，减小工作量，提高效率。
图10为本发明实施例提供的一种三维动画场景帧评分模型确定装置的结构示意图，与图1所示的流程相对应，包括第一获得模块1001、第二获得模块 1002、第一提取模块1003和第一确定模块1004。
所述第一获得模块1001，用于获得三维动画场景帧数据集，所述数据集中包含第一数量的三维动画场景帧；
所述第二获得模块1002，用于获得预设的每个三维动画场景帧对应的立体感效果标准分数和舒适度标准分数；
所述第一提取模块1003，用于得到每个三维动画场景帧的视差图，基于每个三维动画场景帧的视差图，提取其视差统计特征，并将各视差统计特征组成一个特征向量；
所述第一确定模块1004，用于建立三维动画场景帧的特征向量与立体感效果评分的第一回归函数，将对应的立体感效果标准分数作为第一回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第一回归函数进行求解，将求解后得到的第二回归函数确定为三维动画场景帧立体感效果评分模型；建立三维动画场景帧的特征向量与舒适度评分的第三回归函数，将对应的舒适度标准分数作为第三回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第三回归函数进行求解，将求解后得到的第四回归函数确定为三维动画场景帧舒适度评分模型。
所述第一获得模块1001，具体用于：
获得三维动画不同场景帧的立体图像对以及相同场景帧下不同立体参数设定下的立体图像对，将获得的立体图像对作为三维动画场景帧数据集。
所述第一提取模块1003，具体用于：
根据如下公式计算其视差统计特征：
视差平均值MD：
Figure GDA0002271866880000141
视差中值MED：
最大正视差MP：
Figure GDA0002271866880000143
最大负视差MN：
Figure GDA0002271866880000144
视差标准差DSD：
Figure GDA0002271866880000145
平均视差梯度MDG：
Figure GDA0002271866880000151
其中，D(i,j)为每个三维动画场景帧视差图的每个像素点的视差值，i为每个三维动画场景帧视差图的横坐标，j为每个三维动画场景帧视差图的纵坐标，M、N分别为每个三维动画场景帧视差图的宽和高，ΔD(i,j)为经过拉普拉斯变换后得到每个三维动画场景帧的视差梯度图的每个像素点值；
将各视差统计特征组成一个特征向量。
其中，所述三维动画场景帧立体感效果评分模型为：
Figure GDA0002271866880000152
其中，QSE为三维动画场景帧立体感效果分数，totalSV为立体感效果支持向量个数参数值，sv_cofi为模型参数中第i个支持向量所对应的系数值，
Figure GDA0002271866880000153
为线性核函数，SVsi为模型参数中第i个支持向量所对应的特征向量，x为输入的三维动画场景帧的特征向量；
所述三维动画场景帧舒适度评分模型为：
Figure GDA0002271866880000154
其中，QVC为三维动画场景帧舒适度分数，totalSV为舒适度支持向量个数参数值，sv_cofi为模型参数中第i个支持向量所对应的系数值，
Figure GDA0002271866880000155
为线性核函数，SVsi为模型参数中第i个支持向量所对应的特征向量，x为输入的三维动画场景帧的特征向量。
所述装置还包括：
第三获得模块，用于获得待评分三维动画场景帧；
第二提取模块，用于得到待评分三维动画场景帧的视差图，基于待评分三维动画场景帧的视差图提取其视差统计特征，并将各视差统计特征组成一个特征向量；
第二确定模块，用于基于所述特征向量，根据三维动画场景帧立体感效果评分模型和舒适度评分模型分别计算该待评分三维动画场景帧的立体感效果分数和舒适度分数。
可见，本发明实施例中，基于每个三维动画场景帧的视差统计特征，结合其对应的立体感效果标准分数和舒适度标准分数，分别确定三维动画场景帧立体感效果评分模型和舒适度评分模型，以实现对三维动画场景帧的自动评分，减少评分受制作人员主观因素的影响，减小工作量，提高效率。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (4)

1.一种三维动画场景帧评分模型确定方法，其特征在于，所述方法包括步骤：
获得三维动画场景帧数据集，所述数据集中包含第一数量的三维动画场景帧；三维动画场景帧数据集取材于三维动画前期制作流程，Layout层数据；三维动画场景帧和三维动画场景帧内容为裸模；
获得预设的每个三维动画场景帧对应的立体感效果标准分数和舒适度标准分数；
得到每个三维动画场景帧的视差图，基于每个三维动画场景帧的视差图，提取其视差统计特征，并将各视差统计特征组成一个特征向量；其中，一个三维动画场景帧的视差图包括：该三维动画场景帧的左右图像对的视差图；
建立三维动画场景帧的特征向量与立体感效果评分的第一回归函数，将对应的立体感效果标准分数作为第一回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第一回归函数进行求解，将求解后得到的第二回归函数确定为三维动画场景帧立体感效果评分模型；建立三维动画场景帧的特征向量与舒适度评分的第三回归函数，将对应的舒适度标准分数作为第三回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第三回归函数进行求解，将求解后得到的第四回归函数确定为三维动画场景帧舒适度评分模型；
所述基于每个三维动画场景帧的视差图，提取其视差统计特征，包括：
根据如下公式计算其视差统计特征：
视差平均值MD：
Figure FDA0002239688370000011
视差中值MED：
Figure FDA0002239688370000012
最大正视差MP：
Figure FDA0002239688370000013
最大负视差MN：
Figure FDA0002239688370000021
视差标准差DSD：
Figure FDA0002239688370000022
平均视差梯度MDG：
Figure FDA0002239688370000023
其中，D(i,j)为每个三维动画场景帧视差图的每个像素点的视差值，i为每个三维动画场景帧视差图的横坐标，j为每个三维动画场景帧视差图的纵坐标，M、N分别为每个三维动画场景帧视差图的宽和高，ΔD(i,j)为经过拉普拉斯变换后得到每个三维动画场景帧的视差梯度图的每个像素点值；
所述获得三维动画场景帧数据集，包括：
获得三维动画不同场景帧的立体图像对以及相同场景帧下不同立体参数设定下的立体图像对，将获得的立体图像对作为三维动画场景帧数据集。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获得待评分三维动画场景帧；
得到待评分三维动画场景帧的视差图，基于待评分三维动画场景帧的视差图提取其视差统计特征，并将各视差统计特征组成一个特征向量；
基于所述特征向量，根据三维动画场景帧立体感效果评分模型和舒适度评分模型分别计算该待评分三维动画场景帧的立体感效果分数和舒适度分数。
3.一种三维动画场景帧评分模型确定装置，其特征在于，所述装置包括：
第一获得模块，用于获得三维动画场景帧数据集，所述数据集中包含第一数量的三维动画场景帧；三维动画场景帧数据集取材于三维动画前期制作流程，Layout层数据；三维动画场景帧和三维动画场景帧内容为裸模；
第二获得模块，用于获得预设的每个三维动画场景帧对应的立体感效果标准分数和舒适度标准分数；
第一提取模块，用于得到每个三维动画场景帧的视差图，基于每个三维动画场景帧的视差图，提取其视差统计特征，并将各视差统计特征组成一个特征向量；其中，一个三维动画场景帧的视差图包括：该三维动画场景帧的左右图像对的视差图；
第一确定模块，用于建立三维动画场景帧的特征向量与立体感效果评分的第一回归函数，将对应的立体感效果标准分数作为第一回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第一回归函数进行求解，将求解后得到的第二回归函数确定为三维动画场景帧立体感效果评分模型；建立三维动画场景帧的特征向量与舒适度评分的第三回归函数，将对应的舒适度标准分数作为第三回归函数的输出函数值，使用惩罚因子-支持向量回归机ε-SVR方法引入核函数对第三回归函数进行求解，将求解后得到的第四回归函数确定为三维动画场景帧舒适度评分模型；
所述第一提取模块具体用于：
根据如下公式计算其视差统计特征：
视差平均值MD：
Figure FDA0002239688370000031
视差中值MED：
Figure FDA0002239688370000032
最大正视差MP：
Figure FDA0002239688370000033
最大负视差MN：
视差标准差DSD：
Figure FDA0002239688370000035
平均视差梯度MDG：
Figure FDA0002239688370000036
其中，D(i,j)为每个三维动画场景帧视差图的每个像素点的视差值，i为每个三维动画场景帧视差图的横坐标，j为每个三维动画场景帧视差图的纵坐标，M、N分别为每个三维动画场景帧视差图的宽和高，ΔD(i,j)为经过拉普拉斯变换后得到每个三维动画场景帧的视差梯度图的每个像素点值；
将各视差统计特征组成一个特征向量；
所述第一获得模块具体用于：
获得三维动画不同场景帧的立体图像对以及相同场景帧下不同立体参数设定下的立体图像对，将获得的立体图像对作为三维动画场景帧数据集。
4.根据权利要求3所述的装置，其特征在于，所述装置还包括：
第三获得模块，用于获得待评分三维动画场景帧；
第二提取模块，用于得到待评分三维动画场景帧的视差图，基于待评分三维动画场景帧的视差图提取其视差统计特征，并将各视差统计特征组成一个特征向量；
第二确定模块，用于基于所述特征向量，根据三维动画场景帧立体感效果评分模型和舒适度评分模型分别计算该待评分三维动画场景帧的立体感效果分数和舒适度分数。
CN201510664652.XA 2015-10-15 2015-10-15 一种三维动画场景帧评分模型确定方法及装置 Active CN105335992B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510664652.XA CN105335992B (zh) 2015-10-15 2015-10-15 一种三维动画场景帧评分模型确定方法及装置
US14/993,612 US9965884B2 (en) 2015-10-15 2016-01-12 Method and device for determining scoring models of a three-dimensional animation scene frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510664652.XA CN105335992B (zh) 2015-10-15 2015-10-15 一种三维动画场景帧评分模型确定方法及装置

Publications (2)

Publication Number Publication Date
CN105335992A CN105335992A (zh) 2016-02-17
CN105335992B true CN105335992B (zh) 2020-02-04

Family

ID=55286495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510664652.XA Active CN105335992B (zh) 2015-10-15 2015-10-15 一种三维动画场景帧评分模型确定方法及装置

Country Status (2)

Country Link
US (1) US9965884B2 (zh)
CN (1) CN105335992B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301425A (zh) * 2017-06-09 2017-10-27 浙江工业大学 一种基于深度学习的儿童涂鸦评分方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096122A (zh) * 2013-01-24 2013-05-08 上海交通大学 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN104754322A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN104853185A (zh) * 2015-06-06 2015-08-19 吉林大学 结合多视差和运动的立体视频舒适度评价方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8804815B2 (en) * 2011-07-29 2014-08-12 Dialogic (Us) Inc. Support vector regression based video quality prediction
TW201325204A (zh) * 2011-12-15 2013-06-16 Ind Tech Res Inst 立體影像攝影與播放品質評估系統，及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096122A (zh) * 2013-01-24 2013-05-08 上海交通大学 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN104754322A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN104853185A (zh) * 2015-06-06 2015-08-19 吉林大学 结合多视差和运动的立体视频舒适度评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Evaluating Depth Perception of 3D;Pierre Lebreton 等;《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》;20121031;第6卷(第6期);第710-720页 *
视差式立体信息采集、感知几何模型及舒适观看区研究综述;侯春萍 等;《电子学报》;20130331;第41卷(第3期);第561-569页 *

Also Published As

Publication number Publication date
US20170109918A1 (en) 2017-04-20
US9965884B2 (en) 2018-05-08
CN105335992A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
CN103763552B (zh) 基于视觉感知特性的立体图像无参考质量评价方法
KR101803474B1 (ko) 다시점 실감 콘텐츠 생성 방법 및 그 장치
CN106920229A (zh) 图像模糊区域自动检测方法及系统
CN103986925B (zh) 基于亮度补偿的立体视频视觉舒适度评价方法
Mittal et al. Algorithmic assessment of 3D quality of experience for images and videos
CN109191428B (zh) 基于掩蔽纹理特征的全参考型图像质量评价方法
CN102892021B (zh) 一种合成虚拟视点图像的新方法
CN107578403A (zh) 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN103384340B (zh) 一种从单幅2d图像获取3d成像图像的方法
CN101765022A (zh) 一种基于光流与图像分割的深度表示方法
US20200053345A1 (en) 2d-to-3d video frame conversion
CN104581141B (zh) 一种立体图像视觉舒适度评价方法
CN110246111A (zh) 基于融合图像和强化图像的无参考立体图像质量评价方法
CN106973288A (zh) 一种立体视频舒适度评价方法及装置
CN108337504A (zh) 一种评价视频质量的方法及装置
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN104200453A (zh) 基于图像分割和可信度的视差图像校正方法
CN103716615A (zh) 基于样本学习和深度图像传播的2d视频立体化方法
CN105096335B (zh) 一种传输评价信息的方法及装置
CN104469355B (zh) 基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法
CN105335992B (zh) 一种三维动画场景帧评分模型确定方法及装置
CN111641822A (zh) 一种重定位立体图像质量评价方法
CN102026012B (zh) 平面视频立体化转换深度图生成方法和装置
CN108848365B (zh) 一种重定位立体图像质量评价方法
CN103780903B (zh) 一种立体相机近距会聚拍摄质量客观评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant