CN1311677C - 一种数字视像节目角色头部的替换方法 - Google Patents
一种数字视像节目角色头部的替换方法 Download PDFInfo
- Publication number
- CN1311677C CN1311677C CNB200410008616XA CN200410008616A CN1311677C CN 1311677 C CN1311677 C CN 1311677C CN B200410008616X A CNB200410008616X A CN B200410008616XA CN 200410008616 A CN200410008616 A CN 200410008616A CN 1311677 C CN1311677 C CN 1311677C
- Authority
- CN
- China
- Prior art keywords
- character head
- replaced
- digital
- video program
- replacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/165—Centralised control of user terminal ; Registering at central
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Abstract
本发明公开了一种数字视像节目角色头部的替换方法，该方法可按用户意愿，只需通过向计算机或其它图像处理设备中输入准备替换的角色头部的多个角度的静止数字图像信息或图像数字模型，即可先通过使用数学变换匹配算法确定原视像节目中可被替换角色从该角色头部的原始静止数字图像信息或图像数字模型变换到该角色在视像节目作品各帧画面中头部的实际数字图像信息的所有数学变换参数，再根据所确定的所有数学变换参数及该被替换和替换角色头部数字图像或图像数字模型的定位参数并通过使用数学变换匹配算法，便可完成用上述替换角色的头部图像对原视像节目作品中可被替换角色的头部图像进行拟合匹配及替换。
Description
所属技术领域
本发明涉及一种数字视像节目角色头部的替换方法，尤其是一种可按用户意愿只需通过向计算机或其它图像处理设备中输入准备替换的角色头部的多个角度的二维平面或三维立体的静止数字图像信息或图像数字模型，即可通过使用数学变换匹配算法中的像素匹配算法，如临界点过滤(英文全称为Critical Point Filter，简称CPF)算法，确定原视像节目中可被替换角色从该角色头部的原始静止数字图像或图像数字模型变换到该角色在视像节目各帧画面中头部的实际图像的数学变换参数，再根据该图像或图像数字模型的数学变换参数及被替换和替换角色的定位参数并通过使用上述数学变换匹配算法，以及使用无级缩放、角度和亮色度调整、轮廓及边界处理等图像处理技术对替换角色头部的静止数字图像或图像数字模型进行变换及拟合处理，便可完成对原视像节目作品中可被替换角色进行头部替换的一种视像节目角色头部的替换方法。
背景技术
目前的视像节目作品，只要一经制作生成，其视像节目中角色的图像信息便很难改变或者根本无法改变，而在某些领域，出于商业或娱乐的目的往往需要对视像节目中角色的图像信息进行替换，替换为使用者喜爱的具有个性色彩的其它客体角色的图像信息，但现有技术领域中还没有一种有效的方法能够简单、快捷、准确地对视像节目中角色的头部图像进行替换，尤其是对具有动作姿态和面部表情的角色头部图像信息进行准确相应地替换。
发明内容
为了解决上述现有技术的不足，本发明的目的在于提供一种数字视像节目角色头部的替换方法，该方法通过向计算机或其它图像处理设备中输入准备替换的角色头部的多个角度的二维平面或三维立体的静止数字图像或图像数字模型，并利用数学变换匹配算法(如临界点过滤算法，简称CPF算法)以及无级缩放、角度和亮色度调整、轮廓处理等图像处理技术，即可将原视像节目作品中可被替换角色的数字图像信息根据用户意愿简单、快捷地随意拟合替换为另一替换角色(也称客体角色)的数字图像信息，并且使该替换角色具有与原视像节目作品中被替换角色相一致的头部姿态和面部表情。
本发明的特征及实现的技术方案如下：
本发明的一种数字视像节目角色头部的替换方法，其主要的特点在于：
(1)、该方法利用视像节目作品中可被替换角色的多幅不同角度的静止数字图像信息或图像数字模型，通过使用数学变换匹配算法中的像素匹配算法，如临界点过滤(英文全称为Critical Point Filter，简称CPF)算法以及无级缩放、角度和亮色度调整、轮廓处理等图像处理技术和常规数字图像处理软件，得到所述视像节目中该被替换角色头部在上述多幅不同角度的静止数字图像信息或图像数字模型之间连续转动变化的各个角度的数字图像或图像数字模型及其相应的数字图像信息和图像定位参数。
(2)、该方法利用可被替换角色的初始参照图像的数字信息并通过数学变换匹配算法以及使用无级缩放、角度和亮色度调整、轮廓处理等图像处理技术，得到从可被替换角色的初始参照图像变化到所述视像节目中该角色头部动作姿态、面部表情的实际图像的匹配变换的数学变换参数。
(3)、该方法利用准备替换的角色(也称客体角色)的多幅不同角度的数字图像信息或图像数字模型，通过使用数学变换匹配算法以及无级缩放、角度和亮色度调整、轮廓处理等图像处理技术和常规数字图像处理软件，并利用所述可被替换角色的初始参照图像变化到所述视像节目中该角色头部姿态、面部表情的实际图像的匹配变换的数学变换参数，得到所述准备替换的角色与原视像节目作品中被替换角色相一致的头部姿态、面部表情等的数字图像信息及其图像定位参数。
(4)、该方法利用所取得的准备替换的角色与原视像节目作品中被替换角色相匹配的头部姿态、面部表情等的数字图像信息及其图像定位参数，并使用适当的图像轮廓及边界联接处理技术，完成替换角色与其所对应的被替换角色在原视像节目作品中的自然替换。
本发明的一种数字视像节目角色头部的替换方法，其包括的步骤有：
a、获取并存储在数字视像节目中被替换角色头部的多个角度的静止数字图像信息和确定该被替换角色头部数字图像定位参数的步骤；
b、将上述获取并存储的数字视像节目中被替换角色头部的多个角度的静止数字图像通过数学变换匹配算法合成连续变化的动态的该被替换角色头部的数字图像的步骤；
c、将上述步骤b中合成的被替换角色头部的动态数字图像，分别与该视像节目各个帧中该被替换角色头部的数字图像建立相互对应的数学变换参数的步骤；
d、获取并存储替换角色头部的多个角度的静止数字图像信息和确定该替换角色头部数字图像定位参数的步骤；
e、将步骤d中获取并存储的替换角色头部的多个角度的静止数字图像通过数学变换匹配算法合成连续变化的动态的该替换角色头部的数字图像的步骤；
f、将步骤e中合成的替换角色头部的数字图像信息，利用步骤a和d中所确定的该被替换角色和替换角色的头部数字图像定位参数以及步骤c中所建立的数学变换参数，通过数学变换匹配算法生成与该视像节目各个帧中该被替换角色头部的数字图像对应匹配的替换图像，并进行角色替换的步骤；
g、通过存储有完成角色替换后的视像节目的存储媒介，在显示器上进行顺序播放的步骤。
另外，所述步骤a或d中，被替换或替换角色头部的多个角度的静止数字图像信息可以是二维平面的静止数字图像信息，也可以是三维立体的静止数字图像信息，甚至可以是由该被替换或替换角色头部的多个角度的画像所生成的静止数字图像信息；所述步骤b或e中合成的被替换或替换角色头部的连续变化的动态数字图像是该被替换或替换角色头部在各个相邻角度的数字图像之间连续转动及无级缩放的动态数字图像信息，其也可以是利用数字图像处理技术生成的该被替换或替换角色头部的图像数字模型。
与现有技术相比，本发明的有益效果在于：
由于本发明的一种数字视像节目角色头部的替换方法，其采用了数学变换匹配算法和无级缩放、角度和亮色度调整、轮廓及边界处理等图像处理技术，因而只需通过向计算机或其它图像处理器中输入准备替换角色(也称客体角色)的头部姿态、面部表情的多个角度的二维平面或三维立体的静止数字图像信息或图像数字模型，便可将原视像节目作品中可被替换角色的数字图像信息根据用户意愿简单、快捷地随意自然拟合、匹配、替换为另一客体角色的数字图像信息，并且使该客体角色具有与原视像节目作品中被替换角色相对一致的头部姿态和面部表情，使得经过角色替换后的视像节目作品与原视像节目作品一样流畅、生动，且可以更加具有个性色彩。
附图说明
图1为本发明的一种数字视像节目角色头部的替换方法中主要步骤的整体流程示意图。
具体实施方式
以下将用本发明的具体实施方式并结合附图作进一步说明。
如图1所示，本发明的一种数字视像节目角色头部的替换方法，为了实现其发明目的所采用的技术方案中包括的主要步骤有：
a、获取并存储在数字视像节目中被替换角色头部的多个角度的静止数字图像信息和确定该被替换角色头部数字图像定位参数的步骤，例如可利用计算机及二、三维动画制作软件(如Flash、Animo、3Dmax等软件)绘制数字动画节目中被替换角色头部同一尺寸比例、同一姿态平视正常表情下的正面与左、右侧面各几个角度的数字图像(如正面一张，左、右侧每隔30度一张，各三张)，并确定该被替换角色头部正面与左、右侧面这几张数字图像之间头部转动的角度参数(每张间隔30度)，及正面图像整体轮廓及五官的位置坐标参数，并将这组数字图像与所确定的各个参数存储于存储媒介中；
b、将上述获取并存储的数字视像节目中被替换角色头部的多个角度的静止数字图像(建议在相同状态下)在数学变换编码器中通过数学变换匹配算法(如CPF算法)合成该被替换角色头部从左到右(或相反)连续转动变化的动态的数字图像的步骤；
c、将上述步骤b中合成的被替换角色头部连续转动的动态数字图像，分别与该视像节目各个帧中该被替换角色头部的数字图像利用数学变换编、解码器建立相互对应的数学变换参数的步骤；
在步骤c中，关于建立相互对应的数学变换参数的步骤中，进一步包括：
c1、从所述被替换角色头部的动态数字图像或该被替换角色头部的多个角度的静止数字图像中提取出一帧被替换角色头部的数字图像(优选该被替换角色头部处于正常表情和姿态的标准状态下的一帧正面数字图像，如上述步骤a中所绘制的被替换角色头部的正面图像)作为初始状态参考图像并将该被替换角色头部的初始状态参考图像进行特别标注，与原视像节目一同存储记录于存储媒介中的步骤；及
c2、在数学变换编、解码器中，利用数学变换匹配算法(如CPF算法)以及调整图像角度的数字图像处理技术和软件将所述被替换角色头部的动态数字图像经过三个维度的角度调整从中截取出一帧与所述数字视像节目第n帧画面(所述数字视像节目应由n帧不同的画面连续组合而成，n＝1、2、3......n)中该被替换角色头部的数字图像的三个维度的角度相一致的数字图像的步骤。其具体实施可按如下步骤顺序进行：
(1)、在数学变换解码器中，利用数学变换匹配算法(如CPF算法)调整步骤b中生成的被替换角色头部动态数字图像左右转动的角度，使其符合所述数字动画节目第n帧画面中该被替换角色头部图像左右转动姿态的角度，记录该数字图像pn1；
(2)、利用数学变换匹配算法(如CPF算法)、上述图像pn1和俯仰转动函数(通过一与步骤a所述的被替换角色头部图像同样尺寸大小的三维椭球数字模型，用三维动画软件进行纵向转动，从中截取几幅图片，将其输入数学变换编码器中，利用数学变换匹配算法获得)调整被替换角色头部图像pn1上下转动的角度，使其符合所述数字动画节目第n帧画面中该被替换角色头部图像的俯仰转动姿态的角度，记录该数字图像pn2；
(3)、利用图像处理软件(如photoshop软件)调整上述被替换角色头部图像pn2的水平转动角度，使其符合所述数字动画节目第n帧画面中该被替换角色头部图像的水平转动姿态的角度，记录该数字图像pn3；从而得到在三个维度的角度上均与所述数字视像节目第n帧画面中该被替换角色头部数字图像的转动姿态的角度相一致的数字图像pn3。
依据上述步骤c2，在步骤c中，关于建立相互对应的数学变换参数的步骤中，进一步包括：
c3、在数学变换解码器中，利用数学变换匹配算法以及无级缩放、亮色度调整等现有数字图像处理技术和软件建立上述步骤c2中所截取的该帧数字图像与所述视像节目第n帧中该被替换角色头部的数字图像相互对应的大小、亮色度及姿态、表情的数学变换参数并确定步骤c2中所截取的该帧被替换角色头部数字图像的定位参数在所述视像节目第n帧中相对应的位置参数的步骤。其具体实施可按如下步骤顺序进行：
(1)、在数学变换解码器中，利用数学变换匹配算法(如CPF算法)的无级缩放功能调整上述步骤c2中截取生成的该帧被替换角色头部数字图像pn3的大小尺寸，使其调整变化为符合所述数字动画节目第n帧画面中该被替换角色头部图像的尺寸大小的数字图像pn4，记录该数字图像pn4以及从图像pn3变化到图像pn4的大小数学变换参数；
(2)、利用数学变换匹配算法(如CPF算法)、上述数字图像pn4和所述数字动画节目第n帧中该被替换角色头部的数字图像，建立从数字图像pn4变化到所述数字动画节目第n帧中该被替换角色头部的数字图像的表情、姿态的数学变换参数；
(3)、利用图像处理软件(如photoshop软件)调整上述数字图像pn4的亮色度使其符合所述数字动画节目第n帧画面中该被替换角色头部图像的亮色度设计构想，从而最终取得从上述步骤c2中所截取生成的该帧数字图像pn3变化到所述数字动画节目第n帧中该被替换角色头部数字图像的大小、亮色度及姿态、表情的数学变换参数并确定步骤c2中所截取生成的该帧被替换角色头部数字图像pn3的整体和局部(五官)图像定位参数在所述数字动画节目第n帧中相对应的位置参数。
依据上述步骤c1和c2，在步骤c中，关于建立相互对应的数学变换参数的步骤中，进一步包括：
c4、在数学变换解码器中，利用数学变换匹配算法及常规的数字图像处理软件(可对数字图像平面角度进行调整转动的数字图像处理软件)将上述步骤c2中所截取的该帧数字图像与步骤c1中所确定的初始状态参考图像进行比对，建立该帧数字图像中被替换角色头部的数字图像与初始状态参考图像中该被替换角色头部的数字图像相互对应的三个维度角度变化的数学变换参数的步骤。其具体实施方案可为：
在数学变换解码器中，利用数学变换匹配算法(如CPF算法)及常规的数字图像处理软件(各种可对数字图像平面角度进行调整转动的数字图像处理软件，如photoshop、illustrator等软件)将上述步骤c2中所取得的该帧数字图像pn3与步骤c1中所确定的初始状态参考图像进行比对，取得从该被替换角色头部初始状态参考图像变化到该被替换角色头部数字图像pn3的三个维度角度变化的数学变换参数。
在步骤c中，关于建立相互对应的数学变换参数的步骤中，还进一步包括：
依据上述技术方案及步骤，从所述视像节目第一帧到最后一帧(即所述的视像节目第1帧到第n帧)逐帧建立相互对应的数学变换参数的步骤；
将所建立的被替换角色头部的数字图像与所述视像节目(数字动画节目)各个帧中该被替换角色头部的数字图像相互对应的数学变换参数按照所述视像节目(数字动画节目)各个帧的序号与原视像节目一同，存储记录于存储媒介中的步骤；
以上述技术方案及步骤，对多个角色分别或同时完成建立相互对应的数学变换参数的步骤；以及
以上述技术方案及步骤，对二维数字图像或对三维数字图像建立相互对应的数学变换参数的步骤。
d、获取并存储替换角色头部的多个角度的静止数字图像信息和确定该替换角色头部数字图像定位参数的步骤，例如利用各种数字摄像设备(如数码摄像机、数码照相机、数字扫描仪等设备)获取替换角色头部与上述步骤a中被替换角色头部同一尺寸比例、同一姿态平视正常表情下的正面数字照片一张，左、右侧面各几个角度的数字照片数张(如左、右两侧每转过45度拍摄一张，各拍摄两张)，并确定该替换角色头部正面与左、右侧面这几张数字图像之间头部转动的角度参数(每张间隔45度)，及正面图像整体轮廓及五官的位置坐标参数，并将这组数字图像与所确定的各个参数存储于存储媒介中；
e、将步骤d中获取并存储的替换角色头部的多个角度的静止数字图像(数字照片)在数学变换编码器中通过数学变换匹配算法(如CPF算法)合成该替换角色头部从左至右(或相反)连续转动变化的动态的数字图像的步骤；
f、在数学变换编、解码器中，将步骤e中合成的替换角色头部的数字图像信息，利用步骤a和d中所确定的该被替换角色和替换角色的头部数字图像定位参数以及步骤c中所建立的数学变换参数，通过数学变换匹配算法生成与该视像节目各个帧中该被替换角色头部的数字图像对应匹配的替换图像，并进行角色替换的步骤；
在步骤f中，关于角色替换的处理步骤中，进一步包括：
f1、提取上述步骤c1中存储记录于存储媒介中的被替换角色头部的初始状态参考图像，将所述替换角色头部的动态数字图像经过三个维度的角度调整从中提取出一帧与上述被替换角色头部的初始状态参考图像相匹配的数字图像，将该数字图像确定为替换角色头部的初始状态参考图像，并对该数字图像的大小、亮色度、姿态、表情，以及该替换角色头部的整体和局部图像的定位参数参照所述被替换角色头部的初始状态参考图像进行校准、修正，并将该校准和修正参数提取并存储于存储媒介中的步骤；其具体实施可按如下步骤顺序进行：
(1)、提取上述步骤c1中存储记录于存储媒介中的被替换角色头部的初始状态参考图像；
(2)、在数学变换编、解码器中，利用数学变换匹配算法(如CPF算法)以及调整图像角度的数字图像处理技术和软件从步骤e中得到的替换角色头部由左至右(或相反)连续转动变化的数字图像中提取出一帧与上述被替换角色头部的初始状态参考图像相匹配的数字图像tr(所述的相匹配是指该帧替换角色头部的数字图像的三个维度的角度应与被替换角色头部的初始状态参考图像的三个维度的角度相一致)，并将该数字图像tr确定为替换角色头部的初始状态参考图像，该数字图像tr的具体生成步骤如同步骤c2中所述的数字图像pn3的具体生成步骤，在此不再赘述；
(3)、在数学变换解码器中，利用数学变换匹配算法(如CPF算法)的无级缩放功能对上述替换角色头部的初始状态参考数字图像tr进行无级缩放，使其调整变化为尺寸大小与上述步骤c1中被替换角色头部的初始状态参考图像的尺寸大小相匹配的数字图像tr’，记录该数字图像tr’以及从图像tr变化到图像tr’的大小数学变换参数；
(4)、利用常规数字图像处理软件(如photoshop软件)对上述数字图像tr’进行亮色度调整，使其调整变化为与上述步骤c1中被替换角色头部的初始状态参考图像的亮色度相匹配的数字图像trc，记录该数字图像trc以及从图像tr’变化到图像trc的亮色度数学变换参数；
(5)、在数学变换解码器中，利用数学变换匹配算法(如CPF算法)以及被替换角色头部的初始状态参考图像和上述数字图像trc，确定从数字图像trc变化到被替换角色头部的初始状态参考图像的整体和局部(五官)位置以及姿态和表情的校准、修正参数，从而最终得到被替换角色头部的初始状态参考图像与替换角色头部的初始状态参考图像tr之间的大小、亮色度、姿态、表情以及该替换角色头部整体和局部(五官)位置的校准和修正参数，并将该校准和修正参数提取并存储于存储媒介中；
f2、在数学变换编码器中，利用上述步骤c4中所建立的三个维度角度变化的数学变换参数和步骤e中合成的该替换角色头部连续变化的动态数字图像以及步骤f1中存储的校准和修正参数，通过数学变换匹配算法将上述步骤f1中所确定的替换角色头部的初始状态参考图像生成与上述视像节目(数字动画节目)第n帧中该被替换角色头部图像的三个维度的角度相一致的替换图像并修正该替换图像整体和局部(五官)图像定位参数的步骤；
f3、在数学变换编码器中，利用上述步骤c3中所建立的大小、亮色度及姿态、表情的数学变换参数以及步骤f1中存储的校准和修正参数，通过数学变换匹配算法将步骤f2中所生成的与视像节目(数字动画节目)第n帧中该被替换角色头部图像的三个维度角度相一致的替换图像生成与视像节目(数字动画节目)第n帧中该被替换角色头部图像的大小、亮色度及姿态、表情相匹配的替换图像并修正该替换图像整体和局部(五官)图像定位参数的步骤；
f4、利用步骤f3中生成的替换图像和修正的该替换图像整体和局部(五官)图像的定位参数，以及步骤c3中确定的被替换角色头部整体和局部(五官)数字图像的定位参数在所述视像节目(数字动画节目)第n帧中相对应的位置参数对该帧中被替换角色进行替换的步骤。
在步骤f中，关于角色替换的处理步骤中，还进一步包括：
利用常规的数字图像轮廓及边界处理技术和软件，将所生成的替换角色头部的替换图像与所述视像节目中相应背景进行图像轮廓边界及遮挡情况处理的步骤；
依据上述技术方案及步骤，从所述视像节目第一帧到最后一帧(即所述的视像节目第1帧到第n帧)逐帧进行角色图像的替换处理的步骤；
以上述技术方案及步骤，对多个角色分别完成替换或同时完成替换的步骤；
以上述技术方案及步骤，对二维数字图像的替换变换，或对三维数字图像的替换变换的步骤。
g、通过存储有完成角色替换后的视像节目的存储媒介，在显示器上进行顺序播放的步骤(也可将完成角色替换后的视像节目只先存储而留待以后播放)。至此本发明的一种数字视像节目角色头部的替换方法的实施步骤全部完成。
上述步骤a中所述的获取并存储的被替换角色头部的多个角度的静止数字图像信息，可以是从原数字视像节目或者是从具有该被替换角色图像的其它数字视像节目中根据需要选择并截取出的该被替换角色头部的多个不同角度的静止数字图像；也可以是通过各种数字图像设备，如数码摄像机、数码照相机、数字扫描仪等设备对该被替换角色头部多个不同角度的图像进行拍摄、拍照或扫描再经截取或选取而取得的；还可以是由通过计算机制作合成或是手工绘制而成的该被替换角色头部的多个角度的画像所生成的静止数字图像信息。
上述步骤d中所述的替换角色头部的多个角度静止数字图像信息，可以是从具有该替换角色图像的数字视像节目中根据需要选择并截取出的该替换角色头部的多个不同角度的静止数字图像；也可以是通过各种数字图像设备，如数码摄像机、数码照相机、数字扫描仪等设备对该替换角色头部多个不同角度的图像进行拍摄、拍照或扫描再经截取或选取而取得的；还可以是由通过计算机制作合成或是手工绘制而成的该替换角色头部的多个角度的画像所生成的静止数字图像信息。
上述步骤a或d中，被替换或替换角色头部的多个角度的静止数字图像信息可以是该被替换或替换角色头部在平视状态下所取得的头部前、后、左、右多个角度的静止数字图像信息；也可以是该被替换或替换角色头部在俯视和仰视状态下所取得的头部前、后、左、右多个角度的静止数字图像信息。如果上述被替换或替换角色头部的多个角度的静止数字图像信息拟采用数字摄像设备取得，建议但不限于在正常照明情况下平视拍摄记录每个可被替换角色或替换角色头部免冠且面部处于正常表情姿态(无表情无姿态)的多个角度的数字图像，从左侧面到正面再到右侧面不少于七帧，两侧后面与正后面不少于三帧，顶面不少于一帧，以此作为被替换或替换角色头部的多个角度的静止数字图像信息，并且应尽量使在摄取替换角色头部多个角度的静止数字图像时的照明亮度、拍摄模式(其中包括拍摄时替换角色的头部姿态和面部表情)、拍摄角度和焦距以及拍摄距离的远近与摄取被替换角色头部多个角度的静止数字图像时保持一致。
另外，需要指明的是：所述步骤a或d中，被替换或替换角色头部的多个角度的静止数字图像信息可以是二维平面的静止数字图像信息，或者是三维立体的静止数字图像信息。
所述步骤a或d中，所确定的被替换或替换角色的头部数字图像定位参数是指：(1)、该被替换或替换角色头部整体或局部的数字图像的定位参数，例如该被替换或替换角色头部整体或局部的数字图像(包括整个头部轮廓及五官的数字图像)上的定位轮廓曲线和定位点的坐标参数；(2)、该被替换或替换角色头部多个角度的数字图像之间相对位置的定位参数，简而言之，就是不同偏转角度的该被替换或替换角色头部的数字图像在同一坐标系中的角度偏转绝对坐标参数(不同偏转角度的数字图像各自偏转的角度参数)和角度偏转的相对坐标参数(不同偏转角度的数字图像之间间隔的角度参数)。
所述步骤b或e中，所合成的被替换或替换角色头部的连续变化的动态数字图像是该被替换或替换角色头部在各个相邻角度的数字图像之间连续转动及无级缩放的动态数字图像信息；也可以是利用数字图像处理技术生成的该被替换或替换角色头部的图像数字模型，所述的图像数字模型是将该被替换或替换角色头部的数字图像经过亮色调整等数字图像处理技术生成只具有该被替换或替换角色头部整体和局部(包括整个头部及各个五官)轮廓线条的图像数字模型，本发明利用这样的图像数字模型，不仅有利于简化角色图像之间的替换步骤，方便了被替换和替换角色的头部数字图像定位参数及其之间数学变换参数的取得，且使拟合替换更加精确，替换后的数字视像节目作品更加流畅、逼真。
上述步骤b、e、f中的数学变换匹配算法是一种像素匹配算法。所述的像素匹配算法，可以是临界点过滤(其英文全称是：Critical PointFilter)算法，简称为CPF算法。简单地说临界点过滤(CPF)算法是一种可将静止图像变换生成为动态图像的像素匹配算法，该方法可利用客体的几幅静止数字图像生成该客体在几幅静止数字图像之间连续无间断(看不到帧与帧之间的断点)变化的该客体的动态数字图像；或者将上述该客体由静止数字图像变换成多种连续动态数字图像的数学变换参数(其中包括该客体在相邻角度的数字图像之间三个维度角度变化、大小变化、亮色度变化、尤其是姿态和表情变化的数学变换参数)提取出来再运用于其它相似客体的一幅静止数字图像(最好是相似客体在无表情无姿态的标准状态下，大小、颜色、亮色度与原客体相一致的一幅正面静止数字图像)，使该相似客体的静止数字图像按照数学变换函数所定义的原客体的图像变化轨迹(其中包括数字图像三个维度角度变化、大小变化、亮色度变化、尤其是姿态和表情变化的轨迹)拟合变化生成该相似客体连续无间断变化的动态数字图像。临界点过滤(CPF)算法是一种现有技术，其具体详细的变换方法及功能原理在此不再赘述。
所述各步骤中的用于存储数字图像信息及数学变换参数的存储媒介可以是磁盘、或磁带、或光盘、或其它电子存储器件。
本发明的一种数字视像节目角色头部的替换方法，其可广泛应用于各种多媒体影视、动画等视像节目的制作中及制作后。其具体应用例如：新闻记录片的旧片翻新(以旧新闻纪录片中的角色或其它客体角色的新图像或清晰图像替换旧片中的旧图像或不清晰图像)；电影和电视等视像节目中的角色图像替换；广告及及各种动态短片中的角色图像替换；电子相册或动态写真集中的人物、动物等图像的替换；动画片、计算机网络动画(包括flash动画)或电子游戏动画中的二、三维动画图像的替换；卡拉OK或计算机屏保中动态数字图像的替换等等。且其中角色的数字图像不一定只是人物头部的数字图像，任何客体(包括人、动物、植物、卡通动画造型及各种具有拟人形态的其它物体)的整体或局部的数字图像均可利用本发明的图像替换方法完成替换。
综上所述，本发明的一种数字视像节目角色头部的替换方法可广泛应用于各种具有动态数字图像的任何视像节目中，按照使用者的意愿用具有个性色彩的客体角色的数字图像替换原视像节目中的角色图像，从而生成极具个性化的数字视像节目。而上述所举的具体实施方式，仅为本发明的一些较佳实施应用而已，当不能以之限定本发明的具体实施和应用范围，即大凡依本发明的权利要求范围所作的均等变化与修饰，皆应属于本发明专利的保护范围之内。
Claims (19)
1、一种数字视像节目角色头部的替换方法，其特征在于包括的步骤有：
a、获取并存储在数字视像节目中被替换角色头部的多个角度的静止数字图像信息和确定该被替换角色头部数字图像定位参数的步骤；
b、将上述获取并存储的数字视像节目中被替换角色头部的多个角度的静止数字图像通过数学变换匹配算法合成连续变化的动态的该被替换角色头部的数字图像的步骤；
c、将上述步骤b中合成的被替换角色头部的动态数字图像，分别与该视像节目各个帧中该被替换角色头部的数字图像建立相互对应的数学变换参数的步骤；具体包括
c1、从所述被替换角色头部的动态数字图像或该被替换角色头部的多个角度的静止数字图像中提取出一帧被替换角色头部的数字图像作为初始状态参考图像并将该被替换角色头部的初始状态参考图像进行特别标注，与原视像节目一同存储记录于存储媒介中的步骤；
c2、将所述被替换角色头部的动态数字图像经过三个维度的角度调整从中截取出一帧与所述数字视像节目第n帧画面中该被替换角色头部的数字图像的三个维度的角度相一致的数字图像的步骤；
c3、建立上述步骤c2中所截取的该帧数字图像与所述视像节目第n帧中该被替换角色头部的数字图像相互对应的大小、亮色度及姿态、表情的数学变换参数并确定步骤c2中所截取的该帧被替换角色头部数字图像的定位参数在所述视像节目第n帧中相对应的位置参数的步骤；
c4、将上述步骤c2中所截取的该帧数字图像与步骤c1中所确定的初始状态参考图像进行比对，建立该帧数字图像中被替换角色头部的数字图像与初始状态参考图像中该被替换角色头部的数字图像相互对应的三个维度角度变化的数学变换参数的步骤；
d、获取并存储替换角色头部的多个角度的静止数字图像信息和确定该替换角色头部数字图像定位参数的步骤；
e、将步骤d中获取并存储的替换角色头部的多个角度的静止数字图像通过数学变换匹配算法合成连续变化的动态的该替换角色头部的数字图像的步骤；
f、将步骤e中合成的替换角色头部的数字图像信息，利用步骤a和d中所确定的该被替换角色和替换角色的头部数字图像定位参数以及步骤c中所建立的数学变换参数，通过数学变换匹配算法生成与该视像节目各个帧中该被替换角色头部的数字图像对应匹配的替换图像，并进行角色替换的步骤；
g、通过存储有完成角色替换后的视像节目的存储媒介，在显示器上进行顺序播放的步骤。
2、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
所述步骤a或d中，被替换或替换角色头部的多个角度的静止数字图像信息是该被替换或替换角色头部在平视状态下所取得的头部前、后、左、右多个角度的静止数字图像信息。
3、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
所述步骤a或d中，被替换或替换角色头部的多个角度的静止数字图像信息是该被替换或替换角色头部在俯视和仰视状态下所取得的头部前、后、左、右多个角度的静止数字图像信息。
4、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
所述步骤a或d中，被替换或替换角色头部的多个角度的静止数字图像信息是二维平面的静止数字图像信息，或者是三维立体的静止数字图像信息。
5、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
所述步骤a或d中，被替换或替换角色头部的多个角度的静止数字图像信息是由该被替换或替换角色头部的多个角度的画像所生成的静止数字图像信息。
6、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
所述步骤a或d中，所确定的被替换或替换角色的头部数字图像定位参数是指该被替换或替换角色头部整体或局部的数字图像的定位参数。
7、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
所述步骤a或d中，所确定的被替换或替换角色的头部数字图像定位参数是指该被替换或替换角色头部多个角度的数字图像之间相对位置的定位参数。
8、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
所述步骤b或e中，所合成的被替换或替换角色头部的连续变化的动态数字图像是该被替换或替换角色头部在各个相邻角度的数字图像之间连续转动及无级缩放的动态数字图像信息。
9、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
所述步骤b或e中，合成的被替换或替换角色头部的动态数字图像是利用数字图像处理技术生成的该被替换或替换角色头部的图像数字模型的动态图像。
10、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
在步骤f中，关于角色替换的处理步骤中，进一步包括：
f1、提取上述步骤c1中存储记录于存储媒介中的被替换角色头部的初始状态参考图像，将所述替换角色头部的动态数字图像经过三个维度的角度调整从中提取出一帧与上述被替换角色头部的初始状态参考图像相匹配的数字图像，将该数字图像确定为替换角色头部的初始状态参考图像，并对该数字图像的大小、亮色度、姿态、表情，以及该替换角色头部的整体和局部图像的定位参数参照所述被替换角色头部的初始状态参考图像进行校准、修正，并将该校准和修正参数提取并存储于存储媒介中的步骤；
f2、利用上述步骤c4中所建立的三个维度角度变化的数学变换参数和步骤e中合成的该替换角色头部连续变化的动态数字图像以及步骤f1中存储的校准和修正参数，通过数学变换匹配算法将上述步骤f1中所确定的替换角色头部的初始状态参考图像生成与上述视像节目第n帧中该被替换角色头部图像的三个维度的角度相一致的替换图像并修正该替换图像整体和局部图像定位参数的步骤；
f3、利用上述步骤c3中所建立的大小、亮色度及姿态、表情的数学变换参数以及步骤f1中存储的校准和修正参数，通过数学变换匹配算法将步骤f2中所生成的与视像节目第n帧中该被替换角色头部图像的三个维度角度相一致的替换图像生成与视像节目第n帧中该被替换角色头部图像的大小、亮色度及姿态、表情相匹配的替换图像并修正该替换图像整体和局部图像定位参数的步骤；
f4、利用步骤f3中生成的替换图像和修正的该替换图像整体和局部图像的定位参数，以及步骤c3中确定的被替换角色头部整体和局部数字图像的定位参数在所述视像节目第n帧中相对应的位置参数对该帧中被替换角色进行替换的步骤。
11、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
在步骤c中，关于建立相互对应的数学变换参数的步骤中，进一步包括将所建立的被替换角色头部的数字图像与所述视像节目各个帧中该被替换角色头部的数字图像相互对应的数学变换参数按照所述视像节目各个帧的序号与原视像节目，一同存储记录于存储媒介中的步骤。
12、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
在步骤c中，关于建立相互对应的数学变换参数的步骤中，包括可以对多个角色分别或同时完成建立相互对应的数学变换参数的步骤。
13、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
在步骤c中，关于建立相互对应的数学变换参数的步骤中，包括对二维数字图像或对三维数字图像建立相互对应的数学变换参数的步骤。
14、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
在步骤f中，关于角色替换的处理步骤中，包括将所生成的替换角色头部的替换图像与所述视像节目中相应背景进行图像轮廓边界及遮挡情况处理的步骤。
15、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
在步骤f中，关于角色替换的处理步骤中，包括可以对多个角色分别完成替换或同时完成替换的步骤。
16、根据权利要求1所述的数字视像节目角色头部的替换方法，其特征在于：
在步骤f中，关于角色替换的处理步骤中，包括对二维数字图像的替换变换，或对三维数字图像的替换变换的步骤。
17、根据权利要求1或10所述的数字视像节目角色头部的替换方法，其特征在于：
所述步骤b、e、f中的数学变换匹配算法是一种像素匹配算法。
18、根据权利要求17所述的数字视像节目角色头部的替换方法，其特征在于：
所述的像素匹配算法，是临界点过滤算法。
19、根据权利要求1、10、11中任何一项所述的数字视像节目角色头部的替换方法，其特征在于：
所述各步骤中的用于存储数字图像信息及数学变换参数的存储媒介是磁盘、或磁带、或光盘、或电子存储器件。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB200410008616XA CN1311677C (zh) | 2004-03-12 | 2004-03-12 | 一种数字视像节目角色头部的替换方法 |
| PCT/CN2005/000299 WO2005088966A1 (fr) | 2004-03-12 | 2005-03-11 | Procede de substitution pour la modification d'un programme tv numerique |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB200410008616XA CN1311677C (zh) | 2004-03-12 | 2004-03-12 | 一种数字视像节目角色头部的替换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1560795A CN1560795A (zh) | 2005-01-05 |
| CN1311677C true CN1311677C (zh) | 2007-04-18 |
Family
ID=34439964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB200410008616XA Expired - Fee Related CN1311677C (zh) | 2004-03-12 | 2004-03-12 | 一种数字视像节目角色头部的替换方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN1311677C (zh) |
| WO (1) | WO2005088966A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2258458B1 (en) * | 2005-09-15 | 2012-05-09 | Dentsu Inc. | Attraction system, and attraction providing method |
| CN102196245A (zh) * | 2011-04-07 | 2011-09-21 | 北京中星微电子有限公司 | 一种角色互动的视频播放方法和视频播放装置 |
| CN102447869A (zh) * | 2011-10-27 | 2012-05-09 | 天津三星电子有限公司 | 一种角色替代方法 |
| JP5578186B2 (ja) * | 2012-02-16 | 2014-08-27 | カシオ計算機株式会社 | キャラクター画像の作成方法、画像処理装置及び画像処理プログラム並びに画像変換ネットワークシステム |
| CN104657974A (zh) * | 2013-11-25 | 2015-05-27 | 腾讯科技（上海）有限公司 | 一种图像处理方法及装置 |
| CN103984738B (zh) * | 2014-05-22 | 2017-05-24 | 中国科学院自动化研究所 | 一种基于搜索匹配的角色标注方法 |
| CN109936775A (zh) * | 2017-12-18 | 2019-06-25 | 东斓视觉科技发展（北京）有限公司 | 宣传影片的制作方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010090308A (ko) * | 2000-03-24 | 2001-10-18 | 박선은 | 극중 얼굴 이미지 변환 서비스 방법 및 그 시스템 |
| US6539099B1 (en) * | 1999-08-30 | 2003-03-25 | Electric Planet | System and method for visual chat |
| US20030197779A1 (en) * | 2002-04-23 | 2003-10-23 | Zhengyou Zhang | Video-teleconferencing system with eye-gaze correction |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09219836A (ja) * | 1996-02-14 | 1997-08-19 | Matsushita Electric Ind Co Ltd | 画像情報記録方法と画像合成装置 |
| JPH09238301A (ja) * | 1996-02-29 | 1997-09-09 | Toshiba Corp | デジタルビデオ編集方法 |
| DE19653071A1 (de) * | 1996-12-19 | 1998-06-25 | Thomson Brandt Gmbh | Verfahren zur Ersetzung von Teilen eines digitalkodierten Bildes sowie Vorrichtung zur Durchführung des Verfahrens |
| US7334249B1 (en) * | 2000-04-26 | 2008-02-19 | Lucent Technologies Inc. | Method and apparatus for dynamically altering digital video images |
-
2004
- 2004-03-12 CN CNB200410008616XA patent/CN1311677C/zh not_active Expired - Fee Related
-
2005
- 2005-03-11 WO PCT/CN2005/000299 patent/WO2005088966A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6539099B1 (en) * | 1999-08-30 | 2003-03-25 | Electric Planet | System and method for visual chat |
| KR20010090308A (ko) * | 2000-03-24 | 2001-10-18 | 박선은 | 극중 얼굴 이미지 변환 서비스 방법 및 그 시스템 |
| US20030197779A1 (en) * | 2002-04-23 | 2003-10-23 | Zhengyou Zhang | Video-teleconferencing system with eye-gaze correction |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1560795A (zh) | 2005-01-05 |
| WO2005088966A1 (fr) | 2005-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106600686B (zh) | 一种基于多幅未标定图像的三维点云重建方法 | |
| CN1204754C (zh) | 利用多个投影机在显示表面上形成镶嵌图形的方法和系统 | |
| CN1241419C (zh) | 用于多视图合成的方法 | |
| CN106127680B (zh) | 一种720度全景视频快速浏览方法 | |
| TW202004679A (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
| CN1462416A (zh) | 图像变换和编码技术 | |
| US20150172637A1 (en) | Apparatus and method for generating three-dimensional output data | |
| CN1710615A (zh) | 图像处理方法和图像处理装置 | |
| CN1851555A (zh) | 实现二维全景真实成像的方法 | |
| CN1910623A (zh) | 图像变换方法、纹理映射方法、图像变换装置、服务器客户机系统及图像变换程序 | |
| CN107358577B (zh) | 一种立方体全景图的快速拼接方法 | |
| CN1404018A (zh) | 计算机网络环境智能化场景绘制装置系统及绘制处理方法 | |
| CN1267859C (zh) | 用于在二维屏幕上绘制图像的绘制方法 | |
| CN1311677C (zh) | 一种数字视像节目角色头部的替换方法 | |
| CN1771740A (zh) | 立体全景图像捕捉装置 | |
| CN105787951A (zh) | 鱼眼镜头拍摄图像的3d特效全景显示方法和系统 | |
| CN108769648A (zh) | 一种基于720度全景vr的3d场景呈现方法 | |
| CN112822478B (zh) | 一种用于三维重建的高质量照片序列获取方法 | |
| CN1482580A (zh) | 利用一组二维照片与三维模型库生成新的三维模型的方法 | |
| CN116095294B (zh) | 根据深度值渲染分辨率的三维光场图像编码方法及系统 | |
| KR102065632B1 (ko) | 복수의 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법 | |
| CN1707354A (zh) | 基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法 | |
| CN106373153A (zh) | 一种基于阵列镜头的3d图像替换技术 | |
| CN111754615B (zh) | 高质量纹理的实时重建方法及装置 | |
| CN115997379A (zh) | 用于立体渲染的图像fov的复原 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070418 |