CN1728780A - 即时互动影音的方法与系统 - Google Patents

Abstract

一种即时互动影音的方法与系统，包含：具有画面的显示装置、具有至少一处理器、存储器及程序的计算机设备及摄影装置。其中程序提供媒体素材及特效指令描述。当摄影装置接收现场影像且与特效指令描述整合播放时，媒体素材能即时显示于画面中并与画面中的现场影像互动。

Description

即时互动影音的方法与系统

技术领域

本发明有关于动态影音制作的方法与系统，特别是关于一种即时交互式动态影音制作的方法与系统。

背景技术

由于数字相机、网络视频及照相手机等影像装置的平价化及普及化，家用计算机与消费性电子产品的结合已是一股无法抵挡的趋势。然而目前影音多媒体的应用，多限于静态图像为主，其重点通常在于相片的拍摄储存及档案管理，搭载基本的影像处理与简单影像合成功能。至于动态影音设备的应用则以单纯的录像、转文件与播放为主流，有时搭配网络进行即时影音传讯，而缺乏对多媒体内容的加值创作或改造。另外，有些游戏软件虽尝试整合使用者的肢体动作于交互式的游戏之中，但囿于运动模式理解层次，在游戏脚本的设计上有重大的限制，也因此游戏的内容变化有所限制。

此外，电视内容常可看见的特效，因其制作时所需的软件硬件成本与专业知识过高，因此为一个门槛很高的专业领域。再者，演员必须与空气对演，凭空想象，对于演员是一大考验，且后制作上亦不容易。

发明内容

鉴于上述的发明背景中，一般制作数字内容过于复杂，本发明于此提供一种即时互动影音的方法与系统，并提供一轻松自然的人机介面，让一般使用者创作平价而丰富的数字内容。

再者，使用互动特效轨(Interactive Effect Track)的概念，在原有的影片中，如：影音轨(video track)、音轨(audio track)之外，即时增添特效的元素；与一般影片特效不同之处，在于本发明所规划的特效乃即时产生，且其套用对象并非事先择定，而会伴随互动而有不同的变化。

为达上述目的，本发明的一种即时互动影音的方法，其技术特征在于，包含：

提供一画面；即时接收一影像显示于该画面；一产生步骤，产生一对象并显示于该画面；及一互动步骤，进行互动于该对象与该影像之间。

其中该产生步骤更包含一预选模式以产生对应的对象；该进行互动步骤包含辨认该影像的位置；该进行互动步骤包含追踪该影像的一变动；该进行互动步骤包含产生一特效描述于该影像上。

为达上述目的，本发明的即时互动影音的方法采用一种储存装置，储存可由媒体处理装置判读的复数个程序，其中该媒体处理装置根据该复数个程序执行的步骤包含：

输入一资料，其中该资料包含一背景资料及一即时影像；辨认该资料；追踪该资料改变的部分；提供一媒体素材；合成该媒体素材及该资料；及显示合成该媒体素材及该资料。

其中合成该媒体素材及该资料步骤更包含：再追踪该资料改变的部分；加载特效；再处理合成该媒体素材、该资料及特效；显示合成该媒体素材、该资料及特效以及加载特效更包含嵌入特效于该背景资料。

为达上述目的，本发明的即时互动影音的系统，其技术特征包含：一显示装置，具有一画面；一计算机器具有至少一处理器、一存储器及复数个可读程序，其中该复数个可读程序具有一媒体素材及一特效指令描述；及一摄影装置接收一影像，经该特效指令描述处理并与该媒体素材合成，即时显示该媒体素材与该影像的互动于该画面。

综上所述，本发明的目的在于提供一种即时互动影音的方法与系统，包含：具有画面的显示装置、现场人员、具有至少一处理器、存储器及程序的计算机器及一摄影装置。其中程序提供媒体素材及特效指令描述。摄影装置接收现场人员影像且与特效指令描述整合。最后，合成媒体素材及整合现场人员影像与特效指令描述的输出，并即时显示于画面。

以下将结合附图与具体实施例及一步详细说明本发明的方法及技术特征。

附图说明

图1为根据本发明的一实施例的架构示意图。

图2所示为一实施例中的档案架构示意图。

图3A至图3B所示为一实际撷取现场人员与虚拟世界结合即时播放的示意图。

图4显示一符合本发明的一实施例应用水平边缘密度计算的初步选定连续图。

图5显示本发明软件运作流程图的一实施例。

图中符号说明：

100   计算机主机

101   液晶显示屏幕

102   网络摄影机

103   画面

104   现场人员

105   现场人员影像

106   虚拟人物

201   媒体素材

202   特效指令描述

 203   撷取现场人员影像

 204   动态合成影音

 400   画面

 401   现场人员影像

 402   虚拟人物

 500   画面

 501   脸红效果

 502   心花怒放效果

 503   一对耳朵

 601   候选区域

 701   触发应用程序

 751   侦测硬件

 731   警告讯息

 704   终止应用程序

 732   问题讯息

 706   收集背景资料

 707   内部储存背景资料

 733   问题讯息

 709   辨认

 710   追踪动作

 711   加载媒体资料

 761   媒体资料

 713   媒体资料译码

 714   合成摄影机影像及媒体资料

 715   动作再追踪

 716   显示合成媒体资料

 752   是否加载特效

 718   加载嵌入特效

 753   是否储存合成媒体资料

 720   储存合成媒体资料

754   时间是否结束

722   再处理储存合成媒体资料

723   显示再处理储存合成媒体资料

724   终止应用程序

具体实施方式

本发明用示意图详细描述如下，在详述本发明实施例时，表示一种即时互动影音的方法与系统会不依一般比例作局部放大以利说明，然而并不应以此作为有限定的认知。

参照图1，在一实施例中，提供一具有处理器及具有存储器的装置，如：个人计算机、数字机上盒(set-top box)或游戏机平台(gameconsole)甚至手机等，此处为一计算机主机100。一显示装置(displayer)，如：阴极射线管屏幕、液晶显示屏幕或等离子显示屏幕等，在此实施例中为液晶显示屏幕101；以及一摄影装置(capturedevice)，在此实施例中为网络摄影机(web-cam)102。这里要说明的是，此实施例中，计算机主机100、液晶显示屏幕101及网络摄影机102以有线方式或无线方式相互连接。当然，在此并不受限，主机与显示器结合，如笔记型计算机或平板计算机，再配上摄影装置也可应用于此实施例。

接着，一现场实况录像(live recording)如图1中，网络摄影机102对着一现场人员104(live person)。网络摄影机102撷取现场人员104的影像并显示于液晶显示屏幕101的画面103中。在画面103中显示出现场人员影像105，且现场人员影像105为即时显示出的仍立于网络摄影机102前(入镜)的现场人员104。于一实施例中，在一预选模式中，产生一虚拟人物106与现场人员影像105互动。这里要说明的是，现场人员104是即时显现于画面103而成为现场人员影像105。于此的即时(real time)指现场人员104的动作与现场人员影像105同步。再者，现场人员104所在的场景及虚拟人物106与现场人员影像105互动方式并不事先设定，而由使用者通过选单或类似介面择定。预选模式可为程序撰写好的应用程序，储存于一存储器，如计算机主机100中的存储器。详细说明如下。

参阅图2所示为一实施例中的档案架构示意图。预先选择的模式由主体内容与特效描述档案所组成，在一实施例中，可先拟定媒体素材201(media content)与脚本以产生多媒体影音内容，例如流行音乐、怀念老歌或经典乐曲等。再者，设计一套相对应的预设互动效果的特效指令描述202(Effect Track Script)，包含时间参数、相对空间参数、特效种类、特效套用对象等基本信息，并以特定语言描述，存成一指令(Script)档案。其中使用者可依性别、年龄等因素设计不一样的主题(theme)而搭配不同效果的特效。即同一主体内容而言，可搭载多项特效指令，举例来说，播放流行音乐时，相对应的特效描述可加载一虚拟人物，其播放时资料整合的方式，首先使用者下载媒体素材201与特效指令描述202。接着，撷取现场人员影像203搭配影像装置即时撷取影片，如图1中撷取现场人员影像105后，与特效指令描述202串流整合，最后合成动态影音204将串流后的即时撷取影片及特效指令描述202与媒体素材201合成，如此便显现现场人员融入虚拟世界中的效果。

如图3A、图3B所示，为一实际撷取现场人员与虚拟世界结合即时播放的示意图，显示装置撷取一画面，其从摄影装置(未显示)摄影一现场人员(live person)并即时(real-time)显示于显示装置的画面400，其中存在一现场人员影像401(live person image)。当执行本实施例的可读程序时，预先选择的模式可产生一虚拟像，如：人像、神像、卡通人物、妖魔鬼怪等，例如产生一虚拟人物402。

此时，虚拟人物402会与现场人员影像401互动，并即时显示于画面400，如图3B所示，虚拟人物402可以有许多动作与特效，而现场人员影像401也可左右移动进行小幅度的运动。如实施例中，虚拟人物402的动作为爬上现场人员影像401的肩膀，并亲吻现场人员影像401的脸颊。此时响应虚拟人物402的动作，现场人员影像401便产生脸红效果501，与心花怒放效果502。另一例子是，虚拟人物402也可对现场人员影像401施行魔法，此时响应虚拟人物402的动作，现场人员影像401头上长一对耳朵503，且当现场人员影像401的头部有小幅度的摆动时，耳朵503亦会随的摆动。即虚拟人物402、现场人员影像401与各种效果是即时且互动的。如实施例中，虚拟人物402对现场人员影像401施行魔法，则现场人员影像401头上长一对耳朵503。此时一对耳朵503是跟着现场人员影像401互动的。也就是说，于画面500中，现场人员影像401不论移到何处，一对耳朵503永远在现场人员影像401头上。于此要说明的是，技术上可先使用辨认(recognition)技术，先确认现场人员影像401的头发位置，接着再使用追踪(tracking)技术追踪头部移动位置，再将特效的一对耳朵503加于头发上，如此反复的辨认及追踪，于画面上，便产生了人与虚拟物即时的互动效果。

对现场人员而言，现场人员影像可分为半身模式与全身模式，半身模式为现场人员只有头及肩部位显示于画面，全身模式在画面中为身体部分占约全身十分之七。于此要说明的是，构成交互式数字内容，即时性与准确性是难以兼得的两项目标，本发明的实施例中可依照应用型态的不同作适当的处置与调配。举例来说，应用于动态影音大头贴时，以脸部特征侦测与正确定位为主要考量。动作模式以全域动作的简易参数估算为主。全身模式时则以区域运动的追踪与组态的辨识为互动模块的重心。

虚拟像与现场人员的互动使用方法，如特征侦测、特征追踪及姿势分析与辨识等分析虚拟像与现场人员的动作。特征侦测是依应用目标的性质，分别考虑低阶(特征点)与高阶特征(脸部特征如眼睛、嘴巴)的撷取。而针对特征的匹配方式尚有隐性(Implicit)与显性(Explicit)法则之分。显性特征匹配法寻求特征之间的一对一对应关系(one to one correspondence)；隐性匹配法则以参数或转换(transformation)等方式代表前后画格中特征之间的关系。如：显性法则及低阶特征可为特征点匹配(肢体追踪)、显性法则及高阶特征可为表情分析、隐性法则及低阶特征可为密集光流分析(Dense opticalflow)以及隐性法则及高阶特征可为脸部器官侦测与定位。

在特征侦测中，使用下列方法，作有效率且精准的人脸侦测与器官定位。初始侦测，一实施例中，以灰阶影像中水平边缘的密度强弱初估眼睛与嘴的可能位置，如图4所示为水平边缘密度计算的初步选定连续图。候选区域601即为所选定的眼睛与嘴的可能位置。其次，在众多候选区域601中，利用器官相对位置与比例关系做进一步筛选。最后，再利用眼球搜寻做位置确认。在一实施例中，也可将肤色作为辅助判断依据。器官定位，一实施例中，如鼻子、眉毛及耳朵等，采用比例关系做位置估计。而人脸的外框则以椭圆方程式表示。在一实施例中，如为全身操作模式下，可透过肤色模型搭配发特征侦测器(Hair-Like Feature Detector)作快速侦测，至于人体其它部分我们以较低阶但经「群组化」的特征点描述之。

特征追踪(Feature Tracking)，对于半身操作模式的特征追踪的一实施例中，将着重于脸部器官的持续定位与整体区块的运动参数估算。至于全身操作模式的一实施例中，将以群组化的图形匹配(GraphMatching)方式作特征的比对与追踪，并视计算资源的多寡动态调整特征点的数目。要说明的是，本实施例中，现场人员的脸部应迁就撷取影像装置的镜头，而非由撷取影像装置的镜头去追踪现场人员的脸部，如此可无须考虑姿势的估算(pose estimation)。

姿势分析与辨识(Gesture Analysis and Recognition)，静止状态下对象组态(Configuration)的判别的一实施例中，是可使用形状比对(Shape Matching)，其相关技术，如Shape Context，而算法也可为ElasticMatching算法，并配合多重分辨率的概念，以容忍小幅度的变形(Deformation)以及遮蔽(Occlusion)效应。关于连续动作的分析与辨识的一实施例中，利用阶层式光流追踪的方式(Pyramidal Optical Flow)，先计算出人体的移动方向与速率，在使用时间序列法的一实施例中，可为Hidden Markov Model(HMM)或Recurrent Neural Network(RNN)等，以分析该动作所代表的意义。

参阅图5，为本发明软件运作流程图的一实施例。首先触发应用程序701，侦测硬件751，警告讯息731，终止应用程序704，及问题讯息732为程序认证硬件需求的步骤。当侦测硬件751发现问题时则产生警告讯息731，反之则产生问题讯息732。警告讯息731为提醒使用者在硬件侦测时所需的硬设备未安装或无法运作，例如，摄影镜头未安装或摄影镜头安装不完全等讯息。问题讯息732为提示使用者先离开镜头，以便接下来的取景步骤，接下来为前置处理，收集背景资料706存入内部储存背景资料707中，接着产生问题讯息733，其目的为重新邀请使用者进入镜头。例如，一欢迎画面邀请使用者进入镜头且其影像出现于显示画面。

辨认709在此可辨认脸及整个肢体。追踪动作710在此可侦测脸及整个肢体动作。另外媒体资料761，其可包含延伸档案类型如AVI或MPEG格式。在一实施例中，媒体资料761可为压缩档案，如：DLL檔。接着加载媒体资料711及媒体资料译码713。辨认709、追踪动作710以及内部储存背景资料707与接下来的步骤配合便可产生动态合成影音。

合成摄影机影像及媒体资料714及动作再追踪715后，显示合成媒体资料716。动作再追踪715为再一次侦测背景及影像的改变。接着判断是否加载特效752，若是，则进入步骤加载嵌入特效718。加载嵌入特效718，在一实施例中，其特效等级可为″CEffect″。接着，是否储存合成媒体资料753，若是，则储存合成媒体资料720。时间是否结束754。若是，则进入再处理储存合成媒体资料722，在一实施例中，可为JPEG档案格式，或可为CStyle等级。最后显示再处理储存合成媒体资料723及终止应用程序724。

这里要说明的是，合成摄影机影像及媒体资料714经动作再追踪715后，便可显示合成媒体资料716显示于画面上。接着加载嵌入特效718，经储存合成媒体资料720后，便进入循环至合成摄影机影像及媒体资料714，如此便产生即时的效果。对照图3A及图3B，虚拟人物402经动作再追踪715后便可知道现场人员影像401的肩膀及脸颊位置。而当特效脸红效果501经储存合成媒体资料720及动作再追踪715后，便可即时见到如图3B的脸红效果501。且在这的中因动作再追踪715，不论脸颊移动至何处，脸红效果501都会产生在正确的位置上。

以上所述仅说明本发明一软件运作流程图的一实施例。而本发明更可透过个人计算机(PC or laptop)、数字机上盒(set-top box)或游戏机平台(game console)甚至手机等上执行。而在应用上，两使用者更可互相对玩。两使用者可透过网络，如internet或intranet连结，并为对方或已方选择虚拟人物，在其中一端下指令，遥控另一端的虚拟人物，并做出各种不同的视觉特效，结果可显示在对方及自己的显示器上。

根据上述，本发明的一实施例中，兼顾应用软件的互动性与合成效果的逼真度，将特效模块与互动模块的设计一并考量，并结合成一个封包(package)，如此可于媒体内容编排时就先行处理完毕，使系统资源得以充分利用于互动时的逼真呈现。

以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的申请专利范围；凡其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在所述的权利要求范围中。

Claims (10)

1.一种即时互动影音的方法，其特征在于，包含：

提供一画面；

即时接收一影像显示于该画面；

一产生步骤，产生一对象并显示于该画面；及

一互动步骤，进行互动于该对象与该影像之间。

2.如权利要求1所述的即时互动影音的方法，其中该产生步骤更包含一预选模式以产生对应的对象。

3.如权利要求1所述的即时互动影音的方法，其中该进行互动步骤包含辨认该影像的位置。

4.如权利要求1所述的即时互动影音的方法，其中该进行互动步骤包含追踪该影像的一变动。

5.如权利要求1所述的即时互动影音的方法，其中该进行互动步骤包含产生一特效描述于该影像上。

6.一种储存装置，储存可由媒体处理装置判读的复数个程序，其中该媒体处理装置根据该复数个程序执行的步骤包含：

输入一资料，其中该资料包含一背景资料及一即时影像；

辨认该资料；

追踪该资料改变的部分；

提供一媒体素材；

合成该媒体素材及该资料；及

显示合成该媒体素材及该资料。

7.如权利要求6所述的储存装置，储存可由媒体处理装置判读的复数个程序，其中合成该媒体素材及该资料步骤更包含：再追踪该资料改变的部分。

8.如权利要求6所述的储存装置，储存可由媒体处理装置判读的复数个程序，其中更包含：

加载特效；

再处理合成该媒体素材、该资料及特效；及

显示合成该媒体素材、该资料及特效。

9.如权利要求8所述的储存装置，储存可由媒体处理装置判读的复数个程序，其中步骤加载特效更包含嵌入特效于该背景资料。

10.一种即时互动影音的系统，其特征在于，包含：

一显示装置，具有一画面；

一计算机器具有至少一处理器、一存储器及复数个可读程序，其中该复数个可读程序具有一媒体素材及一特效指令描述；及

一摄影装置接收一影像，经该特效指令描述处理并与该媒体素材合成，即时显示该媒体素材与该影像的互动于该画面。

Images