CN104077094A - 用于显示动作视频的显示设备和方法 - Google Patents

Abstract

一种显示设备包括：输入单元，被配置为接收内容选择命令；存储单元，被配置为存储用户的图像；控制器，被配置为从用户图像中提取用户的骨架信息，搜索与通过内容选择命令选择的内容相关的表演者的动作的数据，并且从包括在搜索到的动作数据中的表演者的图像中提取表演者的骨架信息；以及显示单元，其中控制器进一步被配置为通过将用户骨架信息映射在表演者骨架信息上来产生包括用用户图像替换的表演者图像的新的动作数据，并且控制显示单元显示新的动作数据。

Description

用于显示动作视频的显示设备和方法

对相关申请的交叉引用

此申请要求2013年3月25日向韩国特许厅提交的韩国专利申请No.10-2013-0031702的优先权，通过引用将其公开全部合并于此。

技术领域

符合示范性实施例的装置和方法涉及用于显示舞蹈视频的显示设备和方法，并且更具体地，涉及用于显示其中映射用户图像的舞蹈视频的显示设备及其显示方法。

背景技术

近来，通信技术正在进步，并且正在开发各种显示设备。随着用户在文化内容领域的兴趣提高，用户有大量的机会通过使用各种显示设备而容易地访问文化内容。例如，文化内容可以是音乐、电影、音乐视频等。用户不满足于仅仅听音乐和观看歌唱者的舞蹈，因而有时候模仿歌唱者的舞蹈或者拍摄用户模仿歌唱者的舞蹈的视频并将视频上传到服务器。

此外，用户可能希望看到其中表演舞蹈动作的歌唱者被用户的形象所替换的视频并且知道他或她的舞蹈动作与歌唱者的舞蹈动作有多相似。

为了满足这样的需求，已经出现许多通过使用虚拟角色来创建合成图像的技术。然而，在很多情况下，该技术仅仅简单地替换脸部图像。此外，已经出现比较用户的舞蹈动作和歌唱者的舞蹈动作的技术。然而，由于该技术需要很多相机和标记（marker）等，对于一般用户来说难以容易地使用该技术。因此，需要一般用户可以容易地创建其中用用户自己的图像替换歌唱者的视频并且确定用户的舞蹈动作与歌唱者的舞蹈动作有多相似的技术。

发明内容

一个或多个示范性实施例提供可以产生用用户的图像替换的舞蹈视频并且显示用于舞蹈动作纠正的信息的显示设备和方法。

一个或多个示范性实施例针对一种显示设备，其可以包括：输入单元，被配置为接收内容选择命令；存储单元，被配置为存储用户的图像；控制器，被配置为从用户图像提取用户的骨架信息，搜索与通过内容选择命令选择的内容相关的表演者的动作的数据，并且从包括在搜索到的动作数据中的表演者的图像中提取表演者的骨架信息；以及显示单元，其中控制器进一步被配置为通过将用户骨架信息映射在表演者骨架信息上来产生包括用用户图像替换的表演者图像的新的动作数据，并且控制显示单元显示新的动作数据。

用户骨架信息和表演者骨架信息的每一个可以包括至少一个特征点，并且控制器可以映射用户图像中的特征点和表演者图像中的特征点以产生新的动作数据。

显示设备可以包括通信单元，用于从服务器装置接收所选择的内容和搜索到的与所选择的内容相关的动作数据中的至少一个。

存储单元可以进一步存储与包含在搜索到的动作数据中的表演者的动作对应的用户的动作视频。控制器可以从动作视频中的用户图像中提取用户骨架信息，从搜索到的动作数据中的表演者图像中提取表演者骨架信息，并且通过比较用户骨架信息和表演者骨架信息来产生用于纠正动作视频中的用户的动作的信息。显示单元可以显示用于纠正用户的动作的信息。

如果动作视频中的用户的动作与动作数据中的表演者的动作之间的差异超过预设的差值，则可以产生用于纠正用户的动作的信息。

控制器可以将包括在用户骨架信息中的用户骨架映射在包括在表演者骨架信息中的表演者骨架上，从动作视频中的用户图像中提取包括在用户骨架信息中的用户骨架深度，从搜索到的动作数据中的动作图像中提取包括在表演者骨架信息中的表演者骨架深度，并且通过使用用户骨架深度和表演者骨架深度来将用户骨架的纹理信息映射在表演者图像上。用于纠正用户的动作的信息可以是其中用户的动作的图像改变为表演者的动作的图像的视频。

用于纠正用户的动作的信息可以包括其中用户的动作的图像与表演者的动作的图像重叠的慢动作的重叠视频、单独的动作的重叠视频、和停止的重叠视频。

用于纠正用户的动作的信息可以包括重复地回放动作视频中的用户的动作与搜索到的动作数据中的相应动作之间存在差异的区间的视频。

一个或多个示范性实施例针对一种服务器装置，其可以包括：服务器通信单元，被配置为从显示设备接收内容信息；以及服务器控制器，被配置为搜索与接收的内容信息相关的动作数据，其中服务器控制器进一步被配置为从搜索到的动作数据中的表演者图像中提取表演者骨架信息，并且控制服务器通信单元向显示设备发送表演者骨架信息。

一个或多个示范性实施例针对一种舞蹈视频显示方法，其可以包括：接收内容选择命令；搜索与通过内容选择命令选择的内容相关的表演者的动作的数据；从用户的图像中提取用户的骨架信息，并且从包括在搜索到的动作数据中的表演者的图像中提取表演者的骨架信息；通过将用户骨架信息映射在表演者骨架信息上来产生包括用用户图像替换的表演者图像的新的动作数据；以及显示新的动作数据。

用户骨架信息和表演者骨架信息的每一个可以包括至少一个特征点，并且产生动作数据可以包括映射用户图像中的特征点和表演者图像中的特征点以产生新的动作数据。

该舞蹈视频显示方法可以包括从服务器装置接收所选择的内容和搜索到的与选择的内容相关的动作数据中的至少一个。

该舞蹈视频显示方法可以进一步包括：从搜索到的与通过内容选择命令选择的一条内容相关的动作数据中的表演者图像中提取表演者骨架信息，并从与包括在搜索到的动作数据中的表演者的动作对应的用户的动作视频中的用户图像中提取用户骨架信息；以及通过比较用户骨架信息和表演者骨架信息来产生和显示用于纠正动作视频中的用户的动作的信息。

如果动作视频中的用户的动作与动作数据中的表演者的动作之间的差异超过预设的差值，则可以产生用于纠正用户的动作的信息。

该舞蹈视频显示方法可以进一步包括：将包括在用户骨架信息中的用户骨架映射在表演者骨架上；从动作视频中的用户图像中提取包括在用户骨架信息中的用户骨架深度；从搜索到的动作数据中的动作图像中提取包括在表演者骨架信息中的表演者骨架深度；以及通过使用用户骨架深度和表演者骨架深度来将用户骨架的纹理信息映射在表演者图像上，其中用于纠正用户的动作的信息是其中用户的动作的图像改变为表演者的动作的图像的视频。

用于纠正用户的动作的信息可以包括其中用户的动作的图像与表演者的动作的图像重叠的慢动作的重叠视频、单独的动作的重叠视频、和停止的重叠视频。

用于纠正用户的动作的信息可以包括重复地回放动作视频中的用户的动作与搜索到的动作数据中的相应动作之间存在差异的区间的视频。

根据各种示范性实施例，可以容易地产生用用户自己的图像替换的动作数据，并且可以容易地将用户的动作视频与表演者的动作视频比较。

通过下面结合附图公开优选实施例的详细描述，其他目标、优点和显著特征将变得明显。

附图说明

通过下面结合附图的示范性实施例的描述，这些和/或其他方面将变得明显和更容易理解，其中：

图1是示出根据示范性实施例的包括服务器装置和显示设备的系统的配置的视图；

图2是根据示范性实施例的显示设备的框图；

图3是根据示范性实施例的服务器装置的框图；

图4是用于说明根据示范性实施例的从图像中提取骨架的过程的视图；

图5是用于说明根据示范性实施例的从脸部图像中提取骨架的过程的视图；

图6是用于说明根据示范性实施例的通过使用骨架深度来提取3D图像信息的过程的视图；

图7是用于说明根据示范性实施例的从与音乐相关的舞蹈数据中提取骨架的过程的视图；

图8是用于说明根据示范性实施例的用用户图像替换的舞蹈数据的视图；

图9是用于说明根据示范性实施例的产生用于舞蹈动作纠正的信息的过程的视图；

图10是用于说明根据示范性实施例的用于舞蹈动作纠正的信息的视图；

图11是用于说明根据另一示范性实施例的用于舞蹈动作纠正的信息的视图；

图12是用于说明根据示范性实施例的用用户图像替换的舞蹈视频的显示方法的流程图；以及

图13是示出根据示范性实施例的显示用于舞蹈动作纠正的信息的舞蹈视频显示方法的流程图。

全部附图中，相似的参考数字将被理解为指代相似的部分、组件和结构。具体实施方式

以下，将参照附图详细描述本发明构思的某些示范性实施例。

这里定义的事物，诸如详细结构及其元件，是提供用于帮助全面理解本说明书。因而，显然可以完成示范性实施例而无需那些定义的事物。此外，本公开中稍后将描述的术语是通过考虑本发明构思中的功能来定义，并且可以依赖于操作者或用户的意图或实践而改变。因此，将基于本公开全文中的信息来进行术语的定义。

图1是示出根据示范性实施例的包括服务器装置和显示设备的系统的配置的视图。舞蹈视频显示系统包括显示设备100和服务器装置200。为了显示舞蹈视频，需要音乐或与音乐关联的舞蹈数据。显示设备100可以存储音乐。此外，显示设备100可以搜索服务器装置200中的音乐，然后从服务器装置200下载音乐。例如，用户可以通过将音乐名称、歌唱者名称、作曲者名称、作词者名称等输入到显示设备100中来搜索音乐，然后从搜索的结果中选择音乐。替换地，显示设备100可以接收从外部输出的音乐的音频数据，然后向服务器装置200发送搜索请求。此外，显示设备100可以存储舞蹈数据。替换地，显示设备100可以从服务器装置200下载舞蹈数据。舞蹈数据的搜索过程与音乐的搜索过程相同。

例如，显示设备100可以是数字相框、蜂窝电话机、个人数字助理（PDA）、MPEG-2音频层Ⅲ（MP3）播放器、电视机（TV）、导航仪等。

服务器装置200可以搜索从显示设备100请求的音乐或与音乐相关的舞蹈数据，然后向显示设备100发送搜索的结果。服务器装置200可以在自身中存储和搜索音乐或舞蹈数据。替换地，可以跟与显示设备100通信的服务器装置200分开地配置音乐服务器装置或舞蹈数据服务器装置。服务器装置200可以从显示设备100接收搜索命令或请求，然后可以在单独的音乐服务器装置或舞蹈数据服务器装置中搜索。服务器装置200向显示设备100发送搜索结果。

为了显示舞蹈视频，可以从图像或舞蹈数据中提取骨架和骨架深度。骨架意味着从图像中提取特征点并且用直线将它们彼此连接。用户是三维（3D）形式，但用户的图像是二维（2D）的平面形式。因此，可以使用骨架深度来形成完整用户形式。骨架深度用于通过使用骨架的特征点之间的距离等来预测3D外形。可以从显示设备100或服务器装置200中提取骨架和骨架深度。

首先，将说明从显示设备100中提取骨架和骨架深度的情况。具有相机（未示出）的显示设备100可以捕获用户的图像并且存储所捕获的图像。显示设备100还可以在内部或外部存储器中存储预捕获的用户图像。显示设备100从所存储的用户图像和舞蹈数据内的舞蹈图像中的至少一个提取骨架和骨架深度。显示设备100可以通过使用所提取的骨架和骨架深度来产生包括用所存储的用户图像替换的舞蹈者图像的舞蹈数据。

从服务器装置200中提取骨架和骨架深度的情况类似于上面的描述。稍后将说明用于产生舞蹈数据的详细方法。首先，将说明显示设备100和服务器装置200的配置。

图2是根据示范性实施例的显示设备的框图。参照图2，显示设备100包括输入单元110、存储单元120、控制器130、和显示单元140。

输入单元110从用户接收音乐选择命令。然后，输入单元110可以接收各种用户命令。例如，输入单元110可以接收用于搜索音乐的至少一个搜索词、用户图像选择命令、用于产生包括用用户图像替换的舞蹈者图像的舞蹈数据的舞蹈数据产生命令、用于舞蹈动作纠正的信息产生命令等。在一些情况下，输入单元110可以接收从外部输出的音频数据。输入单元110可以被实现为允许触摸输入的触摸屏、小键盘、麦克风等。

存储单元120可以存储用户图像、搜索的音乐、或与音乐相关的舞蹈数据。存储单元120可以存储模仿或仿效包含在舞蹈数据内的舞蹈者的动作的用户的舞蹈视频、产生的包括用用户图像替换的舞蹈者图像的舞蹈数据、用于纠正所产生的舞蹈动作的信息等。存储单元120可以包括只读存储器（ROM）、随机存取存储器（RAM）、存储卡（例如安全数字（SD）卡、记忆棒等），其可以与显示单元140分离或者安装在显示单元140中。此外，存储单元120可以包括非易失性存储器、易失性存储器、硬盘驱动器（HDD）、或固态驱动器（SSD）。

控制器130可以搜索与所选择的音乐相关的舞蹈数据。控制器130从用户图像中提取用户骨架和骨架深度，并且从所搜索的舞蹈数据内的舞蹈者图像中提取舞蹈者骨架和舞蹈者骨架深度。控制器130通过将用户骨架映射到舞蹈者骨架上，并且通过使用用户骨架深度和舞蹈者骨架深度来将用户骨架纹理信息映射到舞蹈者图像上，来产生包括用用户图像替换的舞蹈者图像的舞蹈者数据。用户骨架和舞蹈者骨架的每一个可以包括用户和舞蹈者的每一个的脸部图像的特征点。控制器130可以映射用户图像的脸部图像的特征点和舞蹈者图像的脸部图像的特征点。

此外，控制器130可以从模仿舞蹈者的动作的用户的舞蹈视频中提取用户骨架，并从与音乐相关的舞蹈数据中提取舞蹈者骨架。控制器130比较所提取的用户骨架和舞蹈者骨架，然后产生用于纠正舞蹈动作的信息。

显示单元140显示用用户图像替换的舞蹈数据。显示单元140显示用于纠正所产生的舞蹈动作的信息。显示单元140可以被实现为各种显示单元，诸如液晶显示面板（LCD板）、等离子显示面板（PDP）、有机发光二极管（OLED）、真空荧光显示器（VFD）、场发射显示器（FED）、电子发光显示器（ELD）等。

可以通过没有触摸输入功能的普通显示面板、或者可以利用至少一个接近传感器或触摸传感器来识别用户操作的触摸显示面板来实现显示单元140。如果通过触摸显示面板来实现显示单元140，则显示单元140可以接收通过用户的身体（例如，包括拇指的手指）或可检测的输入装置（例如，触笔）的至少一个触摸手势。

显示设备100可以进一步包括通信单元（未示出）或拍摄单元（未示出）。通信单元可以向服务器装置200请求搜索音乐或与音乐相关的舞蹈数据，并且从服务器装置200接收搜索的音乐或舞蹈数据。在一些情况下，通信单元可以从服务器装置200接收从舞蹈数据中提取的舞蹈者骨架和舞蹈者骨架深度的信息。

拍摄单元可以拍摄或捕获用户图像或模仿舞蹈者的舞蹈动作的用户的动作。拍摄或捕获的图像或舞蹈动作可以被存储在存储单元120中。

图3是根据示范性实施例的服务器装置的框图。参照图3，服务器装置200包括服务器通信单元210和服务器控制器220。

服务器通信单元210接收对音乐或与音乐相关的舞蹈数据的搜索请求、或者用于搜索音乐或与音乐相关的舞蹈数据的音乐信息。

服务器控制器220搜索与所接收的音乐信息相关的舞蹈数据。服务器控制器220还可以搜索音乐。服务器装置200可以存储音乐或舞蹈数据。该情况下，服务器控制器220搜索存储在服务器装置200中的音乐或舞蹈数据。替换地，音乐或舞蹈数据可以存储在单独的服务器装置中。音乐可以存在于音乐搜索服务器装置中，并且舞蹈数据可以存在于舞蹈搜索服务器装置中。替换地，音乐和舞蹈数据可以存在于与服务器装置200分离的其他服务器装置中。以上描述中，服务器控制器220可以控制服务器通信单元210向单独的服务器装置请求搜索音乐或舞蹈数据。搜索的音乐或舞蹈数据可以完全地匹配搜索信息。然而，如果没有完全匹配的音乐或舞蹈数据，则可以搜索最近似的音乐或舞蹈数据。服务器通信单元210向显示设备100发送搜索到的音乐或舞蹈数据。

一些情况下，服务器控制器220从搜索到的舞蹈数据内的舞蹈者图像中提取舞蹈者骨架和舞蹈者骨架深度。可以从显示设备100或服务器200中提取舞蹈者骨架和舞蹈者骨架深度。换言之，显示设备100从服务器装置200接收舞蹈数据，然后可以从所接收的舞蹈数据的舞蹈图像中提取舞蹈者骨架和舞蹈者骨架深度。此外，服务器装置200可以从搜索到的舞蹈数据的舞蹈者图像中提取舞蹈者骨架和舞蹈者骨架深度。该情况下，服务器装置200可以向显示设备100发送所提取的舞蹈者骨架和舞蹈者骨架深度。

至此，已经描述显示设备100和服务器装置200的配置。以下将说明提取骨架的过程。

图4是用于说明根据示范性实施例的从图像中提取骨架的过程的视图。

图4示出用户图像50。用户图像50可以是静止图像。图4示出用户外形11和所提取的用户骨架12两者。控制器130从用户外形11中识别脸、肩、肘、手、腰、膝、和脚。如图4中所示，控制器130针对脸、双肩、胸、双肘、双手、腰、双膝、以及双脚提取特征点。因此，可以通过连接从用户外形11中提取的特征点来产生用户骨架12。如上所述，服务器装置200可以提取骨架。该情况下，服务器控制器220从用户外形11产生用户骨架12。

通常，可以通过识别贴在用户的很多部分上的许多标记并且将所识别的标记提取为特征点来产生骨架。由于该情况需要大量装备，所以难以使用它。然而，在示范性实施例中，可以通过用图像处理方法来处理用户图像50内的用户外形11来提取特征点，从而可以容易地产生骨架。

如上所述从用户外形11中提取的特征点仅仅是示范性实施例。此外，可以通过提取更多的特征点来产生更详细的骨架。

图5是用于说明根据示范性实施例的从脸部图像中提取骨架的过程的视图。

图5示出用户脸部13的图像。控制器130识别用户脸部13内的双眼、鼻子、嘴等。如图5中所示，控制器130相对于双眼、鼻子、上唇中心、下唇中心、嘴唇两端、以及上下唇之间的接触部分的中心来提取特征点。因此，可以通过连接从用户脸部13中提取的特征点来产生用户脸部骨架。如果从用户图像中提取的用户脸部骨架被映射在舞蹈数据内的舞蹈者脸部骨架上，则可以响应于舞蹈者面部表情的改变来表达用户面部表情的改变。如上所述从用户脸部13中提取的特征点仅仅是示范性实施例。此外，可以通过提取更多的特征点来产生更详细的脸部骨架。由于面部表情的改变通常通过嘴唇、眼睛或眉毛的移动来完成，所以可以从嘴唇、眼睛或眉毛部分提取很多特征点。

图6是用于说明根据示范性实施例的通过使用骨架深度来提取3D图像信息的过程的视图。

图6示出用户图像51。图6示出用户外形11a和所提取的用户骨架12a两者。参照图4描述了通过从用户外形11a提取特征点来产生用户骨架12a的方法。因此，将省略其描述。

舞蹈数据内的用户图像或舞蹈者图像是2D图像。因此，存在图像上没有表现的部分。此外，如果仅提取骨架，则具有3D差异的动作也可以被提取为相似的骨架。例如，设想其中用户向前看的图像。该情况下，在图像上没有表现用户的背面，并且用户的背面的数据不存在。因此，如果从其中用户向前看的图像中提取骨架并且映射用户纹理，则当需要用户的背面的数据时，可能产生不自然的用户外形。

因此，通过使用骨架深度来提取3D图像信息。根据示范性实施例，可以通过使用特征点以及特征点之间的线段长度来提取骨架深度。可以通过使用特征点以及特征点之间的线段的位置、方向及它们的关系来提取骨架深度。由于这样的方法仅仅分析关键参数，所以处理速度快并且可以执行某些图案匹配。

可以通过使用从用户图像中提取的骨架、用户图像的纹理、和骨架深度来从平面用户图像51中提取用于3D用户外形52的信息。当舞蹈数据内的舞蹈者图像被用户图像映射时，所提取的用于3D用户外形52的信息可以用来产生自然外形。从骨架中提取3D外形信息被称为骨架深度的提取。

可以通过使用从用户图像中提取的骨架和骨架深度来产生包括用用户图像替换的舞蹈者图像的舞蹈数据。

图7是用于说明根据示范性实施例的从与音乐相关的舞蹈数据中提取骨架的过程的视图。

参照图7，舞蹈数据包括其中舞蹈者表演舞蹈动作的帧61、62、63、64、和65。根据示范性实施例，可以从每个帧中提取骨架。例如，控制器130识别存在于每个帧中的舞蹈者外形的脸、双肩、胸、双肘、双手、腰、双膝、和双脚，然后提取特征点。通过连接所提取的特征点来产生骨架。

替换地，控制器可以通过从代表帧中提取特征点来产生骨架。可以通过将所产生的骨架与帧匹配并且变换骨架来产生用于其余帧的骨架。例如，可以通过上述方法从第一帧61中产生骨架。分析第二帧62中特征点的改变的位置。分析出在第二帧62中左臂和右腿的特征点已经大幅改变。可以通过使用所分析的特征点的改变的位置变换所产生的骨架来获得用于第二帧62的骨架的数据。获得骨架的数据意味着产生新的骨架或者仅仅存储特征点的改变的数据。

可以通过参照图6描述的方法来提取舞蹈者骨架深度。

可以通过使用从用户图像中提取的用户骨架和用户骨架深度以及从舞蹈数据内的舞蹈图像中提取的舞蹈者骨架和舞蹈者骨架深度来产生其中用用户图像替换舞蹈者图像的舞蹈数据。

图8是用于说明根据示范性实施例的用用户图像替换的舞蹈数据的视图。

图8示出其中用用户图像替换舞蹈者图像的舞蹈数据的帧62a。将用户骨架与帧内的舞蹈者骨架映射。可以用这样的方式来执行骨架的映射以使得匹配特征点。

通过使用用户骨架深度和舞蹈者骨架深度，将用户骨架的纹理信息映射在舞蹈者图像上。根据示范性实施例，取决于用户骨架的特征点的位置的改变来分析特征点之间的线段的长度、位置、方向及其关系。取决于分析结果，修改所提取的3D用户外形的信息，然后将修改的用户外形的信息映射在所提取的3D舞蹈者外形的信息上。将3D用户外形的信息映射在3D舞蹈者外形的信息上意味着用用户外形的纹理自然地替换舞蹈者外形。

换言之，显示设备100将用户骨架映射在舞蹈者骨架上，并且通过使用用户骨架深度和舞蹈者骨架深度将用户骨架的纹理信息映射在舞蹈者图像上。通过该过程，可以产生包括用用户图像替换的舞蹈者图像的舞蹈数据的帧62a。显示设备100可以针对多个帧的每一个执行上述过程，然后连续地显示多个帧，从而显示用用户图像替换的舞蹈视频。

显示设备100可以不仅产生用用户图像替换的舞蹈视频，而且还产生用于舞蹈动作纠正的信息。

图9是用于说明根据示范性实施例的产生用于舞蹈动作纠正的信息的过程的视图。

参照图9，描述帧41作为示例。如图9中所示的帧41仅仅显示所提取的用户骨架14a和舞蹈者骨架14b。用户可以产生并保存模仿包括在舞蹈数据中的舞蹈者的动作的用户的舞蹈视频。可以通过使用外部摄像机等来产生舞蹈视频，然后可以通过使用有线或无线通信方法发送到显示设备100。此外，可以通过使用可移除存储设备将舞蹈视频存储在显示设备100中。一些情况下，用户可以通过使用包括在显示设备100中的拍摄单元（未示出）来产生和保存舞蹈视频。

显示设备100比较并分析舞蹈数据和所产生的舞蹈视频。可以根据每个帧来执行舞蹈数据与所产生的舞蹈视频的比较。可以通过比较所提取的用户骨架14a和舞蹈者骨架14b的方式来执行舞蹈数据和所产生的舞蹈视频的比较。可以通过比较用户骨架14a的特征点和舞蹈者骨架14b的相应特征点的方式来执行骨架的比较。

显示设备100可以设置用于产生舞蹈动作纠正信息所需的将要比较的骨架的部分、或者动作的差异量。例如，如果比较部分被设置为整个部分，则当预设的差异发生在全部特征点的至少一个中时，显示设备100产生舞蹈动作纠正信息。如果比较部分被设置为上身部分，则当预设的差异发生在手、肘、和肩的特征点的至少一个时，显示设备100产生舞蹈动作纠正信息。比较部分可以被设置为手、脚等。上述设置值可以由用户选择。

此外，用于产生舞蹈动作纠正信息的预设的差异可以被设置为特定值、或角度。例如，其可以被设置为这样的条件，诸如手的特征点在实际距离上相差30cm或更多，以及肘的角度在实际角度上相差30度或更多。图9中，用户骨架的右手的特征点位于比舞蹈者骨架的右手的特征点高特定距离的位置处，并且特征点之间的差值超过预设的差值。因此，针对舞蹈视频的帧41产生用于舞蹈动作纠正的信息。

可以通过各种方式来产生用于纠正舞蹈动作的信息。

图10是用于说明根据示范性实施例的用于舞蹈动作纠正的信息的视图。

图10示出舞蹈视频中的用户外形改变为舞蹈数据中的舞蹈者外形的过程。根据示范性实施例，用于舞蹈动作纠正的信息可以是用户图像的舞蹈动作改变为舞蹈者图像的舞蹈动作。在包括用户的舞蹈动作的舞蹈视频53a中，用户的右臂15a位于高于舞蹈者的右臂15b超过预设的差值的位置处。在显示单元上可以显示或者不显示用虚线示出的舞蹈者的右臂15b。

可以通过映射用户图像的骨架和骨架深度以及舞蹈者图像的骨架和骨架深度的方法来产生其中将用户的右臂15a改变为舞蹈者的右臂15b的位置的视频。换言之，可以产生与舞蹈者的舞蹈动作一致或对应的用户的舞蹈动作的帧53b。

可以通过使用骨架深度来提取3D外形信息。因而，可以执行自然用户图像纹理的映射。前面详细描述了骨架和骨架深度的详细提取过程、以及详细的映射过程。因而，将省略其描述。

换言之，用于舞蹈动作纠正的信息可以在用户的舞蹈动作与舞蹈者的舞蹈动作之间的差异超过预设的差值时产生，并且可以是其中用户外形改变为舞蹈者外形的视频或信息。

图11是用于说明根据另一示范性实施例的用于舞蹈动作纠正的信息的视图。

图11示出其中用户外形16a与舞蹈者外形16b重叠的多个帧71、72、和73。用户的舞蹈动作与舞蹈者的舞蹈动作之间的差异可以不仅发生在单个动作中，而且发生在舞蹈的特定段的动作中。因此，可以将用于舞蹈动作纠正的信息产生为特定段的连续的动作帧。

如图11中所示，对于其中发生用户的舞蹈动作与舞蹈者的舞蹈动作之间的差异的段，产生其中用户外形16a与舞蹈者外形16b重叠的多个帧。多个产生的帧可以以慢动作显示，或者可以作为单独的动作显示。此外，可以重复地回放多个产生的帧。屏幕回放的速度、单独的动作的帧替换时间、或者播放的重复次数可以由用户来设置。

换言之，用于舞蹈动作纠正的信息可以是其中用户的舞蹈动作与舞蹈者的舞蹈动作重叠的停止的重叠视频、慢动作的重叠视频、单独的动作的重叠视频、或者可以按段重复回放的重叠视频。

图12是用于说明用用户图像替换的舞蹈视频的显示方法的流程图。

参照图12，显示设备接收音乐选择命令（S1210）。显示设备可以从用户或外部接收与音乐相关的搜索条件或搜索数据，然后可以自己搜索或者向服务器装置请求搜索。可以显示搜索结果，并且用户可以从搜索结果中选择音乐。

显示设备搜索舞蹈数据（S1220）。显示设备搜索与所选择的音乐相关的舞蹈数据。显示设备可以搜索存储单元中的舞蹈数据，并且可以从服务器装置请求搜索。搜索结果可以是包括类似的舞蹈数据的多个舞蹈数据。用户可以从搜索结果中选择舞蹈数据。

显示设备提取骨架和骨架深度（S1230）。显示设备从所存储的用户图像中提取用户骨架和用户骨架深度。此外，显示设备从搜索到的舞蹈数据的舞蹈者图像中提取舞蹈者骨架和舞蹈者骨架深度。

显示设备将用户骨架映射在舞蹈者骨架上，然后通过使用用户骨架深度和舞蹈者骨架深度将用户骨架的纹理信息映射在舞蹈者图像上来产生舞蹈数据（S1240）。之前描述了详细的提取过程和产生过程；因而将省略其描述。显示设备显示所产生的舞蹈数据（S1250）。

因此，显示设备可以产生并显示用用户图像替换的舞蹈数据。

图13是示出根据示范性实施例的显示用于舞蹈动作纠正的信息的舞蹈视频显示方法的流程图。

显示设备接收音乐选择命令（S1310）。显示设备从与音乐相关的舞蹈数据和用户舞蹈视频中提取骨架（S1320）。显示设备搜索与所选择的音乐相关的舞蹈数据。显示设备从搜索的舞蹈数据的舞蹈者图像中提取舞蹈者骨架。

用户可以产生模仿包含在舞蹈数据中的舞蹈者的动作的用户的舞蹈视频，并且在显示设备中存储或发送舞蹈视频。显示设备从所产生的舞蹈视频内的用户图像中提取用户骨架。可以从每个帧中分别提取骨架。替换地，可以从单个帧中提取骨架，然后可以掌握并应用特征点的改变来获得其他帧的骨架。

显示设备通过比较提取的用户骨架和舞蹈者骨架来产生用于舞蹈动作纠正的信息（S1330）。当用户舞蹈视频的舞蹈动作与播放音乐的相同时间的舞蹈数据之间的差异超过预设差值时，可以产生用于舞蹈动作纠正的信息。

显示设备显示用于舞蹈动作纠正的信息（S1340）。

用户可以通过使用用于舞蹈动作纠正的信息来容易地纠正用户的舞蹈动作。

如上所述的根据各种示范性实施例的显示设备的舞蹈视频显示方法可以被实现为程序，从而可以提供给显示设备。

作为示范性实施例，可以提供其中存储执行如下步骤的程序的非暂时性计算机可读介质：接收音乐选择命令的步骤，搜索与通过音乐选择命令选择的音乐相关的舞蹈数据的步骤，从存储的用户图像中提取用户骨架和用户骨架深度并从搜索到的舞蹈数据内的舞蹈者图像中提取舞蹈者骨架和舞蹈者骨架深度的步骤，通过使用用户骨架深度和舞蹈者骨架深度来将用户骨架映射在舞蹈者骨架上并将用户骨架的纹理信息映射在舞蹈者图像上的步骤，以及显示所产生的舞蹈数据的步骤。

与诸如寄存器、高速缓存、内存等的用于短时间存储数据的介质相反，非暂时性计算机可读介质是指可以以半永久方式存储数据并且可以由设备读取的介质。例如，上述各种应用或程序可以存储在诸如光盘（CD）、数字多功能盘（DVD）、硬盘、蓝光盘、通用串行总线（USB）、存储卡、ROM等的非暂时性计算机可读介质中并用其提供。

虽然已经描述示范性实施例，但是本领域技术人员一旦了解基本发明构思就可以想到实施例的另外的改变和修改。例如，虽然针对音乐和舞蹈描述以上实施例，但是本发明构思不限于仅仅音乐和舞蹈。本发明构思可以应用于针对诸如高尔夫、武术、游泳、棒球等各种运动的其他内容和动作。因此，意图是所附权利要求应当被解读为包括以上实施例以及落在本发明构思的精神和范围内的所有这样的改变和修改。

Claims (15)

1.一种显示设备，包括：

输入单元，被配置为接收内容选择命令；

存储单元，被配置为存储用户的图像；

控制器，被配置为从用户图像中提取用户的骨架信息，搜索与通过内容选择命令选择的内容相关的表演者的动作的数据，并且从包括在搜索到的动作数据中的表演者的图像中提取表演者的骨架信息；以及

显示单元，

其中控制器进一步被配置为通过将用户骨架信息映射在表演者骨架信息上来产生包括用用户图像替换的表演者图像的新的动作数据，并且控制显示单元显示新的动作数据。

2.如权利要求1所述的显示设备，

其中骨架信息包括至少一个特征点、至少一个骨架深度和纹理信息。

3.如权利要求1所述的显示设备，

其中用户骨架信息和表演者骨架信息的每一个包括至少一个特征点，并且

其中控制器进一步被配置为映射用户图像中的特征点和表演者图像中的特征点以产生新的动作数据。

4.如权利要求1所述的显示设备，进一步包括：

通信单元，被配置为从服务器装置接收所选择的内容和搜索到的与所选择的内容相关的动作数据中的至少一个。

5.如权利要求1所述的显示设备，

其中存储单元进一步被配置为存储与包括在搜索到的动作数据中的表演者的动作对应的用户的动作视频，

其中控制器进一步被配置为从动作视频中的用户图像中提取用户骨架信息，从搜索到的动作数据中的表演者图像中提取表演者骨架信息，并且通过比较用户骨架信息和表演者骨架信息来产生用于纠正动作视频中的用户的动作的信息，并且

其中显示单元进一步被配置为显示用于纠正用户的动作的信息。

6.如权利要求5所述的显示设备，

其中如果动作视频中的用户的动作与动作数据中的表演者的动作之间的差异超过预设的差值，则产生用于纠正用户的动作的信息。

7.如权利要求6所述的显示设备，

其中控制器进一步被配置为将包括在用户骨架信息中的用户骨架映射在包括在表演者骨架信息中的表演者骨架上，

其中控制器进一步被配置为从动作视频中的用户图像中提取包括在用户骨架信息中的用户骨架深度，从搜索到的动作数据中的动作图像中提取包括在表演者骨架信息中的表演者骨架深度，并且通过使用用户骨架深度和表演者骨架深度来将用户骨架的纹理信息映射在表演者图像上，并且

其中用于纠正用户的动作的信息是其中用户的动作的图像改变为表演者的动作的图像的视频。

8.如权利要求6所述的显示设备，

其中用于纠正用户的动作的信息包括其中用户的动作的图像与表演者的动作的图像重叠的慢动作的重叠视频、单独的动作的重叠视频、以及停止的重叠视频。

9.如权利要求6所述的显示设备，

其中用于纠正用户的动作的信息包括重复地回放动作视频中的用户的动作与搜索到的动作数据中的相应动作之间存在差异的区间的视频。

10.如权利要求5所述的显示设备，

其中骨架信息包括至少一个特征点、至少一个骨架深度和纹理信息。

11.一种服务器装置，包括：

服务器通信单元，被配置为从显示设备接收内容信息；以及

服务器控制器，被配置为搜索与接收的内容信息相关的动作数据，

其中服务器控制器进一步被配置为从搜索到的动作数据中的表演者图像中提取表演者骨架信息，并且控制服务器通信单元向显示设备发送表演者骨架信息。

12.一种动作视频显示方法，包括：

接收内容选择命令；

搜索与通过内容选择命令选择的内容相关的表演者的动作的数据；

从用户的图像中提取用户的骨架信息，并且从包括在搜索到的动作数据中的表演者的图像中提取表演者的骨架信息；

通过将用户骨架信息映射在表演者骨架信息上来产生包括用用户图像替换的表演者图像的新的动作数据；以及

显示新的动作数据。

13.如权利要求12所述的动作视频显示方法，

其中骨架信息包括至少一个特征点、至少一个骨架深度和纹理信息。

14.如权利要求12所述的动作视频显示方法，

其中用户骨架信息和表演者骨架信息的每一个包括至少一个特征点，并且

其中产生动作数据包括映射用户图像中的特征点和表演者图像中的特征点以产生新的动作数据。

15.如权利要求12所述的动作视频显示方法，进一步包括：

从服务器装置接收所选择的内容和搜索到的与所选择的内容相关的动作数据中的至少一个。