CN101807393B - Ktv系统及其实现方法、电视机 - Google Patents

Abstract

本发明公开了一种KTV系统及其实现方法、电视机。其中，该实现方法包括：获取用户的图像；将用户的图像与KTV系统的视频中的声音和/或图像同步播放。通过本发明，能够使KTV系统能够对用户的声音和图像同时进行处理，进而提高用户体验度。

Description

KTV系统及其实现方法、电视机

技术领域

本发明涉及一种KTV系统及其实现方法、电视机。

背景技术

目前，唱卡拉OK已经成为人们休闲娱乐的普遍方式，现有的K歌模式虽然能基本满足人们现有的歌唱需要，但是它主要针对MV中的声音进行处理，而对歌者的动作表情不能真正体现，不能达到歌者与场景的很好融合，因而K歌过程比较单调，影响场景效果，且用户的体验度比较低。

随着人们需求的提高和技术的进步，对K歌模式的更新需求逐渐增强，正在探寻一种新的可以使歌者更好融入其中的K歌新模式。

在相关技术中，无论是在KTV唱歌，还是在家里用电视K歌，解决方案都只是单纯地针对于声音进行处理，随着生活质量的提高和需求的增加，这种K歌方式已略显落伍。

在相关技术中提出了一种K歌系统，不仅可以实现普通KTV里唱歌的功能，而且具有一整套的评分系统，唱的每一个字和音符都有高低标注，消费者可以立即看到音调的对错，并根据系统以百分制打出来的分数衡量演唱效果，将家庭K歌又推上了一个新的台阶，更方便了人们的需求。

但是，上述相关技术中所处理的依然都是声音系统。

针对相关技术中在KTV时，KTV系统仅对用户的声音进行处理，进而导致用户的感受度比较低的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中在KTV时，KTV系统仅对用户的声音进行处理，进而导致用户的感受度比较低的问题而提出本发明，为此，本发明的主要目的在于提供一种KTV歌系统及其实现方法、电视机，以解决上述问题。

为了实现上述目的，根据本发明的一个方面，提供了一种KTV系统的实现方法。

根据本发明的KTV系统的实现方法包括：获取用户的图像；将用户的图像与KTV系统的视频中的声音和/或图像同步播放。

优选地，将用户的图像与视频中的图像同步播放包括：利用用户的图像替换视频中的人物图像。

优选地，利用用户的图像替换视频中的人物图像为：利用用户的图像替换视频中的主人公图像。

优选地，在利用用户的图像替换视频中的主人公图像之前，上述方法还包括：

检测视频中的人物图像；

根据人物图像确定主人公图像，其中，采用以下方式之一来根据人物图像确定主人公图像：

将视频中出现频率最高的人物图像作为主人公图像；

将视频中位于图像预定区域的人物图像作为主人公图像。

优选地，检测视频中的人物图像包括：

对视频中第一帧图像中的主人公图像进行检测；

在对视频中第二帧图像中的主人公图像进行检测时，对距离第一帧图像中主人公图像预定距离范围内的图像区域进行检测。

优选地，检测视频中的人物图像是在KTV系统中存储视频的过程中进行的。

优选地，利用用户的图像替换视频中的人物图像包括：

将视频中的人物图像去除；

在视频中去除人物图像的区域添加用户的图像。

优选地，在视频中去除人物图像的区域添加用户的图像之后，上述方法还包括：对视频中的图像进行背景重建。

优选地，获取用户的图像包括获取用户的表情图像或全部图像，其中，在仅获取用户的表情图像的情况下，仅对视频中的人物图像的表情图像进行替换，在获取用户的全部图像数据的情况下，对视频中的全部人物图像进行替换。

优选地，在利用用户的图像替换视频中的人物图像之后，上述方法还包括：对替换人物图像之后的视频进行保存。

为了实现上述目的，根据本发明的另一方面，提供了一种KTV系统。

根据本发明的KTV系统包括：获取模块，用于获取用户的图像；

同步播放模块，用于将用户的图像与视频中的声音和/或图像同步播放。

优选地，上述装置还包括替换模块，该替换模块用于利用用户的图像替换视频中的主人公图像。

优选地，上述替换模块包括：

检测子模块，用于检测视频中的人物图像；

判断子模块，用于判断人物图像是否为主人公图像；

替换子模块，用于利用用户的图像替换视频中的主人公图像。

为了实现上述目的，根据本发明的另一方面，提供了一种电视机，该电视机具有上述的任一种KTV系统。

通过本发明，采用获取用户的图像；将用户的图像与KTV系统的视频中的声音和/或图像同步播放的方法，解决了相关技术中在KTV时，KTV系统仅对用户的声音进行处理，进而导致用户的感受度比较低的问题，进而达到了使KTV系统能够对用户的声音和图像同时进行处理，进而提高用户体验度的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的KTV系统实现方法的流程图；

图2是根据本发明实施例的在KTV系统中实现MV秀的流程图；

图3是根据本发明实施例的人脸检测的流程图；

图4是根据本发明实施例的人体区域检测的流程图；

图5是根据本发明实施例的对人体区域进行预测的流程图；

图6是根据本发明的KTV系统实现方法的优选实施例的流程图；

图7是根据本发明实施例的KTV系统的示意图；

图8是根据本发明的KTV系统的优选实施例的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1是根据本发明实施例的KTV系统实现方法的流程图。

如图1所示，根据本发明实施例的KTV系统实现方法可以包括以下步骤：

步骤S102，获取用户的图像；在本发明中，可以采用例如摄像头等来对用户图像进行采集获取。

步骤S104，将用户的图像与KTV系统的视频中的声音和/或图像同步播放。通过将用户图像显示在KTV系统的屏幕上，能够极大地提高用户的体验度。

将用户的图像与视频中的图像同步播放可以包括：利用用户的图像替换视频中的人物图像。在该实施例中，依然保持原视频中图像的背景，从而使带有用户图像的画面更加具有真实感，可以进一步提高用户的体验度。

本发明可以分为两套解决方案来实现一种模拟实景K歌的真人MV秀效果：第一，用歌者的头像替换MV中主人公的头像，体现歌者在唱歌时的喜怒哀乐等丰富表情；第二，用现场歌者的行为来代替MV画面中主人公的行为。其中第一种方案的实现较为简单，第二种方案虽然复杂，但是可以在第一种方案的基础上来实现。对用户来说，这两种方案是可选的，以满足不同用户的喜好需要。

即，在本发明中，获取用户的图像可以包括获取用户的表情图像或全部图像，其中，在仅获取用户的表情图像的情况下，仅对视频中的人物图像的表情图像进行替换，在获取用户的全部图像数据的情况下，对视频中的全部人物图像进行替换。通过该实施例可以方便用户的选择。并且在仅对表情数据(或用户头像)进行替换的情况下，可以加快替换的速度和增强用户的体验度。

图2是根据本发明实施例的在KTV系统中实现MV秀的流程图。

如图2所示。以MV视频画面为处理对象，从中检测出视频流中的人物图像，然后将该人物去掉并还原原有的视频背景，制作成没有主人公的视频画面。同时，对现场采集到的视频流进行处理，提取出现场人物图像，将该人物添加到只有背景的MV视频中从而合成真人MV秀，并且对制作的MV进行保存。

优选地，利用用户的图像替换视频中的人物图像为：利用用户的图像替换视频中的主人公图像。根据该实施例，可以进一步提高用户的体验度。

在利用用户的图像替换视频中的主人公图像之前，上述方法还可以包括：

检测视频中的人物图像；

根据人物图像确定主人公图像；

其中，可以采用以下方式之一来根据人物图像确定主人公图像：

将视频中出现频率最高的人物图像作为主人公图像；或者，

将视频中位于图像预定区域的人物图像作为主人公图像。

在本发明的实现过程中，可以将视频画面分为前景和背景两部分，其中前景为人体，背景为除人体外的其它画面。

优选地，检测视频中的人物图像是在KTV系统中存储视频的过程中进行的。通过该实施例，可以在获取用户图像之后进行替换的时候仅仅执行替换的过程，而无需再进行检测，从而能够更好地保证图像的同步性。

对于本发明中的人脸检测，如果替换MV中的人物头像，首先需要对MV中主人公的人物头像进行正确的检测。为了节省时间和增加检测的准确率以及通过加快检测以加快替换图像的速度，进而提高所获取到的图像和原视频图像时间的同步性。优选地，这一步工作可以在后台存储曲时提前完成；而对于以后用户自己添加的新曲，可以在用户添加的过程中进行主人公人体的预处理定位检测。而采集到的现场视频中的用户人脸，则需要实时进行提取处理。因为人脸肤色在YCbCr彩色空间中具有较好的聚类性，所以可以选择在此空间中进行人脸的检测。

图3是根据本发明实施例的人脸检测的流程图。

如图3所示，该检测过程具体过程可以为：

对于要处理的视频序列，可以取连续的三帧：第K-1、K、K+1帧，并且将这三帧均变换到YCrCb彩色空间(在此空间中人脸肤色具有很好的聚类性)，然后运用对称差分算法获得连续两帧的差别(即运动区域)。然后对这两组运动区域进行求与作，这样我们就可以得到这三帧中共同的运动区域，而我们要检测的人脸基本上会处于该运动区域当中。然后，根据人脸的特性(包括肤色、五官分布等)在此运动区域中检测是否有人脸存在。如果有，则进行人脸定位；如果没有，则对第K、K+1、K+2帧继续进行相同的作以至视频流结束。

对于本发明中的人体检测，可以在人脸检测的基础上，再来进行人体的检测，因此视频中人体的检测技术实现难度不是太大。

图4是根据本发明实施例的人体区域检测的流程图。

如图4所示，检测的具体过程可以为：在人脸检测的基础上，当检测到有人脸存在，那么说明可能会存在人体，这时结合人体信息，在出现人脸的区域范围内对人体进行定位。

对于本发明中的人体区域预测，为了增强对现场视频中者身体检查的实时性，在实现过程中添加“人体区域预测”环节。由于人体行为在时间上具有连续性、空间上具有继承性的特点，可以对后续视频中人体可能出现区域进行预测。

优选地，检测视频中的人物图像可以包括以下步：

对视频中第一帧图像中的主人公图像进行检测；

在对视频中第二帧图像中的主人公图像进行检测时，对距离第一帧图像中主人公图像预定距离范围内的图像区域进行检测。

通过上述方法，可以在检测当前帧的图像时，根据上一帧检测的结果，仅仅检测预定区域范围内的图像，从而可以加快检测的速度。

图5是根据本发明实施例的对人体区域进行预测的流程图。

如图5所示，具体的预测过程可以如下：

可以根据当前帧中人体的位置和其相对于前面帧的位移信息，预测下一帧中人体的大体出现区域(即R0限定的范围)，并在此区域中检测是否存在人体。如果没有检测到，则更新限定(预定)区域并重新在下一帧中继续检测；如果检测到人体，在计算新到监视区域Rn，继而在新的限定范围内继续进行后续检测。如果检测超时，则返回进行新一轮的检测；否则就循环更新Rn直到检测超时为止。其中，R0设定为初始监视区域；Rn为计算得到的下一帧中的监视区域。

优选地，利用用户的图像替换视频中的人物图像可以包括：

将视频中的人物图像去除；

在视频中去除人物图像的区域添加用户的图像。

通过上述方法，相比于利用检测到的图像盖原视频中的图像，可以减少在盖时边缘可能出现的盖不均匀现象，进而提高替换的准确性。

在视频中去除人物图像的区域添加用户的图像之后，上述方法还可以包括：对视频中的图像进行背景重建。

本发明在进行背景恢复(背景重建)时，在人脸或人体替换前，不仅需要去除原MV中的相应区域，而且需要对相应区域进行背景重建以恢复原来的真实背景，否则替换后的画面就会失去真实感。目前背景恢复技术已经比较成，在此不再赘述。

在利用用户的图像替换视频中的人物图像之后，上述方法还可以包括：对替换人物图像之后的视频进行保存。

对于本发明中的替换与保存，可以在恢复后的背景上，将现场人物相应区域加到MV的目标区域中，将两部分合成后再进行播放。并且，根据用户需要，可以选择将合成后的视频保存到TV预留的硬盘中，做成自己为主角的新的MV，实现自己的“明星梦”。而且存储之后的视频数据利于用户保存作为纪念。

图6是根据本发明的KTV系统实现方法的优选实施例的流程图。

如图6所示，根据本发明的KTV系统实现方法的优选实施例可以包括如下步：

首先，由用户选择替换种类：替换人脸、替换人体和不替换。

如果用户不选择替换，即为目前的处理模式，此处只对声音进行处理，而图像不予作。

如果用户选择只替换人脸，将分两方面同时进行：一方面对MV中的视频流检测，看是否有人脸出现，如果有就将该人脸去掉并进行背景恢复；如果没有，就直接进行播放。另一方面，对现场采集到的视频进行人脸检测，如果视频中存在人脸，则将此人脸替换原MV中的人脸并进行播放；如果不存在人脸，则直接播放去除人脸后的原MV即可。

如果用户选择的是替换人体，也是需两方面进行：一方面，在原MV种检测人体，如果有人体出现，那么将其去掉并进行背景恢复。另一方面，在采集到的视频中人脸检测的基础上进而检测人体，如果有人体出现，就将该人体添加到原MV中并播放；否则直接播放去除人体后的MV视频。

对处理后的合成视频播放的过程中，同时可以保存制作好的视频，实现自己的MV视频秀。

通过本发明，能够提供一种可以让K者在家中模拟实景进行K从而实现自己明星梦的K新模式，其不仅可以将 者的声音替换原唱从而实现现有K模式的各种功能，而且可以选择用本人的头像或现场行为来替换MV中表演者的表情或动作，使K者能很好的入到MV中，实现一种既 既演并且即现的新K模式。本发明可以采用软件和硬件相结合的方法来实现。

并且，基于本发明，用户可以选择对自己的MV表演和 唱进行存盘保存，以达到制作自己的唱片的目的，最大限度的满足人们的追求。

本发明的方案提出了一种可以将“声、像”进行结合的模式来满足人们的娱乐需求，这方面有别于现在所有的K决方案，比相关技术中的方案更具有优势和竞争力。

需要说明的是，在附图的流程图示出的步可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步。

图7是根据本发明实施例的KTV系统的示意图。

如图7所示，根据本发明实施例的KTV系统可以包括：获取模块801和同步播放模块803。

其中。获取模块801用于获取用户的图像；同步播放模块803用于将所述用户的图像与视频中的声音和/或图像同步播放。

其中，获取模块801可以通过在KTV系统上安装摄像头来实现，同步播放模块803可以直接在KTV系统的播放系统上来实现。

图8是根据本发明的KTV系统的优选实施例的示意图。

如图8所示，上述装置还可以包括替换模块805，该替换模块805用于利用所述用户的图像替换所述视频中的主人公图像。

上述替换模块805还可以包括：检测子模块811、判断子模块813和替换子模块815。

其中，检测子模块811用于检测所述视频中的人物图像；

判断子模块813用于判断所述人物图像是否为所述主人公图像；

替换子模块815用于利用所述用户的图像替换所述视频中的主人公图像。

根据本发明实施例还提供了一种电视机，该电视机具有上述任一实施例所述的KTV系统。

上述电视机可以包括：摄像装置，该摄像装置用于获取用户的图像；还具有播放装置，该播放装置能够实现将用户的图像与KTV系统的视频中的声音和/或图像同步播放。

上述电视机将用户的图像与视频中的图像同步播放可以采用以下方式：利用用户的图像替换视频中的人物图像。并且优选地，可以利用用户的图像替换视频中的主人公图像。其中，在利用用户的图像替换视频中的主人公图像之前，上述电视机可以执行以下操作：检测视频中的人物图像；根据人物图像确定主人公图像。

电视机可以采用以下方式之一来根据人物图像确定主人公图像：将视频中出现频率最高的人物图像作为主人公图像；或者，将视频中位于图像预定区域的人物图像作为主人公图像。

上述电视机检测视频中的人物图像可以采用以下方式：对视频中第一帧图像中的主人公图像进行检测；在对视频中第二帧图像中的主人公图像进行检测时，对距离第一帧图像中主人公图像预定距离范围内的图像区域进行检测。

优选地，检测视频中的人物图像是在上述电视机的KTV系统中存储视频的过程中进行的。

其中，上述电视机的摄像装置获取用户的图像可以包括获取用户的表情图像或全部图像，其中，在仅获取用户的表情图像的情况下，仅对视频中的人物图像的表情图像进行替换，在获取用户的全部图像数据的情况下，对视频中的全部人物图像进行替换。

上述电视机还可以包括存储装置，用于在利用用户的图像替换视频中的人物图像之后，对替换人物图像之后的视频进行保存。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种KTV系统的实现方法，其特征在于包括：

获取用户的图像；

将所述用户的图像与所述KTV系统的视频中的声音和/或图像同步播放，

其中，将所述用户的图像与所述视频中的图像同步播放包括：利用所述用户的图像替换所述视频中的人物图像，

其中，利用所述用户的图像替换所述视频中的人物图像为：利用所述用户的图像替换所述视频中的主人公图像，

其中，在利用所述用户的图像替换所述视频中的主人公图像之前，所述方法还包括：

检测所述视频中的人物图像；

根据所述人物图像确定所述主人公图像；

其中，采用以下方式之一来根据所述人物图像确定所述主人公图像：

将所述视频中出现频率最高的人物图像作为所述主人公图像；

将所述视频中位于图像预定区域的人物图像作为所述主人公图像，

其中，检测所述视频中的人物图像包括：

对所述视频中第一帧图像中的主人公图像进行检测；

在对所述视频中第二帧图像中的主人公图像进行检测时，对距离所述第一帧图像中主人公图像预定距离范围内的图像区域进行检测，

其中，获取用户的图像还包括对人体区域进行检测，其中，首先检测是否有人脸存在，在检测到有人脸存在时，在出现人脸的区域范围内对人体进行定位。

2.根据权利要求1所述的方法，其特征在于，所述检测所述视频中的人物图像是在KTV系统中存储所述视频的过程中进行的。

3.根据权利要求1所述的方法，其特征在于，利用所述用户的图像替换所述视频中的人物图像包括：

将所述视频中的人物图像去除；

在所述视频中去除人物图像的区域添加所述用户的图像；

对所述视频中的图像进行背景重建。

4.根据权利要求1所述的方法，其特征在于，获取用户的图像包括获取所述用户的表情图像或全部图像，其中，在仅获取所述用户的表情图像的情况下，仅对所述视频中的人物图像的表情图像进行替换，在获取所述用户的全部图像数据的情况下，对所述视频中的全部人物图像进行替换。

5.根据权利要求1所述的方法，其特征在于，在利用所述用户的图像替换所述视频中的人物图像之后，所述方法还包括：对替换人物图像之后的所述视频进行保存。

6.一种KTV系统，其特征在于包括：

获取模块，用于获取用户的图像；

播放模块，用于将所述用户的图像与所述KTV系统的视频中的声音和/或图像同步播放，

其中，所述播放模块将所述用户的图像与所述视频中的图像同步播放包括：所述播放模块利用所述用户的图像替换所述视频中的人物图像，

其中，所述播放模块利用所述用户的图像替换所述视频中的人物图像为：所述播放模块利用所述用户的图像替换所述视频中的主人公图像，

检测模块，用于在利用所述用户的图像替换所述视频中的主人公图像之前，检测所述视频中的人物图像；

确定模块，用于根据所述人物图像确定所述主人公图像；

其中，所述确定模块用于采用以下方式之一来根据所述人物图像确定所述主人公图像：

将所述视频中出现频率最高的人物图像作为所述主人公图像；

将所述视频中位于图像预定区域的人物图像作为所述主人公图像，

其中，所述检测模块用于采用以下方式检测所述视频中的人物图像：

对所述视频中第一帧图像中的主人公图像进行检测；

在对所述视频中第二帧图像中的主人公图像进行检测时，对距离所述第一帧图像中主人公图像预定距离范围内的图像区域进行检测，

其中，所述获取模块获取用户的图像还包括对人体区域进行检测，其中，首先检测是否有人脸存在，在检测到有人脸存在时，在出现人脸的区域范围内对人体进行定位。

7.一种电视机，其特征在于，包括权利要求6所述的KTV系统。

Images