CN105334963A - 一种虚拟物品展示方法及系统 - Google Patents

Abstract

本发明提供一种虚拟物品展示方法，包括：获取直播画面；识别所述直播画面中符合人体指定部位图像特征的区域画面；根据虚拟物品的类型将所述虚拟物品的图像与所述区域画面进行叠加。通过使用以上方法，可以实现在直播过程中根据观众的需求对直播画面中的人物进行虚拟物品佩戴，增强了直播过程中的互动效果，提高了观众的观看体验。

Description

一种虚拟物品展示方法及系统

技术领域：

本发明涉及计算机多媒体技术领域，特别是一种虚拟物品展示方法及系统。

背景技术：

随着计算机互联网技术的不断发展，越来越多的多媒体交互服务出现在人们的日常生活中。

其中，在线直播就是其中一个重要的应用领域。在直播时，直播人员出现在画面前，并通过各种文字、语言或展示与观众进行互动。例如：直播人员通过语音或文字提出某一主题，在线的观众通过语音或文字答复上述问题或提出新的问题，直播人员再进行一步的回答交互，从而实现互动沟通。但随着观众对于直播要求的越来越多元化、丰富化，简单的在线直播方式已经无法满足观众对于直播内容的需求。例如，观众希望能够在直播画面上出现更多的互动元素，或可以出现更多的视觉特效。而在现有技术中并没有相关的技术可以支持上述功能的实现。

因此，如何提供一种方法或系统可以满足观众的需求，实现多元化的互动效果是本发明需要解决的技术问题。

发明内容：

本发明提供一种虚拟物品展示方法及装置，提供了更加丰富化的视觉特效，解决了现有技术中直播内容单一化的问题，提高了观众的体验。

一种虚拟物品展示方法，包括：

获取直播画面；

识别所述直播画面中符合人体指定部位图像特征的区域画面；

根据虚拟物品的类型将所述虚拟物品的图像与所述区域画面进行叠加。

优选的，所述识别所述直播画面中的区域画面是否满足人体指定部位图像特征，具体为：

识别所述直播画面中单位图像区域内的颜色是否满足预置的人体肤色条件；

将识别出的满足所述人体肤色条件的单位图像区域整合生成第一轮廓图像；

判断所述第一轮廓图像是否满足人体指定部位图像特征；

若满足，将所述第一轮廓图像作为所述区域画面。

优选的，所述判断所述第一轮廓图像是否满足人体指定部位图像特征，具体为：

判断所述第一轮廓图像是否满足人体手掌轮廓图像特征。

优选的，所述判断所述第一轮廓图像是否满足人体指定部位图像特征，具体为：

判断所述第一轮廓图像是否满足人体头部轮廓图像特征。

优选的，所述根据虚拟物品的类型将所述与所述区域画面进行叠加，具体为：

获取所述虚拟物品的类型信息；所述类型信息包括所述虚拟物品的佩戴位置条件信息；

根据所述虚拟物品的类型信息计算所述虚拟物品与所述区域画面进行叠加的位置坐标；

根据所述位置坐标将所述虚拟物品图像与所述区域画面进行图像叠加。

优选的，还包括：

获取所述区域画面在所述直播画面上的方向位移值；

将所述虚拟物品的图像根据所述方向位移值进行移动。

一种虚拟物品展示装置，包括：直播画面截取单元、人体区域识别单元和虚拟物品叠加单元；

所述直播画面截取单元，用于获取直播画面；

所述人体区域识别单元，用于识别所述直播画面中符合人体指定部位图像特征的区域画面；

所述虚拟物品叠加单元，用于根据虚拟物品的类型将所述虚拟物品的图像与所述区域画面进行叠加。

优选的，所述人体区域识别单元，包括：单位区域比较子单元、第一轮廓生成子单元和特征比较子单元；

所述单位区域比较子单元，用于识别所述直播画面中单位图像区域内的颜色是否满足预置的人体肤色条件；

所述第一轮廓生成子单元，用于将识别出的满足所述人体肤色条件的单位图像区域整合生成第一轮廓图像；

所述特征比较子单元，用于判断所述第一轮廓图像是否满足人体指定部位图像特征；若满足，将所述第一轮廓图像作为所述区域画面。

优选的，所述虚拟物品叠加单元，包括：类型信息获取子单元、叠加坐标计算子单元和图像叠加子单元；

所述类型信息获取子单元，用于获取所述虚拟物品的类型信息；所述类型信息包括所述虚拟物品的佩戴位置条件信息；

所述叠加坐标计算子单元，用于根据所述虚拟物品的类型信息计算所述虚拟物品与所述区域画面进行叠加的位置坐标；

所述图像叠加子单元，用于根据所述位置坐标将所述虚拟物品图像与所述区域画面进行图像叠加。

优选的，还包括：位移重定向单元；

所述位移重定向单元，用于获取所述区域画面在所述直播画面上的方向位移值；将所述虚拟物品的图像根据所述方向位移值进行移动。

通过使用以上方法，可以实现在直播过程中根据观众的的需求对直播画面中的人物进行虚拟物品佩戴，增强了直播过程中的互动效果，提高了观众的观看体验。

附图说明：

图1为本发明提供的一种虚拟物品展示方法第一实施例的流程图；

图2为本发明提代的一种虚拟物品展示装置第一实施例的原理框图。

具体实施方式：

参见图1，该图为本发明提供的一种虚拟物品展示方法第一实施例的流程图。

本实施例，包括：

S101:获取直播画面。

S102:识别所述直播画面中符合人体指定部位图像特征的区域画面。

S103:根据虚拟物品的类型将所述虚拟物品的图像与所述区域画面进行叠加。

在本发明实施时，首先获取到进行直播的画面图像信息。这里可以采用截屏或帧捕获的办法获得。

之后，开始对获取到的直播图像画面进行识别，这里需要识别出符合人体指定部位的区域画面。例如，可以根据需要识别出人体的手掌、头部、面部、上身轮廓等。具体的，将直播画面细分成许多的单位图像区域，判断在该单位图像区域内的颜色是否满足预置的人体肤色条件。如果满足条件，则认为该单位图像区域为人体的一部分。

逐一识别每一个单位图像区域，将识别出的满足人体肤色条件的单位图像区域整合生成第一轮廓图像。之后判断第一轮廓图像是否满足人体指定部位图像特征。例如，判断第一轮廓图像是否满足人体手掌的轮廓特征，或是否满足人体头部轮廓图像特征。具体的，在判断第一轮廓图像是否满足手掌的轮廓特征时，需要识别第一轮廓图像的外围轮廓是否符合手掌的特点，即是否存在五指且五指汇集于手掌，还可以进一步细化识别在手指的末端是否存在与肤色不相同的指甲等。而在判断第一轮廓图像是否满足头部轮廓图像特征时，识别第一轮廓图像是否符合头部的特点，包括：是否顶部为圆形，或判断脸部轮廓，或以浅色皮肤颜色包围的深色眼睛为基准点，通过双眼距离和人体头部常规五官比例进行识别。若上述判断满足人体指定部位图像特征，则将第一轮廓图像及其中的内容作为满足条件的区域画面。

之后，再基于需要显示的虚拟物品的类型，将虚拟物品的图像与满足条件的区域画面进行图像叠加，实现虚拟佩戴物品的效果。这里所说的虚拟物品是指如戒指、头冠、项链、手环等可以装饰的虚拟物品。但由于这些虚拟物品的使用方式不同，所佩戴的位置也不同，因此在显示这些虚拟物品时需要先获取其类型信息。其中，这里所说的类型信息包括虚拟物品的佩戴位置条件信息，如戒指的佩戴位置条件信息为手指，头冠的佩戴位置条件信息为头部等。还可以包括有戒指佩戴的位置为手指长度五分之一的位置(从手掌处计量)，头冠佩戴的位置为距头顶五分之一的位置等。

基于虚拟物品的类型信息(包括佩戴位置信息)，计算虚拟物品与区域画面进行叠加的位置坐标。例如，观众要求给主持人的手指上佩戴上戒指，则要求在前期的直播画面中识别出符合人体手掌特征的区域画面。在本步骤中，还要进一步在该区域画面中分别识别出五指的位置，根据手指的比例关系确定戒指应该佩戴的位置(从手掌起算五分之一位置)。如果要求给主持人佩戴头冠，则以浅色皮肤颜色包围的深色眼睛为基准点，通过双眼距离，按人体头部常规五官比例计算主播头部位置，之后基于头冠所佩戴的比较位置计算实际进行叠加的位置坐标。

最后，根据所述位置坐标将虚拟物品对应的图像与区域画面进行图像叠加。优选的将虚拟物品叠加覆盖在区域画面上，以实现佩戴效果。

另外，由于直播中的主持人会随时变换自己的姿势或位置，对于虚拟物品的叠加显示也需要进行相应变化，以达到正确显示的目的。因此，在本发明的另一实施例中，在将虚拟物品图像与区域画面进行叠加后，还可以获取所述区域画面在所述直播画面上的方向位移值，并将虚拟物品的图像根据所述方向位移值进行移动。具体的，记录上一个时间窗的画面，在指定时间间隔(每次0.1秒)后获取新的直播画面。之后可以将画面分隔出许多单位图像区域逐一与前一时间窗的相同区域的画面进行比较，从而判断出之前人体部位的移动方向。在计算得到相应的位移信息后，将虚拟物品的图像进行相应的位置移动，从而达到与主持人动作同步的效果。

通过使用以上方法，可以实现在直播过程中根据观众的的需求对直播画面中的人物进行虚拟物品佩戴，增强了直播过程中的互动效果，提高了观众的观看体验。

以上为本发明提供的一种虚拟物品展示方法，基于其原理，本发明还提供一种虚拟物品展示装置。

参见图2，该图为本发明提供的一种虚拟物品展示装置第一实施例的原理框图。

在本实施例中，包括：直播画面截取单元10、人体区域识别单元20和虚拟物品叠加单元30。

所述直播画面截取单元10，用于获取直播画面。

所述人体区域识别单元20，用于识别所述直播画面中符合人体指定部位图像特征的区域画面。

所述虚拟物品叠加单元30，用于根据虚拟物品的类型将所述虚拟物品的图像与所述区域画面进行叠加。

在本发明实施时，首先直播画面截取单元10获取到进行直播的画面图像信息。这里可以采用截屏或帧捕获的办法获得。

之后，人体区域识别单元20开始对获取到的直播图像画面进行识别，这里需要识别出符合人体指定部位的区域画面。例如，可以根据需要识别出人体的手掌、头部、面部、上身轮廓等。

具体的，在人体区域识别单元20中，包括有：单位区域比较子单元201、第一轮廓生成子单元202和特征比较子单元203。其中，

所述单位区域比较子单元201，用于将直播画面细分成许多的单位图像区域，识别在该单位图像区域内的颜色是否满足预置的人体肤色条件。如果满足条件，则认为该单位图像区域为人体的一部分。

所述第一轮廓生成子单元202，用于在逐一识别每一个单位图像区域后，将识别出的满足人体肤色条件的单位图像区域整合生成第一轮廓图像。

所述特征比较子单元203，用于判断所述第一轮廓图像是否满足人体指定部位图像特征。例如，判断第一轮廓图像是否满足人体手掌的轮廓特征，或是否满足人体头部轮廓图像特征。具体的，在判断第一轮廓图像是否满足手掌的轮廓特征时，需要识别第一轮廓图像的外围轮廓是否符合手掌的特点，即是否存在五指且五指汇集于手掌，还可以进一步细化识别在手指的末端是否存在与肤色不相同的指甲等。而在判断第一轮廓图像是否满足头部轮廓图像特征时，识别第一轮廓图像是否符合头部的特点，包括：是否顶部为圆形，或判断脸部轮廓，或以浅色皮肤颜色包围的深色眼睛为基准点，通过双眼距离和人体头部常规五官比例进行识别。若上述判断满足人体指定部位图像特征，则将第一轮廓图像及其中的内容作为满足条件的区域画面。

之后，虚拟物品叠加单元30再基于需要显示的虚拟物品的类型，将虚拟物品的图像与满足条件的区域画面进行图像叠加，实现虚拟佩戴物品的效果。其中，在所述虚拟物品叠加单元中包括：类型信息获取子单元301、叠加坐标计算子单元302和图像叠加子单元303。

所述类型信息获取子单元301，用于获取所述虚拟物品的类型信息。这里所说的虚拟物品是指如戒指、头冠、项链、手环等可以装饰的虚拟物品。但由于这些虚拟物品的使用方式不同，所佩戴的位置也不同，因此在显示这些虚拟物品时需要先获取其类型信息。其中，这里所说的类型信息包括虚拟物品的佩戴位置条件信息，如戒指的佩戴位置条件信息为手指，头冠的佩戴位置条件信息为头部等。还可以包括有戒指佩戴的位置为手指长度五分之一的位置(从手掌处计量)，头冠佩戴的位置为距头顶五分之一的位置等。

所述叠加坐标计算子单元302，用于基于虚拟物品的类型信息(包括佩戴位置信息)，计算虚拟物品与区域画面进行叠加的位置坐标。例如，观众要求给主持人的手指上佩戴上戒指，则要求在前期的直播画面中识别出符合人体手掌特征的区域画面。在本步骤中，还要进一步在该区域画面中分别识别出五指的位置，根据手指的比例关系确定戒指应该佩戴的位置(从手掌起算五分之一位置)。如果要求给主持人佩戴头冠，则以浅色皮肤颜色包围的深色眼睛为基准点，通过双眼距离，按人体头部常规五官比例计算主播头部位置，之后基于头冠所佩戴的比较位置计算实际进行叠加的位置坐标。

最后，所述图像叠加子单元303根据所述位置坐标将虚拟物品对应的图像与区域画面进行图像叠加。优选的将虚拟物品叠加覆盖在区域画面上，以实现佩戴效果。

另外，由于直播中的主持人会随时变换自己的姿势或位置，对于虚拟物品的叠加显示也需要进行相应变化，以达到正确显示的目的。因此，在本发明的另一实施例中，还包括：位移重定向单元。

在将虚拟物品图像与区域画面进行叠加后，还可以使用位移重定向单元获取所述区域画面在所述直播画面上的方向位移值，并将虚拟物品的图像根据所述方向位移值进行移动。具体的，记录上一个时间窗的画面，在指定时间间隔(每次0.1秒)后获取新的直播画面。之后可以将画面分隔出许多单位图像区域逐一与前一时间窗的相同区域的画面进行比较，从而判断出之前人体部位的移动方向。在计算得到相应的位移信息后，将虚拟物品的图像进行相应的位置移动，从而达到与主持人动作同步的效果。

通过使用以上装置，可以实现在直播过程中根据观众的的需求对直播画面中的人物进行虚拟物品佩戴，增强了直播过程中的互动效果，提高了观众的观看体验。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种虚拟物品展示方法，其特征在于，包括：

获取直播画面；

识别所述直播画面中符合人体指定部位图像特征的区域画面；

根据虚拟物品的类型将所述虚拟物品的图像与所述区域画面进行叠加。

2.根据权利要求1所述的方法，其特征在于，所述识别所述直播画面中的区域画面是否满足人体指定部位图像特征，具体为：

识别所述直播画面中单位图像区域内的颜色是否满足预置的人体肤色条件；

将识别出的满足所述人体肤色条件的单位图像区域整合生成第一轮廓图像；

判断所述第一轮廓图像是否满足人体指定部位图像特征；

若满足，将所述第一轮廓图像作为所述区域画面。

3.根据权利要求2所述的方法，其特征在于，所述判断所述第一轮廓图像是否满足人体指定部位图像特征，具体为：

判断所述第一轮廓图像是否满足人体手掌轮廓图像特征。

4.根据权利要求2所述的方法，其特征在于，所述判断所述第一轮廓图像是否满足人体指定部位图像特征，具体为：

判断所述第一轮廓图像是否满足人体头部轮廓图像特征。

5.根据权利要求1所述的方法，其特征在于，所述根据虚拟物品的类型将所述与所述区域画面进行叠加，具体为：

获取所述虚拟物品的类型信息；所述类型信息包括所述虚拟物品的佩戴位置条件信息；

根据所述虚拟物品的类型信息计算所述虚拟物品与所述区域画面进行叠加的位置坐标；

根据所述位置坐标将所述虚拟物品图像与所述区域画面进行图像叠加。

6.根据权利要求1所述的方法，其特征在于，还包括：

获取所述区域画面在所述直播画面上的方向位移值；

将所述虚拟物品的图像根据所述方向位移值进行移动。

7.一种虚拟物品展示装置，其特征在于，包括：直播画面截取单元、人体区域识别单元和虚拟物品叠加单元；

所述直播画面截取单元，用于获取直播画面；

所述人体区域识别单元，用于识别所述直播画面中符合人体指定部位图像特征的区域画面；

所述虚拟物品叠加单元，用于根据虚拟物品的类型将所述虚拟物品的图像与所述区域画面进行叠加。

8.根据权利要求7所述的装置，其特征在于，所述人体区域识别单元，包括：单位区域比较子单元、第一轮廓生成子单元和特征比较子单元；

所述单位区域比较子单元，用于识别所述直播画面中单位图像区域内的颜色是否满足预置的人体肤色条件；

所述第一轮廓生成子单元，用于将识别出的满足所述人体肤色条件的单位图像区域整合生成第一轮廓图像；

所述特征比较子单元，用于判断所述第一轮廓图像是否满足人体指定部位图像特征；若满足，将所述第一轮廓图像作为所述区域画面。

9.根据权利要求7所述的装置，其特征在于，所述虚拟物品叠加单元，包括：类型信息获取子单元、叠加坐标计算子单元和图像叠加子单元；

所述类型信息获取子单元，用于获取所述虚拟物品的类型信息；所述类型信息包括所述虚拟物品的佩戴位置条件信息；

所述叠加坐标计算子单元，用于根据所述虚拟物品的类型信息计算所述虚拟物品与所述区域画面进行叠加的位置坐标；

所述图像叠加子单元，用于根据所述位置坐标将所述虚拟物品图像与所述区域画面进行图像叠加。

10.根据权利要求7所述的系统，其特征在于，还包括：位移重定向单元；

所述位移重定向单元，用于获取所述区域画面在所述直播画面上的方向位移值；将所述虚拟物品的图像根据所述方向位移值进行移动。