CN111010526A - 一种视频通讯中的互动方法及装置 - Google Patents
一种视频通讯中的互动方法及装置 Download PDFInfo
- Publication number
- CN111010526A CN111010526A CN201911097254.9A CN201911097254A CN111010526A CN 111010526 A CN111010526 A CN 111010526A CN 201911097254 A CN201911097254 A CN 201911097254A CN 111010526 A CN111010526 A CN 111010526A
- Authority
- CN
- China
- Prior art keywords
- user
- action
- video picture
- determining
- effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 86
- 230000006854 communication Effects 0.000 title claims abstract description 79
- 238000004891 communication Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000009471 action Effects 0.000 claims abstract description 200
- 230000002452 interceptive effect Effects 0.000 claims abstract description 125
- 230000000694 effects Effects 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000001815 facial effect Effects 0.000 claims description 83
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 11
- 210000000697 sensory organ Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种视频通讯中的互动方法及装置，属于视频通讯技术领域。本申请通过在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作；如果所述动作为预设动作，确定与所述动作对应的互动效果；根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面；输出所述视频画面，以使所述第一用户的用户终端和所述第二用户的用户终端显示所述视频画面，以解决视频通讯互动性差的问题。
Description
技术领域
本申请涉及视频通讯技术领域，尤其涉及一种视频通讯中的互动方法及装置。
背景技术
由于视频通讯可以实现聊天的实时化和可视化，受到了用户的欢迎。然而视频通讯的过程中，进行视频通讯的第一用户只能通过与第二用户聊天进行语言互动，互动方式比较单一，视频通讯的互动性差，从而导致视频通讯的用户体验差。
发明内容
本申请实施例的目的在于提供一种视频通讯中的互动方法及装置，以解决视频通讯互动性差的问题。具体技术方案如下：
第一方面，提供了一种视频通讯中的互动方法，所述方法包括：
在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作；
如果所述动作为预设动作，确定与所述动作对应的互动效果；
根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面；
输出所述视频画面，以使所述第一用户的用户终端和所述第二用户的用户终端显示所述视频画面。
可选的，所述根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面，包括：
获取所述第二用户的当前视频画面；
如果在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域，从所述第二用户的面部区域中提取所述第二用户的面部特征信息；
根据所述互动效果、所述面部特征信息，确定调整后的面部特征信息；
根据所述调整后的面部特征信息和所述第二用户的当前视频画面，确定包含所述互动效果的视频画面。
可选的，所述根据所述互动效果、所述面部特征信息，确定调整后的面部特征信息，包括：
确定所述动作的动作幅度；
根据所述动作的动作幅度、所述互动效果、所述面部特征信息，确定调整后的面部特征信息。
可选的，所述在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作之前，还包括：
获取所述第二用户的当前视频画面；
如果在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域，执行所述检测所述第一用户的动作步骤。
可选的，所述如果所述动作为预设动作，确定与所述动作对应的互动效果，包括：
如果所述动作为预设动作，输出预先存储的多个互动效果的效果标识，以使所述第一用户选择待添加的互动效果；
根据被选中的效果标识，确定与所述动作对应的互动效果。
第二方面，提供了一种视频通讯中的互动装置，所述装置包括：
检测模块，用于在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作；
确定模块，用于在所述动作为预设动作时，确定与所述动作对应的互动效果；
图像处理模块，用于根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面；
输出模块，用于输出所述视频画面，以使所述第一用户的用户终端和所述第二用户的用户终端显示所述视频画面。
可选的，所述图像处理模块包括：
获取子模块，用于获取所述第二用户的当前视频画面；
提取子模块，用于当在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域，从所述第二用户的面部区域中提取所述第二用户的面部特征信息；
第一确定子模块，用于根据所述互动效果、所述面部特征信息，确定调整后的面部特征信息；
第二确定子模块，用于根据所述调整后的面部特征信息和所述第二用户的当前视频画面，确定包含所述互动效果的视频画面。
可选的，所述第一确定子模块具体用于：确定所述动作的动作幅度；根据所述动作的动作幅度、所述互动效果、所述面部特征信息，确定调整后的面部特征信息。
可选的，所述装置还包括：
获取模块，获取所述第二用户的当前视频画面；
所述检测模块，用于在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域时，检测所述第一用户的动作。
可选的，所述确定模块包括：
输出子模块，用于当所述动作为预设动作时，输出预先存储的多个互动效果的效果标识，以使所述第一用户选择待添加的互动效果；
第三确定子模块，用于根据被选中的效果标识，确定与所述动作对应的互动效果。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一第一方面所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一第一方面所述的方法步骤。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的视频通讯中的互动方法。
本申请实施例有益效果：
本申请实施例提供了一种视频通讯中的互动方法及装置，可以在第一用户与第二用户的视频通讯过程中，检测第一用户的动作；如果该动作为预设动作，确定与该动作对应的互动效果；根据互动效果，对第二用户的当前视频画面进行图像处理，得到包含互动效果的视频画面；显示视频画面。由于能够在第一用户执行的动作为预设动作时，为第二用户的当前视频画面添加与该动作对应的互动效果，得到并显示包含互动效果的视频画面，因此，能够解决视频通讯互动性差的问题。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频通讯中的互动方法的流程图；
图2为本申请实施例提供的一种视频画面的示意图；
图3为本申请实施例提供的另一种视频通讯中的互动方法的流程图；
图4为本申请实施例提供的另一种视频通讯中的互动方法的流程图；
图5为本申请实施例提供的一种视频通讯中的互动装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种视频通讯中的互动方法，该方法可以应用于电子设备，其中，电子设备可以是提供视频通讯服务的服务器，例如，服务器可以是微信的后台服务器，腾讯QQ的后台服务器。电子设备也可以是进行视频通讯的用户的用户终端，例如，用户终端可以是手机、个人电脑、智能穿戴设备等。
为了便于区分，将进行视频通讯的用户分别称为第一用户和第二用户，将第一用户使用的用户终端称为第一用户终端，将第二用户使用的用户终端称为第二用户终端。
下面将结合具体实施方式，以该方法应用于第一用户终端为例，对本申请实施例提供的一种视频通讯中的互动方法进行详细的说明，如图1所示，具体步骤如下：
步骤101，在第一用户与第二用户的视频通讯过程中，检测第一用户的动作。
在实施中，在第一用户与第二用户的视频通讯过程中，第一用户终端可以对第一用户所处场景进行图像采集，得到第一用户的当前视频画面，然后，第一用户终端可以基于第一用户的当前视频画面，检测第一用户的动作。
本申请实施例中，第一用户终端可以通过预设的动作识别算法，检测第一用户的当前视频画面中第一用户的动作，动作识别算法例如基于卷积神经网络的行为识别算法、基于循环神经网络的行为识别算法。
步骤102，如果第一用户的动作为预设动作，确定与动作对应的互动效果。
其中，第一用户终端中可以预先存储有多个预设动作，预设动作例如捏脸、拍头。
在实施中，在检测到第一用户的动作后，第一用户终端可以判断第一用户的动作是否为预设动作。如果第一用户的动作是预设动作，第一用户终端可以确定与第一用户的动作对应的互动效果。如果第一用户的动作不是预设动作，第一用户终端可以不作后续处理。
例如，当检测到第一用户的动作为喝水时，第一用户终端可以判定第一用户的动作不是预设动作；当检测到第一用户的动作为捏脸时，第一用户终端可以判定第一用户的动作是预设操作，然后，第一用户终端可以确定与捏脸对应的互动效果，得到瘦脸效果。
本申请实施例中，第一用户终端可以通过多种方式确定与第一用户的动作对应的互动效果，在一种可行的实现方式中，针对每个预设动作，第一用户终端中可以预先存储有与该预设动作对应的互动效果。在第一用户的动作为预设动作的情况下，第一用户终端可以获取与确定出的预设动作对应的互动效果，作为与第一用户的动作对应的互动效果。
在另一种可行的实现方式中，第一用户终端可以根据第一用户的选择操作，确定与第一用户的动作对应的互动效果，具体处理过程后续会进行详细说明。
步骤103，根据互动效果，对第二用户的当前视频画面进行图像处理，得到包含互动效果的视频画面。
在实施中，第一用户终端根据互动效果，对第二用户的当前视频画面进行图像处理的方式可以是多种多样的，在一种可行的实现方式中，第一用户终端可以在第二用户的当前视频画面中添加表示互动效果的动态可视信息，动态可视信息可以是动态显示的图片、文字中的至少一种。例如，第一用户的动作为捏脸，第一用户终端可以从第二用户的当前视频画面中识别第二用户的脸颊区域，在脸颊区域处添加表示捏脸动作的手形图像。
在另一种可行的实现方式中，在第二用户的当前视频画面包含第二用户的面部区域的情况下，第一用户终端可以基于第二用户的当前视频画面，对第二用户的面部区域进行三维建模，得到第二用户的脸部模型。然后，第一用户终端可以根据互动效果和第二用户的脸部模型，确定添加有互动效果的脸部模型，之后，第一用户终端可以基于添加有互动效果的脸部模型，生成包含互动效果的视频画面。第一用户终端的具体处理过程后续会进行详细说明。
如图2所示，为本申请实施例提供的一种包含捏脸效果的视频画面的示意图。
本申请实施例中，除建立第二用户的脸部模型外，如果第一用户终端在第二用户的当前视频画面中检测到第二用户的身体部位，第一用户终端还可以建立第二用户的身体模型。然后，第一用户终端可以根据互动效果和第二用户的身体模型，确定添加有互动效果的身体模型，之后，第一用户终端可以基于添加有互动效果的身体模型，生成包含互动效果的视频画面。
步骤104，输出视频画面，以使第一用户的用户终端和第二用户的用户终端显示视频画面。
在实施中，第一用户终端可以显示确定出的包含互动效果的视频画面，以便第一用户观看该包含互动效果的视频画面，从而达到第一用户做出预设动作，能够对视频画面中的第二用户产生影响的互动效果。
第一用户终端可以向发送服务器发送确定出的包含互动效果的视频画面，然后，服务器可以向第二用户终端发送该视频画面，之后，第二用户终端可以直接显示第二用户的包含互动效果的视频画面。由此，第二用户也能观看到第一用户做出的预设动作，对视频画面中的自身产生影响的互动效果。
本申请实施例中，用户终端可以在第一用户与第二用户的视频通讯过程中，检测第一用户的动作；如果该动作为预设动作，确定与该动作对应的互动效果；根据互动效果，对第二用户的当前视频画面进行图像处理，得到包含互动效果的视频画面；显示视频画面。由于能够在第一用户执行的动作为预设动作时，为第二用户的当前视频画面添加与该动作对应的互动效果，得到并显示包含互动效果的视频画面，因此，能够解决视频通讯互动性差的问题。
采用本申请实施例提供的技术方案，一方面，能够实时检测第一用户执行的预设动作，对第二用户的当前视频画面添加相应的互动效果，即对第一用户的动作做出实时反馈，能够实现面对面交流的沉浸式体验效果，从而能够提升用户体验。另一方面，第一用户只需执行预设动作，即可触发对第二用户的当前视频画面添加互动效果，不仅便于用户操作，还可以提高视频通讯的趣味性，由此，能够进一步提升用户体验。
可选的，第一用户终端中还可以预先设置有检测第一用户的动作的触发条件，第一用户终端可以在满足触发条件后，再检测第一用户的动作。
触发条件可以是多种多样的，在一种可行的实现方式中，触发条件可以是视频通讯的连通时长达到预设连通时长，预设连通时长例如5s；在另一种可行的实现方式中，触发条件可以是在获取到的第二用户的当前视频画面中，检测到第二用户的面部区域。
本申请实施例中，第一用户终端可以在从第二用户的当前视频画面中检测到第二用户的面部区域后，检测第一用户的动作，在该动作为预设动作时，确定预设动作对应的互动效果，根据互动效果对第二用户的当前视频画面进行图像处理，得到包含互动效果的视频画面，输出包含互动效果的视频画面。
由于将在第二用户的当前视频画面中检测到第二用户的面部区域作为触发条件，在达到触发条件时对第一用户的动作进行检测，因此，保证后续可以从第二用户的当前视频画面中提取出面部特征信息，根据互动效果和面部特征信息，生成包含互动效果的视频画面，从而能够保证成功基于第二用户的面部区域添加互动效果。
可选的，在第一用户的动作为预设动作的情况下，本申请实施例提供了一种第一用户终端根据第一用户的选择操作，确定动作对应的互动效果的实现方式，包括以下步骤：
步骤1、如果第一用户的动作为预设动作，输出预先存储的多个互动效果的效果标识，以使第一用户选择待添加的互动效果。
在实施中，如果检测到的第一用户的动作为预设动作，第一用户终端可以在预设的显示界面中显示多个互动效果的效果标识，以使第一用户选择待添加的互动效果。
步骤2、根据被选中的效果标识，确定与动作对应的互动效果。
在实施中，第一用户终端可以检测第一用户的选择操作，确定选择操作指示的效果标识，即被选中的效果标识，然后，第一用户终端可以将与被选中的效果标识对应的互动效果，作为与动作对应的互动效果。
本申请实施例中，第一用户终端可以在第一用户的动作为预设动作时，输出预先存储的多个互动效果的效果标识，以使第一用户选择待添加的互动效果，然后，第一用户终端可以根据被选中的效果标识，确定与动作对应的互动效果。由于第一用户终端可以输出多个互动效果的效果标识，因此，第一用户可以选择想要添加的互动效果，能够提高视频通讯的趣味性，进一步的，能够提高用户体验。
可选的，如图3所示，在确定与动作对应的互动效果后，第一用户终端根据互动效果对第二用户的当前视频画面进行图像处理，得到包含互动效果的视频画面的具体处理过程，可以包括：
步骤301，获取第二用户的当前视频画面。
在实施中，第二用户终端可以采集第二用户所处场景的图像，得到第二用户的当前视频画面，然后，第二用户终端可以将第二用户的当前视频画面发送至服务器，之后，服务器可以向第一用户终端发送第二用户的当前视频画面。
第一用户终端可以接收服务器发送的第二用户的当前视频画面。
步骤302，如果第二用户的当前视频画面中包含第二用户的面部区域，从第二用户的面部区域中提取第二用户的面部特征信息。
其中，面部特征信息包括：五官的位置信息、尺寸信息、深度信息和肤色信息中的一种或多种。
在实施中，第一用户终端可以检测第二用户的当前视频画面中是否包含第二用户的面部区域。
如果第二用户的当前视频画面中包含第二用户的面部区域，第一用户终端可以从第二用户的面部区域中提取第二用户的面部特征信息。如果第二用户的当前视频画面中不包含第二用户的面部区域，第一用户终端可以不作后续处理。
本申请实施例中，第一用户终端可以通过预设的人脸识别算法，检测第二用户的当前视频画面中是否包含第二用户的面部区域，具体处理过程此处不再赘述。相关技术中任一种具有人脸识别功能的算法，均可以作为人脸识别算法，人脸识别算法例如PFLD(Practical Facial Landmark Detector，实用人脸特征点检测)，Eigenface(特征脸算法)。第一用户终端可以采用相关技术中任一面部特征信息提取方式，提取第二用户的面部特征信息，具体处理过程此处不再赘述。
步骤303，根据互动效果、面部特征信息，确定调整后的面部特征信息。
在实施中，针对每种互动效果，第一用户终端中可以对应存储有相应的特征信息调整方式。例如，第一用户的动作为捏脸、互动效果为瘦脸效果时，相应的特征信息调整方式可以是减小脸颊的尺寸，调整五官的位置以使五官更紧凑。
在确定与第一用户的动作对应的互动效果之后，第一用户终端可以采用互动效果相应的特征信息调整方式对第二用户的面部特征信息进行计算，将计算得到的面部特征信息作为调整后的面部特征信息。
步骤304，根据调整后的面部特征信息和第二用户的当前视频画面，确定包含互动效果的视频画面。
在实施中，第一用户终端可以根据调整后的面部特征信息，生成面部区域，也即，生成包含互动效果的面部区域，然后，第一用户终端可以将包含互动效果的面部区域叠加到第二用户的当前视频画面中，得到包含互动效果的视频画面。
在一种可行的实现方式中，第一用户终端中可以预先设置有渲染算法，第一用户终端可以通过渲染算法对第二用户的脸部模型进行渲染，得到添加有互动效果的脸部模型。然后，第一用户终端可以基于添加有互动效果的脸部模型，生成包含互动效果的视频画面。
本申请实施例中，第一用户终端可以获取第二用户的当前视频画面，在第二用户的当前视频画面包含第二用户的面部区域的情况下，从第二用户的面部区域中提取第二用户的面部特征信息。然后，第一用户终端可以根据互动效果、面部特征信息，确定调整后的面部特征信息，再根据调整后的面部特征信息和第二用户的当前视频画面，确定包含互动效果的视频画面。由于第一用户终端基于互动效果，对第二用户五官部位的三维状态以及肤色信息等面部特征信息进行调整，再根据调整后的面部特征信息生成包含互动效果的视频画面，因此，包含互动效果的视频画面所展示的第二用户更接近第二用户的真实面貌，使得互动效果更加真实，从而能够提升用户体验。
可选的，当第一用户所执行动作的动作幅度不同时，与互动效果对应的特征信息调整方式中，面部特征信息的权重可以不同，例如，与互动效果瘦脸对应的特征信息调整方式中，嘴部尺寸的权重在动作幅度为大时的数值，比动作幅度为小时的数值大。由此，第一用户终端还可以根据第一用户所执行动作的动作幅度，确定调整后的面部特征信息，如图4所示，具体处理过程包括：
步骤401，确定动作的动作幅度。
在实施中，如果第一用户终端在第一用户的当前视频画面中检测到第一用户的动作，第一用户终端可以基于连续采集到的多个第一用户的视频画面，计算第一用户的动作的最大位移量。然后，第一用户终端可以根据预设分类方式对最大位移量进行分类，得到动作的动作幅度。
例如，第一用户终端计算得到的第一用户的动作的最大位移量为15cm，动作幅度为大。
步骤402，根据动作的动作幅度、互动效果、面部特征信息，确定调整后的面部特征信息。
在实施中，第一用户终端可以在与动作对应的互动效果包含的多种权重中，确定与第一用户所执行动作的动作幅度对应的权重。然后，第一用户终端可以采用互动效果相应的特征信息调整方式、与动作幅度对应的权重、对第二用户的面部特征信息进行计算，将计算得到的面部特征信息作为调整后的面部特征信息。
本申请实施例中，第一用户终端可以确定动作的动作幅度，根据动作的动作幅度、互动效果、面部特征信息，确定调整后的面部特征信息。由于根据第一用户所执行动作的动作幅度确定调整后的面部特征信息，基于调整后的面部特征信息和第二用户的当前视频画面，确定包含互动效果的视频画面，因此，能够实现随着动作幅度的改变呈现不同的互动效果，不仅可以增强视频通讯的趣味性，还可以强化沉浸式体验效果，进一步提高用户体验。
可选的，第一用户终端还可以检测第二用户的动作，以确定第一用户的包含互动效果的视频画面。具体处理过程包括：第二用户终端可以对第二用户所处场景进行图像采集，得到第二用户的当前视频画面，然后，第二用户终端可以将第二用户的当前视频画面发送至服务器。服务器可以将第二用户的当前视频画面发送至第一用户终端，之后，第一用户终端可以基于第二用户的当前视频画面，检测第二用户的动作。
如果第二用户的动作为预设动作，第一用户终端可以确定与动作对应的互动效果，根据互动效果，对第一用户的当前视频画面进行图像处理，得到包含互动效果的视频画面，之后，第一用户终端可以显示第一用户的包含互动效果的视频画面。
第一用户终端可以将第一用户的包含互动效果的视频画面发送至服务器，然后，服务器可以向第二用户终端发送该视频画面，之后，
第二用户终端可以直接显示第一用户的包含互动效果的视频画面。
本申请实施例中，第一用户终端还可以检测第二用户的动作，以确定第一用户的包含互动效果的视频画面。由此，第一用户终端可以对进行视频通讯的任一方的动作进行检测，并确定对方的包含互动效果的视频画面，使得第一用户不仅能看到对方的包含互动效果的视频画面，还能看到自己的包含互动效果的视频画面，从而可以实现沉浸式互动效果。
可选的，当该方法应用于第二用户终端时，视频通讯中的互动方法的处理过程，与该方法应用于第一用户终端时的具体处理过程相似，此处不再赘述。
可选的，当该方法应用于服务器时，服务器可以接收第一用户终端采集的第一用户的当前视频画面，第二用户终端采集的第二用户的当前视频画面。然后，服务器可以基于第一用户的当前视频画面，检测第一用户的动作，如果第一用户的动作为预设动作，服务器可以确定与动作对应的互动效果，之后，服务器可以根据互动效果，对第二用户的当前视频画面进行图像处理，得到第二用户的包含互动效果的视频画面，将确定出的包含互动效果的视频画面发送至第一用户终端和第二用户终端。
类似的，服务器可以基于第二用户的当前视频画面，检测第二用户的动作，如果第二用户的动作为预设动作，服务器可以确定与动作对应的互动效果，之后，服务器可以根据互动效果，对第一用户的当前视频画面进行图像处理，得到第一用户的包含互动效果的视频画面，将确定出的包含互动效果的视频画面发送至第一用户终端和第二用户终端。
基于相同的技术构思，本申请实施例还提供了一种视频通讯中的互动装置，如图5所示，该装置包括：
检测模块510，用于在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作；
确定模块520，用于在所述动作为预设动作时，确定与所述动作对应的互动效果；
图像处理模块530，用于根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面；
输出模块540，用于输出所述视频画面，以使所述第一用户的用户终端和所述第二用户的用户终端显示所述视频画面。
可选的，所述图像处理模块包括：
获取子模块，用于获取所述第二用户的当前视频画面；
提取子模块，用于当在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域，从所述第二用户的面部区域中提取所述第二用户的面部特征信息；
第一确定子模块，用于根据所述互动效果、所述面部特征信息，确定调整后的面部特征信息；
第二确定子模块，用于根据所述调整后的面部特征信息和所述第二用户的当前视频画面，确定包含所述互动效果的视频画面。
可选的，所述第一确定子模块具体用于：确定所述动作的动作幅度；根据所述动作的动作幅度、所述互动效果、所述面部特征信息，确定调整后的面部特征信息。
可选的，所述装置还包括：
获取模块，获取所述第二用户的当前视频画面；
所述检测模块，用于在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域时，检测所述第一用户的动作。
可选的，所述确定模块包括：
输出子模块，用于当所述动作为预设动作时，输出预先存储的多个互动效果的效果标识，以使所述第一用户选择待添加的互动效果；
第三确定子模块，用于根据被选中的效果标识，确定与所述动作对应的互动效果。
本申请实施例提供了一种视频通讯中的互动装置，可以在第一用户与第二用户的视频通讯过程中，检测第一用户的动作；如果该动作为预设动作，确定与该动作对应的互动效果；根据互动效果，对第二用户的当前视频画面进行图像处理，得到包含互动效果的视频画面；显示视频画面。由于能够在第一用户执行的动作为预设动作时，为第二用户的当前视频画面添加与该动作对应的互动效果，得到并显示包含互动效果的视频画面，因此，能够解决视频通讯互动性差的问题。
基于相同的技术构思，本申请实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作；
如果所述动作为预设动作，确定与所述动作对应的互动效果；
根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面；
输出所述视频画面，以使所述第一用户的用户终端和所述第二用户的用户终端显示所述视频画面。
可选的，所述根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面，包括：
获取所述第二用户的当前视频画面；
如果在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域，从所述第二用户的面部区域中提取所述第二用户的面部特征信息；
根据所述互动效果、所述面部特征信息，确定调整后的面部特征信息；
根据所述调整后的面部特征信息和所述第二用户的当前视频画面，确定包含所述互动效果的视频画面。
可选的，所述根据所述互动效果、所述面部特征信息，确定调整后的面部特征信息，包括：
确定所述动作的动作幅度；
根据所述动作的动作幅度、所述互动效果、所述面部特征信息，确定调整后的面部特征信息。
可选的，所述在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作之前，还包括：
获取所述第二用户的当前视频画面；
如果在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域，执行所述检测所述第一用户的动作步骤。
可选的，所述如果所述动作为预设动作，确定与所述动作对应的互动效果，包括：
如果所述动作为预设动作，输出预先存储的多个互动效果的效果标识，以使所述第一用户选择待添加的互动效果；
根据被选中的效果标识，确定与所述动作对应的互动效果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例提供了一种电子设备，可以在第一用户与第二用户的视频通讯过程中，检测第一用户的动作；如果该动作为预设动作，确定与该动作对应的互动效果；根据互动效果，对第二用户的当前视频画面进行图像处理，得到包含互动效果的视频画面；显示视频画面。由于能够在第一用户执行的动作为预设动作时，为第二用户的当前视频画面添加与该动作对应的互动效果，得到并显示包含互动效果的视频画面，因此，能够解决视频通讯互动性差的问题。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一视频通讯中的互动方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一视频通讯中的互动方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种视频通讯中的互动方法，其特征在于，所述方法包括：
在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作；
如果所述动作为预设动作，确定与所述动作对应的互动效果；
根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面；
输出所述视频画面，以使所述第一用户的用户终端和所述第二用户的用户终端显示所述视频画面。
2.根据权利要求1所述的方法，其特征在于，所述根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面，包括：
获取所述第二用户的当前视频画面；
如果在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域，从所述第二用户的面部区域中提取所述第二用户的面部特征信息；
根据所述互动效果、所述面部特征信息，确定调整后的面部特征信息；
根据所述调整后的面部特征信息和所述第二用户的当前视频画面，确定包含所述互动效果的视频画面。
3.根据权利要求2所述的方法，其特征在于，所述根据所述互动效果、所述面部特征信息，确定调整后的面部特征信息，包括：
确定所述动作的动作幅度；
根据所述动作的动作幅度、所述互动效果、所述面部特征信息，确定调整后的面部特征信息。
4.根据权利要求1所述的方法，其特征在于，所述在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作之前，还包括：
获取所述第二用户的当前视频画面；
如果在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域，执行所述检测所述第一用户的动作步骤。
5.根据权利要求1所述的方法，其特征在于，所述如果所述动作为预设动作，确定与所述动作对应的互动效果，包括：
如果所述动作为预设动作，输出预先存储的多个互动效果的效果标识，以使所述第一用户选择待添加的互动效果；
根据被选中的效果标识，确定与所述动作对应的互动效果。
6.一种视频通讯中的互动装置，其特征在于，所述装置包括：
检测模块，用于在第一用户与第二用户的视频通讯过程中，检测所述第一用户的动作；
确定模块，用于在所述动作为预设动作时，确定与所述动作对应的互动效果；
图像处理模块，用于根据所述互动效果，对所述第二用户的当前视频画面进行图像处理，得到包含所述互动效果的视频画面；
输出模块，用于输出所述视频画面，以使所述第一用户的用户终端和所述第二用户的用户终端显示所述视频画面。
7.根据权利要求6所述的装置，其特征在于，所述图像处理模块包括：
获取子模块，用于获取所述第二用户的当前视频画面；
提取子模块，用于当在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域，从所述第二用户的面部区域中提取所述第二用户的面部特征信息；
第一确定子模块，用于根据所述互动效果、所述面部特征信息，确定调整后的面部特征信息；
第二确定子模块，用于根据所述调整后的面部特征信息和所述第二用户的当前视频画面，确定包含所述互动效果的视频画面。
8.根据权利要求7所述的装置，其特征在于，所述第一确定子模块具体用于：确定所述动作的动作幅度；根据所述动作的动作幅度、所述互动效果、所述面部特征信息，确定调整后的面部特征信息。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
获取模块，获取所述第二用户的当前视频画面；
所述检测模块，用于在所述第二用户的当前视频画面中，检测到所述第二用户的面部区域时，检测所述第一用户的动作。
10.根据权利要求6所述的装置，其特征在于，所述确定模块包括：
输出子模块，用于当所述动作为预设动作时，输出预先存储的多个互动效果的效果标识，以使所述第一用户选择待添加的互动效果；
第三确定子模块，用于根据被选中的效果标识，确定与所述动作对应的互动效果。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911097254.9A CN111010526A (zh) | 2019-11-11 | 2019-11-11 | 一种视频通讯中的互动方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911097254.9A CN111010526A (zh) | 2019-11-11 | 2019-11-11 | 一种视频通讯中的互动方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111010526A true CN111010526A (zh) | 2020-04-14 |
Family
ID=70112293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911097254.9A Pending CN111010526A (zh) | 2019-11-11 | 2019-11-11 | 一种视频通讯中的互动方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111010526A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112363658A (zh) * | 2020-10-27 | 2021-02-12 | 维沃移动通信有限公司 | 视频通话的互动方法和装置 |
| CN114816051A (zh) * | 2022-03-31 | 2022-07-29 | 北京达佳互联信息技术有限公司 | 虚拟空间互动方法、装置、终端以及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104159032A (zh) * | 2014-08-20 | 2014-11-19 | 广东欧珀移动通信有限公司 | 一种实时调整相机拍照美颜效果的方法及装置 |
| CN104410561A (zh) * | 2013-10-29 | 2015-03-11 | 贵阳朗玛信息技术股份有限公司 | 一种聊天表情发送方法及装置 |
| CN104898972A (zh) * | 2015-05-19 | 2015-09-09 | 青岛海信移动通信技术股份有限公司 | 一种调整电子图像的方法及设备 |
| JP2017055355A (ja) * | 2015-09-11 | 2017-03-16 | 大和ハウス工業株式会社 | 画像表示システム及び画像表示方法 |
| CN108337568A (zh) * | 2018-02-08 | 2018-07-27 | 北京潘达互娱科技有限公司 | 一种信息答复方法、装置及设备 |
| CN108366221A (zh) * | 2018-05-16 | 2018-08-03 | 维沃移动通信有限公司 | 一种视频通话方法和终端 |
| CN108600680A (zh) * | 2018-04-11 | 2018-09-28 | 南京粤讯电子科技有限公司 | 视频处理方法、终端及计算机可读存储介质 |
| CN109831636A (zh) * | 2019-01-28 | 2019-05-31 | 努比亚技术有限公司 | 互动视频控制方法、终端及计算机可读存储介质 |
-
2019
- 2019-11-11 CN CN201911097254.9A patent/CN111010526A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410561A (zh) * | 2013-10-29 | 2015-03-11 | 贵阳朗玛信息技术股份有限公司 | 一种聊天表情发送方法及装置 |
| CN104159032A (zh) * | 2014-08-20 | 2014-11-19 | 广东欧珀移动通信有限公司 | 一种实时调整相机拍照美颜效果的方法及装置 |
| CN104898972A (zh) * | 2015-05-19 | 2015-09-09 | 青岛海信移动通信技术股份有限公司 | 一种调整电子图像的方法及设备 |
| JP2017055355A (ja) * | 2015-09-11 | 2017-03-16 | 大和ハウス工業株式会社 | 画像表示システム及び画像表示方法 |
| CN108337568A (zh) * | 2018-02-08 | 2018-07-27 | 北京潘达互娱科技有限公司 | 一种信息答复方法、装置及设备 |
| CN108600680A (zh) * | 2018-04-11 | 2018-09-28 | 南京粤讯电子科技有限公司 | 视频处理方法、终端及计算机可读存储介质 |
| CN108366221A (zh) * | 2018-05-16 | 2018-08-03 | 维沃移动通信有限公司 | 一种视频通话方法和终端 |
| CN109831636A (zh) * | 2019-01-28 | 2019-05-31 | 努比亚技术有限公司 | 互动视频控制方法、终端及计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112363658A (zh) * | 2020-10-27 | 2021-02-12 | 维沃移动通信有限公司 | 视频通话的互动方法和装置 |
| WO2022089273A1 (zh) * | 2020-10-27 | 2022-05-05 | 维沃移动通信有限公司 | 视频通话的互动方法和装置 |
| CN114816051A (zh) * | 2022-03-31 | 2022-07-29 | 北京达佳互联信息技术有限公司 | 虚拟空间互动方法、装置、终端以及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210312161A1 (en) | Virtual image live broadcast method, virtual image live broadcast apparatus and electronic device | |
| US10984226B2 (en) | Method and apparatus for inputting emoticon | |
| CN112261424B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| TW201911130A (zh) | 一種翻拍影像識別方法及裝置 | |
| US11257293B2 (en) | Augmented reality method and device fusing image-based target state data and sound-based target state data | |
| CN105654039B (zh) | 图像处理的方法和装置 | |
| CN110827378A (zh) | 虚拟形象的生成方法、装置、终端及存储介质 | |
| JP2021526698A (ja) | 画像生成方法および装置、電子機器、並びに記憶媒体 | |
| CN108712603B (zh) | 一种图像处理方法及移动终端 | |
| WO2019237745A1 (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US20220214797A1 (en) | Virtual image control method, apparatus, electronic device and storage medium | |
| WO2017072534A2 (en) | Communication system and method | |
| CN109948093B (zh) | 表情图片生成方法、装置及电子设备 | |
| CN104574299A (zh) | 人脸图片处理方法及装置 | |
| WO2020078215A1 (zh) | 基于视频的信息获取方法和装置 | |
| CN111722775A (zh) | 图像处理方法、装置、设备及可读存储介质 | |
| CN108921178A (zh) | 获取图像模糊程度分类的方法、装置、电子设备 | |
| CN107977636B (zh) | 人脸检测方法及装置、终端、存储介质 | |
| CN113014857A (zh) | 视频会议显示的控制方法、装置、电子设备及存储介质 | |
| CN107886559A (zh) | 用于生成图片的方法和装置 | |
| CN111010526A (zh) | 一种视频通讯中的互动方法及装置 | |
| WO2023005813A1 (zh) | 图像方向调整方法、装置、存储介质及电子设备 | |
| CN112866577B (zh) | 图像的处理方法、装置、计算机可读介质及电子设备 | |
| CN112507798B (zh) | 活体检测方法、电子设备与存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200414 |