CN109871115B - 多媒体交互中的控制方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明揭示了一种多媒体交互中控制方法、装置和计算机可读存储介质。所述方法包括：接收第一用户终端对于显示用户生理数据的选择；在第一用户终端发布多媒体数据时从第一用户终端接收指定用户的生理数据；向至少一个第二用户终端发送并显示多媒体数据和指定用户的生理数据；检测第一用户终端用户生理数据的变化；在至少一个第二用户终端上显示多媒体数据和指定用户的生理变化数据。由此将使得多媒体交互除了在视频和/或音频这两个维度实现多媒体数据向用户的输出之外，还相应呈现指定用户在多媒体交互中的生理状况，为多媒体交互中指定用户所表达内容被精确全面摄取提供辅助信息，提高信息传递的准确性，不断消除物理距离限制。

Description

多媒体交互中的控制方法、装置和计算机可读存储介质

技术领域

本发明涉及互联网应用技术领域，特别涉及一种多媒体交互中的控制、装置和计算机可读存储介质。

背景技术

随着互联网应用技术的发展，用户之间多媒体交互的实现，使得用户能够摈弃彼此之间物理距离的限制，不断消除物理距离对相互之间交互的影响。通过指定用户在多媒体交互中的信息传递，其他用户就可以获得指定用户在此多媒体交互中表达出的内容。

指定用户在多媒体交互中的内容输出是通过视频和/或音频两个维度实现的，能够直接由视频和/或音频中获得的内容，即可视为指定用户在此多媒体交互中表达的内容，此内容是其他用户必然能够摄取到的。

但是，用户所摄取到的内容将仅限于指定用户在多媒体交互中直观输出的内容，并未涵盖指定用户在多媒体交互中表达的所有内容。也就是说，指定用户输出的内容对于不同用户而言，其所能够摄取到的内容各不相同，而被遗漏的内容也各不相同。多媒体交互虽然实现了任意用户之间的交互，可是多媒体交互中的信息传递存在着缺乏准确性，且仍然受限于物理距离的局限性。

发明内容

为了解决相关技术中多媒体交互缺乏信息传递的准确性，且仍然受限于物理距离的技术问题，本发明提供了一种多媒体交互中的控制、装置和计算机可读存储介质。

一种多媒体交互中的控制方法，所述方法包括：

接收第一用户终端对于显示用户生理数据的选择；

在第一用户终端发布多媒体数据时，从第一用户终端接收所述指定用户的生理数据；

向至少一个第二用户终端发送多媒体数据和指定用户的生理数据；

在至少一个第二用户终端上显示多媒体数据和指定用户的生理数据；

检测第一用户终端用户生理数据的变化；

在至少一个第二用户终端上显示多媒体数据和指定用户的生理变化数据。

一种多媒体交互中的控制装置，所述装置包括：

选择接收模块，用于接收第一用户终端对于显示用户生理数据的选择；

数据接收模块，用于在第一用户终端发布多媒体数据时，从第一用户终端接收所述指定用户的生理数据；

数据发送模块，用于向至少一个第二用户终端发送多媒体数据和指定用户的生理数据；

数据显示模块，用于在至少一个第二用户终端上显示多媒体数据和指定用户的生理数据；

变化检测模块，用于检测第一用户终端用户生理数据的变化；

变化显示模块，用于在至少一个第二用户终端上显示多媒体数据和指定用户的生理变化数据。

在一个示例性实施例中，所述数据接收模块，包括：

输入信息获取单元，用于第一用户终端为所发起的多媒体交互进行多媒体数据采集和上传中，获取所述指定用户的生理检测输入信息；

生理数据生成单元，用于通过所述生理检测输入信息获得所述指定用户的生理数据。

在一个示例性实施例中，所述生理数据为心率数据，所述生理检测输入信息是描述指定用户心率状况的图像序列，所述输入信息获取单元包括：

后置摄像头控制单元，用于第一用户终端发起多媒体交互而持续进行多媒体数据采集和上传中，控制所述第一用户终端中后置摄像头开启；

后置摄像头采集控制单元，用于通过开启的所述后置摄像头，对置于所述后置摄像头的指定用户手指进行图像采集，获得描述所述指定用户心率状况的图像序列。

在一个示例性实施例中，所述生理数据生成单元，包括：

图像序列处理单元，用于对所述图像序列中的每一帧图像，通过进行特征值计算获得心率信号值，所述图像序列中所有图像分别对应的心率信号值形成信号序列；

信号序列处理单元，用于进行所述信号序列的处理获得所述指定用户的生理数据，所述生理数据包括心率值和/或心率波形数据。

在一个示例性实施例中，所述数据接收模块进一步用于将所述指定用户的生理数据与多媒体数据一并进行编码获得包括所述生理数据的多媒体数据流。

在一个示例性实施例中，所述数据发送模块进一步用于将所述指定用户的生理数据以生理信息传输信令的形式下发到至少一个第二用户终端，为所述第二用户终端传入所显示的指定用户生理数据。

在一个示例性实施例中，所述装置还包括：

交互建立模块，用于接收第二用户终端对指定用户的多媒体交互接入选择，建立所述第二用户终端与所述第一用户终端之间的多媒体交互；

交互接收模块，用于在所述多媒体交互的多媒体数据传输中，接收包括指定用户生理数据或生理变化数据的多媒体数据流或生理信息传输信令，所述多媒体数据流或生理信息传输信令包括的指定用户生理数据用于所述第二用户终端的指定用户生理数据或生理变化数据显示。

在一个示例性实施例中，所述包括指定用户生理数据或生理变化数据的多媒体数据流被接收，所述数据显示模块或变化显示模块，包括：

画面渲染单元，用于对包括指定用户的生理数据或生理变化数据的多媒体数据流进行画面渲染，获得包含生理参数和/或生理波形数据的媒体交互图像序列；

图像切换单元，用于在多媒体交互界面进行所获得媒体交互图像序列中图像的切换，所切换的图像呈现了所述指定用户的生理参数和/或生理波形数据。

在一个示例性实施例中，其特征在于，所述包括指定用户生理数据或生理变化数据的生理信息传输信令被接收，所述数据显示模块或变化显示模块，包括：

数据提取单元，用于提取所述心率信息传输信令中携带的生理数据或生理变化数据；

浮层渲染单元，用于将所述生理数据或生理变化数据渲染至所述多媒体交互界面的浮层上，在所述浮层进行所述指定用户在所述多媒体交互中生理状况的呈现。

一种多媒体交互中的控制装置，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如前所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

用户侧指定用户发起多媒体交互之后，将接收第一用户终端对于显示用户生理数据的选择，在此多媒体交互的多媒体数据发布时，从第一用户终端接收指定用户的生理数据，进而向至少一个第二用户终端发送并显示多媒体数据和指定用户的生理数据，在此基础之上，检测第一用户终端用户生理数据的变化，在至少一个第二用户终端上显示多媒体数据和指定用户的生理变化，使得多媒体交互除了在视频和/或音频这两个维度实现多媒体数据向用户的输出之外，还相应呈现指定用户在多媒体交互中的生理状况，为多媒体交互中指定用户所表达内容被精确全面摄取提供了辅助信息，通过所呈现的生理状况而辅助获得指定用户在视频和/或音频这两个维度上表达的所有内容，提高多媒体交互中信息传递的准确性，且不断消除物理距离的限制。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据本发明所涉及的实施环境的示意图；

图2是根据一示例性实施例示出的一种装置的框图；

图3是一示例性实施例示出的一种多媒体交互中的控制方法的流程图；

图4是根据图3对应实施例示出的对步骤330的细节进行描述的流程图；

图5是根据图4对应实施例示出的步骤331的细节进行描述的流程图；

图6是根据图4对应实施例示出的步骤333的细节进行描述的流程图；

图7是根据另一示例性实施例示出的一种多媒体交互中的控制方法的流程图；

图8是根据图7对应实施例示出的在至少一个第二用户终端上显示指定用户的生理数据或生理变化数据步骤的细节进行描述的流程图；

图9是根据图7所示实施例示出的对在至少一个第二用户终端上显示指定用户的生理数据或生理变化数据步骤的细节进行描述的流程图；

图10是根据一示例性实施例示出的推流服务器介入下的系统实现示意简图；

图11是根据一示例性实施例示出的信令服务器介入下的系统实现示意简图；

图12是根据一示例性实施例示出的视频直播中的应用示意图；

图13是根据一示例性实施例示出的主播发起视频直播之初的界面示意图；

图14是图13所对应实施例示出的主播开启心跳测量之后的界面示意图；

图15是根据一示例性实施例示出的摄像头心率检测算法的实现示意图；

图16是根据一示例性实施例示出的一种多媒体交互中的控制装置的框图；

图17是根据图16对应实施例示出的对数据接收模块的细节进行描述的框图；

图18是根据图17对应实施例示出的对输入信息获取单元的细节进行描述的框图；

图19是根据图17对应实施例示出的对生理数据生成单元的细节进行描述的框图；

图20是根据另一示例性实施例示出的一种多媒体交互中的控制装置的框图；

图21是根据图20对应实施例示出的对数据显示模块和变化显示模块的细节进行描述的框图；

图22是根据图20对应实施例示出的对数据显示模块和变化显示模块的细节进行描述的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据本发明所涉及的实施环境的示意图。该实施环境包括：服务器110以及可实现服务器110中访问的用户终端130。

用户终端130通过互联网络进行服务器110中的访问，以上传或者接收媒体数据，进而实现对应用户接入的多媒体交互。用户终端130所对应的用户，可以是发布所输入媒体数据的指定用户，也可以是接收指定用户所发布媒体数据的其他用户。

由此，实施环境所示的用户终端130包括两种，一种是指定用户对应的用户终端130，另一种则是其他用户所对应的用户终端130，图1对此仅示意限的示出，并对每一种用户终端130的数量进行限定。

通过两种用户终端130以及服务器的配合，实现多媒体交互，以及多媒体交互中信息的准确传递，以此来实现其他用户对指定用户所表面内容的准确全面摄取。

用户终端130可以是台式电脑、笔记本电脑、智能手机和平板电脑等。

图2是根据一示例性实施例示出的一种装置的框图。例如，装置200可以是图2所示实施环境中的用户终端130。

参照图2，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件202可以包括一个或多个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器218执行，以完成下述图3、图4和图5、图6、图7、图8和图9任一所示方法中的全部或者部分步骤。

电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(Liquid Crystal Display，简称LCD)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display，简称OLED)。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(Microphone，简称MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，传感器组件214还可以检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中，该传感器组件214还可以包括磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi(WIreless-Fidelity，无线保真)。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(Near FieldCommunication，简称NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RadioFrequency Identification，简称RFID)技术，红外数据协会(Infrared DataAssociation，简称IrDA)技术，超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。

图3是一示例性实施例示出的一种多媒体交互中的控制方法的流程图。该多媒体交互中的控制方法适用于前述实施环境，如图3所示，该多媒体交互中的控制方法，至少包括以下步骤。

在步骤310中，接收第一用户终端对于显示用户生理数据的选择。

其中，用户侧将以用户终端为执行主体，实现用户之间的多媒体交互。用户侧包括两类用户终端，一类为第一用户终端，另一类则为第二用户终端。第一用户终端和第二用户终端是在多媒体交互中相对而言的，第一用户终端是多媒体交互中向其它用户终端发布多媒体数据的用户终端，第二用户终端则是参与到此多媒体交互中来，并在此多媒体交互中进行所发布多媒体播放的用户终端。

应当理解，用户侧，具体而言经由第一用户终端和第二用户终端形成的用户侧，是相对于后台的服务器而言的。例如，用户将在用户侧发起多媒体交互的实现，以及多媒体交互所涉及的界面实现。在此应当说明，相对于用户终端所实现的服务器，是泛指本发明后台实现的机器，并非限于单一种类和数量的服务器设备，而需要根据具体实现的需求而架构其种类、数量和拓扑。

在第一用户终端的多媒体交互进行中，接收到第一用户终端对于显示用户生理数据的选择。应当理解，所指的第一用户终端对于显示用户生理数据的选择，是第一终端所对应指定用户在多媒体交互的进行中选择进行生理数据的同步显示，在接收到这一选择时，随之从第一用户终端进行指定用户生理数据的接收。

在此应当说明的是，多媒体交互是指用户之间基于互联网络而进行的在线或者离线互动。例如，多媒体交互可以是视频直播、音视频会话、网络视听下发布者向收听者进行的信息传递、各种媒体信息的投放等，在此不进行一一列举，多媒体交互的具体形式将根据实际运营的需求确定。

在一个示例性实施例的具体实现中，第一用户终端将随着指定用户的操控接收到对于显示用户生理数据的选择，即显示自身所登录用户，如前述指定用户在所进行多媒体交互中生理数据的操作，将此选择发送至后台，例如为此而部署的服务器，以使得服务器随之接收第一用户终端对于显示用户生理数据的选择，进而随之配合实现多媒体数据和生理数据在此多媒体交互中的同步显示。

生理数据用于描述第一用户终端对应指定用户的生理状况。在一个示例性实施例中，生理数据包括心率数据，以及心率数据的同类数据，例如，血压数据、脸红指数等等，在此不进行限定。

在步骤330中，在第一用户终端发布多媒体数据时，从第一用户终端接收指定用户的生理数据。

其中，指定用户是对应于第一用户终端而言的，指定用户包括发起多媒体交互的用户，除此之外，还可以基于运营需要而包括参与此多媒体交互的用户。但无论如何，指定用户都将是多媒体交互中进行多媒体数据发布的用户，其对应于第一用户终端。

指定用户经由第一用户终端进行着各种多媒体内容的发布，其它用户则是为了收听或者观看所发布多媒体内容而参与多媒体交互的。因此，指定用户，作为发布多媒体内容的一方，向其他用户展示自身在多媒体交互中的生理状况，将有助于提高其多媒体内容所传递信息的准确性。

例如，指定用户可以是视频直播中的主播，也可以是音视频会话中的会话发起者，网络视听下的发布者，还可以是媒体信息投放的内容录制者等。

当然，与之对应的，在所进行的多媒体交互中，并非发起多媒体交互而仅参与此多媒体交互的用户，亦可成为指定用户，存在着多媒体数据的发布需求。例如，视频直播中与主播进行视频互动的收听者，音视频会话中会话的参与者等。

具体而言，参与此多媒体交互的用户，根据多媒体交互的类型，往往也存在着向发起者准确传递所输出信息的需求，因此，其也可以作为指定用户存在。也就是说，随着多媒体交互的进行，指定用户可以是其发起者，也可以是多媒体交互的参与者，还可以发起者和参与者同为指定用户，进而按照本发明的实现逻辑独立执行下述步骤。

又例如，参与多媒体交互的用户，可以是音视频会话的参与者，或者未例举的其它的用户。

第一用户终端发布多媒体数据，是多媒体交互发起时发起者，和/或多媒体交互中的参与者经由自身所登录用户终端，即第一用户终端进行自身视频图像画面和/或音频的采集，通过所登录用户终端的摄像头和/或麦克风获得多媒体数据，进而向多媒体交互的其它用户终端，即至少一个第二终端发送并显示所对应多媒体内容的实现过程。

例如，在视频直播、媒体信息投放、网络视听的实现等这些单向实现信息传递的多媒体交互中，发起者，比如主播，所进行的视频和/或音频采集录制并发送、输出的过程。

而在视频会话等其它多媒体交互中，会话中无论发起者还是参与者，在其发言时都会进行多媒体数据的采集、发送和显示，也是所指的发布多媒体数据的实现过程。

多媒体数据通过视频和/或音频的形式描述了指定用户发布所需要传递的信息时对应的真实场景，通过多媒体数据的发布和传输控制、显示控制，而使得此真实场景能够在其他用户登录的用户终端获得同步，进而为其他用户重构此真实场景，实现信息的传递。

对于为此而部署的服务器而言，第一用户终端发布多媒体数据的实现，便意味着此多媒体数据便已完成上传，将为多媒体交互的进行而即将向其他用户分发此多媒体数据。

服务器一方面进行着多媒体数据的接收，另一方面则进行着指定用户的生理数据的接收，进而获得与此多媒体数据相配合的生理数据。

生理数据用于描述指定用户在输入多媒体数据时的生理状况，例如心率状况。

随着服务器进行指定用户多媒体数据的接收，也将接收到指定用户的生理数据，也就是说，对于一多媒体交互而言，服务器所接收的多媒体数据和生理数据都是对应于指定用户的。随着多媒体交互的持续进行，如果未停止多媒体数据以及生理数据的获得，则在正常情况下，服务器中多媒体数据和生理数据的接收都是持续进行的，直至指定用户结束发言，或者多媒体交互终止。

在一个示例性实施例中，多媒体交互包括视频直播。则生理数据是与所产生的视频直播图像相配合的，将反映指定用户在录制此视频直播图像时的生理状况。

在此，应当理解，视频直播的执行主体可以是任意类型的用户终端，例如，智能手机等便携移动设备，配合了摄像头的电脑终端等。

对于智能手机等便携移动设备，将通过前置摄像头实现视频直播图像所对应媒体数据的采集，并通过所配置的硬件采集并处理而获得生理数据。由此即可经由发起视频直播而与服务器建立的连接将多媒体数据和生理数据上传至服务器。

在步骤350中，向至少一个第二用户终端发送多媒体数据和指定用户的生理数据。

其中，根据后台的实现架构，以及第二用户终端中生理状况呈现的具体实现，多媒体数据和生理数据发送的实现各有不同。在一个示例性实施例的具体实现中，可以是将多媒体数据和生理数据融合在一起进行发送，也可以是以心率信息传输信令，还可以是其它形式，在此不进行限定。

相对于从第一用户终端所进行的多媒体数据和生理数据接收，后台，即服务器侧即可将此生理数据随着所配合的多媒体数据分发至参与多媒体交互的其它用户所在用户终端，即第二用户终端，进而实现多媒体交互中指定用户生理状况的显示。

进一步说明的，多媒体交互中，向至少一个第二用户终端分发生理数据，以便于第二用户终端在输出多媒体数据的过程中，同步显示生理状况，为多媒体数据所输出多媒体内容的摄取提供辅助。

不同用户，对于同一输出多媒体内容的关注点各不相同，而对于指定用户所进行的多媒体内容传递而言，其内容输出新增了生理状况这一维度，并且生理状况往往是与指定用户所需要向其他用户输出的多媒体内容密切相关的，因此将起到导向的作用，在增强内容丰富性的基础上，保障了多媒体内容传递的准确性和有效性。

在步骤370中，在至少一个第二用户终端上显示多媒体数据和指定用户的生理数据。

其中，如前所述的，第二用户终端是多媒体交互中多媒体数据和生理数据的接收端，第一用户终端与第二用户终端之间的关系，是一对多的关系，或者一对一的关系。多媒体交互中，随着对第一用户终端的多媒体数据和生理数据的分发，而使得每一第二用户终端获得多媒体数据和生理数据，进而为指定用户在此第二用户终端显示多媒体数据和生理数据。

至此，随着第一用户终端对于显示用户生理数据选择的进行，而实现了所对应多媒体交互中多媒体数据和生理数据的获得与其在第二用户终端的显示，使得当前多媒体交互的实现被触发多媒体内容发布以及生理状况同步显示的功能。

在步骤380中，检测第一用户终端用户生理数据的变化。

其中，在通过前述步骤发起了多媒体交互中多媒体内容发布以及生理状况同步显示的触发之后，生理数据被后台的服务器以及第二用户终端所获得。对于后台的实现以及第二用户终端而言，将持续进行着生理数据变化的检测，以使得后台的服务器以及第二用户终端能够在获得第一用户终端所发布多媒体内容的同时，也能够获得与之对应的生理数据。

第一用户终端用户生理数据的变化检测，是在多媒体交互的进行中，从第一用户终端接收指定用户的生理数据，进而向至少一个第二用户终端发送的过程。此过程，是伴随着第一用户终端的多媒体数据发送至第二用户终端的过程进行的。

从第一用户终端持续进行着指定用户生理数据的接收，与此相对应的，持续向至少一个第二用户终端发送指定用户的生理数据，便实现了第一用户终端用户生理数据变化的检测。

在步骤390中，在至少一个第二用户终端上显示多媒体数据和指定用户的生理变化数据。

其中，发起指定用户生理数据所相关的显示之后，在第一用户终端以及后台，即所部署服务器的配合下，在至少一个第二用户终端持续进行着多媒体数据和指定用户的生理数据显示，此阶段所进行的指定用户生理数据显示即为指定用户的生理变化数据显示。

步骤310至步骤370的执行是多媒体交互中初步实现指定用户生理状况的发布。步骤380至步骤390的执行，相对于步骤310至步骤370的执行而言，是触发第一用户终端对于显示用户生理数据选择之后持续进行直至多媒体交互结束的传输及显示控制过程。

对于多媒体交互所实现用户之间的互动而言，生理状况同步得以在多媒体交互中实现，增强了用户之间的互动性能，也提高了多媒体互动的个性化程度。

图4是根据图3对应实施例示出的对步骤330的细节进行描述的流程图。在一个示例性实施例中，该步骤330，如图4所示，至少包括以下步骤。

在步骤331中，第一用户终端为所发起的多媒体交互进行多媒体数据采集和上传中，获取指定用户的生理检测输入信息。

其中，多媒体数据采集和上传都是在发起的多媒体交互中进行的。例如，视频直播中在主播操控下进行的拍摄，都进行着多媒体数据采集和上传的过程。在所进行的多媒体数据采集和上传中，也都进行的生理检测输入信息的获取，进而也将其上传至服务器。

在此将以视频直播，且生理数据为心率数据为例进行详细说明。生理检测输入信息即为心率检测输入信息，视频直播在用户侧的实现，对于身份为主播的用户而言，其作为本发明所述的指定用户，并且为用户终端授予了同时开启前置摄像头和后置摄像头的权限。

用户终端的视频直播实现中，界面上配置有直播数据采集按钮和心跳测量按钮，监听到直播数据采集按钮的触发便开始进行视频直播，前置摄像头采集视频数据，对其进行视频编码以压缩成可观看可传输的视频流，此时即可通过网络通道给服务器，此过程，即为多媒体数据的采集和上传过程，借由此过程实现服务器中多媒体数据的发布。

在视频直播中，监听到所配置心跳测量按钮被触发，此时，将调用用户终端的摄像头接口，以用于获取拍摄图像，与此同时，后置摄像头也被开启，进而获取后置摄像头所拍摄的图像，得到描述主播心率状况的图像序列，此图像序列即为心率检测输入信息。

后置摄像头进行拍摄而获得搭配主播心率状况的图像序列，是对放置于后置摄像头上的主播手指进行拍摄的过程。在一个示例性实施例的具体实现中，此过程被执行之前，还将检测指尖是否遮挡后置摄像头，如果未遮挡，则提示框进行提示。

进一步的，将以所拍摄图像中像素点在RGB颜色空间中的R通道颜色分量总和为依据进行判断。判断其数值是否小于设定的阈值，如果为是，则确定指尖并未遮挡后置摄像头，需要对此进行用户提示，直至确认指尖遮挡了后置摄像头之后方可进行图像序列的采集。

在步骤333中，通过生理检测输入信息获得指定用户的生理数据。

其中，生理检测输入信息是指定用户所在用户终端中为生理检测而配置的硬件输出的原始信息，因此，根据所采集生理检测输入信息的硬件的不同，生理检测输入信息的形式也各不相同。

在一个示例性实施例的具体实现中，以心率检测输入信息形式存在的生理检测输入信息，携带了心率值和/或心率波形数据。采集心率检测输入信息的硬件为智能硬件，例如智能手表、智能手环。

在另一个示例性实施例的具体实现中，心率检测输入信息是描述指定用户心率状况的图像序列，图像序列中，连续的图像便反映了指定用户的心率状况。采集心率检测输入信息的硬件为一摄像头，例如，指定用户所使用用户终端，即第一用户终端的后置摄像头，其对指定用户的手指进行连续拍摄即可采集得到心率检测输入信息。

由于根据所采集心率检测输入信息的硬件的不同，所采集心率检测输入信息的形式也各不相同，进而通过心率检测输入信息获得生理数据中心率数据的执行过程也各不相同。

对于携带了心率值和/或心率波形数据的心率检测输入信息而言，直接从此心率检测输入信息中提取相应的字段即可获得心率值和/或心率波形数据，所获得的心率值和/或心率波形数据便形成了指定用户的心率数据。

而在心率检测输入信息是描述指定用户心率状况的图像序列这一情况下，则需要对此心率检测输入信息执行摄像头心率检测算法来获得指定用户的心率数据。此过程是对图像序列中每一帧图像进行处理获得心率值和/或心率波形的实现过程。

第一用户终端为自身多媒体交互的实现获得对应于媒体数据的心率数据之后，即可将其上传至服务器，，以便于在服务器的控制下实现参与多媒体交互的其他用户所在用户终端，即第二用户终端上的功能实现。

图5是根据图4对应实施例示出的步骤331的细节进行描述的流程图。生理数据为心率数据，生理检测输入信息是描述指定用户心率状况的图像序列，该步骤331，如图5所示，至少包括以下步骤。

在步骤3311中，第一用户终端发起多媒体交互而持续进行多媒体数据采集和上传中，控制第一用户终端中后置摄像头开启。

其中，生理检测输入信息，即为心率检测输入信息。多媒体交互的发起便触发进行多媒体数据的采集和上传。在此前期媒体数据的采集和上传中，随着监听到用户触发检测心率的操作而控制第一用户终端中后置摄像头的开启。

在步骤3313中，通过开启的后置摄像头，对置于后置摄像头的指定用户手指进行图像采集，获得描述指定用户心率状况的图像序列。

其中，在第一用户终端进行指定用户的多媒体数据采集和上传中，也通过开启的后置摄像头对指定用户的指定进行图像采集，以获得图像序列，进而方能够通过图像序列中的图像获知由于心脏跳动而发生的变化。

进一步的，在此步骤3313的执行之前，还将进行如前所述的指尖是否遮挡后置摄像头的判断，以在确认后置摄像头被指尖所遮挡之后执行步骤3313，如果获知指尖并未遮挡后置摄像头，则需要对此进行提示，并等待后置摄像头上指尖遮挡的发生。

通过此示例性实施例，在第一用户终端中实现了前置摄像头和后置摄像头的同时工作，进而应用于在硬件上支持同时开启前后摄像头的用户终端，提高第一用户终端中硬件的利用率，并借助于硬件上的支持优化多媒体交互的实现。

图6是根据图4对应实施例示出的步骤333的细节进行描述的流程图。在一个示例性实施例中，该步骤333，如图6所示，至少包括以下步骤。

在步骤3331中，对图像序列中的每一帧图像，通过进行特征值计算获得心率信号值，图像序列中所有图像分别对应的心率信号值形成信号序列。

其中，如前所述的，生理检测输入信息，实质即为心率检测输入信息，是由指定用户所使用用户终端的摄像头对指定用户的手指采集得到的图像序列，图像序列中图像之间的变化是随着心脏跳动发生的，因此，本发明所进行的心率输入信息的采集简单易行且精确性高。

图像序列中的每一帧图像，是按照时间先后顺序排列的，图像中伴随心脏跳动而发生的变化由指定的特征值表征。具体的，在图像序列中随着心脏跳动成周期性变化的是每一帧图像的光强度，因此，将以图像中反映图像的光强度的数值来作为特征值，进而进行此特征值的计算得到心率信号值。

也就是说，将所计算得到的特征值作为心率信号值，以此类推，所有图像分别对应的心率信号值便形成了信号序列。

在一个性实施例的具体实现中，光强度在图像中可以通过灰度值反映，因此，根据图像中的灰度值计算得到此图像的特征值，以此图像的特征值作为心率信号值。例如，可以计算每一帧图像的所有像素灰度值之和，所获得的数值即为心率信号值。

在步骤3333中，进行信号序列的处理获得指定用户的生理数据，生理数据包括心率值和/或心率波形数据。

其中，所指的信号序列的处理包括基线漂移处理，除此之外，还至少包括傅立叶变换和信号序列翻转中的至少一种处理方式，以获得心率值和/或心率波形数据。

心率值是对应于一心率采集点的，心率波形数据则指示了一时间长度上的心率变化。心率显示数据包括了心率值和/或心率波形数据两大内容，以心率显示数据中内容的不同，所呈现的形式也各不相同。

具体的，对于连续采集得到图像所获得心率信号值形成的信号序列，首先作基线漂移处理。

基线漂移处理是指由于被测对象，即指定用户的呼吸或者轻微抖动等低频干扰产生频率小于5赫兹的噪声，而在实际测量中，获取到的信号值，即心率信号值会偏离正常的基线位置，出现上下缓慢波动的变化现象。

在一个示例性实施例的具体实现中，针对每一心率信号值，取该点心率信号值前一段固定长度心率信号值的中值作为漂移量，用所针对的心率信号值减去此漂移量，即可得到去除了漂移量的信号值。

以此类推，信号序列中的每一心率信号值都进行如上处理，最终得到去除基线漂移的信号序列。

对于去除基线漂移的信号序列，根据需求，一方面进行傅立叶变换以获得心率值，另一方面进行信号序列翻转获得心率波形数据。

将去除基线漂移的信号序列进行快速傅立叶变换，取变换后的峰值，即获取到心率值，此心率值将被分发给多媒体互动中的其他用户，进而实时展示在其界面上。

此外，也对去除基线漂移的信号序列进行翻转，得到心率波形数据，心率波形数据将被分发给多媒体互动中的其他用户，并实时绘制在其界面上，实现心率波形图的实时展示。

在此应当补充说明的是，信号序列需要翻转是由于作为特征值，即心率集值的灰度值中白色值为255，黑色值为0，在每次心脏跳动时，图像颜色变深会导致平均灰度值减小，使得计算中心率波形图像导数为负值，即心率波形图像中绘制的心率波形为下降趋势，这与心电监护所涉及的图像不相符，故需要通过信号序列翻转实现优化。

在另一个示例性实施例中，步骤333之后，图4所示的步骤330还包括以下步骤。

将指定用户的生理数据与多媒体数据一并进行编码获得包括生理数据的多媒体数据流。

其中，多媒体数据流实现多媒体交互中信息传递的载体，因此，所进行的无论何种多媒体交互，多媒体数据都被编码形成多媒体数据流。通过此多媒体数据流向其他用户的传输，即可在第二用户终端上实现流式数据的输出，例如，视频流的播放，保证多媒体交互的顺畅性。

在此基础上将生理数据与多媒体数据一起进行编码，以对应于融合了生理参数和/或生理波形，例如心率值和/或心率波形显示的多媒体交互图像，接收此多媒体数据流的第二用户终端直接进行加载渲染和显示即可，保证了实现的简易性。

在一个示例性实施例的具体实现中，后台服务器的实现包括了推流服务器。所获得的多媒体数据流，被上传到推流服务器，推流服务器进行渲染，进而将渲染后以视频流形式存在的多媒体数据流下发给第二用户终端。

通过此实例性实施例，使得生理数据与其所对应的多媒体数据融合一体，进而直接对此进行渲染就能够获得配合了生理状况显示的多媒体交互图像，在新增维度的同时，也不会影响原有的多媒体交互的实现。

在另一个示例性实施例中，图3对应实施例中的步骤370，包括：将指定用户的生理数据以生理信息传输信令的形式下发到至少一个第二用户终端，为第二用户终端传入所显示的指定用户生理数据。

其中，传输信令，用于实现交互中控制指令的传输，而对于多媒体交互中生理状况呈现功能的引入，借助于传输信令来实现生理数据的传输，在有效保障此传输的实时性和可靠性的基础上，还保障了原有多媒体交互功能不会由此受到干扰。

所获得的生理数据将与多媒体数据分离，二者分别通过不同的方式传输至第二用户终端。

传输通道，即服务器配合所实现的传输中，为实现信令的传输，往往存在着信令服务器，以为信令的传输提供专有通道。

因此，与之相类似的，所生成的生理信息传输信令被上传至信令服务器，由信令服务器下发给其他用户。此时，在其他用户所对应的第二用户终端上，将生理信息传输信令所携带的生理数据进行渲染，并以浮层的形式展示。

图7是根据另一示例性实施例示出的一种多媒体交互中的控制方法的流程图。在另一示例性实施例中，如图7所示，该多媒体交互中的控制方法，还包括以下步骤。

在步骤410中，接收第二用户终端对指定用户的多媒体交互接入选择，建立第二用户终端与第一用户终端之间的多媒体交互。

其中，对于用户侧的任一用户，都能够通过第二用户终端对指定用户的多媒体交互接入选择而接入某一用户发起的多媒体交互。随着任一用户在其所使用的第二用户终端触发进入一多媒体交互，便生成相应对指定用户的多媒体交互接入选择进而使得本发明所实现的逻辑建立第二用户终端与第一用户终端之间的多媒体交互。

在步骤430中，在多媒体交互的多媒体数据传输中，接收包括指定用户生理数据或生理变化数据的多媒体数据流或生理信息传输信令，多媒体数据流或生理信息传输信令包括的指定用户生理数据用于第二用户终端的指定用户生理数据或生理变化数据显示。

其中，在对指定用户的多媒体交互接入选择下，第二用户终端经由所部署服务器的中转进入指定的多媒体交互，也就是说，第二用户终端将为此用户执行所指定多媒体交互的跳转进入。例如，在视频直播中，用户将跳转进入一主播所在的房间。

第二用户终端随着多媒体交互的接入，便在多媒体数据的传输中接收借由多媒体数据流而传输的生理数据，或者生理信息传输信令。

多媒体交互中，所指的多媒体数据传输，是指服务器向第二用户终端传输多媒体数据的过程，生理数据是与多媒体数据相配合，并且随着多媒体数据的传输而被发送至第二用户终端的。

由此，多媒体数据可以生理数据相融合，进而都在多媒体数据流的作用下实现传输，除此之外，也可以相互独立，自行实现传输，例如，生理数据独立于多媒体数据，通过生理信息传输信令的方式传输。

第二用户终端在接收到多媒体交互中指定用户的生理数据之后，执行画面渲染，以便于输出指定用户在多媒体交互中的生理状况。所进行的画面渲染，一种情况是进行包括整个多媒体交互图像的画面渲染，指定用户在多媒体交互中的生理状况被融合于整个多媒体交互图像中；另一种情况则是在一浮层上实现的画面渲染，此时将仅涉及生理参数以及生理波形的画面渲染。

通过此示例性实施例，实现了任意用户在多媒体交互中获得向指定用户测量的生理情况，以此为依据推进多媒体交互，使得多媒体交互能够传递更为丰富的内容。

图8是根据图7对应实施例示出的在至少一个第二用户终端上显示指定用户的生理数据或生理变化数据步骤的细节进行描述的流程图。图7对应实施例中包括指定用户生理数据或生理变化数据的多媒体数据被被接收，则如图8所示的，在一个示例性实施例中，步骤370和步骤390所涉及在至少一个第二用户终端上显示指定用户的生理数据或生理变化数据，至少包括以下步骤。

在步骤501中，对包括指定用户的生理数据或生理变化数据的多媒体数据流进行画面渲染，获得包含生理参数和/或生理波形数据的媒体交互图像序列。

其中，如前所述的，对融合了多媒体数据、生理数据或生理变化数据的多媒体数据流，其是视频流，由此而进行的画面渲染便生成了一系列媒体交互图像，其所包含的内容便是多媒体交互中传递的信息以及生理变化情况。

在步骤503中，在多媒体交互界面进行所获得媒体交互图像序列中图像的切换，所切换的图像呈现了所述指定用户的生理参数和/或生理波形数据。

其中，通过多媒体交互图像序列中图像，即多媒体交互图像的切换，实现了动态展示。具体而言，多媒体交互图像是作为一帧图像，以此来实现融合了生理变化信息的视频播放。

图9是根据图7所示实施例示出的对在至少一个第二用户终端上显示指定用户的生理数据或生理变化数据步骤的细节进行描述的流程图。在一个示例性实施例中，图7对应实施例中包括指定用户生理数据或生理变化数据的生理信息传输信令被接收，如图9所示，步骤370和步骤390所涉及在在至少一个第二用户终端上显示指定用户的生理数据或生理变化数据，至少包括以下步骤。

在步骤601中，提取心率信息传输信令中携带的生理数据或生理变化数据。

在步骤603中，将生理数据或生理变化数据渲染至多媒体交互界面的浮层上，在浮层进行所述指定用户在多媒体交互中生理状况的呈现。

其中，对于以信令形式传输的生理数据而言，生理数据将作为信令中的字段而被信令携带并传输至第二用户终端。

多媒体交互中，第二用户终端进行着多媒体交互界面的显示，在此多媒体交互界面上通过所配置的浮层实现生理状况以及所发生变化的显示。

通过如上所述的示例性实施例，实现了多媒体交互中指定用户测量生理状况进而在其他用户侧，即第二用户终端实现显示的过程。

以视频直播中心跳测量的实现为例，结合具体应用，描述如上所述的方法。应当首先进行说明的是，基于本发明所实现的视频直播，对于指定用户、服务器以及其他用户的交互而言，应当分为两种路径，一是指定用户所在第一用户终端采集视频计算心率，并由后台服务器的渲染组件执行视频编码，最后在推流服务器的作用下向其他用户所在第二用户终端中运行的视频直播App和/或视频直播Web下发，图10是根据一示例性实施例示出的推流服务器介入下的系统实现示意简图。

在此系统实现中，视频直播App 610和视频直播Web 630，都是视频直播在用户终端的实现形式，并不限于指定用户侧还是其他用户侧。

二则是采集视频计算心率之后经由信令服务器实现心率显示数据的传输，进而将其下发，图11是根据一示例性实施例示出的信令服务器介入下的系统实现示意简图，心率数据经由信令服务器下发至视频直播App 610和/或视频直播Web 630之后，通过所配置的渲染组件650实现视频直播App 610和/或视频直播Web 630界面上浮层的画面渲染。

通过此系统实现了结合用户心率的直播互动过程，为主播增加直播过程中的趣味性，更能刺激用户与主播进行互动。

对于作为主播的用户而言，其可一边进行直播，一边监测自己的心率，实时在直播过程中看到自己的心率变化，从而进行更为丰富的直播互动。

具体的，图12是根据一示例性实施例示出的视频直播中的应用示意图。如图12所示的，主播所在用户终端710中，进行着前后摄像头以及麦克风的输入，以获得用以实现视频直播的多媒体数据，以及测量心跳所获得的心率数据，并传输至服务器730。

对于服务器730而言，其会向房间内所有用户分发多媒体数据和心率数据，而任意用户也可以在服务器730的控制下进入房间，实现此房间中直播视频以及主播心率变化的观看。

图13是根据一示例性实施例示出的主播发起视频直播之初的界面示意图，此时，还未开启心跳测量，故仅仅是单一的视频直播图像。

图14是图13所对应实施例示出的主播开启心跳测量之后的界面示意图。随着主播手指在后置摄像头和闪光灯上放置，即可获得心率值和心电波形图并呈现在直播界面上，如图14中框选的区域810所示。

对于主播所在用户终端710通过后置摄像头拍摄指尖的图像序列，以及心率显示数据的获得，可以通过图15所示的摄像头心率检测算法实现。

图15是根据一示例性实施例示出的摄像头心率检测算法的实现示意图。后置摄像头和闪光灯被打开之后，执行步骤910，调用摄像头接口中降低采样范围之后再进行图像采集，以降低数据计算量，获得描述心率变化的图像序列。

针对于图像序列中的每一帧图像，进行特征值的计算，即执行步骤930，获得此帧图像的心率值信号序列，进而获得信号序列。

对信号序列进行去基线漂移处理，并由傅立叶变换计算心率值，获得到界面所显示的心率值，如步骤950至步骤960所示的。

完成去基线漂移处理之后，也进行信号序列的翻转，如步骤970所示，以便于在界面绘制心率波形图。

下述为本发明装置实施例，可以用于执行本发明上述实现多媒体交互中的控制方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明实现多媒体交互中的控制方法实施例。

图16是根据一示例性实施例示出的一种多媒体交互中的控制装置的框图。该多媒体交互中的控制装置，如图16所示，包括但不限于：选择接收模块1010、数据接收模块1020、数据发送模块1030、数据显示模块1040、变化检测模块1050和变化显示模块1060。

选择接收模块1010，用于接收第一用户终端对于显示用户生理数据的选择。

数据接收模块1020，用于在第一用户终端发布多媒体数据时，从第一用户终端接收所述指定用户的生理数据。

数据发送模块1030，用于向至少一个第二用户终端发送多媒体数据和指定用户的生理数据。

数据显示模块1040，用于在至少一个第二用户终端上显示多媒体数据和指定用户的生理数据。

变化检测模块1050，用于检测第一用户终端用户生理数据的变化。

变化显示模块1060，用于在至少一个第二用户终端上显示多媒体数据和指定用户的生理变化数据。

图17是根据图16对应实施例示出的对数据接收模块的细节进行描述的框图。该数据接收模块1020，如图17所示，至少包括：输入信息获取单元1021和生理数据生成单元1023。

输入信息获取单元1021，用于第一用户终端为所发起的多媒体交互进行多媒体数据采集和上传中，获取指定用户的生理检测输入信息。

生理数据生成单元1023，用于通过生理检测输入信息获得指定用户的生理数据。

图18是根据图17对应实施例示出的对输入信息获取单元的细节进行描述的框图。生理数据为心率数据，生理检测输入信息是描述指定用户心率状况的图像序列，该输入信息获取单元1021，如图18所示，至少包括：后置摄像头控制单元1101和后置摄像头采集控制单元1103。

后置摄像头控制单元1101，用于第一用户终端发起多媒体交互而持续进行多媒体数据采集和上传中，控制第一用户终端中后置摄像头开启。

后置摄像头采集控制单元1103，用于通过开启的后置摄像头，对置于后置摄像头的指定用户手指进行图像采集，获得描述指定用户心率状况的图像序列。

图19是根据图17对应实施例示出的对生理数据生成单元的细节进行描述的框图。该生理数据生成单元1023，如图19所示，至少包括：图像序列处理单元1201和信号序列处理单元1203。

图像序列处理单元1201，用于对图像序列中的每一帧图像，通过进行特征值计算获得心率信号值，图像序列中所有图像分别对应的心率信号值形成信号序列。

信号序列处理单元1203，用于进行信号序列的处理获得指定用户的生理数据，生理数据包括心率值和/或心率波形数据。

在另一个示例性实施例中，数据接收模块1020进一步用于将指定用户的生理数据与多媒体数据一并进行编码获得包括生理数据的多媒体数据流。

在另一个示例性实施例中，数据发送模块1030进一步用于将指定用户的生理数据以生理信息传输信令的形式下发到至少一个第二用户终端，为第二用户终端传入所显示的指定用户生理数据。

图20是根据另一示例性实施例示出的一种多媒体交互中的控制装置的框图。该多媒体交互中的控制装置，如图20所示，还包括但不限于：交互建立模块1310和交互接收模块1330。

交互建立模块1310，用于接收第二用户终端对指定用户的多媒体交互接入选择，建立第二用户终端与第一用户终端之间的多媒体交互。

交互接收模块1330，用于在多媒体交互的多媒体数据传输中，接收包括指定用户生理数据或生理变化数据的多媒体数据流或生理信息传输信令，多媒体数据流或生理信息传输信令包括的指定用户生理数据用于第二用户终端的指定用户生理数据或生理变化数据显示。

图21是根据图20对应实施例示出的对数据显示模块和变化显示模块的细节进行描述的框图。包括指定用户生理数据或生理变化数据的多媒体数据流被接收，如图21所示，数据显示模块1040和变化显示模块1060，至少包括：画面渲染单元1401和图像切换单元1403。

画面渲染单元1401，用于对包括指定用户的生理数据或生理变化数据的多媒体数据流进行画面渲染，获得包含生理参数和/或生理波形数据的媒体交互图像序列。

图像切换单元1403，用于在多媒体交互界面进行所获得媒体交互图像序列中图像的切换，所切换的图像呈现了指定用户的生理参数和/或生理波形数据。

图22是根据图20对应实施例示出的对数据显示模块和变化显示模块的细节进行描述的框图。包括指定用户生理数据或生理变化数据的生理信息传输信令被接收，如图22所示，数据显示模块1040和变化显示模块1060至少包括：数据提取单元1501和浮层渲染单元1503。

数据提取单元1501，用于提取心率信息传输信令中携带的生理数据或生理变化数据。

浮层渲染单元1503，用于将生理数据或生理变化数据渲染至多媒体交互界面的浮层上，在浮层进行指定用户在多媒体交互中生理状况的呈现。

可选的，本发明还提供一种多媒体交互中的控制装置，执行图3、图4和图5、图6、图7、图8和图9任一所示的多媒体交互中的控制方法的全部或者部分步骤。所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行：

接收第一用户终端对于显示用户生理数据的选择；

在第一用户终端发布多媒体数据时，从第一用户终端接收所述指定用户的生理数据；

向至少一个第二用户终端发送多媒体数据和指定用户的生理数据；

在至少一个第二用户终端上显示多媒体数据和指定用户的生理数据；

检测第一用户终端用户生理数据的变化；

在至少一个第二用户终端上显示多媒体数据和指定用户的生理变化数据。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器204，上述指令可由装置200的处理器218执行以完成上述多媒体交互中的传输、终端控制方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (15)

1.一种多媒体交互中的控制方法，其特征在于，所述方法包括：

接收用于发布多媒体数据的第一用户终端对于显示指定用户的生理数据的选择，所述指定用户是进行多媒体数据发布的用户；

在接收所述第一用户终端发布的多媒体数据时，从所述第一用户终端接收所述指定用户的生理数据；

向至少一个第二用户终端发送接收到的多媒体数据和所述指定用户的生理数据；

在至少一个第二用户终端上显示所述多媒体数据和所述指定用户的生理数据；

检测所述指定用户的生理数据的变化，得到生理变化数据；

在所述至少一个第二用户终端上持续显示接收到的多媒体数据和所述指定用户的生理变化数据。

2.根据权利要求1所述的方法，其特征在于，所述在接收所述第一用户终端发布的多媒体数据时，从所述第一用户终端接收所述指定用户的生理数据，包括：

在所述第一用户终端为所发起的多媒体交互进行多媒体数据采集和上传中，获取所述指定用户的生理检测输入信息；

通过所述生理检测输入信息获得所述指定用户的生理数据。

3.根据权利要求2所述的方法，其特征在于，所述生理数据为心率数据，所述生理检测输入信息是描述指定用户心率状况的图像序列，所述在所述第一用户终端为所发起的多媒体交互进行多媒体数据采集和上传中，获取所述指定用户的生理检测输入信息，包括：

在所述第一用户终端发起多媒体交互而持续进行多媒体数据采集和上传中，控制所述第一用户终端中后置摄像头开启；

通过开启的所述后置摄像头，对置于所述后置摄像头的采集区域内的指定用户手指进行图像采集，获得描述所述指定用户心率状况的图像序列。

4.根据权利要求3所述的方法，其特征在于，所述通过所述生理检测输入信息获得所述指定用户的生理数据，包括：

对所述图像序列中的每一帧图像，通过进行特征值计算获得心率信号值，所述图像序列中所有图像分别对应的心率信号值形成信号序列；

进行所述信号序列的处理获得所述指定用户的生理数据，所述生理数据包括心率值和/或心率波形数据。

5.根据权利要求3所述的方法，其特征在于，所述通过所述生理检测输入信息获得所述指定用户的生理数据之后，

所述在接收所述第一用户终端发布的多媒体数据时，从所述第一用户终端接收所述指定用户的生理数据，还包括：

将所述指定用户的生理数据与接收到的多媒体数据一并进行编码获得包括所述生理数据的多媒体数据流。

6.根据权利要求1所述的方法，其特征在于，所述向至少一个第二用户终端发送接收到的多媒体数据和所述指定用户的生理数据，包括：

将所述指定用户的生理数据以生理信息传输信令的形式下发到至少一个第二用户终端，为所述第二用户终端传入所显示的指定用户的生理数据。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收第二用户终端对所述指定用户的多媒体交互接入选择，建立所述第二用户终端与所述第一用户终端之间的多媒体交互；

在所述多媒体交互的多媒体数据传输中，接收包括指定用户的生理数据或生理变化数据的多媒体数据流或生理信息传输信令，所述多媒体数据流或生理信息传输信令包括的指定用户生理数据用于所述第二用户终端的指定用户的生理数据或生理变化数据显示。

8.根据权利要求7所述的方法，其特征在于，在至少一个第二用户终端上显示所述指定用户的生理数据或生理变化数据，包括：

对包括指定用户的生理数据或生理变化数据的多媒体数据流进行画面渲染，获得包含生理参数和/或生理波形数据的媒体交互图像序列；

在多媒体交互界面进行所获得媒体交互图像序列中图像的切换，所切换的图像呈现了所述指定用户的生理参数和/或生理波形数据。

9.根据权利要求7所述的方法，其特征在于，在至少一个第二用户终端上显示所述指定用户的生理数据或生理变化数据，包括：

提取生理信息传输信令中携带的生理数据或生理变化数据；

将所述生理数据或生理变化数据渲染至多媒体交互界面的浮层上，在所述浮层进行所述指定用户在所述多媒体交互中生理状况的呈现。

10.一种多媒体交互中的控制装置，其特征在于，所述装置包括：

选择接收模块，用于接收用于发布多媒体数据的第一用户终端对于显示指定用户的生理数据的选择，所述指定用户是进行多媒体数据发布的用户；

数据接收模块，用于在接收所述第一用户终端发布的多媒体数据时，从所述第一用户终端接收所述指定用户的生理数据；

数据发送模块，用于向至少一个第二用户终端发送接收到的多媒体数据和所述指定用户的生理数据；

数据显示模块，用于在至少一个第二用户终端上显示所述多媒体数据和所述指定用户的生理数据；

变化检测模块，用于检测所述指定用户的生理数据的变化，得到生理变化数据；

变化显示模块，用于在所述至少一个第二用户终端上持续显示接收到的多媒体数据和所述指定用户的生理变化数据。

11.根据权利要求10所述的装置，其特征在于，所述数据接收模块，包括：

输入信息获取单元，用于在所述第一用户终端为所发起的多媒体交互进行多媒体数据采集和上传中，获取所述指定用户的生理检测输入信息；

生理数据生成单元，用于通过所述生理检测输入信息获得所述指定用户的生理数据。

12.根据权利要求11所述的装置，其特征在于，所述生理数据为心率数据，所述生理检测输入信息是描述指定用户心率状况的图像序列，所述输入信息获取单元包括：

后置摄像头控制单元，用于在所述第一用户终端发起多媒体交互而持续进行多媒体数据采集和上传中，控制所述第一用户终端中后置摄像头开启；

后置摄像头采集控制单元，用于通过开启的所述后置摄像头，对置于所述后置摄像头的采集区域内的指定用户手指进行图像采集，获得描述所述指定用户心率状况的图像序列。

13.根据权利要求12所述的装置，其特征在于，所述生理数据生成单元，包括：

图像序列处理单元，用于对所述图像序列中的每一帧图像，通过进行特征值计算获得心率信号值，所述图像序列中所有图像分别对应的心率信号值形成信号序列；

信号序列处理单元，用于进行所述信号序列的处理获得所述指定用户的生理数据，所述生理数据包括心率值和/或心率波形数据。

14.一种多媒体交互中的控制装置，其特征在于，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至9中任一项所述的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至9中任一项所述的方法。

Images