JP2023502844A

JP2023502844A - 複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器、並びにコンピュータプログラム

Info

Publication number: JP2023502844A
Application number: JP2022519176A
Authority: JP
Inventors: ホアン，リィウウエン
Original assignee: テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date: 2020-01-16
Filing date: 2020-06-18
Publication date: 2023-01-26
Anticipated expiration: 2040-06-18
Also published as: US11431770B2; US20210227005A1; JP7377352B2

Abstract

本開示は、複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器を提供する。前記方法は、第１の数の第１のマルチメディアデータストリームを取得するステップと、前記第１の数の前記第１のマルチメディアデータストリームを、前記第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合するステップと、受信者端末が対応するマルチメディアを提示するように、前記第２の数の前記第２のマルチメディアデータストリームを前記受信者端末に送信するステップとを含む。本開示の実施例は、複数メンバーでのインスタントメッセージングのプロセスにおける受信者端末との互換性を向上させることができる。

Description

本開示は、２０２０年０１月１６日に提出した、出願番号が２０２０１００４８０１２．７であって、発明の名称が「複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器」である中国特許出願の優先権を主張し、その全内容を援用により本出願に組み込む。

本開示は、インスタントメッセージングの分野に関し、具体的に、複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器に関する。

情報技術の急速な発展に伴い、複数メンバーでのインスタントメッセージングがますます広く適用されている。通信規模の拡大と、同じインスタントメッセージングルームに同時に参加するユーザーの数の増加に伴い、従来技術は、複数メンバーでのインスタントメッセージングでは、受信者の条件が様々であり、従来技術における複数メンバーでの技術通信は、受信者との互換性が低いため、一部の受信者に十分に良好なサービスを提供することができないという問題を明らかにする。

本開示の１つの目的は、複数メンバーでのインスタントメッセージングと受信者との互換性を向上させることができる複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器を提供することである。

本開示の実施例の一態様によれば、複数メンバーでのインスタントメッセージング方法を開示し、前記方法は、サーバーによって実行され、
第１の数の第１のマルチメディアデータストリームを取得するステップと、
前記第１の数の前記第１のマルチメディアデータストリームを、前記第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合するステップと、
受信者端末が対応するマルチメディアを提示するように、前記第２の数の前記第２のマルチメディアデータストリームを前記受信者端末に送信するステップと、を含む。

本開示の実施例の一態様によれば、複数メンバーでのインスタントメッセージングシステムを開示し、前記複数メンバーでのインスタントメッセージングシステムは、スケジューリングノードと、少なくとも２つの候補データ適応ノードとを含み、
前記スケジューリングノードは、前記少なくとも２つの候補データ適応ノードから、１つの候補データ適応ノードを、ターゲットデータ適応ノードとして選択するように配置され、
前記ターゲットデータ適応ノードは、第１の数の第１のマルチメディアデータストリームを取得し、前記第１の数の前記第１のマルチメディアデータストリームを前記第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合し、受信者端末が対応するマルチメディアを提示するように、前記第２の数の前記第２のマルチメディアデータストリームを前記受信者端末に送信するように配置される。

本開示の実施例の一態様によれば、複数メンバーでのインスタントメッセージング装置を開示し、
第１の数の第１のマルチメディアデータストリームを取得するように配置される取得モジュールと、
前記第１の数の前記第１のマルチメディアデータストリームを、前記第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合するように配置される融合モジュールと、
受信者端末が対応するマルチメディアを提示するように、前記第２の数の前記第２のマルチメディアデータストリームを前記受信者端末に送信するように配置される送信モジュールと、を含む。

本開示の実施例の一態様によれば、複数メンバーでのインスタントメッセージング電子機器を開示し、コンピュータ可読命令を記憶するメモリと、メモリに記憶されたコンピュータ可読命令を読み取って上記の複数メンバーでのインスタントメッセージング方法を実行するプロセッサーと、を含む。

本開示の実施例の一態様によれば、コンピュータ可読記憶媒体を開示し、当該コンピュータ可読記憶媒体は、コンピュータ可読命令を記憶し、当該コンピュータ可読命令は、プロセッサーによって実行され、上記の複数メンバーでのインスタントメッセージング方法を実現する。

本開示の実施例では、複数メンバーでのインスタントメッセージングでは、各送信者によってそれぞれアップロードされた第１のマルチメディアデータストリームを取得した後、取得した第１のマルチメディアデータストリームを融合して、より少ない数の第２のマルチメディアデータストリームを取得し、第２のマルチメディアデータストリームを受信者端末に送信する。これにより、受信者端末がデータを受信する場合の帯域幅要件を低減し、受信者端末との互換性を向上させる。

本開示の他の特性及び利点は、以下の詳細な説明を通じて明らかになるか、又は本開示の実施を通じて部分的に学習される。

上記の一般的な説明及び以下の詳細な説明は、単なる例示であり、本開示を限定することはできないことを理解すべきである。

本開示についての上記の目的及び他の目的、特徴や利点は、添付の図面を参照しながら例示的な実施例を詳細に説明することによって、より明確になる。
本開示の一実施例による複数メンバーでのインスタントメッセージングの基本的なアーキテクチャ構成を示す。本開示の一実施例による複数メンバーでのインスタントメッセージングのアーキテクチャ構成を示す。本開示の一実施例による複数メンバーでのインスタントメッセージング方法のフローチャートを示す。本開示の一実施例による複数メンバーでのインスタントメッセージングシステムの構成を示す。本開示の一実施例によるブロックチェーンシステムの構成を示す。本開示の一実施例によるブロックチェーンシステムにおけるブロックの構成を示す。本開示の一実施例による１つの新しいブロックを生成するプロセスを示す。本開示の一実施例による複数メンバーでのインスタントメッセージングシステムの構成を示す。本開示の一実施例による複数メンバーでのインスタントメッセージングシステムの構成を示す。本開示の一実施例による複数メンバーでのインスタントメッセージングシステムの構成を示す。本開示の一実施例による複数メンバーでのインスタントメッセージングシステムのライブストリーミングシーンにおける初期処理手順を示す。本開示の一実施例による複数メンバーでのインスタントメッセージングシステムのライブストリーミングシーンにおけるストリームミキシングを申請する処理手順を示す。本開示の一実施例による複数メンバーでのインスタントメッセージングシステムのライブストリーミングシーンにおける視聴を申請する処理手順を示す。本開示の一実施例による複数メンバーでのインスタントメッセージングシステムのライブストリーミングシーンにおけるデータのアップリンク処理手順を示す。本開示の一実施例による複数メンバーでのインスタントメッセージングシステムのライブストリーミングシーンにおけるダデータのウンリンク処理手順を示す。本開示の一実施例による複数メンバーでのインスタントメッセージング装置のブロック図を示す。本開示の一実施例による複数メンバーでのインスタントメッセージング電子機器のハードウェア図を示す。

次に、例示的な実施形態を、添付の図面を参照してより完全に説明する。しかしながら、例示的な実施形態は、様々な形態で実施することができ、本明細書に記載された実施例に限定されると解釈されるべきではなく、逆に、これらの例示的な実施形態の提供により、本開示の説明は、より包括的かつ完全になり、例示的な実施形態の概念が当業者に十分に伝達される。図面は、本開示の概略図に過ぎず、必ずしも一定の縮尺で描かれているわけではない。図中の同じ符号は、同一又は類似の部分を示しているため、それらの重複する説明は、省略する。

また、記載される特徴、構造又は特性は、任意の適切な方式で１つ又は複数の例示的な実施形態に組み合わせることができる。以下の説明では、本開示の例示的な実施形態を十分に理解するために、多くの具体的な詳細を提供する。しかしながら、当業者は、本開示の技術案が１つ又は複数の前記特定の詳細なしで実施することができ、又は他の方法、コンポーネント、ステップなどを使用することができることを理解すべきである。他の場合には、本開示の各側面を不明瞭にすることを避けるために、既知の構造、方法、実現又は操作を詳細に示したり、説明したりしない。

図面に示されているブロック図の一部は、機能エンティティであり、必ずしも物理的又は論理的に独立したエンティティに対応するものではない。これらの機能エンティティは、ソフトウェアの形で実現されるか、１つ又は複数のハードウェアモジュール又は集積回路で実現されるか、異なるネットワーク及び／又はプロセッサー装置及び／又はマイクロコントローラ装置で実現される。

まず、本開示の実施例に係る概念を簡単に説明する。
第１のマルチメディアデータストリームとは、サーバーによってまだ処理されていないマルチメディアデータストリームを指す。
第２のマルチメディアデータストリームとは、サーバーによって融合され、受信者に送信されるマルチメディアデータストリームを指す。
オーディオミキシング処理とは、マルチチャネルのオーディオをミキシングするプロセスを指す。例えば、マルチチャネルのオーディオを１チャネルのオーディオにミキシングする。オーディオミキシング処理されたマルチチャネルのオーディオが受信者によって再生された後、このマルチチャネルのオーディオを受信者で同時に再生できる。
ビデオミキシング処理とは、マルチチャネルのビデオをミキシングするプロセスを指す。例えば、マルチチャネルのビデオを１チャネルのビデオにミキシングする。ビデオミキシング処理されたマルチチャネルのビデオが受信者によって再生された後、このマルチチャネルのビデオを同時に受信者のスクリーンに表示できる。例えば、４チャネルのビデオを１チャネルのビデオにミキシングし、この１チャネルのビデオが受信者によって再生された後、受信者のスクリーンに、４つのグリッドのレイアウト（具体的なレイアウトは、受信者によってカストマイズでき、例えば、受信者はビデオ表示テンプレートに関するパラメータを予め設定する）でこれらの４チャネルのビデオを同時に表示できる。

次に、図１及び図２を参照しながら本開示の実施例のアーキテクチャを説明する。

図１は、本開示の一実施例の基本的なアーキテクチャ構成として、サーバー１０及び第１のクライアント２０を示している。各第１のクライアント２０は、サーバー１０を介してマルチメディアデータストリームを送受信することで、複数メンバーでのインスタントメッセージングを実現する。なお、第１のクライアント２０のそれぞれは、送信者として機能し、自身によって収集、生成される第１のマルチメディアデータストリームをサーバー１０に送信することができる。第１のクライアント２０のそれぞれは、受信者として機能し、複数の第１のクライアント２０によって収集、生成される第１のマルチメディアデータストリームを融合した第２のマルチメディアデータストリームを、サーバー１０から受信することができる。具体的に、サーバー１０は、第１のクライアント２０のそれぞれによって送信された第１のマルチメディアデータストリームを受信することができ、受信した各第１のマルチメディアデータストリームを融合して、数が少なくなりより少ない帯域幅を占める第２のマルチメディアデータストリームを取得し、取得した第２のマルチメディアデータストリームを受信者に送信する。このようにして、受信者の帯域幅要件が軽減され、複数メンバーでのインスタントメッセージングにおける受信者との互換性が向上する。

例えば、複数メンバーでのビデオ会議では、５人の参加者全員がマルチメディア収集デバイス（例えば、マイク、カメラ）を使用して、自分のマルチメディアデータストリーム（例えば、自分の声を提示できるオーディオデータストリーム、自分の画像を提示できるビデオデータストリーム）をサーバーにアップロードする。サーバーは、５チャネルのマルチメディアデータストリームを受信する。サーバーは、これらの５チャネルのマルチメディアデータストリームを１チャネルのマルチメディアデータストリームに融合してから、この１チャネルのマルチメディアデータストリームを各参加者に送信する。これにより、各参加者は、５人の参加者全員がリアルタイムで表示したいマルチメディア（例えば、マルチメディアデータストリームに対応するビデオ、マルチメディアデータストリームに対応するオーディオ）を提示でき、この１チャネルのマルチメディアデータストリームを受信するだけで済む。

なお、この実施例は、単なる例示的な説明であり、本開示の機能及び使用範囲を限定するものではない。

図２は、本開示の一実施例のアーキテクチャ構成として、サーバー１０と、第１のクライアント２０と、第２のクライアント３０とを示している。各第１のクライアント２０は、サーバー１０を介してマルチメディアデータストリームを送受信し、各第２のクライアント３０は、サーバー１０を介してマルチメディアデータストリームを受信することで、複数メンバーでのインスタントメッセージングを実現する。なお、第１のクライアント２０のそれぞれは、送信者として機能し、自身によって収集、生成される第１のマルチメディアデータストリームをサーバー１０に送信することができる。第１のクライアント２０と第２のクライアント３０のそれぞれは、受信者として機能し、複数の第１のクライアント２０によって収集、生成される第１のマルチメディアデータストリームを融合した第２のマルチメディアデータストリームを、サーバー１０から受信することができる。具体的に、サーバー１０は、第１のクライアント２０のそれぞれによって送信された第１のマルチメディアデータストリームを受信することができ、受信した各第１のマルチメディアデータストリームを融合して、数が少なくなりより少ない帯域幅を占める第２のマルチメディアデータストリームを取得し、取得した第２のマルチメディアデータストリームを受信者に送信する。このようにして、受信者の帯域幅要件が軽減され、複数メンバーでのインスタントメッセージングにおける受信者との互換性が向上する。

例えば、複数人がライブストリーミングするシーンでは、５人のストリーマーが同じオンラインライブストリーミングルームに相次いで参加してライブストリーミングし、当該オンラインライブストリーミングルームには、１０００人の視聴者が当該ライブストリーミングを視聴する。ライブストリーミング中に、これらの５人のストリーマーのそれぞれは、オーディオ及びビデオ収集デバイス（マイク、カメラ）を介して自分のオーディオ及びビデオデータストリームをサーバーにアップロードする。サーバーは、５チャネルのオーディオ及びビデオデータストリームを受信する。サーバーは、これらの５チャネルのオーディオ及びビデオデータストリームを１チャネルのオーディオ及びビデオデータストリームに融合してから、この１チャネルのオーディオ及びビデオデータストリームを各ストリーマーや各視聴者に送信する。これにより、これらの５人のストリーマーとこれらの１０００人の視聴者は、５人のストリーマー全員のビデオを視聴し、５人のストリーマー全員のオーディオを聞くことができ、この１チャネルのオーディオ及びビデオデータストリームを受信して再生するだけで済む。

次に、本開示の実施例による複数メンバーでのインスタントメッセージング方法の具体的な実施手順を詳細に説明する。

図３に示すように、複数メンバーでのインスタントメッセージング方法であって、
第１の数の第１のマルチメディアデータストリームを取得するステップＳ４１０と、
前記第１の数の前記第１のマルチメディアデータストリームを、前記第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合するステップＳ４２０と、
受信者が対応するマルチメディアを提示するように、前記第２の数の前記第２のマルチメディアデータストリームを前記受信者に送信するステップＳ４３０と、を含む。

本開示の実施例では、複数メンバーでのインスタントメッセージングでは、各送信者によってそれぞれアップロードされた第１のマルチメディアデータストリームを取得した後、取得した第１のマルチメディアデータストリームを融合して、より少ない数の第２のマルチメディアデータストリームを取得し、第２のマルチメディアデータストリームを受信者に送信する。これにより、受信者がデータを受信する場合の帯域幅要件が軽減され、受信者との互換性を向上させる。

ステップＳ４１０では、第１の数の第１のマルチメディアデータストリームを取得する。

本開示の実施例では、複数メンバーでのインスタントメッセージングにおいて、送信者ごとに、サーバーは、少なくとも１つの対応する第１のマルチメディアデータストリームを受信する。例えば、複数メンバーでのビデオ会議では、参加者ごとに、サーバーは、当該参加者から送信された少なくとも１チャネルのマルチメディアデータストリームを受信する。

一実施例では、第１の数の第１のマルチメディアデータストリームを取得するステップは、当該第１の数の送信者のそれぞれと接続を確立した後、当該第１の数の送信者のそれぞれが対応する接続を介してアップロードした対応する第１のマルチメディアデータストリームを取得することを含む。

当該実施例では、各送信者は、対応する１つの第１のマルチメディアデータストリームをサーバーに送信する。具体的に、サーバーは、まず、複数メンバーでのインスタントメッセージングにおける第１の数の送信者のそれぞれと接続を確立する。接続を確立した後、対応する送信者は、収集、生成した第１のマルチメディアデータストリームをサーバーにリアルタイムでアップロードする。

例えば、複数メンバーでのビデオ会議では、５人の参加者のそれぞれは、まず、サーバーと接続を確立してデータを送受信する。会議中、各参加者は、マルチメディア収集デバイスを使用して、自分のマルチメディアデータストリームを、対応する接続を介してサーバーにリアルタイムでアップロードする。サーバーは、５チャネルのマルチメディアデータストリームを取得する。このように、その後、こられの５チャネルのマルチメディアデータストリームは、他の参加者がそれ自身を見たり聞いたりすることができるように、サーバーによって処理される。

ステップＳ４２０では、当該第１の数の当該第１のマルチメディアデータストリームを、当該第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合する。

ステップＳ４３０では、受信者が対応するマルチメディアを提示するように、当該第２の数の当該第２のマルチメディアデータストリームを当該受信者に送信する。

本開示の実施例では、サーバーが第１の数の第１のマルチメディアデータストリームを取得した後、当該第１の数の当該第１のマルチメディアデータストリームを、より少ない数の第２のマルチメディアデータストリーム、即ち、第２の数の第２のマルチメディアデータストリームに融合する。第２の数が第１の数より小さいため、受信者の帯域幅要件が軽減され、受信者との互換性を向上させる。

一実施例では、当該第１の数の当該第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームに融合するステップは、
当該第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離するステップと、
分離された当該第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行し、当該第２の数の当該第２のマルチメディアデータストリームを取得するステップと、を含む。

当該実施例では、取得された第１のマルチメディアデータストリームは、オーディオデータのみを含んでもよく、オーディオデータとビデオデータの両方を含んでもよい。同時に、受信者に送信される第２のマルチメディアデータストリームは、オーディオデータのみを含み、これに対応して、受信者は、当該第２のマルチメディアデータストリームを受信した後、対応するオーディオのみを再生できる。

具体的に、具体的な適用シーンによって、サーバーがオーディオデータのみを送信するように事前に配置される場合、又はサーバーが、当該受信者がオーディオデータのみを受信できると判断する場合、サーバーは、第１の数の第１のマルチメディアデータストリームを取得した後、第１のマルチメディアデータストリームのそれぞれから、対応する第１のオーディオデータストリームを分離し、分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行することで、当該受信者に送信される、オーディオデータのみを含む、第２の数の第２のマルチメディアデータストリームを取得する。

例えば、Ａライブストリーミングプラットフォームでは、５人のストリーマーが同時に同じオンラインライブストリーミングルームでライブストリーミングする。同時に、ＡライブストリーミングプラットフォームとＢラジオプラットフォームは、連携してストリームを誘導し、Ａライブストリーミングプラットフォームにおけるライブストリーミングコンテンツは、Ｂラジオプラットフォームで同期して放送することもできる。

当該ライブストリーミング中に、各ストリーマーは、（オーディオデータと、自分の画像を表示できるビデオデータの両方を含む）自分のマルチメディアデータストリームをＡライブストリーミングプラットフォームのＡサーバーにアップロードし、同時に、自分のマルチメディアデータストリームをＢラジオプラットフォームのＢサーバーに同期してアップロードする。なお、Ｂラジオプラットフォーム自身のサービス要件によって、Ｂサーバーは、オーディオデータのみを送信するように事前に配置される。

Ｂサーバーは、対応する５チャネルのマルチメディアデータストリームを取得した後、マルチメディアデータストリームのそれぞれから、対応するオーディオデータストリームを分離し、これらの分離されたオーディオデータストリームに対してオーディオミキシング処理を実行し、受信者に送信される、オーディオデータのみを含む、１チャネルのマルチメディアデータストリームを取得する。

また、例えば、Ａライブストリーミングプラットフォームでは、５人のストリーマーが同時に同じオンラインライブストリーミングルームでライブストリーミングする。当該ライブストリーミング中に、各ストリーマーは、（オーディオデータと、自分の画像を表示できるビデオデータの両方を含む）自分のマルチメディアデータストリームを、ＡライブストリーミングプラットフォームのＡサーバーにアップロードする。

シャオミンは、当該オンラインライブストリーミングルームにおける視聴者として、自身の理由で一時的にビデオを見るのに不便である。そのため、シャオミンは、当該オンラインライブストリーミングルームの視聴ラインを調整して、「純粋なオーディオライン」を選択する。Ａサーバーは、シャオミンが視聴ラインを「純粋なオーディオライン」に調整するという信号を受信した後、シャオミンがオーディオデータのみを受信できると確定する。

従って、シャオミンが受信者とする場合、Ａサーバーは、対応する５チャネルのマルチメディアデータストリームを取得した後、マルチメディアデータストリームのそれぞれから、対応するオーディオデータストリームを分離し、これらの分離されたオーディオデータストリームに対してオーディオミキシング処理を実行して、受信者に送信される、オーディオデータのみを含む、１チャネルのマルチメディアデータストリームを取得する。

この実施例の利点は、分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシングを実行して、より少ない数の第２のマルチメディアデータストリームを取得することによって、受信者の帯域幅要件が軽減されることである。

一実施例では、分離された第１のオーディオデータのそれぞれに対してオーディオミキシング処理を実行する前に、当該方法は、１つの当該第１のマルチメディアデータストリームが当該受信者から発信されている場合、当該第１のマルチメディアデータストリームから分離した第１のオーディオデータストリームを削除するステップをさらに含む。

つまり、ターゲットマルチメディアデータストリームについて、ターゲットマルチメディアデータストリームが受信者から発信されている場合、ターゲットマルチメディアデータストリームから分離した第１のオーディオデータストリームを削除する。当該ターゲットマルチメディアデータストリームは、第１の数の第１のマルチメディアデータストリームのいずれかである。

当該実施例では、分離された第１のオーディオデータのそれぞれに対してオーディオミキシング処理を実行する前に、受信者ごとに、取得した各第１のマルチメディアデータストリームのうち、当該受信者からの第１のマルチメディアデータストリームが存在するかどうかを判断する。存在する場合、当該第１のマルチメディアデータストリームから分離した第１のオーディオデータストリームを削除する。これにより、当該受信者によって受信される第２のマルチメディアデータストリームにはそれ自体のオーディオデータが含まれない。

例えば、５人のストリーマーは、同時に同じオンラインライブストリーミングルームでライブストリーミングする。これらの５人のストリーマーのそれぞれは、マルチメディアデータストリームの送信者として機能すると同時に、マルチメディアデータストリームの受信者として機能し、他のストリーマーからのマルチメディアデータストリームを受信して、他のストリーマーのビデオを見たり、他のストリーマーの音を聞いたりする。サーバーが取得した５チャネルのマルチメディアデータストリームには、当該ストリーマーのオーディオデータが含まれる。明らかに、当該ストリーマーが再度サーバーから自分のオーディオデータストリームを受信し、自分のオーディオを再生すると、当該ストリーマーに干渉が発生する。

従って、サーバーがこれらの５チャネルのマルチメディアデータストリームを取得し、各オーディオデータストリームを分離した後、特定のストリーマーについて、当該ストリーマーからのマルチメディアデータストリームから分離したオーディオデータストリームを削除して、他の４つのストリーマーのマルチメディアデータストリームから分離した４チャネルのオーディオデータストリームだけに対してオーディオミキシングを実行して、受信者に送信される、他の４つのストリーマーのオーディオデータのみを含む、１チャネルのマルチメディアデータストリームを取得する。これにより、当該ストリーマーは、自分のオーディオによって干渉されない。

この実施例の利点は、当該受信者からの第１のマルチメディアデータストリームが存在する場合、当該第１のマルチメディアデータストリームから分離した第１のオーディオデータストリームを削除することで、受信者が自分のオーディオによって干渉されないことである。

一実施例では、当該第１の数の当該第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームに融合するステップは、
当該第１のマルチメディアデータストリームから、対応する第１のビデオデータストリームを分離するステップと、
分離された当該第１のビデオデータストリームのそれぞれに対してビデオミキシング処理を実行して、当該第２の数の当該第２のマルチメディアデータストリームを取得するステップと、を含む。

当該実施例では、取得された第１のマルチメディアデータストリームは、ビデオデータのみを含んでもよく、オーディオデータとビデオデータの両方を含んでもよい。同時に、受信者に送信される第２のマルチメディアデータストリームは、ビデオデータのみを含み、これに対応して、受信者は、当該第２のマルチメディアデータストリームを受信した後、対応するビデオのみを再生できる。

具体的に、具体的な適用シーンによって、サーバーがビデオデータのみを送信するように事前に配置される場合、又はサーバーが、当該受信者がビデオデータのみを受信できると判断する場合、サーバーは、第１の数の第１のマルチメディアデータストリームを取得した後、第１のマルチメディアデータストリームのそれぞれから、対応する第１のビデオデータストリームを分離し、さらに、分離された第１のビデオデータストリームのそれぞれに対して画面ミキシング処理を実行して、当該受信者に送信される、ビデオデータのみを含む、第２の数の第２のマルチメディアデータストリームを取得する。

例えば、Ａライブストリーミングプラットフォームでは、５人のストリーマーが同時に同じオンラインライブストリーミングルームでライブストリーミングする。当該ライブストリーミング中に、各ストリーマーは、（自分の音を提示できるオーディオデータだけでなく、自分の画像を提示できるビデオデータも含む）自分のマルチメディアデータストリームを、ＡライブストリーミングプラットフォームのＡサーバーにアップロードする。

シャオミンは、当該オンラインライブストリーミングルームにおける視聴者として、ライブストリーミングコンテンツの理由（例えば、当該ライブストリーミングコンテンツが、これらの５人のストリーマーが協力して絵画を作成することである）、又は自身の理由（例えば、データトラフィックの節約）で、ビデオを見るだけで済む。従って、シャオミンは、当該オンラインライブストリーミングルームの視聴ラインを調整して、「純粋なビデオライン」を選択する。Ａサーバーは、シャオミンが視聴ラインを「純粋なビデオライン」に調整するという信号を受信した後、シャオミンがビデオデータのみを受信できると確定する。

従って、シャオミンが受信者とする場合、Ａサーバーは、対応する５チャネルのマルチメディアデータストリームを取得した後、マルチメディアデータストリームのそれぞれから、対応するビデオデータストリームを分離し、さらに、これらの分離したビデオデータストリームに対してビデオミキシング処理を実行して、受信者に送信される、ビデオデータのみを含む、１チャネルのマルチメディアデータストリームを取得する。このようにして、シャオミンの端末（例えば、フォン、コンピュータ）がこの１チャネルのマルチメディアデータストリームを受信した後、シャオミンを見ることができるように、端末のスクリーンにおける５つの領域（例えば、スクリーンの右上隅にある所定のサイズのボックス領域、スクリーンの右下隅にある所定のサイズのボックス領域、スクリーンの左上隅にある所定のサイズのボックス領域、スクリーンの左下隅にある所定のサイズのボックス領域、スクリーンの中央にある所定のサイズのボックス領域）に対応するストリーマーのビデオをそれぞれ表示する。

この実施例の利点は、分離された第１のビデオデータストリームのそれぞれに対してビデオミキシングを実行して、より少ない数の第２のマルチメディアデータストリームを取得することで、受信者の帯域幅要件が軽減されることである。

一実施例では、当該第１の数の当該第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームに融合するステップは、
当該第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離するステップと、
当該第１のマルチメディアデータストリームから、対応する第１のビデオデータストリームを分離するステップと、
分離された第１のオーディオデータストリームのそれぞれに対して、オーディオミキシング処理を実行するステップと、
分離された第１のビデオデータストリームのそれぞれに対して、ビデオミキシング処理を実行するステップと、
オーディオミキシング処理された第１のオーディオデータストリームのそれぞれとビデオミキシング処理された第１のビデオデータストリームのそれぞれに基づいて、当該第２の数の当該第２のマルチメディアデータストリームを取得するステップと、を含む。

当該実施例では、取得された第１のマルチメディアデータストリームは、オーディオデータとビデオデータの両方を含む。同時に、受信者に送信される第２のマルチメディアデータストリームも、オーディオデータとビデオデータの両方を含み、これに対応して、受信者は、当該第２のマルチメディアデータストリームを受信した後、対応するオーディオとビデオを再生することができる。

具体的に、サーバーは、第１の数の第１のマルチメディアデータストリームを取得した後、第１のマルチメディアデータストリームのそれぞれから、対応する第１のオーディオデータストリームを分離し、さらに、分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行し、第１のマルチメディアデータストリームのそれぞれから、対応する第１のビデオデータストリームを分離し、さらに、分離された第１のビデオデータストリームのそれぞれに対してビデオミキシング処理を実行し、分離された第１のオーディオデータストリームのそれぞれ及び分離された第１のビデオデータストリームのそれぞれに基づいて、当該受信者に送信される、オーディオデータとビデオデータの両方を含む、第２の数の第２のマルチメディアデータストリームを取得する（例えば、分離された第１のオーディオデータストリームのそれぞれ及び分離された第１のビデオデータストリームのそれぞれを１つのデータパケットに統合することで、当該受信者に送信される、オーディオデータとビデオデータの両方を含む、１つの第２のマルチメディアデータストリームを取得するか、又は、分離された第１のオーディオデータストリームのそれぞれを１つのデータパケットに統合し、分離された第１のビデオデータストリームのそれぞれを他のデータパケットに統合することで、当該受信者に送信される、オーディオデータとビデオデータの両方を含む、２つの第２のマルチメディアデータストリームを取得する）。

Ａサーバーは、対応する５チャネルのマルチメディアデータストリームを取得した後、マルチメディアデータストリームのそれぞれから、対応するオーディオデータストリームを分離し、さらに、これらの分離したオーディオデータストリームに対してオーディオミキシング処理を実行し、マルチメディアデータストリームのそれぞれから、対応するビデオデータストリームを分離し、さらに、これらの分離したビデオデータストリームに対してビデオミキシング処理を実行し、オーディオミキシング処理されたこれらのオーディオデータストリームとビデオミキシング処理されたこれらのビデオデータストリームを１つのデータパケットに統合して、受信者に送信される、オーディオデータとビデオデータの両方を含む、１チャネルのマルチメディアデータストリームを取得する。

このように、シャオミンの端末は、この１チャネルのマルチメディアデータストリームを受信した後、端末スクリーンにおける５つの領域に、対応するストリーマーのビデオをそれぞれ表示し、また、これらの５人のストリーマーのオーディオを再生することができる。

この実施例の利点は、分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシングを実行し、分離された第１のビデオデータストリームのそれぞれに対してビデオミキシングを実行して、より少ない数の第２のマルチメディアデータストリームを取得することで、受信者の帯域幅要件が軽減されることである。

一実施例では、当該第１の数の当該第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームに融合するステップは、
属性配置情報に基づいて、当該第１の数の第１のマルチメディアデータストリームを、当該属性配置情報にマッチングする当該第１の数の第１のマルチメディアデータストリームに変換するステップと、
当該属性配置情報にマッチングする当該第１の数の第１のマルチメディアデータストリームを、当該属性配置情報にマッチングする第２の数の第２のマルチメディアデータストリームに融合するステップと、を含み、
当該第１の数の当該第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームに融合する前に、マルチメディアの再生用に当該受信者が予め設定した当該属性配置情報を取得する。

なお、上記の属性配置情報は、対応するマルチメディアデータストリームの提示属性を示すための情報である。マルチメディアデータストリームがビデオデータストリームであることを例にとると、当該提示属性は、ビデオ解像度、ビデオビットレート、ビデオ表示テンプレートなどを含む。

当該実施例では、受信者は、マルチメディア再生のために、対応する属性配置情報（例えば、ビデオ解像度、ビデオビットレート、ビデオ表示テンプレート）を予め設定することができる。サーバーは、第１の数の第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームを融合する前に、さらに、受信者に対応する当該属性配置情報を取得する。

このように、サーバーは、第１の数の第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームに融合する場合、当該属性配置情報に基づいて、第１の数の第１のマルチメディアデータストリームに対して属性変換を実行し、当該属性配置情報にマッチングする第１の数の第１のマルチメディアデータストリームに変換し、当該属性配置情報にマッチングする第１の数の第１のマルチメディアデータストリームを、当該属性配置情報にマッチングする第２の数の第２のマルチメディアデータストリームに融合する。これにより、サーバーは、受信者が当該属性配置情報にマッチングするマルチメディアを提示することができるように、当該属性配置情報にマッチングする第２の数の第２のマルチメディアデータストリームを受信者に送信することができる。

例えば、Ａライブストリーミングプラットフォームでは、５人のストリーマーが同時に同じオンラインライブストリーミングルームでライブストリーミングする。当該ライブストリーミング中に、各ストリーマーは、自分のマルチメディアデータストリームを、ＡライブストリーミングプラットフォームのＡサーバーにアップロードする。

シャオミンは、当該オンラインライブストリーミングルームにおける視聴者として、自身の理由（例えば、インターネット速度が遅い、携帯電話が表示できる最大解像度が低い）で、ビデオ再生に対して「ビデオ解像度：４８０Ｐ」を配置することを予め設定し、これにより、Ａサーバーは、シャオミンが予め設定した「ビデオ解像度：４８０Ｐ」という当該属性配置情報を予め取得する。

このように、シャオミンが受信者とする場合、Ａサーバーは、対応する５チャネルのマルチメディアデータストリームを取得した後、これらの５チャネルのマルチメディアデータストリームを、ビデオ解像度が４８０Ｐである５チャネルのマルチメディアデータストリームに変換し、これらのビデオ解像度が４８０Ｐである５チャネルのマルチメディアデータストリームを、シャオミンに送信される、ビデオ解像度が４８０Ｐである、１チャネルのマルチメディアデータストリームに融合する。これにより、シャオミンの端末は、この１チャネルのマルチメディアデータストリームを受信した後、ビデオ解像度が４８０Ｐであるマルチメディアを再生することができる。

この実施例の利点は、受信者が予め設定した属性配置情報を取得し、マルチメディアデータストリームに対して、対応する処理を実行することで、受信者が受信した第２のマルチメディアデータストリームを処理するプロセスが回避され、受信者の処理負担が軽減されることである。

一実施例では、前記第１の数の前記第１のマルチメディアデータストリームを、第２の数の第２のマルチメディアデータストリームに融合した後、属性配置情報に基づいて、当該第２の数の当該第２のマルチメディアデータストリームを、当該属性配置情報にマッチングする当該第２の数の当該第２のマルチメディアデータストリームに変換するステップを含み、当該第２の数の当該第２のマルチメディアデータストリームを受信者に送信する前に、当該受信者のマルチメディア再生用の属性配置情報を取得する。

当該実施例では、受信者は、マルチメディア再生のために、対応する属性配置情報（例えば、ビデオ解像度、ビデオビットレート、ビデオ表示テンプレート）を予め設定することができる。サーバーは、第１の数の第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームに融合する前に、受信者に対応する当該属性配置情報も取得する。

このように、サーバーは、第１の数の第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームに融合した後、当該属性配置情報に基づいて、第２の数の第２のマルチメディアデータストリームに対して属性変換を実行し、当該属性配置情報にマッチングする第２の数の第２のマルチメディアデータストリームに変換する。これにより、サーバーは、受信者が当該属性配置情報にマッチングするマルチメディアを提示することができるように、当該属性配置情報にマッチングする第２の数の第２のマルチメディアデータストリームを受信者に送信することができる。

例えば、Ａライブストリーミングプラットフォームでは、５人のストリーマーが同時に同じオンラインライブストリーミングルームでライブストリーミングする。当該ライブストリーミング中に、各ストリーマーは、自分のマルチメディアデータストリームをＡライブストリーミングプラットフォームのＡサーバーにアップロードする。

このように、シャオミンが受信者とする場合、Ａサーバーは、取得した対応する５チャネルのマルチメディアデータストリームを、シャオミンに送信される１チャネルのマルチメディアデータストリームに融合した後、この１チャネルのマルチメディアデータストリームを、シャオミンに送信される、ビデオ解像度が４８０Ｐである、１チャネルのマルチメディアデータストリームに変換する。シャオミンの端末は、当該１チャネルのマルチメディアデータストリームを受信した後、ビデオ解像度が４８０Ｐであるマルチメディアを再生することができる。

この実施例の利点は、受信者が予め設定した属性配置情報を取得し、マルチメディアデータストリームに対して対応する処理を実行することで、受信者が受信した第２のマルチメディアデータストリームを処理するプロセスが回避され、受信者の処理負担が軽減されることである。

本開示の実施例は、複数メンバーでのインスタントメッセージングシステムをさらに提供する。

図４に示すように、本開示の一実施例における複数メンバーでのインスタントメッセージングシステムは、スケジューリングノード１０１と、少なくとも２つの候補データ適応ノード１０２とを含む。当該スケジューリングノード１０１は、当該少なくとも２つの候補データ適応ノード１０２から１つの候補データ適応ノードを、ターゲットデータ適応ノードとして選択するように配置される。

当該ターゲットデータ適応ノードは、第１の数の第１のマルチメディアデータストリームを取得し、当該第１の数の当該第１のマルチメディアデータストリームを当該第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合し、当該受信者が対応するマルチメディアを提示するように、当該第２の数の当該第２のマルチメディアデータストリームを受信者に送信するように配置される。

本開示の実施例によって提供される当該複数メンバーでのインスタントメッセージングシステムは、分散システムに基づいて構築されたＭＣＵ（ＭｕｌｔｉｐｏｉｎｔＣｏｎｔｒｏｌＵｎｉｔ，マルチポイントコントロールユニット）システムであり、複数メンバーでのインスタントメッセージングでのデータ処理（第１の数の第１のマルチメディアデータストリームを取得し、当該第１の数の当該第１のマルチメディアデータストリームを当該第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合し、当該受信者が対応するマルチメディアを提示するように、当該第２の数の当該第２のマルチメディアデータストリームを受信者に送信する）に使用されるターゲットデータ適応ノードは、分散設定された各候補データ適応ノードから選択したものである。なお、当該複数メンバーでのインスタントメッセージングシステムにおける各ノードは、それぞれ、異なる物理的な場所にある機器に設置することができる。例えば、スケジューリングノードは、深センにあるサーバーに設置され、１つの候補データ適応ノードは、広州にあるサーバーに設置され、他の候補データ適応ノードは、杭州にあるサーバーに設置される。

当該複数メンバーでのインスタントメッセージングシステムは、第１の数の第１のマルチメディアデータストリームを融合して、より少ない第２の数の第２のマルチメディアデータストリームを受信者に送信することで、受信者の帯域幅要件を軽減し、受信者との互換性を向上させる。同時に、当該複数メンバーでのインスタントメッセージングシステムは、分散システム上に構築されることで、複数メンバーでのインスタントメッセージングシステムの各部分の処理手順を各分散ノードに柔軟に割り当てることができるため、複数メンバーでのインスタントメッセージングシステムの処理手順の柔軟性が向上する。さらに、当該複数メンバーでのインスタントメッセージングシステムは、分散システム上に構築されることで、強力な並列拡張機能を提供し、１０万レベル及び１００万レベルのユーザーが同じコミュニケーションルームで複数メンバーでのインスタントメッセージングサービスを使用できることを簡単にサポートすることができる。

一実施例では、当該スケジューリングノードは、
当該各候補データ適応ノードにそれぞれ対応する動作状態情報を定期的に取得し、
当該動作状態情報に基づいて、当該各候補データ適応ノードに対応する状態スコアをそれぞれ取得し、
当該状態スコアに基づいて、当該各候補データ適応ノードからターゲットデータ適応ノードを選択するように配置される。

当該実施例では、スケジューリングノードは、各候補データ適応ノードに対応する動作状態情報（例えば、当該候補データ適応ノードの負荷情報）を定期的に取得する。ターゲットデータ適応ノードを選択する必要がある（例えば、複数のストリーマーが同じオンラインライブストリーミングルームでライブストリーミングする場合、スケジューリングノードは、ターゲットデータ適応ノードを選択し、当該ターゲットデータ適応ノードによって第１の数の第１のマルチメディアデータストリームを取得し、第１の数の第１のマルチメディアデータストリームを第２の数の第２のマルチメディアデータストリームに融合し、第２の数の第２のマルチメディアデータストリームを受信者に送信する）場合、スケジューリングノードは、候補データ適応ノードの動作状態情報に基づいて、候補データ適応ノードの動作状態の優劣を測定することができ、具体的に、状態スコアに反映される。さらに、状態スコアに基づいて、各候補データ適応ノードからターゲットデータ適応ノードを選択する。

なお、動作状態情報に基づいて、候補データ適応ノードの状態スコアを取得するステップは、動作状態情報における各動作属性の表現を個別に測定して、各動作属性に対応する属性スコアを取得して、各属性スコアを加算するか、又は、各動作属性に予め割り当てられた重みに応じて各属性スコアに重みを付けることで、対応する状態スコアを得ることができる。

なお、状態スコアに基づいて、各候補データ適応ノードからターゲットデータ適応ノードを選択するステップは、状態スコアが最大になる候補データ適応ノードをターゲットデータ適応ノードとして選択してもよいし、状態スコアの高いものから順に上位３つの候補データ適応ノードから、１つの候補データ適応ノードを、ターゲットデータ適応ノードとして、ランダムに選択してもよい。

この実施例の利点は、状態スコアに基づいてターゲットデータ適応ノードを選択することで、選択したターゲットデータ適応ノードの処理効率を柔軟に保証することができることである。

一実施例では、スケジューリングノードは、ブロックチェーンシステムによって、各候補データ適応ノードにそれぞれ対応する動作状態情報を取得する。例えば、当該実施例では、各候補データ適応ノードは、ブロックチェーンシステムにおける１つのブロックチェーンノードとして機能し、予め設定したコンセンサスアルゴリズムに基づいて、各候補データ適応ノードの動作状態情報を定期的にコンセンサスして、１つのデータブロックにパッケージ化し、当該データブロックをチェーンにアップロードする（当該データブロックをブロックチェーンにチェーンする）。これにより、スケジューリングノードは、ブロックチェーンのうち最新のデータブロックをクエリすることにより、各候補データビデオに対応する動作状態情報を取得することができる。

なお、ブロックチェーンシステムとは、ノード間でデータを共有するシステムである。図５Ａに示すブロックチェーンシステム５０を参照して、当該ブロックチェーンシステムに複数のノード５０１を含み、複数のノード５０１とは、ブロックチェーンシステムにおける各クライアントである。各ノード５０１は、通常の動作中に入力情報を受信し、受信した入力情報に基づいて当該ブロックチェーンシステム内の共有データを維持することができる。ブロックチェーンシステム内の情報の相互通信を保証するために、ブロックチェーンシステムにおける各ノード間に情報接続があり、上記の情報接続を介してノード間で情報を伝送してもよい。例えば、ブロックチェーンシステムのいずれかのノードが入力情報を受信すると、ブロックチェーンシステムにおける他のノードは、コンセンサスアルゴリズムに従って当該入力情報を取得し、当該入力情報を共有データにおけるデータとして記憶することで、ブロックチェーンシステムの全てのノードに記憶されるデータは、一致している。

ブロックチェーンシステムにおける各ノードには対応するノード識別子があり、そして、ブロックチェーンシステムにおける各ノードは、ブロックチェーンシステムにおける他のノードのノード識別子を記憶できるので、その後、生成されたブロックを、他のノードのノード識別子に従って、ブロックチェーンシステムにおける他のノードにブロードキャストする。各ノードは、次の表に示すようなノード識別子リストを維持し、ノード名及びノード識別子を対応付けて当該ノード識別子リストに記憶することができる。なお、ノード識別子は、ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ，ネットワーク間の相互接続プロトコル）アドレス、及び当該ノードを識別するためのその他の任意の情報であってもよい。表１では、ＩＰアドレスのみを例として説明する。

ブロックチェーンシステムにおける各ノードは、同じブロックチェーンを記憶する。ブロックチェーンは複数のブロックで構成されている。図５Ｂを参照して、ブロックチェーンは、複数のブロックで構成され、創設ブロックには、ブロックヘッダーとブロック本体が含まれ、ブロックヘッダーには、入力情報特徴値、バージョン番号、タイムスタンプ及び難易度が記憶され、ブロック本体には、入力情報が記憶される。創設ブロックの次のブロックは、創設ブロックを親ブロックとし、次のブロックにも同様にブロックヘッダーとブロック本体が含まれ、ブロックヘッダーには、現在のブロックの入力情報特徴値、親ブロックのブロックヘッダー特徴値、バージョン番号、タイムスタンプ及び難易度が記憶される。これにより類推すると、ブロックチェーンにおける各ブロックに記憶されているブロックデータは、親ブロックに記憶されているブロックデータに関連付けられ、ブロック内の入力情報のセキュリティが保証される。

ブロックチェーンにおける各ブロックを生成する場合、図５Ｃを参照して、ブロックチェーンが位置するノードが入力情報を受信すると、入力情報を検証し、検証が完了すると、入力情報をメモリプールに記憶し、入力情報の記録に使用されるハッシュツリーを更新する。その後、更新タイムスタンプを、入力情報を受信した時間に更新し、異なる乱数を試し、特徴値の計算を複数回実行して、計算された特徴値が次の式を満たす。

ここで、ＳＨＡ２５６は、特徴値を計算するための特徴値アルゴリズムであり、ｖｅｒｓｉｏｎ（バージョン番号）は、ブロックチェーンにおける関連ブロックプロトコルの版本情報であり、ｐｒｅｖ＿ｈａｓｈは、現在のブロックの親ブロックのブロックヘッダー特徴値であり、ｍｅｒｋｌｅ＿ｒｏｏｔは、入力情報の特徴値であり、ｎｔｉｍｅは、更新タイムスタンプの更新時間であり、ｎｂｉｔｓは、現在の難易度であり、一定期間内の固定値であり、一定期間が経過すると再び決定され、ｘは乱数であり、ＴＡＲＧＥＴは、ｎｂｉｔｓに従って決定できる特徴値の閾値である。

このように、上記の式を満たす乱数を計算した場合、情報を対応して記憶し、ブロックヘッダーとブロック本体を生成し、現在のブロックを得る。そして、ブロックチェーンが位置するノードは、ブロックチェーンシステムにおける他のノードのノード識別子に従って、新しく生成されたブロックを、それが位置するブロックチェーンシステムにおける他のノードに送信し、他のノードは、新しく生成されたブロックを検証し、検証が完了した後、新しく生成されたブロックを、それが記憶しているブロックチェーンに追加する。

この実施例の利点は、ブロックチェーンシステムによって各候補データ適応ノードの動作状態情報を管理することで、動作状態情報管理の透明性とセキュリティが向上すると同時に、スケジューリングノードが、各候補データ適応ノードの動作状態情報をより便利に取得することができることである。

図６に示すように、一実施例では、当該システムは、少なくとも２つの候補オーディオ処理ノード１０３をさらに含む。当該スケジューリングノード１０１は、当該少なくとも２つの候補オーディオ処理ノード１０３から１つの候補オーディオ処理ノード１０３を、ターゲットオーディオ処理ノードとして選択するように配置される。

候補オーディオ処理ノードとは、オーディオ処理を実行できる選択対象となるノードを指す。ターゲットオーディオ処理ノードとは、オーディオ処理を実行するために選択されると決定されたノードを指す。

当該実施例では、複数メンバーでのインスタントメッセージングシステムは、スケジューリングノード１０１と少なくとも２つの候補データ適応ノード１０２に加えて、少なくとも２つの候補オーディオ処理ノード１０３をさらに含む。候補オーディオ処理ノード１０３は、候補としてオーディオ処理を実行するように配置される。スケジューリングノード１０１は、当該少なくとも２つの候補オーディオ処理ノード１０３から、１つの候補オーディオ処理ノードを、ターゲットオーディオ処理ノードとして選択するように配置される。スケジューリングノード１０１、少なくとも２つの候補データ適応ノード１０２、及び少なくとも２つの候補オーディオ処理ノード１０３は、サーバー１０として組み合わせることができる。

ターゲットオーディオ処理ノードの選択及び対応する利点は、ターゲットデータ適応ノードの選択及び対応する利点と同じであることが理解できるので、ここでは繰り返さない。なお、この実施例は、単なる例示的な説明であり、本開示の機能及び使用範囲を限定するものではない。

一実施例では、当該ターゲットデータ適応ノードは、当該第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離するように配置される。

当該ターゲットオーディオ処理ノードは、分離された当該第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行し、ターゲットデータ適応ノードが当該第２の数の当該第２のマルチメディアデータストリームを取得するように、オーディオミキシング処理された前記第１のオーディオデータストリームのそれぞれを前記ターゲットデータ適応ノードに送信するように配置される。

当該実施例では、少なくとも２つの候補オーディオ処理ノードを含む複数メンバーでのインスタントメッセージングシステムは、選択されたターゲットデータ適応ノードが、第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離するように配置され、さらに、選択されたターゲットオーディオ適応ノードによって、分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行し、ターゲットデータ適応ノードが第２の数の第２のマルチメディアデータストリームを取得するように、オーディオミキシング処理された第１のオーディオデータストリームのそれぞれをターゲットデータ適応ノードに送信する。

この実施例の利点は、分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシングを実行して、より少ない数の第２のマルチメディアデータストリームを取得することで、受信者の帯域幅要件が軽減されることである。

一実施例では、当該ターゲットオーディオ処理ノードは、分離された前記第１のオーディオデータストリームのそれぞれに対してミキシング処理を実行する前に、１つの当該第１のマルチメディアデータストリームが当該受信者から発信されていると、当該第１のマルチメディアデータストリームから分離した第１のオーディオデータストリームを削除するように配置される。

当該実施例では、少なくとも２つの候補オーディオ処理ノードを含む複数メンバーでのインスタントメッセージングシステムについて、選択されたターゲットオーディオ処理ノードは、分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行し、オーディオミキシング処理された第１のオーディオデータストリームのそれぞれをターゲットデータ適応ノードに送信するだけでなく、分離された前記第１のオーディオデータストリームのそれぞれに対してミキシング処理を実行する前に、受信者からの第１のマルチメディアデータストリームから分離した第１のオーディオデータストリームを削除することで、当該受信者によって受信された第２のマルチメディアデータストリームにはそれ自体のオーディオデータが含まれない。

図７に示すように、一実施例では、当該システムは、少なくとも２つの候補ビデオ処理ノード１０４をさらに含む。当該スケジューリングノード１０１は、当該少なくとも２つの候補ビデオ処理ノード１０４から１つの候補ビデオ処理ノード１０４を、ターゲットビデオ処理ノードとして選択するように配置される。

候補ビデオ処理ノードとは、ビデオ処理を実行できる選択対象となるノードを指す。ターゲットビデオ処理ノードとは、ビデオ処理を実行するために選択されると決定されたノードを指す。

当該実施例では、複数メンバーでのインスタントメッセージングシステムは、スケジューリングノード１０１と少なくとも２つの候補データ適応ノード１０２に加えて、少なくとも２つの候補ビデオ処理ノード１０３をさらに含む。候補ビデオ処理ノード１０３は、候補としてビデオ処理を実行するように配置される。スケジューリングノード１０１は、当該少なくとも２つの候補ビデオ処理ノード１０３から、１つの候補ビデオ処理ノードをターゲットビデオ処理ノードとして選択するように配置される。スケジューリングノード１０１、少なくとも２つの候補データ適応ノード１０２、及び少なくとも２つの候補ビデオ処理ノード１０３は、サーバー１０として組み合わせることができる。

ターゲットビデオ処理ノードの選択及び対応する利点は、ターゲットデータ適応ノードの選択及び対応する利点と同じであることが理解できるので、ここでは繰り返さない。なお、この実施例は、単なる例示的な説明であり、本開示の機能及び使用範囲を限定するものではない。

一実施例では、当該ターゲットデータ適応ノードは、当該第１のマルチメディアデータストリームから、対応する第１のビデオデータストリームを分離するように配置され、
当該ターゲットビデオ処理ノードは、分離された当該第１のビデオデータストリームのそれぞれに対してビデオミキシング処理を実行し、ターゲットデータ適応ノードが当該第２の数の当該第２のマルチメディアデータストリームを取得するようにビデオミキシング処理された前記第１のビデオデータストリームのそれぞれを前記ターゲットデータ適応ノードに送信するように配置される。

当該実施例では、少なくとも２つの候補ビデオ処理ノードを含む複数メンバーでのインスタントメッセージングシステムは、選択されたターゲットデータ適応ノードが、第１のマルチメディアデータストリームから対応する第１のビデオデータストリームを分離するように配置され、選択されたターゲットビデオ処理ノードによって、分離された第１のビデオデータストリームのそれぞれに対してビデオミキシング処理を実行し、ターゲットデータ適応ノードが第２の数の第２のマルチメディアデータストリームを取得するように、ビデオミキシング処理された第１のビデオデータストリームのそれぞれをターゲットデータ適応ノードに送信する、ように配置される。

図８に示すように、一実施例では、当該システムは、少なくとも２つの候補オーディオ処理ノード１０３と、少なくとも２つの候補ビデオ処理ノード１０４とをさらに含む。当該スケジューリングノード１０１は、
当該少なくとも２つの候補オーディオ処理ノード１０３から、１つの候補オーディオ処理ノード１０３をターゲットオーディオ処理ノードとして選択し、
当該少なくとも２つの候補ビデオ処理ノード１０４から、１つの候補ビデオ処理ノード１０４を、ターゲットビデオ処理ノードとして選択するように配置される。

当該実施例では、オーディオ処理を実行する必要がある場合（例えば、ターゲットデータ適応ノードが各第１のオーディオデータストリームを分離し、各第１のオーディオデータストリームに対して、例えば、オーディオミキシング、オーディオフォーマット変換などの処理を実行する必要がある場合）、スケジューリングノードは、各候補オーディオ処理ノードからターゲットオーディオ処理ノードを選択し、ビデオ処理を実行する必要がある場合（例えば、ターゲットデータ適応ノードが各第１のビデオデータストリームを分離し、各第１のビデオデータストリームに対して、例えば、ビデオミキシング、ビデオビットレート変換などの処理を実行する必要がある場合）、スケジューリングノードは、各候補ビデオ処理ノードからターゲットビデオ処理ノードを選択する。

一実施例では、当該ターゲットデータ適応ノードは、
当該第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離し、
当該第１のマルチメディアデータストリームから、対応する第１のビデオデータストリームを分離するように配置され、
当該ターゲットオーディオ処理ノードは、分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行し、当該ターゲットデータ適応ノードが当該第２の数の当該第２のマルチメディアデータストリームを取得するように、オーディオミキシング処理された前記第１のオーディオデータストリームのそれぞれを前記ターゲットデータ適応ノードに送信するように配置され、
当該ターゲットビデオ処理ノードは、分離された第１のビデオデータストリームのそれぞれに対してビデオミキシング処理を実行し、当該ターゲットデータ適応ノードが当該第２の数の当該第２のマルチメディアデータストリームを取得するように、ビデオミキシング処理された前記第１のビデオデータストリームのそれぞれを前記ターゲットデータ適応ノードに送信するように配置され、
当該ターゲットデータ適応ノードは、オーディオミキシング処理された第１のオーディオデータストリームのそれぞれとビデオミキシング処理された第１のビデオデータストリームのそれぞれに基づいて、当該第２の数の当該第２のマルチメディアデータストリームを取得するように配置される。

当該実施例では、ターゲットデータ適応ノードは、第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリーム及び対応する第１のビデオデータストリームを分離することを担当する。その後、ターゲットオーディオ処理ノードは、分離された第１のオーディオデータのそれぞれに対してオーディオミキシング処理を実行し、オーディオミキシング処理された前記第１のオーディオデータストリームのそれぞれを前記ターゲットデータ適応ノードに送信することを担当し、ターゲットビデオ処理ノードは、分離された第１のビデオデータのそれぞれに対してビデオミキシング処理を実行し、ビデオミキシング処理された前記第１のビデオデータストリームのそれぞれを前記ターゲットデータ適応ノードに送信することを担当する。次に、ターゲットデータ適応ノードは、オーディオミキシング処理された第１のオーディオデータストリームのそれぞれとビデオミキシング処理された第１のビデオデータストリームのそれぞれに基づいて、第２の数の第２のマルチメディアデータストリームを取得することを担当する。

この実施例の利点は、分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシングを実行し、分離された第１のビデオデータストリームのそれぞれに対してビデオミキシングを実行し、より少ない数の第２のマルチメディアデータストリームを取得することで、受信者の帯域幅要件が軽減されることである。

次に、図９～図１３を参照しながら本開示の一実施例のライブストリーミングシーンにおける完全な実施手順を、詳細に説明する。

図９に、本開示の一実施例による、ライブストリーミングシーンにおける初期処理手順を示している。確立したライブストリーミングルームには、ストリーム制御機とインターフェース機の２つのモジュールが存在する。ストリーム制御機は、ライブストリーミング中に、当該ライブストリーミングルームにおけるオーディオ及びビデオパラメータをリアルタイムで調整する。インターフェース機は、外部システム（例えば、サーバー１０）とデータを交換し、ストリーム制御機との間でシグナリングを伝送する。

当該実施例では、サーバー１０におけるスケジューリングノードは、各候補データ適応ノードの負荷情報、位置情報を定期的に取得し、各候補オーディオ処理ノードの負荷情報、位置情報を定期的に取得し、各候補ビデオ処理ノードの負荷情報、位置情報を定期的に取得する。取得した負荷情報、位置情報に基づき、後続のプロセスで、ターゲットデータ適応ノードの選択、ターゲットオーディオ処理ノードの選択、ターゲットビデオ処理ノードの選択を実行する。

図１０は、本開示の一実施例による、ライブストリーミングシーンにおけるストリームミキシングを申請する処理手順を示している。ストリームミキシングとは、複数のストリーマーがライブストリーミングルームに参加した後、複数のストリーマーのマルチメディアデータストリームをサーバー１０にアップロードするプロセスを指す。これに対応して、ストリームミキシングの申請は、複数のストリーマーがライブストリーミングルームに参加して、ライブストリーミングを開始するときにトリガーされる。

例えば、当該実施例では、ステップ１：ストリーム制御機は、スケジューリングノードにストリームミキシングを申請する。
ステップ２：スケジューリングノードは、グローバルの負荷情報、位置情報に基づき、ストリームミキシングの申請手順を処理するターゲットデータ適応ノードを選択した後、ポート割り当て要求をターゲットデータ適応ノードに送信する。
ステップ３：ターゲットデータ適応ノードは、ローカルでセッションを確立し、アイドルポートを割り当て、割り当てられたポートをスケジューリングノードに送信する。
ステップ４：スケジューリングノードは、ターゲットデータ適応ノードのＩＰ、ターゲットデータ適応ノードのポートを、ストリーム制御機に送信する。
ステップ５：ストリーム制御機は、ターゲットデータ適応ノードのＩＰ、ターゲットデータ適応ノードのポートを、インターフェース機と同期する。
ステップ６：インターフェース機は、受信したターゲットデータ適応ノードのＩＰ、ターゲットデータ適応ノードのポートに基づき、ターゲットデータ適応ノードとの接続を確立する。
なお、この実施例は、単なる例示的な説明であり、本開示の機能及び使用範囲を限定するものではない。

図１１に、本開示の一実施例による、ライブストリーミングシーンにおける視聴を申請する処理手順を示している。なお、ストリーマーは、視聴申請をトリガーすることができ、視聴者は、視聴申請をトリガーすることもできる。

例えば、当該実施例では、ステップ１：ストリーム制御機は、視聴申請の要求をスケジューリングノードに送信し、オーディオエンコーディングフォーマット、チャネル数、オーディオビットレート、ビデオエンコーディングフォーマット、ビデオ解像度、ビデオビットレート、ビデオ表示テンプレートなどの属性配置情報を添付する。
ステップ２：スケジューリングノードは、グローバルの負荷情報、位置情報に基づき、視聴申請手順を処理するターゲットデータ適応ノード、ターゲットオーディオ処理ノード、ターゲットビデオ処理ノードを選択し、ターゲットデータ適応ノード、ターゲットオーディオ処理ノード、ターゲットビデオ処理ノードにポート割り当て要求を送信する。
ステップ３：ターゲットデータ適応ノード、ターゲットオーディオ処理ノード、ターゲットビデオ処理ノードは全て、対応するローカルでセッションを確立し（ターゲットオーディオ処理ノード、ターゲットビデオ処理ノードは、対応するローカルでセッションを確立する場合、属性配置情報を保存する）、対応するアイドルポートを割り当てる。そして、割り当てられたポートをスケジューリングノードに送信する。視聴を申請するユーザーが既に当該ターゲットデータ適応ノードでストリームミキシングを申請するセッションを持っていると、この時点で、ターゲットデータ適応ノードは、当該ストリームミキシングを申請するセッションを再利用でき、また、視聴を申請するユーザーがストリームミキシングと視聴の両方を必要とする場合（例えば、当該ライブストリーミングルームにおけるストリーマー）、当該ユーザーについて、ストリームミキシング申請の要求と視聴申請の要求を１つの要求に組み合わせることができる。
ステップ４：スケジューリングノードは、ターゲットデータ適応ノードのＩＰ、ターゲットデータ適応ノードのポートを、ストリーム制御機に送信する。
ステップ５：ストリーム制御機は、ターゲットデータ適応ノードのＩＰ、ターゲットデータ適応ノードのポートを、インターフェース機と同期する。
ステップ６：インターフェース機は、受信したターゲットデータ適応ノードのＩＰ、ターゲットデータ適応ノードのポートに基づき、ターゲットデータ適応ノードとの接続を確立する。
ステップ７：スケジューリングノードは、ターゲットオーディオ処理ノードのＩＰ、ターゲットオーディオ処理ノードのポート、ターゲットビデオ処理ノードのＩＰ、ターゲットビデオ処理ノードのポートを、ターゲットデータ適応ノードに送信する。
ステップ８：ターゲットデータ適応ノードは、受信したターゲットオーディオ処理ノードのＩＰ、ターゲットオーディオ処理ノードのポート、ターゲットビデオ処理ノードのＩＰ、ターゲットビデオ処理ノードのポートに基づき、ターゲットオーディオ処理ノードとの接続を確立し、ターゲットビデオ処理ノードとの接続を確立する。

なお、当該実施例では、ステップ４、５、及び６は、ステップ７、８と並行して実行することができる。

図１２に、本開示の一実施例による、ライブストリーミングシーンにおけるデータのアップリンク処理手順を示している。当該実施例では、ストリーマーＡ、ストリーマーＢ、視聴者Ｃの３人のユーザーがいる。その中で、ストリーマーＡとストリーマーＢのみが、データのアップリンク処理手順をトリガーすることができる。
ストリーマーＡとストリーマーＢは、ライブストリーミング中に、対応するマルチメディアデータストリームをアップロードする。例えば、ストリーマーＡは、そのオーディオ及びビデオデータストリームをターゲットデータ適応ノードに送信し、ストリーマーＢは、そのオーディオ及びビデオデータストリームをターゲットデータ適応ノードに送信する。

ターゲットデータ適応ノードは、ストリーマーＡとストリーマーＢから送信されたマルチメディアデータストリームを受信した後、ストリーマーＡについて、ストリーマーＡのオーディオとストリーマーＡのビデオを分離し、ストリーマーＢについて、ストリーマーＢのオーディオとストリーマーＢのビデオを分離する。さらに、ストリーマーＡのオーディオ、ストリーマーＢのオーディオをターゲットオーディオ処理ノードに送信して処理し（ターゲットオーディオ処理ノードは、属性配置情報に基づき、オーディオに対して対応する処理を実行する）、ストリーマーＡのビデオ、ストリーマーＢのビデオをターゲットビデオ処理ノードに送信して処理する（ターゲットビデオ処理ノードは、属性配置情報に基づき、ビデオに対して対応する処理を実行する）。

図１３に、本開示の一実施例による、ライブストリーミングシーンにおけるデータのダウンリンク処理手順を示している。当該実施例では、ストリーマーＡ、ストリーマーＢ、視聴者Ｃの３人のユーザーがいる。その中、全てのユーザーは、データのダウンリンク処理手順をトリガーすることができる。

ライブストリーミング中に、任意のユーザーの視聴申請が承認された後、対応するデータのダウンリンクする処理手順をトリガーする。
ストリーマーＡの場合、ストリーマーＢのオーディオを聞いて、ストリーマーＡとストリーマーＢの共通のビデオを見るだけである（ビデオ表示のレイアウトをカストマイズできる）。ターゲットオーディオ処理ノードは、オーディオのチャネルを選択し（Ａのオーディオを削除する）、属性配置情報に基づき対応する処理を実行し、ストリーマーＢのオーディオをターゲットデータ適応ノードに送信する。ターゲットデータ適応ノードは、対応するデータ伝送プロトコルに従って、ストリーマーＢのオーディオをインターフェース機に伝送し、インターフェース機によってストリーマーＡに転送する。ターゲットビデオ処理ノードは、ストリーマーＡのビデオとストリーマーＢのビデオに対してビデオミキシングを実行し、属性配置情報に基づき対応する処理を実行した後、ターゲットデータ適応ノードに送信する。ターゲットデータ適応ノードは、ビデオフレームをネットワークの最大伝送ユニットサイズよりも小さいフレームに分割し、対応するデータ伝送プロトコルに従ってパッケージングし、インターフェース機に伝送し、インターフェース機によってストリーマーＡに転送する。

ストリーマーＢの場合、ストリーマーＡのオーディオを聞いて、ストリーマーＡとストリーマーＢの共通のビデオを見るだけである（ビデオ表示のレイアウトをカストマイズできる）。ターゲットオーディオ処理ノードは、オーディオのチャネルを選択し（ストリーマーＢのオーディオを削除する）、属性配置情報に基づき対応する処理を実行し、ストリーマーＡのオーディオをターゲットデータ適応ノードに送信する。ターゲットデータ適応ノードは、対応するデータ伝送プロトコルに従って、ストリーマーＡのオーディオをインターフェース機に伝送し、インターフェース機によってストリーマーＡに転送する。ターゲットビデオ処理ノードは、ストリーマーＡのビデオとストリーマーＢのビデオに対してビデオミキシングを実行し、属性配置情報に基づき対応する処理を実行した後、ターゲットデータ適応ノードに送信する。ターゲットデータ適応ノードは、ビデオフレームをネットワークの最大伝送ユニットサイズよりも小さいフレームに分割し、対応するデータ伝送プロトコルに従ってパッケージングし、インターフェース機に伝送し、インターフェース機によってストリーマーＢに転送する。

視聴者Ｃの場合、ストリーマーＡとストリーマーＢのオーディオを聞いて、ストリーマーＡとストリーマーＢの共通のビデオを見る必要がある（ビデオ表示のレイアウトをカストマイズできる）。ターゲットオーディオ処理ノードは、ストリーマーＡのオーディオとストリーマーＢのオーディオを、１チャネルのオーディオにミキシングし、属性配置情報に基づき対応する処理を実行した後、ターゲットデータ適応ノードに送信する。ターゲットデータ適応ノードは、それをインターフェース機に送信し、インターフェース機によって視聴者Ｃに転送する。ターゲット適応処理ノードは、ストリーマーＡのビデオとストリーマーＢのビデオに対してビデオミキシングを実行し、属性配置情報に基づき対応する処理を実行した後、ターゲットデータ適応ノードに送信する。ターゲットデータ適応ノードは、ビデオフレームをネットワークの最大伝送ユニットサイズよりも小さいフレームに分割し、対応するデータ伝送プロトコルに従ってパッケージングし、インターフェース機に伝送し、インターフェース機によって視聴者Ｃに転送する。

本開示の一実施例によれば、図１４に示すように、複数メンバーでのインスタントメッセージング装置をさらに提供し、前記装置は、
第１の数の第１のマルチメディアデータストリームを取得するように配置される取得モジュール６１０と、
前記第１の数の前記第１のマルチメディアデータストリームを、前記第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合するように配置される融合モジュール６２０と、
受信者が対応するマルチメディアを提示するように、前記第２の数の前記第２のマルチメディアデータストリームを前記受信者に送信するように配置される送信モジュール６３０と、を含む。

本開示の例示的な実施例では、前記融合モジュール６２０は、
属性配置情報に基づいて、前記第１の数の第１のマルチメディアデータストリームを、前記属性配置情報にマッチングする前記第１の数の第１のマルチメディアデータストリームに変換し、
前記属性配置情報にマッチングする前記第１の数の第１のマルチメディアデータストリームを、前記属性配置情報にマッチングする第２の数の第２のマルチメディアデータストリームに融合し、前記第１の数の前記第１のマルチメディアデータストリームを、第２の数の第２のマルチメディアデータストリームに融合する前に、マルチメディア再生用に前記受信者が予め設定した前記属性配置情報を取得するように配置される。

本開示の例示的な実施例では、前記融合モジュール６２０は、
前記第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離し、
分離された前記第１のオーディオデータストリームのそれぞれに対してミキシング処理を実行し、前記第２の数の前記第２のマルチメディアデータストリームを取得するように配置される。

本開示の例示的な実施例では、前記融合モジュール６２０は、ある前記第１のマルチメディアデータストリームが前記受信者から発信されている場合、前記第１のマルチメディアデータストリームから分離した第１のオーディオデータストリームを削除するように配置される。
つまり、融合モジュール６２０は、ターゲットマルチメディアデータストリームについて、ターゲットマルチメディアデータストリームが受信者から発信されている場合、ターゲットマルチメディアデータストリームから分離した第１のオーディオデータストリームを削除するように配置される。当該ターゲットマルチメディアデータストリームは、第１の数の第１のマルチメディアデータストリームのいずれかである。

本開示の例示的な実施例では、前記融合モジュール６２０は、
前記第１のマルチメディアデータストリームから、対応する第１のビデオデータストリームを分離し、
分離された前記第１のビデオデータストリームのそれぞれに対してミキシング処理を実行し、前記第２の数の前記第２のマルチメディアデータストリームを取得するように配置される。

本開示の例示的な実施例では、前記融合モジュール６２０は、
前記第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離し、
前記第１のマルチメディアデータストリームから、対応する第１のビデオデータストリームを分離し、
分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行し、
分離された第１のビデオデータストリームのそれぞれに対してビデオミキシング処理を実行し、
オーディオミキシング処理された第１のオーディオデータストリームのそれぞれとビデオミキシング処理されたた第１のビデオデータストリームのそれぞれに基づいて、前記第２の数の前記第２のマルチメディアデータストリームを取得するように配置される。

次に、図１５を参照して、本開示の実施例による複数メンバーでのインスタントメッセージング電子機器７０を説明する。図１５に示す複数メンバーでのインスタントメッセージング電子機器７０は、一例に過ぎず、本開示の実施例の機能及び使用範囲を制限するものではない。

図１５に示すように、複数メンバーでのインスタントメッセージング電子機器７０は、汎用コンピューティングデバイスの形で表現される。複数メンバーでのインスタントメッセージング電子機器７０のコンポーネントは、上記の少なくとも１つの処理ユニット７１０、上記の少なくとも１つの記憶ユニット７２０、異なるシステムコンポーネント（記憶ユニット７２０及び処理ユニット７１０を含む）を接続するバス７３０を含むが、これらに限定されない。

前記記憶ユニットは、プログラムコードを記憶する。前記プログラムコードは、前記処理ユニット７１０が本明細書の前述の例示的な方法の説明部分に記載された本開示の様々な例示的な実施形態によるステップを実行するように、前記処理ユニット７１０によって実行される。例えば、前記処理ユニット７１０は、図３に示す各ステップを実行することができる。

記憶ユニット７２０は、ランダムアクセスメモリ（ＲＡＭ）７２０１及び／又はキャッシュストレージユニット７２０２などの揮発性記憶ユニットの形態の可読媒体を含む。さらに、読み取り専用記憶ユニット（ＲＯＭ）７２０３を含んでもよい。

記憶ユニット７２０は、１組の（少なくとも１つの）プログラムモジュール７２０５を有するプログラム／ユーティリティツール７２０４をさらに含む。このようなプログラムモジュール７２０５は、オペレーティングシステム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これに限定しない。これらの例のそれぞれ又はある組み合わせは、ネットワーク環境の実現を含んでもよい。

バス７３０は、記憶ユニットバス又は記憶ユニットコントローラ、周辺バス、グラフィックスアクセラレーションポート、処理ユニット、又は複数のバスの任意のバス構造を使用するローカルバスを含む、いくつかのタイプのバス構造のうちの１つ又は複数を表すことができる。

複数メンバーでのインスタントメッセージング電子機器７０は、１つ又は複数の外部デバイス８００（例えば、キーボード、ポインティングデバイス、ブルートゥースデバイスなど）と通信することができ、また、ユーザーが当該複数メンバーでのインスタントメッセージング電子機器７０とインタラクションできることを可能にする１つ又は複数のデバイスと通信することができ、及び／又は、当該複数メンバーでのインスタントメッセージング電子機器７０が１つ又は複数の他のコンピューティングデバイスと通信できることを可能にする任意のデバイス（例えば、ルーター、モデムなど）と通信することができる。この通信は、入力／出力（Ｉ／Ｏ）インターフェース７５０を介して実行することができる。入力／出力（Ｉ／Ｏ）インターフェース７５０は、表示ユニット７４０に接続する。また、複数メンバーでのインスタントメッセージング電子機器７０は、ネットワークアダプタ７６０を介して、１つ又は複数のネットワーク（例えば、ローカルネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及び／又はパブリックネットワーク、例えば、インターネット）と通信してもよい。図に示すように、ネットワークアダプタ７６０は、バス７３０を介して、複数メンバーでのインスタントメッセージング電子機器７０の他のモジュールと通信する。なお、図示していないが、他のハードウェア及び／又はソフトウェアモジュールを、複数メンバーでのインスタントメッセージング電子機器７０と組み合わせて使用することができる。他のハードウェア及び／又はソフトウェアモジュールは、マイクロコード、デバイスドライバ、冗長処理ユニット、外部磁気ディスクドライブアレイ、ＲＡＩＤシステム、磁気テープドライバ及びデータバックアップ記憶システムなどを含むが、これに限定しない。

以上の実施形態の説明を通じて、当業者は、本明細書に記載の例示的な実施形態がソフトウェアで実現されるか、又はソフトウェアに必要なハードウェアを組み合わせることによって実現されることを容易に理解することができる。従って、本開示の実施形態による技術案は、ソフトウェア製品の形で具体化することができる。当該ソフトウェア製品は、１つの不揮発性記憶媒体（ＣＤ－ＲＯＭ、Ｕディスク、モバイルハードディスクなど）又はネットワーク上に保存され、コンピューティングデバイス（パーソナルコンピュータ、サーバー、端末装置、又はネットワークデバイスなど）が本開示の実施形態による方法を実行するためのいくつかの指令を含む。

本開示の例示的な実施例では、コンピュータ可読命令が記憶されるコンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読命令がコンピュータのプロセッサーで実行される場合、上記の方法実施例の部分で説明する方法をコンピュータに実行させる。

本開示の一実施例によれば、上記の方法実施例における方法を実現するためのプログラム製品をさらに提供し、コンパクト磁気ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）を採用し、プログラムコードを含み、例えばパーソナルコンピュータなどの端末デバイスで実行できる。しかしながら、本開示のプログラム製品は、これに限定されない。本明細書では、可読記憶媒体は、プログラムを含むか又は記憶する任意の有形の媒体であり、当該プログラムは、指令実行システム、装置又はデバイスによって使用されるか、又は、それらと組み合わせて使用できる。

前記プログラム製品は、１つ又は複数の可読媒体の任意の組み合わせを採用してもよい。可読媒体は、可読信号媒体又は可読記憶媒体であってもよい。可読記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、又は半導体システム、装置又はデバイス、又は上記の任意の組み合わせであり得るが、これらに限定されない。可読記憶媒体のより具体的な例（網羅的ではないリスト）は、１つ又は複数のワイヤーの電気接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクト磁気ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記の的任意の適切な組み合わせを含む。

コンピュータ可読信号媒体は、ベースバンドに含まれるか、又はキャリアの一部として伝搬されるデータ信号であり、コンピュータ可読プログラムコードが記録される。このように伝搬されるデータ信号は、多くの形式をとることができ、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であり得る。当該コンピュータ可読媒体は、指令実行システム、装置又はデバイスによって使用されるか、又はそれらと組み合わせて使用されるためのプログラムを送信、伝搬又は伝送することができる。

コンピュータ可読媒体に含まれるプログラムコードは、任意の適切な媒体によって伝送でき、無線、有線、光ファイル、ＲＦなど、又は上記の任意の適切な組み合わせを含むが、これらに限定されない。

１つ又は複数のプログラミング言語の任意の組み合わせで、本開示の動作を実行するためのプログラムコードを記述することができる。前記プログラミング言語は、ＪＡＶＡ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含む。「Ｃ」言語や類似するプログラミング言語など、従来の手続き型プログラミング言語もさらに含む。プログラムコードは、完全にユーザーのコンピューティングデバイスで実行されたり、一部がユーザーのデバイスで実行されたり、１つの独立するソフトウェアパッケージとして実行されたり、一部がユーザーのコンピューティングデバイスで実行され他の部分がリモートのコンピューティングデバイスで実行されたり、完全にリモートのコンピューティングデバイス又はサーバーで実行されたりする。リモートのコンピューティングデバイスに関する場合、リモートのコンピューティングデバイスは、ローカルエリアネットワーク（ＫＧＮ）又はワイドエリアネットワーク（ＷＧＮ）を含む、任意のタイプのネットワークを介して、ユーザーのコンピューティングデバイスに接続することができ、又は、外部のコンピューティングデバイスに接続することができる（例えば、インターネットサービスプロバイダーを使用してインターネットを介して接続する）。

なお、上記の詳細な説明では、アクション実行用のデバイスのいくつかのモジュール又はユニットが言及されているが、この分割は必須ではない。実際、本開示の実施形態によれば、上記の２つ以上のモジュール又はユニットの特徴及び機能は、１つのモジュール又はユニットに具体化され得る。逆に、上記のモジュール又はユニットの特徴及び機能は、具体化される複数のモジュール又はユニットにさらに分割されることができる。

なお、図面において、特定の順序で本開示における方法の各ステップを説明したが、これは、この特定の順序でこれらのステップを実行しなければならないこと、又は望ましい結果を達成するために、示した全てのステップを実行しなければならないことを要求又は暗示するものではない。追加又は代替として、いくつかのステップを省略してもよく、複数のステップを１つのステップに合併して実行してもよく、及び／又は、１つのステップを複数のステップに分解して実行してもよい。

以上の実施形態の説明を通じて、当業者は、本明細書で説明する例示的な実施形態が、ソフトウェアで実現されるか、又はソフトウェアに必要なハードウェアを組み合わせることによって実現されることを容易に理解することができる。従って、本開示の実施形態による技術案は、ソフトウェア製品の形で具体化することができる。当該ソフトウェア製品は、１つの不揮発性記憶媒体（ＣＤ－ＲＯＭ、Ｕディスク、モバイルハードディスクなど）又はネットワーク上に保存され、コンピューティングデバイス（パーソナルコンピュータ、サーバー、モバイル端末、又はネットワークデバイスなど）が本開示の実施形態による方法を実行するためのいくつかの指令を含む。

当業者は、明細書を考慮して、本出願の発明を実施すると、本開示の他の実施形態は容易に想到することができる。本出願は、本開示の任意の変形、用途、又は適応的変更をカバーすることを目的とする。これらの変形、用途、又は適応的変更は、本開示の一般的な原則に従って、本開示に開示されていない本技術分野における常識又は従来の技術的手段を含む。明細書及び実施例は、単なる例示に過ぎず、本開示の範囲及び精神は、以下の特許請求の範囲によって示されている。

Claims

サーバーが実行する複数メンバーでのインスタントメッセージング方法であって、
第１の数の第１のマルチメディアデータストリームを取得するステップと、
前記第１の数の前記第１のマルチメディアデータストリームを、前記第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合するステップと、
受信者端末が対応するマルチメディアを提示するように、前記第２の数の前記第２のマルチメディアデータストリームを前記受信者端末に送信するステップと、
を含むことを特徴とする方法。
前記第１の数の前記第１のマルチメディアデータストリームを、第２の数の第２のマルチメディアデータストリームに融合するステップは、
属性配置情報に基づいて、前記第１の数の第１のマルチメディアデータストリームを、前記属性配置情報にマッチングする前記第１の数の第１のマルチメディアデータストリームに変換するステップであって、前記属性配置情報が、対応するマルチメディアデータストリームの提示属性を示すための情報であるステップと、
前記属性配置情報にマッチングする前記第１の数の第１のマルチメディアデータストリームを、前記属性配置情報にマッチングする第２の数の第２のマルチメディアデータストリームに融合するステップと、を含むことを特徴とする請求項１に記載の方法。
前記第１の数の前記第１のマルチメディアデータストリームを、第２の数の第２のマルチメディアデータストリームに融合する前に、さらに、
マルチメディア再生用に前記受信者端末が予め設定した前記属性配置情報を取得するステップ、を含むことを特徴とする請求項２に記載の方法。
前記第１の数の前記第１のマルチメディアデータストリームを、第２の数の第２のマルチメディアデータストリームに融合するステップは、
前記第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離するステップと、
分離された前記第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行して、前記第２の数の前記第２のマルチメディアデータストリームを取得するステップと、を含むことを特徴とする請求項１に記載の方法。
分離された前記第１のオーディオデータのそれぞれに対してオーディオミキシング処理を実行する前に、さらに、
ターゲットマルチメディアデータストリームが前記受信者端末から発信されている場合、ターゲットマルチメディアデータストリームから分離された第１のオーディオデータストリームを削除するステップ、を含み、
前記ターゲットマルチメディアデータストリームは、前記第１の数の前記第１のマルチメディアデータストリームのいずれかであることを特徴とする請求項４に記載の方法。
前記第１の数の前記第１のマルチメディアデータストリームを、第２の数の第２のマルチメディアデータストリームに融合するステップは、
前記第１のマルチメディアデータストリームから、対応する第１のビデオデータストリームを分離するステップと、
分離された前記第１のビデオデータストリームのそれぞれに対してビデオミキシング処理を実行して、前記第２の数の前記第２のマルチメディアデータストリームを取得するステップと、を含むことを特徴とする請求項１に記載の方法。
前記第１の数の前記第１のマルチメディアデータストリームを、第２の数の第２のマルチメディアデータストリームに融合するステップは、
前記第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離するステップと、
前記第１のマルチメディアデータストリームから、対応する第１のビデオデータストリームを分離するステップと、
分離された第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行するステップと、
分離された第１のビデオデータストリームのそれぞれに対してビデオミキシング処理を実行するステップと、
オーディオミキシング処理された第１のオーディオデータストリームのそれぞれと、ビデオミキシング処理された第１のビデオデータストリームのそれぞれとに基づいて、前記第２の数の前記第２のマルチメディアデータストリームを取得するステップと、を含むことを特徴とする請求項１に記載の方法。
スケジューリングノードと少なくとも２つの候補データ適応ノードとを含む複数メンバーでのインスタントメッセージングシステムであって、
前記スケジューリングノードは、前記少なくとも２つの候補データ適応ノードから１つの候補データ適応ノードを、ターゲットデータ適応ノードとして選択するように配置され、
前記ターゲットデータ適応ノードは、第１の数の第１のマルチメディアデータストリームを取得し、前記第１の数の前記第１のマルチメディアデータストリームを前記第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合し、受信者端末が対応するマルチメディアを提示するように、前記第２の数の前記第２のマルチメディアデータストリームを前記受信者端末に送信するように配置されることを特徴とするシステム。
前記スケジューリングノードは、
各前記候補データ適応ノードにそれぞれ対応する動作状態情報を定期的に取得し、
前記動作状態情報に基づいて、各前記候補データ適応ノードに対応する状態スコアをそれぞれ取得し、
前記状態スコアに基づいて、各前記候補データ適応ノードからターゲットデータ適応ノードを選択するように配置されることを特徴とする請求項８に記載のシステム。
少なくとも２つの候補オーディオ処理ノードをさらに含み、
前記スケジューリングノードは、前記少なくとも２つの候補オーディオ処理ノードから、１つの候補オーディオ処理ノードを、ターゲットオーディオ処理ノードとして選択するように配置されることを特徴とする請求項８に記載のシステム。
前記ターゲットデータ適応ノードは、前記第１のマルチメディアデータストリームから、対応する第１のオーディオデータストリームを分離するように配置され、
前記ターゲットオーディオ処理ノードは、分離された前記第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行し、前記ターゲットデータ適応ノードが前記第２の数の前記第２のマルチメディアデータストリームを取得するように、オーディオミキシング処理された前記第１のオーディオデータストリームのそれぞれを前記ターゲットデータ適応ノードに送信するように配置されることを特徴とする請求項１０に記載のシステム。
前記ターゲットオーディオ処理ノードは、分離された前記第１のオーディオデータストリームのそれぞれに対してオーディオミキシング処理を実行する前に、ターゲットマルチメディアデータストリームが前記受信者端末から発信されている場合、前記ターゲットマルチメディアデータストリームから分離された第１のオーディオデータストリームを削除するように配置され、前記ターゲットマルチメディアデータストリームは、前記第１の数の前記第１のマルチメディアデータストリームのいずれかであることを特徴とする請求項１１に記載のシステム。
少なくとも２つの候補ビデオ処理ノードをさらに含み、
前記スケジューリングノードは、前記少なくとも２つの候補ビデオ処理ノードから、１つの候補ビデオ処理ノードを、ターゲットビデオ処理ノードとして選択するように配置されることを特徴とする請求項８に記載のシステム。
前記ターゲットデータ適応ノードは、前記第１のマルチメディアデータストリームから、対応する第１のビデオデータストリームを分離するように配置され、
前記ターゲットビデオ処理ノードは、分離された前記第１のビデオデータストリームのそれぞれに対してビデオミキシング処理を実行し、前記ターゲットデータ適応ノードが前記第２の数の前記第２のマルチメディアデータストリームを取得するように、ビデオミキシング処理された前記第１のビデオデータストリームのそれぞれを前記ターゲットデータ適応ノードに送信するように配置されることを特徴とする請求項１３に記載のシステム。
複数メンバーでのインスタントメッセージング装置であって、
第１の数の第１のマルチメディアデータストリームを取得するように配置される取得モジュールと、
前記第１の数の前記第１のマルチメディアデータストリームを、前記第１の数より小さい第２の数の第２のマルチメディアデータストリームに融合するように配置される融合モジュールと、
受信者端末が対応するマルチメディアを提示するように、前記第２の数の前記第２のマルチメディアデータストリームを前記受信者端末に送信するように配置される送信モジュールと、
を含むことを特徴とする装置。
複数メンバーでのインスタントメッセージング電子機器であって、
コンピュータ可読命令を記憶するメモリと、
メモリに記憶されたコンピュータ可読命令を読み取って請求項１～６のいずれか１項に記載の方法を実行するプロセッサーと、を含むことを特徴とする電子機器。
請求項１～６のいずれか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。