JP2022537012A - マルチ端末マルチメディアデータ通信方法及びシステム - Google Patents

マルチ端末マルチメディアデータ通信方法及びシステム Download PDF

Info

Publication number
JP2022537012A
JP2022537012A JP2021566505A JP2021566505A JP2022537012A JP 2022537012 A JP2022537012 A JP 2022537012A JP 2021566505 A JP2021566505 A JP 2021566505A JP 2021566505 A JP2021566505 A JP 2021566505A JP 2022537012 A JP2022537012 A JP 2022537012A
Authority
JP
Japan
Prior art keywords
electronic device
slave
master
multimedia data
vocal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021566505A
Other languages
English (en)
Other versions
JP7416519B2 (ja
Inventor
ヤン、シャオ
リー、チュンジアン
Original Assignee
オナー デバイス カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オナー デバイス カンパニー リミテッド filed Critical オナー デバイス カンパニー リミテッド
Publication of JP2022537012A publication Critical patent/JP2022537012A/ja
Application granted granted Critical
Publication of JP7416519B2 publication Critical patent/JP7416519B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech

Abstract

本願の複数の実施形態は、マルチメディア技術の分野に関連し、無線接続を用いることによって複数の端末間でマルチメディアデータ送信を実装する、マルチ端末マルチメディアデータ通信方法を提供する。具体的な解決手段において、マスター電子デバイスは、第1のスレーブ電子デバイス及び第2のスレーブ電子デバイスとの接続を別々に確立する。第1のスレーブ電子デバイスは、再生命令を受信し、再生命令をマスター電子デバイスに送信する。マスター電子デバイスは、再生命令に応答して第1のマルチメディアデータを再生し、同時に、第1のマルチメディアデータの少なくとも一部を第1のスレーブ電子デバイス及び第2のスレーブ電子デバイスに送信し、マスター電子デバイス、第1のスレーブ電子デバイス、及び第2のスレーブ電子デバイスが、第1のマルチメディアデータを同期的に再生することを可能にする。第1のスレーブ電子デバイスは、第1のボーカルを受信し、第1のボーカルをマスターデバイスに送信し、同時に、第2のスレーブ電子デバイスは、第2のボーカルを受信し、第2のボーカルをマスターデバイスに送信する。マスター電子デバイスは、第1のボーカル、第2のボーカル、及び第1のマルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成する。

Description

[関連出願の相互参照]
本願は、2019年6月19日に国家知識産権局に出願された、「マルチ端末マルチメディアデータ通信方法及びシステム(MULTI-TERMINAL MULTIMEDIA DATA COMMUNICATION METHOD AND SYSTEM)」と題された中国特許出願第201910533498.0号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
本願の実施形態は、マルチメディア技術の分野に関連し、特に、マルチ端末マルチメディアデータ通信方法及びシステムに関連する。
携帯電話、タブレットコンピュータ、パーソナルコンピュータ(personal computer、PC)及び無線スピーカ等のモバイル端末のオーディオデバイスの需要及びインテリジェントな開発により、複数のスマートデバイスは、通常、同時に家に存在し、有線又は無線手段によって同一のローカルエリアネットワークに接続されており、これは、ユーザのエンターテイメント体験を高めるべく、クロスデバイスの相互作用及び共同エンターテイメントに重要な開発の方向性を作り出す。
マルチデバイスカラオケ(multi-device Karaoke)等の、現在のマルチ端末共同アップストリーム及びダウンストリームマルチメディアアプリケーションは、通常、複数の電子デバイス(例えば、携帯電話)を含む。複数の電子デバイスのうちの1つはマスターであり、その他はスレーブである。マスターによってカラオケルームを確立した後、部屋のオーナは、KTV機能をオンにし、他のスレーブは、カラオケルームに参加し得る。部屋のオーナは、オンラインで歌を注文し得る。歌は、KTVルームにおける一般的なMVと同様に、ピクチャ、字幕、及び伴奏を含む。視聴者は、スレーブによってマイクロフォンを要求し得る。部屋のオーナが要求を承認した後、視聴者は、オンラインで歌を注文し、マイクロフォンを用いるために整列し始める。それがマイクロフォンを用いる視聴者の順番で、視聴者によって注文された歌が再生され始めるとき、視聴者は歌手になる。視聴者は、スレーブによって伴奏の音量及びボーカルの音量を調節し得る。しかしながら、この時点では、マスターは、依然として歌を制御する権限(歌を休止する又は歌をスキップする)を有する。上記処理において、「マイクロフォン」は、マイクロフォンが接続された状態で異なる視聴者に連続して渡されて、歌手は、常に1人である。この場合、実際の複数人のKTVのように数人が同時にカラオケする利用シナリオが、実装できていない。
本願の実施形態は、マルチ端末マルチメディアデータ通信方法及びシステムを提供し、その結果、複数の端末が、新しい体験を提供すべく新しい用途を確立するために共同し得、複数のデバイスが相互接続され得、マルチメディアコンテンツを好都合に共有し得、これにより、複数のデバイスの有利な機能を十分に利用する。さらに、本発明はまた、マルチデバイス共同に基づくエコロジー及びアプリケーションシステムを構築することに役立つ。
前述の目的を実現すべく、以下の技術的解決手段が本願の実施形態に用いられる。
第1の態様によれば、本願の一実施形態は、複数の電子デバイスに適用される、マルチ端末マルチメディアデータ通信方法を提供する。上記複数の電子デバイスは、1つのマスター電子デバイス、1つの第1のスレーブ電子デバイス、及び1つの第2のスレーブ電子デバイスを含む。上記方法は、上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を別々に確立する段階と、上記第1のスレーブ電子デバイスが、第1の再生命令を受信し、上記第1のスレーブ電子デバイスが、上記第1の再生命令を上記マスター電子デバイスに送信する段階と、上記マスター電子デバイスが、上記第1の再生命令に応答して第1のマルチメディアデータを再生し、同時に、上記第1のマルチメディアデータの少なくとも一部を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信し、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にする段階と、上記第1のスレーブ電子デバイスが、第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスが、第2のボーカルを受信する段階と、上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信し、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記第1のマルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成する段階とを含む。
本解決手段において、上記マスター電子デバイスは、複数のスレーブ電子デバイスとの接続を確立し、上記マスター電子デバイスと上記複数のスレーブ電子デバイスとの間のマルチメディアデータ相互作用を実装し得る。ユーザは、上記第1のスレーブ電子デバイスを用いることによって上記第1の再生命令を上記マスター電子デバイスに送信し得る。上記マスター電子デバイスは、上記第1の再生命令に応答して上記第1のマルチメディアデータを再生する。上記マスター電子デバイス及び上記複数のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にすべく、上記マスター電子デバイスは、上記第1のマルチメディアデータの少なくとも一部を上記複数のスレーブ電子デバイスに送信し得、同時に、同期アルゴリズムを用いることによってリアルタイムで上記マスター電子デバイスと上記複数のスレーブ電子デバイスとの間のデータ同期状態を監視し得る。上記複数のスレーブ電子デバイスは、その後、それぞれのユーザのボーカルを同時に受信し得る。例えば、上記第1のスレーブ電子デバイスは、上記第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスは、上記第2のボーカルを受信する。上記複数のスレーブ電子デバイスは、上記それぞれのユーザの上記受信されたボーカルを上記マスター電子デバイスに送信する。上記マスター電子デバイスは、上記受信されたボーカル及び上記第1のマルチメディアデータをミキシングし、アンチハウリング及びオーディオミキシングを実行し、再生用の上記第2のマルチメディアデータを生成する。
上記第1の態様を参照して、上記第1の態様の第1の実施形態において、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にする上記段階は、具体的には、上記マスター電子デバイスが、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の第1のクロックオフセットを決定する段階、上記マスター電子デバイスが、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の第2のクロックオフセットを決定する段階、上記マスター電子デバイスが、上記第1のクロックオフセットに従って、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する第1の再生開始時点を決定する段階であって、上記第1の再生開始時点は、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する開始時点を表すために用いられる、段階、及び上記マスター電子デバイスが、上記第2のクロックオフセットに従って、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する第2の再生開始時点を決定する段階であって、上記第2の再生開始時点は、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する開始時点を表すために用いられる、段階である。
本解決手段において、複数の端末デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にすべく、上記マスター電子デバイスは、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の上記決定された第1のクロックオフセットを用いることによって、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記第1の再生開始時点を決定する。上記第1の再生開始時点は、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を表すために用いられる。上記マスター電子デバイスは、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の上記第2のクロックオフセットを用いることによって、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記第2の再生開始時点を決定する。上記第2の再生開始時点は、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を表すために用いられる。したがって、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にすべく、上記マスター電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する開始時点、上記第1のクロックオフセット、及び上記第2のクロックオフセットを用いることによって、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記再生開始時点を調節し得る。
クロックオフセットがスレーブ電子デバイスによって決定され得ることを留意する必要がある。この場合、上記マスター電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信する。上記第1のスレーブ電子デバイスは、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の上記第1のクロックオフセットを決定し、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第1のクロックオフセットに従って上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を決定する。同様に、上記第2のスレーブ電子デバイスは、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の上記第2のクロックオフセットを決定し、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第2のクロックオフセットに従って上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を決定する。
他の可能な場合において、上記マスター電子デバイスは、クロックオフセットを決定し、上記マスター電子デバイスの再生開始時点及び上記クロックオフセットをスレーブ電子デバイスに送信し、上記スレーブ電子デバイスは、再生開始時点を決定する。上記マスター電子デバイスは、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の上記第1のクロックオフセットを決定する。上記マスター電子デバイスは、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の上記第2のクロックオフセットを決定する。上記マスター電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第1のクロックオフセットを上記第1のスレーブ電子デバイスに送信する。上記第1のスレーブ電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第1のクロックオフセットに従って、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を決定する。上記マスター電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第2のクロックオフセットを上記第2のスレーブ電子デバイスに送信する。上記第2のスレーブ電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第2のクロックオフセットに従って、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を決定する。
上記第1の態様又は上記第1の態様の上記第1の実施形態を参照して、上記第1の態様の第2の実施形態において、上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を別々に確立する上記段階は、上記マスター電子デバイス及び上記第1のスレーブ電子デバイスは、同一の無線ローカルエリアネットワークに位置する場合、上記マスター電子デバイスが、1つのWi-Fi(登録商標)接続識別子を表示し、上記第1のスレーブ電子デバイスが、上記Wi-Fi(登録商標)接続識別子を認識することによって上記マスター電子デバイスとの上記接続を確立する段階を含む。
本解決手段において、上記マスター電子デバイス及び上記第1のスレーブ電子デバイスは、同一の無線ローカルエリアネットワークに位置する。すなわち、上記マスター電子デバイス及び上記第1のスレーブ電子デバイスは、同一の場所に位置する。上記マスター電子デバイス及び上記第1のスレーブ電子デバイスは、Wi-Fi(登録商標)を介した接続を確立する。この場合、上記マスター電子デバイスは、1つのWi-Fi(登録商標)接続識別子を表示する。上記Wi-Fi(登録商標)接続識別子は、Wi-Fi(登録商標)名と、Wi-Fi(登録商標)パスワードと、上記マスター電子デバイスのアドレス及びポート番号とを含むWi-Fi(登録商標)ネットワーキング情報を保持する。上記第1のスレーブ電子デバイスは、上記Wi-Fi(登録商標)識別子を認識することによって、上記マスター電子デバイスとの上記接続を確立し得る。
上記第1の態様又は上記第1の態様の上記第1の実施形態を参照して、上記第1の態様の第3の実施形態において、上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を別々に確立する上記段階は、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが同一の無線ローカルエリアネットワークに位置していない場合、上記マスター電子デバイスが、ネットワーク情報を上記第2のスレーブ電子デバイスに送信し、上記第2のスレーブ電子デバイスが、上記ネットワーク情報を構文解析することによって上記マスター電子デバイスとの上記接続を確立する段階を含む。
本解決手段において、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが、異なる地理的な位置であり得る。この場合、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが、同一のローカルエリアネットワークにいない。この場合、上記マスター電子デバイスは、上記ネットワーク情報を上記第2のスレーブ電子デバイスに送信し得る。上記第2のスレーブ電子デバイスは、上記ネットワーク情報を構文解析することによって、上記マスター電子デバイスとの上記接続を確立する。上記ネットワーク情報は、上記マスター電子デバイスのIPアドレス及びポート番号を含み得る。上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが、Wi-Fi(登録商標)及びデータ通信ネットワークを介した上記接続を確立し得る。
上記第1の態様の上記第3の実施形態を参照して、上記第1の態様の第4の実施形態において、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記マルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成する上記段階の後に、上記方法は、上記マスター電子デバイスが、上記第2のマルチメディアデータを上記第2のスレーブ電子デバイスに送信する段階と、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが、上記第2のマルチメディアデータを同期的に再生する段階とをさらに含む。
本解決手段において、上記第2のスレーブ電子デバイス及び上記マスター電子デバイスが同一の場所に位置していないので、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信した後に、上記マスター電子デバイスは、上記第1のボーカル、上記第2のボーカル、及び上記第1のマルチメディアデータをミキシングする。上記第2のマルチメディアデータが生成された後に、上記第2のマルチメディアデータを同一の場所に位置していない上記第2のスレーブ電子デバイスと共有すべく、上記マスター電子デバイスは、上記第2のマルチメディアデータを上記第2のスレーブ電子デバイスに送信し、上記第2のスレーブ電子デバイスが上記第2のマルチメディアデータを再生することを可能にする。上記処理において、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが上記第2のマルチメディアデータを同期的に再生することを可能にすべく、上記マスター電子デバイスは、リアルタイムで上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の上記同期を監視する必要がある。
上記第1の態様を参照して、上記第1の態様の第5の実施形態において、上記第1のマルチメディアデータの少なくとも一部は、上記第1のマルチメディアデータのオーディオ、ビデオ、又は歌詞を含む。
本解決手段において、上記第1のマルチメディアデータの上記少なくとも一部は、オーディオ、ビデオ、歌詞、オーディオ及びビデオ、オーディオ及び歌詞、ビデオ及び歌詞、並びに、オーディオ、ビデオ、及び歌詞のうちの1つであり得る。
上記第1の態様を参照して、上記第1の態様の第6の実施形態において、上記方法は、上記マスター電子デバイスが、ユーザによって入力された第2の再生命令を受信する段階と、上記マスター電子デバイスが、上記第2の再生命令に応答して第3のマルチメディアデータを再生し、同時に、上記第3のマルチメディアデータの少なくとも一部を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信し、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第3のマルチメディアデータを同期的に再生することを可能にする段階と、上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信する段階と、上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信し、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記第3のマルチメディアデータをミキシングして再生用の第4のマルチメディアデータを生成する段階とをさらに含む。
本解決手段において、上記ユーザは、再生命令を上記マスター電子デバイスに直接送達し得、上記マスター電子デバイスは、上記再生命令に応答して上記第3のマルチメディアデータを再生する。上記第3のマルチメディアデータが、上記第1のマルチメディアデータと同一であってもよく、上記第1のマルチメディアデータとは異なっていてもよいことを留意する必要がある。
上記第1の態様又は上記第1の態様の上記第6の実施形態を参照して、上記第1の態様の第7の実施形態において、上記方法は、上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信し、同時に、上記マスター電子デバイスが、第3のボーカルを受信する段階と、上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信し、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、上記第3のボーカル、及び上記第4のマルチメディアデータをミキシングして再生用の第5のマルチメディアファイルを生成する段階とをさらに含む。
本願の上記解決手段において、上記マスター電子デバイスは、代替的には、ユーザのボーカルを受信し得る。この場合、上記第1の電子デバイス、上記第2の電子デバイス、及び上記マスター電子デバイスは、それぞれのユーザのボーカルを同時に受信し得る。例えば、上記第1のスレーブ電子デバイスは、上記第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスは、上記第2のボーカルを受信し、同時に、上記マスター電子デバイスは、上記第3のボーカルを受信する。上記第1のスレーブ電子デバイスは、上記受信された第1のボーカルを上記マスター電子デバイスに送信し、上記第2のスレーブ電子デバイスは、上記受信された第2のボーカルを上記マスター電子デバイスに送信する。上記マスター電子デバイスは、上記第1のボーカル、上記第2のボーカル、上記第3のボーカル、及び上記第4のマルチメディアデータをミキシングして再生用の上記第5のマルチメディアファイルを生成する。
第2の態様によれば、本願の一実施形態は、1つのマスター電子デバイス、1つの第1のスレーブ電子デバイス、及び1つの第2のスレーブ電子デバイスを含み、上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を別々に確立するよう構成され、上記第1のスレーブ電子デバイスが、第1の再生命令を受信するよう構成され、上記第1の電子デバイスが、上記第1の再生命令を上記マスター電子デバイスに送信するようさらに構成され、上記マスター電子デバイスが、上記第1の再生命令に応答して第1のマルチメディアデータを再生し、同時に、上記第1のマルチメディアデータの少なくとも一部を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信し、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にするようさらに構成され、上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信するようさらに構成され、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信するよう構成され、上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信するよう構成され、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記第1のマルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成するようさらに構成される、マルチ端末マルチメディアデータ通信システムを提供する。
本解決手段において、上記マスター電子デバイスは、複数のスレーブ電子デバイスとの接続を確立し、上記マスター電子デバイスと上記複数のスレーブ電子デバイスとの間のマルチメディアデータ相互作用を実装し得る。ユーザは、上記第1のスレーブ電子デバイスを用いることによって上記第1の再生命令を上記マスター電子デバイスに送信し得る。上記マスター電子デバイスは、上記第1の再生命令に応答して上記第1のマルチメディアデータを再生する。上記マスター電子デバイス及び上記複数のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にすべく、上記マスター電子デバイスは、上記第1のマルチメディアデータの少なくとも一部を上記複数のスレーブ電子デバイスに送信し得、同時に、同期アルゴリズムを用いることによってリアルタイムで上記マスター電子デバイスと上記複数のスレーブ電子デバイスとの間のデータ同期状態を監視し得る。上記複数のスレーブ電子デバイスは、その後、それぞれのユーザのボーカルを同時に受信し得る。例えば、上記第1のスレーブ電子デバイスは、上記第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスは、上記第2のボーカルを受信する。上記複数のスレーブ電子デバイスは、上記それぞれのユーザの上記受信されたボーカルを上記マスター電子デバイスに送信する。上記マスター電子デバイスは、上記受信されたボーカル及び上記第1のマルチメディアデータをミキシングし、アンチハウリング及びオーディオミキシングを実行し、再生用の上記第2のマルチメディアデータを生成する。
上記第2の態様を参照して、上記第2の態様の第1の実施形態において、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能することは、具体的には、上記マスター電子デバイスが、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の第1のクロックオフセットを決定するよう構成され、上記マスター電子デバイスが、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の第2のクロックオフセットを決定するようさらに構成され、上記マスター電子デバイスが、上記第1のクロックオフセットに従って、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する第1の再生開始時点を決定するようさらに構成され、上記第1の再生開始時点は、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する開始時点を表すために用いられ、上記マスター電子デバイスが、上記第2のクロックオフセットに従って、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する第2の再生開始時点を決定するようさらに構成され、上記第2の再生開始時点は、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する開始時点を表すために用いられることである。
本解決手段において、複数の端末デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にすべく、上記マスター電子デバイスは、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の上記決定された第1のクロックオフセットを用いることによって、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記第1の再生開始時点を決定する。上記第1の再生開始時点は、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を表すために用いられる。上記マスター電子デバイスは、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の上記第2のクロックオフセットを用いることによって、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記第2の再生開始時点を決定する。上記第2の再生開始時点は、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を表すために用いられる。したがって、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にすべく、上記マスター電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する開始時点、上記第1のクロックオフセット、及び上記第2のクロックオフセットを用いることによって、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記再生開始時点を調節し得る。
クロックオフセットがスレーブ電子デバイスによって決定され得ることを留意する必要がある。この場合、上記マスター電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信する。上記第1のスレーブ電子デバイスは、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の上記第1のクロックオフセットを決定し、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第1のクロックオフセットに従って上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を決定する。同様に、上記第2のスレーブ電子デバイスは、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の上記第2のクロックオフセットを決定し、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第2のクロックオフセットに従って上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を決定する。
他の可能な場合において、上記マスター電子デバイスは、クロックオフセットを決定し、上記マスター電子デバイスの再生開始時点及び上記クロックオフセットをスレーブ電子デバイスに送信し、上記スレーブ電子デバイスは、再生開始時点を決定する。上記マスター電子デバイスは、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の上記第1のクロックオフセットを決定する。上記マスター電子デバイスは、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の上記第2のクロックオフセットを決定する。上記マスター電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第1のクロックオフセットを上記第1のスレーブ電子デバイスに送信する。上記第1のスレーブ電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第1のクロックオフセットに従って、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を決定する。上記マスター電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第2のクロックオフセットを上記第2のスレーブ電子デバイスに送信する。上記第2のスレーブ電子デバイスは、上記マスター電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点及び上記第2のクロックオフセットに従って、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する上記開始時点を決定する。
上記第2の態様又は上記第1の態様の上記第1の実施形態を参照して、上記第2の態様の第2の実施形態において、上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を別々に確立することは、上記マスター電子デバイス及び上記第1のスレーブ電子デバイスは、同一の無線ローカルエリアネットワークに位置する場合、上記マスター電子デバイスが、1つのWi-Fi(登録商標)接続識別子を表示するよう構成され、上記第1のスレーブ電子デバイスが、上記Wi-Fi(登録商標)接続識別子を認識することによって上記マスター電子デバイスとの上記接続を確立するよう構成されることを含む。
本解決手段において、上記マスター電子デバイス及び上記第1のスレーブ電子デバイスは、同一の無線ローカルエリアネットワークに位置する。すなわち、上記マスター電子デバイス及び上記第1のスレーブ電子デバイスは、同一の場所に位置する。上記マスター電子デバイス及び上記第1のスレーブ電子デバイスは、Wi-Fi(登録商標)を介した接続を確立する。この場合、上記マスター電子デバイスは、1つのWi-Fi(登録商標)接続識別子を表示する。上記Wi-Fi(登録商標)接続識別子は、Wi-Fi名と、Wi-Fi(登録商標)パスワードと、上記マスター電子デバイスのアドレス及びポート番号とを含むWi-Fi(登録商標)ネットワーキング情報を保持する。上記第1のスレーブ電子デバイスは、上記Wi-Fi(登録商標)識別子を認識することによって、上記マスター電子デバイスとの上記接続を確立し得る。
上記第2の態様又は上記第2の態様の上記第1の実施形態を参照して、上記第1の態様の第3の実施形態において、上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を別々に確立することは、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが同一の無線ローカルエリアネットワークに位置していない場合、上記マスター電子デバイスが、ネットワーク情報を上記第2のスレーブ電子デバイスに送信するよう構成され、上記第2のスレーブ電子デバイスが、上記ネットワーク情報を構文解析することによって上記マスター電子デバイスとの上記接続を確立するよう構成されることを含む。
本解決手段において、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスは、異なる地理的な位置であり得る。この場合、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが、同一のローカルエリアネットワークにいない。この場合、上記マスター電子デバイスは、上記ネットワーク情報を上記第2のスレーブ電子デバイスに送信し得る。上記第2のスレーブ電子デバイスは、上記ネットワーク情報を構文解析することによって、上記マスター電子デバイスとの上記接続を確立する。上記ネットワーク情報は、上記マスター電子デバイスのIPアドレス及びポート番号を含み得る。上記マスター電子デバイス及び上記第2のスレーブ電子デバイスは、Wi-Fi(登録商標)及びデータ通信ネットワークを介した上記接続を確立し得る。
上記第2の態様の上記第3の実施形態を参照して、上記第2の態様の第4の実施形態において、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記マルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成した後に、上記システムは、上記マスター電子デバイスが、上記第2のマルチメディアデータを上記第2のスレーブ電子デバイスに送信するようさらに構成され、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが、上記第2のマルチメディアデータを同期的に再生することをさらに含む。
本解決手段において、上記第2のスレーブ電子デバイス及び上記マスター電子デバイスが同一の場所に位置していないので、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信した後に、上記マスター電子デバイスは、上記第1のボーカル、上記第2のボーカル、及び上記第1のマルチメディアデータをミキシングする。上記第2のマルチメディアデータが生成された後に、上記第2のマルチメディアデータを同一の場所に位置していない上記第2のスレーブ電子デバイスと共有すべく、上記マスター電子デバイスは、上記第2のマルチメディアデータを上記第2のスレーブ電子デバイスに送信し、上記第2のスレーブ電子デバイスが上記第2のマルチメディアデータを再生することを可能にする。上記処理において、上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが上記第2のマルチメディアデータを同期的に再生することを可能にすべく、上記マスター電子デバイスは、リアルタイムで上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の上記同期を監視する必要がある。
上記第2の態様を参照して、上記第2の態様の第5の実施形態において、上記第1のマルチメディアデータの少なくとも一部は、上記第1のマルチメディアデータのオーディオ、ビデオ、又は歌詞を含む。
本解決手段において、上記第1のマルチメディアデータの上記少なくとも一部は、オーディオ、ビデオ、歌詞、オーディオ及びビデオ、オーディオ及び歌詞、ビデオ及び歌詞、並びに、オーディオ、ビデオ、及び歌詞のうちの1つであり得る。
上記第2の態様を参照して、上記第2の態様の第6の実施形態において、上記システムは、上記マスター電子デバイスが、ユーザによって入力された第2の再生命令を受信するよう構成され、上記マスター電子デバイスが、上記第2の再生命令に応答して第3のマルチメディアデータを再生し、同時に、上記第3のマルチメディアデータの少なくとも一部を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信し、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第3のマルチメディアデータを同期的に再生することを可能にするようさらに構成され、上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信するよう構成され、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信するよう構成され、上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信するようさらに構成され、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記第3のマルチメディアデータをミキシングして再生用の第4のマルチメディアデータを生成するようさらに構成されることをさらに含む。
本解決手段において、上記ユーザは、再生命令を上記マスター電子デバイスに直接送達し得、上記マスター電子デバイスは、上記再生命令に応答して上記第3のマルチメディアデータを再生する。上記第3のマルチメディアデータが、上記第1のマルチメディアデータと同一であってもよく、上記第1のマルチメディアデータとは異なっていてもよいことを留意する必要がある。
上記第2の態様又は上記第2の態様の上記第6の実施形態を参照して、上記第2の態様の第7の実施形態において、上記システムは、上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信するようさらに構成され、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信するようさらに構成され、同時に、上記マスター電子デバイスが、第3のボーカルを受信するようさらに構成され、上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信するようさらに構成され、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、上記第3のボーカル、及び上記第4のマルチメディアデータをミキシングして再生用の第5のマルチメディアファイルを生成するようさらに構成されることをさらに含む。
本願の上記解決手段において、上記マスター電子デバイスは、代替的には、ユーザのボーカルを受信し得る。この場合、上記第1の電子デバイス、上記第2の電子デバイス、及び上記マスター電子デバイスは、それぞれのユーザのボーカルを同時に受信し得る。例えば、上記第1のスレーブ電子デバイスは、上記第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスは、上記第2のボーカルを受信し、同時に、上記マスター電子デバイスは、上記第3のボーカルを受信する。上記第1のスレーブ電子デバイスは、上記受信された第1のボーカルを上記マスター電子デバイスに送信し、上記第2のスレーブ電子デバイスは、上記受信された第2のボーカルを上記マスター電子デバイスに送信する。上記マスター電子デバイスは、上記第1のボーカル、上記第2のボーカル、上記第3のボーカル、及び上記第4のマルチメディアデータをミキシングして再生用の上記第5のマルチメディアファイルを生成する。
他の態様によれば、本願の一実施形態は、コンピュータ可読記憶媒体を提供する。ここで、上記コンピュータ可読記憶媒体は、コンピュータ命令を含み、上記コンピュータ命令がコンピュータ上で実行されるとき、上記コンピュータが、前述の態様の任意の可能な実装においてマルチ端末マルチメディアデータ通信方法を実行することが可能である。
本願の実施形態における技術的解決手段をより明らかに説明すべく、以下では実施形態を説明するために必要とされる添付図面を簡単に説明する。見たところ、以下の説明における添付図面は、本願の幾つかの実施形態を示し、当業者は、創造的努力なしにこれらの添付図面から他の図面をさらに導き出し得るようである。
本願の一実施形態に係る電子デバイスのハードウェア構造の概略図である。
本願の一実施形態に係る電子デバイスのソフトウェア構造の概略図である。
本願の一実施形態に係るマルチ端末マルチメディアデータ通信のローカルな適用の概略構造図である。
本願の一実施形態に係るマルチ端末マルチメディアデータ通信のリモートな適用の概略構造図である。
本願の一実施形態に係るマルチ端末マルチメディアデータ通信システムのマスターのソフトウェア及びハードウェアシステムアーキテクチャを示す。
本願の一実施形態に係るマルチ端末マルチメディアデータ通信システムのスレーブのソフトウェア及びハードウェアシステムアーキテクチャを示す。
本願の一実施形態に係るマスターとスレーブとの間のデータ相互作用のフローチャートである。 本願の一実施形態に係るマスターとスレーブとの間のデータ相互作用のフローチャートである。
本願の一実施形態に係るマスターとスレーブとの間のデータ相互作用の他のフローチャートである。 本願の一実施形態に係るマスターとスレーブとの間のデータ相互作用の他のフローチャートである。
本願の一実施形態に係るマスターとスレーブとの間のデータ相互作用の他のフローチャートである。
本願の一実施形態に係るマスターとスレーブとの間のデータ相互作用の他のフローチャートである。 本願の一実施形態に係るマスターとスレーブとの間のデータ相互作用の他のフローチャートである。
本願の一実施形態に係るマルチデバイスカラオケのローカルな適用の概略図である。
本願の一実施形態に係るディスプレイインタフェースの概略図である。
本願の一実施形態に係るの他のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係るマルチデバイスカラオケのリモートな適用の概略図である。
本願の一実施形態に係る一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。 本願の一実施形態に係る他の一群のディスプレイインタフェースの概略図である。
本願の一実施形態に係るマルチ端末マルチメディアデータ通信システムの概略図である。
本発明の実施形態の目的、技術的解決手段、及び利点をより明確にすべく、以下では、本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的解決手段を明確に且つ十分に説明する。見たところ、説明される実施形態は、全ての実施形態というよりはむしろ、単に本発明の幾つかの実施形態に過ぎないようである。創造的努力なしに本願の実施形態に基づいて当業者によって取得される全ての他の実施形態は、本願の保護範囲に含まれるものとする。
図1は、電子デバイス100の概略構造図である。
電子デバイス100は、プロセッサ110、外部メモリインタフェース120、内部メモリ121、ユニバーサルシリアルバス(universal serial bus,USB)インタフェース130、充電管理モジュール140、電力管理ユニット141、バッテリ142、アンテナ1、アンテナ2、移動体通信モジュール150、無線通信モジュール160、オーディオモジュール170、スピーカ170A、受話器170B、マイクロフォン170C、ヘッドセットジャック170D、センサモジュール180、キー190、モータ191、インジケータ192、カメラ193、ディスプレイ画面194、加入者識別モジュール(subscriber identity module,SIM)カードインタフェース195、及び同様のものを含み得る。センサモジュール180は、圧力センサ180A、ジャイロセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光学式近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、環境光センサ180L、骨伝導センサ180M、及び同様のものを含み得る。
本発明の本実施形態における例示的な構造が電子デバイス100に対する特定の制限を構成しないことが理解され得る。本願の幾つかの他の実施形態において、電子デバイス100は、図に示されるものより多くの又は少ないコンポーネントを含んでもよく、幾つかのコンポーネントが組み合わせられてもよく、幾つかのコンポーネントが分割されてもよく、コンポーネントが異なる方式で配置される。図におけるコンポーネントが、ハードウェア、ソフトウェア、又はソフトウェア及びハードウェアの組み合わせによって実装され得る。
プロセッサ110は、1又は複数の処理ユニットを含み得る。例えば、プロセッサ110は、アプリケーションプロセッサ(application processor,AP)、モデムプロセッサ、グラフィックスプロセッシングユニット(graphics processing unit,GPU)、画像信号プロセッサ(image signal processor,ISP)、コントローラ、ビデオコーデック、デジタル信号プロセッサ(digital signal processor,DSP)、ベースバンドプロセッサ、及び/又は、ニューラルネットワークプロセッシングユニット(neural-network processing unit,NPU)を含み得る。異なる処理ユニットは、独立したコンポーネントであってもよく、1又は複数プロセッサに統合されてもよい。
命令をフェッチ及び実行する制御を完了すべく、コントローラは、命令動作コード及びシーケンス信号に従って動作制御信号を生成し得る。
メモリは、プロセッサ110内にさらに構成されて命令及びデータを格納し得る。幾つかの実施形態において、プロセッサ110内のメモリは、キャッシュメモリである。メモリは、プロセッサ110によって直近に用いられる又は周期的に用いられる命令又はデータを格納し得る。プロセッサ110が命令又はデータを再び用いる必要がある場合、プロセッサは、メモリから命令又はデータを直接呼び出して、繰り返されるアクセスを回避してプロセッサ110の待機時間を減らし得、これにより、システムの効率性を改善する。
幾つかの実施形態において、プロセッサ110は、1又は複数のインタフェースを含み得る。インタフェースは、集積回路間(inter-integrated circuit,I2C)インタフェース、集積回路間サウンド(inter-integrated circuit sound,I2S)インタフェース、パルスコード変調(pulse code modulation,PCM)インタフェース、汎用非同期受信機/送信機(universal asynchronous receiver/transmitter,UART)インタフェース、モバイルインダストリプロセッサインタフェース(mobile industry processor interface,MIPI)、汎用入力/出力(general-purpose input/output,GPIO)インタフェース、加入者識別モジュール(subscriber identity module,SIM)インタフェース、及び/又はユニバーサルシリアルバス(universal serial bus,USB)インタフェース、並びに同様のものを含み得る。
I2Cインタフェースは、双方向の同期シリアルバスであり、シリアルデータライン(serial data line,SDA)及びシリアルクロックライン(serial clock line,SCL)を含む。幾つかの実施形態において、プロセッサ110は、複数の組のI2Cバスを含み得る。プロセッサ110は、異なるI2Cバスインタフェースを用いることによって、タッチセンサ180K、充電器、フラッシュライト、カメラ193、及び同様のものに連結され得る。例えば、プロセッサ110は、I2Cインタフェースを用いることによってタッチセンサ180Kに連結され得、その結果、プロセッサ110は、I2Cバスインタフェースを用いることによって、タッチセンサ180Kと通信し、電子デバイス100のタッチ機能を実装する。
I2Sインタフェースは、オーディオ通信のために用いられ得る。幾つかの実施形態において、プロセッサ110は、複数の組のI2Sバスを含み得る。プロセッサ110は、I2Sバスを用いることによってオーディオモジュール170に連結し、プロセッサ110とオーディオモジュール170との間の通信を実装し得る。幾つかの実施形態において、オーディオモジュール170は、I2Sインタフェースを用いることによってオーディオ信号を無線通信モジュール160に転送し、Bluetooth(登録商標)ヘッドセットを用いることによって電話に応答する機能を実装し得る。
PCMインタフェースはまた、オーディオ通信、並びに、アナログ信号のサンプリング、量子化、及び符号化のために用いられ得る。幾つかの実施形態において、オーディオモジュール170は、PCMバスインタフェースを用いることによって、無線通信モジュール160に連結され得る。幾つかの実施形態において、オーディオモジュール170は、代替的には、PCMインタフェースを用いることによってオーディオ信号を無線通信モジュール160に転送し、Bluetooth(登録商標)ヘッドセットを用いることによって電話に応答する機能を実装し得る。I2Sインタフェース及びPCMインタフェースの両方は、オーディオ通信のために用いられ得る。
UARTインタフェースは、ユニバーサルシリアルデータバスであり、非同期通信のために用いられる。バスは、双方向の通信バスであり得る。バスは、シリアル通信とパラレル通信との間で送信されるべきデータを変換する。幾つかの実施形態において、UARTインタフェースは、通常、プロセッサ110を無線通信モジュール160に接続するよう構成される。例えば、プロセッサ110は、UARTインタフェースを用いることによって無線通信モジュール160におけるBluetooth(登録商標)モジュールと通信し、Bluetooth(登録商標)機能を実装する。幾つかの実施形態において、オーディオモジュール170は、UARTインタフェースを用いることによってオーディオ信号を無線通信モジュール160に転送し、Bluetooth(登録商標)ヘッドセットを用いることによって音楽を再生する機能を実装し得る。
MIPIインタフェースは、プロセッサ110をディスプレイ画面194及びカメラ193等の周辺デバイスに接続するよう構成され得る。MIPIインタフェースは、カメラシリアルインタフェース(camera serial interface,CSI)、ディスプレイシリアルインタフェース(display serial interface,DSI)及び同様のものを含む。幾つかの実施形態において、プロセッサ110は、CSIインタフェースを用いることによってカメラ193と通信し、電子デバイス100の撮影機能を実装する。プロセッサ110は、DSIインタフェースを用いることによってディスプレイ画面194と通信し、電子デバイス100のディスプレイ機能を実装する。
GPIOインタフェースは、ソフトウェアを用いることによって構成され得る。GPIOインタフェースは、制御信号を送信するよう構成されてもよく、データ信号を送信するよう構成されてもよい。幾つかの実施形態において、GPIOインタフェースは、プロセッサ110を、カメラ193、ディスプレイ画面194、無線通信モジュール160、オーディオモジュール170、センサモジュール180、及び同様のものに接続するよう構成され得る。GPIOインタフェースは、代替的には、I2Cインタフェース、I2Sインタフェース、UARTインタフェース、MIPIインタフェース、及び同様のものとして構成され得る。
USBインタフェース130は、USB規格仕様に準拠するインタフェースであり、具体的には、miniUSBインタフェース、microUSBインタフェース、USB Type Cインタフェース、又は同様のものであり得る。USBインタフェース130は、充電器に接続して電子デバイス100を充電するよう構成されてもよく、電子デバイス100と周辺デバイスとの間でデータ送信するために用いられてもよく、ヘッドセットに接続してヘッドセットを用いることによってオーディオを再生するよう構成されてもよい。インタフェースは、代替的には、ARデバイス等の他の電子デバイスに接続するよう構成され得る。
本発明の本実施形態で示されるモジュール間のインタフェース接続関係は、単に説明のための一例に過ぎず、電子デバイス100の構造に対して限定を構成しないことが理解され得る。本願の幾つかの他の実施形態において、電子デバイス100は、代替的には、前述の実施形態のものとは異なるインタフェース接続方式を用いてもよく、複数のインタフェース接続方式の組み合わせを用いてもよい。
充電管理モジュール140は、充電器からの充電入力を受信するよう構成される。充電器は、無線充電器であってもよく、有線充電器であってもよい。有線充電の幾つかの実施形態において、充電管理モジュール140は、USBインタフェース130を用いることによって有線充電器の充電入力を受信し得る。無線充電の幾つかの実施形態において、充電管理モジュール140は、電子デバイス100の無線充電コイルを用いることによって無線充電入力を受信し得る。充電管理モジュール140は、バッテリ142を充電しながら電力管理ユニット141を用いることによって電力を電子デバイスに供給し得る。
電力管理モジュール141は、バッテリ142、充電管理モジュール140、及びプロセッサ110に接続するよう構成される。電力管理モジュール141は、バッテリ142及び/又は充電管理モジュール140の入力を受信し、プロセッサ110、内部メモリ121、ディスプレイ画面194、カメラ193、無線通信モジュール160、及び同様のものに電力を供給する。電力管理モジュール141は、バッテリ容量、バッテリサイクルカウント、及びバッテリの健康状態(漏電及びインピーダンス)等のパラメータを監視するようさらに構成され得る。幾つかの他の実施形態において、電力管理モジュール141は、代替的には、プロセッサ110に配置され得る。幾つかの他の実施形態において、電力管理ユニット141及び充電管理モジュール140は、代替的には、同一のデバイス内に構成され得る。
電子デバイス100の無線通信機能は、アンテナ1、アンテナ2、移動体通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサ、及び同様のものを用いることによって実装され得る。
アンテナ1及びアンテナ2は、電磁波信号を送信及び受信するよう構成される。電子デバイス100のそれぞれのアンテナは、1又は複数の通信周波数帯域をカバーするよう構成され得る。異なるアンテナはまた、アンテナの利用を改善すべく、多重化され得る。例えば、アンテナ1は、無線ローカルエリアネットワークのダイバーシティアンテナとして多重化され得る。幾つかの他の実施形態において、アンテナは、チューニングスイッチとの組み合わせで用いられ得る。
移動体通信モジュール150は、電子デバイス100に適用される2G/3G/4G/5G等の無線通信の解決手段を提供し得る。移動体通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、低雑音増幅器(low noise amplifier,LNA)、及び同様のものを含み得る。移動体通信モジュール150は、アンテナ1によって電磁波を受信し得、受信した電磁波に対するフィルタリング及び増幅等の処理を実行し得、復調のために、処理した電磁波をモデムプロセッサに送信し得る。移動体通信モジュール150は、モデムプロセッサによって変調された信号をさらに増幅し得、アンテナ1によって放射するための電磁波に信号を変換し得る。幾つかの実施形態において、移動体通信モジュール150の少なくとも幾つかの機能モジュールは、プロセッサ110に配置され得る。幾つかの実施形態において、移動体通信モジュール150の少なくとも幾つかの機能モジュールは、プロセッサ110の少なくとも幾つかのモジュールとして同一のデバイス内に構成され得る。
モデムプロセッサは、変調器及び復調器を含み得る。変調器は、送信されるべき低周波数ベースバンド信号を中高周波数信号に変調するよう構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するよう構成される。その後、復調器は、処理するために、復調した低周波数ベースバンド信号をベースバンドプロセッサに送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理され、その後、アプリケーションプロセッサに送信される。アプリケーションプロセッサは、(ラウドスピーカ170A、受話器170B、及び同様のものに限定されない)オーディオデバイスを介して音信号を出力する、又はディスプレイ画面194を介して画像若しくはビデオを表示する。幾つかの実施形態において、モデムプロセッサは、独立したデバイスであり得る。幾つかの他の実施形態において、モデムプロセッサは、プロセッサ110から独立し得、モデムプロセッサ、及び、移動体通信モジュール150又は他の機能モジュールは、同一のコンポーネントに配置され得る。
無線通信モジュール160は、無線ローカルエリアネットワーク(wireless local area network,WLAN)(ワイヤレスフィディリティ(wireless fidelity,wi-fi(登録商標))ネットワーク等)、Bluetooth(登録商標)(Bluetooth(登録商標),BT)、全球測位衛星システム(global navigation satellite system,GNSS)、周波数変調(frequency modulation,FM)、近距離無線通信(near field communication,NFC)技術、赤外線(infrared,IR)技術、及び同様のものを含む、電子デバイス100に適用される無線通信解決手段に対する解決手段を提供し得る。無線通信モジュール160は、少なくとも1つの通信処理モジュールを統合する1又は複数のデバイスであり得る。無線通信モジュール160は、アンテナ2を用いることによって電磁波を受信し、電磁波信号に対して周波数変調及びフィルタリング処理を実行し、処理した信号をプロセッサ110に送信する。無線通信モジュール160は、さらに、プロセッサ110から送信されるべき信号を受信し得、送信されるべき信号に対して周波数変調及び増幅を実行し得、アンテナ2を用いることによって放射するための電磁波に信号を変換し得る。
幾つかの実施形態において、電子デバイス100では、アンテナ1が移動体通信モジュール150に連結され、アンテナ2が無線通信モジュール160に連結され、その結果、電子デバイス100は、無線通信技術を用いることによってネットワーク及び他のデバイスと通信し得る。無線通信技術は、グローバルシステムフォーモバイルコミュニケーションズ(global system for mobile communications,GSM(登録商標))、汎用パケット無線サービス(general packet radio service,GPRS)、符号分割多元接続(code division multiple access,CDMA)、広帯域符号分割多元接続(wideband code division multiple access,WCDMA(登録商標))、時分割符号分割多元接続(time-division code division multiple access,TD-SCDMA)、ロングタームエボリューション(long term evolution,LTE)、BT、GNSS、WLAN、NFC、FM、IR技術、及び/又は同様のものを含み得る。GNSSは、グローバルポジショニングシステム(global positioning system,GPS)、全球測位衛星システム(global navigation satellite system,GLONASS)、北斗衛星導航系統(beidou navigation satellite system,BDS)、準天頂衛星システム(quasi-zenith satellite system,QZSS)、及び/又は、静止衛星型衛星航法補強システム(satellite based augmentation systems,SBAS)を含み得る。
電子デバイス100は、GPU、ディスプレイ画面194、アプリケーションプロセッサ、及び同様のものを用いることによってディスプレイ機能を実装する。GPUは、画像処理用のマイクロプロセッサであり、ディスプレイ画面194及びアプリケーションプロセッサに接続される。GPUは、数学的及び幾何学的な計算を実行し、画像をレンダリングするよう構成される。プロセッサ110は、1又は複数のGPUを含み得、プログラム命令を実行して表示情報を生成又は変更し得る。
ディスプレイ画面194は、画像、ビデオ、及び同様のものを表示するよう構成される。ディスプレイ画面194は、ディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ(liquid crystal display,LCD)、有機発光ダイオード(organic light-emitting diode,OLED)、アクティブマトリクス有機発光ダイオード(active-matrix organic light emitting diode,AMOLED)、フレキシブル発光ダイオード(flex light-emitting diode,FLED)、mini-LED、micro-LED、micro-OLED、量子ドット発光ダイオード(quantum dot light emitting diodes,QLED)、及び同様のものであり得る。幾つかの実施形態において、電子デバイス100は、1又はN個のディスプレイ画面194を含み得る。Nは1より大きい正の整数である。
電子デバイス100は、ISP、カメラ193、ビデオコーデック、GPU、ディスプレイ画面194、アプリケーションプロセッサ、及び同様のものを用いることによって撮影機能を実装し得る。
ISPは、カメラ193によってフィードバックされたデータを処理するよう構成される。例えばは、撮影中、シャッタが可能になる。光がレンズを介してカメラの感光素子に転送され、光信号が電気信号に変換される。カメラの感光素子は、処理のために電気信号をISPに転送し、したがって、電気信号が肉眼で確認できる画像に変換される。ISPはまた、ノイズポイント、明るさ、及びスキントーンアルゴリズムを最適化し得る。ISPはまた、撮影シーンの露光量及び色温度等のパラメータを最適化し得る。幾つかの実施形態において、ISPは、カメラ193に配置され得る。
カメラ193は、静止画像又はビデオをキャプチャするよう構成される。オブジェクトの光学像がレンズによって生成され、感光素子によって投影される。感光性の要素は、電荷結合素子(charge coupled device,CCD)又は相補型金属酸化物半導体(complementary metal-oxide-semiconductor,CMOS)フォトトランジスタであり得る。感光素子は、光信号を電気信号に変換し、その後、電気信号をデジタル画像信号に変換すべく、電気信号をISPに送信する。ISPは、処理のためにデジタル画像信号をDSPに出力する。DSPは、デジタル画像信号をRGBフォーマット及びYUVフォーマットで標準画像信号に変換する。幾つかの実施形態において、電子デバイス100は、1又はN個のカメラ193を含み得、Nは1より大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するよう構成され、デジタル画像信号に加えて、他のデジタル信号をさらに処理し得る。例えば、電子デバイス100が周波数選択を実行するとき、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換及び同様のものを実行するよう構成される。
ビデオコーデックは、デジタルビデオを圧縮又は解凍するよう構成される。電子デバイス100は、1又は複数のビデオコーデックをサポートし得る。このように、電子デバイス100は、複数の符号化フォーマット、例えば、ムービングピクチャエクスパーツグループ(moving picture experts group,MPEG)1、MPEG2、MPEG3、及びMPEG4、でビデオを再生又は記録し得る。
NPUは、生物学上のニューラルネットワークの構造、例えば、人間の脳内のニューロン間の送信モード、を参照することによって入力情報を迅速に処理し、さらに、自己学習を継続的に実行し得るニューラルネットワーク(neural-network,NN)コンピューティングプロセッサである。NPUは、電子デバイス100用のインテリジェント認識、例えば、画像認識、顔認識、音声認識、及びテキスト理解等のアプリケーションを実装するために用いられ得る。
外部メモリインタフェース120は、microSDカード等の外部記憶カードに接続し、電子デバイス100の記憶能力を拡張するよう構成され得る。外部記憶カード内の音楽又はビデオ等のファイルを格納する等のデータ記憶機能を実装するために、外部記憶カードは、外部メモリインタフェース120を用いることによってプロセッサ110と通信する。
内部メモリ121は、コンピュータ実行可能プログラムコードを格納するよう構成され得、実行可能プログラムコードは、命令を含む。内部メモリ121は、プログラム記憶領域及びデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能(例えば、音声再生機能又は画像再生機能)によって必要とされるアプリケーション、及び同様のものを格納し得る。データ記憶領域は、データ(例えば、オーディオデータ及びアドレス帳)並びに電子デバイス100が用いられるときに作成される同様のものを格納し得る。さらに、内部メモリ121は、高速ランダムアクセスメモリを含んでもよく、少なくとも1つの磁気ディスクメモリ、フラッシュメモリ、又はユニバーサルフラッシュストレージ(universal flash(登録商標) storage,UFS)等の不揮発性メモリを含んでもよい。プロセッサ110は、内部メモリ121に格納されている命令、及び/又は、プロセッサに配置されているメモリに格納されている命令を実行し、電子デバイス100の様々な機能アプリケーション及びデータ処理を実行する。
電子デバイス100は、オーディオモジュール170、ラウドスピーカ170A、受話器170B、マイクロフォン170C、ヘッドセットジャック170Dアプリケーションプロセッサ、及び同様のものを用いることによって、音楽再生又は記録等のオーディオ機能を実装し得る。
オーディオモジュール170は、デジタルオーディオ情報をアナログオーディオ信号出力に変換するよう構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようさらに構成される。オーディオモジュール170は、オーディオ信号を符号化及び復号するようさらに構成され得る。幾つかの実施形態において、オーディオモジュール170は、プロセッサ110に配置されてもよく、オーディオモジュール170の幾つかの機能モジュールがプロセッサ110に配置される。
「ホーン(horn)」とも称されるスピーカ170Aは、オーディオ電気信号を音信号に変換するよう構成される。音楽が聴かれ得、又は、ハンズフリーの電話が電子デバイス100内のスピーカ170Aを用いることによって応答され得る。
「受信器(receiver)」とも称される受話器170Bは、オーディオ電気信号を音信号に変換するよう構成される。電子デバイス100が電話に応答するため又は音声情報を受信するために用いられるとき、受話器170Bが、音声情報を聞くために人間の耳の近くに置かれ得る。
「マイク」又は「マイクロフォン」とも称されるマイクロフォン170Cは、音信号を電気信号に変換するよう構成される。電話をかける又は音声情報を送信するとき、ユーザは、口がマイクロフォン170Cに近づいている状態で話し、音信号をマイクロフォン170Cに入力し得る。少なくとも1つのマイクロフォン170Cは、電子デバイス100に配置され得る。幾つか他の実施形態において、2つのマイクロフォン170Cが電子デバイス100に配置されて、音信号を収集し得、ノイズリダクション機能を実装し得る。幾つか他の実施形態において、3つ、4つ、又はそれより多くのマイクロフォン170Cが、代替的には、電子デバイス100に配置されて、音信号を収集し得、ノイズリダクションを実装し得、音源を認識し得、指向性記録機能を実装し得、及び同様のものを実装し得る。
ヘッドセットジャック170Dは、有線ヘッドセットに接続するよう構成される。ヘッドセットジャック170Dは、USBインタフェース130であってもよく、3.5mmオープンモバイル端末プラットフォーム(open mobile terminal platform,OMTP)規格のインタフェースであってもよく、米国セルラ通信工業会(cellular telecommunications industry association of the USA,CTIA)規格のインタフェースであってもよい。
圧力センサ180Aは、圧力信号を感知するよう構成され、圧力信号を電気信号に変換し得る。幾つかの実施形態において、圧力センサ180Aは、ディスプレイ画面194に配置され得る。複数のタイプの圧力センサ180A、例えば、抵抗性圧力センサ、誘導性圧力センサ、及び容量性圧力センサ、が存在する。
容量性圧力センサは、導体材料を有する少なくとも2つの平行板を含み得る。力が圧力センサ180Aに与えられるとき、電極間の静電容量が変化する。電子デバイス100は、静電容量の変化に基づいて圧力の強さを決定する。タッチ操作がディスプレイ画面194に実行されるとき、電子デバイス100は、圧力センサ180Aを用いることによってタッチ操作の強さを検出する。電子デバイス100は、圧力センサ180Aの検出信号に基づいて、タッチの位置をさらに計算し得る。幾つかの実施形態において、同一のタッチ位置で実行されたが異なるタッチ操作の強さを有するタッチ操作は、異なる操作命令に対応し得る。例えば、タッチ操作の強さが第1の圧力閾値より小さいタッチ操作がSMSメッセージアプリケーションアイコンに実行されたとき、SMSメッセージをチェックする命令が実行される。タッチ操作の強さが第1の圧力閾値より大きい又はこれに等しいタッチ操作がSMSメッセージアプリケーションアイコンに実行されるとき、新しいSMSメッセージを作成する命令が実行される。
ジャイロスコープセンサ180Bは、電子デバイス100の動作姿勢を決定するよう構成され得る。幾つかの実施形態において、3軸(すなわち、x軸、y軸、及びz軸)の周囲の電子デバイス100の角速度が、ジャイロスコープセンサ180Bによって決定され得る。ジャイロスコープセンサ180Bは、写真撮影の際の画像安定化のために用いられ得る。例えば、シャッタが押されたとき、ジャイロセンサ180Bは、電子デバイス100がジッターする角度を検出し、角度に基づいて、レンズモジュールが補う必要がある距離を計算し、レンズが反対の動作によって電子デバイス100のジッターをキャンセルすることを可能にし、これにより、画像安定化を実装する。ジャイロセンサ180Bはまた、ナビゲーション及び動作検知ゲームシナリオに用いられ得る。
気圧センサ180Cは、気圧を測定するよう構成される。幾つかの実施形態において、電子デバイス100は、位置調整及びナビゲーションを支援すべく、気圧センサ180Cによって測定された気圧値を用いることによって高度を計算する。
磁気センサ180Dは、ホール効果センサを含む。電子デバイス100は、磁気センサ180Dを用いることによって、フリップレザーケースの開閉を検出し得る。幾つかの実施形態において、電子デバイス100が折り畳み式携帯電話であるとき、電子デバイス100は、磁気センサ180Dに基づいて、フリップカバーの開閉を検出し得る。さらに、レザーケースの検出された開状態若しくは閉状態、又は、フリップカバーの検出された開状態若しくは閉状態に基づいて、フリップカバーの自動ロック解除等の機能が設定される。
加速度センサ180Eは、それぞれ方向(概して、3軸)における電子デバイス100の加速度値を検出し得る。電子デバイス100が動かないとき、重力の大きさ及び方向が検出され得る。加速度センサは、電子デバイスの姿勢を認識するようさらに構成され得、横長モードと縦長モードとの間のスイッチ及び歩数計等の用途に適用される。
距離センサ180Fは、距離を測定するよう構成される。電子デバイス100は、赤外線又はレーザによって距離を測定し得る。幾つかの実施形態において、撮影シナリオでは、電子デバイス100は、距離センサ180Fを用いることによって距離を測定し、高速なピント合わせを実装し得る。
光学式近接センサ180Gは、例えば、発光ダイオード(LED)及びフォトダイオード等の光検知器を含み得る。発光ダイオードは、赤外線発光ダイオードであり得る。電子デバイス100は、発光ダイオードを用いることによって赤外線光を放射し得る。電子デバイス100は、フォトダイオードを用いることによって近くのオブジェクトからの赤外反射光を検出する。十分な反射光を検出するとき、電子デバイス100は、電子デバイスの近くにオブジェクトが存在することを決定し得る。不十分な反射光を検出するとき、電子デバイス100は、電子デバイス100の近くにオブジェクトが存在しないことを決定し得る。電子デバイス100は、光学式近接センサ180Gを用いることによって、ユーザが通話のために耳の近くに電子デバイス100を保持することを検出し得、その結果、電力の節約を実現するための自動的な画面オフが実装される。光学式近接センサ180Gは、代替的には、画面を自動的にロック解除又はロックするためにレザーケースモード又はポケットモードで用いられ得る。
環境光センサ180Lは、環境光の輝度を感知するよう構成される。電子デバイス100は、知覚した環境光の明るさに従ってディスプレイ画面194の輝度を適応調節し得る。環境光センサ180Lは、写真撮影中のホワイトバランスを自動的に調節するようさらに構成され得る。環境光センサ180Lは、光学式近接センサ180Gをさらに連携して、予想外のタッチを防止するために、電子デバイス100がポケットにあるか否かを検出し得る。
指紋センサ180Hは、指紋を収集するよう構成される。電子デバイス100は、指紋を収集する機能を用いることによって、指紋ロック解除、アプリケーションロックアクセス、指紋撮影、指紋ベース電話応答、及び同様のものを実装し得る。
温度センサ180Jは、温度を検出するよう構成される。幾つかの実施形態において、電子デバイス100は、温度センサ180Jにより検出された温度を用いることによって、温度処理ポリシーを実行する。例えば、温度センサ180Jによって報告された温度が閾値を超えるとき、電子デバイス100は、温度センサ180Jの近くのプロセッサのパフォーマンスを低下させて、電力消費を減らして熱防御を実装する。幾つか他の実施形態において、温度が他の閾値以下であるとき、電子デバイス100は、低温が、電子デバイス100が異常にシャットダウンする原因となることを防止すべく、バッテリ142を熱くする。幾つかの他の実施形態において、温度が依然として他の閾値以下であるとき、電子デバイス100は、低温によって引き起こされる異常なシャットダウンを防止すべく、バッテリ142の出力電圧をブーストする。
タッチセンサ180Kは、「タッチデバイス」とも称される。タッチセンサ180Kは、ディスプレイ画面194上に配置され得る。タッチセンサ180K及びディスプレイ画面194は、「タッチスクリーン」とも称されるタッチスクリーンを形成する。タッチセンサ180Kは、タッチセンサ上又はタッチセンサの近くで実行されたタッチ操作を検出するよう構成される。タッチセンサは、タッチイベントタイプを決定すべく、検出したタッチ操作をアプリケーションプロセッサに送信し得る。タッチセンサは、ディスプレイ画面194を用いることによって、タッチ操作に関連する視覚出力を提供し得る。幾つか他の実施形態において、タッチセンサ180Kは、代替的には、電子デバイス100の表面上に配置され得、ディスプレイ画面194のものとは異なる位置に位置付けられる。
骨伝導センサ180Mは、振動信号を取得し得る。幾つかの実施形態において、骨伝導センサ180Mは、人間の声帯部分の骨振動の振動信号を取得し得る。骨伝導センサ180Mは、代替的には、人間の脈に接触し得、血圧鼓動信号を受信し得る。幾つかの実施形態において、骨伝導センサ180Mは、代替的には、ヘッドセットに配置されて、骨伝導ヘッドセットを形成し得る。オーディオモジュール170は、骨伝導センサ180Mによって取得される、声帯部分の骨振動の振動信号に基づく構文解析によって音声信号を取得し、音声機能を実装し得る。アプリケーションプロセッサは、骨伝導センサ180Mによって取得された血圧脈信号に基づく心拍情報を構文解析し、心拍検出機能を実装し得る。
キー190は、電源キー、音量キー及び同様のものを含む。キー190は、メカニカルキーであってもよく、タッチタイプキーであってもよい。電子デバイス100は、キー入力を受信し得、ユーザ設定及び電子デバイス100の機能制御に関連するキー信号入力を生成し得る。
モータ191は、振動プロンプトを生成し得る。モータ191は、電話の着信に対する振動プロンプトを提供するよう構成され得、タッチ振動フィードバックを提供するようさらに構成され得る。例えば、異なるアプリケーション(例えば、写真撮影及びオーディオ再生)に対して実行されたタッチ操作は、異なる振動フィードバック効果に対応し得る。ディスプレイ画面194の異なる領域に対して実行されるタッチ操作について、モータ191はまた、異なる振動フィードバック効果に対応し得る。異なるアプリケーションシナリオ(例えば、時間プロンプト、情報受信、目覚まし時計、及びゲーム)はまた、異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果は、さらにカスタマイズされ得る。
インジケータ192は、インジケータライトであり得、充電状態及びバッテリ変化を示すよう構成され得、メッセージ、不在着信、通知、及び同様のものを示すようさらに構成され得る。
SIMカードインタフェース195は、SIMカードに接続するよう構成される。電子デバイス100と接触すべく又は電子デバイス100から分離されるべく、SIMカードがSIMカードインタフェース195に挿入され得る又はSIMカードインタフェース195から引き抜かれ得る。電子デバイス100は、1又はN個のSIMカードインタフェースをサポートし得る。Nは1より大きい正の整数である。SIMカードインタフェース195は、nanoSIMカード、microSIMカード、SIMカード、及び同様のものをサポートし得る。複数のカードが全て、同一のSIMカードインタフェース195に挿入され得る。複数のカードは、同一タイプのカード又は異なるタイプのカードであり得る。SIMカードインタフェース195は、さらに、異なるタイプのSIMカードと互換性があり得る。SIMカードインタフェース195はまた、外部のメモリカードと互換性があり得る。電子デバイス100は、SIMカードを用いることによってネットワークと相互作用し、電話及びデータ通信等の機能を実装する。幾つかの実施形態において、電子デバイス100は、eSIM、すなわち、埋め込み型SIMカードを用いる。eSIMカードは、電子デバイス100に埋め込まれ得、電子デバイス100から分離できない。
電子デバイス100のソフトウェアシステムは、階層アーキテクチャ、イベント駆動型アーキテクチャ、マイクロコアアーキテクチャ、マイクロサービスアーキテクチャ、又はクラウドアーキテクチャを用い得る。本発明の本実施形態において、階層アーキテクチャを有するAndroid(登録商標)システムが、電子デバイス100のソフトウェア構造を示すための一例として用いられる。
図2は、本発明の一実施形態に係る電子デバイス100のソフトウェア構造のブロック図である。
階層アーキテクチャにおいて、ソフトウェアが数層に分割され、それぞれの層が明確な役割及びタスクを有する。層は、ソフトウェアインタフェースによって互いと通信する。幾つかの実施形態において、Android(登録商標)システムが、上から下に、それぞれ、アプリケーション層、アプリケーションフレームワーク層、Android(登録商標)ランタイム(Android(登録商標) runtime)及びシステムライブラリ、並びに、カーネル層である4層に分割される。
アプリケーション層は、一連のアプリケーションパッケージを含み得る。
図2に示すように、アプリケーションパッケージは、カメラ、写真、カレンダー、電話、地図、ナビゲーション、WLAN、Bluetooth(登録商標)、音楽、ビデオ、及びSMSメッセージ等のアプリケーションを含み得る。
アプリケーションフレームワーク層は、アプリケーション層でのアプリケーション用のアプリケーションプログラミングインタフェース(application programming interface,API)及びプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、幾つかの事前に定義された機能を含む。
図2に示されるように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、通知マネージャ、及び同様のものを含み得る。
ウィンドウマネージャは、ウィンドウアプリケーションを管理するよう構成される。ウィンドウマネージャは、ディスプレイ画面のサイズを取得し得、ステータスバーが存在するか否かを決定し得、画面をロックし得、画面をキャプチャし得、及び同様のことをし得る。
コンテンツプロバイダは、データを格納及び取得するよう構成され、その結果、データがアプリケーションによってアクセスされ得る。データは、ビデオ、画像、オーディオ、発信及び応答された電話、閲覧履歴及びブックマーク、アドレス帳、並びに同様のものを含み得る。
ビューシステムは、テキスト表示の制御又はピクチャ表示の制御等の視覚制御を含む。ビューシステムは、アプリケーションを構築するよう構成され得る。ディスプレイインタフェースは、1又は複数のビューによって形成され得る。例えば、SMS通知アイコンを含むディスプレイインタフェースは、テキストを表示するビュー及びピクチャを表示するビューを含み得る。
電話マネージャは、電子デバイス100の通信機能、例えば、(通じる、ハングアップ、及び同様のものを含む)通話状態管理、を提供するよう構成される。
リソースマネージャは、アプリケーション用の様々なリソース、例えば、ローカライズされた文字列、アイコン、ピクチャ、レイアウトファイル、及びビデオファイル、を提供する。
通知マネージャは、アプリケーションがステータスバー上に通知情報を表示することを可能にする。通知情報は、通知タイプを示すために用いられるメッセージであり得、ユーザと相互作用することなく短期滞在後に自動的に消え得る。例えば、通知マネージャは、ダウンロード完了、メッセージプロンプト、及び同様のものを通知するよう構成される。通知マネージャは、代替的には、グラフ又はスクロールバーテキストの形態でシステムの上部ステータスバー上に現れる通知、例えば、バックグラウンドで実行するアプリケーションの通知、であってもよく、ダイアログウィンドウの形態で画面に現れる通知であってもよい。例えば、テキスト情報がステータスバー上でプロンプトされる、プロンプトトーンが作成される、電子デバイスが振動する、又はインジケータライトが点滅する。
Android(登録商標)ランタイムは、カーネルライブラリ及び仮想マシンを含む。Android(登録商標)ランタイムは、Android(登録商標)システムをスケジューリング及び管理することを担当している。
カーネルライブラリは、2つの部分を含む。1つの部分は、Java(登録商標)言語が呼び出す必要があるパフォーマンス機能であり、他の部分は、Android(登録商標)のカーネルライブラリである。
アプリケーション層及びアプリケーションフレームワーク層は、仮想マシン上で実行する。仮想マシンは、バイナリファイルとして、アプリケーション層及びアプリケーションフレームワーク層のJava(登録商標)ファイルを実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティ及び例外管理、並びに、ガベージコレクション等の機能を実行するために用いられる。
システムライブラリは、サーフェースマネージャ(surface manager)、メディアライブラリ(media libraries)、3次元グラフィックス処理ライブラリ(例えば、OpenGL ES)、及び2Dグラフィックスエンジン(例えば、SGL)等の複数の機能モジュールを含み得る。
サーフェースマネージャは、ディスプレイサブシステムを管理し、複数のアプリケーションの2D層及び3D層を集中させるよう構成される。
メディアライブラリは、複数の一般的なオーディオ及びビデオフォーマット、静止画像ファイル、及び同様のものの再生及び記録をサポートする。メディアライブラリは、複数のオーディオ及びビデオ符号化フォーマット、例えば、MPEG4、H.264、MP3、AAC、AMR、JPG、及びPNG、をサポートし得る。
3次元グラフィックス処理ライブラリは、3次元画像描画、画像レンダリング、合成、層処理、及び同様のものを実装するために用いられる。
2Dグラフィックスエンジンは、2D描画用の描画エンジンである。
カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、及びオーディオドライバ、及びセンサドライバを含む。
以下では、画像キャプチャ又は撮影シナリオを参照して、電子デバイス100のソフトウェア及びハードウェアの作業処理を示す。
タッチセンサ180Kがタッチ操作を受信するとき、対応するハードウェア割り込みがカーネル層に送信される。カーネル層は、タッチ操作を処理して(タッチの座標タッチ操作のタイムスタンプ等の情報を含む)元の入力イベントにする。元の入力イベントがカーネル層で格納される。アプリケーションフレームワーク層は、カーネル層から元の入力イベントを取得し、入力イベントに対応する制御を認識する。タッチ操作がタッチ/クリック操作であり、クリック操作に対応する制御がカメラアプリケーションアイコンの制御である一例を用いる。カメラアプリケーションは、アプリケーションフレームワーク層のインタフェースを呼び出してカメラアプリケーションを開始し、その後、カーネル層を呼び出すことによってカメラドライバを開始し、カメラ193を用いることによって静止画像又はビデオをキャプチャする。
本願の実施形態は、マルチ端末マルチメディアデータ通信方法及びシステムを提供し、その結果、複数の端末デバイス間のマルチメディアデータストリームの低レイテンシな同期マルチポイント伝送が、無線接続(例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、又は移動体通信システム)を用いることによって実装され得る。本願の実施形態におけるモバイル端末デバイスは、タイプで限定されず、携帯電話、ポータブルコンピュータ、ハンドヘルドコンピュータ(携帯端末(personal digital assistant)、PDA)、タブレットコンピュータ、スマートTV、スマートスピーカ、PC、スマートホーム、無線端末デバイス、通信デバイス、その他の電子デバイスであり得る。本願の実施形態におけるマルチ端末マルチメディアデータ通信方法は、マルチデバイス再生、マルチデバイスカラオケ、マルチデバイスコール、及びマルチデバイスオーディオレコーディング等のアプリケーションシナリオで用いられ得る。マルチデバイス再生、マルチデバイスカラオケ、マルチデバイスコール、及びマルチデバイスオーディオレコーディング等のマルチ端末マルチメディアデータ通信方法に基づくマルチメディアアプリケーションは、ローカルな適用及びリモートな適用を含む。本願の実施形態は、デバイスのタイプ及びネットワークデバイスの数に対する特殊要求を有さず、Wi-Fi(登録商標)ネットワーク能力を有する任意のスマートデバイスによってサポートされ得る。
例えば、図3は、マルチ端末マルチメディアデータ通信のローカルな適用の概略図である。図3に示されるように、3つのスレーブが1つのマスターに接続され、マルチメディア共有を実装する。本実施形態における3つのスレーブは、例示的な目的のみで用いられる。実際の使用中、4又はそれより多くのスレーブが1つのマスターに接続され得る。複数のスレーブは、それぞれのユーザの音声情報を取得し得る。例えば、マイクロフォンスレーブ1はユーザ1の音声情報を取得し得、マイクロフォンスレーブ2はユーザ2の音声情報を取得し得、マイクロフォンスレーブ3はユーザ3の音声情報を取得し得る。マルチメディアデータ共有を実装すべく、マスター及びスレーブは、最初にネットワーク化される必要がある。ローカルな適用のためにネットワーク化する間、2次元コードが、接続パラメータを提供するためにマスターのインタフェース上に表示されてもよく、NFC又は他の近距離通信機能(例えば、Wi-Fi、(登録商標)又はBluetooth(登録商標))が、ネットワーク化を開始すべく接続パラメータを提供すするためにオンになってもよい。2次元コードは、Wi-Fi(登録商標)名と、Wi-Fi(登録商標)パスワードと、マスター電子デバイスのアドレス及びポート番号とを保持し得る。スレーブは、2次元コードをスキャンすることによって又はNFCタッチ方式若しくは他の近距離通信方式で接続パラメータを取得し、ネットワークに参加して接続を確立する。
スマートフォン、スマートTV、及びスマートスピーカのいずれかが、マスターとして用いられ得る。共同カラオケアプリケーションについて、マスターは、クラウドからカラオケ伴奏及びビデオピクチャをダウンロードし、スレーブによって送信されたボーカル及び伴奏をミキシングし、再生のためにハウリングを除外する。複数人の電話アプリケーション又は複数人の会議アプリケーションについて、マスターは、クラウドからバックグラウンドミュージックをダウンロードし得、スレーブによって送信されたボーカル及びバックグラウンドミュージックをミキシングし得、再生のためにハウリングを除外し得る。
スマートフォン、タブレット、スマートウォッチ、又はウェアラブルデバイス等のモバイル端末は、スレーブとして用いられ得る。共同カラオケアプリケーションについて、スレーブは、ユーザの歌声又はスピーチをピックアップし、Wi-Fi(登録商標)又は近距離通信方式で音声又はスピーチをマスターに送信するためのマイクロフォンとして用いられ得る。他の態様において、スレーブはまた、マスターからダウンストリームデータストリームを受信し、カラオケのピクチャ及び歌詞を表示する。可能な実装において、カラオケのピクチャ及び歌詞を表示することに加えて、スレーブは、マスターによって送信され、且つ、ボーカル及び伴奏をミキシングすることによって取得されたオーディオをさらに再生し得る。イヤホンがスレーブに接続されているとき、この機能は、デフォルトでオンになる。
マスター及びスレーブの両方が、様々な周辺装置に接続され得る。例えば、マスター及びスレーブは、スピーカ(有線スピーカ若しくはBluetooth(登録商標)スピーカ)、又は、音声を増幅するよう構成される若しくはイヤホンに接続されるサウンドアプリケーションデバイスに接続される。
例えば、図4は、マルチ端末マルチメディアデータ通信のリモートな適用の概略図である。図4に示されるように、4つのスレーブが1つのマスターに接続され、マルチメディア共有を実装する。マスター、ユーザ1、及びユーザ2が場所Aに位置し、ユーザ3が場所Bに位置し、ユーザ4が場所Cに位置する。この場合、マスター及びスレーブは、同一又は異なる区域に位置する。マルチメディアファイル共有を実装すべく、マスター及びスレーブは、最初にネットワーク化される必要がある。ローカルスレーブは、Wi-Fi(登録商標)、Bluetooth(登録商標)、NFCを介してマスターに接続され得る。マスターは、接続パラメータを提供するために2次元コードを表示してもよく、ネットワーク化を開始すべく接続パラメータを提供するためにNFC又は近距離通信機能をオンにしてもよい。スレーブは、2次元コードをスキャンすることによって又はNFC方式若しくは他の近距離通信方式でネットワーク情報を取得してネットワークに参加する。リモートスレーブは、Wi-Fi(登録商標)又はデータ通信ネットワーク(2G/3G/4G/5G)を介してマスターに接続され得る。マスターは、2次元コードをリモートスレーブに送信してもよく、ネットワーク情報をリモートスレーブに送信してもよい。2次元コード又はネットワーク情報は、マスターのIPアドレス及びポート番号を保持する。リモートスレーブは、2次元コードを認識又はネットワーク情報を構文解析し、ネットワークに参加してマスターに接続する。
スマートフォン、スマートTV、及びスマートスピーカのいずれかが、マスターとして用いられ得る。マスターは、クラウドからカラオケ伴奏とビデオピクチャ又はバックグラウンドサウンドとをダウンロードし、スレーブによって送信されたボーカルと、伴奏又はバックグラウンドサウンドとをミキシングし、ローカル再生のためにハウリングを除外する。さらに、マスターは、Wi-Fi(登録商標)又は他の近距離通信方式で、オーディオミキシング後に取得されたオーディオストリーム及びビデオストリームをローカルスレーブに送信する。マスターは、Wi-Fi(登録商標)又はデータ通信ネットワークを用いることによって、オーディオミキシング後に取得されたオーディオストリーム及びビデオストリームをリモートスレーブに送信する。
スレーブとして、モバイルデバイスが、ユーザの音声情報をピックアップし、音声情報をマスターに送信するためのマイクロフォンとして用いられ得る。他の態様において、スレーブはまた、マスターから、カラオケのピクチャ及び歌詞、又は、会議のスピーチ中の伴奏等のダウンストリームデータストリームを受信する。
ローカルマイクロフォンスレーブは、ユーザの歌声又はスピーチをピックアップするためのマイクロフォンとして用いられ得、Wi-Fi(登録商標)方式又は近距離通信方式で音声又はスピーチをマスターに送信し得る。他の態様において、ローカルマイクロフォンスレーブはまた、マスターからダウンストリームデータストリームを受信し、カラオケのピクチャ及び歌詞を表示する。
リモートマイクロフォンスレーブは、ユーザの音声情報をピックアップし、データ通信ネットワークを用いることによって音声情報をマスターに送信するためのマイクロフォンとして用いられ得る。他の態様において、リモートマイクロフォンスレーブは、マスターからダウンストリームデータストリームを受信し、伴奏とリモートマイクロフォンスレーブ及び他のユーザの音声情報とを含むオーディオを再生し、カラオケのピクチャ及び歌詞を表示し、又は、リモートマイクロフォンスレーブのユーザが電話若しくは会議中に他のユーザのスピーチを聞くことを可能にする。
マスター及びスレーブの両方が、様々な周辺装置に接続され得る。例えば、マスター及びスレーブは、スピーカ(有線スピーカ若しくはBluetooth(登録商標)スピーカ)、又は、音声を増幅するよう構成される若しくはイヤホンに接続されるサウンドアプリケーションデバイスに接続される。
十分なユーザ体験を保証すべく、マスターは、マスターとスレーブとの間のオーディオ及びビデオ再生の同期を制御する必要がある。マスターは、マスターとスレーブとの間のクロックオフセットを決定することによって、スレーブがオーディオ及びビデオを再生する再生開始時点を決定する必要がある。例えば、マスターは、マスターとスレーブ1との間の第1のクロックオフセットを決定することによって、スレーブ1がマルチメディアデータを再生する第1の再生開始時点を決定する。第1の再生開始時点は、スレーブがマルチメディアデータを再生する開始時点を表すために用いられる。マスターは、マスターとスレーブ2との間の第2のクロックオフセットを決定することによって、スレーブ2がマルチメディアデータを再生する第2の再生開始時点を決定する。第2の再生開始時点は、スレーブ2がマルチメディアデータを再生する開始時点を表すために用いられる。したがって、マスターは、マスターがマルチメディアデータを再生する開始時点、第1のクロックオフセット、及び第2のクロックオフセットを用いることによって、スレーブ1及びスレーブ2がマルチメディアデータを再生する再生開始時点を調節し、マスター、スレーブ1、及びスレーブ2がマルチメディアデータを同期的に再生することを可能にし得る。
クロックオフセットがスレーブによって決定され得ることを留意する必要がある。この場合、マスターは、マスターがマルチメディアデータを再生する開始時点をスレーブ1及びスレーブ2に送信する。スレーブ1は、マスターとスレーブ1との間の第1のクロックオフセットを決定し、マスターがマルチメディアデータを再生する開始時点及び第1のクロックオフセットに従って、スレーブ1がマルチメディアデータを再生する開始時点を決定する。同様に、スレーブ2は、マスターとスレーブ2との間の第2のクロックオフセットを決定し、マスターがマルチメディアデータを再生する開始時点及び第2のクロックオフセットに従って、スレーブ2がマルチメディアデータを再生する開始時点を決定する。
他の可能な場合において、マスターは、クロックオフセットを決定し、マスターの再生開始時点及びクロックオフセットをスレーブに送信し、スレーブは、再生開始時点を決定する。マスターは、マスターとスレーブ1との間の第1のクロックオフセットを決定する。マスターは、マスターとスレーブ2との間の第2のクロックオフセットを決定する。マスターは、マスターがマルチメディアデータを再生する開始時点及び第1のクロックオフセットをスレーブ1に送信する。スレーブ1は、マスターがマルチメディアデータを再生する開始時点及び第1のクロックオフセットに従って、スレーブ1がマルチメディアデータを再生する開始時点を決定する。マスターは、マスターがマルチメディアデータを再生する開始時点及び第2のクロックオフセットをスレーブ2に送信する。スレーブ2は、マスターがマルチメディアデータを再生する開始時点及び第2のクロックオフセットに従って、スレーブ2がマルチメディアデータを再生する開始時点を決定する。
次に、本願に係るマルチ端末マルチメディアデータ通信システムのソフトウェア及びハードウェアシステム構造が、以下で説明される。マルチデバイス再生、マルチデバイスカラオケ、マルチデバイスコール、及びマルチデバイスオーディオレコーディング等のアプリケーションが、本願で提供されるマルチ端末マルチメディアデータ通信システムのソフトウェア及びハードウェアシステム構造を用いることによって実装され得る。統合されたソフトウェア及びハードウェアシステムアーキテクチャが、本願の実施形態におけるマルチ端末共同再生アプリケーションシステムを実装するために用いられる。したがって、1つの特定のデバイスが、ネットワーク化を開始するためのマスターとして用いられてもよく、ネットワークに参加するためのスレーブとして用いられてもよい。マスター又はスレーブとしてデバイスを用いるために、特定の機能モジュールをオン又はオフにすることだけが必要である。
例えば、図5は、マルチ端末マルチメディアデータ通信システムにおけるマスターのソフトウェア及びハードウェアシステムアーキテクチャ500の概略図である。マスターシステムアーキテクチャ500は、マルチデバイス共同スレーブデータ受信モジュール510、マルチデバイス共同ダウンストリームデータ受信モジュール520、オーディオ復号モジュール530、アンチハウリングモジュール540、オーディオミキシングモジュール550、サウンド効果処理モジュール551、共同オーディオ出力制御モジュール560、マルチデバイス共同データ送信モジュール570、Bluetooth(登録商標)プロトコルスタック571、USBインタフェース572、オーディオ記録アルゴリズムモジュール573、コーデック574、ディスプレイインタフェース575、ディスプレイ580、共同APP581、モデムインタフェース590、Wi-Fi(登録商標)プロトコルスタック/チップ591、Bluetooth(登録商標)チップ/アンテナ592、TypeCデジタルインタフェース593、3.5-mmイヤホンジャック/TypeCアナログインタフェース594、イヤホン又はスピーカ595、及び、MICアレイ596を含み得る。共同オーディオ出力制御モジュール560は、サンプリングレート及びビット幅変換560A、音量調節560B、録音帯選択560C、録音帯マージ560D、及び同様のものを含み得る。共同APPは、マルチデバイス再生581A、マルチデバイスカラオケ581B、マルチデバイスコール581C、マルチデバイスオーディオレコーディング581D、及び同様のものを含み得る。
本願の実施形態において示される構造が、マルチ端末マルチメディアデータ通信システムにおけるマスターのソフトウェア及びハードウェアシステムアーキテクチャ500に対する特定の制限を構成しないことが理解され得る。本願の幾つかの他の実施形態において、マルチ端末マルチメディアデータ通信システムにおけるマスターのソフトウェア及びハードウェアシステムアーキテクチャ500は、図に示されるものより多くの又は少ないモジュール又はコンポーネントを含み得る。図におけるコンポーネントが、ハードウェア、ソフトウェア、又はソフトウェア及びハードウェアの組み合わせによって実装され得る。
具体的には、モジュールの機能は、以下の通りである。
マルチデバイス共同スレーブデータ受信モジュール510は、超低レイテンシでスレーブによって送信されたアップストリームデータを受信するよう構成される。
ダウンストリームデータ受信モジュール520は、超低レイテンシでクラウドからカラオケの伴奏及びピクチャビデオを受信し、ローカル記憶装置内のカラオケの伴奏及びピクチャビデオを読み取るよう構成される。
オーディオ復号モジュール530は、オーディオデータストリームを復号するよう構成される。オーディオデータストリームが録音帯符号化フォーマットのものである場合、録音帯のPCMビットストリームが出力される。オーディオデータストリームがオーディオオブジェクト符号化フォーマットのものである場合、録音帯のオーディオオブジェクト情報及びPCMビットストリームが出力される。
アンチハウリングモジュール540は、ハウリングを回避すべく、マスターMIC及びスレーブMICでミキシングされたエコーを除外するよう構成される。アンチハウリング参照信号が、オーディオ復号モジュールによって提供される。
オーディオミキシングモジュール550は、アップストリームボーカル及び伴奏をミキシングするよう構成される。
サウンド効果処理モジュール551は、レンダリング効果、例えば、残響及び3Dサラウンドサウンド、を作り出すよう構成される。
オーディオミキシングモジュール550による処理の後に取得された録音帯のPCMビットストリームが、共同オーディオ出力制御モジュール560に直接転送され得ることを留意する必要がある。さらに、ユーザは、オーディオミキシング後に取得された録音帯のPCMビットストリームに対するサウンド効果処理551をさらに実行し、録音帯のレンダリングされたPCMビットストリームを取得し、その後、レンダリングされたPCMビットストリームを共同オーディオ出力制御モジュールに転送することを選択し得る。
共同オーディオ出力制御モジュール560は、複数の入力端末を有し、マルチデバイス共同ダウンストリームデータ受信モジュール520、オーディオミキシングモジュール550、及びサウンド効果処理モジュール551等の複数のモジュールからの入力を受信し得る。さらに、共同オーディオ出力制御モジュールは、以下の低レイテンシサブ機能モジュールを有する。
サンプリングレート及びビット幅変換560Aは、サンプリングレート及びビット幅が出力の要件を満たすことを可能にすべく、サンプリングレートを変換するよう構成される。
音量調節560Bは、出力の音量を制御するよう構成される。
録音帯選択560Cは、出力のために録音帯を選択するよう構成される。
録音帯マージ560Dは、複数の録音帯を再生用の1つの録音帯にマージして音量を上げるよう構成される。
共同オーディオ出力制御モジュール560は、オーディオストリームを、マルチデバイス共同データ送信モジュール570、Bluetooth(登録商標)プロトコルスタック571、USBインタフェース572、オーディオ記録アルゴリズム573、及びコーデック574にさらに入力し得る。さらに、メディア画像と音声との間の同期を維持すべく、共同オーディオ出力制御モジュール560は、レイテンシ値をディスプレイインタフェース575に送信し、レイテンシの調整を容易にし、これにより、伴奏と歌詞との間の同期を実装する。
共同APP581は、画面上に共同機能を表示し、ユーザの入力を受信するよう構成される。ユーザは、共同APPのオペレーションインタフェースを用いることによって、マルチデバイス共同データ送信モジュール570及び共同オーディオ出力制御モジュール560を制御する。
マルチデバイス共同データ送信モジュール570は、モデムインタフェース590及びWi-Fi(登録商標)プロトコルスタック/チップ591に接続され、超低レイテンシでオーディオストリーム及びビデオストリームをスレーブに送信し得る。
幾つかの他の実施形態において、マルチデバイス共同データ送信モジュールは、Bluetooth(登録商標)プロトコルスタック571によってBluetooth(登録商標)チップ/アンテナ593に接続され、USBインタフェース572及びTypeC(デジタル)593に接続され、オーディオストリーム及びビデオストリームをスレーブに送信し得る。
コーデック574は、イヤホン又はスピーカ595と、3.5-mmイヤホンジャック/TypeC(アナログ)595とに接続されて、オーディオミキシング処理550又はサウンド効果処理551後にPCMビットストリームを再生するよう構成される。幾つかの実施形態において、マスターは、マイクロフォンとして用いられ得る。例えば、スマートフォンがマスターとして用いられるとき、スマートフォンは、同時にマイクロフォンとして用いられ、ユーザによって歌われた音声を受信し得る。この場合、コーデック574は、MICアレイに接続され、マスターMICによって受信されたユーザの入力を受信するよう構成される。
例えば、図6は、マルチ端末マルチメディアデータ通信システムにおけるスレーブのソフトウェア及びハードウェアシステムアーキテクチャ600の概略図である。
マルチデバイス共同マスターデータ受信モジュールは、マスターによって送信されたメディアデータストリームを超低レイテンシで受信するよう構成される。
スレーブMIC610は、コーデック620(又は他おインタフェースチップ)に接続される。メディアデータストリームは、共同オーディオ出力制御によってマルチデバイス共同データ送信モジュールに入り、マスターに送信される。
理解しやすくするために、共同カラオケは、本実施形態で提供されるマルチ端末マルチメディアデータ通信システムにおけるマスターとスレーブとの間のデータ相互作用の手順を説明するための一例として用いられる。共同カラオケアプリケーションにおけるマスターは、スマートTV又はスマートフォンであり得る。スレーブは、スマートフォンである。マスター及びスレーブの両方が、サウンドを増幅するために周辺スピーカに接続され得る。スレーブは、イヤホンに接続され得る。したがって、共同カラオケは、4つのモードを有し得る。4つのモードは、TV(マスター)+複数のローカルスレーブ、TV(マスター)+複数のローカルスレーブ及びリモートスレーブ、スマートフォン(マスター及びマイクロフォンの両方として用いられる)+複数のローカルスレーブ、及び、スマートフォン(マスター及びマイクロフォンの両方として用いられる)+複数のローカルスレーブ及びリモートスレーブである。
例えば、図7A及び図7Bは、スマートTVがマスターとして用いられ、複数のスマートフォンがスレーブとして用いられるときのマスターとスレーブとの間のデータ相互作用の手順を示す。
段階701:スレーブが歌を選択し、Wi-Fi(登録商標)及びBluetooth(登録商標)等の近距離通信方式で歌情報をマスターに転送する。
段階702:マルチデバイス共同ダウンストリームデータ受信モジュールは、超低レイテンシでクラウドからカラオケの伴奏及びピクチャビデオを受信し、ローカル記憶装置内のカラオケの伴奏及びピクチャビデオを読み取り、オーディオデータストリームをオーディオ復号モジュールに送信し、直接再生され得るオーディオデータストリームを共同オーディオ出力制御モジュールに送信し、ビデオデータストリームをディスプレイインタフェースに送信する。
段階703:マスターは、マルチデバイス共同データ送信モジュールを用いることによって、カラオケのピクチャ及び歌詞をスレーブに送信し、スレーブ側は、歌の歌詞及びビデオ等の情報を取得する。
段階704:オーディオ復号モジュールは、オーディオデータストリームを復号し、ディスプレイインタフェースは、表示するためにビデオデータストリームをディスプレイに送信する。オーディオ復号モジュールによる処理の後に取得された伴奏オーディオは、アンチハウリング参照信号として用いられ、アンチハウリングモジュールに送信され、同時に、オーディオミキシングモジュール及びサウンド効果処理モジュールに送信される。
段階705:ユーザは歌を歌い、スレーブMICはユーザの音声情報を取得し、歌をマルチデバイス共同スレーブデータ受信モジュールに転送する。
段階706:マルチデバイス共同スレーブデータ受信モジュールは、Wi-Fi(登録商標)又はBluetooth(登録商標)等の近距離通信方式でスレーブのボーカルのMICデータストリームをマスターに送信する。スレーブMICによって受信されたボーカルがTV伴奏サウンドを含むので、アンチハウリングモジュールは、アンチハウリングを実行する必要がある。
段階707:アンチハウリングを実行し、スレーブMICでミキシングされたエコーを除外し、ハウリングを回避する。
段階708:オーディオミキシングを実行し、アンチハウリング後のクリーンなボーカルを取得し、その後、オーディオミキシングモジュールを用いることによってクリーンなボーカル及び伴奏サウンドをミキシングする。オーディオミキシング後に取得された録音帯のPCMビットストリームが、共同オーディオ出力制御モジュールに送信される。
オプションで、段階709:ユーザがオーディオミキシング後に取得された録音帯のPCMビットストリームをレンダリングし得、残響、3Dサラウンドサウンド、及び同様のものを生成し得る。
段階710:共同オーディオ出力制御モジュールは、オーディオミキシング後に取得された録音帯のPCMビットストリーム又はサウンド効果処理後の録音帯のPCMビットストリームに対して、サンプリングレート及びビット幅変換、音量調節、録音帯選択、又は録音帯マージ等の処理を実行し得、録音帯の処理されたPCMビットストリームをコーデックに送信し得る。さらに、歌詞と伴奏音楽との間の同期を維持すべく、「共同オーディオ出力制御(collaborative audio output control)」は、レイテンシ値を「ディスプレイインタフェース」に送信し、歌詞と音楽との間の相対的なレイテンシを決定し、調整を実行する。
段階711:マスターのイヤホン又はスピーカは、ユーザによって歌われた音声を再生する。
次に、例えば、図8A及び図8Bは、スマートTVがマスターとして用いられ、モバイルデバイスがローカルスレーブ及びリモートスレーブとして用いられるときのマスターとスレーブとの間の相互作用の手順を示す。
リモートスレーブがカラオケに参加するとき、図7A及び図7Bとは異なる。
段階801:マスター及びスレーブの両方は、歌を選択し得る。例えば、ローカルスレーブが歌を選択する。
段階802:マスターは、Wi-Fi(登録商標)又はデータ通信ネットワーク(2G/3G/4G/5G)を用いることによってカラオケのピクチャ及び歌詞をリモートスレーブに送信し、リモートスレーブ側は、歌の歌詞及びビデオ等の情報を取得する。
段階803:マルチデバイス共同スレーブデータ受信モジュールは、Wi-Fi(登録商標)又はデータ通信ネットワーク(4G/5G)用いることによってリモートスレーブのボーカルのMICデータストリームをマスターに送信しアンチハウリングを実行する。
段階804:マスターのマルチデバイス共同データ送信モジュールは、処理されたPCMビットストリームをリモートスレーブに送信する。
段階805:リモートスレーブのイヤホン又はスピーカは、マスターによって送信された伴奏サウンドを再生し、同時に、ローカルユーザ及びリモートユーザによって歌われた音声を再生する。
例えば、図9は、モバイルデバイスがマスター及びマイクロフォンの両方として用いられ、複数のモバイルデバイスがローカルスレーブとして用いられるときのマスターとスレーブとの間の相互作用の手順を示す。
図7A及び図7Bとは異なり、この場合、1つの携帯電話がマスター及びマイクロフォンの両方として用いられる。
段階901:マスターMICは、ユーザの音声情報を受信する。
段階902:マスターコーデックは、マスターのMICデータストリームをアンチハウリングモジュールに送信する。
段階903:携帯電話のスピーカは比較的低い音声量を有するので、携帯電話がマスターとして用いられるとき、携帯電話を外部スピーカ等のスピーカデバイスに接続し、これにより、マスターの音声を増幅し、同時に、KTV効果を作り出す。
例えば、図10A及び図10Bは、モバイルデバイスがマスター及びマイクロフォンの両方として用いられ、複数のモバイルデバイスがローカルスレーブ及びリモートスレーブとして用いられるときのマスターとスレーブとの間の相互作用の手順を示す。この手順は、図8A、図8B、図9、図10A、及び図10Bを組み合わせることによって取得され得る。
次に、マルチデバイスカラオケのローカルな適用の操作UI及び操作手順が、詳細に説明される。スマートTVがマスターとして用いられ、複数のスマートフォンがスレーブとして用いられる一例が、説明のために用いられる。複数のスレーブが存在し得ることを留意する必要がある。2つのスレーブが、本実施形態における説明のための一例として用いられる。
図11は、マスタースマートTV、マイクロフォンスレーブ1、及びマイクロフォンスレーブ2を含むマルチデバイスカラオケのローカルな適用システムを示す。2つのスレーブは、両方共スマートフォンである。この場合、マスター及び2つのスレーブは、同一のローカルエリアネットワークに位置する。
図12Aは、TV側のグラフィカルユーザインタフェース(graphical user interface,GUI)を示す。GUIは、TVのネットワーク設定インタフェース1201である。図12Bは、携帯電話側のグラフィカルユーザインタフェースを示す。GUIは、携帯電話の無線ローカルエリアネットワーク設定インタフェース1202である。図12A及び図12Bに示されるように、この場合、マスターTV及び2つのローカルスレーブ携帯電話は全て、同一のローカルエリアネットワークに接続される。
例えば、図13は、TVのGUIを示す。GUIは、TVデスクトップ1301になり得る。TVがTVデスクトップ1301上のカラオケアプリケーション(application,APP)のアイコン1302を選択するリモートコントロールを制御するユーザによる操作を検出するとき、TVバージョンカラオケアプリケーションが開始され得る。図14に示される他のGUIが表示される。GUIは、推奨インタフェース1401と称され得る。推奨インタフェース1401は、歌選択インタフェースに入るための歌セレクタ制御1402を含み得る。TVが推奨インタフェース1401上の歌セレクタ制御1402をクリックするリモートコントロールを制御するユーザによる操作を検出した後に、図15に示されるGUIが表示される。GUIは、歌セレクタインタフェース1501と称され得る。歌セレクタインタフェース1501は、携帯電話スキャンツーオーダインタフェースに入るために用いられる制御1502を含み得る。TVが歌セレクタインタフェース1501上の制御1502をクリックするリモートコントロールを用いるユーザによる操作を検出したとき、図16に示される他のGUIが表示される。GUIは、携帯電話スキャンツーオーダインタフェース1601と称され得る。携帯電話スキャンツーオーダインタフェース1601は、歌選択2次元コード1602を含み得る。携帯電話側カラオケソフトウェアは、携帯電話側カラオケソフトウェアを用いることによって、携帯電話スキャンツーオーダインタフェース1601上の歌選択2次元コード1602をスキャン及び認識し、歌を注文する。さらに、携帯電話は、ユーザの音声情報を受信するためのマイクロフォンとして用いられ得る。複数のローカル携帯電話は、歌選択2次元コード1602をスキャンすることによって、カラオケに参加し得る。したがって、KTV効果は、TV及び携帯電話を用いることによって作り出され得る。
次に、スレーブ携帯電話によってカラオケに参加する操作処理が、簡単に説明される。
例えば、図17(a)は、携帯電話のGUIを示す。GUIは、携帯電話上のデスクトップ1701である。この場合、同一カラオケソフトウェアが携帯電話側及びTV側にインストールされている。携帯電話がデスクトップ1701上のカラオケアプリケーションのアイコン1702をクリックするユーザによる操作を検出した後に、カラオケアプリケーションがオンになり得る。図17(b)は、カラオケアプリケーションの開始インタフェース1703を示す。カラオケアプリケーションが成功裏にオンになった後に、図17(c)に示される他のGUIが表示される。GUIは、ホームページインタフェース1704を含み得る。推奨情報が、ホームページインタフェース1704上に表示される。GUIは、メニューバー1705をさらに含み得る。メニューバー1705は、Myインタフェースに入るための制御1706を含む。携帯電話が、Myインタフェースに入る制御1706をクリックするユーザによる操作を検出した後に、図18(a)に示される他のGUIが表示される。GUIは、Myインタフェース1801と称され得る。GUIは、制御1802を含み得る。携帯電話が、制御1802をクリックするユーザによる操作を検出したとき、図18(b)に示される他のGUIが表示される。GUIあ、2次元コードをスキャンするための制御1803を含み得る。次に、携帯電話が、制御1803をクリックするユーザによる操作を検出した場合、図18(c)に示される2次元コードをスキャンするためのインタフェース1804が表示され得る。図18(c)に示されるように、この場合、2次元コードをスキャンするためのインタフェース1804が、TV上の歌選択2次元コードと連携している。2次元コードが成功裏に認識された後に、図19(a)に示されるGUI1901が表示される。GUIは、歌セレクタインタフェース1902を含む。GUIは、メニューバー1903をさらに含む。メニューバー1903は、歌を注文するための歌セレクタ制御1904と、ユーザが歌うためのコントローラ制御1905と、注文された歌を表示するための制御1906とを含む。この時点では、歌を注文するための歌セレクタ制御1904が点灯している。歌セレクタインタフェース1902は、切断制御1908を含む。ユーザは、携帯電話をTVから切断するために切断制御1908をクリックし得る。歌セレクタインタフェース1902は、歌を注文して歌うための制御1909をさらに含み得、歌を注文された歌リストに追加するための制御1910をさらに含み得る。歌セレクタインタフェース1902は、検索バー1907をさらに含む。ユーザは、検索バー1907に歌の名前及び作者を入力し、歌の検索を実行し得る。例えば、図19(a)に示されるように、ユーザは、「歌123」の歌の名前で歌を選択する。この場合、歌の様々なバージョンが、検索バー1907の下に現れる。例えば、ユーザは、選択された歌を歌うために制御1909をクリックする。この場合、マスターTVは、クラウド上に又はローカルに歌をキャッシュし得る。歌が成功裏にキャッシュされた後に、マスターTVが図19(b)のように表示される。マスターTVは、ユーザによって選択された歌「歌123」を再生する。
この場合、ユーザは、携帯電話でユーザが歌うためにコントローラ制御をクリックし、歌うことを実行すべくTVコントローラインタフェースに入り得る。例えば、図20(a)に示されるように、ユーザが歌うためにコントローラ制御をユーザがクリックしたことを携帯電話が検出した後に、図20(b)に示されるGUIが表示される。GUIは、歌うためのマイクロフォン制御2001と、元のボーカルをオンするための制御2002と、ポーズするための制御2003と、歌をスキップするための制御2004と、リプレイするための制御2005と、より多くのオプションのための制御2006とを含み得、同時に、絵文字の箇条書きのコメントを送信するための制御2007をさらに含み得る。ユーザは、クリック操作又はスワイプ操作の方式でマイクロフォン制御2001をオンにし得る。ユーザが歌うことを実行するGUIが図20(c)に示される。携帯電話のマイクロフォンは、ユーザによって歌われた音声を受信し得、ユーザによって歌われた音声を再生するためにTV側のスピーカを用い得る。
他の実施形態において、ユーザが歌を歌うためのコントローラ制御をユーザがクリックしたことを携帯電話が検出した後に、TVコントローラインタフェースに入って、図21によって示されるGUIが表示される。この場合、TV制御パネルインタフェースは、歌のビデオピクチャ及び歌詞の両方を表示し、ユーザによる利用を容易にする。GUIは、箇条書きのコメントをオン又はオフにするための制御2101を含む。制御2101がオンになるとき、ユーザが絵文字の箇条書きのコメントをクリックする場合、絵文字の箇条書きのコメントが、TV側及び携帯電話側の両方でビデオピクチャ内に現れる。制御2102がオフになるとき、ユーザが絵文字の箇条書きのコメントをクリックする場合、ユーザが絵文字の箇条書きのコメントをクリックする場合、絵文字の箇条書きのコメントは、TV側でのみビデオピクチャ内に現れ、携帯電話側で表示されない。同様に、GUIはまた、元のボーカルをオンにするための制御2102と、ポーズするための制御2103と、歌うためのマイクロフォン制御2104と、歌をスキップするための制御2105と、リプレイするための制御2106と、より多くのオプションのための制御2107とを含み得、同時に、絵文字の箇条書きのコメントを送信するための制御2108をさらに含み得る。
例えば、図22(a)に示されるように、ユーザが絵文字の箇条書きのコメントを送信するための制御をクリックしたことを携帯電話が検出した後に、マスターTVは、図22(b)に示されるように、絵文字の箇条書きのコメントを表示する。例えばは、絵文字の箇条書きのコメントは、スレーブTVの画面の上、下、左、又は右から滑り出る方式で現れてもよく、フェードイン若しくフェードアウトしてもよい。ここでは、これについて限定しない。
例えば、図23(a)に示されるように、ユーザがより多くのオプションのための制御をクリックしたことを携帯電話が検出した後、図23(b)に示されるGUIが表示される。GUIは、スキャン制御2301と、共有のための制御2302と、箇条書きのコメントを編集するための制御2303とを含み得る。例えば、携帯電話が、共有のための制御2302をクリックするユーザによる操作を検出したとき、図23(c)に示される制御が表示され、カラオケオーディオが他の第三者のアプリケーションに共有され得る。
箇条書きのコメントを編集するための制御2303は、絵文字の箇条書きのコメントをオン又はオフにし得、同時に、ユーザによるテキストの編集をサポートし、テキストの箇条書きのコメントを送信する。
次に、マルチデバイスカラオケのリモートな適用の操作UI及び操作手順が、簡単に説明される。スマートTVがマスターとして用いられ、複数のスマートフォンがスレーブとして用いられる一例が、説明のために用いられる。複数のスレーブが存在し得ることを留意する必要がある。2つのスレーブが、本実施形態における説明のための一例として用いられる。
図24は、マスタースマートTV、ローカルマイクロフォンスレーブ1、リモートマイクロフォンスレーブ2、及びリモートマイクロフォンスレーブ3を含むマルチデバイスカラオケのリモートな適用システムを示す。3つのスレーブは、全てスマートフォンである。この場合、マスター及びローカルスレーブ1は、同一の無線ローカルエリアネットワークに位置し、リモートスレーブ2及びリモートスレーブ3はマスターと同一の場所に位置しない。
ローカルスレーブは、前述のローカルな適用システムにおける、2次元コードをスキャンする方法又はNFC等の他の近距離通信方式を用いることによってカラオケに参加し得る。本実施形態は、カラオケに参加するリモートスレーブの操作手順の説明に重点を置く。例えば、図25に示されるように、この場合、スキャンツーオーダインタフェースは、歌選択2次元コードに加えて、共有制御2501をさらに含む。カラオケネットワーク情報は、共有制御を用いることによってリモートスレーブに送信され、リモートカラオケを実装し得る。例えば、ユーザがTVデスクトップ上で共有制御を選択するためにリモートコントロールを制御したことをTVが検出した後に、図26に示されるGUIが表示される。この場合、ユーザ1の友人リスト2601がGUI上に表示される。友人リスト2601の詳細の説明を容易にすべく、図27に示されるように、友人リストの部分が拡大されて表示される。図27の(a)から分かり得るように、友人リストは、共有をオフにするための制御2701と、友人を検索するための制御2702と、複数の友人を選択するための複数選択制御2703と、ユーザ1のカラオケ友人リストと、上下にブラウジングするための制御2704とを含む。例えば、ユーザが複数選択制御2703を選択するためのリモートコントロールを制御したことをTVが検出した後に、図27の(b)に示されるGUIが表示される。この場合、選択するための制御2705が、友人のアバターの前に現れる。GUIは、選択を完了するための制御2706と、複数選択をキャンセルするための制御2707とをさらに含む。例えば、ユーザは、カラオケ招待をリモートユーザ2及びリモートユーザ3に送信する。
例えば、ユーザ1がカラオケ招待を送信した後に、ユーザ2及びユーザ3は、図28Aに示されるように表示されるカラオケ招待メッセージを受信する。ユーザが図28Bに示されるように表示されるカラオケ招待メッセージをクリックしたことを携帯電話が検出した後に、マスター上で歌を注文するためのコードをスキャンするための2次元コードが、リモートスレーブに送信される。例えば、図29A及び図29Bに示されるように、ユーザ2及びユーザ3は、長押し又は他の方式によって2次元コードを認識してカラオケに参加し得る。共有によってマスターによりスレーブに送信されるカラオケ招待は、2次元コード又はリンクであり得、カラオケアプリケーションにおけるメッセージの形態で又はSMSメッセージの形態でリモートユーザに送信され得ることを留意する必要がある。
他の例において、携帯電話は、共同カラオケを開始するためにマスターとしても用いられ得る。例えば、図30(a)に示されるように、携帯電話がデスクトップ上のカラオケアプリケーションのアイコンをクリックするユーザによる操作を検出した後、カラオケアプリケーションがオンになり得る。図30(b)は、カラオケアプリケーションの開始インタフェースを示す。カラオケアプリケーションが成功裏にオンになった後に、及び、ユーザが歌選択制御をクリックしたことを携帯電話が検出した後に、図30(c)に示されるGUIが表示される。GUIは、複数人共同カラオケのための制御3001を含む。ユーザが複数人カラオケための制御3001をクリックしたことを携帯電話が検出した後に、図31(a)及び図31(b)に示されるGUIが表示される。携帯電話は、歌セレクタインタフェースに入る。GUIにおける歌セレクタインタフェースの下に含まれるメニューバーは、歌を注文するためのコードをスキャンするための制御3101を含む。ユーザが制御3101をクリックしたことを携帯電話が検出した後に、図31(b)に示されるGUIが表示される。GUIは、歌選択2次元コード及び共有制御を含む。ローカルユーザは、2次元コードをスキャンすることによってカラオケに参加し得る。リモートユーザについて、マスターは、共有制御を用いることによって、2次元コードをリモートユーザに共有し得る。
本願の実施形態で提供されるマルチ端末マルチメディアデータ通信方法において、複数の端末デバイス間のマルチメディアデータストリームの低レイテンシ同期マルチポイント伝送が、無線接続(例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、又は移動体通信システム)を用いることによって実装され得、その結果、複数の端末が共同し、新しい体験を提供するための新しい用途を確立し得、デバイスが、好都合に、相互接続され得、マルチメディアコンテンツを共有し得、これにより、デバイスの有利な機能を十分に利用する。本願の実施形態で提供されるマルチ端末マルチメディアデータ通信方法は、マルチデバイス再生、マルチデバイスカラオケ、マルチデバイスコール、及びマルチデバイスオーディオレコーディング等のアプリケーションシナリオで用いられ得る。マルチデバイス再生、マルチデバイスカラオケ、マルチデバイスコール、及びマルチデバイスオーディオレコーディング等のマルチ端末共同再生に基づくマルチメディアアプリケーションは、ローカルな適用及びリモートな適用を含む。
図32は、本願の一実施形態に係るマルチ端末マルチメディアデータ通信システムの概略図である。図32を参照すると、システムは、マスター電子デバイス11と、第1のスレーブ電子デバイス12と、第2のスレーブ電子デバイス13とを含む。
マスター電子デバイスは、第1のスレーブ電子デバイス及び第2のスレーブ電子デバイスとの接続を確立するよう構成される。
第1のスレーブ電子デバイスは、第1の再生命令を受信するよう構成され、第1の電子デバイスは、第1の再生命令をマスター電子デバイスに送信するようさらに構成される。
マスター電子デバイスは、第1の再生命令に応答して第1のマルチメディアデータを再生し、同時に、第1のマルチメディアデータの少なくとも一部を第1のスレーブ電子デバイス及び第2のスレーブ電子デバイスに送信し、マスター電子デバイス、第1のスレーブ電子デバイス、及び第2のスレーブ電子デバイスが第1のマルチメディアデータを同期的に再生することを可能するようさらに構成される。
第1のスレーブ電子デバイスは、第1のボーカルを受信するようさらに構成され、同時に、第2のスレーブ電子デバイスは、第2のボーカルを受信するよう構成される。
マスター電子デバイスは、第1のスレーブ電子デバイスによって送信された第1のボーカルを受信し、第2のスレーブ電子デバイスによって送信された第2のボーカルを受信するようさらに構成され、マスター電子デバイスは、第1のボーカル、第2のボーカル、及び第1のマルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成するようさらに構成される。
本願は、可読記憶媒体及びコンピュータプログラムを含む記憶媒体がさらに提供される。コンピュータプログラムは、任意の前述の実施形態で提供されたマルチ端末マルチメディアデータ通信方法を実装するよう構成される。
方法実施形態の段階の全て又は幾つかは、関連するハードウェアを命令するプログラムによって実装され得る。プログラムは、可読記憶メモリに格納され得る。プログラムが実行されるとき、実施形態における方法の段階が実行される。メモリ(記憶媒体)は、リードオンリメモリ(英語:read-only memory,ROM)と、RAMと、フラッシュメモリと、ハードディスクと、ソリッドステートディスクと、磁気テープ(magnetic tape)と、フロッピーディスク(floppy disk)と、光ディスク(optical disc)と、それらの任意の組み合わせとを含む。
前述の説明は、単に本願の特定の実装に過ぎないが、本願の保護範囲を限定することを意図しない。本願で開示された技術的範囲内で当業者によって考え出された任意の変形又は置換は、本願の保護範囲に含まれるものとする。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
[その他の可能な項目]
[項目1]
1つのマスター電子デバイス、1つの第1のスレーブ電子デバイス、及び1つの第2のスレーブ電子デバイスを備える複数の電子デバイスに適用される、マルチ端末マルチメディアデータ通信方法であって、
上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を別々に確立する段階と、
上記第1のスレーブ電子デバイスが、第1の再生命令を受信し、上記第1のスレーブ電子デバイスが、上記第1の再生命令を上記マスター電子デバイスに送信する段階と、
上記マスター電子デバイスが、上記第1の再生命令に応答して第1のマルチメディアデータを再生し、同時に、上記第1のマルチメディアデータの少なくとも一部を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信し、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にする段階と、
上記第1のスレーブ電子デバイスが、第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスが、第2のボーカルを受信する段階と、
上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信し、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記第1のマルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成する段階と
を備える、方法。
[項目2]
上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にする上記段階は、具体的には、
上記マスター電子デバイスが、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の第1のクロックオフセットを決定する段階、
上記マスター電子デバイスが、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の第2のクロックオフセットを決定する段階、
上記マスター電子デバイスが、上記第1のクロックオフセットに従って、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する第1の再生開始時点を決定する段階であって、上記第1の再生開始時点は、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する開始時点を表すために用いられる、段階、及び
上記マスター電子デバイスが、上記第2のクロックオフセットに従って、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する第2の再生開始時点を決定する段階であって、上記第2の再生開始時点は、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する開始時点を表すために用いられる、段階
である、項目1に記載の方法。
[項目3]
上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を別々に確立する上記段階は、
上記マスター電子デバイス及び上記第1のスレーブ電子デバイスが同一の無線ローカルエリアネットワークに位置している場合、上記マスター電子デバイスが、1つのWi-Fi(登録商標)接続識別子を表示し、上記第1のスレーブ電子デバイスが、上記Wi-Fi(登録商標)接続識別子を認識することによって上記マスター電子デバイスとの上記接続を確立する段階
を有する、項目1又は2に記載の方法。
[項目4]
上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を別々に確立する上記段階は、
上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが同一の無線ローカルエリアネットワークに位置していない場合、上記マスター電子デバイスが、ネットワーク情報を上記第2のスレーブ電子デバイスに送信し、上記第2のスレーブ電子デバイスが、上記ネットワーク情報を構文解析することによって上記マスター電子デバイスとの上記接続を確立する段階
を有する、項目1又は2に記載の方法。
[項目5]
上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記マルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成する上記段階の後に、上記方法は、
上記マスター電子デバイスが、上記第2のマルチメディアデータを上記第2のスレーブ電子デバイスに送信する段階と、
上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが、上記第2のマルチメディアデータを同期的に再生する段階と
をさらに備える、項目4に記載の方法。
[項目6]
上記第1のマルチメディアデータの上記少なくとも一部は、上記第1のマルチメディアデータのオーディオ、ビデオ、又は歌詞を含む、項目1に記載の方法。
[項目7]
上記マスター電子デバイスが、ユーザによって入力された第2の再生命令を受信する段階と、
上記マスター電子デバイスが、上記第2の再生命令に応答して第3のマルチメディアデータを再生し、同時に、上記第3のマルチメディアデータの少なくとも一部を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信し、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第3のマルチメディアデータを同期的に再生することを可能にする段階と、
上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信する段階と、
上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信し、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記第3のマルチメディアデータをミキシングして再生用の第4のマルチメディアデータを生成する段階と
をさらに備える、項目1に記載の方法。
[項目8]
上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信し、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信し、同時に、上記マスター電子デバイスが、第3のボーカルを受信する段階と、
上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信し、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、上記第3のボーカル、及び上記第4のマルチメディアデータをミキシングして再生用の第5のマルチメディアファイルを生成する段階と
さらに備える、項目1又は7に記載の方法。
[項目9]
1つのマスター電子デバイス、1つの第1のスレーブ電子デバイス、及び1つの第2のスレーブ電子デバイスを備える、マルチ端末マルチメディアデータ通信システムであって、
上記マスター電子デバイスが、上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスとの接続を確立するよう構成され、
上記第1のスレーブ電子デバイスが、第1の再生命令を受信するよう構成され、上記第1の電子デバイスが、上記第1の再生命令を上記マスター電子デバイスに送信するようさらに構成され、
上記マスター電子デバイスが、上記第1の再生命令に応答して第1のマルチメディアデータを再生し、同時に、上記第1のマルチメディアデータの少なくとも一部を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信し、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能するようさらに構成され、
上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信するようさらに構成され、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信するよう構成され、
上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信するようさらに構成され、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記第1のマルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成するようさらに構成される、
システム。
[項目10]
上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを同期的に再生することを可能にすることは、具体的には、
上記マスター電子デバイスが、上記マスター電子デバイスと上記第1のスレーブ電子デバイスとの間の第1のクロックオフセットを決定するよう構成され、
上記マスター電子デバイスが、上記マスター電子デバイスと上記第2のスレーブ電子デバイスとの間の第2のクロックオフセットを決定するようさらに構成され、
上記マスター電子デバイスが、上記第1のクロックオフセットに従って、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する第1の再生開始時点を決定するようさらに構成され、上記第1の再生開始時点は、上記第1のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する開始時点を表すために用いられ、
上記マスター電子デバイスが、上記第2のクロックオフセットに従って、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する第2の再生開始時点を決定するようさらに構成され、上記第2の再生開始時点は、上記第2のスレーブ電子デバイスが上記第1のマルチメディアデータを再生する開始時点を表すために用いられる
ことである、項目9に記載のシステム。
[項目11]
上記第1のスレーブ電子デバイス及び上記第2の電子デバイスとの接続を別々に確立するよう構成されている上記マスター電子デバイスは、
上記マスター電子デバイス及び上記第1のスレーブ電子デバイスが同一の無線ローカルエリアネットワークに位置している場合、上記マスター電子デバイスが、1つのWi-Fi(登録商標)接続識別子を表示するよう構成され、上記第1のスレーブ電子デバイスが、上記Wi-Fi(登録商標)接続識別子を認識することによって上記マスター電子デバイスとの上記接続を確立するよう構成される
ことを含む、項目9又は10に記載のシステム。
[項目12]
上記第1のスレーブ電子デバイス及び上記第2の電子デバイスとの接続を別々に確立するよう構成されている上記マスター電子デバイスは、
上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが同一の無線ローカルエリアネットワークに位置していない場合、上記マスター電子デバイスが、ネットワーク情報を上記第2のスレーブ電子デバイスに送信するよう構成され、上記第2のスレーブ電子デバイスが、上記ネットワーク情報を構文解析することによって上記マスター電子デバイスとの上記接続を確立するよう構成される
ことを含む、項目9又は10に記載のシステム。
[項目13]
上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記マルチメディアデータをミキシングして再生用の上記第2のマルチメディアデータを生成した後に、上記システムは、
上記マスター電子デバイスが、上記第2のマルチメディアデータを上記第2のスレーブ電子デバイスに送信するようさらに構成され、
上記マスター電子デバイス及び上記第2のスレーブ電子デバイスが、上記第2のマルチメディアデータを同期的に再生する
ことをさらに備える、項目12に記載のシステム。
[項目14]
上記第1のマルチメディアデータの上記少なくとも一部は、上記第1のマルチメディアデータのオーディオ、ビデオ、又は歌詞を含む、項目9に記載のシステム。
[項目15]
上記マスター電子デバイスが、ユーザによって入力された第2の再生命令を受信するよう構成され、
上記マスター電子デバイスが、上記第2の再生命令に応答して第3のマルチメディアデータを再生し、同時に、上記第3のマルチメディアデータの少なくとも一部を上記第1のスレーブ電子デバイス及び上記第2のスレーブ電子デバイスに送信し、上記マスター電子デバイス、上記第1のスレーブ電子デバイス、及び上記第2のスレーブ電子デバイスが上記第3のマルチメディアデータを同期的に再生することを可能にするようさらに構成され、
上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信するよう構成され、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信するよう構成され、
上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信するようさらに構成され、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、及び上記第3のマルチメディアデータをミキシングして再生用の第4のマルチメディアデータを生成するようさらに構成される
ことをさらに備える、項目9に記載のシステム。
[項目16]
上記第1のスレーブ電子デバイスが、上記第1のボーカルを受信するようさらに構成され、同時に、上記第2のスレーブ電子デバイスが、上記第2のボーカルを受信するようさらに構成され、同時に、上記マスター電子デバイスが、第3のボーカルを受信するようさらに構成され、
上記マスター電子デバイスが、上記第1のスレーブ電子デバイスによって送信された上記第1のボーカルを受信し、上記第2のスレーブ電子デバイスによって送信された上記第2のボーカルを受信するようさらに構成され、上記マスター電子デバイスが、上記第1のボーカル、上記第2のボーカル、上記第3のボーカル、及び上記第4のマルチメディアデータをミキシングして再生用の第5のマルチメディアファイルを生成するようさらに構成される
ことをさらに備える、項目9又は15に記載のシステム。
[項目17]
コンピュータ可読記憶媒体であって、上記コンピュータ可読記憶媒体は、コンピュータ命令を備え、上記コンピュータ命令がコンピュータ上で実行されるとき、上記コンピュータが、項目1から8のいずれか一項に記載のマルチ端末マルチメディアデータ通信方法を実行することが可能である、コンピュータ可読記憶媒体。

Claims (17)

  1. 1つのマスター電子デバイス、1つの第1のスレーブ電子デバイス、及び1つの第2のスレーブ電子デバイスを備える複数の電子デバイスに適用される、マルチ端末マルチメディアデータ通信方法であって、
    前記マスター電子デバイスが、前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスとの接続を別々に確立する段階であって、前記マスター電子デバイス及び前記第1のスレーブ電子デバイスは、同一の無線ローカルエリアネットワークに位置する、段階と、
    前記第1のスレーブ電子デバイスが、第1の再生命令を受信し、前記第1のスレーブ電子デバイスが、前記第1の再生命令を前記マスター電子デバイスに送信する段階と、
    前記マスター電子デバイスが、前記第1の再生命令に応答して第1のマルチメディアデータを再生し、同時に、前記第1のマルチメディアデータの少なくとも一部を前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスに送信し、前記マスター電子デバイス、前記第1のスレーブ電子デバイス、及び前記第2のスレーブ電子デバイスが前記第1のマルチメディアデータを同期的に再生することを可能にする段階と、
    前記第1のスレーブ電子デバイスが、第1のボーカルを受信し、同時に、前記第2のスレーブ電子デバイスが、第2のボーカルを受信する段階と、
    前記マスター電子デバイスが、前記第1のスレーブ電子デバイスによって送信された前記第1のボーカルを受信し、前記第2のスレーブ電子デバイスによって送信された前記第2のボーカルを受信し、前記マスター電子デバイスが、前記第1のボーカル、前記第2のボーカル、及び前記第1のマルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成する段階と
    を備える、方法。
  2. 前記マスター電子デバイス、前記第1のスレーブ電子デバイス、及び前記第2のスレーブ電子デバイスが前記第1のマルチメディアデータを同期的に再生することを可能にする前記段階は、具体的には、
    前記マスター電子デバイスが、前記マスター電子デバイスと前記第1のスレーブ電子デバイスとの間の第1のクロックオフセットを決定する段階、
    前記マスター電子デバイスが、前記マスター電子デバイスと前記第2のスレーブ電子デバイスとの間の第2のクロックオフセットを決定する段階、
    前記マスター電子デバイスが、前記第1のクロックオフセットに従って、前記第1のスレーブ電子デバイスが前記第1のマルチメディアデータを再生する第1の再生開始時点を決定する段階であって、前記第1の再生開始時点は、前記第1のスレーブ電子デバイスが前記第1のマルチメディアデータを再生する開始時点を表すために用いられる、段階、及び
    前記マスター電子デバイスが、前記第2のクロックオフセットに従って、前記第2のスレーブ電子デバイスが前記第1のマルチメディアデータを再生する第2の再生開始時点を決定する段階であって、前記第2の再生開始時点は、前記第2のスレーブ電子デバイスが前記第1のマルチメディアデータを再生する開始時点を表すために用いられる、段階
    である、請求項1に記載の方法。
  3. 前記マスター電子デバイスが、前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスとの接続を別々に確立する前記段階は、
    前記マスター電子デバイスが、1つのWi-Fi(登録商標)接続識別子を表示し、前記第1のスレーブ電子デバイスが、前記Wi-Fi(登録商標)接続識別子を認識することによって前記マスター電子デバイスとの前記接続を確立する段階
    を有する、請求項1又は2に記載の方法。
  4. 前記マスター電子デバイスが、前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスとの接続を別々に確立する前記段階は、
    前記マスター電子デバイス及び前記第2のスレーブ電子デバイスが同一の無線ローカルエリアネットワークに位置していない場合、前記マスター電子デバイスが、ネットワーク情報を前記第2のスレーブ電子デバイスに送信し、前記第2のスレーブ電子デバイスが、前記ネットワーク情報を構文解析することによって前記マスター電子デバイスとの前記接続を確立する段階
    を有する、請求項1又は2に記載の方法。
  5. 前記マスター電子デバイスが、前記第1のボーカル、前記第2のボーカル、及び前記第1のマルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成する前記段階の後に、前記方法は、
    前記マスター電子デバイスが、前記第2のマルチメディアデータを前記第2のスレーブ電子デバイスに送信する段階と、
    前記マスター電子デバイス及び前記第2のスレーブ電子デバイスが、前記第2のマルチメディアデータを同期的に再生する段階と
    をさらに備える、請求項4に記載の方法。
  6. 前記第1のマルチメディアデータの前記少なくとも一部は、前記第1のマルチメディアデータのオーディオ、ビデオ、又は歌詞を含む、請求項1に記載の方法。
  7. 前記マスター電子デバイスが、ユーザによって入力された第2の再生命令を受信する段階と、
    前記マスター電子デバイスが、前記第2の再生命令に応答して第3のマルチメディアデータを再生し、同時に、前記第3のマルチメディアデータの少なくとも一部を前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスに送信し、前記マスター電子デバイス、前記第1のスレーブ電子デバイス、及び前記第2のスレーブ電子デバイスが前記第3のマルチメディアデータを同期的に再生することを可能にする段階と、
    前記第1のスレーブ電子デバイスが、前記第1のボーカルを受信し、同時に、前記第2のスレーブ電子デバイスが、前記第2のボーカルを受信する段階と、
    前記マスター電子デバイスが、前記第1のスレーブ電子デバイスによって送信された前記第1のボーカルを受信し、前記第2のスレーブ電子デバイスによって送信された前記第2のボーカルを受信し、前記マスター電子デバイスが、前記第1のボーカル、前記第2のボーカル、及び前記第3のマルチメディアデータをミキシングして再生用の第4のマルチメディアデータを生成する段階と
    をさらに備える、請求項1に記載の方法。
  8. 前記第1のスレーブ電子デバイスが、前記第1のボーカルを受信し、同時に、前記第2のスレーブ電子デバイスが、前記第2のボーカルを受信し、同時に、前記マスター電子デバイスが、第3のボーカルを受信する段階と、
    前記マスター電子デバイスが、前記第1のスレーブ電子デバイスによって送信された前記第1のボーカルを受信し、前記第2のスレーブ電子デバイスによって送信された前記第2のボーカルを受信し、前記マスター電子デバイスが、前記第1のボーカル、前記第2のボーカル、前記第3のボーカル、及び前記第4のマルチメディアデータをミキシングして再生用の第5のマルチメディアファイルを生成する段階と
    さらに備える、請求項7に記載の方法。
  9. 1つのマスター電子デバイス、1つの第1のスレーブ電子デバイス、及び1つの第2のスレーブ電子デバイスを備える、マルチ端末マルチメディアデータ通信システムであって、
    前記マスター電子デバイスが、前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスとの接続を確立するよう構成され、前記マスター電子デバイス及び前記第1のスレーブ電子デバイスは、同一の無線ローカルエリアネットワークに位置し、
    前記第1のスレーブ電子デバイスが、第1の再生命令を受信するよう構成され、前記第1のスレーブ電子デバイスが、前記第1の再生命令を前記マスター電子デバイスに送信するようさらに構成され、
    前記マスター電子デバイスが、前記第1の再生命令に応答して第1のマルチメディアデータを再生し、同時に、前記第1のマルチメディアデータの少なくとも一部を前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスに送信し、前記マスター電子デバイス、前記第1のスレーブ電子デバイス、及び前記第2のスレーブ電子デバイスが前記第1のマルチメディアデータを同期的に再生することを可能するようさらに構成され、
    前記第1のスレーブ電子デバイスが、第1のボーカルを受信するようさらに構成され、同時に、前記第2のスレーブ電子デバイスが、第2のボーカルを受信するよう構成され、
    前記マスター電子デバイスが、前記第1のスレーブ電子デバイスによって送信された前記第1のボーカルを受信し、前記第2のスレーブ電子デバイスによって送信された前記第2のボーカルを受信するようさらに構成され、前記マスター電子デバイスが、前記第1のボーカル、前記第2のボーカル、及び前記第1のマルチメディアデータをミキシングして再生用の第2のマルチメディアデータを生成するようさらに構成される、
    システム。
  10. 前記マスター電子デバイス、前記第1のスレーブ電子デバイス、及び前記第2のスレーブ電子デバイスが前記第1のマルチメディアデータを同期的に再生することを可能にすることは、具体的には、
    前記マスター電子デバイスが、前記マスター電子デバイスと前記第1のスレーブ電子デバイスとの間の第1のクロックオフセットを決定するよう構成され、
    前記マスター電子デバイスが、前記マスター電子デバイスと前記第2のスレーブ電子デバイスとの間の第2のクロックオフセットを決定するようさらに構成され、
    前記マスター電子デバイスが、前記第1のクロックオフセットに従って、前記第1のスレーブ電子デバイスが前記第1のマルチメディアデータを再生する第1の再生開始時点を決定するようさらに構成され、前記第1の再生開始時点は、前記第1のスレーブ電子デバイスが前記第1のマルチメディアデータを再生する開始時点を表すために用いられ、
    前記マスター電子デバイスが、前記第2のクロックオフセットに従って、前記第2のスレーブ電子デバイスが前記第1のマルチメディアデータを再生する第2の再生開始時点を決定するようさらに構成され、前記第2の再生開始時点は、前記第2のスレーブ電子デバイスが前記第1のマルチメディアデータを再生する開始時点を表すために用いられる
    ことである、請求項9に記載のシステム。
  11. 前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスとの接続を別々に確立するよう構成されている前記マスター電子デバイスは、
    前記マスター電子デバイスが、1つのWi-Fi(登録商標)接続識別子を表示するよう構成され、前記第1のスレーブ電子デバイスが、前記Wi-Fi(登録商標)接続識別子を認識することによって前記マスター電子デバイスとの前記接続を確立するよう構成される
    ことを含む、請求項9又は10に記載のシステム。
  12. 前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスとの接続を別々に確立するよう構成されている前記マスター電子デバイスは、
    前記マスター電子デバイス及び前記第2のスレーブ電子デバイスが同一の無線ローカルエリアネットワークに位置していない場合、前記マスター電子デバイスが、ネットワーク情報を前記第2のスレーブ電子デバイスに送信するよう構成され、前記第2のスレーブ電子デバイスが、前記ネットワーク情報を構文解析することによって前記マスター電子デバイスとの前記接続を確立するよう構成される
    ことを含む、請求項9又は10に記載のシステム。
  13. 前記マスター電子デバイスが、前記第1のボーカル、前記第2のボーカル、及び前記第1のマルチメディアデータをミキシングして再生用の前記第2のマルチメディアデータを生成した後に、前記システムは、
    前記マスター電子デバイスが、前記第2のマルチメディアデータを前記第2のスレーブ電子デバイスに送信するようさらに構成され、
    前記マスター電子デバイス及び前記第2のスレーブ電子デバイスが、前記第2のマルチメディアデータを同期的に再生する
    ことをさらに備える、請求項12に記載のシステム。
  14. 前記第1のマルチメディアデータの前記少なくとも一部は、前記第1のマルチメディアデータのオーディオ、ビデオ、又は歌詞を含む、請求項9に記載のシステム。
  15. 前記マスター電子デバイスが、ユーザによって入力された第2の再生命令を受信するよう構成され、
    前記マスター電子デバイスが、前記第2の再生命令に応答して第3のマルチメディアデータを再生し、同時に、前記第3のマルチメディアデータの少なくとも一部を前記第1のスレーブ電子デバイス及び前記第2のスレーブ電子デバイスに送信し、前記マスター電子デバイス、前記第1のスレーブ電子デバイス、及び前記第2のスレーブ電子デバイスが前記第3のマルチメディアデータを同期的に再生することを可能にするようさらに構成され、
    前記第1のスレーブ電子デバイスが、前記第1のボーカルを受信するよう構成され、同時に、前記第2のスレーブ電子デバイスが、前記第2のボーカルを受信するよう構成され、
    前記マスター電子デバイスが、前記第1のスレーブ電子デバイスによって送信された前記第1のボーカルを受信し、前記第2のスレーブ電子デバイスによって送信された前記第2のボーカルを受信するようさらに構成され、前記マスター電子デバイスが、前記第1のボーカル、前記第2のボーカル、及び前記第3のマルチメディアデータをミキシングして再生用の第4のマルチメディアデータを生成するようさらに構成される
    ことをさらに備える、請求項9に記載のシステム。
  16. 前記第1のスレーブ電子デバイスが、前記第1のボーカルを受信するようさらに構成され、同時に、前記第2のスレーブ電子デバイスが、前記第2のボーカルを受信するようさらに構成され、同時に、前記マスター電子デバイスが、第3のボーカルを受信するようさらに構成され、
    前記マスター電子デバイスが、前記第1のスレーブ電子デバイスによって送信された前記第1のボーカルを受信し、前記第2のスレーブ電子デバイスによって送信された前記第2のボーカルを受信するようさらに構成され、前記マスター電子デバイスが、前記第1のボーカル、前記第2のボーカル、前記第3のボーカル、及び前記第4のマルチメディアデータをミキシングして再生用の第5のマルチメディアファイルを生成するようさらに構成される
    ことをさらに備える、請求項15に記載のシステム。
  17. コンピュータに、請求項1から8のいずれか一項に記載のマルチ端末マルチメディアデータ通信方法を実行させる、コンピュータプログラム。
JP2021566505A 2019-06-19 2020-06-18 マルチ端末マルチメディアデータ通信方法及びシステム Active JP7416519B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910533498.0A CN112118062B (zh) 2019-06-19 2019-06-19 一种多终端的多媒体数据通信方法和系统
CN201910533498.0 2019-06-19
PCT/CN2020/096679 WO2020253754A1 (zh) 2019-06-19 2020-06-18 一种多终端的多媒体数据通信方法和系统

Publications (2)

Publication Number Publication Date
JP2022537012A true JP2022537012A (ja) 2022-08-23
JP7416519B2 JP7416519B2 (ja) 2024-01-17

Family

ID=73795677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021566505A Active JP7416519B2 (ja) 2019-06-19 2020-06-18 マルチ端末マルチメディアデータ通信方法及びシステム

Country Status (3)

Country Link
JP (1) JP7416519B2 (ja)
CN (1) CN112118062B (ja)
WO (1) WO2020253754A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250825B2 (en) * 2018-05-21 2022-02-15 Smule, Inc. Audiovisual collaboration system and method with seed/join mechanic
US11120782B1 (en) * 2020-04-20 2021-09-14 Mixed In Key Llc System, method, and non-transitory computer-readable storage medium for collaborating on a musical composition over a communication network
CN112927666B (zh) * 2021-01-26 2023-11-28 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质
CN117041302B (zh) * 2023-10-08 2024-01-30 深圳墨影科技有限公司 一种多设备协同规划的运营系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005077485A (ja) * 2003-08-28 2005-03-24 National Institute Of Advanced Industrial & Technology 多拠点におけるデュエット・合唱カラオケ制御方式
JP2013231951A (ja) * 2012-04-06 2013-11-14 Yamaha Corp 音響データ処理装置および音響データ通信システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2864399B1 (fr) * 2003-12-22 2006-05-05 Patrick Cichostepski Procede de diffusion de chansons et systeme pour la pratique du karaoke a distance, notamment par le telephone
CN103198848B (zh) * 2013-01-31 2016-02-10 广东欧珀移动通信有限公司 同步播放方法及系统
KR20150118972A (ko) * 2013-03-22 2015-10-23 야마하 가부시키가이샤 음향 데이터 처리 장치 및 음향 데이터 통신 시스템
CN105808710A (zh) * 2016-03-05 2016-07-27 上海斐讯数据通信技术有限公司 一种远程 k 歌终端、远程k 歌系统及远程k 歌方法
CN106057222B (zh) * 2016-05-20 2020-10-27 联想(北京)有限公司 一种多媒体文件的播放方法及电子设备
CN107396137B (zh) * 2017-07-14 2020-06-30 腾讯音乐娱乐(深圳)有限公司 在线互动的方法、装置及系统
CN107665703A (zh) * 2017-09-11 2018-02-06 上海与德科技有限公司 一种多用户的音频合成方法和系统以及远程服务器
CN113504851A (zh) * 2018-11-14 2021-10-15 华为技术有限公司 一种播放多媒体数据的方法及电子设备
CN109819306B (zh) * 2018-12-29 2022-11-04 花瓣云科技有限公司 一种媒体文件裁剪的方法、电子设备和服务器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005077485A (ja) * 2003-08-28 2005-03-24 National Institute Of Advanced Industrial & Technology 多拠点におけるデュエット・合唱カラオケ制御方式
JP2013231951A (ja) * 2012-04-06 2013-11-14 Yamaha Corp 音響データ処理装置および音響データ通信システム

Also Published As

Publication number Publication date
CN112118062B (zh) 2022-12-30
WO2020253754A1 (zh) 2020-12-24
CN112118062A (zh) 2020-12-22
JP7416519B2 (ja) 2024-01-17

Similar Documents

Publication Publication Date Title
CN111345010B (zh) 一种多媒体内容同步方法、电子设备及存储介质
CN110381197B (zh) 多对一投屏中音频数据的处理方法、装置及系统
CN111316598B (zh) 一种多屏互动方法及设备
CN113542839B (zh) 电子设备的投屏方法和电子设备
JP7416519B2 (ja) マルチ端末マルチメディアデータ通信方法及びシステム
CN113497909B (zh) 一种设备交互的方法和电子设备
CN111666119A (zh) Ui组件显示的方法及电子设备
CN115017920A (zh) 一种翻译方法及电子设备
CN110198362B (zh) 一种在联系人中添加智能家居设备的方法及系统
WO2020078336A1 (zh) 翻译方法及终端
CN113169915B (zh) 无线音频系统、音频通讯方法及设备
CN113691842A (zh) 一种跨设备的内容投射方法及电子设备
CN114040242A (zh) 投屏方法和电子设备
CN114827581A (zh) 同步时延测量方法、内容同步方法、终端设备及存储介质
CN114185503A (zh) 多屏交互的系统、方法、装置和介质
WO2022127670A1 (zh) 一种通话方法、相关设备和系统
CN115223579A (zh) 一种编解码器协商与切换方法
CN114356195A (zh) 一种文件传输的方法及相关设备
CN114173184A (zh) 投屏方法和电子设备
WO2022267640A1 (zh) 视频共享方法、电子设备及存储介质
CN113805825B (zh) 设备之间的数据通信方法、设备及可读存储介质
CN114827098A (zh) 合拍的方法、装置、电子设备和可读存储介质
WO2022252980A1 (zh) 共享屏幕的方法、相关电子设备及系统
CN116708674B (zh) 通信方法及电子设备
WO2023093778A1 (zh) 一种截屏方法及相关装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231226

R150 Certificate of patent or registration of utility model

Ref document number: 7416519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150