JP2018502533A - メディア同期方法、装置、プログラム及び記録媒体 - Google Patents

メディア同期方法、装置、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2018502533A
JP2018502533A JP2017547054A JP2017547054A JP2018502533A JP 2018502533 A JP2018502533 A JP 2018502533A JP 2017547054 A JP2017547054 A JP 2017547054A JP 2017547054 A JP2017547054 A JP 2017547054A JP 2018502533 A JP2018502533 A JP 2018502533A
Authority
JP
Japan
Prior art keywords
media file
output side
wireless
key frame
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017547054A
Other languages
English (en)
Inventor
カンシー タン
カンシー タン
ヨンジー ワン
ヨンジー ワン
ジョンフイ フアン
ジョンフイ フアン
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2018502533A publication Critical patent/JP2018502533A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Abstract

本開示は、メディア同期方法、装置、プログラム及び記録媒体に関する。前記方法は、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するステップと、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするステップと、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するステップと、を含む。本開示によれば、スプリット機器はメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。【選択図】図１

Description

本開示は、通信分野に関し、特に、メディア同期方法及び装置に関する。
スプリットテレビとは、一般的に、テレビの表示部分、信号処理部分および音響システムが分離されたものを指し、伝統的なテレビの三者一体の構造様式を打ち破った。例えば、スプリットテレビは、テレビ表示端末、テレビホスト、テレビ音響の３つの部分によって構成されてもよい。しかしながら、このような特別な構造に起因して、スプリットテレビは、メディアファイルを再生する際、無線伝送が一般的に不安定であるため、メディアが非同期となってしまうという課題が存在する可能性がある。
関連技術に存在する問題を解決するために、本開示は、メディア同期方法及び装置を提供する。
本開示の実施例の第１の態様によれば、メディア同期方法を提供する。前記方法は、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するステップと、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするステップと、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するステップと、を含む。
好ましくは、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするステップは、前記第１のメディアファイルのうち、キーフレームを選定するステップと、選定された前記キーフレームをフレーム順で前記無線出力側へ送信して、前記キーフレームの発信時刻を記録するステップと、前記無線出力側から報告された前記キーフレームの受信時刻を受信し、かつ、前記第１のメディアファイルの伝送遅延が動的にモニタリングされるように、前記受信時刻および前記発信時刻に基づいて前記キーフレームの無線伝送遅延を算出するステップと、を含む。
好ましくは、前記第１のメディアファイルのうち、キーフレームを選定するステップは、所定のフレーム間隔に基づいて、前記第１のメディアファイルのうち、キーフレームを選定するステップを含む。
好ましくは、前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されている。
好ましくは、前記モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、前記第２のメディアファイルの再生時間を適応的に調整するステップは、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように、算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力機器へ前記第２のメディアファイルを遅延して送信するステップを含む。
好ましくは、前記方法は、前記無線出力側とクロック同期を周期的に行うステップをさらに含む。
本開示の実施例の第２の態様によれば、メディア同期装置を提供する。前記装置は、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するように構成される分離モジュールと、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするように構成されるモニタリングモジュールと、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、前記モニタリングモジュールによりモニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成される調整モジュールと、を備える。
好ましくは、前記モニタリングモジュールは、前記第１のメディアファイルのうち、キーフレームを選定するように構成される選定サブモジュールと、選定された前記キーフレームをフレーム順で前記無線出力側へ送信して、前記キーフレームの発信時刻を記録するように構成される伝送サブモジュールと、前記無線出力側から報告された前記キーフレームの受信時刻を受信するように構成される受信サブモジュールと、前記第１のメディアファイルの伝送遅延が動的にモニタリングされるように、前記受信サブモジュールにより受信された受信時刻と前記発信時刻に基づいて、前記キーフレームの無線伝送遅延を算出するように構成される算出サブモジュールと、を有する。
好ましくは、前記選定サブモジュールは、所定のフレーム間隔に基づいて、前記第１のメディアファイルのうち、キーフレームを選定するように構成される選定手段を有する。
好ましくは、前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されている。
好ましくは、前記調整モジュールは、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように、前記算出サブモジュールにより算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力機器へ前記第２のメディアファイルを遅延して送信するように構成される送信サブモジュールを有する。
好ましくは、前記モニタリングモジュールは、前記無線出力側とクロック同期を周期的に行うように構成される同期サブモジュールをさらに有する。
本開示の実施例の第３の態様によれば、メディア同期装置を提供する。前記装置は、プロセッサと、プロセッサが実行可能な指令を記憶するためのメモリと、を備え、前記プロセッサは、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングし、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成される。
本開示の実施例による技術案は、以下の格別な作用効果を含むことができる。
本開示の以上の実施例では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
上述した一般的な記述および後続の詳細な記述は、単に例示的および解釈的なものであり、本発明を制限するものでないことは、理解されるべきである。
ここでの図面は、明細書を構成する一部として見なされ、本開示に適した実施例を示し、かつ、明細書の文字記載とともに本開示の仕組みを解釈するために用いられる。
ある実施例によるメディア同期方法を示すフロー模式図である。 ある実施例による別のメディア同期方法を示すフロー模式図である。 ある実施例によるメディア同期装置を示す模式的なブロック図である。 ある実施例による別のメディア同期装置を示す模式的なブロック図である。 ある実施例による別のメディア同期装置を示す模式的なブロック図である。 ある実施例による別のメディア同期装置を示す模式的なブロック図である。 ある実施例による別のメディア同期装置を示す模式的なブロック図である。 ある実施例による前記メディア同期装置のための構造模式図である。
次に、実施例を詳細に説明し、例示が図に示されている。以下の記述が図に係る場合、別途にて示さない限り、異なる図面における同じ符号は、同じまたは類似する要素を示す。以下の実施例に記述される実施形態は、本発明と一致する全ての実施形態を代表するとは限らない。逆に、それらは、添付の特許請求の範囲に記載されているように、本発明の一部の側面と一致する装置および方法の例に過ぎない。
本開示に記載の用語は、特定の実施例を説明する目的で使用されるものに過ぎず、本開示を限定するものではない。本開示及び添付する特許請求の範囲に記載の単数形式の「１種類」、「前記」及び「当該」は、前後の文章においてそれぞれ他の意味を含有すると明確に記載される以外には、複数の形式も含む。なお、本発明に記載の「及び／又は」は、挙げられる事項の１つ又は複数の何れ又は全ての組み合わせを意味する。
また、本開示は、第１、第２、第３等の用語を使って各種の情報を説明するが、それらの情報は上記用語に限定されない。それらの用語は、同一種類の情報同士を区分するためのものに過ぎない。例えば、本発明の範囲から逸脱しない状況で、第１の情報を第２の情報と称してもよい。同じように、第２の情報を第１の情報と称してもよい。ここで使っている用語「……場合」は、文脈の意味によって、「……時」或は「……と」又は「確定に応じる」に解釈されてもよい。
スプリットテレビがメディアファイルを再生するとき、当該メディアファイルがハイブリッドメディアファイルである場合、スプリットテレビは、一般的に当該ハイブリッドメディアファイルからメディアファイルを分離し、無線出力側とローカル出力側でそれぞれ再生し、これによって、良い再生効果を奏することができる。
しかしながら、無線出力側で再生されるメディアファイルは一般的に無線通信に基づいて伝送されるし、無線通信が環境に干渉され易いため、スプリットテレビはメディアファイルを再生する過程において、無線出力側へ送信するメディアファイルが遅延する可能性があるので、無線出力側とローカル出力側とで再生されるメディアファイルが非同期となってしまうという課題が生じる。
例えば、スプリットテレビがハイブリッドオーディオファイルを再生することを例として、このとき、スプリットテレビと無線接続を確立するサブウーファーは、無線出力側であり、スプリットテレビホストのスピーカは、ローカル出力側である。スプリットテレビは当該ハイブリッドオーディオファイルを再生するとき、内蔵されたオーディオコーデックモジュール（Ａｕｄｉｏ Ｃｏｄｅｃ）によって当該ハイブリッドオーディオファイルから低音データと普通オーディオデータとを分離することができる。
当該ハイブリッドオーディオファイルから低音データと普通オーディオデータとを分離した後、スプリットテレビは分離された普通オーディオデータをローカルのスピーカへ直接送信してもよく、スピーカが普通オーディオデータを再生し、それから、分離された低音データを内蔵された無線モジュール（例えば、ＷＩＦＩモジュール）を介してサブウーファーへ送信し、サブウーファーが低音データを再生する。
しかしながら、無線通信が環境に干渉され易いため、スプリットテレビは無線の方式でサブウーファーへデータを送信する過程において、一定の伝送遅延が発生する可能性があるし、当該伝送遅延はさらに環境干渉の程度に応じて動的に変化する可能性があるため、無線サブウーファーで再生される低音データと、ローカルのスピーカで再生される普通オーディオデータとが非同期となる可能性があり、ユーザに対して良くないユーザ体験を与える。
これから分かるように、伝統的な実現中において、スプリットテレビはメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって、無線出力側とローカル出力側とで再生されるメディアファイルが非同期となってしまうという課題が生じる。
上記問題を解決するために、本実施例は、メディア同期の技術案を提供し、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
図１に示すように、図１は、ある実施例によるメディア同期方法である。当該メディア同期方法は、スプリット端末に用いられ、以下のステップを含む。
ステップ１０１では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離する。
ステップ１０２では、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングする。
ステップ１０３では、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整する。
本実施例では、スプリット端末は、スプリットテレビ、スプリット会議端末、スプリットビデオカメラまたは他の種類の、メディアファイルを再生可能なスプリット機器を含んでもよい。例えば、実施時、スプリットテレビ、スプリット会議端末、スプリットビデオカメラに加えて、上記スプリット端末はさらに、無線出力側（例えば、無線サブウーファー）とローカル出力側（例えば、スピーカまたは表示パネル）が取り付けられたＰＣ端末または移動端末であってもよい。上記メディアファイルは、ハイブリッドメディアファイルであってもよい。例えば、当該ハイブリッドメディアファイルは、低音データと普通オーディオデータとからなるオーディオファイルであってもよいし、オーディオデータとビデオデータとからなるビデオファイルであってもよい。
以下、上記スプリット端末がスプリットテレビであることを例として詳細に記述する。
本実施例では、スプリットテレビはメディアファイルを再生するとき、当該メディアファイルがハイブリッドメディアファイルである場合、内蔵されたコーデックモジュールによって、当該メディアファイルから、無線出力側で再生される第１のメディアファイルとローカル出力側で再生される第２のメディアファイルとを分離してもよい。
例えば、当該メディアファイルがオーディオファイルである場合、当該第１のメディアファイルは、当該オーディオファイルから分離された低音データであってもよく、当該第２のメディアファイルは、当該オーディオファイルから分離された普通オーディオデータであってもよい。当該メディアファイルがビデオファイルである場合、当該第１のメディアファイルは、当該ビデオファイルから分離されたオーディオデータであってもよく、当該第２のメディアファイルは、当該ビデオファイルから分離されたビデオデータであってもよい。
コーデックモジュールによってメディアファイルを分離する詳細な過程については、本実施例で詳細に記述せず、当業者は本開示の技術案を実現するとき、関連技術における紹介を参照すればよい。
当該メディアファイルから第１のメディアファイルと第２のメディアファイルとを分離するとき、スプリットテレビは、無線出力側と確立されている無線接続によって、当該第１のメディアファイルを無線出力側へ無線伝送し、かつ、無線出力側の無線伝送遅延を動的にモニタリングしてもよい。
スプリットテレビは無線出力の無線伝送遅延を動的にモニタリングするとき、第１のメディアファイルにおいてキーフレームを選定し、かつ、選定されたキーフレームの発信時刻と無線出力側から報告された当該キーフレームの受信時刻を動的にモニタリングすることによって実現されてもよい。
係る実施形態では、スプリットテレビはコーデックモジュールによってメディアファイルから第１のメディアファイルと第２のメディアファイルとを分離した後、第１のメディアファイルから若干のキーフレームを選定してもよい。キーフレームを選定するとき、スプリットテレビは、所定のフレーム間隔に基づいて選択してもよい。例えば、固定のフレーム間隔に基づいて選択してもよく、一例として、１０フレームのフレーム間隔で第１のメディアファイルにおける１、１１、２１…フレームのデータをキーフレームとして選択してもよい。固定の時間間隔、例えば、フレームの再生順序で２秒ごとに１フレームのキーフレームを選択してもよい。このような方式によれば、第１のメディアファイルにおける全てのデータフレームをキーフレームとすることなく、スプリットテレビの計算資源を節約することができる。
キーフレームを選定した後、スプリットテレビは、さらに、選定されたキーフレームに所定の標記を追加してもよく、当該所定の標記は、無線出力側がスプリットテレビに当該キーフレームの受信時刻を受信する標記を報告するようにトリガするために用いられるものであってもよい。選定されたキーフレームに所定の標記を追加した後、スプリットテレビは、内蔵された無線モジュールによって、選定されたキーフレームをフレームのデータの順で無線出力側へ送信し、かつ、発信時刻を記録してもよい。無線出力側は、スプリットテレビから送信された第１のメディアファイルのデータフレームを受信した後、先ず、受信されたデータフレームには上記所定の標記が付加されているか否かをチェックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであり、無線出力側は即座、当該キーフレームを受信した受信時刻をスプリットテレビに報告してもよい。
スプリットテレビは、無線出力側から報告された、キーフレームを受信した受信時刻を受信した後、キーフレームの受信時刻と発信時刻の間の差分を算出してもよく、これによって、キーフレーム毎の無線伝送遅延を取得する。これから分かるように、このような方式によれば、スプリットテレビは、無線出力側へキーフレームを継続的に送信し、かつ、無線出力側から報告されたキーフレームの受信時刻をモニタリングすることで、無線出力側の無線伝送遅延を動的にモニタリングすることができる。
なお、スプリットテレビは、さらに、無線出力側とクロック同期を周期的に行ってもよく、これによって、キーフレームの受信時刻と発信時刻が同一クロックに基づいて記録されることをできるだけ確保して、算出された無線伝送遅延の誤差を低減する。例えば、実施時、スプリットテレビと無線出力側は同様にＣＰＵのクロックを採用し、すなわち、ＣＰＵのクロックを基準としてキャリブレーションを行ってもよい。
本実施例では、スプリットテレビは、無線出力側から報告されたキーフレームの受信時刻を受信し、かつ、当該受信時刻とローカルに記録された発信時刻に基づいて、無線伝送遅延を算出した後、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、即座に当該無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整してもよい。
スプリットテレビがローカル出力側での第２のメディアファイルの再生時間を適応的に調整することは、算出された無線伝送遅延に基づいて、ローカル出力機器へ第２のメディアファイルを遅延して送信することによって実現されてもよい。
例えば、仮に、スプリットテレビが受信した、無線出力側から報告されたある肝心な受信時刻がＴ２であり、ローカルに記録された当該キーフレームの受信時刻がＴ１である場合、無線伝送遅延はＴ１とＴ２との間の差分によって表されてもよい。このとき、無線伝送遅延はΔｔ=ｔ２-ｔ１である。スプリットテレビがΔｔを算出したとき、ローカル出力機器へ第２のメディアファイルを送信する時刻をΔｔ遅延させてもよい。これによって、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
当然、スプリットテレビは以上の方式でローカル出力側での第２のメディアファイルの再生時間を適応的に調整した後、また無線出力側から報告された次のキーフレームの受信時刻を受信すれば、記録された当該キーフレームの発信時刻に基づいて新たに無線伝送遅延を記録し、それから、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整してもよい。
これから分かるように、このような方式によれば、無線出力側は、スプリットテレビにキーフレームの無線伝送遅延を継続的に報告することができ、スプリットテレビは、無線出力側が継続的に報告した無線伝送遅延に基づいて、継続的にローカル出力側での第２のメディアファイルの再生時間を適応的に調整することができ、これによって、無線出力側で生じる無線伝送遅延がローカル出力側で再生される第２のメディアファイルに与える影響を最大程度で解消することができ、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
以下に、上記メディアファイルがオーディオファイル及びビデオファイルであることを例としてそれぞれ記述する。
本例では、スプリットテレビの基本的なアーキテクチャには、Ａｕｄｉｏ Ｃｏｄｅｃモジュール（オーディオコーデック）、ｖｉｄｅｏ Ｃｏｄｅｃモジュール（ビデオコーデック）、ＣＰＵ、スピーカ、ディスプレイ、無線モジュール、無線サブウーファー及び無線スピーカボックスが含まれてもよい。Ａｕｄｉｏ ＣｏｄｅｃモジュールとＣＰＵ及びスピーカがそれぞれ有線接続され、Ａｕｄｉｏ ＣｏｄｅｃモジュールとＣＰＵ及びディスプレイが有線接続される。ＣＰＵと無線モジュールが有線接続される。無線モジュールと無線サブウーファー及び無線スピーカボックスが無線接続される。
ある態様としては、上記メディアファイルがオーディオファイルである場合、第１のメディアファイルが当該オーディオファイルから分離された低音データであってもよい。第２のメディアファイルが当該オーディオファイルから分離された普通オーディオデータであってもよい。サブウーファーが無線出力側である。スピーカがローカル出力側である。
初期状態において、スプリットテレビが当該オーディオファイルを再生するとき、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、再生待ちのサウンドトラックからフレーム順序でオーディオデータフレームを連続的に読み取り、それから、読み取られたオーディオデータフレームから低音データと普通オーディオデータとを分離してもよい。分離された低音データと普通オーディオデータは依然としてオリジナルオーディオファイルのフレーム順序を保持する。当該オーディオファイルは複数の再生待ちのサウンドトラックを含むとき、同時に当該複数のサウンドトラックからオーディオデータを読み取ってもよい。
分離が完了した後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、さらに所定のフレーム間隔に基づいて、キーフレームを選定し、かつ、選定されたキーフレームに、サブウーファーが当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告するようにトリガするための所定の標記を追加してもよい。当該所定の標記はＣＰＵによって追加されてもよい。
選定されたキーフレームに当該所定の標記が追加された後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールはサブウーファーへ低音データフレームを送信し始め、かつ、キーフレームの送信時刻Ｔ１を記録してもよい。サブウーファーは低音データフレームを受信した後、当該データフレームに当該所定の標記が付加されているか否かをチャックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであることを表明し、サブウーファーは当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告し、それから、次のフレーム低音データを継続的に受信し、かつ、以上の過程を繰り返してもよい。
Ａｕｄｉｏ Ｃｏｄｅｃモジュールはサブウーファーから報告されたキーフレームを受信した受信時刻Ｔ２を受信した後、Ｔ２と記録されたキーフレームの受信時刻Ｔ１の間の差分Δｔを算出してもよい。このとき、当該差分Δｔは低音データの無線伝送遅延であり、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、スピーカへ普通オーディオデータを送信する時刻をΔｔ遅延させてもよく、これによって、低音データと普通オーディオデータとの同期再生を確保する。Ａｕｄｉｏ Ｃｏｄｅｃモジュールと無線サブウーファーは、ＣＰＵのクロックを基準としてクロック同期を行ってもよく、これによって、記録された発信時刻または受信時刻の正確性を確保し、算出された無線伝送遅延の誤差を低減する。
当然、実施時、サブウーファーはキーフレームの受信時刻Ｔ２をＣＰＵに報告してもよく、ＣＰＵは無線伝送遅延Δｔを算出し、それから、スピーカへ普通オーディオデータを送信する時刻をΔｔ遅延させるようにＡｕｄｉｏ Ｃｏｄｅｃモジュールを制御してもよい。
別の態様としては、上記メディアファイルがビデオファイルである場合、第１のメディアファイルが当該ビデオファイルから分離されたオーディオデータであってもよい。第２のメディアファイルが当該ビデオファイルから分離されたビデオデータであってもよい。無線スピーカボックスが無線出力側であり、ディスプレイがローカル出力側である。
初期状態において、スプリットテレビが当該ビデオファイルを再生するとき、Ｖｉｄｅｏ Ｃｏｄｅｃモジュールは再生待ちのビデオファイルからフレーム順序で連続的にビデオデータフレームを読み取り、それから、読み取られたビデオデータフレームからオーディオデータとビデオデータとを分離してもよい。分離されたオーディオデータとビデオデータは依然としてオリジナルビデオファイルのフレーム順序を保持する。
分離が完了した後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、さらに所定のフレーム間隔に基づいて、キーフレームを選定し、かつ、選定されたキーフレームに、無線スピーカボックスが当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告するようにトリガするための所定の標記を追加してもよい。当該所定の標記はＣＰＵによって追加されてもよい。
選定されたキーフレームに当該所定の標記が追加された後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは無線スピーカボックスへオーディオデータフレームを送信し始め、かつ、キーフレームの送信時刻Ｔ１を記録してもよい。無線スピーカボックスはオーディオデータフレームを受信した後、当該データフレームには当該所定の標記が付加されているか否かをチャックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであることを表明し、無線スピーカボックスは当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告し、それから、次のフレームオーディオデータを継続的に受信し、かつ、以上の過程を繰り返してもよい。
Ａｕｄｉｏ Ｃｏｄｅｃモジュールは無線スピーカボックスから報告されたキーフレームを受信した受信時刻Ｔ２を受信した後、Ｔ２と記録されたキーフレームの受信時刻Ｔ１の間の差分Δｔを算出してもよい。このとき、当該差分Δｔはオーディオデータの無線伝送遅延であり、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、ディスプレイへビデオデータを送信する時刻をΔｔ遅延させてもよく、これによって、オーディオデータとビデオデータとの同期再生を確保する。
Ｖｉｄｅｏ Ｃｏｄｅｃモジュールと無線スピーカボックスはＣＰＵのクロックを基準として周期的にクロック同期を行ってもよく、これによって、記録された発信時刻または受信時刻の正確性を確保し、算出された無線伝送遅延の誤差を低減する。
同様に、実施時、無線スピーカボックスはキーフレームの受信時刻Ｔ２をＣＰＵに報告し、ＣＰＵは無線伝送遅延Δｔを算出し、それから、ディスプレイへビデオデータを送信する時刻をΔｔ遅延させるようにＡｕｄｉｏ Ｃｏｄｅｃモジュールを制御してもよい。
以上の例示から分かるように、このような方式によれば、無線出力側は、スプリットテレビにキーフレームの無線伝送遅延を継続的に報告することができ、スプリットテレビは、無線出力側が継続的に報告した無線伝送遅延に基づいて、継続的にローカル出力側での第２のメディアファイルの再生時間を適応的に調整することができ、これによって、無線出力側で生じる無線伝送遅延がローカル出力側で再生される第２のメディアファイルに与える影響を最大程度で解消することができ、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
以上の実施例では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
図２に示すように、図２は、ある実施例によるメディア同期方法であり、当該メディア同期方法は、スプリット端末に用いられ、以下のステップを含む。
ステップ２０１では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離する。
ステップ２０２では、前記第１のメディアファイルのうち、キーフレームを選定し、前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されている。
ステップ２０３では、前記無線出力側から報告された前記キーフレームの受信時刻を受信し、かつ、前記受信時刻および前記発信時刻に基づいて前記キーフレームの無線伝送遅延を算出する。
ステップ２０４では、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力機器へ前記第２のメディアファイルを遅延して送信する。
本実施例では、スプリット端末は、スプリットテレビ、スプリット会議端末、スプリットビデオカメラまたは他の種類の、メディアファイルを再生可能なスプリット機器を含んでもよい。例えば、実施時、スプリットテレビ、スプリット会議端末、スプリットビデオカメラに加えて、上記スプリット端末はさらに、無線出力側（例えば、無線サブウーファー）とローカル出力側（例えば、スピーカまたは表示パネル）が取り付けられたＰＣ端末または移動端末であってもよい。上記メディアファイルは、ハイブリッドメディアファイルであってもよい。例えば、当該ハイブリッドメディアファイルは、低音データと普通オーディオデータとからなるオーディオファイルであってもよいし、オーディオデータとビデオデータとからなるビデオファイルであってもよい。
以下、上記スプリット端末がスプリットテレビであることを例として詳細に記述する。
本実施例では、スプリットテレビはメディアファイルを再生するとき、当該メディアファイルがハイブリッドメディアファイルである場合、内蔵されたコーデックモジュールによって、当該メディアファイルから、無線出力側で再生される第１のメディアファイルとローカル出力側で再生される第２のメディアファイルとを分離してもよい。
例えば、当該メディアファイルがオーディオファイルである場合、当該第１のメディアファイルは、当該オーディオファイルから分離された低音データであってもよく、当該第２のメディアファイルは、当該オーディオファイルから分離された普通オーディオデータであってもよい。当該メディアファイルがビデオファイルである場合、当該第１のメディアファイルは、当該ビデオファイルから分離されたオーディオデータであってもよく、当該第２のメディアファイルは、当該ビデオファイルから分離されたビデオデータであってもよい。
コーデックモジュールによってメディアファイルを分離する詳細な過程については、本実施例では詳細に記述せず、当業者は本開示の技術案を実現するとき、関連技術における紹介を参照すればよい。
当該メディアファイルから第１のメディアファイルと第２のメディアファイルとを分離するとき、スプリットテレビは、無線出力側と確立されている無線接続によって、当該第１のメディアファイルを無線出力側へ無線伝送し、かつ、無線出力側の無線伝送遅延を動的にモニタリングしてもよい。
スプリットテレビは無線出力の無線伝送遅延を動的にモニタリングするとき、第１のメディアファイルにおいてキーフレームを選定し、かつ、選定されたキーフレームの発信時刻と無線出力側から報告された当該キーフレームの受信時刻を動的にモニタリングすることによって実現されてもよい。
係る実施形態では、スプリットテレビはコーデックモジュールによってメディアファイルから第１のメディアファイルと第２のメディアファイルとを分離した後、第１のメディアファイルから若干のキーフレームを選定してもよい。キーフレームを選定するとき、スプリットテレビは、所定のフレーム間隔で選択してもよい。例えば、固定のフレーム間隔に基づいて選択してもよく、一例として、１０フレームのフレーム間隔で第１のメディアファイルにおける１、１１、２１…フレームのデータをキーフレームとして選択してもよい。固定の時間間隔、例えば、フレームの再生順序で２秒ごとに１フレームのキーフレームを選択してもよい。このような方式によれば、第１のメディアファイルにおける全てのデータフレームをキーフレームとすることなく、スプリットテレビの計算資源を節約することができる。
キーフレームを選定した後、スプリットテレビは、さらに、選定されたキーフレームに所定の標記を追加してもよく、当該所定の標記は、無線出力側がスプリットテレビに当該キーフレームの受信時刻を受信する標記を報告するようにトリガするために用いられるものであってもよい。選定されたキーフレームに所定の標記を追加した後、スプリットテレビは、内蔵された無線モジュールによって、選定されたキーフレームをフレームのデータの順で無線出力側へ送信し、かつ、発信時刻を記録してもよい。無線出力側は、スプリットテレビから送信された第１のメディアファイルのデータフレームを受信した後、先ず、受信されたデータフレームには上記所定の標記が付加されているか否かをチェックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであり、無線出力側は即座、当該キーフレームを受信した受信時刻をスプリットテレビに報告してもよい。
スプリットテレビは、無線出力側から報告された、キーフレームを受信した受信時刻を受信した後、キーフレームの受信時刻と発信時刻の間の差分を算出してもよく、これによって、キーフレーム毎の無線伝送遅延を取得する。これから分かるように、このような方式によれば、スプリットテレビは、無線出力側へキーフレームを継続的に送信し、かつ、無線出力側から報告されたキーフレームの受信時刻をモニタリングすることで、無線出力側の無線伝送遅延を動的にモニタリングすることができる。
なお、スプリットテレビは、さらに、無線出力側と周期的にクロック同期を行ってもよく、これによって、キーフレームの受信時刻と発信時刻が同一クロックに基づいて記録されることをできるだけ確保して、算出された無線伝送遅延の誤差を低減する。例えば、実施時、スプリットテレビと無線出力側は同様にＣＰＵのクロックを採用し、すなわち、ＣＰＵのクロックを基準としてキャリブレーションを行ってもよい。
本実施例では、スプリットテレビは、無線出力側から報告されたあるキーフレームの受信時刻を受信し、かつ、当該受信時刻とローカルに記録された発信時刻に基づいて、無線伝送遅延を算出した後、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、即座に当該無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整してもよい。
スプリットテレビがローカル出力側での第２のメディアファイルの再生時間を適応的に調整することは、算出された無線伝送遅延に基づいて、ローカル出力機器へ第２のメディアファイルを遅延して送信することによって実現されてもよい。
例えば、仮に、スプリットテレビが受信した、無線出力側から報告されたあるキーの受信時刻がＴ２であり、ローカルに記録された当該キーフレームの受信時刻がＴ１である場合、無線伝送遅延はＴ１とＴ２との間の差分によって表されてもよい。このとき、無線伝送遅延はΔｔ=ｔ２-ｔ１である。スプリットテレビがΔｔを算出したとき、ローカル出力機器へ第２のメディアファイルを送信する時刻をΔｔ遅延させてもよく、これによって、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
当然、スプリットテレビは以上の方式でローカル出力側での第２のメディアファイルの再生時間を適応的に調整した後、また無線出力側から報告された次のキーフレームの受信時刻を受信すれば、記録された当該キーフレームの発信時刻に基づいて新たに無線伝送遅延を記録し、それから、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整してもよい。
これから分かるように、このような方式によれば、無線出力側は、スプリットテレビにキーフレームの無線伝送遅延を継続的に報告することができ、スプリットテレビは、無線出力側が継続的に報告した無線伝送遅延に基づいて、継続的にローカル出力側での第２のメディアファイルの再生時間を適応的に調整することができ、これによって、無線出力側で生じる無線伝送遅延がローカル出力側で再生される第２のメディアファイルに与える影響を最大程度で解消することができ、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
以下、上記メディアファイルがオーディオファイル及びビデオファイルであることを例としてそれぞれ記述する。
本例では、スプリットテレビの基本的なアーキテクチャには、Ａｕｄｉｏ Ｃｏｄｅｃモジュール（オーディオコーデック）、ｖｉｄｅｏ Ｃｏｄｅｃモジュール（ビデオコーデック）、ＣＰＵ、スピーカ、ディスプレイ、無線モジュール、無線サブウーファー及び無線スピーカボックスが含まれてもよい。Ａｕｄｉｏ ＣｏｄｅｃモジュールとＣＰＵ及びスピーカがそれぞれ有線接続され、Ａｕｄｉｏ ＣｏｄｅｃモジュールとＣＰＵ及びディスプレイが有線接続される。ＣＰＵと無線モジュールが有線接続される。無線モジュールと無線サブウーファー及び無線スピーカボックスが無線接続される。
ある態様としては、上記メディアファイルがオーディオファイルである場合、第１のメディアファイルが当該オーディオファイルから分離された低音データであってもよい。第２のメディアファイルが当該オーディオファイルから分離された普通オーディオデータであってもよい。サブウーファーが無線出力側である。スピーカがローカル出力側である。
初期状態において、スプリットテレビが当該オーディオファイルを再生するとき、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、再生待ちのサウンドトラックからフレーム順序でオーディオデータフレームを連続的に読み取り、それから、読み取られたオーディオデータフレームから低音データと普通オーディオデータとを分離してもよい。分離された低音データと普通オーディオデータは依然としてオリジナルオーディオファイルのフレーム順序を保持する。当該オーディオファイルは複数の再生待ちのサウンドトラックを含むとき、同時に当該複数のサウンドトラックからオーディオデータを読み取ってもよい。
分離が完了した後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、さらに所定のフレーム間隔に基づいて、キーフレームを選定し、かつ、選定されたキーフレームに、サブウーファーが当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告するようにトリガするための所定の標記を追加してもよい。当該所定の標記はＣＰＵによって追加されてもよい。
選定されたキーフレームに当該所定の標記が追加された後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールはサブウーファーへ低音データフレームを送信し始め、かつ、キーフレームの送信時刻Ｔ１を記録してもよい。サブウーファーは低音データフレームを受信した後、当該データフレームには当該所定の標記が付加されているか否かをチャックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであることを表明し、サブウーファーは当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告し、それから、次のフレーム低音データを継続的に受信し、かつ、以上の過程を繰り返してもよい。
Ａｕｄｉｏ Ｃｏｄｅｃモジュールはサブウーファーから報告されたキーフレームを受信した受信時刻Ｔ２を受信した後、Ｔ２と記録されたキーフレームの受信時刻Ｔ１の間の差分Δｔを算出してもよく、このとき、当該差分Δｔは低音データの無線伝送遅延であり、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、スピーカへ普通オーディオデータを送信する時刻をΔｔ遅延させてもよい。これによって、低音データと普通オーディオデータとの同期再生を確保する。Ａｕｄｉｏ Ｃｏｄｅｃモジュールと無線サブウーファーは、ＣＰＵのクロックを基準としてクロック同期を行ってもよく、これによって、記録された発信時刻または受信時刻の正確性を確保し、算出された無線伝送遅延の誤差を低減する。
当然、実施時、サブウーファーはキーフレームの受信時刻Ｔ２をＣＰＵに報告してもよく、ＣＰＵは無線伝送遅延Δｔを算出し、それから、スピーカへ普通オーディオデータを送信する時刻をΔｔ遅延させるようにＡｕｄｉｏ Ｃｏｄｅｃモジュールを制御してもよい。
別の態様としては、上記メディアファイルがビデオファイルである場合、第１のメディアファイルが当該ビデオファイルから分離されたオーディオデータであってもよい。第２のメディアファイルが当該ビデオファイルから分離されたビデオデータであってもよい。無線スピーカボックスが無線出力側であり、ディスプレイがローカル出力側である。
初期状態において、スプリットテレビが当該ビデオファイルを再生するとき、Ｖｉｄｅｏ Ｃｏｄｅｃモジュールは再生待ちのビデオファイルからフレーム順序で連続的にビデオデータフレームを読み取り、それから、読み取られたビデオデータフレームからオーディオデータとビデオデータとを分離してもよい。分離されたオーディオデータとビデオデータは依然としてオリジナルビデオファイルのフレーム順序を保持する。
分離が完了した後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、さらに所定のフレーム間隔に基づいて、キーフレームを選定し、かつ、選定されたキーフレームに、無線スピーカボックスが当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告するようにトリガするための所定の標記を追加してもよい。当該所定の標記はＣＰＵによって追加されてもよい。
選定されたキーフレームに当該所定の標記が追加された後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは無線スピーカボックスへオーディオデータフレームを送信し始め、かつ、キーフレームの送信時刻Ｔ１を記録してもよい。無線スピーカボックスはオーディオデータフレームを受信した後、当該データフレームには当該所定の標記が付加されているか否かをチャックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであることを表明し、無線スピーカボックスは当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告し、それから、次のフレームオーディオデータを継続的に受信し、かつ、以上の過程を繰り返してもよい。
Ａｕｄｉｏ Ｃｏｄｅｃモジュールは無線スピーカボックスから報告されたキーフレームを受信した受信時刻Ｔ２を受信した後、Ｔ２と記録されたキーフレームの受信時刻Ｔ１の間の差分Δｔを算出してもよく、このとき、当該差分Δｔはオーディオデータの無線伝送遅延であり、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、ディスプレイへビデオデータの時刻遅延Δｔを送信してもよく、これによって、オーディオデータとビデオデータとの同期再生を確保する。
Ｖｉｄｅｏ Ｃｏｄｅｃモジュールと無線スピーカボックスはＣＰＵのクロックを基準として周期的にクロック同期を行ってもよく、これによって、記録された発信時刻または受信時刻の正確性を確保し、算出された無線伝送遅延の誤差を低減する。
同様に、実施時、無線スピーカボックスはキーフレームの受信時刻Ｔ２をＣＰＵに報告し、ＣＰＵは無線伝送遅延Δｔを算出し、それから、ディスプレイへビデオデータを送信する時刻をΔｔ遅延させるようにＡｕｄｉｏ Ｃｏｄｅｃモジュールを制御してもよい。
以上の例子から分かるように、このような方式によれば、無線出力側は、スプリットテレビにキーフレームの無線伝送遅延を継続的に報告することができ、スプリットテレビは、無線出力側が継続的に報告した無線伝送遅延に基づいて、継続的にローカル出力側での第２のメディアファイルの再生時間を適応的に調整することができ、これによって、無線出力側で生じる無線伝送遅延がローカル出力側で再生される第２のメディアファイルに与える影響を最大程度で解消することができ、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
以上の実施例では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
前記メディア同期方法実施例と対応的に、本開示は、メディア同期装置の実施例をさらに提供する。
図３は、ある実施例によるメディア同期装置を示す模式的なブロック図である。
図３に示すように、ある実施例によるメディア同期装置３００は、分離モジュール３０１とモニタリングモジュール３０２と調整モジュール３０３とを備える。
前記分離モジュール３０１は、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するように構成される。
前記モニタリングモジュール３０２は、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするように構成される。
前記調整モジュール３０３は、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、前記モニタリングモジュール３０２によりモニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成される。
以上の実施例では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
図４は、本開示のある実施例による別の装置のブロック図である。当該実施例は、前記図３に示す実施例を基に、前記モニタリングモジュール３０２は、選定サブモジュール３０２Ａと伝送サブモジュール３０２Ｂと受信サブモジュール３０２Ｃと算出サブモジュール３０２Ｄとを有してもよい。
前記選定サブモジュール３０２Ａは、前記第１のメディアファイルのうち、キーフレームを選定するように構成される。
前記伝送サブモジュール３０２Ｂは、選定された前記キーフレームをフレーム順で前記無線出力側へ送信して、前記キーフレームの発信時刻を記録するように構成される。
前記受信サブモジュール３０２Ｃは、前記無線出力側から報告された前記キーフレームの受信時刻を受信するように構成される。
前記算出サブモジュール３０２Ｄは、前記第１のメディアファイルの伝送遅延が動的にモニタリングされるように、前記受信サブモジュール３０２Ｃにより受信された受信時刻と前記発信時刻に基づいて、前記キーフレームの無線伝送遅延を算出するように構成される。
以上の実施例では、前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されている。
図５は、本開示のある実施例による別の装置のブロック図である。当該実施例は、前記図４に示す実施例を基に、前記選定サブモジュール３０２Ａは選定手段３０２Ａ１を有してもよい。
前記選定手段３０２Ａ１は、所定のフレーム間隔に基づいて、前記第１のメディアファイルのうち、キーフレームを選定するように構成される。
なお、上記図５に示す装置実施例による選定手段３０２Ａ１の構造は、前記図３の装置実施例に含まれてもよく、本開示では、これを制限しない。
図６は、本開示のある実施例による別の装置のブロック図である。当該実施例は、前記図３に示す実施例を基に、前記調整モジュール３０３は送信サブモジュール３０３Ａを有してもよい。
前記送信サブモジュール３０３Ａは、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように、前記算出サブモジュール３０２Ｄにより算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力機器へ前記第２のメディアファイルを遅延して送信するように構成される。
なお、上記図６に示す装置実施例による送信サブモジュール３０３Ａの構造は、前記図４〜５の装置実施例に含まれてもよく、本開示では、これを制限しない。
図７は、本開示のある実施例による別の装置のブロック図である。当該実施例は、前記図４に示す実施例を基に、前記モニタリングモジュール３０２は同期サブモジュール３０２Ｅをさらに有してもよい。
前記同期サブモジュール３０２Ｅは、前記無線出力側とクロック同期を周期的に行うように構成される。
なお、上記図７に示す装置実施例による同期モジュール３０２Ｅの構造は、前記図３または５〜６の装置実施例に含まれてもよく、本開示では、これを制限しない。
上記装置における各手段の機能および作用の実現手順の詳細は、上記方法における対応するステップの実現手順を参照すればよいため、ここで繰り返し説明しない。
装置実施例が基本的に方法実施例に対応するため、関連箇所は、方法実施例部分の説明を参照すればよい。以上に記載の装置実施例は、単なる模式的である。その中の分離部品として説明された手段は、物理的に離間してもよいし、しなくてもよい。手段として表示された部品は、物理手段であってもよいし、でなくてもよい。即ち、１箇所に位置してもよいし、複数のネットワークセルに分散してもよい。実際の必要に応じて、その中の一部または全部のモジュールを選択して本開示の目的を達成してもよい。当業者は、進歩性に値する労働をせずに、理解し実施可能である。
対応的に、本開示はメディア同期装置をさらに提供する。前記装置は、プロセッサと、プロセッサが実行可能な指令を記憶するためのメモリと、を備え、前記プロセッサは、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングし、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成される。
対応的に、本開示はスプリット端末をさらに提供する。前記端末は、メモリと、メモリに記憶されている１つ以上のプログラムと、を備え、１つ以上のプロセッサによって、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングし、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するという操作を行うための指令を含む前記１つ以上のプログラムを実行するように構成される。
図８は、ある実施例によるメディア同期装置の構造模式図である。
図８には、実施例によるメディア同期装置８００が示めされている。当該装置８００は、付加電話、インテリジェント機器、コンピュータ、デジタル再生端末、メッセージ送受信機器、ゲームコンソール、タブレットデバイス、医療設備、フィットネス機器、ＰＤＡなどであってもよい。
図８を参照すると、装置８００は、以下の１つ又は複数のユニット、すなわち、処理ユニット８０１、メモリ８０２、電源ユニット８０３、マルチメディアユニット８０４、オーディオユニット８０５、入力／出力（Ｉ／Ｏ）インターフェース８０６、センサユニット８０７及び通信ユニット８０８を備えてもよい。
処理ユニット８０１は通常、装置８００の全般操作、例えば、表示、電話発呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０１は、前記方法のステップの全部又は一部を実行するように、指令を実行する１つ又は複数のプロセッサ８０９を備えてもよい。また、処理ユニット８０１は、処理ユニット８０１と他のユニットとの間の相互作用を容易にするように、１つ又は複数のモジュールを備えてもよい。例えば、処理ユニット８０１は、マルチメディアユニット８０４と処理ユニット８０１との間の相互作用を容易にするように、マルチメディアモジュールを備えてもよい。
メモリ８０２は、装置８００での操作をサポートするために、各種別のデータを記憶するように構成される。これらのデータの例示は、装置８００で操作する如何なるアプリケーションプログラムまたは方法の指令、連絡人データ、電話帳データ、メッセージ、ピクチャ、映像などを含む。メモリ８０２は、如何なる種別の揮発性もしくは不揮発性記憶デバイスまたはそれらの組合せ、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクによって実現されてもよい。
電源ユニット８０３は、装置８００のユニットのそれぞれに電力を供給する。電源ユニット８０３は、電源管理システム、１つまたは複数の電源、並びに、装置８００用の電力を生成、管理および配分するに関する他のユニットを含んでもよい。
マルチメディアユニット８０４は、前記装置８００とユーザとの間に１つの出力インターフェースを供給するスクリーンを備える。一部の実施例では、スクリーンは、液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するように、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを感知するように、１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド動作の境界を感知するだけではなく、前記タッチまたはスライド操作と関連する持続時間および圧力をさらに検出することができる。一部の実施例では、マルチメディアユニット８０４は、１つのフロントカメラおよび/またはバックカメラを含む。装置８００が操作モード、例えば、撮像モードまたは映像モードにあるとき、フロントカメラおよび/またはバックカメラは、外部のマルチメディアデータを受信することができる。フロントカメラおよびバックカメラのそれぞれは、１つの固定の光学レンズシステムであってもよいし、焦点距離および光学ズーム能力を有するものであってもよい。
オーディオユニット８０５は、オーディオ信号を出力および/または入力するように構成される。例えば、オーディオユニット８０５は、マイク（ＭＩＣ）を備え、装置８００が操作モード、例えば、発呼モード、記録モードおよび音声識別モードにあるとき、マイクは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらに、メモリ８０２に記憶される、または、通信ユニット８０８を介して送信されることができる。一部の実施例では、オーディオユニット８０５は、さらに、オーディオ信号を出力するためのスピーカをさらに含む。
Ｉ/Ｏインターフェース８０２は、処理ユニット８０１とペリフェラルインターフェースモジュールとの間でインターフェースを供給するものであり、前記ペリフェラルインターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームページボタン、ボリュームボタン、起動ボタンおよびロックボタンを含んでもよいが、それらに限定されない。
センサユニット８０７は、様々な側面での状態推定を装置８００に供給するための１つまたは複数のセンサを含む。例えば、センサユニット８０７は、装置８００のオン/オフ状態、ユニットの相対位置を検出することができ、例えば、前記ユニットは、装置８００のディスプレイおよびキーパッドである。センサユニット８０７は、さらに、装置８００もしくは装置８００の１つのユニットの位置変更、ユーザと装置８００との接触の存在もしくは不存在、装置８００の方位または加速/減速および装置８００の温度変化をさらに検出することができる。センサユニット８０７は、如何なる物理的接触もないとき、近辺にある物体の存在を検出するための近接センサを含んでもよい。センサユニット８０７は、さらに、イメージングアプリケーションに使用される光センサ、例えばＣＭＯＳまたはＣＣＤ画像センサを含んでもよい。一部の実施例では、当該センサユニット８０７は、さらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信ユニット８０８は、装置８００と他の機器間の無線または有線方式の通信が便利になるように構成される。装置８００は、通信規格に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇもしくは３Ｇ、またはそれらの組合せにアクセスすることができる。ある実施例では、通信ユニット８０８は、外部ブロードキャスト管理システムからのブロードキャスト信号またはブロードキャスト関連情報をブロードキャストチャネルを介して受信する。ある実施例では、前記通信ユニット８０８は、さらに、短距離通信を容易にするように、ニアフィールド通信（ＮＦＣ）モジュールを含んでもよい。例えば、ＮＦＣモジュールでは、無線周波数識別（ＲＦＩＤ）技術、赤外データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術および他の技術によって実現されてもよい。
実施例では、装置８００は、上記方法を実行するための１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子部品によって実現されてもよい。
実施例では、指令を含む非一時的コンピュータ読み取り可能な記憶媒体、例えば、指令を含むメモリ８０２をさらに提供し、上記指令が装置８００のプロセッサ８０９によって実行されることで上述した方法を実施させることができる。例えば、前記非一時的コンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスクおよび光データ記憶機器などであってもよい。
前記記録媒体における指令が移動端末のプロセッサにより実行されると、移動端末がメディア同期方法を実行するようにする。前記方法は、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するステップと、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするステップと、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するステップと、を含む。
当業者は、明細書を考慮し、ここに公開された開示を実践した後、本開示の他の実施案を容易に想到する。本願は、本開示の如何なる変形、用途または適応的変化もカバーすることを意図する。これらの変形、用途または適応的変化は、本開示の一般的な仕組みに従い、かつ、本開示に開示されていない当分野における公知常識または慣用技術手段を含む。明細書および実施例は単なる例示と見なされ、本開示の本当の範囲および思想は添付の特許請求の範囲によって与えられる。
本開示が以上で記載され、且つ図面に示された正確な構造に限定されるものでなく、その要旨を逸脱しない範囲で様々な補正や変更も可能であることは理解されるべきである。本開示の範囲は、添付する特許請求の範囲のみによって限定される。
本発明は、出願番号が２０１５１０７１７９６７.６であり、出願日が２０１５年１０月２９日である中国特許出願を基に提出するものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、参照のため本願に援用される。
本開示は、通信分野に関し、特に、メディア同期方法、装置、プログラム及び記録媒体に関する。
スプリットテレビとは、一般的に、テレビの表示部分、信号処理部分および音響システムが分離されたものを指し、伝統的なテレビの三者一体の構造様式を打ち破った。例えば、スプリットテレビは、テレビ表示端末、テレビホスト、テレビ音響の３つの部分によって構成されてもよい。しかしながら、このような特別な構造に起因して、スプリットテレビは、メディアファイルを再生する際、無線伝送が一般的に不安定であるため、メディアが非同期となってしまうという課題が存在する可能性がある。
関連技術に存在する問題を解決するために、本開示は、メディア同期方法、装置、プログラム及び記録媒体を提供する。
本開示の実施例の第１の態様によれば、メディア同期方法を提供する。前記方法は、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するステップと、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするステップと、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するステップと、を含む。
好ましくは、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするステップは、前記第１のメディアファイルのうち、キーフレームを選定するステップと、選定された前記キーフレームをフレーム順で前記無線出力側へ送信して、前記キーフレームの発信時刻を記録するステップと、前記無線出力側から報告された前記キーフレームの受信時刻を受信し、かつ、前記第１のメディアファイルの伝送遅延が動的にモニタリングされるように、前記受信時刻および前記発信時刻に基づいて前記キーフレームの無線伝送遅延を算出するステップと、を含む。
好ましくは、前記第１のメディアファイルのうち、キーフレームを選定するステップは、所定のフレーム間隔に基づいて、前記第１のメディアファイルのうち、キーフレームを選定するステップを含む。
好ましくは、前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されている。
好ましくは、前記モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、前記第２のメディアファイルの再生時間を適応的に調整するステップは、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように、算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力機器へ前記第２のメディアファイルを遅延して送信するステップを含む。
好ましくは、前記方法は、前記無線出力側とクロック同期を周期的に行うステップをさらに含む。
本開示の実施例の第２の態様によれば、メディア同期装置を提供する。前記装置は、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するように構成される分離モジュールと、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするように構成されるモニタリングモジュールと、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、前記モニタリングモジュールによりモニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成される調整モジュールと、を備える。
好ましくは、前記モニタリングモジュールは、前記第１のメディアファイルのうち、キーフレームを選定するように構成される選定サブモジュールと、選定された前記キーフレームをフレーム順で前記無線出力側へ送信して、前記キーフレームの発信時刻を記録するように構成される伝送サブモジュールと、前記無線出力側から報告された前記キーフレームの受信時刻を受信するように構成される受信サブモジュールと、前記第１のメディアファイルの伝送遅延が動的にモニタリングされるように、前記受信サブモジュールにより受信された受信時刻と前記発信時刻に基づいて、前記キーフレームの無線伝送遅延を算出するように構成される算出サブモジュールと、を有する。
好ましくは、前記選定サブモジュールは、所定のフレーム間隔に基づいて、前記第１のメディアファイルのうち、キーフレームを選定するように構成される選定手段を有する。
好ましくは、前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されている。
好ましくは、前記調整モジュールは、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように、前記算出サブモジュールにより算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力機器へ前記第２のメディアファイルを遅延して送信するように構成される送信サブモジュールを有する。
好ましくは、前記モニタリングモジュールは、前記無線出力側とクロック同期を周期的に行うように構成される同期サブモジュールをさらに有する。
本開示の実施例の第３の態様によれば、メディア同期装置を提供する。前記装置は、プロセッサと、プロセッサが実行可能な指令を記憶するためのメモリと、を備え、前記プロセッサは、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングし、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成される。
本開示の実施例の第４の態様によれば、プロセッサに実行されることにより、本開示の実施例の第１の態様に記載のメディア同期方法を実現するプログラムを提供する。
本開示の実施例の第５の態様によれば、本開示の実施例の第４の態様に記載のプログラムが記録された記録媒体を提供する。
本開示の実施例による技術案は、以下の格別な作用効果を含むことができる。
本開示の以上の実施例では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
上述した一般的な記述および後続の詳細な記述は、単に例示的および解釈的なものであり、本発明を制限するものでないことは、理解されるべきである。
ここでの図面は、明細書を構成する一部として見なされ、本開示に適した実施例を示し、かつ、明細書の文字記載とともに本開示の仕組みを解釈するために用いられる。
ある実施例によるメディア同期方法を示すフロー模式図である。 ある実施例による別のメディア同期方法を示すフロー模式図である。 ある実施例によるメディア同期装置を示す模式的なブロック図である。 ある実施例による別のメディア同期装置を示す模式的なブロック図である。 ある実施例による別のメディア同期装置を示す模式的なブロック図である。 ある実施例による別のメディア同期装置を示す模式的なブロック図である。 ある実施例による別のメディア同期装置を示す模式的なブロック図である。 ある実施例による前記メディア同期装置のための構造模式図である。
次に、実施例を詳細に説明し、例示が図に示されている。以下の記述が図に係る場合、別途にて示さない限り、異なる図面における同じ符号は、同じまたは類似する要素を示す。以下の実施例に記述される実施形態は、本発明と一致する全ての実施形態を代表するとは限らない。逆に、それらは、添付の特許請求の範囲に記載されているように、本発明の一部の側面と一致する装置および方法の例に過ぎない。
本開示に記載の用語は、特定の実施例を説明する目的で使用されるものに過ぎず、本開示を限定するものではない。本開示及び添付する特許請求の範囲に記載の単数形式の「１種類」、「前記」及び「当該」は、前後の文章においてそれぞれ他の意味を含有すると明確に記載される以外には、複数の形式も含む。なお、本発明に記載の「及び／又は」は、挙げられる事項の１つ又は複数の何れ又は全ての組み合わせを意味する。
また、本開示は、第１、第２、第３等の用語を使って各種の情報を説明するが、それらの情報は上記用語に限定されない。それらの用語は、同一種類の情報同士を区分するためのものに過ぎない。例えば、本発明の範囲から逸脱しない状況で、第１の情報を第２の情報と称してもよい。同じように、第２の情報を第１の情報と称してもよい。ここで使っている用語「……場合」は、文脈の意味によって、「……時」或は「……と」又は「確定に応じる」に解釈されてもよい。
スプリットテレビがメディアファイルを再生するとき、当該メディアファイルがハイブリッドメディアファイルである場合、スプリットテレビは、一般的に当該ハイブリッドメディアファイルからメディアファイルを分離し、無線出力側とローカル出力側でそれぞれ再生し、これによって、良い再生効果を奏することができる。
しかしながら、無線出力側で再生されるメディアファイルは一般的に無線通信に基づいて伝送されるし、無線通信が環境に干渉され易いため、スプリットテレビはメディアファイルを再生する過程において、無線出力側へ送信するメディアファイルが遅延する可能性があるので、無線出力側とローカル出力側とで再生されるメディアファイルが非同期となってしまうという課題が生じる。
例えば、スプリットテレビがハイブリッドオーディオファイルを再生することを例として、このとき、スプリットテレビと無線接続を確立するサブウーファーは、無線出力側であり、スプリットテレビホストのスピーカは、ローカル出力側である。スプリットテレビは当該ハイブリッドオーディオファイルを再生するとき、内蔵されたオーディオコーデックモジュール（Ａｕｄｉｏ Ｃｏｄｅｃ）によって当該ハイブリッドオーディオファイルから低音データと普通オーディオデータとを分離することができる。
当該ハイブリッドオーディオファイルから低音データと普通オーディオデータとを分離した後、スプリットテレビは分離された普通オーディオデータをローカルのスピーカへ直接送信してもよく、スピーカが普通オーディオデータを再生し、それから、分離された低音データを内蔵された無線モジュール（例えば、ＷＩＦＩモジュール）を介してサブウーファーへ送信し、サブウーファーが低音データを再生する。
しかしながら、無線通信が環境に干渉され易いため、スプリットテレビは無線の方式でサブウーファーへデータを送信する過程において、一定の伝送遅延が発生する可能性があるし、当該伝送遅延はさらに環境干渉の程度に応じて動的に変化する可能性があるため、無線サブウーファーで再生される低音データと、ローカルのスピーカで再生される普通オーディオデータとが非同期となる可能性があり、ユーザに対して良くないユーザ体験を与える。
これから分かるように、伝統的な実現中において、スプリットテレビはメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって、無線出力側とローカル出力側とで再生されるメディアファイルが非同期となってしまうという課題が生じる。
上記問題を解決するために、本実施例は、メディア同期の技術案を提供し、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
図１に示すように、図１は、ある実施例によるメディア同期方法である。当該メディア同期方法は、スプリット端末に用いられ、以下のステップを含む。
ステップ１０１では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離する。
ステップ１０２では、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングする。
ステップ１０３では、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整する。
本実施例では、スプリット端末は、スプリットテレビ、スプリット会議端末、スプリットビデオカメラまたは他の種類の、メディアファイルを再生可能なスプリット機器を含んでもよい。例えば、実施時、スプリットテレビ、スプリット会議端末、スプリットビデオカメラに加えて、上記スプリット端末はさらに、無線出力側（例えば、無線サブウーファー）とローカル出力側（例えば、スピーカまたは表示パネル）が取り付けられたＰＣ端末または移動端末であってもよい。上記メディアファイルは、ハイブリッドメディアファイルであってもよい。例えば、当該ハイブリッドメディアファイルは、低音データと普通オーディオデータとからなるオーディオファイルであってもよいし、オーディオデータとビデオデータとからなるビデオファイルであってもよい。
以下、上記スプリット端末がスプリットテレビであることを例として詳細に記述する。
本実施例では、スプリットテレビはメディアファイルを再生するとき、当該メディアファイルがハイブリッドメディアファイルである場合、内蔵されたコーデックモジュールによって、当該メディアファイルから、無線出力側で再生される第１のメディアファイルとローカル出力側で再生される第２のメディアファイルとを分離してもよい。
例えば、当該メディアファイルがオーディオファイルである場合、当該第１のメディアファイルは、当該オーディオファイルから分離された低音データであってもよく、当該第２のメディアファイルは、当該オーディオファイルから分離された普通オーディオデータであってもよい。当該メディアファイルがビデオファイルである場合、当該第１のメディアファイルは、当該ビデオファイルから分離されたオーディオデータであってもよく、当該第２のメディアファイルは、当該ビデオファイルから分離されたビデオデータであってもよい。
コーデックモジュールによってメディアファイルを分離する詳細な過程については、本実施例で詳細に記述せず、当業者は本開示の技術案を実現するとき、関連技術における紹介を参照すればよい。
当該メディアファイルから第１のメディアファイルと第２のメディアファイルとを分離するとき、スプリットテレビは、無線出力側と確立されている無線接続によって、当該第１のメディアファイルを無線出力側へ無線伝送し、かつ、無線出力側の無線伝送遅延を動的にモニタリングしてもよい。
スプリットテレビは無線出力の無線伝送遅延を動的にモニタリングするとき、第１のメディアファイルにおいてキーフレームを選定し、かつ、選定されたキーフレームの発信時刻と無線出力側から報告された当該キーフレームの受信時刻を動的にモニタリングすることによって実現されてもよい。
係る実施形態では、スプリットテレビはコーデックモジュールによってメディアファイルから第１のメディアファイルと第２のメディアファイルとを分離した後、第１のメディアファイルから若干のキーフレームを選定してもよい。キーフレームを選定するとき、スプリットテレビは、所定のフレーム間隔に基づいて選択してもよい。例えば、固定のフレーム間隔に基づいて選択してもよく、一例として、１０フレームのフレーム間隔で第１のメディアファイルにおける１、１１、２１…フレームのデータをキーフレームとして選択してもよい。固定の時間間隔、例えば、フレームの再生順序で２秒ごとに１フレームのキーフレームを選択してもよい。このような方式によれば、第１のメディアファイルにおける全てのデータフレームをキーフレームとすることなく、スプリットテレビの計算資源を節約することができる。
キーフレームを選定した後、スプリットテレビは、さらに、選定されたキーフレームに所定の標記を追加してもよく、当該所定の標記は、無線出力側がスプリットテレビに当該キーフレームの受信時刻を受信する標記を報告するようにトリガするために用いられるものであってもよい。選定されたキーフレームに所定の標記を追加した後、スプリットテレビは、内蔵された無線モジュールによって、選定されたキーフレームをフレームのデータの順で無線出力側へ送信し、かつ、発信時刻を記録してもよい。無線出力側は、スプリットテレビから送信された第１のメディアファイルのデータフレームを受信した後、先ず、受信されたデータフレームには上記所定の標記が付加されているか否かをチェックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであり、無線出力側は即座、当該キーフレームを受信した受信時刻をスプリットテレビに報告してもよい。
スプリットテレビは、無線出力側から報告された、キーフレームを受信した受信時刻を受信した後、キーフレームの受信時刻と発信時刻の間の差分を算出してもよく、これによって、キーフレーム毎の無線伝送遅延を取得する。これから分かるように、このような方式によれば、スプリットテレビは、無線出力側へキーフレームを継続的に送信し、かつ、無線出力側から報告されたキーフレームの受信時刻をモニタリングすることで、無線出力側の無線伝送遅延を動的にモニタリングすることができる。
なお、スプリットテレビは、さらに、無線出力側とクロック同期を周期的に行ってもよく、これによって、キーフレームの受信時刻と発信時刻が同一クロックに基づいて記録されることをできるだけ確保して、算出された無線伝送遅延の誤差を低減する。例えば、実施時、スプリットテレビと無線出力側は同様にＣＰＵのクロックを採用し、すなわち、ＣＰＵのクロックを基準としてキャリブレーションを行ってもよい。
本実施例では、スプリットテレビは、無線出力側から報告されたキーフレームの受信時刻を受信し、かつ、当該受信時刻とローカルに記録された発信時刻に基づいて、無線伝送遅延を算出した後、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、即座に当該無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整してもよい。
スプリットテレビがローカル出力側での第２のメディアファイルの再生時間を適応的に調整することは、算出された無線伝送遅延に基づいて、ローカル出力機器へ第２のメディアファイルを遅延して送信することによって実現されてもよい。
例えば、仮に、スプリットテレビが受信した、無線出力側から報告されたある肝心な受信時刻がＴ２であり、ローカルに記録された当該キーフレームの受信時刻がＴ１である場合、無線伝送遅延はＴ１とＴ２との間の差分によって表されてもよい。このとき、無線伝送遅延はΔｔ=ｔ２-ｔ１である。スプリットテレビがΔｔを算出したとき、ローカル出力機器へ第２のメディアファイルを送信する時刻をΔｔ遅延させてもよい。これによって、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
当然、スプリットテレビは以上の方式でローカル出力側での第２のメディアファイルの再生時間を適応的に調整した後、また無線出力側から報告された次のキーフレームの受信時刻を受信すれば、記録された当該キーフレームの発信時刻に基づいて新たに無線伝送遅延を記録し、それから、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整してもよい。
これから分かるように、このような方式によれば、無線出力側は、スプリットテレビにキーフレームの無線伝送遅延を継続的に報告することができ、スプリットテレビは、無線出力側が継続的に報告した無線伝送遅延に基づいて、継続的にローカル出力側での第２のメディアファイルの再生時間を適応的に調整することができ、これによって、無線出力側で生じる無線伝送遅延がローカル出力側で再生される第２のメディアファイルに与える影響を最大程度で解消することができ、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
以下に、上記メディアファイルがオーディオファイル及びビデオファイルであることを例としてそれぞれ記述する。
本例では、スプリットテレビの基本的なアーキテクチャには、Ａｕｄｉｏ Ｃｏｄｅｃモジュール（オーディオコーデック）、ｖｉｄｅｏ Ｃｏｄｅｃモジュール（ビデオコーデック）、ＣＰＵ、スピーカ、ディスプレイ、無線モジュール、無線サブウーファー及び無線スピーカボックスが含まれてもよい。Ａｕｄｉｏ ＣｏｄｅｃモジュールとＣＰＵ及びスピーカがそれぞれ有線接続され、Ａｕｄｉｏ ＣｏｄｅｃモジュールとＣＰＵ及びディスプレイが有線接続される。ＣＰＵと無線モジュールが有線接続される。無線モジュールと無線サブウーファー及び無線スピーカボックスが無線接続される。
ある態様としては、上記メディアファイルがオーディオファイルである場合、第１のメディアファイルが当該オーディオファイルから分離された低音データであってもよい。第２のメディアファイルが当該オーディオファイルから分離された普通オーディオデータであってもよい。サブウーファーが無線出力側である。スピーカがローカル出力側である。
初期状態において、スプリットテレビが当該オーディオファイルを再生するとき、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、再生待ちのサウンドトラックからフレーム順序でオーディオデータフレームを連続的に読み取り、それから、読み取られたオーディオデータフレームから低音データと普通オーディオデータとを分離してもよい。分離された低音データと普通オーディオデータは依然としてオリジナルオーディオファイルのフレーム順序を保持する。当該オーディオファイルは複数の再生待ちのサウンドトラックを含むとき、同時に当該複数のサウンドトラックからオーディオデータを読み取ってもよい。
分離が完了した後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、さらに所定のフレーム間隔に基づいて、キーフレームを選定し、かつ、選定されたキーフレームに、サブウーファーが当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告するようにトリガするための所定の標記を追加してもよい。当該所定の標記はＣＰＵによって追加されてもよい。
選定されたキーフレームに当該所定の標記が追加された後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールはサブウーファーへ低音データフレームを送信し始め、かつ、キーフレームの送信時刻Ｔ１を記録してもよい。サブウーファーは低音データフレームを受信した後、当該データフレームに当該所定の標記が付加されているか否かをチャックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであることを表明し、サブウーファーは当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告し、それから、次のフレーム低音データを継続的に受信し、かつ、以上の過程を繰り返してもよい。
Ａｕｄｉｏ Ｃｏｄｅｃモジュールはサブウーファーから報告されたキーフレームを受信した受信時刻Ｔ２を受信した後、Ｔ２と記録されたキーフレームの受信時刻Ｔ１の間の差分Δｔを算出してもよい。このとき、当該差分Δｔは低音データの無線伝送遅延であり、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、スピーカへ普通オーディオデータを送信する時刻をΔｔ遅延させてもよく、これによって、低音データと普通オーディオデータとの同期再生を確保する。Ａｕｄｉｏ Ｃｏｄｅｃモジュールと無線サブウーファーは、ＣＰＵのクロックを基準としてクロック同期を行ってもよく、これによって、記録された発信時刻または受信時刻の正確性を確保し、算出された無線伝送遅延の誤差を低減する。
当然、実施時、サブウーファーはキーフレームの受信時刻Ｔ２をＣＰＵに報告してもよく、ＣＰＵは無線伝送遅延Δｔを算出し、それから、スピーカへ普通オーディオデータを送信する時刻をΔｔ遅延させるようにＡｕｄｉｏ Ｃｏｄｅｃモジュールを制御してもよい。
別の態様としては、上記メディアファイルがビデオファイルである場合、第１のメディアファイルが当該ビデオファイルから分離されたオーディオデータであってもよい。第２のメディアファイルが当該ビデオファイルから分離されたビデオデータであってもよい。無線スピーカボックスが無線出力側であり、ディスプレイがローカル出力側である。
初期状態において、スプリットテレビが当該ビデオファイルを再生するとき、Ｖｉｄｅｏ Ｃｏｄｅｃモジュールは再生待ちのビデオファイルからフレーム順序で連続的にビデオデータフレームを読み取り、それから、読み取られたビデオデータフレームからオーディオデータとビデオデータとを分離してもよい。分離されたオーディオデータとビデオデータは依然としてオリジナルビデオファイルのフレーム順序を保持する。
分離が完了した後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、さらに所定のフレーム間隔に基づいて、キーフレームを選定し、かつ、選定されたキーフレームに、無線スピーカボックスが当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告するようにトリガするための所定の標記を追加してもよい。当該所定の標記はＣＰＵによって追加されてもよい。
選定されたキーフレームに当該所定の標記が追加された後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは無線スピーカボックスへオーディオデータフレームを送信し始め、かつ、キーフレームの送信時刻Ｔ１を記録してもよい。無線スピーカボックスはオーディオデータフレームを受信した後、当該データフレームには当該所定の標記が付加されているか否かをチャックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであることを表明し、無線スピーカボックスは当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告し、それから、次のフレームオーディオデータを継続的に受信し、かつ、以上の過程を繰り返してもよい。
Ａｕｄｉｏ Ｃｏｄｅｃモジュールは無線スピーカボックスから報告されたキーフレームを受信した受信時刻Ｔ２を受信した後、Ｔ２と記録されたキーフレームの受信時刻Ｔ１の間の差分Δｔを算出してもよい。このとき、当該差分Δｔはオーディオデータの無線伝送遅延であり、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、ディスプレイへビデオデータを送信する時刻をΔｔ遅延させてもよく、これによって、オーディオデータとビデオデータとの同期再生を確保する。
Ｖｉｄｅｏ Ｃｏｄｅｃモジュールと無線スピーカボックスはＣＰＵのクロックを基準として周期的にクロック同期を行ってもよく、これによって、記録された発信時刻または受信時刻の正確性を確保し、算出された無線伝送遅延の誤差を低減する。
同様に、実施時、無線スピーカボックスはキーフレームの受信時刻Ｔ２をＣＰＵに報告し、ＣＰＵは無線伝送遅延Δｔを算出し、それから、ディスプレイへビデオデータを送信する時刻をΔｔ遅延させるようにＡｕｄｉｏ Ｃｏｄｅｃモジュールを制御してもよい。
以上の例子から分かるように、このような方式によれば、無線出力側は、スプリットテレビにキーフレームの無線伝送遅延を継続的に報告することができ、スプリットテレビは、無線出力側が継続的に報告した無線伝送遅延に基づいて、継続的にローカル出力側での第２のメディアファイルの再生時間を適応的に調整することができ、これによって、無線出力側で生じる無線伝送遅延がローカル出力側で再生される第２のメディアファイルに与える影響を最大程度で解消することができ、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
以上の実施例では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
図２に示すように、図２は、ある実施例によるメディア同期方法であり、当該メディア同期方法は、スプリット端末に用いられ、以下のステップを含む。
ステップ２０１では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離する。
ステップ２０２では、前記第１のメディアファイルのうち、キーフレームを選定し、前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されている。
ステップ２０３では、前記無線出力側から報告された前記キーフレームの受信時刻を受信し、かつ、前記受信時刻および前記発信時刻に基づいて前記キーフレームの無線伝送遅延を算出する。
ステップ２０４では、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力機器へ前記第２のメディアファイルを遅延して送信する。
本実施例では、スプリット端末は、スプリットテレビ、スプリット会議端末、スプリットビデオカメラまたは他の種類の、メディアファイルを再生可能なスプリット機器を含んでもよい。例えば、実施時、スプリットテレビ、スプリット会議端末、スプリットビデオカメラに加えて、上記スプリット端末はさらに、無線出力側（例えば、無線サブウーファー）とローカル出力側（例えば、スピーカまたは表示パネル）が取り付けられたＰＣ端末または移動端末であってもよい。上記メディアファイルは、ハイブリッドメディアファイルであってもよい。例えば、当該ハイブリッドメディアファイルは、低音データと普通オーディオデータとからなるオーディオファイルであってもよいし、オーディオデータとビデオデータとからなるビデオファイルであってもよい。
以下、上記スプリット端末がスプリットテレビであることを例として詳細に記述する。
本実施例では、スプリットテレビはメディアファイルを再生するとき、当該メディアファイルがハイブリッドメディアファイルである場合、内蔵されたコーデックモジュールによって、当該メディアファイルから、無線出力側で再生される第１のメディアファイルとローカル出力側で再生される第２のメディアファイルとを分離してもよい。
例えば、当該メディアファイルがオーディオファイルである場合、当該第１のメディアファイルは、当該オーディオファイルから分離された低音データであってもよく、当該第２のメディアファイルは、当該オーディオファイルから分離された普通オーディオデータであってもよい。当該メディアファイルがビデオファイルである場合、当該第１のメディアファイルは、当該ビデオファイルから分離されたオーディオデータであってもよく、当該第２のメディアファイルは、当該ビデオファイルから分離されたビデオデータであってもよい。
コーデックモジュールによってメディアファイルを分離する詳細な過程については、本実施例では詳細に記述せず、当業者は本開示の技術案を実現するとき、関連技術における紹介を参照すればよい。
当該メディアファイルから第１のメディアファイルと第２のメディアファイルとを分離するとき、スプリットテレビは、無線出力側と確立されている無線接続によって、当該第１のメディアファイルを無線出力側へ無線伝送し、かつ、無線出力側の無線伝送遅延を動的にモニタリングしてもよい。
スプリットテレビは無線出力の無線伝送遅延を動的にモニタリングするとき、第１のメディアファイルにおいてキーフレームを選定し、かつ、選定されたキーフレームの発信時刻と無線出力側から報告された当該キーフレームの受信時刻を動的にモニタリングすることによって実現されてもよい。
係る実施形態では、スプリットテレビはコーデックモジュールによってメディアファイルから第１のメディアファイルと第２のメディアファイルとを分離した後、第１のメディアファイルから若干のキーフレームを選定してもよい。キーフレームを選定するとき、スプリットテレビは、所定のフレーム間隔で選択してもよい。例えば、固定のフレーム間隔に基づいて選択してもよく、一例として、１０フレームのフレーム間隔で第１のメディアファイルにおける１、１１、２１…フレームのデータをキーフレームとして選択してもよい。固定の時間間隔、例えば、フレームの再生順序で２秒ごとに１フレームのキーフレームを選択してもよい。このような方式によれば、第１のメディアファイルにおける全てのデータフレームをキーフレームとすることなく、スプリットテレビの計算資源を節約することができる。
キーフレームを選定した後、スプリットテレビは、さらに、選定されたキーフレームに所定の標記を追加してもよく、当該所定の標記は、無線出力側がスプリットテレビに当該キーフレームの受信時刻を受信する標記を報告するようにトリガするために用いられるものであってもよい。選定されたキーフレームに所定の標記を追加した後、スプリットテレビは、内蔵された無線モジュールによって、選定されたキーフレームをフレームのデータの順で無線出力側へ送信し、かつ、発信時刻を記録してもよい。無線出力側は、スプリットテレビから送信された第１のメディアファイルのデータフレームを受信した後、先ず、受信されたデータフレームには上記所定の標記が付加されているか否かをチェックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであり、無線出力側は即座、当該キーフレームを受信した受信時刻をスプリットテレビに報告してもよい。
スプリットテレビは、無線出力側から報告された、キーフレームを受信した受信時刻を受信した後、キーフレームの受信時刻と発信時刻の間の差分を算出してもよく、これによって、キーフレーム毎の無線伝送遅延を取得する。これから分かるように、このような方式によれば、スプリットテレビは、無線出力側へキーフレームを継続的に送信し、かつ、無線出力側から報告されたキーフレームの受信時刻をモニタリングすることで、無線出力側の無線伝送遅延を動的にモニタリングすることができる。
なお、スプリットテレビは、さらに、無線出力側と周期的にクロック同期を行ってもよく、これによって、キーフレームの受信時刻と発信時刻が同一クロックに基づいて記録されることをできるだけ確保して、算出された無線伝送遅延の誤差を低減する。例えば、実施時、スプリットテレビと無線出力側は同様にＣＰＵのクロックを採用し、すなわち、ＣＰＵのクロックを基準としてキャリブレーションを行ってもよい。
本実施例では、スプリットテレビは、無線出力側から報告されたあるキーフレームの受信時刻を受信し、かつ、当該受信時刻とローカルに記録された発信時刻に基づいて、無線伝送遅延を算出した後、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、即座に当該無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整してもよい。
スプリットテレビがローカル出力側での第２のメディアファイルの再生時間を適応的に調整することは、算出された無線伝送遅延に基づいて、ローカル出力機器へ第２のメディアファイルを遅延して送信することによって実現されてもよい。
例えば、仮に、スプリットテレビが受信した、無線出力側から報告されたあるキーの受信時刻がＴ２であり、ローカルに記録された当該キーフレームの受信時刻がＴ１である場合、無線伝送遅延はＴ１とＴ２との間の差分によって表されてもよい。このとき、無線伝送遅延はΔｔ=ｔ２-ｔ１である。スプリットテレビがΔｔを算出したとき、ローカル出力機器へ第２のメディアファイルを送信する時刻をΔｔ遅延させてもよく、これによって、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
当然、スプリットテレビは以上の方式でローカル出力側での第２のメディアファイルの再生時間を適応的に調整した後、また無線出力側から報告された次のキーフレームの受信時刻を受信すれば、記録された当該キーフレームの発信時刻に基づいて新たに無線伝送遅延を記録し、それから、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整してもよい。
これから分かるように、このような方式によれば、無線出力側は、スプリットテレビにキーフレームの無線伝送遅延を継続的に報告することができ、スプリットテレビは、無線出力側が継続的に報告した無線伝送遅延に基づいて、継続的にローカル出力側での第２のメディアファイルの再生時間を適応的に調整することができ、これによって、無線出力側で生じる無線伝送遅延がローカル出力側で再生される第２のメディアファイルに与える影響を最大程度で解消することができ、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
以下、上記メディアファイルがオーディオファイル及びビデオファイルであることを例としてそれぞれ記述する。
本例では、スプリットテレビの基本的なアーキテクチャには、Ａｕｄｉｏ Ｃｏｄｅｃモジュール（オーディオコーデック）、ｖｉｄｅｏ Ｃｏｄｅｃモジュール（ビデオコーデック）、ＣＰＵ、スピーカ、ディスプレイ、無線モジュール、無線サブウーファー及び無線スピーカボックスが含まれてもよい。Ａｕｄｉｏ ＣｏｄｅｃモジュールとＣＰＵ及びスピーカがそれぞれ有線接続され、Ａｕｄｉｏ ＣｏｄｅｃモジュールとＣＰＵ及びディスプレイが有線接続される。ＣＰＵと無線モジュールが有線接続される。無線モジュールと無線サブウーファー及び無線スピーカボックスが無線接続される。
ある態様としては、上記メディアファイルがオーディオファイルである場合、第１のメディアファイルが当該オーディオファイルから分離された低音データであってもよい。第２のメディアファイルが当該オーディオファイルから分離された普通オーディオデータであってもよい。サブウーファーが無線出力側である。スピーカがローカル出力側である。
初期状態において、スプリットテレビが当該オーディオファイルを再生するとき、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、再生待ちのサウンドトラックからフレーム順序でオーディオデータフレームを連続的に読み取り、それから、読み取られたオーディオデータフレームから低音データと普通オーディオデータとを分離してもよい。分離された低音データと普通オーディオデータは依然としてオリジナルオーディオファイルのフレーム順序を保持する。当該オーディオファイルは複数の再生待ちのサウンドトラックを含むとき、同時に当該複数のサウンドトラックからオーディオデータを読み取ってもよい。
分離が完了した後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、さらに所定のフレーム間隔に基づいて、キーフレームを選定し、かつ、選定されたキーフレームに、サブウーファーが当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告するようにトリガするための所定の標記を追加してもよい。当該所定の標記はＣＰＵによって追加されてもよい。
選定されたキーフレームに当該所定の標記が追加された後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールはサブウーファーへ低音データフレームを送信し始め、かつ、キーフレームの送信時刻Ｔ１を記録してもよい。サブウーファーは低音データフレームを受信した後、当該データフレームには当該所定の標記が付加されているか否かをチャックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであることを表明し、サブウーファーは当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告し、それから、次のフレーム低音データを継続的に受信し、かつ、以上の過程を繰り返してもよい。
Ａｕｄｉｏ Ｃｏｄｅｃモジュールはサブウーファーから報告されたキーフレームを受信した受信時刻Ｔ２を受信した後、Ｔ２と記録されたキーフレームの受信時刻Ｔ１の間の差分Δｔを算出してもよく、このとき、当該差分Δｔは低音データの無線伝送遅延であり、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、スピーカへ普通オーディオデータを送信する時刻をΔｔ遅延させてもよい。これによって、低音データと普通オーディオデータとの同期再生を確保する。Ａｕｄｉｏ Ｃｏｄｅｃモジュールと無線サブウーファーは、ＣＰＵのクロックを基準としてクロック同期を行ってもよく、これによって、記録された発信時刻または受信時刻の正確性を確保し、算出された無線伝送遅延の誤差を低減する。
当然、実施時、サブウーファーはキーフレームの受信時刻Ｔ２をＣＰＵに報告してもよく、ＣＰＵは無線伝送遅延Δｔを算出し、それから、スピーカへ普通オーディオデータを送信する時刻をΔｔ遅延させるようにＡｕｄｉｏ Ｃｏｄｅｃモジュールを制御してもよい。
別の態様としては、上記メディアファイルがビデオファイルである場合、第１のメディアファイルが当該ビデオファイルから分離されたオーディオデータであってもよい。第２のメディアファイルが当該ビデオファイルから分離されたビデオデータであってもよい。無線スピーカボックスが無線出力側であり、ディスプレイがローカル出力側である。
初期状態において、スプリットテレビが当該ビデオファイルを再生するとき、Ｖｉｄｅｏ Ｃｏｄｅｃモジュールは再生待ちのビデオファイルからフレーム順序で連続的にビデオデータフレームを読み取り、それから、読み取られたビデオデータフレームからオーディオデータとビデオデータとを分離してもよい。分離されたオーディオデータとビデオデータは依然としてオリジナルビデオファイルのフレーム順序を保持する。
分離が完了した後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、さらに所定のフレーム間隔に基づいて、キーフレームを選定し、かつ、選定されたキーフレームに、無線スピーカボックスが当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告するようにトリガするための所定の標記を追加してもよい。当該所定の標記はＣＰＵによって追加されてもよい。
選定されたキーフレームに当該所定の標記が追加された後、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは無線スピーカボックスへオーディオデータフレームを送信し始め、かつ、キーフレームの送信時刻Ｔ１を記録してもよい。無線スピーカボックスはオーディオデータフレームを受信した後、当該データフレームには当該所定の標記が付加されているか否かをチャックしてもよく、若し、当該所定の標記が付加されていれば、当該データフレームがキーフレームであることを表明し、無線スピーカボックスは当該キーフレームを受信した受信時刻Ｔ２をＡｕｄｉｏ Ｃｏｄｅｃモジュールに報告し、それから、次のフレームオーディオデータを継続的に受信し、かつ、以上の過程を繰り返してもよい。
Ａｕｄｉｏ Ｃｏｄｅｃモジュールは無線スピーカボックスから報告されたキーフレームを受信した受信時刻Ｔ２を受信した後、Ｔ２と記録されたキーフレームの受信時刻Ｔ１の間の差分Δｔを算出してもよく、このとき、当該差分Δｔはオーディオデータの無線伝送遅延であり、Ａｕｄｉｏ Ｃｏｄｅｃモジュールは、ディスプレイへビデオデータの時刻遅延Δｔを送信してもよく、これによって、オーディオデータとビデオデータとの同期再生を確保する。
Ｖｉｄｅｏ Ｃｏｄｅｃモジュールと無線スピーカボックスはＣＰＵのクロックを基準として周期的にクロック同期を行ってもよく、これによって、記録された発信時刻または受信時刻の正確性を確保し、算出された無線伝送遅延の誤差を低減する。
同様に、実施時、無線スピーカボックスはキーフレームの受信時刻Ｔ２をＣＰＵに報告し、ＣＰＵは無線伝送遅延Δｔを算出し、それから、ディスプレイへビデオデータを送信する時刻をΔｔ遅延させるようにＡｕｄｉｏ Ｃｏｄｅｃモジュールを制御してもよい。
以上の例子から分かるように、このような方式によれば、無線出力側は、スプリットテレビにキーフレームの無線伝送遅延を継続的に報告することができ、スプリットテレビは、無線出力側が継続的に報告した無線伝送遅延に基づいて、継続的にローカル出力側での第２のメディアファイルの再生時間を適応的に調整することができ、これによって、無線出力側で生じる無線伝送遅延がローカル出力側で再生される第２のメディアファイルに与える影響を最大程度で解消することができ、第１のメディアファイルと第２のメディアファイルとの同期再生を確保できる。
以上の実施例では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
前記メディア同期方法実施例と対応的に、本開示は、メディア同期装置の実施例をさらに提供する。
図３は、ある実施例によるメディア同期装置を示す模式的なブロック図である。
図３に示すように、ある実施例によるメディア同期装置３００は、分離モジュール３０１とモニタリングモジュール３０２と調整モジュール３０３とを備える。
前記分離モジュール３０１は、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するように構成される。
前記モニタリングモジュール３０２は、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするように構成される。
前記調整モジュール３０３は、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、前記モニタリングモジュール３０２によりモニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成される。
以上の実施例では、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、かつ、第１のメディアファイルの無線伝送遅延を動的にモニタリングし、それから、第１のメディアファイルと第２のメディアファイルとが同期再生されるように、モニタリングされた第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での第２のメディアファイルの再生時間を適応的に調整することで、スプリット機器がメディアファイルを再生するとき、無線出力側で生じる無線伝送遅延によって無線出力側とローカル出力側とでのメディアファイル再生が非同期となってしまう課題を回避し、ユーザ体験の向上に寄与する。
図４は、本開示のある実施例による別の装置のブロック図である。当該実施例は、前記図３に示す実施例を基に、前記モニタリングモジュール３０２は、選定サブモジュール３０２Ａと伝送サブモジュール３０２Ｂと受信サブモジュール３０２Ｃと算出サブモジュール３０２Ｄとを有してもよい。
前記選定サブモジュール３０２Ａは、前記第１のメディアファイルのうち、キーフレームを選定するように構成される。
前記伝送サブモジュール３０２Ｂは、選定された前記キーフレームをフレーム順で前記無線出力側へ送信して、前記キーフレームの発信時刻を記録するように構成される。
前記受信サブモジュール３０２Ｃは、前記無線出力側から報告された前記キーフレームの受信時刻を受信するように構成される。
前記算出サブモジュール３０２Ｄは、前記第１のメディアファイルの伝送遅延が動的にモニタリングされるように、前記受信サブモジュール３０２Ｃにより受信された受信時刻と前記発信時刻に基づいて、前記キーフレームの無線伝送遅延を算出するように構成される。
以上の実施例では、前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されている。
図５は、本開示のある実施例による別の装置のブロック図である。当該実施例は、前記図４に示す実施例を基に、前記選定サブモジュール３０２Ａは選定手段３０２Ａ１を有してもよい。
前記選定手段３０２Ａ１は、所定のフレーム間隔に基づいて、前記第１のメディアファイルのうち、キーフレームを選定するように構成される。
なお、上記図５に示す装置実施例による選定手段３０２Ａ１の構造は、前記図３の装置実施例に含まれてもよく、本開示では、これを制限しない。
図６は、本開示のある実施例による別の装置のブロック図である。当該実施例は、前記図３に示す実施例を基に、前記調整モジュール３０３は送信サブモジュール３０３Ａを有してもよい。
前記送信サブモジュール３０３Ａは、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように、前記算出サブモジュール３０２Ｄにより算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力機器へ前記第２のメディアファイルを遅延して送信するように構成される。
なお、上記図６に示す装置実施例による送信サブモジュール３０３Ａの構造は、前記図４〜５の装置実施例に含まれてもよく、本開示では、これを制限しない。
図７は、本開示のある実施例による別の装置のブロック図である。当該実施例は、前記図４に示す実施例を基に、前記モニタリングモジュール３０２は同期サブモジュール３０２Ｅをさらに有してもよい。
前記同期サブモジュール３０２Ｅは、前記無線出力側とクロック同期を周期的に行うように構成される。
なお、上記図７に示す装置実施例による同期モジュール３０２Ｅの構造は、前記図３または５〜６の装置実施例に含まれてもよく、本開示では、これを制限しない。
上記装置における各手段の機能および作用の実現手順の詳細は、上記方法における対応するステップの実現手順を参照すればよいため、ここで繰り返し説明しない。
装置実施例が基本的に方法実施例に対応するため、関連箇所は、方法実施例部分の説明を参照すればよい。以上に記載の装置実施例は、単なる模式的である。その中の分離部品として説明された手段は、物理的に離間してもよいし、しなくてもよい。手段として表示された部品は、物理手段であってもよいし、でなくてもよい。即ち、１箇所に位置してもよいし、複数のネットワークセルに分散してもよい。実際の必要に応じて、その中の一部または全部のモジュールを選択して本開示の目的を達成してもよい。当業者は、進歩性に値する労働をせずに、理解し実施可能である。
対応的に、本開示はメディア同期装置をさらに提供する。前記装置は、プロセッサと、プロセッサが実行可能な指令を記憶するためのメモリと、を備え、前記プロセッサは、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングし、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成される。
対応的に、本開示はスプリット端末をさらに提供する。前記端末は、メモリと、メモリに記憶されている１つ以上のプログラムと、を備え、１つ以上のプロセッサによって、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングし、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するという操作を行うための指令を含む前記１つ以上のプログラムを実行するように構成される。
図８は、ある実施例によるメディア同期装置の構造模式図である。
図８には、実施例によるメディア同期装置８００が示めされている。当該装置８００は、付加電話、インテリジェント機器、コンピュータ、デジタル再生端末、メッセージ送受信機器、ゲームコンソール、タブレットデバイス、医療設備、フィットネス機器、ＰＤＡなどであってもよい。
図８を参照すると、装置８００は、以下の１つ又は複数のユニット、すなわち、処理ユニット８０１、メモリ８０２、電源ユニット８０３、マルチメディアユニット８０４、オーディオユニット８０５、入力／出力（Ｉ／Ｏ）インターフェース８０６、センサユニット８０７及び通信ユニット８０８を備えてもよい。
処理ユニット８０１は通常、装置８００の全般操作、例えば、表示、電話発呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０１は、前記方法のステップの全部又は一部を実行するように、指令を実行する１つ又は複数のプロセッサ８０９を備えてもよい。また、処理ユニット８０１は、処理ユニット８０１と他のユニットとの間の相互作用を容易にするように、１つ又は複数のモジュールを備えてもよい。例えば、処理ユニット８０１は、マルチメディアユニット８０４と処理ユニット８０１との間の相互作用を容易にするように、マルチメディアモジュールを備えてもよい。
メモリ８０２は、装置８００での操作をサポートするために、各種別のデータを記憶するように構成される。これらのデータの例示は、装置８００で操作する如何なるアプリケーションプログラムまたは方法の指令、連絡人データ、電話帳データ、メッセージ、ピクチャ、映像などを含む。メモリ８０２は、如何なる種別の揮発性もしくは不揮発性記憶デバイスまたはそれらの組合せ、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクによって実現されてもよい。
電源ユニット８０３は、装置８００のユニットのそれぞれに電力を供給する。電源ユニット８０３は、電源管理システム、１つまたは複数の電源、並びに、装置８００用の電力を生成、管理および配分するに関する他のユニットを含んでもよい。
マルチメディアユニット８０４は、前記装置８００とユーザとの間に１つの出力インターフェースを供給するスクリーンを備える。一部の実施例では、スクリーンは、液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するように、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを感知するように、１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド動作の境界を感知するだけではなく、前記タッチまたはスライド操作と関連する持続時間および圧力をさらに検出することができる。一部の実施例では、マルチメディアユニット８０４は、１つのフロントカメラおよび/またはバックカメラを含む。装置８００が操作モード、例えば、撮像モードまたは映像モードにあるとき、フロントカメラおよび/またはバックカメラは、外部のマルチメディアデータを受信することができる。フロントカメラおよびバックカメラのそれぞれは、１つの固定の光学レンズシステムであってもよいし、焦点距離および光学ズーム能力を有するものであってもよい。
オーディオユニット８０５は、オーディオ信号を出力および/または入力するように構成される。例えば、オーディオユニット８０５は、マイク（ＭＩＣ）を備え、装置８００が操作モード、例えば、発呼モード、記録モードおよび音声識別モードにあるとき、マイクは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらに、メモリ８０２に記憶される、または、通信ユニット８０８を介して送信されることができる。一部の実施例では、オーディオユニット８０５は、さらに、オーディオ信号を出力するためのスピーカをさらに含む。
Ｉ/Ｏインターフェース８０２は、処理ユニット８０１とペリフェラルインターフェースモジュールとの間でインターフェースを供給するものであり、前記ペリフェラルインターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームページボタン、ボリュームボタン、起動ボタンおよびロックボタンを含んでもよいが、それらに限定されない。
センサユニット８０７は、様々な側面での状態推定を装置８００に供給するための１つまたは複数のセンサを含む。例えば、センサユニット８０７は、装置８００のオン/オフ状態、ユニットの相対位置を検出することができ、例えば、前記ユニットは、装置８００のディスプレイおよびキーパッドである。センサユニット８０７は、さらに、装置８００もしくは装置８００の１つのユニットの位置変更、ユーザと装置８００との接触の存在もしくは不存在、装置８００の方位または加速/減速および装置８００の温度変化をさらに検出することができる。センサユニット８０７は、如何なる物理的接触もないとき、近辺にある物体の存在を検出するための近接センサを含んでもよい。センサユニット８０７は、さらに、イメージングアプリケーションに使用される光センサ、例えばＣＭＯＳまたはＣＣＤ画像センサを含んでもよい。一部の実施例では、当該センサユニット８０７は、さらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信ユニット８０８は、装置８００と他の機器間の無線または有線方式の通信が便利になるように構成される。装置８００は、通信規格に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇもしくは３Ｇ、またはそれらの組合せにアクセスすることができる。ある実施例では、通信ユニット８０８は、外部ブロードキャスト管理システムからのブロードキャスト信号またはブロードキャスト関連情報をブロードキャストチャネルを介して受信する。ある実施例では、前記通信ユニット８０８は、さらに、短距離通信を容易にするように、ニアフィールド通信（ＮＦＣ）モジュールを含んでもよい。例えば、ＮＦＣモジュールでは、無線周波数識別（ＲＦＩＤ）技術、赤外データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術および他の技術によって実現されてもよい。
実施例では、装置８００は、上記方法を実行するための１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子部品によって実現されてもよい。
実施例では、指令を含む非一時的コンピュータ読み取り可能な記憶媒体、例えば、指令を含むメモリ８０２をさらに提供し、上記指令が装置８００のプロセッサ８０９によって実行されることで上述した方法を実施させることができる。例えば、前記非一時的コンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスクおよび光データ記憶機器などであってもよい。
前記記録媒体における指令が移動端末のプロセッサにより実行されると、移動端末がメディア同期方法を実行するようにする。前記方法は、再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するステップと、前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするステップと、前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するステップと、を含む。
当業者は、明細書を考慮し、ここに公開された開示を実践した後、本開示の他の実施案を容易に想到する。本願は、本開示の如何なる変形、用途または適応的変化もカバーすることを意図する。これらの変形、用途または適応的変化は、本開示の一般的な仕組みに従い、かつ、本開示に開示されていない当分野における公知常識または慣用技術手段を含む。明細書および実施例は単なる例示と見なされ、本開示の本当の範囲および思想は添付の特許請求の範囲によって与えられる。
本開示が以上で記載され、且つ図面に示された正確な構造に限定されるものでなく、その要旨を逸脱しない範囲で様々な補正や変更も可能であることは理解されるべきである。本開示の範囲は、添付する特許請求の範囲のみによって限定される。
本発明は、出願番号が２０１５１０７１７９６７.６であり、出願日が２０１５年１０月２９日である中国特許出願を基に提出するものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、参照のため本願に援用される。

Claims (13)

  1. 再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するステップと、
    前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするステップと、
    前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するステップと、を含むことを特徴とするメディア同期方法。
  2. 前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするステップは、
    前記第１のメディアファイルのうち、キーフレームを選定するステップと、
    選定された前記キーフレームをフレーム順で前記無線出力側へ送信して、前記キーフレームの発信時刻を記録するステップと、
    前記無線出力側から報告された前記キーフレームの受信時刻を受信し、かつ、前記第１のメディアファイルの伝送遅延が動的にモニタリングされるように、前記受信時刻および前記発信時刻に基づいて前記キーフレームの無線伝送遅延を算出するステップと、を含むことを特徴とする請求項１に記載のメディア同期方法。
  3. 第１のメディアファイルのうち、キーフレームを選定するステップは、
    所定のフレーム間隔に基づいて、前記第１のメディアファイルのうち、キーフレームを選定するステップを含むことを特徴とする請求項２に記載のメディア同期方法。
  4. 前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されていることを特徴とする請求項２に記載のメディア同期方法。
  5. 前記モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、前記第２のメディアファイルの再生時間を適応的に調整するステップは、
    ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように、算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力側の機器へ前記第２のメディアファイルを遅延して送信するステップを含むことを特徴とする請求項２に記載のメディア同期方法。
  6. 前記無線出力側とクロック同期を周期的に行うステップをさらに含むことを特徴とする請求項２に記載のメディア同期方法。
  7. 再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離するように構成される分離モジュールと、
    前記第１のメディアファイルの無線伝送遅延を動的にモニタリングするように構成されるモニタリングモジュールと、
    前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、前記モニタリングモジュールによりモニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成される調整モジュールと、を備えることを特徴とするメディア同期装置。
  8. 前記モニタリングモジュールは、
    前記第１のメディアファイルのうち、キーフレームを選定するように構成される選定サブモジュールと、
    選定された前記キーフレームをフレーム順で前記無線出力側へ送信して、前記キーフレームの発信時刻を記録するように構成される伝送サブモジュールと、
    前記無線出力側から報告された前記キーフレームの受信時刻を受信するように構成される受信サブモジュールと、
    前記第１のメディアファイルの伝送遅延が動的にモニタリングされるように、前記受信サブモジュールにより受信された受信時刻と前記発信時刻に基づいて、前記キーフレームの無線伝送遅延を算出するように構成される算出サブモジュールと、を有することを特徴とする請求項７に記載のメディア同期装置。
  9. 前記選定サブモジュールは、
    所定のフレーム間隔に基づいて、前記第１のメディアファイルのうち、キーフレームを選定するように構成される選定手段を有することを特徴とする請求項８に記載のメディア同期装置。
  10. 前記選定されたキーフレームには、前記無線出力側が前記キーフレームの受信時刻を報告するようにトリガするための所定の標記が予め追加されていることを特徴とする請求項８に記載のメディア同期装置。
  11. 前記調整モジュールは、
    ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように、算出サブモジュールにより算出された前記第１のメディアファイルの無線伝送遅延に基づいて、前記ローカル出力側の機器へ前記第２のメディアファイルを遅延して送信するように構成される送信サブモジュールを有することを特徴とする請求項７に記載のメディア同期装置。
  12. 前記モニタリングモジュールは、前記無線出力側とクロック同期を周期的に行うように構成される同期サブモジュールをさらに有することを特徴とする請求項８に記載のメディア同期装置。
  13. プロセッサと、
    プロセッサが実行可能な指令を記憶するためのメモリと、を備え、
    前記プロセッサは、
    再生待ちメディアファイルから、無線出力側で再生される第１のメディアファイルと、ローカル出力側で再生される第２のメディアファイルとを分離し、
    前記第１のメディアファイルの無線伝送遅延を動的にモニタリングし、
    前記第１のメディアファイルと前記第２のメディアファイルとが同期再生されるように、モニタリングされた前記第１のメディアファイルの無線伝送遅延に基づいて、ローカル出力側での前記第２のメディアファイルの再生時間を適応的に調整するように構成されることを特徴とするメディア同期装置。
JP2017547054A 2015-10-29 2015-12-29 メディア同期方法、装置、プログラム及び記録媒体 Pending JP2018502533A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510717967.6 2015-10-29
CN201510717967.6A CN105338393A (zh) 2015-10-29 2015-10-29 媒体同步方法和装置
PCT/CN2015/099396 WO2017071073A1 (zh) 2015-10-29 2015-12-29 媒体同步方法和装置

Publications (1)

Publication Number Publication Date
JP2018502533A true JP2018502533A (ja) 2018-01-25

Family

ID=55288618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017547054A Pending JP2018502533A (ja) 2015-10-29 2015-12-29 メディア同期方法、装置、プログラム及び記録媒体

Country Status (8)

Country Link
US (1) US20170126801A1 (ja)
EP (1) EP3163887A1 (ja)
JP (1) JP2018502533A (ja)
KR (1) KR20170061100A (ja)
CN (1) CN105338393A (ja)
MX (1) MX361829B (ja)
RU (1) RU2648262C2 (ja)
WO (1) WO2017071073A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847926A (zh) * 2016-03-31 2016-08-10 乐视控股（北京）有限公司 一种多媒体数据的同步播放方法及装置
WO2019168931A1 (en) 2018-03-01 2019-09-06 Sony Corporation Dynamic lip-sync compensation for truly wireless bluetooth devices
CN108538115B (zh) * 2018-03-30 2020-08-11 重庆智考信息技术有限公司 教学直播系统及方法
CN108616767B (zh) * 2018-04-28 2020-12-29 海信视像科技股份有限公司 一种音频数据传输方法及装置
US11101867B2 (en) * 2018-10-09 2021-08-24 Mediatek Singapore Pte. Ltd. Reducing beamforming feedback size in WLAN communication
CN111083309B (zh) * 2018-10-18 2022-04-01 北京魔门塔科技有限公司 一种多传感器数据的时间对齐方法及数据采集设备
US20200159570A1 (en) * 2018-11-21 2020-05-21 Zoox, Inc. Executable Component Interface and Controller
CN109379613B (zh) * 2018-12-21 2021-11-09 深圳Tcl新技术有限公司 音视频同步调整方法、电视、计算机可读存储介质及系统
CN110290453B (zh) * 2019-06-28 2022-03-18 Oppo广东移动通信有限公司 无线播放设备的延时测试方法及系统
CN110392291A (zh) * 2019-07-29 2019-10-29 昆腾微电子股份有限公司 一种蓝牙同步播放方法、装置、系统及存储介质
CN110493633A (zh) * 2019-08-19 2019-11-22 武汉蓝星科技股份有限公司 一种图像和音频分离传输系统、方法及移动终端
CN111343620A (zh) * 2020-02-28 2020-06-26 捷开通讯(深圳)有限公司 多设备音频播放校正方法，装置及其终端
CN112203100B (zh) * 2020-09-03 2022-07-29 中国移动通信集团广东有限公司 降低上下行带宽需求的传输方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064689A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 無線通信システム
JP2008232422A (ja) * 2007-02-23 2008-10-02 Yamaha Motor Co Ltd クラッチ制御装置、クラッチの制御方法、及び鞍乗型車両
JP2009272945A (ja) * 2008-05-08 2009-11-19 Victor Co Of Japan Ltd 同期再生装置
JP2011023992A (ja) * 2009-07-16 2011-02-03 Hitachi Consumer Electronics Co Ltd コンテンツ配信システム、再生装置、及び配信サーバ
US20120063603A1 (en) * 2009-08-24 2012-03-15 Novara Technology, LLC Home theater component for a virtualized home theater system
JP2013172156A (ja) * 2012-02-17 2013-09-02 Mitsubishi Electric Corp メディアデータ送信装置及び同期再生システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6631410B1 (en) * 2000-03-16 2003-10-07 Sharp Laboratories Of America, Inc. Multimedia wired/wireless content synchronization system and method
MY140810A (en) * 2003-03-28 2010-01-15 Samsung Electronics Co Ltd Reproducing apparatus and method, and recording medium
JP2004328513A (ja) * 2003-04-25 2004-11-18 Pioneer Electronic Corp 音声データ処理装置、音声データ処理方法、そのプログラム、および、そのプログラムを記録した記録媒体
US8190680B2 (en) * 2004-07-01 2012-05-29 Netgear, Inc. Method and system for synchronization of digital media playback
EP1860866A1 (en) * 2006-05-26 2007-11-28 British Telecommunications Public Limited Company Audio-visual reception
JP5049652B2 (ja) * 2006-09-07 2012-10-17 キヤノン株式会社 通信システム、データの再生制御方法、コントローラ、コントローラの制御方法、アダプタ、アダプタの制御方法、およびプログラム
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
KR101450100B1 (ko) * 2007-11-22 2014-10-15 삼성전자주식회사 멀티미디어기기 및 그의 동기설정방법
WO2009071321A1 (en) * 2007-12-05 2009-06-11 Koninklijke Kpn N.V Method and system for synchronizing the output of terminals
KR20100124909A (ko) * 2009-05-20 2010-11-30 삼성전자주식회사 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법
US9544640B2 (en) * 2010-03-02 2017-01-10 Harman International Industries, Incorporated Wireless theater system
US9131256B2 (en) * 2010-09-30 2015-09-08 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing content playback
KR20130003544A (ko) * 2011-06-30 2013-01-09 한국전자통신연구원 단말 장치들 사이의 콘텐츠 동기화 방법 및 시스템
JP5957760B2 (ja) * 2012-03-08 2016-07-27 パナソニックＩｐマネジメント株式会社 映像音声処理装置
JP6074899B2 (ja) * 2012-03-26 2017-02-08 ヤマハ株式会社 音データ処理装置
KR101571338B1 (ko) * 2013-03-13 2015-11-24 삼성전자주식회사 복수의 재생 장치들이 스트리밍 컨텐트를 동기화하여 재생하는 방법 및 이를 위한 장치
CN103297824A (zh) * 2013-05-29 2013-09-11 华为技术有限公司 视频处理方法、电视棒、控制终端和系统
KR102179321B1 (ko) * 2014-01-31 2020-11-18 인터디지털 씨이 페이튼트 홀딩스 두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치
CN103905877A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备
CN103905881B (zh) * 2014-03-13 2018-07-31 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064689A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 無線通信システム
JP2008232422A (ja) * 2007-02-23 2008-10-02 Yamaha Motor Co Ltd クラッチ制御装置、クラッチの制御方法、及び鞍乗型車両
JP2009272945A (ja) * 2008-05-08 2009-11-19 Victor Co Of Japan Ltd 同期再生装置
JP2011023992A (ja) * 2009-07-16 2011-02-03 Hitachi Consumer Electronics Co Ltd コンテンツ配信システム、再生装置、及び配信サーバ
US20120063603A1 (en) * 2009-08-24 2012-03-15 Novara Technology, LLC Home theater component for a virtualized home theater system
JP2013172156A (ja) * 2012-02-17 2013-09-02 Mitsubishi Electric Corp メディアデータ送信装置及び同期再生システム

Also Published As

Publication number Publication date
CN105338393A (zh) 2016-02-17
MX2016005918A (es) 2017-07-20
EP3163887A1 (en) 2017-05-03
MX361829B (es) 2018-12-18
KR20170061100A (ko) 2017-06-02
RU2016116958A (ru) 2017-11-02
WO2017071073A1 (zh) 2017-05-04
RU2648262C2 (ru) 2018-03-23
US20170126801A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
JP2018502533A (ja) メディア同期方法、装置、プログラム及び記録媒体
JP6626440B2 (ja) マルチメディアファイルを再生するための方法及び装置
JP6522014B2 (ja) ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイス
JP6285615B2 (ja) リモートアシスタンス方法、クライアント、プログラム及び記録媒体
JP6121621B2 (ja) 音声通話方法、装置、プログラム、及び記録媒体
KR101657913B1 (ko) 멀티미디어 재생방법, 장치, 프로그램 및 기록매체
US20150350406A1 (en) Method and device for calendar reminding
CN104834435B (zh) 音频评论的播放方法和装置
WO2017181551A1 (zh) 视频处理方法及装置
JP2017528929A (ja) イベント通知方法及び装置
EP4114023A1 (en) Inter-device multimedia content playback continuing method
CN104639977A (zh) 节目播放的方法及装置
JP2017508413A (ja) 音声通話プロンプト方法、装置、プログラム及び記録媒体
US20200404214A1 (en) An apparatus and associated methods for video presentation
US20180007420A1 (en) Method, device and system for recording television program
KR20180120196A (ko) 메시지를 푸시하는 방법 및 장치, 단말 기기
CN106792941A (zh) 单射频语音呼叫连续性切换的处理方法及装置
CN106792024B (zh) 多媒体信息的分享方法及装置
KR101782275B1 (ko) 상태 통지 방법 및 장치
CN112910592B (zh) 时钟同步方法及装置、终端及存储介质
US20140056570A1 (en) Wireless External Multi-Microphone System For Mobile Device Environment
CN112764636A (zh) 视频处理方法、装置、电子设备和计算机可读存储介质
EP3823238A1 (en) Method and apparatus for controlling devices and storage medium
CN113660513A (zh) 同步播放时间的方法、装置及存储介质
CN107870758B (zh) 音频播放方法及装置、电子设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180807