JP2019174783A - 画像とオーディオの同期再生の処理方法及びデバイス - Google Patents

画像とオーディオの同期再生の処理方法及びデバイス Download PDF

Info

Publication number
JP2019174783A
JP2019174783A JP2018202625A JP2018202625A JP2019174783A JP 2019174783 A JP2019174783 A JP 2019174783A JP 2018202625 A JP2018202625 A JP 2018202625A JP 2018202625 A JP2018202625 A JP 2018202625A JP 2019174783 A JP2019174783 A JP 2019174783A
Authority
JP
Japan
Prior art keywords
audio data
data
map
group
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018202625A
Other languages
English (en)
Other versions
JP6853228B2 (ja
Inventor
ルオ,シン
Xing Luo
シェン,グアンハオ
Guanghao Shen
ジエン,シューフェイ
Xufei Jiang
グー,シゥヂョン
Xiuzhong Gu
チャン,ヤンヤン
Yangyang Zhang
ドゥァン,ファン
Fang Duan
チェン,ウーチェン
Wuchen Chen
ハオ,チンチャン
Qingchang Hao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2019174783A publication Critical patent/JP2019174783A/ja
Application granted granted Critical
Publication of JP6853228B2 publication Critical patent/JP6853228B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Abstract

【課題】画像とオーディオの同期再生の処理方法及びデバイスを提供する。【解決手段】放送端末から送信される再生サービス要求を取得するステップと、再生サービス要求に対応する再生内容に基づいて複数のグループにグループ化される再生画面データとオーディオデータとを取得するステップと、再生画面データ、オーディオデータ、及び各グループとオーディオデータの属性情報との第一対応関係を確定するための情報を放送端末に送信して、放送端末が第一対応関係に基づいて再生画面データとオーディオデータとに対して相応の同期再生処理を実行するようにするステップと、を含む。【選択図】図1

Description

本願は、コンピュータ技術分野に関し、具体的に人工知能分野に関し、特に画像とオーディオの同期再生の処理方法及びデバイスに関する。
情報のディジタル化及び人間の生活品質の向上に従い、人間の日常生活にスマートホームが益々多くなり、スマートスピーカーが製品の一つとして大衆に良く歓迎されている。
従来の幾つかのスマートスピーカーは、ディスプレーが設置され、関連の情報を表示することができる。しかし、従来のスマートスピーカーは、一般的にオーディオファイルとテキストファイルを予め記憶し、オーディオファイルの放送内容と表示文字の対応関係を予め標識して、放送内容と表示文字の同期、例えば曲を聴いている時に歌詞の表示を実現することができる。リアルタイムに取得された文字とピクチャ情報に対して、放送を行う際に同期を正確に実現できないため、ユーザの製品に対する体験が悪くなった。従って、ピクチャ/文字とオーディオの同期の正確性を如何に向上するかは、早急に解決すべき技術課題になる。
本願は、画像とオーディオの同期再生の処理方法及びデバイスを提供して、従来の技術において画像とオーディオの再生が正確に同期できないという欠陥を解決する。
本願の第一局面は、画像とオーディオの同期再生の処理方法であって、放送端末から送信される再生サービス要求を取得するステップと、前記再生サービス要求に対応する再生画面データとオーディオデータとを取得するステップであって、前記再生画面データは、再生内容に基づいて複数のグループにグループ化される、ステップと、前記再生画面データ、前記オーディオデータ、及び各前記グループと前記オーディオデータの属性情報との第一対応関係を確定するための情報を前記放送端末に送信して、前記放送端末が前記第一対応関係に基づいて前記再生画面データと前記オーディオデータとに対して相応の同期再生処理を実行するようにするステップと、を含む方法を提供する。
本願の第二局面は、画像とオーディオの同期再生の処理方法であって、サーバに再生サービス要求を送信し、前記サーバから前記再生サービス要求に応じて返送された、再生内容に基づいて複数のグループにクループ化された再生画面データ、オーディオデータ、及び各グループと前記オーディオデータの属性情報との第一対応関係を確定するための情報を受信するステップと、前記第一対応関係に基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行するステップと、を含む方法を提供する。
本願の第三局面は、サーバに再生サービス要求を送信し、前記サーバから前記再生サービス要求に応じて返送された、再生内容に基づいて複数のグループにクループ化された再生画面データ、オーディオデータ、及び各グループと前記オーディオデータの属性情報との第一対応関係を確定するための情報を受信するステップと、前記第一対応関係に基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行するステップと、を含むサーバを提供する。
本願の第四局面は、サーバに再生サービス要求を送信する第二送信モジュールと、前記サーバから前記再生サービス要求に応じて返送された、再生内容に基づいて複数のグループにグループ化された再生画面データ、オーディオデータ、及び各グループと前記オーディオデータの属性情報との第一対応関係を確定する情報を受信する受信モジュールと、前記第一対応関係に基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行する処理モジュールと、を備える放送端末を提供する。
本願の第五局面は、少なくとも一つのプロセッサとメモリとを備えるサーバであって、前記メモリにコンピュータプログラムが記憶され、前記少なくとも一つのプロセッサは前記メモリに記憶されたコンピュータプログラムを実行して第一局面により提供された方法を実現するサーバを提供する。
本願の第六局面は、プロセッサとメモリとを備える放送端末であって、前記メモリにコンピュータプログラムが記憶され、前記プロセッサは前記メモリに記憶されたコンピュータプログラムを実行して第二局面により提供された方法を実現する放送端末を提供する。
本願の第七局面は、コンピュータプログラムが記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラムが実行されると、第一局面により提供された方法を実現するコンピュータ読取可能な記憶媒体を提供する。
本願の第八局面は、コンピュータプログラムが記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラムが実行されると第二局面により提供された方法を実現するコンピュータ読取可能な記憶媒体を提供する。
本願により提供される画像とオーディオの同期再生の処理方法及びデバイスは、再生内容に基いて再生画面データを複数のグループにグループ化し、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報を放送端末へ送信して、放送端末に第一対応関係に基いて再生画面データとオーディオデータに対して相応の同期再生処理を実行させる。これにより、オーディオデータと各グループの再生内容の対応関係が作成されたので、放送端末により再生を行う際に放送されたオーディオ内容と表示された再生画面を正確に同期することができ、オーディオの放送とスクリーンの表示の同期の正確性を効率的に向上することができる。
本願の実施例又は従来技術における技術案をより明瞭に説明するために、以下に実施例又は従来技術に対する説明に必要な図面を簡単に紹介する。明らかに、以下に説明される図面は本願の幾つかの実施例であり、当業者であればわかるように、創造的な労働を付しない前提で、これら図面に基いて他の図面を得ることもできる。
図1は本願の実施例により提供されるサービスシステムの構成模式図である。 本願の一つの実施例により提供される画像とオーディオの同期再生の処理方法のフローチャートである。 本願の他の実施例により提供される画像とオーディオの同期再生の処理方法のフローチャートである。 本願のもう一つの実施例により提供される画像とオーディオの同期再生の処理方法のフローチャートである。 本願のもう一つの実施例により提供される画像とオーディオの同期再生の処理方法のフローチャートである。 本願の一つの実施例により提供される行を逐一にハイライトすることの模式図である。 本願の一つの実施例により提供されるハイライト表示及び下へのスクロールのインターフェース模式図である。 本願の一つの実施例により提供される放送ページ送り同期のインターフェース模式図である。 本願の一つの実施例により提供されるサーバの構成模式図である。 本願の一つの実施例により提供される放送端末の構成模式図である。 本願の他の実施例により提供されるサーバの構成模式図である。 本願のもう一つの実施例により提供される放送端末の構成模式図である。
前記の図面により、本願の明確的な実施例が示されたが、以下に詳しく説明する。これらの図面と文字記載は、如何なる手段で本開示に構想される範囲を制限することではなく、特定の実施例を参照して当業者に本願の概念を説明するものである。
本願の実施例の目的、技術案及び利点をより明らかにために、以下に本願の実施例における図面と合わせて本願の実施例における技術案に対して明確で完備的に説明する。勿論、説明される実施例は、本願の一部の実施例であり、全ての実施例ではない。当業者は、本願における実施例に基づいて、創造的な労働を付しない前提で得られる全ての他の実施例は、何れも本願の保護範囲に属する。
最初に本願に関する用語を説明する。
放送端末は、スピーカー及びディスプレーを備えるスマート端末であり、オーディオの放送及びスクリーンの表示を実現することができる。スマートスクリーン付きスピーカ、スマートフォーン、タブレットなどを含むが、それらに限定されない。
また、「第一」、「第二」等の用語は、単に説明のために使用するのであって、相対的な重要性を指示し又は示唆し、若しくは指示される技術的特徴の数を暗黙的に示すと理解すべきではない。以下の各実施例に対する説明において、「複数」は、明確で具体的に限定される場合以外、二つ以上を意味する。
以下のような幾つかの具体的な実施例は、互いに組み合わせることができ、同一又は類似の概念又は過程について幾つかの実施例で詳しく説明しない場合がある。以下に図面と合わせて本発明の実施例を説明する。
本願の実施例により提供される画像とオーディオの同期再生の処理方法は、放送端末とサーバとを備えるサービスシステムに適用可能である。図1は、本願の実施例により提供されるサービスシステムの構成模式図を示す。ユーザにより音声入力又は手動文字入力などの入力手段で放送端末へ再生サービス要求を入力可能し、放送端末により再生サービス要求をサーバへ送信する。サーバは、放送端末から送信された再生サービス要求に応答して相応の応答データを放送端末に返送することを担当する。放送端末は、応答データに基づいて相応の同期再生処理を実行する。
[実施例一]
本実施例は、再生サービスにおけるオーディオ放送と表示内容の同期再生に適用する画像とオーディオの同期再生の処理方法を提供して同期の正確性を向上させる。本実施例の実行主体は、サーバであっても良い。
図2は、本実施例により提供される画像とオーディオの同期再生の処理方法のフローチャートを示す。当該方法は、以下のステップを含む。
ステップ101において、放送端末から送信された再生サービス要求を取得する。
具体的に、ユーザから放送サービスが要求される場合に、音声入力又は手動文字入力などの入力手段で放送端末へ再生サービス要求を入力し、放送端末により再生サービス要求をサーバへ送信することができる。サーバは、放送端末から送信された再生サービス要求を取得することができる。
好ましくは、再生サービス要求は、具体的に、天気予報サービス要求、目覚ましサービス要求、飲食店紹介サービス要求、メッセージ読取サービス要求、地理位置サービス要求などであっても良く、それらに限定されない。例えば、ユーザにより音声でスマートスピーカーから天気状況を放送するように要求される場合に、スマートスピーカーがユーザのオーディオ要求情報を受信する。スマートスピーカーは、オーディオ要求情報をそのままでサーバへ転送しても良く、オーディオ要求情報をテキスト情報に変換してからサーバへ転送しても良く、本実施例に限定されない。
ステップ102において、再生サービス要求に対応する、再生内容に基づいて複数のグループにグループ化された再生画面データとオーディオデータとを取得する。
具体的に、サーバは、放送端末から送信された再生サービス要求を取得した後に、再生サービス要求に対応する再生画面データとオーディオデータを取得することができる。なお、再生画面データは、再生内容に基づいて複数のグループにグループ化された。
好ましくは、再生画面データは、画像データと文字データとのうち少なくとも一つを含むことができる。再生画面データは、再生内容に基づいて複数のグループ、例えば警報関連画面、気温関連画面、大気質関連画面などにグループ化された。画像データは、ピクチャーであっても良く、ビデオであっても良い。オーディオデータは、再生サービス要求に対応する再生すべきオーディオデータである。
好ましくは、サーバは、再生サービス要求を解析してユーザの意図を取得し、ユーザの意図に基づいてサービスシステム内に再生サービス要求に対応する再生画面データとオーディオデータを検索することができる。又は、サーバは、ユーザの意図に基づいて第三者のサービスを介して第三者のサービス側から再生サービス要求に対応する再生画面データとオーディオデータを取得することができ、本実施例に限定されない。
好ましくは、サーバが再生サービス要求に対応するオーディオデータを取得することは、具体的に、再生サービス要求に対応する文字内容を取得し、文字内容に基づいて再生サービス要求に対応するオーディオデータを生成することを更に含んでも良く、本実施例に限定されない。
好ましくは、再生画面データが再生内容に基づいて複数のグループにグループ化されたことは、再生内容の異なるイベントに基づいてグループ化すること、再生内容の再生時間に基づいてグループ化すること、再生内容のサイズに基づいてグループ化することなどを含んでも良く、具体的に限定されない。
例示的に、天気放送を例として、オーディオデータの放送内容に「西安は今日が路面凍結の黄色警報、一日曇り、零下8℃〜1℃、大気質の指数276、重度の汚染」が含まれ、再生画面データに西安の今日の警報関連画像、気温関連画像及び大気質関連画像が含まれる場合に、再生内容に基づいて三つのグループにグループ化された。なお、警報関連画像は放送内容「西安は今日が路面凍結の黄色警報」に対応し、気温関連画像は放送内容「一日曇り、零下8℃〜1℃」に対応し、大気質関連画像は「大気質の指数276、重度の汚染」に対応する。
ステップ103において、再生画面データ、オーディオデータ、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報を放送端末へ送信して、放送端末に第一対応関係に基づいて再生画面データとオーディオデータに対して相応の同期再生処理を実行させる。
具体的に、サーバは、再生サービス要求に対応する再生画面データとオーディオデータを取得した後に、再生画面データ、オーディオデータ、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報を放送端末へ送信して、放送端末に第一対応関係に基づいて再生画面データとオーディオデータに対して相応の同期再生処理を実行させることができる。例示的に、オーディオデータの属性情報はオーディオデータの放送時間であっても良い。
好ましくは、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報は、サーバによりユーザの意図に基づいて検索されたものであっても良く、サーバにより再生画面データとオーディオデータが取得された後に、再生画面データとオーディオデータの具体的な内容に基づいて生成されたものであっても良い。
例示的に、天気予報サービスの場合に、サーバは第三者の天気予報サービス側から天気情報である「西安は今日が路面凍結の黄色警報、一日曇り、零下8℃〜1℃、大気質の指数276、重度の汚染」、及びグループ情報である「W:0−13、T:14−32、A:33−44」と対応の画像データを取得する。なお、グループ情報は、先頭から13文字が警報の放送、14−32の文字が気温の放送、33−44の文字が大気質の放送を示す。サーバは取得されたグループ情報に基づいて再生画面データをグループ化する。
例示的に、目覚ましサービスの場合に、サーバは、ユーザからの複数の目覚ましサービス要求を取得し、ユーザに要求された異なる目覚ましのタイミングに基づいてグループ化して異なる目覚まし内容を示し、指定されたタイミングになった場合に、音声で目覚ましを放送すると共に、ディスプレーインターフェースに対応の目覚まし内容を表示する。
本実施例により提供された画像とオーディオの同期再生の処理方法は、再生内容に基づいて再生画面データを複数のグループにグループ化し、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報を放送端末へ送信して、放送端末に第一対応関係に基づいて再生画面データとオーディオデータに対して相応の同期再生処理を実行させる。これにより、オーディオデータと各グループの再生内容の対応関係が作成されたので、放送端末により再生を行う際に放送されたオーディオ内容と表示された再生画面を正確に同期することができ、オーディオの放送とスクリーンの表示との同期の正確性を効率的に向上した。
[実施例二]
本実施例は、実施例一により提供された画像とオーディオの同期再生の処理方法に対して更に補足的に説明する。
図3は、本実施例により提供される画像とオーディオの同期再生の処理方法のフローチャートを示す。当該フローチャートは、共通の処理フローを例示的に提供するものに過ぎず、本願に対する限定ではない。実際の応用において、あるステップや幾つかのステップが含まれなくても良く、各ステップの実行順も実際の状況に応じて当該フローと異なっても良い。
実施可能な方式の一つとして、前記の実施例一をもとに、好ましくは、ステップ103において、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報に、各グループとオーディオデータの属性情報の第一マップ、又は、各グループとオーディオデータに対応する文字内容の第二マップ及び文字内容とオーディオデータの属性情報の第三マップが含まれる。各グループとオーディオデータの属性情報の第一対応関係は、サーバにより確定されてから放送端末へ送信されても良く、サーバにより各グループとオーディオデータに対応する文字内容の第二マップ及び文字内容とオーディオデータの属性情報の第三マップを放送端末へ送信し、放送端末により各グループとオーディオデータの属性情報の第一対応関係を確定しても良い。各グループとオーディオデータの属性情報の第一対応関係を確定するための情報に各グループとオーディオデータの属性情報の第一マップが含まれる場合に、ステップ103は具体的に、再生画面データ、オーディオデータ、各グループとオーディオデータの属性情報の第一マップを放送端末へ送信するステップ1031を含む。
各グループとオーディオデータの属性情報の第一対応関係を確定するための情報に、各グループとオーディオデータに対応する文字内容の第二マップ及び文字内容とオーディオデータの属性情報の第三マップが含まれる場合に、ステップ103は具体的に、再生画面データ、オーディオデータ、各グループとオーディオデータに対応する文字内容の第二マップ、及び文字内容とオーディオデータの属性情報の第三マップを放送端末へ送信するステップ1032を含む。
好ましくは、当該方法は、更に、オーディオデータに対応する文字内容を放送端末へ送信して、放送端末に放送を行う際にディスプレーインターフェースに対応の文字内容を表示させることを含んでも良い。
好ましくは、ステップ103の前に、当該方法は、以下のステップを含んでも良い。
ステップ201において、文字内容に基づいて、オーディオデータのサイズと文字内容の第四マップを取得する。
具体的に、サーバはオーディオデータ及びオーディオデータに対応する文字内容を取得することができる。取得されたソースデータがオーディオデータであれば、オーディオデータを音声認識で文字内容へ変換することができ、取得されたソースデータが文字内容であれば、文字内容を対応するオーディオデータへ変換することができる。具体的なオーディオデータと文字内容の変換手順は従来技術であるため、ここでは詳しく説明しない。サーバは、更に、オーディオデータのサイズと文字内容の第四マップを取得することができる。例えば、文字内容である「西安は今日が路面凍結の黄色警報、一日曇り、零下8℃〜1℃、大気質の指数276、重度の汚染」と対応するオーディオデータのサイズのマップは「(25k,5文字)(49k,9文字)…(220k,44文字)」であり、文字内容の先頭の5文字がオーディオデータのサイズの先頭25kに対応し、文字内容の先頭の9文字がオーディオデータのサイズの先頭49kに対応することを示し、繰り返して同様に推定できるため、ここでは詳しく説明しない。説明すべきなのは、オーディオデータサイズと文字内容のマップの粒度は、実際の必要に応じて設置可能である。例えば、文字のそれぞれを粒度としても良く、複数の文字を粒度としても良く、例えば(5k、1文字)(10k、2文字)であっても良く、具体的に限定されない。
ステップ202において、オーディオデータと第四マップに基づいて、オーディオデータの放送時間と文字内容の第三マップを確定する。
具体的に、サーバは、オーディオデータの放送時間を取得することができる。具体的に、オーディオデータのサイズに基づいてオーディオデータの放送時間を演算して取得することができ、放送時間とオーディオデータのサイズのマップを取得することにより、オーディオデータの放送時間と文字内容の第三マップを更に取得することができる。
好ましくは、ステップ202は具体的に以下のステップを含んでも良い。
ステップ2021において、オーディオデータのサイズに基いて、オーディオデータの放送時間とオーディオデータのサイズの第五マップを確定する。
例示的に、オーディオデータのサイズと放送時間のマップは「(25k,100ms)(49k,200ms)…」であっても良い。
ステップ2022において、第四マップと第五マップに基いて、オーディオデータの放送時間と文字内容の第三マップを確定する。
例示的に、第三マップは「(100ms,5文字)(200ms,9文字)…」であっても良い。
他の実施可能な方式の一つとして、前記実施例一をもとに、好ましくは、再生画面データに、画像データと文字データとのうち少なくとも一つが含まれる。再生画面データに文字データが含まれれば、当該方法は更に、各グループにおける各行の文字データとオーディオデータの属性情報の第二対応関係を確定して放送端末へ送信して、放送端末に第二対応関係に基いて各行の文字データと当該行に対応するオーディオデータの同期再生を制御させることを含んでも良い。
具体的に、再生画面データに文字データが含まれれば、サーバは更に各グループのうち、各行の文字データとオーディオデータの属性情報の第二対応関係を確定して放送端末へ送信して、放送端末に第二対応関係に基いて各行の文字データと当該行に対応するオーディオデータの同期再生を制御させることができる。例示的に、依然として前記の西安の天気を例として、ディスプレーインターフェースにオーディオデータと同期する文字内容を表示しようとすると、各行文字データとオーディオデータの属性情報の対応関係が「(西安は今日が路面凍結の黄色警報、0−280ms)(一日曇り、280−300ms)(零下8℃〜1℃、300−500ms)…」であると確定することができる。具体的な各行の文字データの確定は、文字内容の句読点に基づいて分割しても良く、オーディオデータにおけるオーディオの停頓に基づいて分割しても良い。具体的な実現方式は、従来技術における任意の実施可能な方式であっても良く、ここでは詳しく説明しない。
説明すべきなのは、本実施例における実施可能な方式のそれぞれは、単独で実施しても良く、衝突のない場合に任意の組み合わせで実施しても良く、本願では限定しない。
本実施例により提供された画像とオーディオの同期再生の処理方法は、前記実施例一をもとに、再生画面データに文字データが含まれれば、各行の文字データとオーディオデータの同期再生を制御可能であるため、行を逐一にハイライトしたりするようなユーザからスクリーンの肝心な情報に対する位置決めに寄与する表示効果を実現でき、ユーザの体験を一層に向上した。再生画面データに画像データと共に文字データが含まれれば、音声、文字、画像のような三者の正確的な同期再生を実現でき、ユーザの体験を一層に向上することを実現可能である。
[実施例三]
本実施例は、再生サービスにおけるオーディオの放送と表示内容との同期再生のための画像とオーディオの同期再生の処理方法を提供して、同期の正確性を向上させる。本実施例の実行主体は放送端末であっても良い。放送端末は、具体的にスマートスクリーン付きスピーカ、スマートフォン、タブレットなどを含むが、それらに限定されない。
図4は、本実施例により提供される画像とオーディオの同期再生の処理方法のフローチャートを示す。当該方法は以下のステップを含む。
ステップ301において、サーバへ再生サービス要求を送信する。
具体的に、ユーザから放送サービスを要求した時に、音声入力又は手動文字入力などの入力手段で放送端末へ再生サービス要求を入力可能である。放送端末により再生サービス要求をサーバへ送信すると、サーバは放送端末から送信された再生サービス要求を取得することができる。
ステップ302において、サーバから再生サービス要求に応じて返送された再生画面データ、オーディオデータ、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報を受信する。
なお、再生画面データは再生内容に基づいて複数のグループにグループ化された。
ステップ303において、第一対応関係に基づいて、再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行する。
具体的に、オーディオデータを再生する場合に、各グループとオーディオデータの属性情報の対応関係に基づいて、ディスプレーインターフェースに対応する再生画面を同期的に表示する。
例示的に、「西安は今日が路面凍結の黄色警報」が放送されている間に、ディスプレーインターフェースに警報関連の画像が表示され、それ以外に表示画像に「警報」などの提示情報を表示してユーザにとって現在の表示画面がどのような内容であるかをより明らかにすることができる。前記の内容の放送が終了し、 「一日曇り、零下8℃〜1℃」の放送が始まった場合に、ディスプレーインターフェースにおいて気温関連の画像、及び「気温」の提示情報などに遷移される。
本実施例により提供された画像とオーディオの同期再生の処理方法は、サーバから返送された各グループとオーディオデータの属性情報の第一対応関係に基づいて、再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行することにより、オーディオデータと各グループの再生内容の対応関係が作成されたため、放送端末により再生を行う際に放送されたオーディオ内容と表示された再生画面を正確に同期することができ、オーディオの放送とスクリーンの表示との同期の正確性が効率的に向上した。
[実施例四]
本実施例は、実施例三により提供された画像とオーディオの同期再生の処理方法に対して更に補足的に説明する。
図5は、本実施例により提供される画像とオーディオの同期再生の処理方法のフローチャートを示す。当該フローチャートは、例示的に共通の処理フローを提供することに過ぎず、本願に対する限定ではない。実際の応用において、あるステップや幾つかのステップが含まれなくても良く、各ステップの実行順も実際の状況に応じて当該フローと異なっても良い。
実施可能な方式の一つとして、前記の実施例三をもとに、好ましくは、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報に各グループとオーディオデータの属性情報の第一マップが含まれる場合に、ステップ303は第一マップに基づいて再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行することを含む。具体的に、サーバにより各グループとオーディオデータの属性情報の第一マップを確定して放送端末へ送信すると、放送端末は直接に第一マップに基づいて再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行することができる。
好ましくは、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報に、各グループとオーディオデータに対応する文字内容の第二マップ及び文字内容とオーディオデータの属性情報の第三マップが含まれる場合に、ステップ302は、具体的に、サーバから再生サービス要求に応じて返送された再生画面データ、オーディオデータ、各グループとオーディオデータに対応する文字内容の第二マップ、及び文字内容とオーディオデータの属性情報の第三マップを受信するステップ3021を含み、ステップ303は、第二マップと第三マップに基づいて、各グループとオーディオデータの属性情報の第六マップを確定するステップ3031と、第六マップに基づいて再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行するステップ3032と、を含む。
具体的に、サーバは各グループとオーディオデータに対応する文字内容の第二マップ、及び文字内容とオーディオデータの属性情報の第三マップを確定して放送端末へ送信する。放送端末は、第二マップと第三マップに基づいて、各グループとオーディオデータの属性情報の第六マップを確定し、更に第六マップに基づいて、再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行する。
好ましくは、ステップ3032は、具体的に以下のステップを含んでも良い。
ステップ30321において、ディスプレーインターフェースに再生された再生画面データについて、グループ毎に基づいてタイムカウント処理を行って各グループと当該グループに対応するオーディオデータの同期再生を制御する。
具体的に、各グループとオーディオデータの属性情報的マップは、各グループとオーディオデータの放送時間の対応関係であっても良い。ディスプレーインターフェースに再生された再生画面データについて、グループ毎に基づいてタイムカウント処理を行い、各グループとオーディオデータの放送時間の対応関係に基づいて、各グループの再生画面とオーディオデータとの同期再生を制御する。
他の実施可能な方式の一つとして、前記の実施例三をもとに、好ましくは、当該方法は更に以下のステップを含んでも良い。
ステップ401において、サーバから送信された各グループにおける各行の文字データとオーディオデータの属性情報の第二対応関係を受信する。
ステップ402において、第二対応関係に基づいて、ディスプレーインターフェースに再生された文字データについて、行に基づいてタイムカウント処理を行って、各行の文字データと当該行に対応するオーディオデータの同期再生を制御する。
具体的に、再生画面データに文字データが含まれ、且つサーバから送信された各グループにおける各行の文字データとオーディオデータの属性情報の第二対応関係が受信された場合に、放送端末は第二対応関係に基づいて、ディスプレーインターフェースに再生された文字データについて、行に基づいてタイムカウント処理を行って各行の文字データと当該行に対応するオーディオデータの同期再生を制御することができる。例えば、音声で「西安は今日が路面凍結の黄色警報」が放送された場合に、ディスプレーインターフェースにおいて文字として「西安は今日が路面凍結の黄色警報」が同期的に表示される。理解すべきなのは、再生画面データに画像データと文字データが含まれる場合に、放送端末はオーディオデータとディスプレーインターフェースに表示された画像データ及び文字データとの同期再生を同時的に制御することができる。
好ましくは、当該方法は更に、ディスプレーインターフェースにおける表示方式が他の行の文字データと異なるように、現在に再生されたオーディオデータに対応する当該行の文字データを制御することを含んでも良い。
具体的に、ディスプレーインターフェースにおいてハイライトで表示したり、異なる色で表示したりすることにより他の行の文字データと区別させるように、現在に再生されたオーディオデータに対応する当該行の文字データを制御することができる。
例示的に、図6は、本実施例により提供される行を逐一にハイライトすることの模式図を示す。なお、画像は、マイケル・ジャクソンの写真又はその関連ビデオであっても良く、ここでは例示的な説明に過ぎない。
好ましくは、オーディオデータと文字データの細かい粒度における対応関係、即ちオーディオデータの放送時間と各行における各文字の対応関係に基づいて、ディスプレーインターフェースにおける表示方式が他の行の文字及び当該行における他の文字と異なるように、オーディオで放送される各文字を制御し、即ち字を逐一にハイライトで表示することもできる。
好ましくは、下へスクロールして行を逐一に表示するように現在にディスプレーインターフェースにない各行の文字を表示するようにディスプレーインターフェースを制御すると共に、ハイライトで表示し、又は異なる色で表示することもできる。
例示的に、図7は、本実施例により提供されるハイライト表示及び下へのスクロールのインターフェース模式図を示す。第1項の「私に誕生日のプレゼントを買うように注意する」が放送された後に、下へスクロールして第4項の注意を表示し、それに応じて第1項の注意がディスプレーインターフェースから離れ、即ちディスプレーインターフェースにおいて第2、3、4項のような三つの注意が表示される。図8は、本実施例により提供される放送のページ送りの同期のインターフェース模式図を示す。雷電/豪雨の青色警報に関連する内容が放送された場合に、「雷電/豪雨」をハイライトで表示し、且つ「青色警報」という四つの文字を青色で表示すると共に、雷電/豪雨の関連画像を同期的に表示することができる。現在の気温に関連する内容が放送された場合に、「現在5℃、今日が一日2℃−9℃」をハイライトで表示すると共に、同期的に気温の関連画像へページ送りする。
説明すべきなのは、本実施例における実施可能な各方式は、単独で実施しても良く、衝突しない場合に任意の組み合わせで実施しても良く、本願では限定されない。
本実施例により提供された画像とオーディオの同期再生の処理方法は、前記の実施例三をもとに、再生画面データに文字データが含まれれば、更に各行の文字データとオーディオデータの同期再生を制御することができ、ディスプレーインターフェースにおける表示方式が他の行の文字データと異なるように現在に再生されたオーディオデータに対応する当該行の文字データを制御することもできるため、行を逐一でハイライトしたりするようなユーザからスクリーンの肝心な情報に対する位置決めに寄与する表示效果を実現でき、ユーザの体験を一層に向上した。
[実施例五]
本実施例は、前記の実施例一の画像とオーディオの同期再生の処理方法を実行するサーバを提供する。
図9は、本実施例により提供されるサーバの構成模式図を示す。当該サーバ50は、第一取得モジュール51と、第二取得モジュール52と、第一送信モジュール53とを備える。
なお、第一取得モジュール51は、放送端末から送信された再生サービス要求を取得する。第二取得モジュール52は、再生サービス要求に対応する、再生内容に基づいて複数のグループにグループ化された再生画面データとオーディオデータとを取得する。第一送信モジュール53は、再生画面データ、オーディオデータ、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報を放送端末へ送信して、放送端末に第一対応関係に基づいて再生画面データとオーディオデータに対して相応の同期再生処理を実行させる。
本実施例におけるサーバにおいて、各モジュールが操作を実行する具体的な方式は既に当該方法に関する実施例に詳しく説明されたため、ここでは詳しく説明しない。
本実施例により提供されたサーバによれば、再生内容に基づいて再生画面データを複数のグループにグループ化し、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報を放送端末へ送信して、放送端末に第一対応関係に基づいて再生画面データとオーディオデータに対して相応の同期再生処理を実行させる。これにより、オーディオデータと各グループの再生内容の対応関係が作成されたため、放送端末により再生を行う際に放送されたオーディオ内容と表示された再生画面を正確に同期することができ、オーディオの放送とスクリーンの表示との同期の正確性を効率的に向上した。
[実施例六]
本実施例は前記の実施例五により提供されたサーバに対して更に補足的に説明するものであって、前記の実施例二により提供された画像とオーディオの同期再生の処理方法を実行させる。
実施可能な方式の一つとして、前記の実施例五をもとに、好ましくは、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報に、各グループとオーディオデータの属性情報の第一マップ、又は、各グループとオーディオデータに対応する文字内容の第二マップ及び文字内容とオーディオデータの属性情報の第三マップが含まれる。
好ましくは、第一送信モジュール53は更にオーディオデータに対応する文字内容を放送端末へ送信する。
好ましくは、サーバ50は更に第三取得モジュールと第四取得モジュールを備えても良い。
なお、第三取得モジュールは、文字内容に基づいて、オーディオデータのサイズと文字内容の第四マップを取得する。第四取得モジュールは、オーディオデータと第四マップに基づいて、オーディオデータの放送時間と文字内容の第三マップを確定する。
好ましくは、第四取得モジュールは、具体的に第一取得サブモジュールと第二取得サブモジュールを備えても良い。
なお、第一取得サブモジュールは、オーディオデータのサイズに基づいて、オーディオデータの放送時間とオーディオデータのサイズの第五マップを確定する。第二取得サブモジュールは、第四マップと第五マップに基づいて、オーディオデータの放送時間と文字内容の第三マップを確定する。
他の実施可能な方式の一つとして、前記の実施例五をもとに、好ましくは、再生画面データに画像データと文字データとのうち少なくとも一つが含まれる。
再生画面データに文字データが含まれれば、サーバ50は更に第一確定モジュールを備えても良い。
なお、第一確定モジュールは、各グループにおける各行の文字データとオーディオデータの属性情報の第二対応関係を確定する。第一送信モジュールは更に第二対応関係を放送端末へ送信する。
本実施例におけるサーバにおいて、各モジュールが操作を実行する具体的な方式は既に当該方法に関する実施例に詳しく説明されたため、ここでは詳しく説明しない。
説明すべきなのは、本実施例における実施可能な各方式は、単独で実施されても良く、衝突しない場合に任意の組み合わせで実施されてもよく、本願では限定されない。
本実施例のサーバによれば、前記の実施例五をもとに、再生画面データに文字データが含まれれば、各行の文字データとオーディオデータの同期再生を制御することもできるため、行を逐一でハイライトしたりするようなユーザからスクリーンの肝心な情報に対する位置決めに寄与する表示效果を実現でき、ユーザの体験を一層に向上した。再生画面データに画像データと共に文字データが含まれれば、音声、文字、画像の三者に対する正確的な同期再生を実現でき、ユーザの体験を一層に向上した。
[実施例七]
本実施例は前記の実施例三により提供された画像とオーディオの同期再生の処理方法を実行する放送端末を提供する。
図10は、本実施例により提供された放送端末の構成模式図を示す。当該放送端末70は、第二送信モジュール71と、受信モジュール72と、処理モジュール73とを備える。
なお、第二送信モジュール71はサーバへ再生サービス要求を送信する。受信モジュール72は、サーバから再生サービス要求に応じて返送された、再生内容に基づいて複数のグループにグループされる再生画面データ、オーディオデータ、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報を受信する。処理モジュール73は、第一対応関係に基づいて、再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行する。
本実施例における放送端末において、各モジュールが操作を実行する具体的な方式は既に当該方法に関する実施例に詳しく説明されたため、ここでは詳しく説明しない。
本実施例の放送端末によれば、サーバから返送された各グループとオーディオデータの属性情報の第一対応関係に基づいて、再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行する。これにより、オーディオデータと各グループの再生内容の対応関係が作成されたため、放送端末により再生を行う際に放送されたオーディオ内容と表示された再生画面を正確に同期することができ、オーディオの放送とスクリーンの表示との同期の正確性を効率的に向上した。
[実施例八]
本実施例は、前記の実施例七により提供されたサーバに対して更に補足的に説明するものであって、前記の実施例四により提供された画像とオーディオの同期再生の処理方法を実行させる。
実施可能な方式の一つとして、前記の実施例七をもとに、好ましくは、処理モジュール73は具体的に、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報に各グループとオーディオデータの属性情報の第一マップが含まれれば、第一マップに基づいて、再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を行い、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報に各グループとオーディオデータに対応する文字内容の第二マップ及び文字内容とオーディオデータの属性情報の第三マップが含まれれば、第二マップと第三マップに基づいて、各グループとオーディオデータの属性情報の第六マップを確定し、第六マップに基づいて、再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行することができる。
好ましくは、処理モジュールは具体的に、ディスプレーインターフェースに再生された再生画面データについて、各グループに基づいてタイムカウント処理を行って、各グループと当該グループに対応するオーディオデータの同期再生を制御することができる。
他の実施可能な方式の一つとして、前記の実施例七をもとに、好ましくは、受信モジュールは更に、サーバから送信された各グループにおける各行の文字データとオーディオデータの属性情報の第二対応関係を受信する。
処理モジュールは更に、第二対応関係に基づいて、ディスプレーインターフェースに再生された文字データについて、行に基づいてタイムカウント処理を行って各行の文字データと当該行に対応するオーディオデータの同期再生を制御する。
好ましくは、当該放送端末は更に、ディスプレーインターフェースにおける表示方式が他の行の文字データと異なるように、現在に再生されたオーディオデータに対応する当該行の文字データを制御する制御モジュールを備えても良い。
本実施例における放送端末において、各モジュールが操作を実行する具体的な方式は既に当該方法に関する実施例に詳しく説明されたため、ここでは詳しく説明しない。
説明すべきなのは、本実施例における実施可能な各方式は、単独で実施されても良く、衝突しない場合に任意の組み合わせで実施されても良く、本願では限定されない。
本実施例の放送端末によれば、前記の実施例七をもとに、再生画面データに文字データが含まれれば、各行の文字データとオーディオデータの同期再生を制御すると共に、ディスプレーインターフェースにおける表示方式が他の行の文字データと異なるように現在に再生されたオーディオデータに対応する当該行の文字データを制御することができるため、行を逐一でハイライトしたりするようなユーザからスクリーンの肝心な情報に対する位置決めに寄与する表示效果を実現でき、ユーザの体験を一層に向上した。
[実施例九]
本実施例は、前記の実施例一又は実施例二により提供された方法を実行するサーバを提供する。
図11は、本実施例により提供されたサーバの構成模式図を示す。当該サーバ90は、少なくとも一つのプロセッサ91とメモリ92を備える。
なお、メモリにコンピュータプログラムが記憶され、少なくとも一つのプロセッサによりメモリに記憶されたコンピュータプログラムを実行して実施例一又は実施例二により提供された方法を実現させる。
本実施例により提供されたサーバは、再生内容に基づいて再生画面データを複数のグループにグループ化し、各グループとオーディオデータの属性情報の第一対応関係を確定するための情報を放送端末へ送信して、放送端末に第一対応関係に基づいて再生画面データとオーディオデータに対して相応の同期再生処理を実行させる。これにより、オーディオデータと各グループの再生内容的対応関係が作成されたため、放送端末により再生を行う際に放送されたオーディオ内容と表示された再生画面を正確に同期することができ、オーディオの放送とスクリーンの表示との同期の正確性を効率的に向上した。
[実施例十]
本実施例は、前記の実施例三又は実施例四により提供された方法を実行する放送端末を提供する。
図12は、本実施例により提供された放送端末の構成模式図を示す。当該放送端末100は、プロセッサ1001とメモリ1002とを備える。
なお、メモリにコンピュータプログラムが記憶され、プロセッサによりメモリに記憶されたコンピュータプログラムを実行して実施例三又は実施例四により提供された方法を実現させる。
本実施例により提供された放送端末は、サーバから返送された各グループとオーディオデータの属性情報の第一対応関係に基づいて、再生されたオーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行する。これにより、オーディオデータと各グループの再生内容の対応関係が作成されたため、放送端末により再生を行う際に放送されたオーディオ内容と表示された再生画面を正確に同期することができ、オーディオの放送とスクリーンの表示との同期の正確性を効率的に向上した。
[実施例十一]
本実施例は、コンピュータ読取可能な記憶媒体を提供する。当該コンピュータ読取可能な記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムが実行されると、実施例一又は実施例二により提供された方法を実現させる。
[実施例十二]
本実施例はコンピュータ読取可能な記憶媒体を提供する。当該コンピュータ読取可能な記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムが実行されると、実施例三又は実施例四により提供された方法を実現させる。
本願により提供された幾つかの実施例において、理解すべきなのは、開示された装置及び方法が他の手段で実現することができる。例えば、ここまで説明された装置の実施例は例示的なものに過ぎない。例えば、前記ユニットの区分は、ただロジック機能に対する区分に過ぎず、実際的な実現において他の区分手段があっても良い。例えば複数のユニット或いは部品は、組み合わせても良く、若しくは他のシステムに集積されても良い。又は、幾つかの特徴は無視されても良く、実行されなくても良い。また、示され或いは説明された同士間の結合、又は直接結合、又は通信接続は、幾つかのインターフェース、装置又はユニットによる間接結合又は通信接続であっても良く、電気的な手段、機械的な手段又は他の手段であっても良い。
ここまで分離部品として説明されたユニットは、物理的に分離されてもされなくても良く、ユニットとして示された部品は、物理的なユニットであってもでなくても良く、即ち一箇所に位置されても良く、或いは複数のネットワークユニットに分散されても良い。実際の必要に応じてそのうち一部又は全てのユニットを選択して本実施例の技術案の目的を実現することができる。
また、本願の各実施例における各機能ユニットは、一つの処理ユニットに集積されても良く、各ユニットが単独で物理的に存在しても良く、二つ又は二つ以上のユニットが一つのユニットに集積されても良い。前記の集積ユニットは、ハードウェアの手段で実現されても良く、ハードウェアに加えてソフトウェアの機能ユニットの手段で実現されても良い。
ここまでソフトウェアの機能ユニットの手段で実現された集積ユニットは、一つのコンピュータ読取可能な記憶媒体に記憶されても良い。前記のソフトウェアの機能ユニットは、一つの記憶媒体に記憶されており、一つのコンピュータデバイス(パソコン、サーバ、又はネットワークデバイスなどであっても良い)又はプロセッサ(processor)に本願の各実施例における前記方法の一部のステップを実行させるように複数の指令を含む。前記の記憶媒体には、メモリカード、モバイルハードディスク、読取専用メモリ(Read−Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク又は光ディスクなどのような、プログラムコードを記憶可能な各種の媒体が含まれる。
当業者であればわかるように、便利で簡潔的に説明するために、前記の各機能モジュールの区分で例を挙げて説明したが、実際の応用において、必要に応じて前記の機能を異なる機能モジュールに割り当て、即ち装置の内部構成を異なる機能モジュールに区分してここまで説明された一部又は全ての機能を完成させることができる。ここまで説明された装置の具体的な作動過程は、前記の方法の実施例における対応の過程を参照することができ、ここでは詳しく説明しない。
最後に説明すべきなのは、前記の各実施例は、本願の技術案を説明したに過ぎず、それらに対する限定ではない。前記の各実施例を参照して本願を詳しく説明したが、当業者であればわかるように、前記の各実施例に記載された技術案に対して補正し、或いはその一部又は全ての技術的な特徴に対して等価な置換を行うことができる。このような補正又は置換を行っても、該当する技術案の要旨が本願の各実施例の技術案の範囲から逸脱することがない。

Claims (26)

  1. 画像とオーディオの同期再生の処理方法であって、
    放送端末から送信される再生サービス要求を取得するステップと、
    前記再生サービス要求に対応する再生画面データとオーディオデータとを取得するステップであって、前記再生画面データは、再生内容に基づいて複数のグループにグループ化される、ステップと、
    前記再生画面データ、前記オーディオデータ、及び各前記グループと前記オーディオデータの属性情報との第一対応関係を確定するための情報を前記放送端末に送信して、前記放送端末が前記第一対応関係に基づいて前記再生画面データと前記オーディオデータとに対して相応の同期再生処理を実行するようにするステップと、
    を含むことを特徴とする方法。
  2. 各前記グループと前記オーディオデータの属性情報の第一対応関係を確定するための情報は、
    各前記グループと前記オーディオデータの属性情報の第一マップ、又は、
    各前記グループと前記オーディオデータに対応する文字内容との第二マップ、及び前記文字内容と前記オーディオデータの属性情報との第三マップ、
    を含むことを特徴とする請求項1に記載の方法。
  3. 前記方法は、前記オーディオデータに対応する文字内容を前記放送端末に送信するステップを更に含むことを特徴とする請求項2に記載の方法。
  4. 前記再生画面データ、前記オーディオデータ、及び各前記グループと前記オーディオデータの属性情報の第一対応関係を確定するための情報を前記放送端末に送信する前に、更に
    前記文字内容に基づいて、前記オーディオデータのサイズと前記文字内容の第四マップを取得するステップと、
    前記オーディオデータと前記第四マップに基づいて、前記オーディオデータの放送時間と前記文字内容の第三マップを確定するステップと、
    を含むことを特徴とする請求項2又は3に記載の方法。
  5. 前記オーディオデータと前記第四マップに基づいて前記オーディオデータの放送時間と前記文字内容の第三マップを確定するステップは、
    前記オーディオデータのサイズに基づいて、前記オーディオデータの放送時間と前記オーディオデータのサイズの第五マップを確定するステップと、
    前記第四マップと前記第五マップに基づいて、前記オーディオデータの放送時間と前記文字内容の第三マップを確定するステップと、
    を含むことを特徴とする請求項4に記載の方法。
  6. 前記再生画面データは、画像データと文字データのうちの少なくとも一つを含み、
    前記再生画面データに文字データが含まれる場合に、前記方法は、更に、
    各前記グループにおける各行の文字データと前記オーディオデータの属性情報との第二対応関係を確定して前記放送端末へ送信するステップを、
    含むことを特徴とする請求項1〜3の何れか一つに記載の方法。
  7. 画像とオーディオの同期再生の処理方法であって、
    サーバに再生サービス要求を送信し、前記サーバから前記再生サービス要求に応じて返送された、再生内容に基づいて複数のグループにクループ化された再生画面データ、オーディオデータ、及び各グループと前記オーディオデータの属性情報との第一対応関係を確定するための情報を受信するステップと、
    前記第一対応関係に基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行するステップと、
    を含むことを特徴とする方法。
  8. 各前記グループと前記オーディオデータの属性情報の第一対応関係を確定するための情報に、各前記グループと前記オーディオデータの属性情報の第一マップが含まれる場合に、
    前記第一対応関係に基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行するステップは、
    前記第一マップに基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行するステップを含み、
    或いは、
    各前記グループと前記オーディオデータの属性情報の第一対応関係を確定するための情報に、各前記グループと前記オーディオデータに対応する文字内容との第二マップ、及び前記文字内容と前記オーディオデータの属性情報との第三マップが含まれる場合に、
    前記第一対応関係に基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行するステップは、
    前記第二マップと前記第三マップに基づいて、各前記グループと前記オーディオデータの属性情報の第六マップを確定するステップと、
    前記第六マップに基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行するステップを含むことを特徴とする請求項7に記載の方法。
  9. 前記第六マップに基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行するステップは、
    前記ディスプレーインターフェースに再生された再生画面データに対して、グループ毎に基づいてタイムカウント処理を行って、各グループと当該グループに対応するオーディオデータの同期再生を制御するステップを含むことを特徴とする請求項8に記載の方法。
  10. 前記方法は、更に、
    サーバから送信された各前記グループにおける各行の文字データと前記オーディオデータの属性情報の第二対応関係を受信するステップと、
    前記第二対応関係に基づいて、前記ディスプレーインターフェースに再生された文字データに対して、行に基づいてタイムカウント処理を行って各行の文字データと当該行に対応するオーディオデータの同期再生を制御するステップと、
    を含むことを特徴とする請求項9に記載の方法。
  11. 前記方法は、更に、
    前記ディスプレーインターフェースにおける表示方式が他の行的文字データと異なるように、現在に再生されたオーディオデータに対応する当該行の文字データを制御するステップを含むことを特徴とする請求項10に記載の方法。
  12. 放送端末から送信される再生サービス要求を取得する第一取得モジュールと、
    前記再生サービス要求に対応する再生画面データとオーディオデータを取得する第二取得モジュールであって、前記再生画面データは、再生内容に基づいて複数のグループにグループ化される、第二取得モジュールと、
    前記再生画面データ、前記オーディオデータ、及び各前記グループと前記オーディオデータの属性情報との第一対応関係を確定するための情報を前記放送端末に送信して、前記放送端末が前記第一対応関係に基づいて前記再生画面データと前記オーディオデータとに対して相応の同期再生処理を実行するようにする第一送信モジュールと、
    を備えることを特徴とするサーバ。
  13. 各前記グループと前記オーディオデータの属性情報の第一対応関係を確定するための情報は、
    各前記グループと前記オーディオデータの属性情報の第一マップ、又は、
    各前記グループと前記オーディオデータに対応する文字内容との第二マップ、及び前記文字内容と前記オーディオデータの属性情報との第三マップを含むことを特徴とする請求項12に記載のサーバ。
  14. 前記第一送信モジュールは、更に、前記オーディオデータに対応する文字内容を前記放送端末に送信することを特徴とする請求項13に記載のサーバ。
  15. 前記文字内容に基づいて、前記オーディオデータのサイズと前記文字内容の第四マップを取得する第三取得モジュールと、
    前記オーディオデータと前記第四マップに基づいて、前記オーディオデータの放送時間と前記文字内容の第三マップを確定する第四取得モジュールと、
    を更に備えることを特徴とする請求項13又は14に記載のサーバ。
  16. 前記第四取得モジュールは、
    前記オーディオデータのサイズに基づいて、前記オーディオデータの放送時間と前記オーディオデータのサイズの第五マップを確定する第一取得サブモジュールと、
    前記第四マップと前記第五マップに基づいて、前記オーディオデータの放送時間と前記文字内容の第三マップを確定する第二取得サブモジュールと、
    を備えることを特徴とする請求項15に記載のサーバ。
  17. 前記再生画面データは、画像データと文字データのうちの少なくとも一つを含み、
    前記再生画面データに文字データが含まれる場合に、前記サーバは、更に、
    各前記グループにおける各行の文字データと前記オーディオデータの属性情報との第二対応関係を確定する第一確定モジュールを備え、
    前記第一送信モジュールは、更に、前記第二対応関係を前記放送端末に送信することを特徴とする請求項12〜14の何れか一つに記載のサーバ。
  18. サーバに再生サービス要求を送信する第二送信モジュールと、
    前記サーバから前記再生サービス要求に応じて返送された、再生内容に基づいて複数のグループにグループ化された再生画面データ、オーディオデータ、及び各グループと前記オーディオデータの属性情報との第一対応関係を確定する情報を受信する受信モジュールと、
    前記第一対応関係に基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行する処理モジュールと、
    を備えることを特徴とする放送端末。
  19. 前記処理モジュールは、具体的に、
    各前記グループと前記オーディオデータの属性情報の第一対応関係を確定するための情報に、各前記グループと前記オーディオデータの属性情報の第一マップが含まれる場合に、
    前記第一マップに基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行し、
    各前記グループと前記オーディオデータの属性情報の第一対応関係を確定するための情報に、各前記グループと前記オーディオデータに対応する文字内容との第二マップ、及び前記文字内容と前記オーディオデータの属性情報との第三マップが含まれる場合に、
    前記第二マップと前記第三マップに基づいて、各前記グループと前記オーディオデータの属性情報の第六マップを確定し、前記第六マップに基づいて、再生された前記オーディオデータとディスプレーインターフェースに表示された再生画面データに対して相応の同期処理を実行することを特徴とする請求項18に記載の放送端末。
  20. 前記処理モジュールは、具体的に、
    前記ディスプレーインターフェースに再生された再生画面データに対して、グループ毎に基づいてタイムカウント処理を行って、各グループと当該グループに対応するオーディオデータの同期再生を制御することを特徴とする請求項19に記載の放送端末。
  21. 前記受信モジュールは、更に、
    サーバから送信された各前記グループにおける各行の文字データと前記オーディオデータの属性情報の第二対応関係を受信し、
    前記処理モジュールは、更に、
    前記第二対応関係に基づいて、前記ディスプレーインターフェースに再生された文字データに対して、行に基づいてタイムカウント処理を行って各行の文字データと当該行に対応するオーディオデータの同期再生を制御することを特徴とする請求項20に記載の放送端末。
  22. 前記ディスプレーインターフェースにおける表示方式が他の行の文字データと異なるように、現在に再生されたオーディオデータに対応する当該行の文字データを制御する制御モジュールを更に備えることを特徴とする請求項21に記載の放送端末。
  23. 少なくとも一つのプロセッサとメモリとを備えるサーバであって、
    前記メモリにコンピュータプログラムが記憶され、前記少なくとも一つのプロセッサは前記メモリに記憶されたコンピュータプログラムを実行して請求項1〜6の何れか一つに記載の方法を実現することを特徴とするサーバ。
  24. プロセッサとメモリとを備える放送端末であって、
    前記メモリにコンピュータプログラムが記憶され、前記プロセッサは前記メモリに記憶されたコンピュータプログラムを実行して請求項7〜11の何れか一つに記載の方法を実現することを特徴とする放送端末。
  25. コンピュータプログラムが記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラムが実行されると、請求項1〜6の何れか一つに記載の方法を実現することを特徴とするコンピュータ読取可能な記憶媒体。
  26. コンピュータプログラムが記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラムが実行されると、請求項7〜11の何れか一つに記載の方法を実現することを特徴とするコンピュータ読取可能な記憶媒体。
JP2018202625A 2018-03-26 2018-10-29 画像とオーディオの同期再生の処理方法及びデバイス Active JP6853228B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810251988.7A CN108462892B (zh) 2018-03-26 2018-03-26 图像和音频同步播放的处理方法及设备
CN201810251988.7 2018-03-26

Publications (2)

Publication Number Publication Date
JP2019174783A true JP2019174783A (ja) 2019-10-10
JP6853228B2 JP6853228B2 (ja) 2021-03-31

Family

ID=63238010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018202625A Active JP6853228B2 (ja) 2018-03-26 2018-10-29 画像とオーディオの同期再生の処理方法及びデバイス

Country Status (3)

Country Link
US (1) US10965982B2 (ja)
JP (1) JP6853228B2 (ja)
CN (1) CN108462892B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163354B2 (en) 2019-12-12 2021-11-02 Lenovo (Singapore) Pte. Ltd. Information processing apparatus, and control method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408164B (zh) * 2018-09-07 2022-04-15 百度在线网络技术(北京)有限公司 控制屏幕显示内容的方法、装置、设备及可读存储介质
CN109462777B (zh) * 2018-12-21 2021-05-07 广州酷狗计算机科技有限公司 视频热度更新方法、装置、终端及存储介质
CN110267080A (zh) * 2019-04-30 2019-09-20 北京云迹科技有限公司 用于机器人播报内容同步的数据处理方法以及装置
CN111082950B (zh) * 2019-11-05 2022-12-27 福建升腾资讯有限公司 一种云桌面广播方法、装置、系统、设备和介质
CN112423105B (zh) * 2020-10-27 2024-03-15 深圳Tcl新技术有限公司 数据传输方法、设备及介质
CN112397104B (zh) * 2020-11-26 2022-03-29 北京字节跳动网络技术有限公司 音频与文本的同步方法、装置、可读介质和电子设备
CN114827686A (zh) * 2022-05-09 2022-07-29 维沃移动通信有限公司 录制数据处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244002A (ja) * 2005-03-02 2006-09-14 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
JP2008153886A (ja) * 2006-12-15 2008-07-03 Fujitsu Ltd 複合コンテンツファイルの編集方法および装置並びに再生装置
JP2011511499A (ja) * 2007-12-21 2011-04-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像を再生するための方法及び装置
JP2011223323A (ja) * 2010-04-09 2011-11-04 Ntt Docomo Inc 対話型サービス提供システム、対話型サービス提供装置、動画像提供装置、対話型サービス提供方法、動画像提供プログラム
US20170195384A1 (en) * 2015-12-30 2017-07-06 Le Holdings (Beijing) Co., Ltd. Video Playing Method and Electronic Device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2738686A1 (en) * 2012-11-29 2014-06-04 Thomson Licensing Synchronization of different versions of a multimedia content
CN103440137B (zh) * 2013-09-06 2016-02-10 叶鼎 一种同步显示演奏乐器位置的数字音频播放方法及其系统
CN104113786A (zh) * 2014-06-26 2014-10-22 小米科技有限责任公司 信息获取方法及装置
CN104503996A (zh) * 2014-12-04 2015-04-08 百度在线网络技术(北京)有限公司 信息展现方法和装置
CN106507171B (zh) * 2016-10-13 2019-10-18 深圳市创易联合科技有限公司 多媒体播放方法及多媒体播放器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244002A (ja) * 2005-03-02 2006-09-14 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
JP2008153886A (ja) * 2006-12-15 2008-07-03 Fujitsu Ltd 複合コンテンツファイルの編集方法および装置並びに再生装置
JP2011511499A (ja) * 2007-12-21 2011-04-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像を再生するための方法及び装置
JP2011223323A (ja) * 2010-04-09 2011-11-04 Ntt Docomo Inc 対話型サービス提供システム、対話型サービス提供装置、動画像提供装置、対話型サービス提供方法、動画像提供プログラム
US20170195384A1 (en) * 2015-12-30 2017-07-06 Le Holdings (Beijing) Co., Ltd. Video Playing Method and Electronic Device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163354B2 (en) 2019-12-12 2021-11-02 Lenovo (Singapore) Pte. Ltd. Information processing apparatus, and control method

Also Published As

Publication number Publication date
CN108462892A (zh) 2018-08-28
JP6853228B2 (ja) 2021-03-31
US10965982B2 (en) 2021-03-30
CN108462892B (zh) 2019-08-06
US20190297374A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
JP6853228B2 (ja) 画像とオーディオの同期再生の処理方法及びデバイス
US9589063B2 (en) Two-dimensional code processing method and terminal
CN105721813A (zh) 一种视频轨迹自动形成方法及系统
WO2020151599A1 (zh) 视频同步发布方法、装置、电子设备及可读存储介质
JP6580132B2 (ja) メディアコンテンツに関連付けられた情報を提供する方法および装置
CN102340730A (zh) 多台手机配合播放多声道立体声的方法
WO2014117660A1 (zh) 视频短信的发送、接收方法及其装置和手持电子设备
US20160044368A1 (en) Method, apparatus and system for acquiring playback data stream of real-time video communication
WO2021249323A1 (zh) 一种信息处理方法、系统、装置、电子设备及存储介质
CN105117102A (zh) 音频界面显示方法和装置
CN108900855B (zh) 直播内容录制方法、装置、计算机可读存储介质及服务器
US20160164970A1 (en) Application Synchronization Method, Application Server and Terminal
JP2013088813A (ja) 音源情報管理サービスシステム及び音源情報管理サービス方法
CN104301755B (zh) 一种电视信息获取方法、电视、后台服务器及系统
CN106534478A (zh) 基于异步加载的地图信息展示系统
CN105578248B (zh) 花式拼接播放方法、装置和系统
WO2017071356A1 (zh) 一种基于客户端的网络数据同步的方法、装置以及系统
CN103856819A (zh) 播放速度调整装置及方法
JP2016005015A (ja) コンテンツ配信システム及びコンテンツ配信装置
CN105635837B (zh) 一种视频播放方法和装置
US20200404216A1 (en) Content-Modification System with Determination of Input-Buffer Switching Delay Feature
JP2013118457A (ja) 画面表示制御システムおよび画面表示制御方法
CN107995538B (zh) 视频批注方法及系统
CN107135407A (zh) 一种钢琴视频教学中的同步方法及系统
JP2016004064A (ja) コンテンツ配信装置及びコンテンツ配信システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210311

R150 Certificate of patent or registration of utility model

Ref document number: 6853228

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250