JP2016525765A - マルチメディア再生方法、装置、プログラム、及び記録媒体 - Google Patents

マルチメディア再生方法、装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2016525765A
JP2016525765A JP2016524682A JP2016524682A JP2016525765A JP 2016525765 A JP2016525765 A JP 2016525765A JP 2016524682 A JP2016524682 A JP 2016524682A JP 2016524682 A JP2016524682 A JP 2016524682A JP 2016525765 A JP2016525765 A JP 2016525765A
Authority
JP
Japan
Prior art keywords
sentence
data
start position
audio data
multimedia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016524682A
Other languages
English (en)
Inventor
ビン ワン
ビン ワン
ジーグアン ジェン
ジーグアン ジェン
ドンファン ジ
ドンファン ジ
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2016525765A publication Critical patent/JP2016525765A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02—Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022—Control panels
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22—Means responsive to presence or absence of recorded information signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Studio Circuits (AREA)

Abstract

本発明はマルチメディア再生方法、装置、プログラム、及び記録媒体に関する。前記方法は、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、前記マルチメディア再生を再開する指令が検出されるか、又は前記マルチメディア再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップとを含む。本発明は、一時停止後に再生を再開するとき、ユーザが完全なセンテンスを捕らえて理解することができるようにすることに適用する。【選択図】図１

Description

本願は、出願日が２０１４年６月６日で、出願番号がＣＮ２０１４１０２５０８００．９であり、発明の名称が「マルチメディア再生方法及び装置」である中国特許出願に基づいて優先権を主張し、該中国特許出願の全ての内容を本願に援用する。
本発明はマルチメディア処理の技術分野に関し、特にマルチメディア再生方法及び装置に関する。
従来技術において、ビデオを再生するとき、一時停止することがよく発生する。この一時停止には、例えばユーザの主観的な原因による自発的な一時停止や、ネットワークによる短時間の一時停止が含まれる。一時停止のタイミングは機動性が比較的に高いため、再生を再開したとき、ビデオに流れる音声は往々にして一つのセンテンスの途中から、ひいては一つの字又は単語の途中から始まり、人々はプロットを連続して理解することが難しい。
従来技術において、一部のマルチメディア再生ソフト又はウェブページも、再生過程においてソフト又はウェブページを閉じた後、再びソフトを開いて同一ビデオを再生し、又は再び前回閉じたビデオウェブページを開くとき、一時停止位置から一定時間だけ戻る、巻き戻し再生方法を採用する。例えば、戻る時間値を一定的に５秒間に設定すると、中断した後に再びソフト又はウェブページを開いて元のビデオの再生を再開する際、中断ポイントの前の５秒間から再生を始め、ユーザが前回観賞した記憶につながるようにしている。
このような巻き戻し再生方法は、戻る時間値が予め設定された固定値であり、ユーザに一定の回想の時間を与えてはいるものの、カットインの時間ポイントが比較的に硬直的で、ヒューマニゼーションが十分でない。たとえ５秒間戻っても、一つのセンテンスの途中から再生を再開する状況が生じ、ユーザが完全なセンテンスを理解する上で役に立たないからである。
従来技術に存在する問題を解決するために、本発明の実施例はマルチメディア再生方法及び装置を提供する。
本発明の実施例の第一の態様によれば、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含むマルチメディア再生方法を提供する。
本実施例において、オーディオデータ及び／又は字幕データを分析することで、一つの完全なセンテンスのセンテンス開始位置を確定し、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開した。これにより、一時停止後に再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
また、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと
を含む。
また、前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
を含む。
別の方案において、隣接するオーディオ信号間の時間間隔、又は隣接する字幕間の時間間隔に基づいてセンテンス開始位置を確定することで、後に、センテンス開始位置に基づいてオーディオ又はビデオの再生を再開することができる。これにより、ユーザが再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。また、同時にオーディオデータ及び字幕データに対し分析を行い、二つの完全なセンテンスの間の間隔の位置を確定し、これにより、更に正確的に完全なセンテンスの開始ポイントを取得し、ユーザのセンテンスに対する理解に影響を及ぼさないだけでなく、ユーザが字幕を見ることにも影響を及ぼさない。
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップには、
人声の周波数に基づいて前記オーディオデータをフィルタリングして、人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
別の方案において、人声の通常の周波数に基づいてまずオーディオデータをフィルタリングし、これにより単純に人声オーディオ信号に対し分析を行い、人声オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することで、センテンス開始位置をより正確的に確定することができる。
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から、前記マルチメディアの再生を再開するステップ、
又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップを含む。
別の方案において、複数個のセンテンス開始位置を確定した場合、柔軟的にそのうちの一つを、一時停止後にオーディオ／ビデオ再生を再開する起点として選択することができ、これにより、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するするステップとを更に含む。
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップとを含み、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の第一所定時間長さ内における前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含む。
別の方案において、まず一時停止位置の前の一定時間の時間位置を選択することができ、該時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にすることで、ユーザがビデオにおけるプロットを理解するための充分な時間を取得できるようにする。
本発明の実施例の第二の態様によれば、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するための取得モジュールと、
前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するための分析モジュールと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定されたセンテンス開始位置に基づいて前記マルチメディアの再生を再開するための再生モジュールとを備えるマルチメディア再生装置を提供する。
前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための分析確定ユニットとを備える。
また前記分析モジュールは、
前記取得モジュールにより取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットとを備える。
更に前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットとを備える。
前記分析モジュールは、
人声の周波数に基づいて前記取得モジュールにより取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るためのフィルタリングユニットと、
前記フィルタリングユニットによりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するための前記検出ユニットと、
前記検出ユニットにより検出された隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための前記分析確定ユニットとを更に備える。
前記再生モジュールは、前記分析モジュールが少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するためのものである。
前記取得モジュールは、前記分析モジュールが前記マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
前記分析モジュールは、前記取得モジュールが今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するためのものである。
前記取得モジュールは、マルチメディアの一時停止位置前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、
前記分析モジュールは、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するためのものである。
本発明の実施例の第三の態様によれば、
プロセッサと、
プロセッサが実行可能な指令を記憶するためのメモリとを備え、
前記プロセッサは、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定し、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するように構成されるマルチメディア再生装置を提供する。
以上の一般的な説明及び後述の詳細な説明は、例示的なものに過ぎず、本発明を限定するものではないことを理解すべきである。
本願の図面は明細書に組み込んで明細書の一部とし、本発明に合致する実施例を示すと共に、明細書と共に本発明の原理の解釈に用いられる。
一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。 一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生装置のブロック図である。 一つの例示的な実施例にかかる分析モジュールのブロック図である。 他の一つの例示的な実施例にかかる分析モジュールのブロック図である。 他の一つの例示的な実施例にかかる分析モジュールのブロック図である。 他の一つの例示的な実施例にかかる分析モジュールのブロック図である。 一つの例示的な実施例にかかる、マルチメディア再生に用いられる装置１３００のブロック図である。
ここで、例示的実施例を詳しく説明し、その実施例は図面に示される。以下の説明は図面に係る場合、特別に示されない限り、異なる図面における同じ数字は同じ又は類似の要素を表す。本発明に合致するすべての実施の形態は、以下の例示的実施例で記述される実施の形態に限られない。逆に、以下の例示的実施例で記述される実施の形態は、特許請求の範囲に詳しく記述される、本発明のいくつかの形態に合致する装置及び方法の実例に過ぎない。
本発明の実施例におけるマルチメディアは、ビデオ、オーディオ等を含む。マルチメディア再生過程において一時停止が発生するが、この一時停止は、ユーザが自発的にトリガーしたものであってもよく、ネットワークによるものであってもよい。ユーザによる自発的なマルチメディア再生の一時停止は、操作指令を通じて知ることができる。ネットワークによるマルチメディア再生の一時停止は、ビデオキャッシュ領域における残りの未再生データ量を検出することで知ることができるため、続いて、再生に供するためのビデオキャッシュデータがない場合、ビデオ再生は中止する。
本発明の実施例において、マルチメディア再生が一時停止した後、マルチメディア再生の再開が一つの完全なセンテンスから始まることができるように、マルチメディアのオーディオデータ及び／又は字幕データにおける完全なセンテンスの開始ポイントを分析する。これにより、一定時間を戻る巻き戻し再生による、ユーザがセンテンスを理解することに影響を及ぼすという問題を解決する。
図１は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図１に示すように、マルチメディア再生方法は端末において適用され、以下のようなステップを含む。
ステップＳ１１において、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得する。
ステップＳ１２において、前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定する。
ステップＳ１３において、マルチメディアの再生を再開する指令が検出されるか、又はマルチメディアの再生を再開する条件が満たされた場合、センテンス開始位置に基づいてマルチメディアの再生を再開する。
本実施例において、オーディオデータ及び／又は字幕データを分析することで、一つの完全なセンテンスのセンテンス開始位置を確定し、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開した。これにより、ユーザが再生を再開したとき、完全なセンテンスを捕らえて理解でき、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
一般に、一つの完全なセンテンスは通常１６秒間を超えず、実際の応用のとき、ステップＳ１１において、第一所定時間長さを１６秒間に設定することができる。例えば、図２は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図２に示すように、ユーザがビデオを再生するとき、一時停止位置は３分２０秒のところにあり、一時停止位置の前の１６秒間、即ち３分４秒から３分２０秒までのオーディオデータ及び／又は字幕データを取得し、これらのデータから完全なセンテンスのセンテンス開始位置を確定することができる。
図３は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図３に示すように、ステップＳ１２において、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
ステップＳ３１において、オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出する。
ステップＳ３２において、隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、隣接する二つのオーディオ信号間の任意の時間位置をセンテンス開始位置として確定する。
図４は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図４に示すように、ステップＳ１２において、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
ステップＳ４１において、字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得する。
ステップＳ４２において、字幕の開始表示タイミング及び／又は終了表示タイミングに基づいてセンテンス開始位置を確定する。二つのセンテンスの間には、例えば０．１秒間のような一定時間間隔があるため、オーディオ信号間の間隔時間長さに基づいて完全なセンテンスを確定することができる。同様に、ユーザが観賞する、再生中のオーディオ/ビデオファイルに字幕がある場合、隣接する字幕間の時間間隔に基づいて完全なセンテンスを確定することもできる。例えば、取得した前の一本の字幕の終了表示タイミングが３分４秒１６０ミリ秒で、後の一本の字幕の開始表示タイミングが３分４秒２９０ミリ秒である場合、二本の字幕の間の間隔が１３０ミリ秒間、即ち０．１３秒間であり、０．１秒間を超えているため、この二本の字幕の間にセンテンス開始位置が存在すると判断することができる。
または、一部のオーディオ／ビデオファイルにおいて、一本の字幕自体が一つの完全なセンテンスに対応している。このように、この一本の字幕の開始表示タイミング又は前の一本の字幕の終了表示タイミングに基づいて、センテンス開始位置を確定することができる。
別の方案において、隣接するオーディオ信号間の時間間隔、又は隣接する字幕間の時間間隔に基づいてセンテンス開始位置を確定することにより、後に、センテンス開始位置に基づいてオーディオ又はビデオの再生を再開させることができ、ユーザが再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
図５は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図５に示すように、ステップＳ１２において、オーディオデータと字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
ステップＳ５１において、オーディオデータにおける各オーディオ信号の再生タイミングを検出する。
ステップＳ５２において、隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得する。
ステップＳ５３において、隣接する二つのオーディオ信号の再生タイミング、及び隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいてセンテンス開始位置を確定する。
例えば、オーディオデータを分析することで、隣接する二つのオーディオ信号の再生タイミングである３分９秒と３分１２秒を取得し、この二つの隣接するオーディオ信号の時間間隔は３秒間で、予め設定された０．１秒間より大きく、この二つの隣接するオーディオ信号に対応する隣接する字幕の表示タイミングは３分８秒と３分１１秒で、時間間隔も予め設定された０．１秒間より大きい。従って、少なくとも、３分１０秒のところでオーディオ信号と字幕の空白が同時に生じることを確定することができ、３分１０秒をマルチメディアの再生を再開する起点にすることができる。
別の方案において、オーディオデータ及び字幕データに対して同時に分析を行い、二つの完全なセンテンスの間の間隔の位置を確定し、これにより、更に正確的に完全なセンテンスの開始ポイントを取得し、ユーザのセンテンスに対する理解に影響を及ぼさないだけでなく、ユーザが字幕を見ることにも影響を及ぼさない。
図６は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図６に示すように、ステップＳ１２において、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
ステップＳ６１において、人声の周波数に基づいてオーディオデータをフィルタリングして人声オーディオデータを得る。
ステップＳ６２において、人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出する。
ステップＳ６３において、隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、隣接する二つの人声オーディオ信号間の任意の時間位置をセンテンス開始位置として確定する。
別の方案において、人声以外に、オーディオデータに、バックグラウンド音（音楽、環境音など）の干渉もある場合、オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することができない。この場合、人声の通常の周波数に基づいて、まずオーディオデータをフィルタリングすることができ、これにより単純に人声オーディオ信号に対し分析を行い、人声オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することで、センテンス開始位置をより正確的に確定することができる。
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、ステップＳ１３において、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開する。
例えば、図２に示すように、オーディオデータを分析した後、二つのセンテンス開始位置である３分１０秒と３分１８秒、一時停止位置である３分２０秒を得る。一時停止位置に最も近い３分１８秒からビデオの再生を再開し、又は、予め設定された巻き戻すセンテンスの数が２、即ち、２つのセンテンスを巻き戻してビデオの再生を再開する場合、３分１０秒からビデオの再生を再開することができる。
別の方案において、複数個のセンテンス開始位置を確定した場合、柔軟的にこれらのうちの一つのセンテンス開始位置を、一時停止後にオーディオ／ビデオの再生を再開する起点として選択することができ、これによりユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
また、ステップＳ１１及びステップＳ１２において、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、該方法は更に、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定することを含む。
例えば、図７は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図７に示すように、ユーザがビデオを再生するとき、一時停止位置は３分２０秒のところにあり、取得した一時停止位置の前の１６秒間、即ち、３分４秒から３分２０秒までのオーディオデータ及び／又は字幕データに基づいて、一つの完全なセンテンスのセンテンス開始位置を得ることができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、例えば３分４秒の前に、再び１６秒間、即ち、２分４８秒から３分４秒までのオーディオデータ及び／又は字幕データを取得して、センテンス開始位置を分析する。
別の方案において、一時停止位置の前において、時間の順に、一定時間におけるデータを取得してセンテンス開始位置の分析を行っており、一つの完全なセンテンスのセンテンス開始位置を得ることができない場合、一つのセンテンス開始位置を一時停止後にオーディオ／ビデオの再生を再開する起点として確定できるまで、その前に、再び一定時間におけるデータを取得して分析を行う。これによりユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
また、ステップＳ１１において更に、マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得することができる。
ステップＳ１２において、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定する。
例えば、図８は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図８に示すように、一時停止位置は３分２０秒のところにあり、第一所定時間長さは１６秒間で、第二所定時間長さは５秒間であり、３分１５秒の前の１６秒間、即ち、２分５９秒から３分１５秒までのオーディオデータ及び／又は字幕データを取得する。分析の後にセンテンス開始位置が３分１８秒であることを得る。
別の方案において、まず一時停止位置の前の一定時間、例えば５秒間の前の時間位置を選択することができ、該時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にすることで、ユーザがビデオにおけるプロットを理解するための充分な時間を取得できるようにした。
例えば、図８に示すように、分析の後に、二つのセンテンス開始位置である３分１０秒と３分１８秒を得て、それぞれ、上述した時間位置（３分１５秒）の前、及び上述した時間位置と一時停止位置（３分２０秒）との間にあって、この二つのセンテンス開始位置を、何れも、一時停止後にオーディオ／ビデオの再生を再開するための起点として用いることができる。
別の方案において、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、順番に上述した時間位置３分１５秒の前の少なくとも一つの、１６秒間内のオーディオデータ及び／又は字幕データを取得し、一つの１６秒間内のオーディオデータ及び／又は字幕データを取得するたびに、取得した該１６秒間内のオーディオデータ及び／又は字幕データから、完全なセンテンスのセンテンス開始位置を確定する。
別の方案において、一時停止位置の前の一定時間の時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にする場合、確定されたセンテンス開始位置は該時間位置の前にあってもよく、該時間位置と一時停止位置との間にあってもよい。従って、一時停止後にオーディオ／ビデオの再生を再開する起点の選択がより柔軟になり、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
以下では、それぞれの二つの具体的な例を用いて、本発明のマルチメディア再生方法を具体的に説明する。
例１
図９は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図９に示すように、該方法は以下のようなステップを含む。
ステップＳ９１において、ビデオ再生過程において一時停止が発生し、一時停止位置は５分３６秒である。
ステップＳ９２において、一時停止位置の前の１６秒間のオーディオデータ、即ち５分２０秒から５分３６秒までのオーディオデータを読み取る。
ステップＳ９３において、人声の周波数に基づいて読み取ったオーディオデータをフィルタリングして人声オーディオデータを得る。
ステップＳ９４において、人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出する。
ステップＳ９５において、隣接する二つの人声オーディオ信号間の時間間隔が０．１秒間より大きいかどうかを判断し、そうであれば、ステップＳ９６を実行し、そうでなければ、該隣接する人声オーディオ信号の間の位置はセンテンス開始位置ではない。
ステップＳ９６において、隣接する人声オーディオ信号間の任意の時間位置をセンテンス開始位置として確定し、５分２９秒と５分３３秒の２個のセンテンス開始位置を得る。
ステップＳ９７において、一時停止位置に最も近い５分３３秒を選択してビデオの再生を再開する。
例２
図１０は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図１０に示すように、該方法は以下のようなステップを含む。
ステップＳ１０１において、ビデオ再生過程において一時停止が発生し、一時停止位置は５分３６秒である。
ステップＳ１０２において、後から前の時間の順に、順番に一時停止位置の前の５秒間、即ち５分３１秒の時間位置の前の１６秒間の字幕データを読み取る。
ステップＳ１０３において、毎回読み取った１６秒間の字幕データに基づいてセンテンス開始位置があるかどうかを判断し、そうであれば、ステップＳ９４を実行し、そうでなければ、ステップＳ１０２に戻って、５分１５秒の前の１６秒間の字幕データを読み取る。
ステップＳ１０４において、５分２秒、５分９秒及び５分１３秒の３個のセンテンス開始位置を得る。
ステップＳ１０５において、予め設定された巻き戻すセンテンスの数は２であれば、５分３１秒の前の２つ目のセンテンス、即ち５分９秒の位置に巻き戻してビデオの再生を再開する。
上述した二つの具体的な例において、オーディオデータ及び／又は字幕データを分析することにより、柔軟的に、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開することができる。これにより、ユーザが再生を再開するとき、完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
図１１は、一つの例示的な実施例にかかるマルチメディア再生装置のブロック図である。図１１に示すように、該装置は、取得モジュール１１１、分析モジュール１１２及び再生モジュール１１３を備える。
取得モジュール１１１は、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように構成される。
分析モジュール１１２は、前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するように構成される。
再生モジュール１１３は、前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定された開始位置に基づいて前記マルチメディアの再生を再開するように構成される。
図１２ａは、一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ａに示すように、前記分析モジュール１１２は、検出ユニット１１２１と分析確定ユニット１１２２とを備える。
検出ユニット１１２１は、前記取得モジュール１１１により取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するように構成される。
分析確定ユニット１１２２は、前記検出ユニット１１２１により検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するように構成される。
図１２ｂは他の一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｂに示すように、分析モジュール１１２は、取得ユニット１１２３と分析確定ユニット１１２２とを備える。
取得ユニット１１２３は、前記取得モジュール１１１により取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するように構成される。
分析確定ユニット１１２２は、前記取得ユニット１１２３により取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するように構成される。
図１２ｃは一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｃに示すように、分析モジュール１１２は、検出ユニット１１２１、取得ユニット１１２３及び分析確定ユニット１１２２を備える。
検出ユニット１１２１は、前記取得モジュール１１１により取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するように構成される。
取得ユニット１１２３は、前記検出ユニット１１２１により検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するように構成される。
分析確定ユニット１１２２は、前記取得ユニット１１２３により取得された前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するように構成される。
図１２ｄは一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｄに示すように、前記分析モジュール１１２は、フィルタリングユニット１１２４を更に備える。
フィルタリングユニット１１２４は、人声の周波数に基づいて前記取得モジュール１１１により取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るように構成される。
前記検出ユニット１１２１は、前記フィルタリングユニット１１２４によりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するように構成される。
前記分析確定ユニット１１２２は、前記検出ユニット１１２１により検出された隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するように構成される。
また、前記再生モジュール１１３は、前記分析モジュール１１２が少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するように構成される。
また、前記取得モジュール１１１は、前記分析モジュール１１２が前記マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように配置され、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にある。
前記分析モジュール１１２は、前記取得モジュール１１１が今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するように構成される。
また、前記取得モジュール１１１は、マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように構成される。
また、前記分析モジュール１１２は、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するように構成される。
上記実施例の端末については、各モジュールが操作を実行する具体的な方式は、該方法に関する実施例において詳しく説明したので、ここで、詳しく説明しない。
図１３は一つの例示的な実施例にかかる、マルチメディア再生に用いられる装置１３００のブロック図である。例えば、装置１３００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信設備、ゲームコンソール、タブレット設備、医療設備、フィットネス設備、パーソナルデジタルアシスタント等であってもよい。
図１３に示すように、装置１３００は、プロセスアセンブリ１３０２、メモリ１３０４、電源アセンブリ１３０６、マルチメディアアセンブリ１３０８、オーディオアセンブリ１３１０、入力／出力（Ｉ／Ｏ）インタフェース１３１２、センサアセンブリ１３１４、及び通信アセンブリ１３１６のような１つ以上のアセンブリを含んでよい。
プロセスアセンブリ１３０２は、一般的には装置１３００全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ１３０２は、１つ以上のプロセッサ１３２０を含み、これらによって指令を実行することにより、上記方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ１３０２は、一つ以上のモジュールを含み、これらによってプロセスアセンブリ１３０２と他のアセンブリの間のインタラクションを容易にするようにしてもよい。例えば、プロセスアセンブリ１３０２は、マルチメディアモジュールを含み、これらによってマルチメディアアセンブリ１３０８とプロセスアセンブリ１３０２の間のインタラクションを容易にするようにしてもよい。
メモリ１３０４は、各種類のデータを記憶することにより装置１３００の操作を支援するように構成される。これらのデータの例は、装置１３００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ１３０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
電源アセンブリ１３０６は、装置１３００の多様なアセンブリに電力を供給する。電源アセンブリ１３０６は、電源管理システム、一つ以上の電源、及び装置１３００のための電力の生成、管理及び割り当てに関連する他のアセンブリを含んでもよい。
マルチメディアアセンブリ１３０８は、前記装置１３００とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンとして実現されることができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記タッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記実施例において、マルチメディアアセンブリ１３０８は、一つのフロントカメラ、及び／又はリアカメラを含む。装置１３００が、例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
オーディオアセンブリ１３１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ１３１０は、一つのマイク（ＭＩＣ）を含み、装置１３００が、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ１３０４に記憶されたり、通信アセンブリ１３１６を介して送信されたりされる。上記実施例において、オーディオアセンブリ１３１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
Ｉ／Ｏインターフェイス１３１２は、プロセスアセンブリ１３０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
センサアセンブリ１３１４は、装置１３００に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサアセンブリ１３１４は、装置１３００のＯＮ／ＯＦＦ状態、装置１３００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ１３１４は、装置１３００、或は装置１３００の一つのアセンブリの位置変更、ユーザと装置１３００とが接触しているか否か、装置１３００の方位、又は加速／減速、装置１３００の温度の変化を検出できる。センサアセンブリ１３１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ１３１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ図像センサのような光センサを含んでもよい。上記実施例において、当該センサアセンブリ１３１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
通信アセンブリ１３１６は、装置１３００と他の機器の間に有線、又は無線形態の通信を提供する。装置１３００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信アセンブリ１３１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信アセンブリ１３１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）（登録商標）技術、他の技術に基づいて実現できる。
例示的な実施例において、装置１３００は、一つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
例示的な実施例では、さらに、指令を含むコンピュータ読み取り可能な非一時的な記憶媒体、例えば、指令を含むメモリ１３０４を提供しており、装置１３００のプロセッサ１３１８により前記指令を実行して上記方法を実現する。例えば、コンピュータ読み取り可能な非一時的な記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、および光データ記憶デバイスなどであってもよい。
コンピュータ読み取り可能な非一時的な記憶媒体は、前記記憶媒体の指令がモバイル端末のプロセッサによって実行される場合、モバイル端末がマルチメディア再生方法を実行でき、前記方法は、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含む。
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
また、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップとを含む。
また、前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号の間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップとを含む。
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
人声の周波数に基づいて前記オーディオデータをフィルタリングして人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
隣接する二つの人声オーディオ信号の間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定したとき、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開するステップ、又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップを含む。
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するステップとを更に含む。
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップとを含む。
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の第一所定時間長さにおける前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含む。
当業者にとって、明細書を考慮してこの発明を実施した後、本発明のその他の実施の形態を容易に想到し得ることができる。本願は、本発明のいかなる変形、用途又は適応的変化をカバーすることを目的とし、これら変形、用途又は適応的変化は、本発明の一般的原理に従うとともに、本発明に開示されていない本技術分野における公知の常識又は慣用の技術手段を含む。明細書及び実施例は、例示的なものに過ぎず、本発明の本当の範囲及び主旨は、特許請求の範囲に含まれる。
本発明は、以上のように説明すると共に図面に示された正確な構造に限られず、その要旨を逸脱しない範囲内で各種の補正及び変更を行うことができると理解すべきである。本発明の範囲は、特許請求の範囲のみで限定される。
本願は、出願日が２０１４年６月６日で、出願番号がＣＮ２０１４１０２５０８００．９であり、発明の名称が「マルチメディア再生方法及び装置」である中国特許出願に基づいて優先権を主張し、該中国特許出願の全ての内容を本願に援用する。
本発明はマルチメディア処理の技術分野に関し、特にマルチメディア再生方法、装置、プログラム、及び記録媒体に関する。
従来技術において、ビデオを再生するとき、一時停止することがよく発生する。この一時停止には、例えばユーザの主観的な原因による自発的な一時停止や、ネットワークによる短時間の一時停止が含まれる。一時停止のタイミングは機動性が比較的に高いため、再生を再開したとき、ビデオに流れる音声は往々にして一つのセンテンスの途中から、ひいては一つの字又は単語の途中から始まり、人々はプロットを連続して理解することが難しい。
従来技術において、一部のマルチメディア再生ソフト又はウェブページも、再生過程においてソフト又はウェブページを閉じた後、再びソフトを開いて同一ビデオを再生し、又は再び前回閉じたビデオウェブページを開くとき、一時停止位置から一定時間だけ戻る、巻き戻し再生方法を採用する。例えば、戻る時間値を一定的に５秒間に設定すると、中断した後に再びソフト又はウェブページを開いて元のビデオの再生を再開する際、中断ポイントの前の５秒間から再生を始め、ユーザが前回観賞した記憶につながるようにしている。
このような巻き戻し再生方法は、戻る時間値が予め設定された固定値であり、ユーザに一定の回想の時間を与えてはいるものの、カットインの時間ポイントが比較的に硬直的で、ヒューマニゼーションが十分でない。たとえ５秒間戻っても、一つのセンテンスの途中から再生を再開する状況が生じ、ユーザが完全なセンテンスを理解する上で役に立たないからである。
従来技術に存在する問題を解決するために、本発明の実施例はマルチメディア再生方法、装置、プログラム、及び記録媒体を提供する。
本発明の実施例の第一の態様によれば、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含むマルチメディア再生方法を提供する。
本実施例において、オーディオデータ及び／又は字幕データを分析することで、一つの完全なセンテンスのセンテンス開始位置を確定し、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開した。これにより、一時停止後に再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
また、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと
を含む。
また、前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
を含む。
別の方案において、隣接するオーディオ信号間の時間間隔、又は隣接する字幕間の時間間隔に基づいてセンテンス開始位置を確定することで、後に、センテンス開始位置に基づいてオーディオ又はビデオの再生を再開することができる。これにより、ユーザが再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。また、同時にオーディオデータ及び字幕データに対し分析を行い、二つの完全なセンテンスの間の間隔の位置を確定し、これにより、更に正確的に完全なセンテンスの開始ポイントを取得し、ユーザのセンテンスに対する理解に影響を及ぼさないだけでなく、ユーザが字幕を見ることにも影響を及ぼさない。
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップには、
人声の周波数に基づいて前記オーディオデータをフィルタリングして、人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
別の方案において、人声の通常の周波数に基づいてまずオーディオデータをフィルタリングし、これにより単純に人声オーディオ信号に対し分析を行い、人声オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することで、センテンス開始位置をより正確的に確定することができる。
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から、前記マルチメディアの再生を再開するステップ、
又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップを含む。
別の方案において、複数個のセンテンス開始位置を確定した場合、柔軟的にそのうちの一つを、一時停止後にオーディオ／ビデオ再生を再開する起点として選択することができ、これにより、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するするステップとを更に含む。
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップとを含み、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の第一所定時間長さ内における前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含む。
別の方案において、まず一時停止位置の前の一定時間の時間位置を選択することができ、該時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にすることで、ユーザがビデオにおけるプロットを理解するための充分な時間を取得できるようにする。
本発明の実施例の第二の態様によれば、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するための取得モジュールと、
前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するための分析モジュールと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定されたセンテンス開始位置に基づいて前記マルチメディアの再生を再開するための再生モジュールとを備えるマルチメディア再生装置を提供する。
前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための分析確定ユニットとを備える。
また前記分析モジュールは、
前記取得モジュールにより取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットとを備える。
更に前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットとを備える。
前記分析モジュールは、
人声の周波数に基づいて前記取得モジュールにより取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るためのフィルタリングユニットと、
前記フィルタリングユニットによりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するための前記検出ユニットと、
前記検出ユニットにより検出された隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための前記分析確定ユニットとを更に備える。
前記再生モジュールは、前記分析モジュールが少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するためのものである。
前記取得モジュールは、前記分析モジュールが前記マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
前記分析モジュールは、前記取得モジュールが今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するためのものである。
前記取得モジュールは、マルチメディアの一時停止位置前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、
前記分析モジュールは、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するためのものである。
本発明の実施例の第三の態様によれば、
プロセッサと、
プロセッサが実行可能な指令を記憶するためのメモリとを備え、
前記プロセッサは、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定し、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するように構成されるマルチメディア再生装置を提供する。
本発明の実施例の第四の態様によれば、プロセッサに実行されることにより、前記のマルチメディア再生方法を実現することを特徴とするプログラムを提供する。
本発明の実施例の第五の態様によれば、前記のプログラムが記録された記録媒体を提供する。
以上の一般的な説明及び後述の詳細な説明は、例示的なものに過ぎず、本発明を限定するものではないことを理解すべきである。
本願の図面は明細書に組み込んで明細書の一部とし、本発明に合致する実施例を示すと共に、明細書と共に本発明の原理の解釈に用いられる。
一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。 一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。 一つの例示的な実施例にかかるマルチメディア再生装置のブロック図である。 一つの例示的な実施例にかかる分析モジュールのブロック図である。 他の一つの例示的な実施例にかかる分析モジュールのブロック図である。 他の一つの例示的な実施例にかかる分析モジュールのブロック図である。 他の一つの例示的な実施例にかかる分析モジュールのブロック図である。 一つの例示的な実施例にかかる、マルチメディア再生に用いられる装置１３００のブロック図である。
ここで、例示的実施例を詳しく説明し、その実施例は図面に示される。以下の説明は図面に係る場合、特別に示されない限り、異なる図面における同じ数字は同じ又は類似の要素を表す。本発明に合致するすべての実施の形態は、以下の例示的実施例で記述される実施の形態に限られない。逆に、以下の例示的実施例で記述される実施の形態は、特許請求の範囲に詳しく記述される、本発明のいくつかの形態に合致する装置及び方法の実例に過ぎない。
本発明の実施例におけるマルチメディアは、ビデオ、オーディオ等を含む。マルチメディア再生過程において一時停止が発生するが、この一時停止は、ユーザが自発的にトリガーしたものであってもよく、ネットワークによるものであってもよい。ユーザによる自発的なマルチメディア再生の一時停止は、操作指令を通じて知ることができる。ネットワークによるマルチメディア再生の一時停止は、ビデオキャッシュ領域における残りの未再生データ量を検出することで知ることができるため、続いて、再生に供するためのビデオキャッシュデータがない場合、ビデオ再生は中止する。
本発明の実施例において、マルチメディア再生が一時停止した後、マルチメディア再生の再開が一つの完全なセンテンスから始まることができるように、マルチメディアのオーディオデータ及び／又は字幕データにおける完全なセンテンスの開始ポイントを分析する。これにより、一定時間を戻る巻き戻し再生による、ユーザがセンテンスを理解することに影響を及ぼすという問題を解決する。
図１は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図１に示すように、マルチメディア再生方法は端末において適用され、以下のようなステップを含む。
ステップＳ１１において、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得する。
ステップＳ１２において、前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定する。
ステップＳ１３において、マルチメディアの再生を再開する指令が検出されるか、又はマルチメディアの再生を再開する条件が満たされた場合、センテンス開始位置に基づいてマルチメディアの再生を再開する。
本実施例において、オーディオデータ及び／又は字幕データを分析することで、一つの完全なセンテンスのセンテンス開始位置を確定し、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開した。これにより、ユーザが再生を再開したとき、完全なセンテンスを捕らえて理解でき、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
一般に、一つの完全なセンテンスは通常１６秒間を超えず、実際の応用のとき、ステップＳ１１において、第一所定時間長さを１６秒間に設定することができる。例えば、図２は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図２に示すように、ユーザがビデオを再生するとき、一時停止位置は３分２０秒のところにあり、一時停止位置の前の１６秒間、即ち３分４秒から３分２０秒までのオーディオデータ及び／又は字幕データを取得し、これらのデータから完全なセンテンスのセンテンス開始位置を確定することができる。
図３は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図３に示すように、ステップＳ１２において、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
ステップＳ３１において、オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出する。
ステップＳ３２において、隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、隣接する二つのオーディオ信号間の任意の時間位置をセンテンス開始位置として確定する。
図４は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図４に示すように、ステップＳ１２において、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
ステップＳ４１において、字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得する。
ステップＳ４２において、字幕の開始表示タイミング及び／又は終了表示タイミングに基づいてセンテンス開始位置を確定する。二つのセンテンスの間には、例えば０．１秒間のような一定時間間隔があるため、オーディオ信号間の間隔時間長さに基づいて完全なセンテンスを確定することができる。同様に、ユーザが観賞する、再生中のオーディオ/ビデオファイルに字幕がある場合、隣接する字幕間の時間間隔に基づいて完全なセンテンスを確定することもできる。例えば、取得した前の一本の字幕の終了表示タイミングが３分４秒１６０ミリ秒で、後の一本の字幕の開始表示タイミングが３分４秒２９０ミリ秒である場合、二本の字幕の間の間隔が１３０ミリ秒間、即ち０．１３秒間であり、０．１秒間を超えているため、この二本の字幕の間にセンテンス開始位置が存在すると判断することができる。
または、一部のオーディオ／ビデオファイルにおいて、一本の字幕自体が一つの完全なセンテンスに対応している。このように、この一本の字幕の開始表示タイミング又は前の一本の字幕の終了表示タイミングに基づいて、センテンス開始位置を確定することができる。
別の方案において、隣接するオーディオ信号間の時間間隔、又は隣接する字幕間の時間間隔に基づいてセンテンス開始位置を確定することにより、後に、センテンス開始位置に基づいてオーディオ又はビデオの再生を再開させることができ、ユーザが再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
図５は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図５に示すように、ステップＳ１２において、オーディオデータと字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
ステップＳ５１において、オーディオデータにおける各オーディオ信号の再生タイミングを検出する。
ステップＳ５２において、隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得する。
ステップＳ５３において、隣接する二つのオーディオ信号の再生タイミング、及び隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいてセンテンス開始位置を確定する。
例えば、オーディオデータを分析することで、隣接する二つのオーディオ信号の再生タイミングである３分９秒と３分１２秒を取得し、この二つの隣接するオーディオ信号の時間間隔は３秒間で、予め設定された０．１秒間より大きく、この二つの隣接するオーディオ信号に対応する隣接する字幕の表示タイミングは３分８秒と３分１１秒で、時間間隔も予め設定された０．１秒間より大きい。従って、少なくとも、３分１０秒のところでオーディオ信号と字幕の空白が同時に生じることを確定することができ、３分１０秒をマルチメディアの再生を再開する起点にすることができる。
別の方案において、オーディオデータ及び字幕データに対して同時に分析を行い、二つの完全なセンテンスの間の間隔の位置を確定し、これにより、更に正確的に完全なセンテンスの開始ポイントを取得し、ユーザのセンテンスに対する理解に影響を及ぼさないだけでなく、ユーザが字幕を見ることにも影響を及ぼさない。
図６は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図６に示すように、ステップＳ１２において、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
ステップＳ６１において、人声の周波数に基づいてオーディオデータをフィルタリングして人声オーディオデータを得る。
ステップＳ６２において、人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出する。
ステップＳ６３において、隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、隣接する二つの人声オーディオ信号間の任意の時間位置をセンテンス開始位置として確定する。
別の方案において、人声以外に、オーディオデータに、バックグラウンド音（音楽、環境音など）の干渉もある場合、オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することができない。この場合、人声の通常の周波数に基づいて、まずオーディオデータをフィルタリングすることができ、これにより単純に人声オーディオ信号に対し分析を行い、人声オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することで、センテンス開始位置をより正確的に確定することができる。
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、ステップＳ１３において、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開する。
例えば、図２に示すように、オーディオデータを分析した後、二つのセンテンス開始位置である３分１０秒と３分１８秒、一時停止位置である３分２０秒を得る。一時停止位置に最も近い３分１８秒からビデオの再生を再開し、又は、予め設定された巻き戻すセンテンスの数が２、即ち、２つのセンテンスを巻き戻してビデオの再生を再開する場合、３分１０秒からビデオの再生を再開することができる。
別の方案において、複数個のセンテンス開始位置を確定した場合、柔軟的にこれらのうちの一つのセンテンス開始位置を、一時停止後にオーディオ／ビデオの再生を再開する起点として選択することができ、これによりユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
また、ステップＳ１１及びステップＳ１２において、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、該方法は更に、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定することを含む。
例えば、図７は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図７に示すように、ユーザがビデオを再生するとき、一時停止位置は３分２０秒のところにあり、取得した一時停止位置の前の１６秒間、即ち、３分４秒から３分２０秒までのオーディオデータ及び／又は字幕データに基づいて、一つの完全なセンテンスのセンテンス開始位置を得ることができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、例えば３分４秒の前に、再び１６秒間、即ち、２分４８秒から３分４秒までのオーディオデータ及び／又は字幕データを取得して、センテンス開始位置を分析する。
別の方案において、一時停止位置の前において、時間の順に、一定時間におけるデータを取得してセンテンス開始位置の分析を行っており、一つの完全なセンテンスのセンテンス開始位置を得ることができない場合、一つのセンテンス開始位置を一時停止後にオーディオ／ビデオの再生を再開する起点として確定できるまで、その前に、再び一定時間におけるデータを取得して分析を行う。これによりユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
また、ステップＳ１１において更に、マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得することができる。
ステップＳ１２において、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定する。
例えば、図８は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図８に示すように、一時停止位置は３分２０秒のところにあり、第一所定時間長さは１６秒間で、第二所定時間長さは５秒間であり、３分１５秒の前の１６秒間、即ち、２分５９秒から３分１５秒までのオーディオデータ及び／又は字幕データを取得する。分析の後にセンテンス開始位置が３分１８秒であることを得る。
別の方案において、まず一時停止位置の前の一定時間、例えば５秒間の前の時間位置を選択することができ、該時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にすることで、ユーザがビデオにおけるプロットを理解するための充分な時間を取得できるようにした。
例えば、図８に示すように、分析の後に、二つのセンテンス開始位置である３分１０秒と３分１８秒を得て、それぞれ、上述した時間位置（３分１５秒）の前、及び上述した時間位置と一時停止位置（３分２０秒）との間にあって、この二つのセンテンス開始位置を、何れも、一時停止後にオーディオ／ビデオの再生を再開するための起点として用いることができる。
別の方案において、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、順番に上述した時間位置３分１５秒の前の少なくとも一つの、１６秒間内のオーディオデータ及び／又は字幕データを取得し、一つの１６秒間内のオーディオデータ及び／又は字幕データを取得するたびに、取得した該１６秒間内のオーディオデータ及び／又は字幕データから、完全なセンテンスのセンテンス開始位置を確定する。
別の方案において、一時停止位置の前の一定時間の時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にする場合、確定されたセンテンス開始位置は該時間位置の前にあってもよく、該時間位置と一時停止位置との間にあってもよい。従って、一時停止後にオーディオ／ビデオの再生を再開する起点の選択がより柔軟になり、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
以下では、それぞれの二つの具体的な例を用いて、本発明のマルチメディア再生方法を具体的に説明する。
例１
図９は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図９に示すように、該方法は以下のようなステップを含む。
ステップＳ９１において、ビデオ再生過程において一時停止が発生し、一時停止位置は５分３６秒である。
ステップＳ９２において、一時停止位置の前の１６秒間のオーディオデータ、即ち５分２０秒から５分３６秒までのオーディオデータを読み取る。
ステップＳ９３において、人声の周波数に基づいて読み取ったオーディオデータをフィルタリングして人声オーディオデータを得る。
ステップＳ９４において、人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出する。
ステップＳ９５において、隣接する二つの人声オーディオ信号間の時間間隔が０．１秒間より大きいかどうかを判断し、そうであれば、ステップＳ９６を実行し、そうでなければ、該隣接する人声オーディオ信号の間の位置はセンテンス開始位置ではない（ステップＳ９８）。
ステップＳ９６において、隣接する人声オーディオ信号間の任意の時間位置をセンテンス開始位置として確定し、５分２９秒と５分３３秒の２個のセンテンス開始位置を得る。
ステップＳ９７において、一時停止位置に最も近い５分３３秒を選択してビデオの再生を再開する。
例２
図１０は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図１０に示すように、該方法は以下のようなステップを含む。
ステップＳ１０１において、ビデオ再生過程において一時停止が発生し、一時停止位置は５分３６秒である。
ステップＳ１０２において、後から前の時間の順に、順番に一時停止位置の前の５秒間、即ち５分３１秒の時間位置の前の１６秒間の字幕データを読み取る。
ステップＳ１０３において、毎回読み取った１６秒間の字幕データに基づいてセンテンス開始位置があるかどうかを判断し、そうであれば、ステップＳ１０４を実行し、そうでなければ、ステップＳ１０２に戻って、５分１５秒の前の１６秒間の字幕データを読み取る。
ステップＳ１０４において、５分２秒、５分９秒及び５分１３秒の３個のセンテンス開始位置を得る。
ステップＳ１０５において、予め設定された巻き戻すセンテンスの数は２であれば、５分３１秒の前の２つ目のセンテンス、即ち５分９秒の位置に巻き戻してビデオの再生を再開する。
上述した二つの具体的な例において、オーディオデータ及び／又は字幕データを分析することにより、柔軟的に、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開することができる。これにより、ユーザが再生を再開するとき、完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
図１１は、一つの例示的な実施例にかかるマルチメディア再生装置のブロック図である。図１１に示すように、該装置は、取得モジュール１１１、分析モジュール１１２及び再生モジュール１１３を備える。
取得モジュール１１１は、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように構成される。
分析モジュール１１２は、前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するように構成される。
再生モジュール１１３は、前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定された開始位置に基づいて前記マルチメディアの再生を再開するように構成される。
図１２ａは、一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ａに示すように、前記分析モジュール１１２は、検出ユニット１１２１と分析確定ユニット１１２２とを備える。
検出ユニット１１２１は、前記取得モジュール１１１により取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するように構成される。
分析確定ユニット１１２２は、前記検出ユニット１１２１により検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するように構成される。
図１２ｂは他の一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｂに示すように、分析モジュール１１２は、取得ユニット１１２３と分析確定ユニット１１２２とを備える。
取得ユニット１１２３は、前記取得モジュール１１１により取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するように構成される。
分析確定ユニット１１２２は、前記取得ユニット１１２３により取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するように構成される。
図１２ｃは一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｃに示すように、分析モジュール１１２は、検出ユニット１１２１、取得ユニット１１２３及び分析確定ユニット１１２２を備える。
検出ユニット１１２１は、前記取得モジュール１１１により取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するように構成される。
取得ユニット１１２３は、前記検出ユニット１１２１により検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するように構成される。
分析確定ユニット１１２２は、前記取得ユニット１１２３により取得された前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するように構成される。
図１２ｄは一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｄに示すように、前記分析モジュール１１２は、フィルタリングユニット１１２４を更に備える。
フィルタリングユニット１１２４は、人声の周波数に基づいて前記取得モジュール１１１により取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るように構成される。
前記検出ユニット１１２１は、前記フィルタリングユニット１１２４によりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するように構成される。
前記分析確定ユニット１１２２は、前記検出ユニット１１２１により検出された隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するように構成される。
また、前記再生モジュール１１３は、前記分析モジュール１１２が少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するように構成される。
また、前記取得モジュール１１１は、前記分析モジュール１１２が前記マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように配置され、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にある。
前記分析モジュール１１２は、前記取得モジュール１１１が今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するように構成される。
また、前記取得モジュール１１１は、マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように構成される。
また、前記分析モジュール１１２は、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するように構成される。
上記実施例の端末については、各モジュールが操作を実行する具体的な方式は、該方法に関する実施例において詳しく説明したので、ここで、詳しく説明しない。
図１３は一つの例示的な実施例にかかる、マルチメディア再生に用いられる装置１３００のブロック図である。例えば、装置１３００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信設備、ゲームコンソール、タブレット設備、医療設備、フィットネス設備、パーソナルデジタルアシスタント等であってもよい。
図１３に示すように、装置１３００は、プロセスアセンブリ１３０２、メモリ１３０４、電源アセンブリ１３０６、マルチメディアアセンブリ１３０８、オーディオアセンブリ１３１０、入力／出力（Ｉ／Ｏ）インタフェース１３１２、センサアセンブリ１３１４、及び通信アセンブリ１３１６のような１つ以上のアセンブリを含んでよい。
プロセスアセンブリ１３０２は、一般的には装置１３００全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ１３０２は、１つ以上のプロセッサ１３２０を含み、これらによって指令を実行することにより、上記方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ１３０２は、一つ以上のモジュールを含み、これらによってプロセスアセンブリ１３０２と他のアセンブリの間のインタラクションを容易にするようにしてもよい。例えば、プロセスアセンブリ１３０２は、マルチメディアモジュールを含み、これらによってマルチメディアアセンブリ１３０８とプロセスアセンブリ１３０２の間のインタラクションを容易にするようにしてもよい。
メモリ１３０４は、各種類のデータを記憶することにより装置１３００の操作を支援するように構成される。これらのデータの例は、装置１３００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ１３０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
電源アセンブリ１３０６は、装置１３００の多様なアセンブリに電力を供給する。電源アセンブリ１３０６は、電源管理システム、一つ以上の電源、及び装置１３００のための電力の生成、管理及び割り当てに関連する他のアセンブリを含んでもよい。
マルチメディアアセンブリ１３０８は、前記装置１３００とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンとして実現されることができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記タッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記実施例において、マルチメディアアセンブリ１３０８は、一つのフロントカメラ、及び／又はリアカメラを含む。装置１３００が、例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
オーディオアセンブリ１３１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ１３１０は、一つのマイク（ＭＩＣ）を含み、装置１３００が、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ１３０４に記憶されたり、通信アセンブリ１３１６を介して送信されたりされる。上記実施例において、オーディオアセンブリ１３１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
Ｉ／Ｏインターフェイス１３１２は、プロセスアセンブリ１３０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
センサアセンブリ１３１４は、装置１３００に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサアセンブリ１３１４は、装置１３００のＯＮ／ＯＦＦ状態、装置１３００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ１３１４は、装置１３００、或は装置１３００の一つのアセンブリの位置変更、ユーザと装置１３００とが接触しているか否か、装置１３００の方位、又は加速／減速、装置１３００の温度の変化を検出できる。センサアセンブリ１３１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ１３１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ図像センサのような光センサを含んでもよい。上記実施例において、当該センサアセンブリ１３１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
通信アセンブリ１３１６は、装置１３００と他の機器の間に有線、又は無線形態の通信を提供する。装置１３００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信アセンブリ１３１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信アセンブリ１３１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）（登録商標）技術、他の技術に基づいて実現できる。
例示的な実施例において、装置１３００は、一つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
例示的な実施例では、さらに、指令を含むコンピュータ読み取り可能な非一時的な記憶媒体、例えば、指令を含むメモリ１３０４を提供しており、装置１３００のプロセッサ１３２０により前記指令を実行して上記方法を実現する。例えば、コンピュータ読み取り可能な非一時的な記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、および光データ記憶デバイスなどであってもよい。
コンピュータ読み取り可能な非一時的な記憶媒体は、前記記憶媒体の指令がモバイル端末のプロセッサによって実行される場合、モバイル端末がマルチメディア再生方法を実行でき、前記方法は、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含む。
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
また、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップとを含む。
また、前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号の間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップとを含む。
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
人声の周波数に基づいて前記オーディオデータをフィルタリングして人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
隣接する二つの人声オーディオ信号の間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定したとき、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開するステップ、又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップを含む。
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するステップとを更に含む。
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップとを含む。
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の第一所定時間長さにおける前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含む。
当業者にとって、明細書を考慮してこの発明を実施した後、本発明のその他の実施の形態を容易に想到し得ることができる。本願は、本発明のいかなる変形、用途又は適応的変化をカバーすることを目的とし、これら変形、用途又は適応的変化は、本発明の一般的原理に従うとともに、本発明に開示されていない本技術分野における公知の常識又は慣用の技術手段を含む。明細書及び実施例は、例示的なものに過ぎず、本発明の本当の範囲及び主旨は、特許請求の範囲に含まれる。
本発明は、以上のように説明すると共に図面に示された正確な構造に限られず、その要旨を逸脱しない範囲内で各種の補正及び変更を行うことができると理解すべきである。本発明の範囲は、特許請求の範囲のみで限定される。

Claims (17)

  1. マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
    前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
    前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
    を含むことを特徴とするマルチメディア再生方法。
  2. 前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
    前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
    前記隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップと、
    を含むことを特徴とする請求項１に記載のマルチメディア再生方法。
  3. 前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
    前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
    前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
    を含むことを特徴とする請求項１に記載のマルチメディア再生方法。
  4. 前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
    前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
    隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
    前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
    を含むことを特徴とする請求項１に記載のマルチメディア再生方法。
  5. 前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
    人声の周波数に基づいて前記オーディオデータをフィルタリングして人声オーディオデータを得るステップと、
    前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
    前記隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップと、
    を含むことを特徴とする請求項２乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
  6. 前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、
    前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
    前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開するステップ、
    又は
    予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップ
    を含むことを特徴とする請求項１乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
  7. 前記マルチメディアの一時停止位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
    後から前の時間の順に、前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
    今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
    今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するステップと、
    を更に含むことを特徴とする請求項１乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
  8. 前記マルチメディアの一時停止位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
    マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
    前記時間位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップとを含み、
    前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
    前記時間位置の前の前記第一所定時間長さ内における前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含むことを特徴とする請求項１乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
  9. マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するための取得モジュールと、
    前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するための分析モジュールと、
    前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定されたセンテンス開始位置に基づいて前記マルチメディアの再生を再開するための再生モジュールと、
    を備えることを特徴とするマルチメディア再生装置。
  10. 前記分析モジュールは、
    前記取得モジュールにより取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するための検出ユニットと、
    前記検出ユニットにより検出された前記隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための分析確定ユニットと、
    を備えることを特徴とする請求項９に記載のマルチメディア再生装置。
  11. 前記分析モジュールは、
    前記取得モジュールにより取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
    前記取得ユニットにより取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットと、
    を備えることを特徴とする請求項９に記載のマルチメディア再生装置。
  12. 前記分析モジュールは、
    前記取得モジュールにより取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するための検出ユニットと、
    前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
    前記取得ユニットにより取得された前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットと、
    を備えることを特徴とする請求項９に記載のマルチメディア再生装置。
  13. 前記分析モジュールは、
    人声の周波数に基づいて前記取得モジュールにより取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るためのフィルタリングユニットと、
    前記フィルタリングユニットによりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するための前記検出ユニットと、
    前記検出ユニットにより検出された前記隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための前記分析確定ユニットと、
    を更に備えることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
  14. 前記再生モジュールは、前記分析モジュールが少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（前記Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するためのものであることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
  15. 前記取得モジュールは、前記分析モジュールが前記マルチメディアの一時停止位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのであり、ここで、今回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
    前記分析モジュールは、前記取得モジュールが今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するためのものであることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
  16. 前記取得モジュールは、マルチメディアの一時停止位置前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、
    前記分析モジュールは、前記時間位置の前の前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するためのものであることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
  17. プロセッサと、
    プロセッサが実行可能な指令を記憶するためのメモリとを備え、
    前記プロセッサは、
    マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、
    前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定し、
    前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するように構成されることを特徴とするマルチメディア再生装置。
JP2016524682A 2014-06-06 2014-11-20 マルチメディア再生方法、装置、プログラム、及び記録媒体 Pending JP2016525765A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410250800.9A CN104038827B (zh) 2014-06-06 2014-06-06 多媒体播放方法及装置
CN201410250800.9 2014-06-06
PCT/CN2014/091757 WO2015184738A1 (zh) 2014-06-06 2014-11-20 多媒体播放方法及装置

Publications (1)

Publication Number Publication Date
JP2016525765A true JP2016525765A (ja) 2016-08-25

Family

ID=51469394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016524682A Pending JP2016525765A (ja) 2014-06-06 2014-11-20 マルチメディア再生方法、装置、プログラム、及び記録媒体

Country Status (9)

Country Link
US (2) US9589596B2 (ja)
EP (1) EP2953133B1 (ja)
JP (1) JP2016525765A (ja)
KR (1) KR101657913B1 (ja)
CN (1) CN104038827B (ja)
BR (1) BR112015003350A2 (ja)
MX (1) MX352076B (ja)
RU (1) RU2605361C2 (ja)
WO (1) WO2015184738A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038827B (zh) 2014-06-06 2018-02-02 小米科技有限责任公司 多媒体播放方法及装置
CN107181986A (zh) * 2016-03-11 2017-09-19 百度在线网络技术（北京）有限公司 视频与字幕的匹配方法和装置
CN108885869B (zh) * 2016-03-16 2023-07-18 索尼移动通讯有限公司 控制包含语音的音频数据的回放的方法、计算设备和介质
CN105959829A (zh) * 2016-06-24 2016-09-21 封雷迅 一种用于逐句复读的视频播放方法及工具
CN106373598B (zh) * 2016-08-23 2018-11-13 珠海市魅族科技有限公司 音频重播的控制方法和装置
CN107886939B (zh) * 2016-09-30 2021-03-30 北京京东尚科信息技术有限公司 一种在客户端的中止-接续式文本语音播放方法和装置
WO2018080447A1 (en) * 2016-10-25 2018-05-03 Rovi Guides, Inc. Systems and methods for resuming a media asset
CN110168528A (zh) * 2016-10-25 2019-08-23 乐威指南公司 用于恢复媒体资产的系统和方法
WO2019084181A1 (en) * 2017-10-26 2019-05-02 Rovi Guides, Inc. SYSTEMS AND METHODS FOR RECOMMENDING PAUSE POSITION AND RESUME READING MULTIMEDIA CONTENT
US10362354B2 (en) 2017-10-26 2019-07-23 Rovi Guides, Inc. Systems and methods for providing pause position recommendations
CN108156514B (zh) * 2017-12-27 2020-07-07 Oppo广东移动通信有限公司 媒体文件的播放方法、装置及存储介质
CN108830551A (zh) * 2018-05-25 2018-11-16 北京小米移动软件有限公司 日程提示方法及装置
CN108989897A (zh) * 2018-08-13 2018-12-11 封雷迅 一种按字幕逐句复读的视频播放方法、存储设备及终端
US11113229B2 (en) * 2019-06-03 2021-09-07 International Business Machines Corporation Providing a continuation point for a user to recommence consuming content
CN110598012B (zh) * 2019-09-23 2023-05-30 听典（上海）教育科技有限公司 一种音视频播放的方法及多媒体播放装置
CN111128254B (zh) * 2019-11-14 2021-09-03 网易（杭州）网络有限公司 音频播放方法、电子设备及存储介质
US11514938B2 (en) * 2020-08-19 2022-11-29 Western Digital Technologies, Inc. Data storage device reducing wake latency for magnetic tape
US11647257B2 (en) 2020-10-29 2023-05-09 International Business Machines Corporation Pause playback of media content based on closed caption length and reading speed
CN113886612A (zh) * 2020-11-18 2022-01-04 北京字跳网络技术有限公司 一种多媒体浏览方法、装置、设备及介质
CN112309427A (zh) * 2020-11-26 2021-02-02 北京达佳互联信息技术有限公司 语音回退方法及其装置
CN112712825B (zh) * 2020-12-30 2022-09-23 维沃移动通信有限公司 音频处理方法、装置及电子设备
CN112822552B (zh) * 2021-01-11 2023-06-09 湖南新云网科技有限公司 多媒体资源加载方法、装置、设备及计算机存储介质
DE112021007520T5 (de) * 2021-06-02 2024-04-04 Lg Electronics Inc. Anzeigevorrichtung und Betriebsverfahren dafür

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309294A (ja) * 2000-04-18 2001-11-02 Sanyo Electric Co Ltd 映像信号再生装置
JP2003307997A (ja) * 2002-04-15 2003-10-31 Sony Corp 語学教育システム、音声データ処理装置、音声データ処理方法、音声データ処理プログラム、及び記憶媒体
JP2004157457A (ja) * 2002-11-08 2004-06-03 Nissan Motor Co Ltd 音声提示装置
JP2006208866A (ja) * 2005-01-28 2006-08-10 Sun Corp 再生装置
JP2007041302A (ja) * 2005-08-03 2007-02-15 Casio Comput Co Ltd 音声再生装置および音声再生処理プログラム
US20070112562A1 (en) * 2005-11-15 2007-05-17 Nokia Corporation System and method for winding audio content using a voice activity detection algorithm
JP2007522722A (ja) * 2004-01-26 2007-08-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 先行変更位置からのメディア・ストリームの再生
JP2007235543A (ja) * 2006-03-01 2007-09-13 Funai Electric Co Ltd 光ディスク装置
US20110301728A1 (en) * 2010-06-03 2011-12-08 Google Inc. Continuous audio interaction with interruptive audio
JP2012004722A (ja) * 2010-06-15 2012-01-05 Panasonic Corp コンテンツ再生装置、コンテンツ再生方法、およびコンテンツ再生プログラム
JP2012032817A (ja) * 2010-07-30 2012-02-16 Samsung Electronics Co Ltd マーカー設定方法およびマーカー設定装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08275205A (ja) * 1995-04-03 1996-10-18 Sony Corp データ符号化／復号化方法および装置、および符号化データ記録媒体
WO2001003389A1 (en) * 1999-07-06 2001-01-11 At & T Laboratories Cambridge Ltd. A thin multimedia communication device and method
US20090282444A1 (en) * 2001-12-04 2009-11-12 Vixs Systems, Inc. System and method for managing the presentation of video
KR100456441B1 (ko) * 2002-01-18 2004-11-09 주식회사 휴맥스 저장 매체에 저장된 서비스의 중지 시점부터 서비스를제공하는 방법 및 장치
CN1695197B (zh) * 2002-09-12 2012-03-14 松下电器产业株式会社 播放设备、播放方法、以及记录介质的记录方法
JP4247626B2 (ja) * 2005-01-20 2009-04-02 ソニー株式会社 再生装置および再生方法
CN1956504A (zh) * 2005-10-26 2007-05-02 其乐达科技股份有限公司 影音播放系统的句子分离方法
US9411781B2 (en) * 2006-01-18 2016-08-09 Adobe Systems Incorporated Rule-based structural expression of text and formatting attributes in documents
DE602006020188D1 (de) * 2006-05-08 2011-03-31 Thomson Licensing Verfahren zur wiederaufnahme der inhaltswiedergabe über einrichtungen hinweg mittels lesezeichen.
US7869996B2 (en) * 2006-11-22 2011-01-11 Multimodal Technologies, Inc. Recognition of speech in editable audio streams
JP5026294B2 (ja) 2008-01-29 2012-09-12 京セラ株式会社 コンテンツ再生装置
CN101588470B (zh) * 2008-05-20 2013-05-29 深圳市同洲电子股份有限公司 一种ip-qam视频点播系统的时移暂停方法、系统及设备
US8737806B2 (en) 2008-11-13 2014-05-27 Mitsubishi Electric Corporation Reproduction device and reproduction method
EP2348746B1 (en) * 2008-11-18 2015-03-11 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
CN101963968A (zh) * 2009-07-24 2011-02-02 艾比尔国际多媒体有限公司 多媒体辨识系统与方法,及其应用的多媒体客制化方法
US20130103770A1 (en) * 2011-10-25 2013-04-25 Microsoft Corporation Distributed semi-synchronized event driven playback of multimedia
KR101830656B1 (ko) * 2011-12-02 2018-02-21 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9911361B2 (en) * 2013-03-10 2018-03-06 OrCam Technologies, Ltd. Apparatus and method for analyzing images
US9462032B2 (en) * 2013-07-24 2016-10-04 Google Inc. Streaming media content
CN104038827B (zh) * 2014-06-06 2018-02-02 小米科技有限责任公司 多媒体播放方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309294A (ja) * 2000-04-18 2001-11-02 Sanyo Electric Co Ltd 映像信号再生装置
JP2003307997A (ja) * 2002-04-15 2003-10-31 Sony Corp 語学教育システム、音声データ処理装置、音声データ処理方法、音声データ処理プログラム、及び記憶媒体
JP2004157457A (ja) * 2002-11-08 2004-06-03 Nissan Motor Co Ltd 音声提示装置
JP2007522722A (ja) * 2004-01-26 2007-08-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 先行変更位置からのメディア・ストリームの再生
JP2006208866A (ja) * 2005-01-28 2006-08-10 Sun Corp 再生装置
JP2007041302A (ja) * 2005-08-03 2007-02-15 Casio Comput Co Ltd 音声再生装置および音声再生処理プログラム
US20070112562A1 (en) * 2005-11-15 2007-05-17 Nokia Corporation System and method for winding audio content using a voice activity detection algorithm
JP2007235543A (ja) * 2006-03-01 2007-09-13 Funai Electric Co Ltd 光ディスク装置
US20110301728A1 (en) * 2010-06-03 2011-12-08 Google Inc. Continuous audio interaction with interruptive audio
JP2012004722A (ja) * 2010-06-15 2012-01-05 Panasonic Corp コンテンツ再生装置、コンテンツ再生方法、およびコンテンツ再生プログラム
JP2012032817A (ja) * 2010-07-30 2012-02-16 Samsung Electronics Co Ltd マーカー設定方法およびマーカー設定装置

Also Published As

Publication number Publication date
US9589596B2 (en) 2017-03-07
US20150356997A1 (en) 2015-12-10
KR101657913B1 (ko) 2016-09-19
BR112015003350A2 (pt) 2017-07-04
MX2015002051A (es) 2016-10-28
CN104038827A (zh) 2014-09-10
WO2015184738A1 (zh) 2015-12-10
CN104038827B (zh) 2018-02-02
US9786326B2 (en) 2017-10-10
US20170133060A1 (en) 2017-05-11
KR20160003619A (ko) 2016-01-11
RU2015105625A (ru) 2016-09-10
MX352076B (es) 2017-11-08
EP2953133A1 (en) 2015-12-09
EP2953133B1 (en) 2019-08-07
RU2605361C2 (ru) 2016-12-20

Similar Documents

Publication Publication Date Title
JP2016525765A (ja) マルチメディア再生方法、装置、プログラム、及び記録媒体
EP3125530B1 (en) Video recording method and device
RU2666966C2 (ru) Способ и прибор управления для воспроизведения аудио
CN106911961B (zh) 多媒体数据播放方法及装置
WO2017092247A1 (zh) 一种播放多媒体数据的方法、装置及系统
WO2017201860A1 (zh) 视频直播方法及装置
RU2656691C2 (ru) Способ и клиентский терминал для удаленной поддержки
WO2017181556A1 (zh) 游戏直播方法及装置
AU2013273781B2 (en) Method and apparatus for recording video image in a portable terminal having dual camera
KR101877233B1 (ko) 정보 푸시 방법 및 장치, 및 컴퓨터 판독 가능한 저장 매체
KR20170061102A (ko) 음량 조절 방법, 장치 및 단말기
US20170126801A1 (en) Method, apparatus, and storage medium for performing media synchronization
CN106792173B (zh) 视频播放方法、装置及非临时性计算机可读存储介质
US11545188B2 (en) Video processing method, video playing method, devices and storage medium
US20210258619A1 (en) Method for processing live streaming clips and apparatus, electronic device and computer storage medium
JP6186518B2 (ja) 音声通話プロンプト方法、装置、プログラム及び記録媒体
RU2663709C2 (ru) Способ и устройство для обработки информации
JP2017530493A (ja) 外付け機器の接続方法および装置、プログラム及び記録媒体
CN109087650B (zh) 语音唤醒方法及装置
CN110929054A (zh) 多媒体信息应用界面显示方法及装置、终端、介质
WO2016061927A1 (zh) 描述信息的显示方法及装置、电子设备
CN111432278A (zh) 视频控制方法、装置、终端及存储介质
CN107147957A (zh) 视频播放方法和装置
CN114464186A (zh) 关键词确定方法及装置
CN112511857B (zh) 基于浏览器阻止终端休眠的方法、装置、存储介质及终端

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170606