JP2016531512A - 動画画面の処理方法及び装置 - Google Patents

動画画面の処理方法及び装置 Download PDF

Info

Publication number
JP2016531512A
JP2016531512A JP2016535328A JP2016535328A JP2016531512A JP 2016531512 A JP2016531512 A JP 2016531512A JP 2016535328 A JP2016535328 A JP 2016535328A JP 2016535328 A JP2016535328 A JP 2016535328A JP 2016531512 A JP2016531512 A JP 2016531512A
Authority
JP
Japan
Prior art keywords
screen
key
subtitle
time
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016535328A
Other languages
English (en)
Other versions
JP6266109B2 (ja
Inventor
ジン チャン
ジン チャン
ダンダン シャオ
ダンダン シャオ
チェンホア シュー
チェンホア シュー
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Publication of JP2016531512A publication Critical patent/JP2016531512A/ja
Application granted granted Critical
Publication of JP6266109B2 publication Critical patent/JP6266109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4333—Processing operations in response to a pause request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本発明は、動画画面の処理方法及び装置を提供する。動画画面の処理方法は、現在の動画の情報を取得しと、現在の動画の情報に基づいて現在の動画の完全な字幕付きの動画フレーム画面を含むキー画面をキャプチャし、キー画面を並び替えて画面ライブラリを生成しと、再生リクエストに応じて画面ライブラリから対応するキー画面を読みとって再生させる。本発明の実施形態は、現在の動画の情報を取得し、現在の動画の情報に基づいて現在の動画のキー画面をキャプチャし、キー画面を並び替えて画面ライブラリを生成し、並びに再生リクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させることにより、データ量を節約すると同時に、ネットワークのフリーズの場合、ユーザが動画をプレビューすることを確保し、ユーザにとって、素早く、便利的且つ完全的にストーリを理解することができるようにし、モバイル動画のフリーズのときにユーザが画面から退出することを減少させ、ユーザのエクスペリエンスを向上させることができる。

Description

（関連出願の相互参照）
本出願は、バイドゥオンラインネットワークテクノロジー（ペキン）カンパニーリミテッドが２０１３年１２月４日に提出した、発明の名称が「動画画面の処理方法及び装置」である中国特許出願番号「２０１３１０６４６７８３．６」の優先権を主張する。
本発明は、通信技術分野に関し、特に動画画面の処理方法及び装置に関するものである。
端末技術の迅速な発展に伴い、各機能の応用もますます多様化され、ユーザは端末にさまざまなアプリケーションをインストールし、ビジネス、レジャー、生活等のたくさんの行動に補助しようとしている。
現在、モバイル端末を利用してオンライン動画を視聴するユーザが多いが、オンライン動画の視聴には大量のデータ量が消費される。１分間のモバイル動画を視聴するには、ＳＤ（標準画質）の場合、約４Ｍのデータ量が消費され、ＨＤ（高精細度画質）の場合、約２０Ｍのデータ量が消費されるため、毎月のデータ量が百メガバイト（ＭＢ）しかないユーザにとっては、オンライン動画の視聴に大きな制限がある。
また、ネットワーク速度、動画リソース、携帯電話の性能等によっては、ユーザがモバイル動画を視聴する過程において、フリーズ現象がよく生じる。フリーズされたときには、略半分のユーザは画面から退出するか、又はアプリケーションを停止してしまう。そのため、ユーザの動画視聴のニーズを満たせることができない。
ネットワーク環境が動画リソースの伝送速度に大きく影響することによって、ユーザは静かでモバイルネットワーク環境が良好な場所でのみオンライン動画を視聴することができる。ネットワーク環境が悪い場所では、例えば地下鉄などでは一般に視聴できない。さらに、細切れ時間に視聴することも適切でない。
以上から分かるように、現在、オンライン動画を視聴するには、（１）データ量を大量消費すること、（２）フリーズ現象がひどいこと、（３）視聴できる場所や時間に制限があることなどの問題がある。
上記の問題（１）については、現在はスムーズなトランスコーディングの形式を提供することによって解決されている。上記の問題（２）については、フレーム数を減少したり、ユーザの報告を受けた後に動画リソースを受動的に置き換えさせられたり、又はユーザに動画のノードを変更させたり、フリーズされた部分をスキップさせたりするように推奨することによって解決され、前記フレーム数は最低に２４フレーム／秒まで減少されることができる。上記の問題（３）については、現在解決策はない。
しかしながら、前記スムーズなトランスコーディングとフレーム数を減少する手段は、データ量の消費およびフリーズ現象をある程度改善できるが、その問題は依然に厳しく、ユーザが報告することまたはユーザにノードを変更させるように推奨することは受動的な手段として、フリーズ現象を事後しか解決できない。
本発明は、先行技術に存在する技術問題の少なくとも１つを解決することを趣旨とする。
そのため、本発明は、動画画面の処理方法を提供することを１番目の目的とする。該方法は、現在の動画のキー画面をキャプチャし、キー画面を並び替えて画面ライブラリを生成するとともに、画面ライブラリの中の画面を再生させることにより、データ量を節約し、ユーザにとって素早くかつ便利に動画のストーリを理解することができるようにする。
また、本発明は、動画画面の処理装置を提供することを２番目の目的とする。
前記目的を達成するため、本発明の第一方面の実施形態による動画画面の処理方法は、現在の動画の情報を取得するステップと、前記現在の動画の情報に基づいて現在の動画の完全な字幕付きの動画フレーム画面を含むキー画面をキャプチャするステップと、前記キー画面を並び替えて画面ライブラリを生成するステップと、再生リクエストを受信し、前記再生リクエストに応じて前記画面ライブラリから対応するキー画面を読み取って再生させるステップと、を含む。
本発明の実施形態による動画画面の処理方法は、現在の動画の情報を取得し、現在の動画の情報に基づいて現在の動画のキー画面をキャプチャし、キー画面を並び替えて画面ライブラリを生成し、並びに再生リクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させることにより、データ量を節約すると同時に、ネットワークのフリーズの場合、ユーザが動画を迅速にプレビューすることができ、ユーザにとって、素早くかつ便利的にストーリを理解することができるようにし、モバイル動画のフリーズのときにユーザが画面から退出することを減少させ、ユーザのエクスペリエンスを向上させることができる。
前記目的を達成するため、本発明の第二方面の実施形態による動画画面の処理装置は、取得モジュールと、キャプチャモジュールと、生成モジュールと、再生モジュールと、を含む。
本発明の実施形態による動画画面の処理装置は、現在の動画の情報を取得し、現在の動画の情報に基づいて現在の動画のキー画面をキャプチャし、キー画面を並び替えて画面ライブラリを生成し、並びに再生リクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させることにより、データ量を節約すると同時に、ネットワークのフリーズの場合、ユーザが動画を迅速にプレビューすることができ、ユーザにとって、素早くかつ便利的にストーリを理解することができるようにし、モバイル動画のフリーズのときにユーザが画面から退出することを減少させ、ユーザのエクスペリエンスを向上させることができる。
前記目的を達成するため、本発明の第三方面の実施形態による記憶媒体は、本発明の第一方面の実施形態に記載の前記動画画面の処理方法を実行するためのプログラムを記憶する。
本発明の付加的方面及びメリットは、以下の説明において部分的に述べられ、この説明から一部は明らかになるか、または、本発明の実施により理解され得る。
本発明の上述及び／或いは付加的方面とメリットは、下記の図面を結合した実施形態に対する説明において、明らかになり、容易に理解できる。
本発明の一実施形態による動画画面の処理方法を示すフローチャートである。 本発明の一実施形態による動画を再生する過程を示すフローチャートである。 本発明の１つの具体的な実施形態による現在の動画のキー画面をキャプチャするフローチャートである。 本発明の別の実施形態によるキー字幕時点の系列に対してフレームを補間するブロック図である。 本発明の一実施形態による動画画面の処理装置を示すブロック図である。 本発明の１つの具体的な実施形態による動画画面の処理装置を示すブロック図である。 本発明の１つの具体的な実施形態による動画画面の処理装置を示す別のブロック図である。
以下、本発明の実施形態に対して詳細に説明する。前記実施形態の実例を図面に示すが、相同又は類似の部品或いは相同又は類似の機能を有する部品に対しては同一又は類似の符号で表す。以下、図面を参照しながら説明する実施形態は例示的なものであり、本発明を解釈するためのものであり、本発明を制限するためのものではない。逆に、本発明の実施形態は添付の特許請求の範囲に含まれる要旨及び内包範囲におけるあらゆる変化・変更及び同等物を含む。
本発明の説明における、「第一」や「第二」という用語は、単に説明のためのものであり、相対的な重要性若しくは数量若しくは位置に対する明示的／暗示的なものではない。また、特に規定や限定がない場合、「繋がり」、「接続」などの用語を広義に理解すべきである。例えば、固定的な接続でもよいし、着脱可能な接続でもよいし、一体でもよい。また、机械的な接続でもよいし、電気的な接続でもよい。また、直接的な繋がりでもよいし、別のものを介する間接的な繋がりでもよいし、２つの部品の内部の連通を表してもよい。本分野の当業者としては、具体的な状況に基づいて本発明における上記用語の意味を理解できる。また、本発明の説明において、特に説明がない場合、「複数」は２つまたは２つ以上を指す。
フローチャートまたは他の方式で説明されたいかなる過程または方法は、１つ又は複数の論理機能又は過程のステップを実現するための実行可能な命令のコードのモジュール、断片又は部分であり、並びに本発明の好ましい実施形態は他の形態も含み、例示された又は議論された順序（関与された機能とほぼ同じ方式又は逆の順序を含む）によらず実行できることは当業者としては理解できる。
以下、添付の図面を参照しながら本発明の実施形態に係る動画画面の処理方法及び装置を説明する。
本発明は、現在のオンライン動画を視聴するときに存在しているモバイルデータ量を大量に消費すること、動画のフリーズがひどいこと、視聴可能な場所や時間に制限があること等の問題を解決するために、動画画面の処理方法を提供する。
図１は、本発明の一実施形態による動画画面の処理方法を示すフローチャートである。図１に示したように、該動画画面の処理方法は、以下のステップを含む。
ステップＳ１０１では、現在の動画の情報を取得する。
まずは、動画ライブラリから現在の動画の、動画ソースパス、字幕ファイルパス等を含む情報を取得する。
ステップＳ１０２では、現在の動画の情報に基づいて現在の動画の完全な字幕付きの動画フレーム画面を含むキー画面をキャプチャする。
現在の動画のキー画面をキャプチャするステップにおいて、まずは現在の動画の情報に基づいてキー字幕時点の系列を取得し、キー字幕時点の系列を取得した後、キー字幕時点の系列に対してフレームを補間したり、キー字幕時点の系列におけるキー字幕の時点に対してオフセット補正をしたりし、最後に、キー字幕時点の系列に対応させて現在の動画のキー画面をキャプチャする。なお、フレーム補間処理およびオフセット補正には厳格な実行順序はない。すなわち、フレームを補間した後にオフセット補正をしてもよいし、オフセット補正をした後にフレームを補間してもよい。また、前記オフセット補正およびフレーム補間は選択的なステップであり、フレームを補間した場合、前記キー画面は間隔時間によってフレームを補間した画面を更に含む。
ステップＳ１０３では、キー画面を並び替えて画面ライブラリを生成する。
本実施形態において、再生順番に従ってキャプチャされた現在の動画にキー画面を並び替えて現在の動画の連環画モードの画面ライブラリを生成する。連環画モードとは、キーストーリ閲覧のニーズを満たせるように、動画のキーストーリ画面をキャプチャして、再生時間順に並び替えて生成した一連の画面集である。
ステップＳ１０４では、再生リクエストを受信し、再生リクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させる。
本実施形態において、動画の内容は連環画モードと通常の動画モードを有する。ユーザは、動画の閲覧または連環画モードの画面ライブラリによるストーリの閲覧を選択することができる。２つのモードは相互に切り替えられることができる。動画がフリーズした場合、自動的に連環画モードに切り替えられる。具体的には、動画の再生過程において、動画またはキー画面を自動的にプリロードし、プリロード量があらかじめ設定した閾値より少ない場合（例えば、プリロード量が５秒の連続再生を維持できない場合）、ユーザのストーリ閲覧を優先にするように、自動的に連環画モードに切り替えられる。また、ユーザは手動で動画モードに切り替えてプリロードを引き続き待つこともできる。例えば、図２に示したように、動画ファイルを複数のユニットに分けて、ユニットを単位として動画ファイルをプリロードして再生させる。具体的には、以下のステップＳ２０１〜ステップＳ２０４を含む。
ステップＳ２０１では、１つのユニットをプリロードした後、現在のユニットの動画を再生させる。
ステップＳ２０２では、ユニットの０．７５を再生させたときに、次のユニットのプリロードが完了されたかどうかを判断し、プリロードが完了された場合はステップＳ２０３を実行し、プリロードが完了されなかった場合はステップＳ２０４を実行する。
ステップＳ２０３では、引き続き次のユニットの動画を再生させ、操作を終了する。
ステップＳ２０４では、ユーザがストーリをタイムリーに理解することができるように、連環画モードに切り替えるとともに次のユニットの連環画をプリロードし、その後、動画のプリロードが完了された後に動画モードに切り替えられるように、ステップＳ２０２に戻して対応するユニットの動画を再生させる。
本実施形態において、連環画モードで再生させる場合、自動的に再生させても手動で再生させてもよい。自動的に再生させる場合、自動再生リクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させるとともに、予め設定した時間間隔、例えば３秒ごとに１つのフレームの速度で順番に自動的に画面ライブラリを再生させる。こうすれば、ユーザが順調に字幕を読むことが確保でき、再生速度を、ユーザの動画を閲覧する通常の再生速度と一致にして、ユーザに動画を通常に閲覧する感じを与える。また、再生速度はユーザ自身の要求によって予め設定することもできる。手動で又は自動的に再生させる場合、コールリクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させる。例えば、プリロード量が５秒の連続再生を維持することができない場合、画面ライブラリから対応するキー画面を読み取って再生させる。一定の時間再生させた後、プリロード量が５秒の連続再生を維持することができるようになったら、画面ライブラリからキー画面を読み取るのを停止して通常の動画再生に戻る。
前記連環画モードの利用によって、データ量を節約することができる。例えば、３０分間のＳＤ動画が１００Ｍ以上のデータ量を消費するのに対して、連環画モードでは９Ｍ程度しか消費せず、９０％のデータ量を節約することができる。そのため、ユーザは極めて少ないデータ量でドラマを閲覧することができ、アクセスの頻度とユーザの満足度を向上させることができる。
連環画モードの各フレーム画面において、ユーザのインタラクションを支持する機能を更に提供する。ユーザはキーストーリに対してインタラクションをし、豊かな内容を生成する。その上、動画とピクチャの広告がピクチャの形式で画面ライブラリに挿入されて、ユーザにより多くの情報を提供することができる。ユーザが細切れ時間を利用して、小説を読んだり、写真を閲覧したりするように、環境やネットワークの厳格な制限を受けることなく、いつでもどこでもドラマを閲覧することができる。
本発明の実施形態による動画画面の処理方法は、現在の動画の情報を取得し、現在の動画の情報に基づいて現在の動画のキー画面をキャプチャし、キー画面を並び替えて画面ライブラリを生成し、並びに再生リクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させることにより、データ量を節約すると同時に、ネットワークのフリーズの場合にユーザが動画を迅速にプレビューすることができることによって、ユーザにとって、素早くかつ便利的にストーリを理解するようにして、モバイル動画のフリーズのときにユーザが画面から退出することを減少させ、ユーザのエクスペリエンスを向上させることができる。
現在の動画のキー画面をキャプチャし、ユーザが動画をプレビューして、より快適的、便利的且つ完全的にストーリを理解することができるように、本実施形態は現在の動画のキー画面をキャプチャする方法を提供する。図３に示したように、該方法は以下のステップＳ３０１〜ステップＳ３０２を含む。
ステップＳ３０１では、現在の動画の情報に基づいてキー字幕時点の系列を取得する。
本実施形態において、ネットワーク、音声認識又は画像認識等の技術を利用して現在の動画における各くだりの音声字幕の開始時点と完了時点とを取得し、各くだりの音声字幕の完了時点で１つのフレーム画面をキャプチャすることにより、画面をキャプチャするだけで完全な字幕を閲覧させることができる。
具体的には、字幕ファイルに基づいてキー字幕時点の系列を取得する。動画の字幕は、一般に図形タイプの字幕ファイルと文字列形式の字幕ファイルとに分ける。図形タイプの字幕ファイルについて、その索引ファイルを分析することによって動画における会話のある「字幕時間範囲」の系列を取得し、「．ｓｒｔ、．ａｓｓ」のような文字列形式の字幕ファイルについて、現有のプログラムが自動的に分析することによってその中における「字幕時間範囲」の系列を取得する。最後に、これらの系列における各「字幕時間範囲」メンバーの中間値又はその他の値に基づいて「キー字幕時点」の系列を生成する。もちろん、前記中間値又はその他の値は、完全な字幕付きの動画フレームを取得することができるように設定されている。
字幕ファイルに基づいてキー字幕時点の系列を取得するほか、音声分析、即ち音声認識に基づいて人の声の部分を識別する方法を利用して音声字幕の開始時点と完了時点とを取得し、更にキー字幕時点を取得することもできる。また、画像認識を利用してもよい。即ち予め設定した時間を間隔として、動画を連続的なフレームに変換し、画像認識の方法を利用して特定エリアにおいて完全な字幕を含むフレームを識別し、重複したものを排除した後に最終的な画像フレーム系列を直接取得し、これらの画像フレーム系列に対応する時間をキー字幕時点の系列とする。
前記予め設定した時間が１／２４秒以上であることが望ましい。こうすれば、動画のサンプリング・レートが２４フレーム／秒となるためである。
ステップＳ３０２では、キー字幕時点の系列に対してフレームを補間する。
該ステップは選択的なステップであり、２つのフレーム画像間の時間が長すぎると、例えば予め設定した時間より５秒超えた場合、５秒ごとに１つの「補間されるフレーム」をキャプチャする必要がある。これは、この時間内に音声はないが、アクションショットがある可能性があり、アクションショットもユーザのストーリの理解に影響するためである。そのため、ストーリの連続性を確保するために、１分間の動画を約１５回キャプチャし、各画像のサイズを２０ｋとして、対応する現在の動画のすべての画像ファイルの合計が３００ｋとなるようにする。
具体的には、フレームを補間する過程は以下の通りである。隣接する２つのキー字幕の時点同士の時間間隔が予め設定した値より大きいかどうかを判断する。予め設定した値より大きいと、隣接する２つのキー字幕の時点の間で新規のキー字幕時点を取得し、その新規のキー字幕時点をキー字幕時点の系列に内挿する。例えば、隣接する２つの「キー字幕時点」同士の差が４秒を超える場合には、その間に中間値時点のスクリーンショットを１つ内挿する。図４に示したように、３．４８４と２０．１９６との時間間隔が４秒の４倍よりも大きいため、その間に４つのフレームを内挿する。そのうち、「−ｔｗｅｅｎ」マークが付いたフレームは内挿されたフレームである。２０．１９６と２８．８８７との時間間隔が４秒の２倍よりも大きいため、その間に２つのフレームを内挿する。このように、少なくとも平均４秒内に一枚画像があることを確保することによって、ストーリの連続性を確保する。
前記フレームの補間過程をアルゴリズムで実現した結果の例示は以下のとおりである。省略記号は後続の省略された幾つかのキー時点の系列の対象を表す。
［
｛
ＲＯＷ：“００：００：２３，４５０ −−＞ ００：００
：２９，３８７ “，
ＲＯＷ＿ＳＴＡＲＴ：２３．４５，
ＲＯＷ＿ＥＮＤ：２９．３８７，
ＫＥＹ：２６．４１８５，
ＫＥＹ＿ＯＦＦＳＥＴ＿ＴＨＩＳ：１７．４１８５，
ＫＥＹ＿ＯＦＦＳＥＴ＿ＰＲＥＶ：０，
ＫＥＹ＿ＯＲＤＥＲＳ： ［
３．４８４，
６．９６７，
１０．４５１，
１３．９３５，
１７．４１９
］
｝，
｛
ＲＯＷ：“００：００：３１，４１７ −−＞ ００：００
：３８，０８７ “，
ＲＯＷ＿ＳＴＡＲＴ：３１．４１７，
ＲＯＷ＿ＥＮＤ：３８．０８７，
ＫＥＹ：３４．７５２，
ＫＥＹ＿ＯＦＦＳＥＴ＿ＴＨＩＳ：２５．７５２，
ＫＥＹ＿ＯＦＦＳＥＴ＿ＰＲＥＶ：１７．４１８５，
ＫＥＹ＿ＯＲＤＥＲＳ： ［
２０．１９６，
２２．９７４，
２５．７５２
］
｝，
｛……｝，
｛……｝，
ステップＳ３０３では、キー字幕時点の系列におけるキー字幕時点に対してオフセット補正を行う。
該ステップも選択的なステップであり、通常、字幕ファイルに誤差があるため、字幕ファイルに基づいて取得した「キー字幕時点」に対してオフセットを検証し自動的に修正する必要がある。その修正の手順は最初の１０個の「字幕時間範囲」の開始時間を検証することによりオフセット量のパラメータを確定し、該オフセット量のパラメータを利用して「キー字幕時点」の系列に対してオフセット補正を行う。前記オフセット量のパラメータは、画像認識又は音声認識によって取得された開始時点と字幕ファイルにおける字幕の開始時間とを比較して自動的に取得することもできるし、その他の方法を利用して取得することもできる。
また、前記ステップＳ３０２とステップＳ３０３には厳格な実行順序はない。すなわち、フレームを補間した後にオフセット補正を行ってもよいし、オフセット補正を行った後にフレームを補間してもよい。
ステップＳ３０４では、キー字幕時点の系列に対応させて現在の動画のキー画面をキャプチャする。
本実施形態において、オープンソース （ｏｐｅｎ ｓｏｕｒｃｅ）のフリークロスプラットフォームのビデオとオーディオストリーミングであるＦＦｍｐｅｇ（オーディオとビデオの処理プログラムの一種）を利用して、キー字幕時点の系列に基づき現在の動画のキー画面をキャプチャすることができる。
本実施形態において、キャプチャされた現在の動画のキー画面に対して、動画の再生順序に従って並び替えて、現在の動画の連環画モードの画面ライブラリを生成する。そのうち、連環画モードは、動画のキーストーリの画面をキャプチャし、再生時間順に並び替えて生成した一連の画面集であり、キーストーリ閲覧のニーズを満たせる。連環画モードは、モバイル環境において、ローディング用データ量が少なくかつ速度が速いという優れる利点を有する。１分間の動画において、ＨＤでは約２０Ｍのデータ量を消費し、ＳＤでは約４Ｍのデータ量を消費するが、連環画モードの画面ライブラリでは僅か３００Ｋしか消費しない。ユーザのネットワーク速度が１０ｋ／ｓであるとすれば、ＨＤ動画のローディングには３４分がかかり、ＳＤ動画のローディングには７分がかかるが、連環画モードの画面ライブラリのローディングには僅か３０秒しかかからない。
本発明の実施形態は、キー字幕時点の系列に対してフレームを補間し、更にキー字幕時点の系列におけるキー字幕時点に対してオフセット補正を行うことにより、キャプチャされたキー画面がより連続的、正確的かつ全面的となることによって、ユーザは速やかに動画をプレビューして、より快適的、便利的且つ完全的にストーリを理解することができ、ユーザのエクスペリエンスを向上させることができる。
図５は、本発明の一実施形態による動画画面の処理装置を示すブロック図である。図５に示したように、動画画面の処理装置は、取得モジュール１００と、キャプチャモジュール２００と、生成モジュール３００と、再生モジュール４００と、を含む。
取得モジュール１００は、現在の動画の情報を取得する。
本実施形態において、取得モジュール１００は、動画ライブラリから現在の動画のソースパス、字幕ファイルパス等の情報を取得する。
キャプチャモジュール２００は、取得モジュール１００によって取得された現在の動画の情報に基づいて現在の動画の完全な字幕付きのフレーム画像を含むキー画面をキャプチャする。
本実施形態において、キャプチャモジュール２００は、取得モジュール１００によって取得された現在の動画の情報に基づいてキー字幕時点の系列を取得する。キャプチャモジュール２００は、キー字幕時点の系列を取得した後、キー字幕時点の系列に対してフレームを補間したり、キー字幕時点の系列におけるキー字幕の時点に対してオフセット補正をしたりして、最後に、キー字幕時点の系列に対応させて現在の動画のキー画面をキャプチャする。また、フレーム補間処理とオフセット補正には厳格な実行順序はない。すなわち、フレームを補間した後にオフセット補正をしてもよいし、オフセット補正をした後にフレームを補間してもよい。
生成モジュール３００は、キャプチャモジュール２００によってキャプチャされたキー画面を並び替えて画面ライブラリを生成する。
本実施形態において、生成モジュール３００は、再生順番に従ってキャプチャされた現在の動画にキー画面を並び替えて現在の動画の連環画モードの画面ライブラリを生成する。そのうち、連環画モードは、キーストーリ閲覧のニーズを満たせるように、動画のキーストーリ画面をキャプチャして、再生時間順に並び替えて生成した一連の画面集である。
再生モジュール４００は、再生リクエストを受信し、再生リクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させる。
本実施形態において、動画の内容は連環画モードと通常の動画モードを有する。ユーザは動画を閲覧してもよいし、連環画モードの画面ライブラリによってストーリを一覧してもよい。２つのモードは相互に切り替えることができる。動画がフリーズした場合、自動的に連環画モードに切り替えられる。具体的には、動画の再生過程において、動画またはキー画面を自動的にプリロードし、プリロード量があらかじめ設定した閾値より少ない場合（例えば、プリロード量が５秒の連続再生を維持できない場合）、ユーザのストーリ閲覧を優先にするように、自動的に連環画モードに切り替える。また、ユーザは手動で動画モードに切り替えてプリロードを引き続き待たせることもできる。
本実施形態において、連環画モードで再生させる場合、自動的に再生させても手動で再生させてもよい。自動的に再生させる場合、再生モジュール４００は、自動再生のリクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させるとともに、３秒ごとに１つのフレームの速度で順番に自動的に画面ライブラリを再生させる。こうすれば、ユーザが順調に字幕を読むことが確保でき、同時に通常のドラマの再生時間と一致する。また、再生速度は、ユーザ自身の要求によって予め設定することもできる。手動で又は自動的に再生させる場合、再生モジュール４００は、コールリクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させる。例えば、プリロード量が５秒の連続再生を維持することができない場合、画面ライブラリから対応するキー画面を読み取って再生させる。一定の時間再生させた後、プリロード量が５秒の連続再生を維持することができるようになったら、画面ライブラリからキー画面を読み取るのを停止して通常の動画再生に戻る。
前記連環画モードの利用によって、データ量を節約することができる。例えば、３０分間の動画において、ＳＤでは１００Ｍ以上のデータ量を消費するのに対して、連環画モードでは９Ｍ程度しか消費せず、９０％のデータ量を節約することができる。そのため、ユーザは極めて少ないデータ量でドラマを閲覧することができ、アクセスの頻度とユーザの満足度を向上することができる。
連環画モードの各フレーム画面において、ユーザのインタラクションを支持する機能を更に提供する。ユーザはキーストーリに対してインタラクションをし、豊かな内容を生成する。その上、動画とピクチャの広告がピクチャの形式で画面ライブラリに挿入されて、ユーザにより多くの情報を提供することができる。ユーザが細切れ時間を利用して、小説を読んだり、写真を閲覧したりするように、環境やネットワークの厳格な制限を受けることなく、いつでもどこでもドラマを閲覧することができる。
本発明の実施形態による動画画面の処理装置は、現在の動画の情報を取得し、現在の動画の情報に基づいて現在の動画のキー画面をキャプチャし、キー画面を並び替えて画面ライブラリを生成し、並びに再生リクエストに応じて画面ライブラリから対応するキー画面を読み取って再生させることにより、データ量を節約すると同時に、ネットワークのフリーズの場合にユーザが動画を迅速にプレビューすることができることによって、ユーザにとって素早く便利にストーリを理解するようにして、モバイル動画のフリーズのときにユーザが画面から退出することを低減させ、ユーザのエクスペリエンスを向上させることができる。
図６は、本発明の具体的な実施形態による動画画面の処理装置を示すブロック図であり、図７は、本発明の具体的な実施形態による動画画面の処理装置を示す別のブロック図である。図６および図７に示したように、動画画面の処理装置は、取得モジュール１００と、キャプチャモジュール２００と、生成モジュール３００と、再生モジュール４００と、を含む。そのうち、キャプチャモジュール２００は、時点系列取得ユニット２１０と、キャプチャユニット２２０と、フレーム補間ユニット２３０と、補正ユニット２４０と、を含む。
時点系列取得ユニット２１０は、現在の動画の情報に基づいてキー字幕時点の系列を取得する。
本実施形態において、時点系列取得ユニット２１０は、ネットワーク、音声認識又は画像認識等の技術を利用して現在の動画における各くだりの音声字幕の開始時点と完了時点とを取得し、各くだりの音声字幕の完了時点に１つのフレームの画面をキャプチャすることにより、画面をキャプチャするだけで完全な字幕を閲覧することができる。
具体的には、時点系列取得ユニット２１０は、字幕ファイルに基づいてキー字幕時点の系列を取得する。動画の字幕は、一般に図形タイプの字幕ファイルと文字列形式の字幕ファイルとに分ける。時点系列取得ユニット２１０は、図形タイプの字幕ファイルについて、その索引ファイルを分析することによって動画における会話のある「字幕時間範囲」の系列を取得し「．ｓｒｔ、．ａｓｓ」のような文字列形式の字幕ファイルについて、現有のプログラムが自動的に分析することによってその中における「字幕時間範囲」のを取得する。最後に、これらの系列における各「字幕時間範囲」メンバーの中間値又はその他の値に基づいて「キー字幕時点」の系列を生成する。もちろん、前記中間値又はその他の値は、完全な字幕付きの動画フレームを取得することができるように設定されている。
字幕ファイルに基づいてキー字幕時点の系列を取得するほか、時点系列取得ユニット２１０は、音声分析、即ち音声認識に基づいて人の声の部分を識別する方法を利用して音声字幕の開始時点と完了時点とを取得し、更にキー字幕時点を取得することもできる。また、時点系列取得ユニット２１０は、画像認識を利用してもよい。即ち０．５Ｓを間隔として、動画を連続的なフレームに変換し、画像認識の方法を利用して特定エリアにおいて完全な字幕を含むフレームを識別し、重複したものを排除した後に最終的な画像フレーム系列を直接取得し、これらの画像フレーム系列に対応する時間をキー字幕時点の系列とする。
キャプチャユニット２２０は、キー字幕時点の系列に対応させて現在の動画のキー画面をキャプチャする。
フレーム補間ユニット２３０は、時点系列取得ユニット２１０によって取得された又は補正ユニット２４０によって補正されたキー字幕時点の系列における隣接する２つのキー字幕の時点同士の時間間隔が予め設定した値より大きいかどうかを判断する。予め設定した値より大きいと、隣接する２つのキー字幕の時点の間で新規のキー字幕時点を取得し、その新規のキー字幕時点をキー字幕時点の系列に内挿する。
２つのフレーム画像間の時間が長すぎると、例えば予め設定した時間より５秒超えた場合、５秒ごとに１つの「補間されるフレーム」をキャプチャする必要がある。これは、この時間内に音声はないが、アクションショットがある可能性があり、アクションショットもユーザのストーリの理解に影響するためである。そのため、ストーリの連続性を確保するために、１分間の動画を約１５回キャプチャし、各画像のサイズを２０ｋとして、対応する現在の動画のすべての画像ファイルの合計が３００ｋとなるようにする。
具体的には、フレーム補間ユニット２３０は、隣接する２つのキー字幕の時点同士の時間間隔が予め設定した値より大きいかどうかを判断し、予め設定した値より大きいと、隣接する２つのキー字幕の時点の間で新規のキー字幕時点を取得し、その新規のキー字幕時点をキー字幕時点の系列に内挿する。例えば、隣接する２つの「キー字幕時点」同士の差が５秒を超える場合には、その間に中間値時点のスクリーンショットを１つ内挿し、６秒を超える場合には、スクリーンショットを２つ内挿する。このように、少なくとも平均４秒内に一枚画像があることを確保することによって、ストーリの連続性を確保する。
補正ユニット２４０は、時点系列取得ユニット２１０又はフレーム補間ユニット２３０によって取得されたキー字幕時点の系列におけるキー字幕時点に対してオフセット補正を行う。
通常、字幕ファイルに誤差があるため、字幕ファイルに基づいて取得した「キー字幕時点」に対してオフセットを検証し自動的に修正する必要がある。補正ユニット２４０は、最初の１０個の「字幕時間範囲」の開始時間を検証することによりオフセット量のパラメータを確定し、該オフセット量のパラメータを利用して「キー字幕時点」の系列に対してオフセット補正を行う。前記オフセット量のパラメータは、画像認識又は音声認識によって取得された開始時点と字幕ファイルにおける字幕の開始時間とを比較して自動的に取得することもできるし、その他の方法を利用して取得することもできる。
また、フレーム補間ユニット２３０によるフレーム補間処理と補正ユニット２４０によるオフセット補正には厳格な実行順序はない。すなわち、フレームを補間した後にオフセット補正を行ってもよいし、オフセット補正を行った後にフレームを補間してもよい。
本発明の実施形態に係る動画画面の処理装置は、キー字幕時点の系列に対してフレームを補間し、更にキー字幕時点の系列におけるキー字幕時点に対してオフセット補正を行うことにより、キャプチャされたキー画面がより連続的且つ正確的となることによって、ユーザは速やかに動画をプレビューして、より快適的且つ便利的にストーリを理解することができ、ユーザのエクスペリエンスを向上させることができる。
前記実施形態を実現するために、本発明は、プログラムを記憶するための記憶媒体を更に提供する。このプログラムは、本発明のいずれか一項の実施形態に係る動画画面の処理方法を実行するためのものである。
また、本発明の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで実現することができる。上記実施形態において、複数のステップ又は方法は、メモリに格納され且つ適切な命令実行システムにより実行されるソフトウェアまたはファームウェアで実現することができる。例えば、ハードウェアで実現する場合、他の実施形態と同様に、本分野の公知技術である、データ信号に対して論理機能を実現するための論理ゲート回路を有するディスクリート論理回路、適切な組み合わせの論理ゲート回路を有する専用集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのいずれか１つ又はそれらの組み合わせで実現することができる。
本明細書の説明において、用語の「一実施形態」、「一部の実施形態」、「例示」、「具体的な例示」、又は「一部の例示」等の用語は、当該実施形態又は例示と合わせて説明された具体的な特徴、構成、材料又は特性が本発明の少なくとも１つの実施形態又は例示に含まれることを意味する。本明細書において、上記の用語の概略表現は必ずしも同じ実施形態又は例示を指さず、且つ、任意の１つ又は幾つの実施形態や例示において、説明された具体的な特徴、構成、材料又は特性を適当な方法で組み合わせることもできる。
本発明の実施形態を示して説明したが、当業者にとって理解できるのは、本発明の原理と要旨から逸脱しない範囲で、これらの実施形態に対し様々な変更、修正、置換および変形をすることができる。本発明の技術範囲は、特許請求の範囲及びその均等構成を基準にする。

Claims (13)

  1. 現在の動画の情報を取得するステップと、
    前記現在の動画の情報に基づいて現在の動画の完全な字幕付きの動画フレーム画面を含むキー画面をキャプチャするステップと、
    前記キー画面を並び替えて画面ライブラリを生成するステップと、
    再生リクエストを受信し、前記再生リクエストに応じて前記画面ライブラリから対応するキー画面を読み取って再生させるステップと、
    を含むことを特徴とする動画画面の処理方法。
  2. 前記現在の動画の情報に基づいて現在の動画のキー画面をキャプチャするステップは、
    前記現在の動画の情報に基づいてキー字幕時点の系列を取得するステップと、
    前記キー字幕時点の系列に対応させて現在の動画のキー画面をキャプチャするステップと、
    を含むことを特徴とする請求項１に記載の動画画面の処理方法。
  3. 前記動画画面の処理方法は、
    前記現在の動画の情報に基づいてキー字幕時点の系列を取得した後、前記キー字幕時点の系列に対応させて現在の動画のキー画面をキャプチャする前に、
    隣接する２つのキー字幕の時点同士の時間間隔が予め設定した値より大きいかどうかを判断し、予め設定した値より大きいと、前記隣接する２つのキー字幕の時点の間で新規のキー字幕時点を取得し、前記新規のキー字幕時点を前記キー字幕時点の系列に内挿するステップ、及び／又は
    前記キー字幕時点の系列におけるキー字幕時点に対してオフセット補正を行うステップを更に含むことを特徴とする請求項２に記載の動画画面の処理方法。
  4. 前記現在の動画の情報に基づいてキー字幕時点の系列を取得するステップは、
    前記現在の動画の字幕ファイルに基づいて字幕時間範囲系列を取得し、字幕時間範囲系列に基づいてキー字幕時点の系列を生成するステップ、又は
    現在の動画に対して音声認識を行って字幕時間範囲系列を取得し、字幕時間範囲系列に基づいてキー字幕時点の系列を生成するステップ、又は
    現在の動画を動画フレームに変換しかつ画像認識の方法を利用して特定エリアに完全な字幕付きの動画フレーム系列を識別し、前記動画フレーム系列に対して重複したものを排除し、重複排除された動画フレーム系列に対応する時間をキー字幕時点の系列とするステップを含むことを特徴とする請求項２又は３に記載の動画画面の処理方法。
  5. 前記再生リクエストを受信し、前記再生リクエストに応じて前記画面ライブラリから対応するキー画面を読み取って再生させるステップは、
    自動再生のリクエストを受信し、該自動再生のリクエストに応じて順番に前記画面ライブラリから対応するキー画面を読み取って再生させるステップ、又は
    コールリクエストを受信し、前記コールリクエストに応じて前記画面ライブラリから対応するキー画面を読み取って再生させるステップを含むことを特徴とする請求項１に記載の動画画面の処理方法。
  6. 前記動画画面の処理方法は、
    前記コールリクエストに応じて前記画面ライブラリから対応するキー画面を読み取って再生させた後に、
    再生停止のリクエストを受信し、前記再生停止のリクエストに応じて前記画面ライブラリからキー画面を読み取るのを停止するステップを更に含むことを特徴とする請求項５に記載の動画画面の処理方法。
  7. 現在の動画の情報を取得するための取得モジュールと、
    前記取得モジュールによって取得された前記現在の動画の情報に基づいて現在の動画の完全な字幕付きの動画フレーム画面を含むキー画面をキャプチャするためのキャプチャモジュールと、
    前記キャプチャモジュールによってキャプチャされた前記キー画面を並び替えて画面ライブラリを生成するための生成モジュールと、
    再生リクエストを受信し、前記再生リクエストに応じて前記生成モジュールによって生成された前記画面ライブラリから対応するキー画面を読み取って再生させるための再生モジュールと、
    を含むことを特徴とする動画画面の処理装置。
  8. 前記キャプチャモジュールは、
    前記現在の動画の情報に基づいてキー字幕時点の系列を取得するための時点系列取得ユニットと、
    前記キー字幕時点の系列に対応させて現在の動画のキー画面をキャプチャするためのキャプチャユニットと、
    を含むことを特徴とする請求項７に記載の動画画面の処理装置。
  9. 前記キャプチャモジュールは、前記時点系列取得ユニットと前記キャプチャユニットとの間に位置するフレーム補間ユニットと補正ユニットを更に含み、
    前記フレーム補間ユニットは、前記時点系列取得ユニットによって取得された、又は前記補正ユニットによって補正されたキー字幕時点の系列における隣接する２つのキー字幕の時点同士の時間間隔が予め設定した値より大きいかどうかを判断し、予め設定した値より大きいと、前記隣接する２つのキー字幕の時点の間で新規のキー字幕時点を取得し、前記新規のキー字幕時点を前記キー字幕時点の系列に内挿するためのものであり、及び／又は
    前記補正ユニットは、前記時点系列取得ユニット又は前記フレーム補間ユニットによって取得された前記キー字幕時点の系列におけるキー字幕時点に対してオフセット補正を行うためのものであることを特徴とする請求項８に記載の動画画面の処理装置。
  10. 前記時点系列取得ユニットは、
    前記現在の動画の字幕ファイルに基づいて字幕時間範囲系列を取得し、字幕時間範囲系列に基づいてキー字幕時点の系列を生成するためのもの、又は
    現在の動画に対して音声認識を行って字幕時間範囲系列を取得し、字幕時間範囲系列に基づいてキー字幕時点の系列を生成するためのもの、又は
    現在の動画を動画フレームに変換しかつ画像認識の方法を利用して特定エリアに完全な字幕付きの動画フレーム系列を識別し、前記動画フレーム系列に対して重複したものを排除し、重複排除された動画フレーム系列に対応する時間をキー字幕時点の系列とするためのものであることを特徴とする請求項８又は請求項９に記載の動画画面の処理装置。
  11. 前記再生モジュールは、
    自動再生のリクエストを受信し、該自動再生のリクエストに応じて順番に前記画面ライブラリから対応するキー画面を読み取って再生させるためのもの、又は
    コールリクエストを受信し、前記コールリクエストに応じて前記画面ライブラリから対応するキー画面を読み取って再生させるためのものであることを特徴とする請求項７に記載の動画画面の処理装置。
  12. 前記再生モジュールは、
    前記コールリクエストに応じて前記画面ライブラリから対応するキー画面を読み取って再生させた後に、再生停止のリクエストを受信し、前記再生停止のリクエストに応じて前記画面ライブラリからキー画面を読み取るのを停止するためにも用いられることを特徴とする請求項１１に記載の動画画面の処理装置。
  13. 請求項１〜６のいずれか一項に記載の前記動画画面の処理方法を実行するためのプログラムを記憶したことを特徴とする記憶媒体。
JP2016535328A 2013-12-04 2014-10-30 動画画面の処理方法及び装置 Active JP6266109B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310646783.6 2013-12-04
CN201310646783.6A CN103634605B (zh) 2013-12-04 2013-12-04 视频画面的处理方法及装置
PCT/CN2014/089946 WO2015081776A1 (zh) 2013-12-04 2014-10-30 视频画面的处理方法及装置

Publications (2)

Publication Number Publication Date
JP2016531512A true JP2016531512A (ja) 2016-10-06
JP6266109B2 JP6266109B2 (ja) 2018-01-24

Family

ID=50215178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016535328A Active JP6266109B2 (ja) 2013-12-04 2014-10-30 動画画面の処理方法及び装置

Country Status (5)

Country Link
US (1) US9973793B2 (ja)
JP (1) JP6266109B2 (ja)
KR (1) KR101746165B1 (ja)
CN (1) CN103634605B (ja)
WO (1) WO2015081776A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
CN103634605B (zh) * 2013-12-04 2017-02-15 百度在线网络技术（北京）有限公司 视频画面的处理方法及装置
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
CN105635749B (zh) * 2014-10-31 2017-03-22 广州市动景计算机科技有限公司 产生视频帧集合的方法和设备
CN104581407A (zh) * 2014-12-31 2015-04-29 北京奇艺世纪科技有限公司 一种视频预览的方法和装置
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11164548B2 (en) * 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
CN105635849B (zh) * 2015-12-25 2018-06-05 网易传媒科技（北京）有限公司 多媒体文件播放时的文本显示方法和装置
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
CN106201713B (zh) * 2016-06-30 2019-10-22 宇龙计算机通信科技(深圳)有限公司 一种卡顿的处理方法及系统
CN106295592A (zh) * 2016-08-17 2017-01-04 北京金山安全软件有限公司 一种媒体文件字幕的识别方法、装置及电子设备
CN106454151A (zh) * 2016-10-18 2017-02-22 珠海市魅族科技有限公司 视频画面拼接方法及装置
CN108124164B (zh) * 2016-11-28 2021-10-26 广州方硅信息技术有限公司 一种视频播放的方法、系统、主播端设备及客户端设备
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
KR101924634B1 (ko) * 2017-06-07 2018-12-04 네이버 주식회사 콘텐츠 제공 서버, 콘텐츠 제공 단말 및 콘텐츠 제공 방법
CN107484018B (zh) * 2017-07-31 2019-05-17 维沃移动通信有限公司 一种视频截图方法、移动终端
CN109756767B (zh) * 2017-11-06 2021-12-14 腾讯科技（深圳）有限公司 预览数据播放方法、装置及存储介质
CN109936763B (zh) * 2017-12-15 2022-07-01 腾讯科技（深圳）有限公司 视频的处理及发布方法
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
CN110198467A (zh) * 2018-02-27 2019-09-03 优酷网络技术（北京）有限公司 视频播放方法及装置
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
CN108833973B (zh) * 2018-06-28 2021-01-19 腾讯科技（深圳）有限公司 视频特征的提取方法、装置和计算机设备
CN108924626B (zh) 2018-08-17 2021-02-23 腾讯科技（深圳）有限公司 图片生成方法、装置、设备及存储介质
CN109672932B (zh) * 2018-12-29 2021-09-28 深圳Tcl新技术有限公司 辅助视力障碍者观看视频的方法、系统、设备及存储介质
CN109714644B (zh) * 2019-01-22 2022-02-25 广州虎牙信息科技有限公司 一种视频数据的处理方法、装置、计算机设备和存储介质
CN109859298B (zh) * 2019-03-05 2023-06-30 腾讯科技（深圳）有限公司 一种图像处理方法及其装置、设备和存储介质
CN109803180B (zh) * 2019-03-08 2022-05-20 腾讯科技（深圳）有限公司 视频预览图生成方法、装置、计算机设备及存储介质
US11011183B2 (en) * 2019-03-25 2021-05-18 Cisco Technology, Inc. Extracting knowledge from collaborative support sessions
CN112118494B (zh) * 2019-06-20 2022-09-20 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
CN110490101A (zh) * 2019-07-30 2019-11-22 平安科技（深圳）有限公司 一种图片截取方法、装置及计算机存储介质
CN110784750B (zh) * 2019-08-13 2022-11-11 腾讯科技（深圳）有限公司 视频播放方法、装置及计算机设备
CN110602546A (zh) * 2019-09-06 2019-12-20 Oppo广东移动通信有限公司 视频生成方法、终端及计算机可读存储介质
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
CN111161392B (zh) * 2019-12-20 2022-12-16 苏宁云计算有限公司 一种视频的生成方法、装置及计算机系统
CN111104913B (zh) * 2019-12-23 2023-03-24 福州大学 一种基于结构及相似度的视频提取ppt方法
US12096081B2 (en) 2020-02-18 2024-09-17 JBF Interlude 2009 LTD Dynamic adaptation of interactive video players using behavioral analytics
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US12047637B2 (en) 2020-07-07 2024-07-23 JBF Interlude 2009 LTD Systems and methods for seamless audio and video endpoint transitions
CN113766149A (zh) * 2020-08-28 2021-12-07 北京沃东天骏信息技术有限公司 字幕拼接图片的拼接方法、装置、电子设备和存储介质
US11625928B1 (en) * 2020-09-01 2023-04-11 Amazon Technologies, Inc. Language agnostic drift correction
CN112672090B (zh) * 2020-12-17 2023-04-18 深圳随锐视听科技有限公司 一种云视频会议中优化音视频效果的方法
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292965A (ja) * 1995-02-20 1996-11-05 Hitachi Ltd 映像支援システム
JPH11313048A (ja) * 1998-04-24 1999-11-09 Kokusai Electric Co Ltd マルチメディア通信方法及び通信装置
JP2009049510A (ja) * 2007-08-14 2009-03-05 Nippon Hoso Kyokai <Nhk> 静止画抽出装置及び静止画抽出プログラム
JP2009076970A (ja) * 2007-09-18 2009-04-09 Kddi Corp 要約コンテンツ生成装置およびコンピュータプログラム
JP2010233019A (ja) * 2009-03-27 2010-10-14 Kddi Corp 字幕ずれ補正装置、再生装置および放送装置
JP2011061670A (ja) * 2009-09-14 2011-03-24 Kddi Corp 要約コンテンツを表示する表示装置、方法及びプログラム
JP2013030963A (ja) * 2011-07-28 2013-02-07 Nippon Hoso Kyokai <Nhk> 映像字幕検出装置およびそのプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4616274B2 (ja) 2004-11-02 2011-01-19 株式会社テレビ朝日データビジョン 字幕付き静止画コンテンツ作成装置、字幕付き静止画コンテンツ作成プログラム及び字幕付き静止画コンテンツ作成システム
TWI267303B (en) 2005-07-11 2006-11-21 Inventec Corp Video browsing system and the method
JP2007336263A (ja) * 2006-06-15 2007-12-27 Fujifilm Corp 画像処理方法及び装置並びにプログラム
CN101770701A (zh) * 2008-12-30 2010-07-07 北京新学堂网络科技有限公司 一种用于外语学习的电影连环画制作方法
US8281231B2 (en) * 2009-09-11 2012-10-02 Digitalsmiths, Inc. Timeline alignment for closed-caption text using speech recognition transcripts
US8332530B2 (en) * 2009-12-10 2012-12-11 Hulu Llc User interface including concurrent display of video program, histogram, and transcript
KR101289267B1 (ko) * 2009-12-22 2013-08-07 한국전자통신연구원 방송통신시스템에서 ｄｔｖ 자막 처리 장치 및 방법
CN101901619B (zh) 2010-07-16 2012-10-17 复旦大学 一种基于视频内容缩影的增强用户体验的视频播放器
CN102685574A (zh) * 2011-03-09 2012-09-19 须泽中 从数字电视节目中自动抽取图像的系统及其应用
CN103020076B (zh) * 2011-09-23 2017-02-08 深圳市快播科技有限公司 一种播放器的视频文件动态预览方法和装置
US20130080384A1 (en) * 2011-09-23 2013-03-28 Howard BRIGGS Systems and methods for extracting and processing intelligent structured data from media files
CN102364960B (zh) 2011-11-04 2015-05-27 播思通讯技术（北京）有限公司 移动数字电视画中画和频道缩略图的播放方法及移动终端
CN103634605B (zh) * 2013-12-04 2017-02-15 百度在线网络技术（北京）有限公司 视频画面的处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292965A (ja) * 1995-02-20 1996-11-05 Hitachi Ltd 映像支援システム
JPH11313048A (ja) * 1998-04-24 1999-11-09 Kokusai Electric Co Ltd マルチメディア通信方法及び通信装置
JP2009049510A (ja) * 2007-08-14 2009-03-05 Nippon Hoso Kyokai <Nhk> 静止画抽出装置及び静止画抽出プログラム
JP2009076970A (ja) * 2007-09-18 2009-04-09 Kddi Corp 要約コンテンツ生成装置およびコンピュータプログラム
JP2010233019A (ja) * 2009-03-27 2010-10-14 Kddi Corp 字幕ずれ補正装置、再生装置および放送装置
JP2011061670A (ja) * 2009-09-14 2011-03-24 Kddi Corp 要約コンテンツを表示する表示装置、方法及びプログラム
JP2013030963A (ja) * 2011-07-28 2013-02-07 Nippon Hoso Kyokai <Nhk> 映像字幕検出装置およびそのプログラム

Also Published As

Publication number Publication date
US9973793B2 (en) 2018-05-15
KR101746165B1 (ko) 2017-06-12
JP6266109B2 (ja) 2018-01-24
KR20160010507A (ko) 2016-01-27
CN103634605B (zh) 2017-02-15
US20160277779A1 (en) 2016-09-22
WO2015081776A1 (zh) 2015-06-11
CN103634605A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
JP6266109B2 (ja) 動画画面の処理方法及び装置
JP6449494B2 (ja) 再生装置
US9253533B1 (en) Scene identification
US9077956B1 (en) Scene identification
US9715901B1 (en) Video preview generation
KR20110081262A (ko) 레코딩된 프로그램의 시청한 부분의 삭제
KR102355752B1 (ko) 인터액티브 시청각 무비를 플레잉하기 위한 장치 및 방법
JP2010016652A (ja) 記録再生装置、記録再生方法、及びプログラム
US7486873B2 (en) Video reproduction apparatus and intelligent skip method therefor
US9538119B2 (en) Method of capturing moving picture and apparatus for reproducing moving picture
JP7153143B2 (ja) 映像提供システムおよびプログラム
JP2009239322A (ja) 映像再生装置、映像再生方法および映像再生プログラム
JP5682167B2 (ja) 映像音声記録再生装置、および映像音声記録再生方法
JP2006324941A (ja) 画像処理装置および方法、並びにプログラム
US20230199258A1 (en) Key event trick-play operation
JP4441572B2 (ja) 記録装置
US20140226956A1 (en) Method and apparatus for changing the recording of digital content
JP6440555B2 (ja) 映像記録再生装置および映像記録再生方法
KR20040102962A (ko) Ｐｖｒ에서의 하이라이트 스트림 생성 장치 및 그 방법
JP2012034152A (ja) 記録再生装置
JP2009200567A (ja) 映像記録再生装置
JP2016025470A (ja) 映像再生装置
JP2005109685A (ja) 番組格納再生システム、番組格納再生方法、プログラム
JP2015115803A (ja) 記憶番組再生装置
KR20080075281A (ko) 이동통신 단말기의 영상 재생 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

R150 Certificate of patent or registration of utility model

Ref document number: 6266109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250