JP2015534170A - 字幕処理方法、装置、システム及び記憶媒体 - Google Patents

字幕処理方法、装置、システム及び記憶媒体 Download PDF

Info

Publication number
JP2015534170A
JP2015534170A JP2015531437A JP2015531437A JP2015534170A JP 2015534170 A JP2015534170 A JP 2015534170A JP 2015531437 A JP2015531437 A JP 2015531437A JP 2015531437 A JP2015531437 A JP 2015531437A JP 2015534170 A JP2015534170 A JP 2015534170A
Authority
JP
Japan
Prior art keywords
subtitle
file
video
identification code
caption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015531437A
Other languages
English (en)
Other versions
JP6182609B2 (ja
Inventor
剛 劉
剛 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2015534170A publication Critical patent/JP2015534170A/ja
Application granted granted Critical
Publication of JP6182609B2 publication Critical patent/JP6182609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0882—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of character code signals, e.g. for teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

字幕処理方法であって、クライアントからアップロードされたビデオファイルの識別コードを受信することと、ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索することと、該識別コードに対応する字幕ファイルが検索された場合、字幕検索結果を該クライアントに返信することと、該識別コードに対応する字幕ファイルが検索されなければ、ビデオクラスタデータベースにおいて該識別コードと同一クラスタ結果に位置する他の識別コードを検索し、該他の識別コードに基づいて該ビデオ字幕マッピングデータベースにおいて対応する字幕ファイルがあるか否かを検索し、字幕検索結果を該クライアントに返信することと、を含む。上記字幕処理方法は字幕ファイル検索時のヒット率を向上させる。また、本発明は字幕処理装置、字幕処理システム及び記憶媒体を提供する。

Description

本発明はビデオ再生技術に関し、特にビデオ再生時の字幕処理方法、装置、システム及び記憶媒体に関する。
マルチメディア技術とネットワーク技術の迅速な発展、現代コンピュータ技術、特に大量データの記憶と伝送技術の成熟につれて、ビデオが主なメディアタイプとして人々の生活、教育、娯楽等の面において不可欠な情報担体になってきた。ビデオファイルの再生、特に海外の映画を見ることにとって、字幕が非常に重要な部分となる。
現在の主流プレーヤはいずれも再生ビデオとオンライン字幕のマッチング機能を提供するが、マッチングの成功率には大きな差別があり、字幕再生の体験が悪いことを直接に招く。このような課題が発生する主な原因は、再生クライアントが使用できる字幕ファイルとビデオファイルとの対応関係が足りなくて、再生マッチングのヒット率が高くないことを招くことである。現在の字幕ファイルのマッチング対応関係では、普通、運営人員の手動マッチング又はクライアントでユーザにより再生過程において第三者のウェブサイトで字幕ファイルを検索し、次に手動で検出した字幕ファイルをロードし、実際の字幕とビデオファイルの関連付けを行い、次にその関連付けをサーバに報告し、字幕データの内容を豊富させることが必要である。関連されていない新たなビデオファイルの場合は、正確な字幕をマッチングすることができない。
これに鑑みて、ユーザによりスムーズなビデオ観賞体験を提供するために、ビデオファイルと字幕ファイルのマッチング成功率を効果的に向上させる字幕処理方法、装置、システム及び記憶媒体を提供する必要がある。
字幕処理方法であって、クライアントからアップロードされたビデオファイルの識別コードを受信することと、ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索することと、字幕検索結果を該クライアントに返信することと、を含む字幕処理方法。
字幕処理方法であって、自機器でカレントの再生ビデオファイルに対応する字幕ファイルがあるか否かを検索することと、対応する字幕ファイルが検索された場合、該ビデオファイルの識別コード及び該字幕ファイルの識別コードを字幕マッピングインタフェースサーバにアップロードすることと、を含む字幕処理方法。
字幕処理システムであって、字幕検索モジュールを備え、該字幕検索モジュールが、クライアントからアップロードされたビデオファイルの識別コードを受信するための識別コード受信ユニットと、ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索するための字幕検索ユニットと、字幕検索結果を該クライアントに返信するための検索結果返信ユニットと、を備える字幕処理システム。
字幕処理装置であって、自機器でカレントの再生ビデオファイルに対応する字幕ファイルがあるか否かを検索するための字幕検索モジュールと、対応する字幕ファイルが検索された場合、該ビデオファイルの識別コード及び該字幕ファイルの識別コードを字幕マッピ
ングインタフェースサーバにアップロードするための第１アップロードユニットを備えるマッピングアップロードモジュールと、を備える字幕処理装置。
他に、本発明はコンピュータ実行可能な指令を含む記憶媒体を更に提供し、該コンピュータ実行可能な指令は字幕処理方法を実行することに用いられ、該字幕処理方法は、クライアントからアップロードされたビデオファイルの識別コードを受信することと、ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索することと、字幕検索結果を該クライアントに返信することと、を含む。
前記字幕処理方法、装置、システム及び記憶媒体では、自機器で確認したビデオファイルと字幕ファイルのペア関係を字幕マッピングインタフェースサーバにアップロードすることによって、ビデオ字幕マッピングデータベースのマッピング関係を豊富にさせ、字幕ファイルマッチング時のヒット率を向上させることができる。ビデオクラスター分析によってビデオ字幕マッピングデータベースを拡充して、更に字幕ファイルマッチングのヒット率を向上させる。
第１実施例の字幕処理方法のフローチャートである。 第２実施例の字幕処理方法のフローチャートである。 第３実施例の字幕処理方法のフローチャートである。 第４実施例の字幕処理装置の構造ブロック図である。 第５実施例の字幕処理システムの構造ブロック図である。 第５実施例の字幕処理システムの字幕検索モジュールの構造ブロック図である。 第６実施例の字幕処理システムの構造ブロック図である。
本発明が採用する技術的手段を更に説明するために、以下、図面と好ましい実施例を参照しながら、本発明の具体的な実施形態、構造、特徴及びその効果について、以下のように詳しく説明する。
第１実施例は、ビデオファイル再生機能を有するパソコン、スマートフォン、タブレットＰＣ等のような電子装置によって実行することができる字幕処理方法を提供する。
図１に示すように、上記字幕処理方法は下記ステップを含み、
（Ｓ１１０）自機器でカレントの再生ビデオファイルに対応する字幕ファイルがあるか否かを検索する。ここでの自機器は前記各種の電子装置を指すことが理解できる。一般的には、ビデオファイルが字幕ファイルと一緒にダウンロードされ、同一ディレクトリに位置し、ビデオファイルと同じ名前、異なる拡張子を有する。従って、ビデオファイルを再生する時、ビデオファイルと同一ディレクトリで字幕ファイルがあるか否かを走査すればよい。もちろん、字幕ファイルの名前、ルートは上記に限定されなく、任意ディレクトリ下にあっても、任意ファイル名であってもよく、この場合はユーザが対応の字幕ファイルを指定してロードして表示することが必要である。
対応する字幕ファイルが検索された場合、ステップＳ１２０を行う。
（ステップＳ１２０）該ビデオファイルの識別コード及び該字幕ファイルの識別コードを字幕マッピングインタフェースサーバにアップロードする。ビデオファイルの識別コード及び字幕ファイルの識別コードは、例えばハッシュ（Ｈａｓｈ）コードであってよく、もちろん本実施例はこれに限定されなく、他のアルゴリズムを用いて算出したフィーチャー
コードであってもよく、又は直接にビデオファイル及び字幕ファイルの名前を識別コードとしてもいい。
字幕マッピングインタフェースサーバはビデオファイルの識別コード及び該字幕ファイルの識別コードを受信した後、更に該字幕ファイルの識別コードを用いて字幕データベースにおいて該字幕ファイルがあるか否かを検索することができ、字幕データベースに該字幕ファイルがなければ字幕ファイルのアップロード要請を上記電子装置に返信することができる。電子装置は上記字幕ファイルアップロード要請を受信した後、ユーザの設定によって該上記字幕ファイルを字幕マッピングインタフェースサーバにアップロードするか否かを決定する。例えば、ユーザはすべての字幕ファイルをアップロードし、またはいずれの字幕ファイルもアップロードしないことを選択でき、或いはアップロードする前に確認する。字幕マッピングインタフェースサーバはアップロードされた字幕ファイルを受信した後、それを字幕データベースに格納することで字幕データベースに保存された内容を拡充することができる。
対応する字幕ファイルが検索されなければ、下記ステップを行う。
（ステップＳ１３０）、該ビデオファイルの識別コードを字幕検索サーバにアップロードする。ビデオファイルの識別コードは、例えば上記ハッシュコードである。字幕検索サーバはビデオファイルの識別コードを受信した後、それを用いてそれに対応する字幕ファイルを検索し、且つ相応な字幕検索結果を生成する。
具体的に、字幕検索サーバはまずビデオ字幕マッピングデータベースにおいて上記ビデオファイルの識別コードに対応する字幕ファイルがあるか否かを検索するが、検索結果として対応する字幕ファイルはなしであることも可能であり、１つ又は複数であることも可能である。字幕ファイルが検索された場合、字幕ファイルのダウンロードリンク又は直接に字幕ファイルを上記電子装置に返信する。
字幕ファイルが検索されなければ、ビデオクラスタデータベースにおいて上記ビデオファイルの識別コードと同一クラスタに位置する他の識別コードを検索する。更に、各他の識別コードそれぞれについて、それを用いてビデオ字幕マッピングデータベースにおいて対応する字幕ファイルを検索し、且つ検索されたすべての字幕ファイルのダウンロードリンク又は字幕ファイル自体を上記電子装置に返信する。
（ステップＳ１４０）、該字幕検索サーバから返信された字幕検索結果を受信する。字幕検索結果は検索された字幕ファイルのダウンロードリンクを含み、更に、例えばファイル名、バージョン番号など他の説明情報を含むことができる。且つ検索された字幕ファイルは複数個ある可能性があり、例えば、異なる言語バージョンに対応する字幕ファイルである。
（ステップＳ１５０）、該字幕検索結果に基づいて選定された字幕をロードして再生する。検索された字幕ファイルが１つだけであれば、直接にそれを用いて再生できるが、字幕ファイルが複数個である場合は、ユーザが再生する字幕ファイルを選定することができる。
（ステップＳ１６０）、再生が予定時間を超えた後、選定された字幕の識別コード及び該ビデオファイルの識別コードを該字幕マッピングインタフェースサーバにアップロードする。つまり、ある字幕ファイルによる再生が予定時間を超えるなら、該字幕ファイルとカレントのビデオファイルがマッチングすることを表明し、この時、ビデオファイルと字幕ファイルのマッピング関係、即ちビデオファイルの識別コードと字幕ファイルの識別コードのペア関係を字幕マッピングインタフェースサーバにアップロードすることができる
。字幕マッピングインタフェースサーバがビデオファイルの識別コードと字幕ファイルの識別コードを受信した後、それをビデオ字幕マッピングデータベースに格納し、それによりビデオ字幕マッピングデータベースのマッピング関係ペアを豊富させ、後続検索時の使用に便利である。
本実施例の字幕処理方法では、自機器で確認したビデオファイルと字幕ファイルのペア関係を字幕マッピングインタフェースサーバにアップロードすることによって、ビデオ字幕マッピングデータベースのマッピング関係を豊富させ、字幕ファイルマッチング時のヒット率を向上させる。
第２実施例は字幕処理方法を提供し、図２に示すように、それは下記ステップを含む。
（ステップＳ２１０）、ビデオファイルにクラスター分析を行う。
ここでのビデオファイルはクラウドビデオストレージサーバからのものであってもよく、例えば、オフラインダウンロードサービスでは、サーバ端に一時的に大量の原始ビデオファイルを保存し、ビデオクラスター分析を行ってビデオクラスタデータベースを充填することができる。ビデオファイルのもう１つのソースはクライアントからアップロードされたビデオセグメントであってもよく、この時、ビデオファイルの一部の内容だけに基づいてクラスター分析を行うが、検索条件の一致性のために、さらにクライアントがビデオファイル全体の識別コード、例えばハッシュコードを同時にアップロードすることが必要である。
ビデオクラスタ技術に基づき、ビデオ内容が同一のビデオファイルを同一クラスタ中に置くことができ、同一クラスタ中のビデオファイルが同じビデオ内容を有すべき、同じ字幕ファイルを共有できる。
ビデオファイルのクラスター分析結果はビデオクラスタデータベースに保存されることができる。
（ステップＳ２２０）、同一クラスタ中のビデオファイルの対応する字幕ファイルに基づいてビデオ字幕マッピングデータベースにおけるマッピング関係を広める。
例えば、ビデオファイルＡとＢはクラスター分析によって同一クラスタ内にされ、ビデオ字幕マッピングデータベースにおいて、ビデオファイルＡは対応する字幕ファイルＣを有するが、ビデオファイルＢは対応する字幕ファイルを有しない。この時、クラスター分析結果に基づいて、ビデオ字幕マッピングデータベースを更新し、それによりビデオファイルＢも対応する字幕ファイルＣを有するようにさせることができる。
（ステップＳ２３０）、クライアントからアップロードされたビデオファイルの識別コードを受信する。ここでのクライアントは例えば上記電子装置である。電子装置がビデオファイルを再生する時、自機器で対応する字幕ファイルが検索されなければ、ビデオファイルの識別コードを字幕検索サーバにアップロードし、相応的に、字幕検索サーバはアップロードされたビデオファイルの識別コードを受信し、すなわち、ステップＳ２３０である。
（ステップＳ２４０）、ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索する。
ビデオ字幕マッピングデータベースには少なくともビデオファイルの識別コード及び対応する字幕ファイルの識別コードが保存され、各ビデオファイルの識別コードは複数の字
幕ファイルの識別コードに対応できる。
該識別コードに対応する字幕ファイルが検索された場合、ステップＳ２５０を行う。
（ステップＳ２５０）、該識別コードに対応する字幕ファイルを字幕検索結果として、且つ該字幕検索結果を該クライアントに返信する。
字幕検索結果は検索された字幕ファイルのダウンロードリンク又は字幕ファイル自体を含み、更に、例えばファイル名、バージョン番号、翻訳者又は機構等のような他の説明情報を含むことができる。複数の字幕ファイルが検索できた場合、字幕検索結果は検索されたすべての字幕ファイルの情報を含むことができる。
本実施例の字幕処理方法において、ビデオクラスター分析によってビデオ字幕マッピングデータベースを拡充して、字幕ファイルマッチングのヒット率を向上させる。
また、理解すべきのは、ビデオファイルと字幕ファイルのマッピング関係、即ちビデオ字幕マッピングデータベースにおける内容は上記ビデオクラスター分析結果によって充填されることに限定されない。
例えば、クライアントからアップロードされたビデオファイルと字幕ファイルのマッピング関係に基づいてビデオ字幕マッピングデータベースの内容を更新することができる。
第１実施例に記載したように、電子装置は、ビデオファイルを再生する時、自機器で対応する字幕ファイルが検索された場合、ビデオファイルの識別コードと対応する字幕ファイルの識別コードを字幕マッピングインタフェースサーバにアップロードし、相応的に、字幕マッピングインタフェースサーバは電子装置（クライアント）からアップロードされたビデオファイルの識別コード及び対応する字幕ファイルの識別コードを受信する。
アップロードされたビデオファイルの識別コード及び対応する字幕ファイルの識別コードを受信した後、まずビデオファイル識別コードを検索キーワードとしてビデオ字幕マッピングデータベースにおいて対応する字幕ファイルの識別コードをクエリーし、取得した字幕ファイルの識別コードには、すでにアップロードされた字幕ファイルの識別コードを含んでいるか否かを探すことができる。含んでいない場合、１つの記録を追加し又は既存の記録を修正することができ、アップロードされた字幕ファイルの識別コードを追加することで、ビデオ字幕マッピングデータベースにビデオファイルと字幕ファイルのマッピング関係を１つ追加する。逆に、すでに含んでいる場合、他の操作を行わないのが良い。
更に、アップロードされたビデオファイルの識別コード及び対応する字幕ファイルの識別コードを受信した後、更に字幕データベースにおいてアップロードされた字幕ファイルの識別コードに対応する字幕ファイルがあるか否かを検索することができる。
字幕データベースは字幕ファイル自体及び例えば識別コード、バージョン、作者等、字幕ファイルに関連する他の情報を格納するために用いられる。アップロードされた字幕ファイルの識別コードに基づいて字幕データベースにおいて対応する字幕ファイルがあるか否かを検索することができる。
対応する字幕ファイルが検索されなければ、下記ステップを行う。字幕ファイルのアップロード要請をクライアントに返信する。字幕ファイルのアップロード要請は予定の文字又は文字列を用いて表示することができる。クライアントが字幕ファイルのアップロード要請を受信した後、ユーザの設定によって字幕ファイルをアップロードするか否かを決定することができる。例えば、ユーザは、自動的に字幕ファイルをアップロードすることあ
るいは確認してから字幕ファイルをアップロードするように設定できる。字幕ファイルがクライアントによって字幕マッピングインタフェースサーバにアップロードされ、相応的に、字幕マッピングインタフェースサーバはクライアントからアップロードされた字幕ファイルを受信する。
アップロードされた字幕ファイルを受信した後、字幕マッピングインタフェースサーバはそれを字幕データベースに格納する。このように、クライアントからのアップロードによって、字幕データベースの内容を拡充した。
また、上記のクライアントからアップロードされた字幕ファイルを用いて字幕データベースの内容を拡充する以外、ネットワークにおいて字幕ファイルを主動的に抽出することもできる。
字幕ファイルを主動的に抽出するステップは以下の通りである。ネットワークにおいて字幕ファイル情報を抽出する。例えば、字幕発行ウエブサイトにおける内容を抽出し、分析して例えばファイル名、ダウンロードリンク等の字幕ファイル情報を抽出する。該字幕ファイル情報に基づいて字幕ファイルをダウンロードし、ダウンロードされた字幕ファイル及び該字幕ファイル情報を字幕データベースに保存する。
第３実施例は字幕処理方法を提供し、図３に示すように、それは下記ステップを含み、
（ステップＳ３１０）、クライアントからアップロードされたビデオファイルの識別コードを受信する。ここでのクライアントが例えば上記電子装置である。電子装置がビデオファイルを再生する時、自機器で対応する字幕ファイルが検索されなければ、ビデオファイルの識別コードを字幕検索サーバにアップロードし、相応的に、字幕検索サーバがアップロードされたビデオファイルの識別コードを受信するステップＳ３１０。
（ステップＳ３２０）、ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索する。
ビデオ字幕マッピングデータベースには少なくともビデオファイルの識別コード及び対応する字幕ファイルの識別コードが保存され、各ビデオファイルの識別コードは複数の字幕ファイルの識別コードに対応できる。
該識別コードに対応する字幕ファイルが検索された場合、ステップＳ３３０を行う。
（ステップＳ３３０）、字幕検索結果を該クライアントに返信する。
字幕検索結果は検索された字幕ファイルのダウンロードリンク又は字幕ファイル自体を含むことができ、更に例えばファイル名、バージョン番号、翻訳者又は機構等他の説明情報を含むことができる。複数の字幕ファイルが検索できた場合、字幕検索結果は検索されたすべての字幕ファイルの情報を含むことができる。
該識別コードに対応する字幕ファイルが検索されなければ、下記ステップを行う。
（ステップＳ３４０）、ビデオクラスタデータベースにおいて該識別コードと同じクラスタに含まれる他の識別コードを検索する。
ビデオクラスタデータベースはビデオクラスタ結果を保存するためのデータベースである。同一クラスタに複数のビデオファイルが含まれてもいい。ビデオクラスタデータベースで検索を行うために、まずビデオクラスタデータベースを作成する必要があり、即ちステップＳ３４０の前に、ビデオファイルをクラスター分析してクラスタ結果を得て、且つクラスタ結果を該ビデオクラスタデータベースに保存することを更に含むことを理解する
であろう。
ここでのビデオファイルがクラウドビデオストレージサーバからのものであってもよく、例えばオフラインダウンロードサービスではサーバ端に一時的に大量の原始ビデオファイルを保存し、ビデオクラスター分析を行ってビデオクラスタデータベースを充填する。ビデオファイルのもう１つのソースはクライアントからアップロードされたビデオセグメントであってもよく、この時、ビデオファイルの部分的な内容のみに基づいてクラスター分析を行うが、検索条件の一致性のために、クライアントがビデオファイル全体の識別コード、例えばハッシュコードを同時にアップロードすることが必要である。
ビデオクラスタ技術に基づいて、ビデオ内容が同一のビデオファイルを同一クラスタに置くことができ、理論上、同一クラスタ内におけるビデオファイルが同じビデオ内容を有すべきであり、同じ字幕ファイルを共有できる。
（ステップＳ３５０）、該ビデオ字幕マッピングデータベースにおいて該他の識別コードに対応する字幕ファイルがあるか否かを検索する。
ステップＳ３２０に類似し、それぞれ各同一クラスタのビデオファイルの識別コードを用いてビデオ字幕マッピングデータベースにおいて対応する字幕ファイルを検索する。理解できるのは、このステップを通して、１つ又は複数の字幕ファイルが検索される可能性がある。
（ステップＳ３６０）、ビデオ字幕マッピングデータベースで該他の識別コードに対応する字幕ファイルが検索された場合、該他の識別コードに対応する字幕ファイルを字幕検索結果として該クライアントに返信する。
字幕検索結果には検索された字幕ファイルのダウンロードリンク又は字幕ファイル自体を含むことができが、更に例えばファイル名、バージョン番号、翻訳者又は機構等他の説明情報も含むことができる。複数の字幕ファイルが検索できた場合、字幕検索結果には検索されたすべての字幕ファイルの情報を含むことができる。
クライアントが字幕検索結果を受信した後、検索された字幕ファイルをユーザに選択させるようにリストして表示し、ユーザが字幕ファイルを選定した後、字幕ファイルをロードして再生する。
本実施例の字幕処理方法では、ビデオファイルに対応する字幕ファイルが直接に検索されなければ、更にビデオクラスタ結果によって拡張検索を達成し、字幕ファイルマッチングのヒット率を向上させる。
第４実施例は字幕処理装置を提供し、該字幕処理装置が上記電子装置で実行される。図４に示すように、該字幕処理装置は、字幕検索モジュール４１０及びマッピングアップロードモジュール４２０を備える。
字幕検索モジュール４１０は自機器でカレントの再生ビデオファイルに対応する字幕ファイルがあるか否かを検索することに用いられる。一般的に、ビデオファイルは、字幕ファイルと一緒にダウンロードされ、同一ディレクトリに位置し、ビデオファイルと同じ名称、異なる拡張子を有する。従って、ビデオファイルを再生する時、ビデオファイルと同一ディレクトリで字幕ファイルがあるか否かを走査すればよい。もちろん、字幕ファイルの名称、ルートが上記に規制されなく、任意のディレクトリ下にあっても、任意のファイル名称であってもよい。
マッピングアップロードモジュール４２０は、第１アップロードユニット４２１、第２アップロードユニット４２２、検索結果受信ユニット４２３、字幕ロードユニット４２４、及び第３アップロードユニット４２５を備える。
第１アップロードユニット４２１は対応する字幕ファイルが検索された場合、該ビデオファイルの識別コード及び該字幕ファイルの識別コードを字幕マッピングインタフェースサーバにアップロードすることに用いられる。ビデオファイルの識別コード及び字幕ファイルの識別コードは例えばハッシュ（Ｈａｓｈ）コードであり、もちろん本実施例がこれに限定されなく、他のアルゴリズムを用いて計算されるフィーチャーコードであってもよく、又は直接にビデオファイル及び字幕ファイルの名前を識別コードとしてもいい。
第２アップロードユニット４２２は対応する字幕ファイルが検索されなければ、該ビデオファイルの識別コードを字幕検索サーバにアップロードすることに用いられる。ビデオファイルの識別コードは例えば上記ハッシュコードである。字幕検索サーバがビデオファイルの識別コードを受信した後、それを用いて対応する字幕ファイルを検索し、且つ相応な字幕検索結果を生成する。
検索結果受信ユニット４２３は該字幕検索サーバから返信された字幕検索結果を受信することに用いられる。字幕検索結果は検索された字幕ファイルのダウンロードリンクを含むことができるが、更に例えばファイル名、バージョン番号等他の説明情報を含むことができる。且つ検索された字幕ファイルが複数個である可能性もあり、例えば異なる言語バージョンに対応する字幕ファイルである。
字幕ロードユニット４２４は該字幕検索結果に基づいて選定された字幕をロードして再生することに用いられる。検索された字幕ファイルが１つだけであれば、直接にそれを用いて再生するが、字幕ファイルが複数個ある場合、ユーザが再生する字幕ファイルを選定することができる。
第３アップロードユニット４２５は該選定された字幕ファイルを用いて再生が予定時間を超えた後、選定された字幕の識別コード及び該ビデオファイルの識別コードを該字幕マッピングインタフェースサーバにアップロードすることに用いられる。理解できるのは、ある字幕ファイルによる再生が予定時間を超えるなら、該字幕ファイルとカレントのビデオファイルがマッチングすることを表明し、この時、ビデオファイルと字幕ファイルのマッピング関係、即ちビデオファイルの識別コードと字幕ファイルの識別コードのペア関係を字幕マッピングインタフェースサーバにアップロードする。
また、マッピングアップロードモジュール４２０は字幕アップロードユニット４２６を更に含むことができ、次のような操作に用いられる。対応する字幕ファイルが検索され且つ該字幕マッピングインタフェースサーバから字幕ファイルアップロード要請が返信された場合、ユーザの設定によって該字幕ファイルを該字幕マッピングインタフェースサーバにアップロードする。
本実施例の字幕処理装置の詳細について、更に図１及び関連説明を参照できる。
本実施例の字幕処理装置では、自機器が確認したビデオファイルと字幕ファイルのペア関係を字幕マッピングインタフェースサーバにアップロードすることによって、ビデオ字幕マッピングデータベースのマッピング関係を豊富させ、字幕ファイルマッチング時のヒット率を向上させる。
第５実施例は字幕処理システムを提供し、図５に示すように、それはビデオファイルクラスタモジュール５１０、字幕検索モジュール５２０、字幕マッピング拡張モジュール５３０、字幕マッピングインタフェースモジュール５４０、字幕抽出モジュール５５０、及び字幕ダウンロードインタフェースモジュール５６０を備える。また、字幕処理システムはビデオクラスタデータベース５０１、ビデオ字幕マッピングデータベース５０２、及び字幕データベース５０３をさらに備える。本実施例では、該字幕処理システムは上記字幕検索サーバであってもよい。
ビデオファイルクラスタモジュール５１０はビデオファイルにクラスター分析を行ってクラスタ結果を得て、クラスタ結果をビデオクラスタデータベース５０１に保存することに用いられる。ここでのビデオファイルはクラウドビデオストレージサーバからのものであってもよく、例えばオフラインダウンロードサービスがサーバ端に一時的に大量の原始ビデオファイルを保存し、ビデオクラスター分析を行ってビデオクラスタデータベースを充填できる。ビデオファイルのもう１つのソースはクライアントからアップロードされたビデオセグメントであってもよく、この時、ビデオファイルの一部の内容だけに基づいてクラスター分析を行うが、検索条件の一致性のために、クライアントがビデオファイル全体の識別コード、例えばハッシュコードを同時にアップロードすることが必要である。ビデオクラスタ技術に基づいて、ビデオ内容が同一のビデオファイルを同一クラスタに置くことができ、同一クラスタ中のビデオファイルが同じビデオ内容を有すべきであり、同じ字幕ファイルを共有できる。
図６に示すように、字幕検索モジュール５２０は識別コード受信ユニット５２１、字幕検索ユニット５２２、及び検索結果返信ユニット５２３を備える。
識別コード受信ユニット５２１はクライアントからアップロードされたビデオファイルの識別コードを受信することに用いられ、字幕検索ユニット５２２はビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索することに用いられ、検索結果返信ユニット５２３は該識別コードに対応する字幕ファイルが検索された場合、字幕検索結果を該クライアントに返信することに用いられる。
字幕マッピング拡張モジュール５３０は同一クラスタ中のビデオファイルの対応する字幕ファイルに基づいてビデオ字幕マッピングデータベースにおけるマッピング関係を拡張することに用いられる。例えばビデオファイルＡとＢがビデオファイルクラスタモジュール５１０によってクラスター分析をされた後、同一クラスタ内にあり、ビデオ字幕マッピングデータベース５０２において、ビデオファイルＡは対応する字幕ファイルＣを有するが、ビデオファイルＢは対応する字幕ファイルを有しない。この時、クラスター分析結果に基づいて、ビデオ字幕マッピングデータベースを更新でき、それによりビデオファイルＢも対応する字幕ファイルＣを有させる。
字幕マッピングインタフェースモジュール５４０はクライアントからアップロードされたビデオファイルの識別コード及び対応する字幕ファイルの識別コードを受信し、受信したビデオファイルの識別コード及び対応する字幕ファイルの識別コードをビデオ字幕マッピングデータベースに格納することに用いられる。
アップロードされたビデオファイルの識別コード及び対応する字幕ファイルの識別コードを受信した後、まずビデオファイル識別コードを検索キーワードとしてビデオ字幕マッピングデータベースで対応する字幕ファイル識別コードをクエリーし、取得した字幕ファイル識別コードにおいてアップロードされ字幕ファイルの識別コードをすでに含んでいるか否かを探すことができる。含んでいない場合、１つの記録を追加し又は既存の記録を修正することができ、アップロードされた字幕ファイルの識別コードを追加することで、ビ
デオ字幕マッピングデータベースにおいてビデオファイルと字幕ファイルのマッピング関係を１つ追加する。逆に、すでに含んでいる場合、他の操作を行わないが良い。
また、字幕マッピングインタフェースモジュール５４０は更にクライアントからアップロードされた字幕ファイルを受信し、受信した字幕ファイルを字幕データベース５０３に格納することに用いられる。
字幕データベース５０３は字幕ファイル自体及び識別コード、バージョン、作者等字幕ファイルに関連する他の情報を格納することに用いられる。アップロードされた字幕ファイルの識別コードに基づいて字幕データベースにおいて対応する字幕ファイルがあるか否かを検索することができる。
上記のアップロードされたビデオファイルの識別コード及び対応する字幕ファイルの識別コードを受信した後、検索された字幕ファイル識別コードにはアップロードされた字幕ファイルの識別コードを含んでいない場合、下記ステップを行う。該ステップにおいて、字幕ファイルアップロード要請をクライアントに返信する。字幕ファイルアップロード要請は予定の文字又は文字列を用いて表示することができる。クライアントが字幕ファイルアップロード要請を受信した後、ユーザの設定によって字幕ファイルをアップロードするか否かを決定することができる。例えば、ユーザは字幕ファイルを自動的にアップロードするあるいは確認してから字幕ファイルをアップロードするように設定できる。字幕ファイルがクライアントによって字幕マッピングインタフェースサーバにアップロードされ、相応的に、字幕マッピングインタフェースサーバがクライアントからアップロードされた字幕ファイルを受信する。
アップロードされた字幕ファイルを受信した後、字幕マッピングインタフェースモジュール５４０がそれを字幕データベース５０３に格納する。このように、クライアントのアップロードによって、字幕データベース５０３の内容が拡充された。
字幕抽出モジュール５５０はネットワークで字幕及び関連情報を抽出することに用いられ、具体的に、字幕発行ウエブサイトにおける内容を抽出し、分析して例えばファイル名、ダウンロードリンク等の字幕ファイル情報を抽出する。該字幕ファイル情報に基づいて字幕ファイルをダウンロードし、ダウンロードした字幕ファイル及び該字幕ファイル情報を字幕データベースに保存する。
字幕ダウンロードインタフェースモジュール５６０はクライアントの字幕ファイルダウンロード要請を受信し、字幕データベース５０３から字幕ファイルの内容を読み取って、クライアントに返信することに用いられる。
理解できるのは、上記ビデオファイルクラスタモジュール５１０、字幕検索モジュール５２０、字幕マッピング拡張モジュール５３０、字幕マッピングインタフェースモジュール５４０、字幕抽出モジュール５５０、及び字幕ダウンロードインタフェースモジュール５６０はそれぞれ独立のサーバであってもよく、同一サーバの異なる機能モジュールであってもよい。
本実施例の字幕処理システムにおいて、字幕抽出モジュール５５０によってネットワークから字幕を抽出し、及び字幕マッピングインタフェースモジュール５４０によってクライアントからアップロードされた字幕又はビデオファイルと字幕ファイルのマッピング関係を受信し、字幕データベース５０３及びビデオ字幕マッピングデータベース５０２の内容を豊富させる。また、字幕マッピング拡張モジュール５３０によって、ビデオファイルクラスタ結果に基づいてビデオファイルと字幕ファイルのマッピング関係を拡張した。上
記技術的手段によって、本実施例の字幕処理システムでは字幕検索のヒット率を大幅に向上させることができる。
第６実施例は字幕処理システムを提供し、第５実施例に近似、本実施例において、該字幕処理システムは上記字幕検索サーバであってもよい。図５及び図７に示すように、それが第５実施例と異なるところは、本実施例の字幕処理システムが字幕マッピング拡張モジュール５３０を備えなく、拡張検索モジュール５７０を備えることにある。字幕検索モジュール５２０がビデオ字幕マッピングデータベース５０２でアップロードされたビデオファイルの識別コードに対応する字幕ファイルが検索されなければ、拡張検索モジュール５７０を呼び出しする。
拡張検索モジュール５７０は、ビデオファイルクラスタデータベース５０１でクライアントから字幕検索を要請されたビデオファイルの識別コードと同一クラスタにある他の識別コードを検索すること、それぞれ該ビデオ字幕マッピングデータベース５０２で該他の識別コードに対応する字幕ファイルがあるか否かを検索すること、且つ検索結果を字幕検索モジュール５２０に返信し、字幕検索モジュール５２０によって更に該他の識別コードに対応する字幕ファイルが字幕検索結果としてクライアントに返信されること、に用いられる。
本実施例の字幕処理システムは、第５実施例に比べて、直接にビデオファイルクラスタ結果に基づいてビデオ字幕マッピングデータベースに拡張せず、具体的な字幕検索ニーズが発生してから拡張検索を行うことができ、同様に字幕検索ヒット率を向上させる目的を達成できる。
また、本発明の実施例はコンピュータ可読記憶媒体をさらに提供し、その中にコンピュータで実行可能な命令が格納されており、上記コンピュータ可読記憶媒体は例えば光学ディスク、ハードディスク、又はフラッシュメモリのような非揮発性メモリである。上記コンピュータで実行可能な命令はコンピュータ又は類似の計算装置に上記字幕処理方法中の各操作を完成させることに用いられる。
以上は、本発明の好ましい実施例だけであり、本発明に対していずれかの形式の限定ではなく、本発明では好ましい実施形態を前述の通り開示したが、これは本発明を限定するものではなく、当業者が、本発明の技術方案を離脱しない範囲内で、上記開示した技術内容に多少の変動や修飾を加えることが等同変化の等効実施例と見なされ、本発明技術方案の内容を離脱しない限り、本発明の技術により実質に上記実施例に対していずれかの簡単な修正や等同変化や修飾をしても、いずれも本発明技術方案の範囲に属する。

Claims (20)

  1. 字幕処理方法であって、
    クライアントからアップロードされたビデオファイルの識別コードを受信することと、
    ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索することと、及び
    字幕検索結果を該クライアントに返信することと、を含む字幕処理方法。
  2. 前記クライアントからアップロードされたビデオファイルの識別コードを受信するステップの前に、さらに、
    ビデオファイルにクラスター分析を行うことと、
    同一クラスタ内のビデオファイルと字幕ファイルのマッピング関係に基づいて該クラスタ内の他のビデオファイルと字幕ファイルのマッピング関係を拡張し且つビデオ字幕マッピングデータベースに格納することと、を含み、
    前記字幕検索結果を該クライアントに返信するステップは、
    ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルが検索された場合、該識別コードに対応する字幕ファイルを前記字幕検索結果として該クライアントに返信することを含むことを特徴とする請求項１に記載の字幕処理方法。
  3. クライアントからアップロードされたビデオファイルの識別コード及び対応する字幕ファイルの識別コードに基づいて該ビデオ字幕マッピングデータベースを更新することをさらに含むことを特徴とする請求項２に記載の字幕処理方法。
  4. クライアントからアップロードされた字幕ファイルを受信し、受信した字幕ファイルを字幕データベースに格納することをさらに含むことを特徴とする請求項２に記載の字幕処理方法。
  5. ネットワークで字幕ファイル情報を抽出することと、
    該字幕ファイル情報に基づいて字幕ファイルをダウンロードすることと、
    ダウンロードした字幕ファイル及び該字幕ファイル情報を字幕データベースに格納することと、を更に含むことを特徴とする請求項２に記載の字幕処理方法。
  6. 前記ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索するステップの後、さらに、
    該識別コードに対応する字幕ファイルが検索されなければ、
    ビデオクラスタデータベースにおいて該識別コードと同一クラスタに含まれる他の識別コードを検索することと、
    該ビデオ字幕マッピングデータベースにおいて該他の識別コードに対応する字幕ファイルがあるか否かを検索することと、を含み、
    前記字幕検索結果を該クライアントに返信するステップは、
    ビデオ字幕マッピングデータベースにおいて該他の識別コードに対応する字幕ファイルが検索された場合、該他の識別コードに対応する字幕ファイルを前記字幕検索結果として該クライアントに返信することを含むことを特徴とする請求項１に記載の字幕処理方法。
  7. 該識別コードに対応する字幕ファイルが検索された場合、字幕検索結果を該クライアントに返信することを更に含むこと特徴とする請求項６に記載の字幕処理方法。
  8. 字幕処理方法であって、
    自機器でカレントの再生ビデオファイルに対応する字幕ファイルがあるか否かを検索し、
    対応する字幕ファイルが検索された場合、
    該ビデオファイルの識別コード及び該字幕ファイルの識別コードを字幕マッピングインタフェースサーバにアップロードすることを含む字幕処理方法。
  9. 対応する字幕ファイルが検索されなければ、
    該ビデオファイルの識別コードを字幕検索サーバにアップロードすることと、
    該字幕検索サーバから返信された字幕検索結果を受信することと、
    該字幕検索結果に基づいて選定された字幕をロードして再生することと、及び
    再生が予定時間を超えた後、選定された字幕の識別コード及び該ビデオファイルの識別コードを該字幕マッピングインタフェースサーバにアップロードすることとをさらに含むことを特徴とする請求項８に記載の字幕処理方法。
  10. 対応する字幕ファイルが検索され且つ該字幕マッピングインタフェースサーバから字幕ファイルアップロード要請が返信された場合、ユーザの設定によって該字幕ファイルを該字幕マッピングインタフェースサーバにアップロードするか否かを決定することをさらに含むことを特徴とする請求項８に記載の字幕処理方法。
  11. 字幕処理システムであって、
    クライアントからアップロードされたビデオファイルの識別コードを受信することに用いられる識別コード受信ユニットと、
    ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索することに用いられる字幕検索ユニットと、
    字幕検索結果を該クライアントに返信することに用いられる検索結果返信ユニットを含む字幕検索モジュールを備える字幕処理システム。
  12. ビデオファイルクラスタモジュールと字幕マッピング拡張モジュールをさらに備え、該ビデオファイルクラスタモジュールと字幕マッピング拡張モジュールは前記字幕検索モジュールを実行する前に実行され、
    該ビデオファイルクラスタモジュールはビデオファイルにクラスター分析を行ってクラスタ結果を得ることに用いられ、
    該字幕マッピング拡張モジュールは同一クラスタ内のビデオファイルと字幕ファイルのマッピング関係に基づいて該クラスタ内の他のビデオファイルと字幕ファイルのマッピング関係を拡張し、且つビデオ字幕マッピングデータベースに格納することに用いられ、
    前記検索結果返信ユニットが、該ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルが検索された場合、該識別コードに対応する字幕ファイルを前記字幕検索結果として該クライアントに返信することに用いられることを特徴とする請求項１１に記載の字幕処理システム。
  13. 字幕マッピングインタフェースモジュールをさらに備え、該字幕マッピングインタフェースモジュールがクライアントからアップロードされたビデオファイルの識別コード及び対応する字幕ファイルの識別コードを受信し、受信したビデオファイルの識別コード及び対応する字幕ファイルの識別コードをビデオ字幕マッピングデータベースに格納することに用いられることを特徴とする請求項１２に記載の字幕処理システム。
  14. 該字幕マッピングインタフェースモジュールはさらにクライアントからアップロードされた字幕ファイルを受信し、該字幕ファイルを字幕データベースに格納することに用いられることを特徴とする請求項１２に記載の字幕処理システム。
  15. 字幕抽出モジュールをさらに備え、
    該字幕抽出モジュールが、
    ネットワークで字幕ファイル情報を抽出することと、
    該字幕ファイル情報に基づいて字幕ファイルをダウンロードすることと、
    及びダウンロードされた字幕ファイル及び該字幕ファイル情報を字幕データベースに格納することに用いられることを特徴とする請求項１２に記載の字幕処理システム。
  16. 拡張検索モジュールをさらに備え、該拡張検索モジュールが前記字幕検索モジュールを実行した後に実行され、
    該拡張検索モジュールは、該字幕検索ユニットによって該識別コードに対応する字幕ファイルが検索されなければ、ビデオクラスタデータベースにおいて該識別コードと同一クラスタに含まれる他の識別コードを検索し、該ビデオ字幕マッピングデータベースにおいて該他の識別コードに対応する字幕ファイルがあるか否かを検索することに用いられ、
    前記検索結果返信ユニットが、ビデオ字幕マッピングデータベースにおいて該他の識別コードに対応する字幕ファイルが検索された場合、該他の識別コードに対応する字幕ファイルを前記字幕検索結果として該クライアントに返信することに用いられることを特徴とする請求項１１に記載の字幕処理システム。
  17. 字幕処理装置であって、
    自機器でカレントの再生ビデオファイルに対応する字幕ファイルがあるか否かを検索するための字幕検索モジュールと、
    マッピングアップロードモジュールと、を備え、
    該マッピングアップロードモジュールは、対応する字幕ファイルが検索された場合、該ビデオファイルの識別コード及び該字幕ファイルの識別コードを字幕マッピングインタフェースサーバにアップロードすることに用いられる第１アップロードユニットを備える字幕処理装置。
  18. 該マッピングアップロードモジュールは、
    対応する字幕ファイルが検索されなければ、該ビデオファイルの識別コードを字幕検索サーバにアップロードすることに用いられる第２アップロードユニットと、
    該字幕検索サーバから返信された字幕検索結果を受信することに用いられる検索結果受信ユニットと、
    該字幕検索結果に基づいて、選定された字幕をロードして再生することに用いられる字幕ロードユニットと、
    該選定された字幕ファイルによる再生が予定時間を超えた後、選定された字幕の識別コード及び該ビデオファイルの識別コードを該字幕マッピングインタフェースサーバにアップロードすることに用いられる第３アップロードユニットと、を更に備えることを特徴とする請求項１７に記載の字幕処理装置。
  19. 対応する字幕ファイルが検索され且つ該字幕マッピングインタフェースサーバから字幕ファイルアップロード要請が返信された場合、ユーザの設定によって該字幕ファイルを該字幕マッピングインタフェースサーバにアップロードすること用いられる字幕アップロードユニットをさらに備えることを特徴とする請求項１７に記載の字幕処理装置。
  20. コンピュータで実行可能な命令を含む記憶媒体であって、該コンピュータで実行可能な命令が字幕処理方法を実行するために用いられ、該字幕処理方法は、
    クライアントからアップロードされたビデオファイルの識別コードを受信することと、
    ビデオ字幕マッピングデータベースにおいて該識別コードに対応する字幕ファイルがあるか否かを検索することと、及び
    字幕検索結果を該クライアントに返信することと、を含むコンピュータで実行可能な命令を含む記憶媒体。
JP2015531437A 2012-09-17 2013-08-15 字幕処理方法、装置、システム及び記憶媒体 Active JP6182609B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201210345580.9 2012-09-17
CN201210345580.9A CN103678381A (zh) 2012-09-17 2012-09-17 字幕处理方法、装置及系统
PCT/CN2013/081549 WO2014040471A1 (zh) 2012-09-17 2013-08-15 字幕处理方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
JP2015534170A true JP2015534170A (ja) 2015-11-26
JP6182609B2 JP6182609B2 (ja) 2017-08-16

Family

ID=50277593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015531437A Active JP6182609B2 (ja) 2012-09-17 2013-08-15 字幕処理方法、装置、システム及び記憶媒体

Country Status (5)

Country Link
US (1) US9805119B2 (ja)
EP (1) EP2897060B1 (ja)
JP (1) JP6182609B2 (ja)
CN (1) CN103678381A (ja)
WO (1) WO2014040471A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997661A (zh) * 2014-04-29 2014-08-20 四川长虹电器股份有限公司 视频与字幕文件智能适配下载系统及方法
CN104104986B (zh) * 2014-07-29 2017-08-22 小米科技有限责任公司 音频与字幕的同步方法和装置
CN105791971A (zh) * 2014-12-26 2016-07-20 深圳Tcl数字技术有限公司 切换流媒体音频的方法及装置
CN105100833A (zh) * 2015-07-01 2015-11-25 北京奇虎科技有限公司 用于在线播放的字幕加载方法和装置
CN106412469B (zh) * 2015-08-03 2019-05-24 中强光电股份有限公司 投影系统、投影装置与投影系统的投影方法
CN108924588B (zh) * 2018-06-29 2021-03-19 阿里巴巴（中国）有限公司 字幕显示方法及装置
CN110968598A (zh) * 2018-09-29 2020-04-07 北京京东尚科信息技术有限公司 数据请求管理方法、系统及装置
CN113938706B (zh) * 2020-07-14 2023-02-10 花瓣云科技有限公司 一种增加字幕和/或音频的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163600A (ja) * 2008-01-09 2009-07-23 Hitachi Ltd メタデータ共有システム、サーバ装置、クライアント装置及びメタデータ共有方法
JP2011215700A (ja) * 2010-03-31 2011-10-27 Zenrin Datacom Co Ltd 最適情報提供サーバ、最適情報提供方法、最適情報提供システム、クライアント装置およびプログラム
US20120102158A1 (en) * 2009-07-27 2012-04-26 Tencent Technology (Shenzhen) Company Limited Method, system and apparatus for uploading and downloading a caption file

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003061285A2 (en) * 2001-12-24 2003-07-24 Scientific Generics Limited Captioning system
JP2004328653A (ja) * 2003-04-28 2004-11-18 Toshiba Corp 再生装置
KR20050018315A (ko) * 2003-08-05 2005-02-23 삼성전자주식회사 텍스트 자막을 다운로드받기 위한 정보를 저장하는정보저장매체, 자막 재생 방법 및 장치
KR100541215B1 (ko) * 2003-11-24 2006-01-10 (주)테일러테크놀로지 디지탈 오디오파일의 가사제공시스템
KR100744065B1 (ko) * 2006-01-05 2007-07-30 삼성전자주식회사 웹서비스 기술을 지원하는 ａ／ｖ 네트워크에서 컨텐츠재생시 자막 표시방법 및 그 장치
US20080026355A1 (en) * 2006-07-27 2008-01-31 Sony Ericsson Mobile Communications Ab Song lyrics download for karaoke applications
CN101452726A (zh) * 2008-11-15 2009-06-10 康佳集团股份有限公司 一种可下载和显示歌词的多媒体播放系统和方法
CN102081948A (zh) * 2011-01-13 2011-06-01 博视联（苏州）信息科技有限公司 视频字幕同步显示系统及其显示方法
CN102087668A (zh) * 2011-02-17 2011-06-08 天擎华媒(北京)科技有限公司 一种自动获取音视频字幕和歌词并快速定位检索及个性化显示的方法
US9021536B2 (en) * 2012-09-06 2015-04-28 Stream Translations, Ltd. Process for subtitling streaming video content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163600A (ja) * 2008-01-09 2009-07-23 Hitachi Ltd メタデータ共有システム、サーバ装置、クライアント装置及びメタデータ共有方法
US20120102158A1 (en) * 2009-07-27 2012-04-26 Tencent Technology (Shenzhen) Company Limited Method, system and apparatus for uploading and downloading a caption file
JP2011215700A (ja) * 2010-03-31 2011-10-27 Zenrin Datacom Co Ltd 最適情報提供サーバ、最適情報提供方法、最適情報提供システム、クライアント装置およびプログラム

Also Published As

Publication number Publication date
JP6182609B2 (ja) 2017-08-16
EP2897060A4 (en) 2016-05-04
US20150186388A1 (en) 2015-07-02
US9805119B2 (en) 2017-10-31
EP2897060B1 (en) 2018-03-21
EP2897060A1 (en) 2015-07-22
CN103678381A (zh) 2014-03-26
WO2014040471A1 (zh) 2014-03-20

Similar Documents

Publication Publication Date Title
JP6182609B2 (ja) 字幕処理方法、装置、システム及び記憶媒体
JP7423134B2 (ja) インタラクティブシーンの起動方法、装置、コンピュータプログラム、クライアント側及びサーバー
CA2661066C (en) Auto-selection of media files
KR102233186B1 (ko) 오디오에 수반되는 비디오 프레젠테이션 생성
JP5144838B1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US9055193B2 (en) System and method of a remote conference
US10862936B2 (en) Unified playback position
US10694222B2 (en) Generating video content items using object assets
US20110182561A1 (en) System and method for continuous playing of moving picture between two devices
US20230421859A1 (en) Systems and methods for recommending content using progress bars
WO2016161922A1 (zh) 视频文件处理方法及装置
CN112639759A (zh) 上下文数字媒体处理系统和方法
JP2010268103A (ja) 動画配信サービスのクライアント端末及びコンピュータプログラム
US10264324B2 (en) System and method for group-based media composition
KR20140061340A (ko) Ｅｘｉｆ 메타데이터를 이용한 게임 스크린샷 관리 장치 및 그 방법
CN110297971B (zh) 个性化资源检索方法、装置、设备及计算机可读存储介质
RU2383951C2 (ru) Способ и устройство для воспроизведения оптического диска
KR101477492B1 (ko) 동영상 콘텐츠 편집 및 재생을 위한 장치 및 그 방법
US20230262292A1 (en) Content playing method and system
KR102643117B1 (ko) 게임 컨텐츠 제공 방법 및 이를 위한 컴퓨터 프로그램
KR101283726B1 (ko) 동영상 관련 정보 제공방법 및 제공 시스템
JP2007329846A (ja) コンテンツ再生装置およびコンテンツ再生方法
CN116842215A (zh) 一种录像视频文件缺失补全的连续索引方法及装置
CN115734033A (zh) 视频播放方法、装置和计算机可读存储介质
CN112104920A (zh) 互动视频文件生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170410

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170724

R150 Certificate of patent or registration of utility model

Ref document number: 6182609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250