JP2021061526A - Subtitle conversion device, content distribution system, program, and content distribution method - Google Patents

Subtitle conversion device, content distribution system, program, and content distribution method Download PDF

Info

Publication number
JP2021061526A
JP2021061526A JP2019184427A JP2019184427A JP2021061526A JP 2021061526 A JP2021061526 A JP 2021061526A JP 2019184427 A JP2019184427 A JP 2019184427A JP 2019184427 A JP2019184427 A JP 2019184427A JP 2021061526 A JP2021061526 A JP 2021061526A
Authority
JP
Japan
Prior art keywords
subtitle
text
translated
translation
japanese
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019184427A
Other languages
Japanese (ja)
Other versions
JP7551286B2 (en
Inventor
松本 学
Manabu Matsumoto
学 松本
秀彦 菊地
Hidehiko Kikuchi
秀彦 菊地
怜 穗坂
Rei Hosaka
怜 穗坂
良隆 中島
Yoshitaka Nakajima
良隆 中島
健太 久保
Kenta Kubo
健太 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Television Network Corp
Yomiuri Telecasting Corp
Original Assignee
Nippon Television Network Corp
Yomiuri Telecasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Television Network Corp, Yomiuri Telecasting Corp filed Critical Nippon Television Network Corp
Priority to JP2019184427A priority Critical patent/JP7551286B2/en
Publication of JP2021061526A publication Critical patent/JP2021061526A/en
Application granted granted Critical
Publication of JP7551286B2 publication Critical patent/JP7551286B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To generate a subtitle for other languages other than Japanese with good accuracy without having any special features in the distribution side that generates a subtitle and a viewing terminal side that views a content.SOLUTION: A translation subtitle generating device includes a separation portion that separates content data into at least video data and subtitle data including a Japanese subtitle text, a translation source text generation portion that concatenates a plurality of Japanese subtitle texts into predetermined translation units and generates a translation source text by detecting a predetermined delimiter included in the Japanese subtitle text, a transmission portion that sends the translation source text to a translation device that translates Japanese into one or more languages, at least one or more receiving portions that receive a translation text corresponding to the translation source text from the translation device, and a distribution content data generation portion that divides the translation text into predetermined subtitle units, generates translation subtitle data, and generates distribution content data corresponding to at least one or more languages, which includes the video data and the translation subtitle data.SELECTED DRAWING: Figure 2

Description

本発明は字幕変換装置、コンテンツ配信システム、プログラム及びコンテンツ配信方法に関し、特に、日本語字幕を他の言語に翻訳する際の処理の技術に関する。 The present invention relates to a subtitle conversion device, a content distribution system, a program, and a content distribution method, and more particularly to a processing technique for translating Japanese subtitles into another language.

近年、テレビ番組では、聴覚障害者向けサービスとして字幕を放送することが求められている。一方、グローバル化にともない、日本語のコンテンツを、外国人が視聴するケースも増加している。特に、放送ではなく、インターネットを介した動画配信サービスでは、それが顕著である。 In recent years, television programs have been required to broadcast subtitles as a service for the hearing impaired. On the other hand, with globalization, the number of cases where foreigners watch Japanese content is increasing. This is especially true for video distribution services via the Internet rather than broadcasting.

字幕の多言語サービスとしては、例えば、特許文献1に記載された技術がある。特許文献1に記載された技術は、テレビ受信機側で、映像から字幕データを分離又は字幕のURLを取得し、字幕データを翻訳サーバに送信し、字幕を所望の言語に翻訳させる。そして、テレビ受信機は、翻訳された字幕を受信して表示させる構成である。 As a multilingual service for subtitles, for example, there is a technique described in Patent Document 1. In the technique described in Patent Document 1, the television receiver separates the subtitle data from the video or acquires the URL of the subtitle, transmits the subtitle data to the translation server, and translates the subtitle into a desired language. The television receiver is configured to receive and display the translated subtitles.

特表2005-521346号公報Special Table 2005-521346

特許文献1に記載された技術は、テレビ受信機側で、翻訳の処理や、翻訳後の字幕を表示するための処理を行うため、テレビ受信機(視聴端末)に特別な機能が必要となる。 The technique described in Patent Document 1 requires a special function in the television receiver (viewing terminal) because the television receiver performs translation processing and processing for displaying the translated subtitles. ..

一方、配信側で日本語以外の他言語に対応した字幕を生成することも考えられるが、精度の高い翻訳は多くの労力と費用を必要とする。 On the other hand, it is conceivable that the distribution side will generate subtitles corresponding to languages other than Japanese, but highly accurate translation requires a lot of labor and cost.

そこで、本発明の目的は、字幕を生成する配信側と、コンテンツを視聴する視聴端末側とが特別な機能を持つことなく、精度の良い日本語以外の他言語に対応した字幕を生成することができる字幕変換装置、コンテンツ配信システム、プログラム及びコンテンツ配信方法を提供することにある。 Therefore, an object of the present invention is to generate subtitles corresponding to other languages other than Japanese with high accuracy without having a distribution side for generating subtitles and a viewing terminal side for viewing contents having a special function. The purpose of the present invention is to provide a subtitle conversion device, a content distribution system, a program, and a content distribution method.

本発明の一態様は、コンテンツデータを、少なくとも映像データと、日本語字幕テキストを含む字幕データとに分離する分離部と、前記日本語字幕テキストに含まれる所定の区切り記号を検出することにより、複数の日本語字幕テキストを、所定の翻訳単位に連結し、翻訳原文テキストを生成する翻訳原文テキスト生成部と、日本語を所望の少なくとも一以上の言語に翻訳する翻訳装置に、前記翻訳原文テキストを送信する送信部と、前記翻訳装置から、前記翻訳原文テキストに対応する翻訳テキストを受信する受信部と、前記翻訳テキストを所定の字幕単位に分割し、翻訳字幕データを生成し、前記映像データ及び前記翻訳字幕データを少なくとも含む、少なくとも一以上の言語に対応した配信用コンテンツデータを生成する配信コンテンツデータ生成部とを備える字幕変換装置である。 One aspect of the present invention is to detect at least a separation unit that separates the content data into video data and subtitle data including Japanese subtitle text, and a predetermined delimiter included in the Japanese subtitle text. The translated original text is connected to a translated original text generator that connects a plurality of Japanese subtitle texts into a predetermined translation unit to generate the translated original text, and a translation device that translates Japanese into at least one desired language. And the receiving unit that receives the translated text corresponding to the translated original text from the translation device, the translated text is divided into predetermined subtitle units, the translated subtitle data is generated, and the video data is generated. The subtitle conversion device includes a distribution content data generation unit that generates distribution content data corresponding to at least one language, including at least the translated subtitle data.

本発明の一態様は、日本語のテキストを受信し、少なくとも一以上の言語に翻訳する翻訳装置と、テレビ放送用コンテンツデータを配信用コンテンツデータに変換する変換装置と、前記配信用コンテンツデータを受信し、コンテンツを視聴する視聴端末とを備え、前記変換装置は、前記テレビ放送用コンテンツデータを、少なくとも映像データと、日本語字幕テキストを含む字幕データとに分離する分離部と、前記日本語字幕テキストに含まれる所定の区切り記号を検出することにより、複数の日本語字幕テキストを、所定の翻訳単位に連結し、翻訳原文テキストを生成する翻訳原文テキスト生成部と、前記翻訳原文テキストを前記翻訳装置に送信する送信部と、前記翻訳装置から、前記翻訳原文テキストに対応する翻訳テキストを受信する受信部と、前記翻訳テキストを所定の字幕単位に分割し、翻訳字幕データを生成し、前記映像データ及び前記翻訳字幕データを少なくとも含む、少なくとも一以上の言語に対応した配信用コンテンツデータを生成する配信コンテンツデータ生成部と、前記配信用コンテンツデータを、前記視聴端末に配信する配信部とを備えるコンテンツ配信システムである。 One aspect of the present invention is a translation device that receives a Japanese text and translates it into at least one language, a conversion device that converts TV broadcast content data into distribution content data, and the distribution content data. The conversion device includes a viewing terminal for receiving and viewing the content, and the conversion device includes a separation unit that separates the content data for television broadcasting into at least video data and subtitle data including Japanese subtitle text, and the Japanese. By detecting a predetermined delimiter included in the subtitle text, a plurality of Japanese subtitle texts are concatenated into a predetermined translation unit to generate a translation original text, and the translation original text is generated by the translation original text generation unit. The transmitting unit that transmits to the translation device, the receiving unit that receives the translated text corresponding to the translated original text from the translation device, and the translated text are divided into predetermined subtitle units to generate translated subtitle data, and the translation subtitle data is generated. A distribution content data generation unit that generates distribution content data corresponding to at least one language, including at least video data and the translated subtitle data, and a distribution unit that distributes the distribution content data to the viewing terminal. It is a content distribution system provided.

本発明の一態様は、コンテンツデータを、少なくとも映像データと、日本語字幕テキストを含む字幕データとに分離する処理と、前記日本語字幕テキストに含まれる所定の区切り記号を検出することにより、複数の日本語字幕テキストを、所定の翻訳単位に連結し、翻訳原文テキストを生成する処理と、日本語を所望の少なくとも一以上の言語に翻訳する翻訳装置に、前記翻訳原文テキストを送信する処理と、前記翻訳装置から、前記翻訳原文テキストに対応する翻訳テキストを受信する処理と、前記翻訳テキストを所定の字幕単位に分割し、翻訳字幕データを生成し、前記映像データ及び前記翻訳字幕データを少なくとも含む、少なくとも一以上の言語に対応した配信用コンテンツデータを生成する処理とを、コンピュータに実行させるプログラムである。 A plurality of aspects of the present invention are obtained by separating the content data into at least video data and subtitle data including Japanese subtitle text, and detecting a predetermined delimiter included in the Japanese subtitle text. The process of concatenating the Japanese subtitle texts of the above into predetermined translation units to generate the translated original text, and the process of transmitting the translated original text to a translation device that translates Japanese into at least one desired language. , The process of receiving the translated text corresponding to the translated original text from the translation device, the translation text is divided into predetermined subtitle units, the translated subtitle data is generated, and the video data and the translated subtitle data are at least It is a program that causes a computer to execute a process of generating distribution content data corresponding to at least one or more languages, including.

本発明の一態様は、コンテンツデータを、少なくとも映像データと、日本語字幕テキストを含む字幕データとに分離し、前記日本語字幕テキストに含まれる所定の区切り記号を検出することにより、複数の日本語字幕テキストを、所定の翻訳単位に連結し、翻訳原文テキストを生成し、日本語を所望の少なくとも一以上の言語に翻訳する翻訳装置に、前記翻訳原文テキストを送信し、前記翻訳装置から、前記翻訳原文テキストに対応する翻訳テキストを受信し、前記翻訳テキストを所定の字幕単位に分割し、翻訳字幕データを生成し、前記映像データ及び前記翻訳字幕データを少なくとも含む、少なくとも一以上の言語に対応した配信用コンテンツデータを生成し、前記配信用コンテンツデータを、前記視聴端末に配信するコンテンツ配信方法である。 One aspect of the present invention separates the content data into at least video data and subtitle data including Japanese subtitle text, and detects a predetermined delimiter included in the Japanese subtitle text to detect a plurality of Japan. The translated original text is transmitted to a translation device that concatenates the word subtitle text into a predetermined translation unit, generates a translated original text, and translates Japanese into at least one desired language, and the translation device transmits the translated original text. The translated text corresponding to the translated original text is received, the translated text is divided into predetermined subtitle units, translated subtitle data is generated, and the video data and the translated subtitle data are included in at least one language. This is a content distribution method that generates corresponding distribution content data and distributes the distribution content data to the viewing terminal.

本発明は、字幕を生成する配信側と、コンテンツを視聴する視聴端末側が特別な機能を持つことなく、精度の良い日本語以外の他言語に対応した字幕を生成することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to generate subtitles corresponding to other languages other than Japanese with high accuracy without the distribution side for generating subtitles and the viewing terminal side for viewing contents having special functions.

図1は本実施形態におけるコンテンツ配信システムの全体構成例を示す図である。FIG. 1 is a diagram showing an overall configuration example of the content distribution system according to the present embodiment. 図2は翻訳字幕生成装置1の機能構成例を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration example of the translated subtitle generation device 1. 図3は、翻訳字幕生成装置1の動作を説明するための図である。FIG. 3 is a diagram for explaining the operation of the translated subtitle generation device 1. 図4は本実施の形態における配信映像(日本語字幕)を視聴端末3により視聴した場合の例を示した図である。FIG. 4 is a diagram showing an example in which the distribution video (Japanese subtitles) in the present embodiment is viewed by the viewing terminal 3. 図5は本実施の形態における配信映像(英語字幕)を視聴端末3により視聴した場合の例を示した図である。FIG. 5 is a diagram showing an example in which the distribution video (English subtitles) in the present embodiment is viewed by the viewing terminal 3. 図6は視聴者端末3における字幕言語の選択を説明するための図である。FIG. 6 is a diagram for explaining the selection of the subtitle language in the viewer terminal 3. 図7は実施の形態の変形例を説明するための図である。FIG. 7 is a diagram for explaining a modified example of the embodiment. 図8はコンピュータシステムによって構成された翻訳字幕生成装置1のブロック図である。FIG. 8 is a block diagram of the translated subtitle generator 1 configured by the computer system.

本発明の実施の形態を説明する。 Embodiments of the present invention will be described.

図1は、本実施形態におけるコンテンツ配信システムの全体構成例を示す図である。図1に示すように、配信システムは、翻訳字幕生成装置1と、翻訳サーバ2と、視聴者の視聴端末3と、通信回線4とを備えて構成される。翻訳字幕生成装置1と翻訳サーバ2、翻訳字幕生成装置1と視聴端末3とは、通信回線4に接続可能で、相互に通信可能である。 FIG. 1 is a diagram showing an overall configuration example of the content distribution system according to the present embodiment. As shown in FIG. 1, the distribution system includes a translation subtitle generation device 1, a translation server 2, a viewer's viewing terminal 3, and a communication line 4. The translation subtitle generation device 1 and the translation server 2, the translation subtitle generation device 1 and the viewing terminal 3 can be connected to the communication line 4 and can communicate with each other.

通信回線4は、データ通信が可能な通信路を意味する。すなわち、通信回線4は、直接接続のための専用線(専用ケーブル)やイーサネット(登録商標)等によるLANの他、電話通信網やケーブル網、インターネット等の通信網を含み、通信方法については有線/無線を問わない。 The communication line 4 means a communication path capable of data communication. That is, the communication line 4 includes a telephone communication network, a cable network, a communication network such as the Internet, as well as a LAN by a dedicated line (dedicated cable) for direct connection and Ethernet (registered trademark), and the communication method is wired. / Regardless of wireless.

翻訳字幕生成装置1は、単数又は複数のサーバ装置や記憶装置等を含んで構成されたサーバシステムである。翻訳字幕生成装置1は、翻訳サーバ2と連携し、Web API(Web Application Programming Interface)等を用いて日本語字幕を他言語(英語、中国語、韓国語等)に翻訳し、翻訳字幕の付いた動画を視聴端末3に配信する。 The translation subtitle generation device 1 is a server system including a single server device, a plurality of server devices, a storage device, and the like. The translation subtitle generator 1 cooperates with the translation server 2 to translate Japanese subtitles into other languages (English, Chinese, Korean, etc.) using Web API (Web Application Programming Interface), etc., and has translated subtitles. The video is distributed to the viewing terminal 3.

翻訳サーバ2は、翻訳字幕生成装置1から送信される日本語テキストを、指示された言語に翻訳し、翻訳後のテキストを翻訳字幕生成装置1に送信する。尚、翻訳サーバ2は、1台のサーバが複数の言語を翻訳する機能を備えているだけでなく、翻訳する言語毎に翻訳サーバを設けても良い。 The translation server 2 translates the Japanese text transmitted from the translated subtitle generator 1 into the instructed language, and transmits the translated text to the translated subtitle generator 1. The translation server 2 not only has a function of one server translating a plurality of languages, but may also provide a translation server for each language to be translated.

視聴端末3は、例えば、HTTP Live Streaming (HLS)などの方式に対応し、字幕付き動画を視聴できる端末であり、無線通信基地局等を介して通信回線4に接続し、翻訳字幕生成装置1とデータ通信を行うことができる。視聴端末3は、例えば、スマートフォンや、携帯電話機、携帯型ゲーム装置、据置型家庭用ゲーム装置、業務用ゲーム装置、パソコン、タブレット型コンピュータ、据置型家庭用ゲーム装置のコントローラ等である。プレーヤ端末1は、基本的には、複数存在し、各視聴者により操作される。 The viewing terminal 3 is a terminal that supports a method such as HTTP Live Streaming (HLS) and can watch a moving image with subtitles, and is connected to a communication line 4 via a wireless communication base station or the like to generate a translated subtitle generator 1. Can perform data communication with. The viewing terminal 3 is, for example, a smartphone, a mobile phone, a portable game device, a stationary home-use game device, a business-use game device, a personal computer, a tablet computer, a controller of a stationary home-use game device, or the like. Basically, there are a plurality of player terminals 1, and each player operates them.

次に、翻訳字幕生成装置1の構成を説明する。図2は翻訳字幕生成装置1の機能構成例を示すブロック図である。 Next, the configuration of the translated subtitle generation device 1 will be described. FIG. 2 is a block diagram showing a functional configuration example of the translated subtitle generation device 1.

翻訳字幕生成装置1は、分離部11と、翻訳原文テキスト生成部12と、翻訳原文テキスト送信部13と、翻訳テキスト受信部14と、配信コンテンツデータ生成部15とを備える。 The translation subtitle generation device 1 includes a separation unit 11, a translation original text generation unit 12, a translation original text transmission unit 13, a translation text reception unit 14, and a distribution content data generation unit 15.

分離部11は、地上デジタル放送のコンテンツファイルを受信する。コンテンツファイルは、映像に字幕が重畳されていない映像ファイル(以下、「元映像ファイル」という場合がある)と、音声ファイルと、アンシラリーデータ(Ancillary)とを含むことができる。アンシラリーデータは、字幕データを含む。字幕データは、映像に重畳するテキスト(文字列)、各文字列の表示タイミング(PTS:表示開始タイミング及び表示終了タイミング)、各文字列の表示位置(映像内の位置)等を含む。なお、字幕データは、解像度及びアスペクト比の少なくとも一方が互いに異なる複数の映像形式毎に、上記文字列、表示タイミング及び表示位置等を示してもよい。上記映像形式としては、HD(high definition video)、SD(standard definition television)、ワンセグ(携帯)等が例示される。 The separation unit 11 receives the content file of the terrestrial digital broadcasting. The content file can include a video file in which subtitles are not superimposed on the video (hereinafter, may be referred to as "original video file"), an audio file, and ancillary data (Ancillary). Ancillary data includes subtitle data. The subtitle data includes text (character string) superimposed on the video, display timing of each character string (PTS: display start timing and display end timing), display position of each character string (position in the video), and the like. The subtitle data may indicate the character string, display timing, display position, and the like for each of a plurality of video formats in which at least one of the resolution and the aspect ratio is different from each other. Examples of the video format include HD (high definition video), SD (standard definition television), One Seg (mobile phone), and the like.

分離部11は、アンシラリーデータから字幕データを分離し、字幕データを翻訳原文テキスト生成部12に出力する。また、分離部11は、映像ファイル及び音声ファイルを、配信コンテンツデータ生成部15に出力する。 The separation unit 11 separates the subtitle data from the ancillary data and outputs the subtitle data to the translation original text generation unit 12. Further, the separation unit 11 outputs the video file and the audio file to the distribution content data generation unit 15.

翻訳原文テキスト生成部12は、字幕データをバッファリングする機能を備える。翻訳原文テキスト生成部12は、各アンシラリーデータから分離された字幕テキストに含まれる所定の区切り記号を検出することにより、複数の日本語字幕テキストを、所定の翻訳単位に連結し、翻訳原文テキストを生成する。所定の区切り記号は句点(「。」又は「.」)が代表的であるが、これに限られない。例えば、コロン(:)や、セミコロン(;)、感嘆符(!)、疑問符(?)等でも良い。また、所定の翻訳単位とは、例えば、句点(。)で終了する1文(1センテンス)である。翻訳原文テキスト生成部12は、例えば、句点(。)を検出することにより、複数に分割されている各字幕テキストを1文(1センテンス)化し、翻訳原文テキストを生成する。このとき、翻訳原文テキストを識別する翻訳IDと、連結した字幕のPTSに関する情報とを、翻訳原文テキストに含めて、翻訳原文テキスト送信部13に出力する。尚、所定の翻訳単位は、1文(1センテンス)に限らず、ある程度が意味の通じる文節単位でも良い。 The translated original text generation unit 12 has a function of buffering the subtitle data. The translation original text generation unit 12 connects a plurality of Japanese subtitle texts into a predetermined translation unit by detecting a predetermined delimiter included in the subtitle text separated from each ancillary data, and translates the original text text. To generate. The predetermined delimiter is typically a punctuation mark ("." Or "."), But is not limited to this. For example, a colon (:), a semicolon (;), an exclamation mark (!), A question mark (?), Etc. may be used. The predetermined translation unit is, for example, one sentence (one sentence) ending with a punctuation mark (.). The translation original text generation unit 12 generates, for example, a translation original text by detecting a punctuation mark (.) To convert each subtitle text divided into a plurality of sentences into one sentence (one sentence). At this time, the translation ID that identifies the translation original text and the information regarding the PTS of the concatenated subtitles are included in the translation original text and output to the translation original text transmission unit 13. The predetermined translation unit is not limited to one sentence (one sentence), and may be a phrase unit that makes sense to some extent.

翻訳原文テキスト送信部13は、翻訳IDを含めた翻訳原文テキストを、翻訳サーバ2に送信する。送信する翻訳サーバ2は、字幕テキストを翻訳する言語に対応する翻訳サーバである。例えば、日本語字幕を英語字幕に翻訳するならば、日本語から英語に翻訳を実行する翻訳サーバに送信する。このとき、翻訳言語に対応する各翻訳サーバ2に、同時に送信するようにしても良い。例えば、英語、中国語、韓国語の翻訳に対応した各翻訳サーバ2に送信しても良い。このようにすれば、ひとつの翻訳原文テキストから多言語の翻訳を並列的に行うことができる。 The translation original text transmission unit 13 transmits the translation original text including the translation ID to the translation server 2. The translation server 2 for transmission is a translation server corresponding to the language for translating the subtitle text. For example, if you want to translate Japanese subtitles into English subtitles, send it to a translation server that translates from Japanese to English. At this time, it may be transmitted to each translation server 2 corresponding to the translation language at the same time. For example, it may be transmitted to each translation server 2 that supports translation of English, Chinese, and Korean. In this way, multilingual translation can be performed in parallel from one translated original text.

翻訳字幕テキスト受信部14は、送信した翻訳原文テキストに対応する翻訳された翻訳字幕テキストを受信する。 The translated subtitle text receiving unit 14 receives the translated translated subtitle text corresponding to the transmitted translated original text.

配信コンテンツデータ生成部15は、分離部11から映像ファイル及び音声ファイルを受信し、翻訳テキスト受信部14から翻訳字幕テキストを受信する。配信コンテンツデータ生成部15は、映像ファイル及び音声ファイルを、例えば、HTTP Live Streaming (HLS)などの方式に変換する。 The distribution content data generation unit 15 receives the video file and the audio file from the separation unit 11, and receives the translated subtitle text from the translated text receiving unit 14. The distribution content data generation unit 15 converts the video file and the audio file into a method such as HTTP Live Streaming (HLS).

また、配信コンテンツデータ生成部15は、受信した翻訳字幕テキストを、Web Video Text Tracks(WebVTT)などの字幕フォーマットに変換する。ここで、翻訳字幕テキストは、1文(1センテンス)であるので、複数に分割する必要がある。最も簡単な方法は、翻訳字幕テキストに対応する日本語字幕テキスト分に分割することである。例えば、翻訳字幕テキストに対応する翻訳原文テキストが、3個のPTSに対応する字幕テキストから生成された場合、1単語が途中で途切れないように翻訳字幕テキストを3分割する。このとき、ひとつのPTSに対応するテキスト数(文字列数)を、予め決定しておくことが好ましい。 In addition, the distribution content data generation unit 15 converts the received translated subtitle text into a subtitle format such as Web Video Text Tracks (WebVTT). Here, since the translated subtitle text is one sentence (one sentence), it is necessary to divide it into a plurality of sentences. The easiest way is to divide it into Japanese subtitle texts that correspond to the translated subtitle texts. For example, when the translated source text corresponding to the translated subtitle text is generated from the subtitle text corresponding to three PTSs, the translated subtitle text is divided into three so that one word is not interrupted in the middle. At this time, it is preferable to determine in advance the number of texts (number of character strings) corresponding to one PTS.

続いて、翻訳字幕生成装置1の動作を説明する。図3は、翻訳字幕生成装置1の動作を説明するための図である。尚、以下の説明では、日本語字幕を、英語字幕に翻訳する例を説明するが、これに限られず、並列的に他の言語(例えば、中国語、韓国語など)の処理を行えることは言うまでもない。 Subsequently, the operation of the translated subtitle generation device 1 will be described. FIG. 3 is a diagram for explaining the operation of the translated subtitle generation device 1. In the following explanation, an example of translating Japanese subtitles into English subtitles will be described, but the present invention is not limited to this, and other languages (for example, Chinese, Korean, etc.) can be processed in parallel. Needless to say.

翻訳字幕生成装置1は、地上デジタル放送のコンテンツファイルを受信する。コンテンツファイルは、映像に字幕が重畳されていない映像ファイルと、音声ファイルと、アンシラリーデータとを含むことができる。アンシラリーデータは、字幕データを含む。字幕データは、映像に重畳する文字列、及び、各文字列の表示タイミング(PTS:表示開始タイミング及び表示終了タイミング)を少なくとも含む。但し、各文字列の表示位置(映像内の位置)等を含んでも良い。 The translation subtitle generation device 1 receives the content file of the terrestrial digital broadcasting. The content file can include a video file in which subtitles are not superimposed on the video, an audio file, and ancillary data. Ancillary data includes subtitle data. The subtitle data includes at least a character string superimposed on the video and a display timing (PTS: display start timing and display end timing) of each character string. However, the display position (position in the image) of each character string may be included.

分離部11は、アンシラリーデータから字幕データを分離し、字幕データを翻訳原文テキスト生成部12に出力する。図3の例は、3つのアンシラリーデータから取得した3つの字幕データを示したものである。図3の例では、3つの字幕データである(字幕テキスト「本システム、」、PTS:00:00−00:05)、(字幕テキスト「翻訳サービスを使用して」、PTS:00:05−00:10)及び(字幕テキスト「日本語字幕を英語に翻訳します。」、PTS:00:10−00:15)である。一方、分離部11は、映像ファイル及び音声ファイルを、配信コンテンツデータ生成部15に出力する。 The separation unit 11 separates the subtitle data from the ancillary data and outputs the subtitle data to the translation original text generation unit 12. The example of FIG. 3 shows three subtitle data acquired from three ancillary data. In the example of FIG. 3, there are three subtitle data (subtitle text "this system," PTS: 00: 00-05: 05), (subtitle text "using translation service", PTS: 00: 05-. 00:10) and (subtitle text "Translate Japanese subtitles into English.", PTS: 00: 10-00: 15). On the other hand, the separation unit 11 outputs the video file and the audio file to the distribution content data generation unit 15.

翻訳原文テキスト生成部12は、分離部11からの字幕データを受け、字幕テキストから句点(。)を検出し、複数の字幕テキストを1文(1センテンス)化する。1文(1センテンス)化の処理は、検出した句点(。)毎に行われる。例えば、図3の例では、3つの字幕データである(字幕テキスト「本システムは、」、PTS:00:00−00:05)、(字幕テキスト「翻訳サービスを使用して」、PTS:00:05−00:10)及び(字幕テキスト「日本語字幕を英語に翻訳します。」、PTS:00:10−00:15)のうち、字幕テキスト「日本語字幕を英語に翻訳します。」について、句点(。)が検出される。句点(。)が検出される前の二つの字幕テキスト「本システム、」及び字幕テキスト「翻訳サービスを使用して」は、句点(。)が検出された字幕テキスト「日本語字幕を英語に翻訳します。」と、一文となる語句のテキストである。従って、これらの字幕テキストを1文(1センテンス)化し、翻訳原文テキスト「本システムは、翻訳サービスを使用して、日本字幕を英語に翻訳します。」を生成する。 The translation original text generation unit 12 receives the subtitle data from the separation unit 11, detects a punctuation mark (.) From the subtitle text, and converts a plurality of subtitle texts into one sentence (one sentence). The process of converting into one sentence (one sentence) is performed for each detected punctuation mark (.). For example, in the example of FIG. 3, there are three subtitle data (subtitle text "This system is", PTS: 00: 00-00: 05), (subtitle text "using translation service", PTS: 00. : 05-00: 10) and (subtitle text "Translate Japanese subtitles into English.", PTS: 00: 10-00: 15), the subtitle text "Translate Japanese subtitles into English." , A punctuation mark (.) Is detected. The two subtitle texts "This system," before the punctuation mark (.) Is detected, and the subtitle text "Using the translation service" are the subtitle text "Translate Japanese subtitles into English" with the punctuation mark (.) Detected. It is the text of the phrase that becomes one sentence. Therefore, these subtitle texts are converted into one sentence (one sentence), and the original translated text "This system uses a translation service to translate Japanese subtitles into English." Is generated.

翻訳原文テキスト生成部12は、1文(1センテンス)化された翻訳原文テキストに、この翻訳原文テキストを識別する翻訳IDを付して、翻訳原文テキスト送信部13に出力する。図3の例では、翻訳原文テキスト「本システムは、翻訳サービスを使用して、日本字幕を英語に翻訳します。」に、翻訳ID“100”を付して、翻訳原文テキスト「100:本システムは、翻訳サービスを使用して、日本字幕を英語に翻訳します。」を、翻訳原文テキスト送信部13に出力する。 The translated original text generation unit 12 attaches a translation ID that identifies the translated original text to the translated original text that has been converted into one sentence (one sentence), and outputs the translated original text to the translated original text transmitting unit 13. In the example of Fig. 3, the translated original text "This system uses the translation service to translate Japanese subtitles into English." With the translation ID "100" is added to the translated original text "100: Book." The system uses the translation service to translate Japanese subtitles into English. ”Is output to the translated original text transmission unit 13.

また、翻訳原文テキスト生成部12は、その翻訳IDと、翻訳原文テキストの元となる字幕テキストのPTSとを対応付けて配信コンテンツデータ生成部15に出力する。例えば、(100,PTS:00:00−00:05,PTS:00:05−00:10,PTS:00:10−00:15)である。 Further, the translation original text generation unit 12 associates the translation ID with the PTS of the subtitle text that is the source of the translation original text and outputs it to the distribution content data generation unit 15. For example, (100, PTS: 00: 00-00: 05, PTS: 00: 05-00: 10, PTS: 00: 10-00: 15).

翻訳原文テキスト送信部13は、翻訳IDを付した翻訳原文テキストを、翻訳する言語に対応する翻訳サーバ2に送信する。図3の例では、翻訳原文テキストである「100:本システムは、翻訳サービスを使用して、日本字幕を英語に翻訳します。」を、英語翻訳の翻訳サーバ2に送信する。 The translation original text transmission unit 13 transmits the translation original text with the translation ID to the translation server 2 corresponding to the language to be translated. In the example of FIG. 3, the translation original text "100: This system uses the translation service to translate Japanese subtitles into English." Is transmitted to the English translation translation server 2.

翻訳サーバ2は、翻訳IDを付した翻訳原文テキストを受信し、翻訳原文テキストを翻訳し、翻訳字幕生成装置1に送信する。図3の例では、「100:本システムは、翻訳サービスを使用して、日本字幕を英語に翻訳します。」を、英語である「100:This system translates Japanese subtitles into English using a translation service.」に翻訳し、その翻訳字幕テキストを、翻訳字幕生成装置1に送信する。 The translation server 2 receives the translated original text with the translation ID, translates the translated original text, and transmits the translated original text to the translated subtitle generator 1. In the example of Fig. 3, "100: This system translates Japanese subtitles into English using a translation service." Is translated into English "100: This system translates Japanese subtitles into English using a translation service." , And the translated subtitle text is transmitted to the translated subtitle generator 1.

翻訳字幕テキスト受信部14は、翻訳サーバ2から翻訳テキストを受信する。図3の例では、「100:This system translates Japanese subtitles into English using a translation service.」を受信し、配信コンテンツデータ生成部15に出力する。 The translated subtitle text receiving unit 14 receives the translated text from the translation server 2. In the example of FIG. 3, "100: This system translates Japanese subtitles into English using a translation service." Is received and output to the distribution content data generation unit 15.

配信コンテンツデータ生成部15は、受信した翻訳テキストに付されている翻訳IDに対応するPTSを、字幕翻訳テキストと対応付ける。図3の例では、翻訳ID“100”に対応するPTSは、(100,PTS:00:00−00:05,PTS:00:05−00:10,PTS:00:10−00:15)である。従って、配信コンテンツデータ生成部15は、(This system translates Japanese subtitles into English using a translation service.:00:00-00:05,00:05-00:10,00:10-00:15)のように、字幕翻訳テキストとPTSとを対応付ける。 The distribution content data generation unit 15 associates the PTS corresponding to the translation ID attached to the received translation text with the subtitle translation text. In the example of FIG. 3, the PTS corresponding to the translation ID “100” is (100, PTS: 00: 00-00: 05, PTS: 00: 05-00: 10, PTS: 00: 10-00: 15). Is. Therefore, the distribution content data generation unit 15 is like (This system translates Japanese subtitles into English using a translation service. 00: 00-00: 05,00: 05-00: 10,00: 10-00: 15). Is associated with the subtitle translation text and PTS.

次に、配信コンテンツデータ生成部15は、分離部11から受信した映像ファイル及び音声ファイルを、例えば、HTTP Live Streaming (HLS)などの方式に変換する。また、配信コンテンツデータ生成部15は、字幕翻訳テキストを、Web Video Text Tracks(WebVTT)などの字幕フォーマットに変換する。翻訳テキスト(This system translates Japanese subtitles into English using a translation service.:00:00-00:05,00:05-00:10,00:10-00:15)を、WebVTTに変換した一例を、下記に示す。
00:00--> 00:05
This system translates
00:05--> 00:10
Japanese subtitles into English
00:10--> 00:15
using a translation service.
上記の例では、翻訳テキスト「This system translates Japanese subtitles into English using a translation service.」を、3つのPTS(:00:00-00:05,00:05-00:10,00:10-00:15)に対応させるために、3分割している。分割の方法であるが、1単語が途中で途切れなければ、どのような方法を用いても良い。例えば、ひとつのPTSに対応するテキスト数(文字列数)を、予め決定しておいても良い。
Next, the distribution content data generation unit 15 converts the video file and the audio file received from the separation unit 11 into a method such as HTTP Live Streaming (HLS). In addition, the distribution content data generation unit 15 converts the subtitle translation text into a subtitle format such as Web Video Text Tracks (WebVTT). Below is an example of converting translation text (This system translates Japanese subtitles into English using a translation service. 00: 00-00: 05,00: 05-00: 10,00: 10-00: 15) to WebVTT. Shown in.
00: 00-> 00:05
This system translates
00: 05-> 00:10
Japanese subtitles into English
00: 10-> 00:15
using a translation service.
In the above example, the translation text "This system translates Japanese subtitles into English using a translation service." In order to correspond to 15), it is divided into three parts. Although it is a method of division, any method may be used as long as one word is not interrupted in the middle. For example, the number of texts (number of character strings) corresponding to one PTS may be determined in advance.

このようにして、配信コンテンツデータ生成部15は、配信用のコンテンツデータを生成し、視聴端末3に送信する。 In this way, the distribution content data generation unit 15 generates content data for distribution and transmits it to the viewing terminal 3.

図4は本実施の形態における配信映像(日本語字幕)を視聴端末3により視聴した場合の例を示した図であり、図5は本実施の形態における配信映像(英語字幕)を視聴端末3により視聴した場合の例を示した図である。 FIG. 4 is a diagram showing an example in which the distribution video (Japanese subtitles) in the present embodiment is viewed by the viewing terminal 3, and FIG. 5 is a diagram showing the distribution video (English subtitles) in the present embodiment in the viewing terminal 3. It is a figure which showed the example at the time of viewing by.

図4の例では、00:00−00:05時に字幕テキスト「本システムは、」が表示され、00:05−00:10時に「翻訳サービスを使用して」が表示され、00:10−00:15時に字幕テキスト「日本語字幕を英語に翻訳します。」が表示されている。一方、図5の例では、00:00−00:05時に字幕テキスト「This system translates」が表示され、00:05−00:10時に「Japanese subtitles into English」が表示され、00:10−00:15時に字幕テキスト「using a translation service.」が表示されている。このように、日本語の字幕に対して、翻訳処理による遅延を生じることなく英語字幕が表示されるのが分かる。 In the example of FIG. 4, the subtitle text "This system is" is displayed at 00: 00-00: 05, "Using the translation service" is displayed at 00: 05-00: 10, and 00: 10-. The subtitle text "Translate Japanese subtitles into English" is displayed at 00:15. On the other hand, in the example of FIG. 5, the subtitle text "This system translates" is displayed at 00: 00-00: 05, "Japanese subtitles into English" is displayed at 00: 05-00: 10, and 00: 10-00. : The subtitle text "using a translation service." Is displayed at 15:00. In this way, it can be seen that English subtitles are displayed for Japanese subtitles without delay due to translation processing.

尚、英語に限られず、他の複数の言語に対応させるためには、視聴者端末3により、字幕の言語を選択できるようにする。例えば、図6に示すように、オリジナルの日本語字幕について、字幕の言語を選択する選択ボタンを設け、視聴者端末3より、字幕の言語を選択できるようにしても良い。このとき、翻訳字幕生成装置1は、選択された言語に対応するコンテンツデータを配信する。 In order to support not only English but also a plurality of other languages, the viewer terminal 3 can select the language of the subtitles. For example, as shown in FIG. 6, for the original Japanese subtitles, a selection button for selecting the subtitle language may be provided so that the subtitle language can be selected from the viewer terminal 3. At this time, the translation subtitle generation device 1 distributes the content data corresponding to the selected language.

また、上述した実施の形態では、翻訳字幕の表示タイミングとして、オリジナルの日本語字幕のPTSを用いたが、これに限られない。オリジナルの日本語字幕も、リアルタイム字幕などの場合、日本語字幕も映像よりも遅延している場合が考えられる。そこで、リアルタイム字幕を生成に要する時間の平均値などを、オリジナルの日本語字幕のPTSから減算するようにして修正を加えても良い。このようにすれば、オリジナルの日本語字幕が遅延している場合であっても、その遅延を吸収することができる。 Further, in the above-described embodiment, the PTS of the original Japanese subtitles is used as the display timing of the translated subtitles, but the present invention is not limited to this. If the original Japanese subtitles are real-time subtitles, the Japanese subtitles may be delayed from the video. Therefore, the average value of the time required to generate the real-time subtitles may be subtracted from the PTS of the original Japanese subtitles to make corrections. In this way, even if the original Japanese subtitles are delayed, the delay can be absorbed.

本実施の形態は、文章が複数に分割された字幕テキストを、所定の区切り記号(例えば、句点(「。」又は「.」)を用いて、所定の翻訳単位(例えば、1文(1センテンス))に纏めた翻訳原文テキストを生成し、この翻訳原文テキストにより、所定の言語の翻訳を行うように構成しているので、各字幕テキスト単位の翻訳と比較して、主語、修飾語、述語の関係が明確となり、精度の高い翻訳を得ることができる。 In this embodiment, a subtitle text in which a sentence is divided into a plurality of sentences is subjected to a predetermined translation unit (for example, one sentence (one sentence)) by using a predetermined delimiter (for example, a punctuation mark (“.” Or “.”)). )) Is generated, and the translated original text is used to translate the specified language. Therefore, the subject, modifier, and predicate are compared with the translation of each subtitle text. The relationship between the two is clarified, and a highly accurate translation can be obtained.

更に、本実施の形態は、翻訳後の字幕テキストを表示する表示タイミングを、少なくとも翻訳処理に要する時間分調整しているので、映像と字幕との表示タイミングのずれを防ぐことができる。 Further, in the present embodiment, since the display timing for displaying the translated subtitle text is adjusted by at least the time required for the translation process, it is possible to prevent a deviation in the display timing between the video and the subtitle.

次に、本実施の形態の変形例を説明する。 Next, a modified example of the present embodiment will be described.

翻訳サーバ2側が、翻訳字幕テキストを分割可能位置に関する分割可能位置情報を提供できる場合は、その分割可能位置情報を用いて、1センテンスの翻訳字幕テキストを複数に分割する。 When the translation server 2 side can provide the divisible position information regarding the subdividable position of the translated subtitle text, the translated subtitle text of one sentence is divided into a plurality of parts by using the divisible position information.

例えば、文節単位で分割可能な位置に関する分割可能位置情報を“*”とし、単語単位で分割可能な位置に関する分割可能位置情報を“/”とする。 For example, the divisible position information related to the position that can be divided in phrase units is set to "*", and the divisible position information related to the position that can be divided in word units is set to "/".

このとき、翻訳原文テキストを「本システムは、翻訳サービスを使用して、日本字幕を英語、中国語及び韓国語に翻訳します。」とする。すると、翻訳サーバ2から受信する翻訳字幕テキストは、以下のようになる。
「This/system/*translates/*Japanese/subtitles/into/*English,/Chinese/and/Korean/*using/a/translation/service./」
配信コンテンツデータ生成部15は、(翻訳字幕テキストの全文字数/表示分割数)を計算し、1分割当たりの文字数を決定する。例えば、上述した例と同様に、3分割する場合を考えると、翻訳字幕テキストの全文字数は、103文字(スペースを含む)であり、1分割当たりの文字数は約35文字(103/3)となる。そこで、翻訳字幕テキストを35文字毎に3分割すると、以下の通りとなる。尚、“+”は分割点である。
「This/system/*translates/*Japanese/sub+titles/into/*English,/Chinese/and/Ko+rean/*using/a/translation/service./」
配信コンテンツデータ生成部15は、分割点“+”から前後所定のx文字以内の最寄りの分割可能位置情報を“*”を探し出し、分割位置とする。該当する分割可能位置情報を“*”がない場合は、分割点“+”から最寄りの分割可能位置情報を“/”を探し出し、分割位置とする。
At this time, the original translated text is "This system uses the translation service to translate Japanese subtitles into English, Chinese and Korean." Then, the translated subtitle text received from the translation server 2 is as follows.
"This / system / * translates / * Japanese / subtitles / into / * English, / Chinese / and / Korean / * using / a / translation / service./"
The distribution content data generation unit 15 calculates (the total number of characters in the translated subtitle text / the number of display divisions) and determines the number of characters per division. For example, as in the above example, considering the case of dividing into three, the total number of characters of the translated subtitle text is 103 characters (including spaces), and the number of characters per division is about 35 characters (103/3). Become. Therefore, when the translated subtitle text is divided into three parts every 35 characters, the result is as follows. In addition, "+" is a division point.
"This / system / * translates / * Japanese / sub + titles / into / * English, / Chinese / and / Ko + rean / * using / a / translation / service./"
The distribution content data generation unit 15 searches for "*" for the nearest divisible position information within a predetermined x character before and after the division point "+", and sets it as the division position. If there is no "*" in the corresponding divisible position information, the nearest divisible position information "/" is searched for from the division point "+" and used as the division position.

所定のx文字を10文字とすると、上記の例では、以下の通りとなる。
・第1分割「This/system/*translates/*Japanese/sub+titles/into/*」
・第2分割「English,/Chinese/and/Ko+rean/*」
・第3分割「using/a/translation/service./」
そして、分割可能位置情報及び分割記号を削除し、各PTS(00:00-00:05,00:05-00:10,00:10-00:15)に対応させると、以下の通りになる。
・第1分割「This system translates Japanese subtitles into」PTS(00:00-00:05)
・第2分割「English, Chinese and Korean」PTS(00:05-00:10)
・第3分割「using a translation service.」PTS(00:10-00:15)
上記の例を視聴端末3により視聴した場合の例を示した図が図7である。
Assuming that the predetermined x character is 10 characters, in the above example, it is as follows.
・ First division "This / system / * translates / * Japanese / sub + titles / into / *"
・ Second division "English, / Chinese / and / Ko + rean / *"
・ Third division "using / a / translation / service./"
Then, if the splittable position information and the split symbol are deleted and each PTS (00: 00-00: 05, 00: 05-00: 10,00: 10-00: 15) is made to correspond, the result is as follows. ..
・ First division "This system translates Japanese subtitles into" PTS (00: 00-00: 05)
・ Second division "English, Chinese and Korean" PTS (00:05-00:10)
・ Third division "using a translation service." PTS (00: 10-00: 15)
FIG. 7 is a diagram showing an example when the above example is viewed by the viewing terminal 3.

このようにすれば、言語的により適切な字幕を表示することができる。 In this way, subtitles that are more linguistically appropriate can be displayed.

更に、上述した翻訳字幕生成装置1は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステムによって実現することができる。図8はコンピュータシステムによって構成された翻訳字幕生成装置1のブロック図である。 Further, the above-mentioned translation subtitle generation device 1 can be specifically realized by a computer system having a processor that performs various arithmetic processes and the like. FIG. 8 is a block diagram of the translated subtitle generator 1 configured by the computer system.

翻訳字幕生成装置1は、図8に示す如く、プロセッサ101、メモリ(ROMやRAM)102、入力装置(キーボード、マウス、タッチパネルなど)103、通信装置104、記憶装置(ハードディスク、半導体ディスクなど)105を有するコンピュータ100により構成することができる。 As shown in FIG. 8, the translation subtitle generator 1 includes a processor 101, a memory (ROM or RAM) 102, an input device (keyboard, mouse, touch panel, etc.) 103, a communication device 104, and a storage device (hard disk, semiconductor disk, etc.) 105. It can be configured by a computer 100 having the above.

翻訳字幕生成装置1は、記憶装置105に格納されたプログラムがメモリ102にロードされ、プロセッサ101により実行されることにより、分離処理111と、翻訳原文テキスト生成処理112と、翻訳原文テキスト送信処理113と、翻訳字幕テキスト受信処理114と、配信コンテンツデータ生成処理115とが実現されるものである。ここで、分離処理111は分離部11に対応し、翻訳原文テキスト生成処理112は翻訳原文テキスト生成部12に対応し、翻訳原文テキスト送信処理113は翻訳原文テキスト送信部13に対応し、翻訳字幕テキスト受信処理114は翻訳テキスト受信部14に対応し、配信コンテンツデータ生成処理115は配信コンテンツデータ生成部15に対応する。尚、記憶装置105は、コンピュータ100と物理的に外部に設けられ、LAN等のネットワークを介してコンピュータ100と接続されていても良い。 In the translation subtitle generation device 1, the program stored in the storage device 105 is loaded into the memory 102 and executed by the processor 101, whereby the separation process 111, the translation source text generation process 112, and the translation source text transmission process 113. The translation subtitle text reception process 114 and the distribution content data generation process 115 are realized. Here, the separation process 111 corresponds to the separation unit 11, the translation original text generation process 112 corresponds to the translation original text generation unit 12, the translation original text transmission process 113 corresponds to the translation original text transmission unit 13, and the translation subtitles. The text reception process 114 corresponds to the translated text receiving unit 14, and the distribution content data generation process 115 corresponds to the distribution content data generation unit 15. The storage device 105 may be physically provided externally to the computer 100 and may be connected to the computer 100 via a network such as a LAN.

以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。 Although the present invention has been described above with reference to preferred embodiments, the present invention is not necessarily limited to the above embodiments, and can be variously modified and implemented within the scope of the technical idea.

1 翻訳字幕生成装置
2 翻訳サーバ
3 視聴端末
4 通信回線
11 分離部
12 翻訳原文テキスト生成部
13 翻訳原文テキスト送信部
14 翻訳字幕テキスト受信部
15 配信コンテンツデータ生成部
100 コンピュータ
101 プロセッサ
102 メモリ
103 入力装置
104 通信装置
105 記憶装置
1 Translation subtitle generator 2 Translation server 3 Viewing terminal 4 Communication line 11 Separation unit 12 Translation original text generation unit 13 Translation original text transmission unit 14 Translation subtitle text reception unit 15 Distribution content data generation unit 100 Computer 101 Processor 102 Memory 103 Input device 104 Communication device 105 Storage device

Claims (8)

コンテンツデータを、少なくとも映像データと、日本語字幕テキストを含む字幕データとに分離する分離部と、
前記日本語字幕テキストに含まれる所定の区切り記号を検出することにより、複数の日本語字幕テキストを、所定の翻訳単位に連結し、翻訳原文テキストを生成する翻訳原文テキスト生成部と、
日本語を所望の少なくとも一以上の言語に翻訳する翻訳装置に、前記翻訳原文テキストを送信する送信部と、
前記翻訳装置から、前記翻訳原文テキストに対応する翻訳テキストを受信する受信部と、
前記翻訳テキストを所定の字幕単位に分割し、翻訳字幕データを生成し、前記映像データ及び前記翻訳字幕データを少なくとも含む、少なくとも一以上の言語に対応した配信用コンテンツデータを生成する配信コンテンツデータ生成部と
を備える字幕変換装置。
A separator that separates content data into at least video data and subtitle data including Japanese subtitle text,
A translation original text generation unit that generates a translation original text by concatenating a plurality of Japanese subtitle texts into a predetermined translation unit by detecting a predetermined delimiter included in the Japanese subtitle text.
A transmitter that transmits the translated original text to a translation device that translates Japanese into at least one desired language.
A receiver that receives the translated text corresponding to the translated original text from the translation device, and
Distribution content data generation that divides the translated text into predetermined subtitle units, generates translated subtitle data, and generates distribution content data corresponding to at least one language including the video data and the translated subtitle data. A subtitle conversion device equipped with a unit.
前記所定の区切り記号が句点であり、
前記所定の翻訳単位が、ひとつの句点で終了する1文である
請求項1に記載の字幕変換装置。
The predetermined delimiter is a punctuation mark.
The subtitle conversion device according to claim 1, wherein the predetermined translation unit is one sentence ending with one punctuation mark.
前記字幕データは、日本語字幕テキストを映像に表示するタイミングに関する時刻情報を含み、
前記配信コンテンツデータ生成部は、前記所定の字幕単位に分割された翻訳テキストを表示するタイミングを、少なくとも翻訳処理に要する遅延時間を吸収するように調整する
請求項1又は請求項2に記載の字幕変換装置。
The subtitle data includes time information regarding the timing of displaying the Japanese subtitle text in the video.
The subtitle according to claim 1 or 2, wherein the distribution content data generation unit adjusts the timing of displaying the translated text divided into the predetermined subtitle units so as to absorb at least the delay time required for the translation process. Conversion device.
前記配信コンテンツデータ生成部は、前記所定の字幕単位に分割された翻訳テキストを表示するタイミングとして、前記日本語字幕テキストの時刻情報と同じ時刻を用いる
請求項3に記載の字幕変換装置。
The subtitle conversion device according to claim 3, wherein the distribution content data generation unit uses the same time as the time information of the Japanese subtitle text as the timing for displaying the translated text divided into the predetermined subtitle units.
前記受信部は、テキストの分割可能位置を示す分割情報を含む翻訳テキストを、前記翻訳装置から受信し、
前記配信コンテンツデータ生成部は、前記分割情報を用いて、前記翻訳テキストを字幕単位に分割する
請求項1から請求項4のいずれかに記載の字幕変換装置。
The receiving unit receives the translated text including the split information indicating the splittable position of the text from the translation device, and receives the translated text.
The subtitle conversion device according to any one of claims 1 to 4, wherein the distribution content data generation unit divides the translated text into subtitle units using the division information.
日本語のテキストを受信し、少なくとも一以上の言語に翻訳する翻訳装置と、テレビ放送用コンテンツデータを配信用コンテンツデータに変換する変換装置と、前記配信用コンテンツデータを受信し、コンテンツを視聴する視聴端末とを備え、
前記変換装置は、
前記テレビ放送用コンテンツデータを、少なくとも映像データと、日本語字幕テキストを含む字幕データとに分離する分離部と、
前記日本語字幕テキストに含まれる所定の区切り記号を検出することにより、複数の日本語字幕テキストを、所定の翻訳単位に連結し、翻訳原文テキストを生成する翻訳原文テキスト生成部と、
前記翻訳原文テキストを前記翻訳装置に送信する送信部と、
前記翻訳装置から、前記翻訳原文テキストに対応する翻訳テキストを受信する受信部と、
前記翻訳テキストを所定の字幕単位に分割し、翻訳字幕データを生成し、前記映像データ及び前記翻訳字幕データを少なくとも含む、少なくとも一以上の言語に対応した配信用コンテンツデータを生成する配信コンテンツデータ生成部と、
前記配信用コンテンツデータを、前記視聴端末に配信する配信部と
を備える
コンテンツ配信システム。
A translation device that receives Japanese text and translates it into at least one language, a conversion device that converts TV broadcast content data into distribution content data, and receives the distribution content data to view the content. Equipped with a viewing terminal
The conversion device is
A separation unit that separates the content data for television broadcasting into at least video data and subtitle data including Japanese subtitle text.
A translation original text generation unit that generates a translation original text by concatenating a plurality of Japanese subtitle texts into a predetermined translation unit by detecting a predetermined delimiter included in the Japanese subtitle text.
A transmitter that transmits the translated original text to the translation device, and
A receiver that receives the translated text corresponding to the translated original text from the translation device, and
Distribution content data generation that divides the translated text into predetermined subtitle units, generates translated subtitle data, and generates distribution content data corresponding to at least one language including the video data and the translated subtitle data. Department and
A content distribution system including a distribution unit that distributes the distribution content data to the viewing terminal.
コンテンツデータを、少なくとも映像データと、日本語字幕テキストを含む字幕データとに分離する処理と、
前記日本語字幕テキストに含まれる所定の区切り記号を検出することにより、複数の日本語字幕テキストを、所定の翻訳単位に連結し、翻訳原文テキストを生成する処理と、
日本語を所望の少なくとも一以上の言語に翻訳する翻訳装置に、前記翻訳原文テキストを送信する処理と、
前記翻訳装置から、前記翻訳原文テキストに対応する翻訳テキストを受信する処理と、
前記翻訳テキストを所定の字幕単位に分割し、翻訳字幕データを生成し、前記映像データ及び前記翻訳字幕データを少なくとも含む、少なくとも一以上の言語に対応した配信用コンテンツデータを生成する処理と
を、コンピュータに実行させるプログラム。
The process of separating the content data into at least video data and subtitle data including Japanese subtitle text,
A process of connecting a plurality of Japanese subtitle texts into a predetermined translation unit by detecting a predetermined delimiter included in the Japanese subtitle text to generate a translated original text.
The process of transmitting the translated original text to a translation device that translates Japanese into at least one desired language, and
The process of receiving the translated text corresponding to the translated original text from the translation device, and
The process of dividing the translated text into predetermined subtitle units, generating translated subtitle data, and generating distribution content data corresponding to at least one language including the video data and the translated subtitle data. A program that lets a computer run.
コンテンツデータを、少なくとも映像データと、日本語字幕テキストを含む字幕データとに分離し、
前記日本語字幕テキストに含まれる所定の区切り記号を検出することにより、複数の日本語字幕テキストを、所定の翻訳単位に連結し、翻訳原文テキストを生成し、
日本語を所望の少なくとも一以上の言語に翻訳する翻訳装置に、前記翻訳原文テキストを送信し、
前記翻訳装置から、前記翻訳原文テキストに対応する翻訳テキストを受信し、
前記翻訳テキストを所定の字幕単位に分割し、翻訳字幕データを生成し、前記映像データ及び前記翻訳字幕データを少なくとも含む、少なくとも一以上の言語に対応した配信用コンテンツデータを生成し、
前記配信用コンテンツデータを、前記視聴端末に配信する
コンテンツ配信方法。
Separate the content data into at least video data and subtitle data including Japanese subtitle text,
By detecting a predetermined delimiter included in the Japanese subtitle text, a plurality of Japanese subtitle texts are concatenated into a predetermined translation unit to generate a translated original text.
The translated original text is transmitted to a translation device that translates Japanese into at least one desired language.
The translated text corresponding to the translated original text is received from the translation device, and the translated text is received.
The translated text is divided into predetermined subtitle units, translated subtitle data is generated, and distribution content data corresponding to at least one language including the video data and the translated subtitle data is generated.
A content distribution method for distributing the distribution content data to the viewing terminal.
JP2019184427A 2019-10-07 2019-10-07 Subtitle conversion device, content distribution system, program, and content distribution method Active JP7551286B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019184427A JP7551286B2 (en) 2019-10-07 2019-10-07 Subtitle conversion device, content distribution system, program, and content distribution method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019184427A JP7551286B2 (en) 2019-10-07 2019-10-07 Subtitle conversion device, content distribution system, program, and content distribution method

Publications (2)

Publication Number Publication Date
JP2021061526A true JP2021061526A (en) 2021-04-15
JP7551286B2 JP7551286B2 (en) 2024-09-17

Family

ID=75380489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019184427A Active JP7551286B2 (en) 2019-10-07 2019-10-07 Subtitle conversion device, content distribution system, program, and content distribution method

Country Status (1)

Country Link
JP (1) JP7551286B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660432A (en) * 2021-08-17 2021-11-16 安徽听见科技有限公司 Translation subtitle production method and device, electronic equipment and storage medium
WO2023084806A1 (en) * 2021-11-15 2023-05-19 株式会社高山化成 Video editing system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010138A (en) * 2000-06-20 2002-01-11 Nippon Telegr & Teleph Corp <Ntt> Method for processing information and device therefor
JP2009016910A (en) * 2007-06-29 2009-01-22 Toshiba Corp Video reproducing device and video reproducing method
JP2018207339A (en) * 2017-06-06 2018-12-27 池上通信機株式会社 Monitor system for broadcasting

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013251766A (en) 2012-05-31 2013-12-12 Toshiba Corp Broadcast reception apparatus and broadcast reception method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010138A (en) * 2000-06-20 2002-01-11 Nippon Telegr & Teleph Corp <Ntt> Method for processing information and device therefor
JP2009016910A (en) * 2007-06-29 2009-01-22 Toshiba Corp Video reproducing device and video reproducing method
JP2018207339A (en) * 2017-06-06 2018-12-27 池上通信機株式会社 Monitor system for broadcasting

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660432A (en) * 2021-08-17 2021-11-16 安徽听见科技有限公司 Translation subtitle production method and device, electronic equipment and storage medium
CN113660432B (en) * 2021-08-17 2024-05-28 安徽听见科技有限公司 Translation subtitle making method and device, electronic equipment and storage medium
WO2023084806A1 (en) * 2021-11-15 2023-05-19 株式会社高山化成 Video editing system

Also Published As

Publication number Publication date
JP7551286B2 (en) 2024-09-17

Similar Documents

Publication Publication Date Title
US11272257B2 (en) Method and apparatus for pushing subtitle data, subtitle display method and apparatus, device and medium
EP3787300A1 (en) Video stream processing method and apparatus, computer device and storage medium
US10567834B2 (en) Using an audio stream to identify metadata associated with a currently playing television program
US8732783B2 (en) Apparatus and method for providing additional information using extension subtitles file
US9124910B2 (en) Systems and methods of processing closed captioning for video on demand content
TWI489862B (en) Digital TV instant translation system and its method
KR101192207B1 (en) System for providing real-time subtitles service of many languages for online live broadcasting and method thereof
JP6399726B1 (en) Text content generation device, transmission device, reception device, and program
US20160098395A1 (en) System and method for separate audio program translation
US20130242189A1 (en) Method and system for providing synchronized playback of media streams and corresponding closed captions
JP2021061526A (en) Subtitle conversion device, content distribution system, program, and content distribution method
CN112601102A (en) Method and device for determining simultaneous interpretation of subtitles, electronic equipment and storage medium
JP2017204695A (en) Caption data generation device, content display device and program
JP2021090172A (en) Caption data generation device, content distribution system, video reproduction device, program, and caption data generation method
US8863193B2 (en) Information processing apparatus, broadcast receiving apparatus and information processing method
JP5213572B2 (en) Sign language video generation system, server, terminal device, information processing method, and program
JPWO2014196457A1 (en) Content playback device with subtitles
US10796089B2 (en) Enhanced timed text in video streaming
KR20130032655A (en) Sign language broadcasting system and method using serch
JP6399686B2 (en) Receiving machine
JP2009260685A (en) Broadcast receiver
JP2015222865A (en) Mobile terminal, associative data presentation method and program
JP2005227944A (en) Character information acquisition device
KR102126224B1 (en) Multi-audio broadcasting service system and method therefor
CN115474065A (en) Subtitle processing method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240904

R150 Certificate of patent or registration of utility model

Ref document number: 7551286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150