JP2008312066A - Closed-captioned video reproducer and program - Google Patents

Closed-captioned video reproducer and program Download PDF

Info

Publication number
JP2008312066A
JP2008312066A JP2007159510A JP2007159510A JP2008312066A JP 2008312066 A JP2008312066 A JP 2008312066A JP 2007159510 A JP2007159510 A JP 2007159510A JP 2007159510 A JP2007159510 A JP 2007159510A JP 2008312066 A JP2008312066 A JP 2008312066A
Authority
JP
Japan
Prior art keywords
subtitle
time
reproduction
sentence
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007159510A
Other languages
Japanese (ja)
Other versions
JP4367535B2 (en
Inventor
Masahiro Yamazaki
正裕 山崎
Tomoya Ozaki
友哉 尾崎
Mayumi Nakade
真弓 中出
Yukinori Asada
幸則 浅田
Takashi Matsubara
孝志 松原
Original Assignee
Casio Hitachi Mobile Communications Co Ltd
株式会社カシオ日立モバイルコミュニケーションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Hitachi Mobile Communications Co Ltd, 株式会社カシオ日立モバイルコミュニケーションズ filed Critical Casio Hitachi Mobile Communications Co Ltd
Priority to JP2007159510A priority Critical patent/JP4367535B2/en
Priority claimed from CN2008100971378A external-priority patent/CN101312506B/en
Priority claimed from US12/154,026 external-priority patent/US8346049B2/en
Publication of JP2008312066A publication Critical patent/JP2008312066A/en
Application granted granted Critical
Publication of JP4367535B2 publication Critical patent/JP4367535B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To scroll caption sentences shown in a caption sentence list while changing the sentences according to reproduction of a closed-captioned video image. <P>SOLUTION: A controller 11 generates caption management data which correlates caption sentences with reproduction timings of the caption sentences after recording content. Then, the reproduction timing of a video frame extracted from the content data is compared with the reproduction timing of the current caption sentence, so that the video frame corresponding to the current caption sentence is specified and displayed. The adjacent caption sentences at predetermined timings with respect to the current reproduction caption sentence are read out from the caption management data and a caption list indicating the caption sentences thus read out and the current reproduction caption sentence is displayed. When a lapse of "caption switching time" is detected by a timer, a next caption sentence to be reproduced and a display time of the sentence are read out from the caption management data, and the above processing is repeated. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、字幕文及び映像を処理する字幕付映像再生装置と、コンピュータを字幕付映像再生装置として機能させるプログラムと、に関する。   The present invention relates to a captioned video playback device that processes caption text and video, and a program that causes a computer to function as a captioned video playback device.
特許文献1は、ストリームに含まれる字幕文の表示時刻と映像とを対応付け、ユーザが字幕文を選択したときに、選択された字幕文と共にその字幕文の表示時刻に対応する映像を再生する字幕表示装置、を開示する(特許文献1 3頁右欄50行〜4頁左欄39行 参照)。
特開2003−18491号公報
Patent Document 1 associates the display time of a subtitle sentence included in a stream with a video, and when the user selects a subtitle sentence, reproduces the video corresponding to the display time of the subtitle sentence together with the selected subtitle sentence. A caption display device is disclosed (see Patent Document 1, page 3, right column, line 50 to page 4, left column, line 39).
JP 2003-18491 A
特許文献1に開示された字幕表示装置は、字幕付映像に含まれる所定の表示時刻を有する映像を複数表示させ、その内からユーザが選択した映像及び字幕文から再生を開始する。しかし、特許文献1に開示された字幕表示装置は、再生中の場面に係る内容を示す字幕文しか表示することができない。   The caption display device disclosed in Patent Document 1 displays a plurality of videos having a predetermined display time included in a captioned video, and starts playback from the video and caption text selected by the user from among the videos. However, the caption display device disclosed in Patent Document 1 can display only a caption text indicating the content relating to the scene being played back.
本発明は、上記実情に鑑みてなされたものであり、字幕付映像を視聴するときに、再生中の場面以外の内容を把握可能とすることを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to make it possible to grasp contents other than the scene being reproduced when viewing a video with subtitles.
上記課題を解決するため、本発明の字幕付映像再生装置は、複数の字幕文を定義する字幕信号と、複数の映像を定義する映像信号とを、再生順序により対応付けて記憶する記憶手段と、前記字幕信号が定義する字幕文を再生する字幕再生手段と、時間を計時し、前記字幕再生手段が再生中の字幕文の再生開始から所定時間が経過したことを検出するタイマ手段と、前記タイマ手段で所定時間の経過を検出したときに、前記字幕再生手段を制御し、現在再生中の字幕文に代えて、その字幕文の次の再生順序を有する字幕文を再生させる字幕切替手段と、前記映像信号が定義する各映像の内から前記字幕再生手段が再生中の字幕文に対応する再生順序を有する映像、を再生する映像再生手段と、前記字幕再生手段が再生中の字幕文と、その字幕文の再生順序から所定の順序だけ前にある字幕文と、その字幕文の再生順序から所定の順序だけ後にある字幕文と、のリストを生成して表示するリスト表示手段と、を備えることを特徴とする。   In order to solve the above problems, a video playback apparatus with captions according to the present invention includes a storage unit that stores a caption signal that defines a plurality of caption sentences and a video signal that defines a plurality of videos in association with each other according to a playback order. Subtitle playback means for playing back a subtitle sentence defined by the subtitle signal; timer means for measuring time and detecting that a predetermined time has elapsed since the start of playback of the subtitle sentence being played back by the subtitle playback means; Subtitle switching means for controlling the subtitle playback means when the elapse of a predetermined time is detected by the timer means and playing back a subtitle sentence having the next playback order of the subtitle sentence instead of the currently reproduced subtitle sentence; A video playback means for playing back a video having a playback order corresponding to a subtitle sentence being played back by the subtitle playback means from among the videos defined by the video signal; and a subtitle sentence being played back by the subtitle playback means; , That subtitle sentence A list display means for generating and displaying a list of a subtitle sentence that is a predetermined order before the reproduction order and a subtitle sentence that is a predetermined order after the reproduction order of the subtitle sentence. To do.
更に、コンピュータに対して本発明の主要機能を実行させるためのプログラムを提供する。   Furthermore, a program for causing a computer to execute the main functions of the present invention is provided.
本発明の字幕付映像再生装置によれば、字幕文及び映像と共に字幕文のリストが表示される。これにより、字幕文を視聴しつつ、その字幕文の前後の字幕文の情報も同時に取得できる。また、字幕文が切り替わっても、前後の字幕文の情報を取得できる。   According to the video reproducing apparatus with captions of the present invention, a list of caption texts is displayed together with caption texts and videos. Thereby, while viewing the caption text, the information of the caption text before and after the caption text can be acquired at the same time. Moreover, even if the caption text is switched, information on the preceding and following caption text can be acquired.
(実施形態1)
以下、本発明の実施形態1に係る字幕付映像再生装置を説明する。実施形態1は、字幕付映像再生装置を、コンテンツ受信機能を備える携帯電話1に適用する例である。携帯電話1は、任意のデータ転送方式に則ったコンテンツを受信可能であるが、本実施形態ではワンセグ放送のコンテンツを受信する場合について説明する。
(Embodiment 1)
Hereinafter, a video playback apparatus with captions according to Embodiment 1 of the present invention will be described. Embodiment 1 is an example in which a video playback device with captions is applied to a mobile phone 1 having a content reception function. The mobile phone 1 can receive content in accordance with an arbitrary data transfer method. In the present embodiment, a case of receiving content of one-segment broadcasting will be described.
携帯電話1は、例えば、図1に示すような折り畳み型のもので、キーボード2、表示パネル5、等を備える。キーボード2は、カーソルキー3と表示切替ボタン4、その他各種のボタン、を備え、ユーザに操作されて、様々なデータや指示の入力に使用される。例えば、字幕付映像の再生及び終了、等の指示の入力に使用される。   The cellular phone 1 is, for example, a folding type as shown in FIG. 1 and includes a keyboard 2, a display panel 5, and the like. The keyboard 2 includes a cursor key 3, a display switching button 4, and various other buttons, and is used by a user to input various data and instructions. For example, it is used for inputting instructions such as reproduction and termination of subtitled video.
表示パネル5は、ドットマトリクスタイプのLCD(液晶表示)パネル等から構成され、任意の画像を表示する。例えば、コンテンツの映像や字幕文、字幕文のリスト(以下、「字幕リスト」という)、等を表示する。通話用マイク6は、通話音声を入力する。通話用スピーカ7は、受話音声を出力する。スピーカ8は、コンテンツ再生時の音声等を出力する。   The display panel 5 is composed of a dot matrix type LCD (liquid crystal display) panel or the like, and displays an arbitrary image. For example, content videos, subtitle sentences, a list of subtitle sentences (hereinafter referred to as “subtitle list”), and the like are displayed. The call microphone 6 inputs a call voice. The call speaker 7 outputs a received voice. The speaker 8 outputs sound at the time of content reproduction.
また、携帯電話1は、図2に示すように、制御部11、記憶部12、操作部13、表示部14、チューナ15、デコード部16、音声出力部17、音声入力部18、通信部19、バス20、を備える。   As shown in FIG. 2, the mobile phone 1 includes a control unit 11, a storage unit 12, an operation unit 13, a display unit 14, a tuner 15, a decoding unit 16, an audio output unit 17, an audio input unit 18, and a communication unit 19. The bus 20 is provided.
制御部11は、マイクロプロセッサユニット等から構成され、携帯電話1全体の動作を制御する。例えば、録画したコンテンツの再生の開始・終了、字幕リスト中に表示される字幕文の切替、等を制御する。   The control unit 11 includes a microprocessor unit and the like, and controls the overall operation of the mobile phone 1. For example, it controls start / end of playback of recorded content, switching of subtitle texts displayed in the subtitle list, and the like.
また、制御部11は、図示しないタイマを備える。タイマは、例えば、ソフトウェアタイマ等から構成され、時間を計時し、所定時間が経過したことを検出する。   The control unit 11 includes a timer (not shown). The timer is composed of, for example, a software timer, and measures the time to detect that a predetermined time has elapsed.
記憶部12は、各種のデータを記憶する。記憶部12は、携帯電話1に内蔵されるメモリ、取り外し可能な外部メモリ、のいずれから構成されてもよい。   The storage unit 12 stores various data. The storage unit 12 may be configured by either a memory built in the mobile phone 1 or a removable external memory.
操作部13は、前述のキーボード2、カーソルキー3、表示切替ボタン4、等を備え、ユーザからの操作を受け付け、操作信号を制御部11に入力する。   The operation unit 13 includes the keyboard 2, the cursor key 3, the display switching button 4, and the like, receives an operation from the user, and inputs an operation signal to the control unit 11.
表示部14は、表示パネル5とドライバ回路等から構成され、制御部11の制御下に画像を表示パネル5に表示する。チューナ15は、ワンセグ放送のコンテンツを受信して復調し、復調信号を制御部11に出力する。デコード部16は、チューナ15が出力したコンテンツを復号し、出力する。   The display unit 14 includes the display panel 5 and a driver circuit, and displays an image on the display panel 5 under the control of the control unit 11. The tuner 15 receives and demodulates the content of the one-segment broadcasting and outputs a demodulated signal to the control unit 11. The decoding unit 16 decodes and outputs the content output from the tuner 15.
音声出力部17は、前述の通話用スピーカ7とスピーカ8、DAC(Digital Analog Converter)等から構成され、例えば、制御部11が再生したコンテンツの音声信号を復調し、スピーカ8で放音する。   The audio output unit 17 includes the above-described telephone speaker 7 and speaker 8, a DAC (Digital Analog Converter), and the like. For example, the audio output unit 17 demodulates the audio signal of the content reproduced by the control unit 11 and emits the sound through the speaker 8.
音声入力部18は、通話時等に、音声信号を収集し、通信部19に供給する。通信部19は、基地局を介して、通話音声、各種のデータ、等を送受信する。バス20は、各部間で相互にデータを伝送する。   The voice input unit 18 collects voice signals and supplies them to the communication unit 19 during a call or the like. The communication unit 19 transmits / receives call voice, various data, and the like via the base station. The bus 20 transmits data between the units.
次に、本実施形態に特徴的な字幕リストの自動スクロール動作に必要な情報について説明する。記憶部12は、コンテンツ録画データ121と字幕管理データ122とを記憶する。   Next, information necessary for the automatic scrolling operation of the caption list characteristic of the present embodiment will be described. The storage unit 12 stores content recording data 121 and caption management data 122.
コンテンツ録画データ121は、ワンセグ放送のコンテンツ(テレビ信号)を録画したデータで、図3に示すように、ビデオPES(Packetized Elementary Stream)と字幕PESとを含んでいる。   The content recording data 121 is data obtained by recording one-segment broadcasting content (television signal), and includes a video PES (Packetized Elementary Stream) and a caption PES as shown in FIG.
ビデオPESは、パケット化された映像の圧縮符号化データで、1枚毎の映像(映像フレーム)が連続するデータ、各映像を再生する「再生タイミング」を示すデータ、を含んでいる。本実施形態では、各映像フレームは予測符号化方式に則ったフォーマットである。   The video PES is compression-encoded data of packetized video and includes data in which video (video frames) are continuous for each sheet and data indicating “playback timing” for playing back each video. In the present embodiment, each video frame has a format according to the predictive coding method.
予測符号化方式の映像フレームは、他の映像フレームを参照しない独立したIDRフレームと、自己の再生タイミングよりも先に再生されるIDRフレームを参照するPフレームと、を含む。図3の例では、PフレームPln(l:1〜L、L:ビデオPES内のPフレームの数、n:1〜N、N:コンテンツ録画データ121内のビデオPESの数)は、IDRフレームIn(n:1〜N)を参照する。   The video frame of the predictive coding system includes an independent IDR frame that does not refer to other video frames and a P frame that refers to an IDR frame that is reproduced prior to its own reproduction timing. In the example of FIG. 3, P frames Pln (l: 1 to L, L: number of P frames in video PES, n: 1 to N, N: number of video PESs in content recording data 121) are IDR frames. Reference is made to In (n: 1 to N).
字幕PESは、パケット化された字幕文の圧縮符号化データで、字幕管理データ121を生成するために必要な情報を含んでいる。図3の例では、字幕PESは、字幕文Mn(n:1〜N、N:コンテンツ録画データ121内の字幕PESの数)、字幕再生タイミングtmn(n:1〜N)、制御符号CSn(n:1〜N)、の情報を有する。   The caption PES is compression encoded data of a packetized caption text, and includes information necessary for generating the caption management data 121. In the example of FIG. 3, the caption PES includes a caption text Mn (n: 1 to N, N: the number of caption PES in the content recording data 121), a caption playback timing tmn (n: 1 to N), a control code CSn ( n: 1 to N).
「字幕文Mn」は、字幕付映像の字幕文の内容を示す。「字幕再生タイミングtmn」は、字幕文Mnを再生するタイミングを示し、例えば、PTS(Presentation Time Stamp)単位で表される。「制御符号CSn」は、字幕文Mnの区切を示す。   “Subtitle sentence Mn” indicates the content of the caption sentence of the video with captions. “Subtitle reproduction timing tmn” indicates the timing of reproducing the subtitle sentence Mn, and is represented, for example, in units of PTS (Presentation Time Stamp). “Control code CSn” indicates a delimiter of the caption sentence Mn.
字幕管理データ122は、図4に示すように、「字幕表示時刻Tn」と「字幕文Mn」とを対応付ける。「字幕表示時刻Tn」は、字幕文Mnが表示される時刻を示す。本実施形態では、字幕付映像の再生開始時を基準とする。「字幕文Mn」は、字幕付映像に含まれる字幕文の内容を示し、コンテンツ録画データ121から抽出されたデータである。   As shown in FIG. 4, the caption management data 122 associates “caption display time Tn” with “caption text Mn”. “Subtitle display time Tn” indicates a time at which the subtitle sentence Mn is displayed. In the present embodiment, the time when reproduction of subtitled video is started is used as a reference. “Subtitle text Mn” indicates the content of the subtitle text included in the video with subtitles, and is data extracted from the content recording data 121.
なお、ワンセグ放送においては、映像のフレームレートは15フレーム/秒である。このため、1つの字幕文には、その再生タイミングに対応する映像フレームとして複数の映像フレームが対応する。   In one-segment broadcasting, the video frame rate is 15 frames / second. For this reason, one subtitle sentence corresponds to a plurality of video frames as video frames corresponding to the reproduction timing.
次に、上記構成を有する携帯電話1の動作について説明する。なお、携帯電話1の通信動作自体は通常の携帯電話と同一であり、以下、本実施形態で特徴的な字幕付映像の再生動作について説明する。   Next, the operation of the mobile phone 1 having the above configuration will be described. Note that the communication operation itself of the mobile phone 1 is the same as that of a normal mobile phone, and hereinafter, the reproduction operation of video with captions, which is characteristic in the present embodiment, will be described.
携帯電話1は、字幕付映像の再生中、字幕付映像と共に複数の字幕文を示す字幕リストを同時に表示する。また、予め定められた「字幕切替時間」の経過をタイマで検出すると、再生表示する字幕文と字幕リスト中に表示される字幕文とを入れ替える。   The mobile phone 1 simultaneously displays a subtitle list indicating a plurality of subtitle sentences together with the subtitled video during playback of the subtitled video. Further, when the passage of a predetermined “subtitle switching time” is detected by the timer, the subtitle sentence to be reproduced and displayed is replaced with the subtitle sentence displayed in the subtitle list.
字幕文の入替は、ユーザの操作を伴うことなく自動的に行われ、入替前に字幕リスト中に表示されていた字幕文はスクロールされる(以下、「自動スクロール」という)。ユーザは、操作部13を操作し、自動スクロールの開始及び終了を指示可能である。   Subtitle text replacement is automatically performed without any user operation, and the subtitle text displayed in the subtitle list before the replacement is scrolled (hereinafter referred to as “automatic scrolling”). The user can operate the operation unit 13 to instruct the start and end of automatic scrolling.
なお、自動スクロール実行の間、現在再生中の字幕文が字幕リストの中央に表示される。図6に示す画面D1の例では、現在再生中の字幕文(字幕領域MAに表示されている字幕文「おはよう」)が、字幕リスト表示用のリスト領域LAの中央に配置される。現在再生中の字幕文をリスト領域LAの中央に配置させるのは、矩形で定義される表示領域上では、中心位置近傍の方が視認性が良好なためである。   During the automatic scrolling, the currently reproduced subtitle text is displayed at the center of the subtitle list. In the example of the screen D1 illustrated in FIG. 6, the currently reproduced subtitle sentence (the subtitle sentence “Good morning” displayed in the subtitle area MA) is arranged in the center of the subtitle list display list area LA. The reason why the currently reproduced subtitle sentence is arranged at the center of the list area LA is that the visibility near the center position is better on the display area defined by the rectangle.
携帯電話1は、コンテンツの再生中、字幕管理データ122が格納する字幕表示時刻Tnに従って、その字幕表示時刻Tnに対応する字幕文を再生する。以下、制御部11が、この字幕管理データ122を生成する動作について説明する。   The mobile phone 1 reproduces a caption sentence corresponding to the caption display time Tn according to the caption display time Tn stored in the caption management data 122 during the reproduction of the content. Hereinafter, an operation in which the control unit 11 generates the caption management data 122 will be described.
図5に示すように、制御部11は、コンテンツ録画データ121内に字幕PESがあれば(ステップS11;Yes)、字幕PESを抽出する(ステップS12)。その字幕PESから字幕文を抽出できたら(ステップS13;Yes)、さらに、その字幕文の再生タイミングtmn(PTS単位)を取得する。   As shown in FIG. 5, if there is a caption PES in the content recording data 121 (step S11; Yes), the control unit 11 extracts the caption PES (step S12). If the caption text can be extracted from the caption PES (step S13; Yes), the reproduction timing tmn (PTS unit) of the caption text is acquired.
続いて、制御部11は、先頭の映像の再生開始から字幕文Mnの再生時に至るまでの経過時間(PTS単位)を求める(ステップS14)。この経過時間(PTS単位)は、字幕再生タイミングtmnと先頭にある映像の再生タイミングとの差分である。   Subsequently, the control unit 11 obtains an elapsed time (in PTS units) from the start of playback of the top video to the playback of the caption text Mn (step S14). This elapsed time (PTS unit) is the difference between the subtitle playback timing tmn and the playback timing of the video at the head.
さらに、制御部11は、経過時間(PTS単位)を時分秒単位に換算し(ステップS15)、その経過時間(時分秒単位)を、字幕表示時刻T1として字幕管理データ122に格納する(ステップS16)。   Further, the control unit 11 converts the elapsed time (PTS unit) into the hour / minute / second unit (step S15), and stores the elapsed time (hour / minute / second unit) in the caption management data 122 as the caption display time T1 ( Step S16).
字幕表示時刻の格納後、制御部11は、字幕PESから字幕文を抽出し、字幕管理データ122に格納する(ステップS17)。以後、最後の制御符号CSNに達するまで(ステップS18;Yes)、上述した処理を繰り返す。以上で、字幕管理データ122の生成が終了する。   After storing the caption display time, the control unit 11 extracts a caption sentence from the caption PES and stores it in the caption management data 122 (step S17). Thereafter, the above-described processing is repeated until the final control code CSN is reached (step S18; Yes). This completes the generation of the caption management data 122.
次に、本実施形態で特徴的な自動スクロールの動作について説明する。図7に示すように、ユーザが自動スクロールの開始を指示すると、制御部11は、自動スクロールを行うか否かを示す自動スクロールフラグを「オン」に設定する(ステップS21)。さらに、制御部11は、表示部14に指示し、表示パネル5上に字幕リストを表示させる。図6の例では、リスト領域LAに字幕リストが示された画面D1が表示される。   Next, the automatic scroll operation characteristic of this embodiment will be described. As shown in FIG. 7, when the user instructs the start of automatic scrolling, the control unit 11 sets an automatic scroll flag indicating whether or not to perform automatic scrolling to “on” (step S21). Further, the control unit 11 instructs the display unit 14 to display a subtitle list on the display panel 5. In the example of FIG. 6, a screen D1 on which a caption list is displayed in the list area LA is displayed.
この状態で、ユーザは、字幕リスト中の字幕文から再生を開始する字幕文を選択可能である。ユーザが字幕文を選択すると、その字幕文の字幕表示時刻に対応する再生タイミング(PTS単位)を有する映像を抽出するため、処理はステップS22に移る。   In this state, the user can select a subtitle sentence to start reproduction from the subtitle sentence in the subtitle list. When the user selects a caption text, the process proceeds to step S22 in order to extract a video having a reproduction timing (PTS unit) corresponding to the caption display time of the caption text.
制御部11は、ビデオPESから映像フレームの情報を抽出し(ステップS22)、その映像フレームがIDRフレームでなければ(ステップS23;No)、処理をステップS22に戻す。   The control unit 11 extracts video frame information from the video PES (step S22). If the video frame is not an IDR frame (step S23; No), the process returns to step S22.
一方、抽出した映像フレームがIDRフレームなら(ステップS23;Yes)、制御部11は、先頭の映像フレームの再生開始からそのIDRフレームの再生に至るまでの経過時間を求める(ステップS24)。この経過時刻は、そのIDRフレームが有する再生タイミング(PTS単位)からコンテンツ録画データ121先頭の映像の再生タイミング(PTS単位)を減じた差分である。   On the other hand, if the extracted video frame is an IDR frame (step S23; Yes), the control unit 11 obtains an elapsed time from the start of playback of the top video frame to playback of the IDR frame (step S24). This elapsed time is a difference obtained by subtracting the playback timing (PTS unit) of the first video of the content recording data 121 from the playback timing (PTS unit) of the IDR frame.
続いて、抽出したIDRフレームが、再生中の字幕文Mnに対応する可能性の有無を判別する。そのため、制御部11は、その字幕文Mnの字幕表示時刻Tnが今回求めた経過時刻よりも大きいか否かを判別する(ステップS25)。   Subsequently, it is determined whether or not the extracted IDR frame may correspond to the subtitle sentence Mn being reproduced. Therefore, the control unit 11 determines whether or not the caption display time Tn of the caption text Mn is larger than the elapsed time obtained this time (step S25).
字幕表示時刻Tnが今回求めた経過時間よりも大きければ(ステップS25;Yes)、抽出したIDRフレームは、字幕文Mnよりも先に再生され、字幕文Mnに対応する可能性がある。このとき、制御部11は、そのIDRフレームのデータの位置を保存し(ステップS26)、処理をステップS22に戻す。ステップS26にて保存するデータの位置は、例えば、IDRフレームの表示時刻、IDRフレームを格納するビデオPESの番号、IDRフレーム格納されている記憶部12内のアドレス、等である。   If the caption display time Tn is larger than the elapsed time obtained this time (step S25; Yes), the extracted IDR frame may be reproduced before the caption text Mn and may correspond to the caption text Mn. At this time, the control unit 11 stores the data position of the IDR frame (step S26), and returns the process to step S22. The position of the data stored in step S26 is, for example, the display time of the IDR frame, the video PES number storing the IDR frame, the address in the storage unit 12 storing the IDR frame, and the like.
字幕表示時刻Tnが今回求めた経過時刻より小さければ(ステップS25;No)、前回抽出したIDRフレームは、現在再生中の字幕文Mnの直前に再生される。そのため、制御部11は、ステップS26で格納した映像位置から映像フレームを読み出し、表示パネル5に表示させる(ステップS27)。   If the subtitle display time Tn is smaller than the elapsed time obtained this time (step S25; No), the previously extracted IDR frame is reproduced immediately before the subtitle sentence Mn currently being reproduced. Therefore, the control unit 11 reads a video frame from the video position stored in step S26 and displays it on the display panel 5 (step S27).
制御部11は、字幕領域MAに、表示中の映像に対応する字幕文を表示させる(ステップS28)。更に、制御部11は、字幕リストをリスト領域に表示させる(ステップS29)。このとき、現在再生中の字幕文をリスト領域LAの中央近傍に配置する。   The control unit 11 displays the caption text corresponding to the video being displayed in the caption area MA (step S28). Furthermore, the control unit 11 displays the subtitle list in the list area (step S29). At this time, the currently reproduced subtitle sentence is arranged near the center of the list area LA.
制御部11は、ユーザによる自動スクロールの終了指示の有無を判別する。そのため、自動スクロールフラグが「オン」か否かを判別し、「オフ」なら(ステップS210;No)、処理を終える。   The control unit 11 determines whether there is an instruction to end automatic scrolling by the user. Therefore, it is determined whether or not the automatic scroll flag is “ON”. If it is “OFF” (step S210; No), the process is terminated.
一方、自動スクロールフラグが「オン」なら(ステップS210;Yes)、制御部11は、図示しないタイマを起動させ、記憶部12が記憶する「字幕切替時間」の経過を検出させる。   On the other hand, if the automatic scroll flag is “ON” (step S <b> 210; Yes), the control unit 11 starts a timer (not shown) and detects the passage of the “subtitle switching time” stored in the storage unit 12.
「字幕切替時間」の経過を検出すると(ステップS211;Yes)、次に再生される字幕文を再生するため、字幕管理データ122から、その字幕文及びその字幕文に対応付けられた字幕表示時刻を取得する(ステップS212)。その後、処理はステップS22に戻る。以上で、予め定められた「字幕切替時間」が経過する毎に、各字幕文を自動スクロールする処理が終了する。   When the passage of the “subtitle switching time” is detected (step S211; Yes), the subtitle sentence and the subtitle display time associated with the subtitle sentence are reproduced from the subtitle management data 122 in order to reproduce the next subtitle sentence to be reproduced. Is acquired (step S212). Thereafter, the process returns to step S22. Thus, every time a predetermined “subtitle switching time” elapses, the process of automatically scrolling each subtitle sentence ends.
(実施形態2)
上述した実施形態1では、字幕リスト中に表示される各字幕文を、その文字の数に関わらず同一に設定された字幕切替時間の経過毎に切り替える。そのため、字幕文が含む文字の数が多い場合、ユーザが字幕文を読み終わる前に次の字幕文が表示されるおそれがある。また、文字の数が少ない場合、ユーザが字幕文を読み終わった後に次の字幕文が表示されるまでの間、待ち時間が発生する。
(Embodiment 2)
In the first embodiment described above, each subtitle sentence displayed in the subtitle list is switched every time the subtitle switching time set to be the same regardless of the number of characters. Therefore, when the number of characters included in the caption text is large, the next caption text may be displayed before the user finishes reading the caption text. When the number of characters is small, a waiting time is generated until the next caption text is displayed after the user finishes reading the caption text.
この問題を避けるためには、「字幕切替時間」を字幕文の文字数に応じて変更すればよい。以下、このような自動スクロールを行う実施形態2に係る携帯電話1について説明する。   In order to avoid this problem, the “subtitle switching time” may be changed according to the number of characters in the subtitle sentence. Hereinafter, the mobile phone 1 according to Embodiment 2 that performs such automatic scrolling will be described.
実施形態2の携帯電話1の基本構成は、図2に示す構成と同一である。ただし、記憶部12には、図3に示す字幕管理データ122に代えて、図8に示す字幕管理データ122aが記憶されている。この字幕管理データ122aは、字幕表示時刻Tn、字幕文Mn、字幕文の文字数KZn、を対応付ける。   The basic configuration of the mobile phone 1 of the second embodiment is the same as the configuration shown in FIG. However, the storage unit 12 stores subtitle management data 122a shown in FIG. 8 instead of the subtitle management data 122 shown in FIG. The caption management data 122a associates the caption display time Tn, the caption text Mn, and the number of characters KZn of the caption text.
字幕管理データ122aを生成する処理は、図5で示した例と基本的に同一である。ただし、実施形態2では、図9(a)に示すように、制御部11は、前述した図5に示すステップS17と実質的に同一の処理の実行後(ステップS17a)、更に、字幕文に含まれる文字数をカウントし(ステップS17b)、字幕管理データ122aに格納する。   The processing for generating the caption management data 122a is basically the same as the example shown in FIG. However, in the second embodiment, as illustrated in FIG. 9A, the control unit 11 performs the substantially same processing as step S17 illustrated in FIG. The number of characters included is counted (step S17b) and stored in the caption management data 122a.
実施形態2の自動スクロール処理は、図7で示した例と基本的に同一である。ただし、実施形態2では、制御部11は、図7に示すステップS210の処理に代えて図9(b)に示す処理を実行する。即ち、自動スクロールフラグが「オン」と判別すると(ステップV11;Yes)、字幕管理データ122aから現在表示中の字幕文Mnの文字数KZnを取得する(ステップV12)。   The automatic scroll process according to the second embodiment is basically the same as the example shown in FIG. However, in the second embodiment, the control unit 11 executes the process shown in FIG. 9B instead of the process of step S210 shown in FIG. That is, when the automatic scroll flag is determined to be “ON” (step V11; Yes), the number of characters KZn of the currently displayed subtitle sentence Mn is acquired from the subtitle management data 122a (step V12).
続いて、制御部11は、取得した文字数KZnに基づいて、その文字数KZnに応じた「字幕切替時間」を求める(ステップV13)。例えば、文字数KZnと予め定められた1文字あたりの表示時間tとを積算し、「字幕切替時間」を求める。例えば、この表示時間tが0.2秒の場合、10文字の字幕文に対応する「字幕切替時間」は2秒、20文字の字幕文では「字幕切替時間」は4秒、である。   Subsequently, based on the acquired number of characters KZn, the control unit 11 obtains a “caption switching time” corresponding to the number of characters KZn (step V13). For example, the number of characters KZn and a predetermined display time t per character are integrated to obtain the “subtitle switching time”. For example, when the display time t is 0.2 seconds, the “subtitle switching time” corresponding to a 10 character subtitle sentence is 2 seconds, and in the 20 character subtitle sentence, the “subtitle switching time” is 4 seconds.
その後、処理は図7にリターンし、タイマで「字幕切替時間」の経過を検出すると(ステップS211;Yes)、次の字幕文を取得し(ステップS212)、スクロール表示される。   Thereafter, the process returns to FIG. 7. When the passage of the “subtitle switching time” is detected by the timer (step S211; Yes), the next subtitle sentence is acquired (step S212) and scrolled.
(実施形態3)
上述した実施形態2では、字幕文Mnの文字数KZnが少ない場合、1文字あたりの表示時間tの値によっては、ユーザがその字幕文を判読できないおそれがある。例えば、表示時間tが0.2秒の場合、文字数KZnが「1」である字幕文の表示開始から「字幕切替時間(0.2秒)」経過後に、次の字幕文が表示されてしまう。
(Embodiment 3)
In Embodiment 2 described above, when the number of characters KZn of the caption text Mn is small, the user may not be able to read the caption text depending on the value of the display time t per character. For example, when the display time t is 0.2 seconds, the next caption text is displayed after the “subtitle switching time (0.2 seconds)” has elapsed since the start of displaying the caption text with the number of characters KZn “1”. .
この問題を解決するには、文字数が少ない字幕文を表示する場合でもユーザが判読可能なよう、その字幕文に対応する字幕切替時間を長くすればよい。   In order to solve this problem, it is only necessary to lengthen the caption switching time corresponding to the caption text so that the user can read it even when the caption text with a small number of characters is displayed.
そのため、字幕文の文字数に応じて区分を定めておき、各区分に該当する字幕文を判読するのに好適な「字幕切替時間」をその区分ごとに設定すればよい。例えば、文字数KZnが1〜10の場合、字幕切替時間を2秒に設定し、11〜20の場合、字幕切替時間を3秒に設定する。以下、このような自動スクロールを行う実施形態3に係る携帯電話1について説明する。   Therefore, it is only necessary to determine a category according to the number of characters in the caption text and set a “caption switching time” suitable for reading the caption text corresponding to each category for each category. For example, when the number of characters KZn is 1 to 10, the caption switching time is set to 2 seconds, and when 11 to 20, the caption switching time is set to 3 seconds. Hereinafter, the mobile phone 1 according to Embodiment 3 that performs such automatic scrolling will be described.
実施形態3の携帯電話1の基本構成は図2に示す構成と同一である。ただし、図2に示す記憶部12には、図10(a)に示すように、字幕文の文字数に応じて設けられた区分KBと、その区分KBに対応する「字幕切替時間TS」と、を対応付ける表示切替時間情報123が予め記憶されている。   The basic configuration of the mobile phone 1 of the third embodiment is the same as the configuration shown in FIG. However, in the storage unit 12 shown in FIG. 2, as shown in FIG. 10A, a section KB provided according to the number of characters of the caption sentence, and a “subtitle switching time TS” corresponding to the section KB, Is displayed in advance.
実施形態3の自動スクロール処理は、図7で示した例と基本的に同一である。ただし、実施形態3では、制御部11は、図7に示すステップS210に代えて、図10(b)に示すステップV21〜V23の処理を実行する。   The automatic scroll process of the third embodiment is basically the same as the example shown in FIG. However, in the third embodiment, the control unit 11 executes the processes of steps V21 to V23 shown in FIG. 10B instead of step S210 shown in FIG.
即ち、実施形態3では、図7に示すステップS21〜ステップS29と実質的に同一の処理を行い、字幕付映像と字幕リストとを表示させる。   That is, in the third embodiment, substantially the same processing as Steps S21 to S29 shown in FIG. 7 is performed, and the captioned video and the caption list are displayed.
続いて、制御部11は、自動スクロールフラグが「オン」と判別すると(ステップV21;Yes)、字幕文の文字数を求める(ステップV22)。さらに、表示切替時間情報123を参照して、その文字数が該当する区分に対応付けられた「字幕切替時間TS」を読み出す(ステップV23)。   Subsequently, when it is determined that the automatic scroll flag is “ON” (step V21; Yes), the control unit 11 obtains the number of characters of the caption sentence (step V22). Furthermore, with reference to the display switching time information 123, “caption switching time TS” associated with the category corresponding to the number of characters is read (step V23).
その後、処理は図7にリターンし、「字幕切替時間」の経過後(ステップS211;Yes)、次の字幕文を取得し(ステップS212)、自動スクロールさせる。以上で、字幕文の文字数に応じて設けられた区分に対応する「字幕切替時間」に従い、字幕文を自動スクロールする処理が終了する。   Thereafter, the process returns to FIG. 7, and after the “subtitle switching time” has elapsed (step S211; Yes), the next subtitle sentence is acquired (step S212) and is automatically scrolled. This completes the process of automatically scrolling the caption text in accordance with the “subtitle switching time” corresponding to the classification provided according to the number of characters of the caption text.
一般に、各ユーザにより字幕文を読み終える時間は異なる。そのため、ユーザの利便性を向上させる観点より、上述した実施形態1乃至3でそれぞれ設定される「字幕切替時間」をユーザにより編集可能にすることが望ましい。以下、携帯電話1の編集機能について説明する。   In general, the time for finishing reading a subtitle sentence varies depending on each user. Therefore, from the viewpoint of improving user convenience, it is desirable that the “subtitle switching time” set in each of the first to third embodiments described above be editable by the user. Hereinafter, the editing function of the mobile phone 1 will be described.
実施形態1〜3では自動スクロールの実行中、図11(a)に例示するように、字幕付映像と共に字幕リストが示された画面D21が表示される。この状態で、ユーザが操作部13によりソフトキーE1(「サブメニュー」)を押下すると、制御部11は、サブメニュー画面を表示させる。図11(b)の例では、サブメニュー画面は画面D22である。   In the first to third embodiments, during execution of automatic scrolling, as illustrated in FIG. 11A, a screen D21 on which a caption list is displayed together with a captioned video is displayed. In this state, when the user presses the soft key E1 (“submenu”) using the operation unit 13, the control unit 11 displays a submenu screen. In the example of FIG. 11B, the submenu screen is a screen D22.
さらに、ユーザがサブメニュー中の選択候補「1、自動スクロール時間設定」を選んで「選択」キーを押下すると、各実施形態1〜3に対応する自動スクロールの時間設定画面を表示させる。以下、各時間設定画面を使用した、各実施形態1〜3における「字幕切替時間」の設定動作を説明する。   Further, when the user selects the selection candidate “1, automatic scroll time setting” in the submenu and presses the “select” key, an automatic scroll time setting screen corresponding to each of the first to third embodiments is displayed. Hereinafter, the setting operation of “subtitle switching time” in each of the first to third embodiments using each time setting screen will be described.
実施形態1の「字幕切替時間」設定では、ユーザは、「字幕切替時間」の値を、自らが所望する値に直接変更する。図11(c)の例では、ユーザは、カーソルキー3等により「字幕切替時間」に設定する値(テキストボックスE2中に表示される値)を増減させ、所望の値(例えば、3秒)を選択する。   In the “subtitle switching time” setting of the first embodiment, the user directly changes the value of the “subtitle switching time” to a value desired by the user. In the example of FIG. 11C, the user increases or decreases the value (the value displayed in the text box E2) set in the “subtitle switching time” by using the cursor key 3 or the like to obtain a desired value (for example, 3 seconds). Select.
所望する値の表示中にユーザが「決定」キーを押下すると、制御部11は、その値を「字幕切替時間」として記憶部12に記憶させる。なお、「字幕切替時間」に設定する値を、ユーザが直接入力可能としてもよい。   When the user presses the “decision” key while the desired value is displayed, the control unit 11 causes the storage unit 12 to store the value as “caption switching time”. Note that the value set in the “subtitle switching time” may be directly input by the user.
実施形態2の「字幕切替時間」設定では、1文字あたりの表示時間tと各字幕文の文字数KZnとの積から、各字幕文の「字幕切替時間」を求める。「字幕切替時間」を変更するために、ユーザが編集可能なパラメータは1文字あたりの表示時間tである。   In the “subtitle switching time” setting of the second embodiment, the “subtitle switching time” of each subtitle sentence is obtained from the product of the display time t per character and the number of characters KZn of each subtitle sentence. In order to change the “subtitle switching time”, a parameter that can be edited by the user is a display time t per character.
そのため、図11(d)に示す例のように、表示時間tに設定する値(テキストボックスE3中の値)を編集可能な画面D24を表示させる。表示時間tに設定する値は、ユーザが直接入力可能としてもよく、プリセットの値をカーソルキー3で増減して選択するようにしてもよい。   Therefore, as in the example shown in FIG. 11D, a screen D24 in which the value set in the display time t (value in the text box E3) can be edited is displayed. The value set for the display time t may be directly input by the user, or the preset value may be selected by increasing / decreasing the cursor key 3.
なお、図11(e)に示すように、コンテンツの全字幕文の再生に要する全字幕再生時間(テキストボックスE4中に示す)、コンテンツを最後まで視聴したときの完了予定時刻(テキストボックスE5中に示す)、等を同時に表示してもよい。これにより、1文字あたりの表示時間を決める目安となるため、利便性を向上できる。   As shown in FIG. 11 (e), the total subtitle playback time (shown in the text box E4) required to play back all the subtitle texts of the content, the scheduled completion time when the content is viewed to the end (in the text box E5) Or the like may be displayed simultaneously. Thereby, since it becomes a standard which determines the display time per character, the convenience can be improved.
そのために、字幕付映像に含まれる全字幕文の文字数の和(以下、「全字幕文字数KZt」)を求めておく。制御部11は、図8に示す字幕管理データ122aの文字数KZ1〜KZNを全て加算し、得られた全字幕文字数KZtを記憶部12に記憶させる。   For this purpose, the sum of the number of characters of all caption texts included in the captioned video (hereinafter “total number of caption characters KZt”) is obtained. The control unit 11 adds all the character numbers KZ1 to KZN of the caption management data 122a shown in FIG. 8 and causes the storage unit 12 to store the obtained total number of caption characters KZt.
図11(e)で示した例では、ユーザが1文字あたりの表示時間tの値として「0.3秒」と入力すると、表示時間t(0.3秒)×全字幕文字数KZtをテキストボックスE4に表示する。さらに、現在時刻にテキストボックスE4に表示させた時間を加えた完了予定時刻をテキストボックスE5に表示させる。   In the example shown in FIG. 11E, when the user inputs “0.3 seconds” as the value of the display time t per character, the display time t (0.3 seconds) × the total number of subtitle characters KZt is displayed in the text box. Display on E4. Further, the scheduled completion time obtained by adding the time displayed in the text box E4 to the current time is displayed in the text box E5.
全字幕再生時間(テキストボックスE4中の値)は、ユーザにより編集可能としてもよい。このとき、ユーザが編集した値に従って自動スクロールしたときの1文字あたりの表示時間をテキストボックスE3に表示する。この表示時間は、ユーザの編集した全字幕再生時間を全字幕文字数KZtで除算して求まる。テキストボックスE5には、現在時刻にユーザの編集した全字幕再生時間を加算した時刻、を表示させる。   The total caption playback time (value in the text box E4) may be editable by the user. At this time, the display time per character when automatically scrolling according to the value edited by the user is displayed in the text box E3. This display time is obtained by dividing the total caption reproduction time edited by the user by the total number of caption characters KZt. In the text box E5, the time obtained by adding the total caption playback time edited by the user to the current time is displayed.
完了予定時刻を、ユーザにより編集可能としてもよい。このとき、ユーザが編集した値(完了予定時刻)と現在時刻との差分から求まる全字幕再生時間をテキストボックスE4に表示し、そのときの1文字あたりの表示時間をテキストボックスE3に表示させる。   The scheduled completion time may be editable by the user. At this time, the total subtitle playback time obtained from the difference between the value edited by the user (scheduled completion time) and the current time is displayed in the text box E4, and the display time per character at that time is displayed in the text box E3.
実施形態3の「字幕切替時間」設定では、字幕文の文字数に応じて設けられた各区分に対応する「字幕切替時間TS」を編集可能とする。「字幕切替時間TS」に設定する値は、ユーザが直接入力可能でもよく、プリセットされた値から選択してもよい。   In the “subtitle switching time” setting of the third embodiment, the “subtitle switching time TS” corresponding to each section provided according to the number of characters of the subtitle sentence is made editable. The value set in the “subtitle switching time TS” may be directly input by the user or may be selected from preset values.
図11(f)の例では、所望する値の表示中にユーザが「決定」キーを押下すると、その値が、図10(a)に示す表示切替時間情報123中の「字幕切替時間」として設定される。このとき、文字数が1〜10の字幕文に対応する「字幕切替時間」は3秒、文字数が11〜20の字幕文に対応する「字幕切替時間」は6秒、に設定される。   In the example of FIG. 11F, when the user presses the “decision” key while a desired value is displayed, the value is set as “subtitle switching time” in the display switching time information 123 shown in FIG. Is set. At this time, the “subtitle switching time” corresponding to the subtitle sentence having 1 to 10 characters is set to 3 seconds, and the “subtitle switching time” corresponding to the subtitle sentence having 11 to 20 characters is set to 6 seconds.
(実施形態4)
上述した実施形態1乃至3では、ユーザは、現在読んでいる字幕文から次の字幕文への表示がいつ切替わるか把握できない。この場合、ユーザは、字幕文の表示が切替わるタイミングにペースを合わせて、字幕文を読むことが難しい。
(Embodiment 4)
In the first to third embodiments described above, the user cannot grasp when the display from the currently read subtitle text to the next subtitle text is switched. In this case, it is difficult for the user to read the subtitle sentence at the timing when the subtitle sentence display is switched.
この問題を避けるためには、現時点からの字幕文の表示が切替わるまでの残り時間を表示させればよい。以下、このような残り時間を表示する実施形態4に係る携帯電話1について説明する。   In order to avoid this problem, the remaining time until the display of the caption text from the current time is switched may be displayed. Hereinafter, the mobile phone 1 according to the fourth embodiment that displays such remaining time will be described.
実施形態4では、次の字幕文に切替わるまでの残り時間を求める。例えば、「字幕切替時間」からタイマが計時した時間を減じた差分である。さらに、自動スクロールの実行中、その残り時間を表示パネル5上に表示させる。   In the fourth embodiment, the remaining time until switching to the next caption text is obtained. For example, a difference obtained by subtracting the time counted by the timer from the “subtitle switching time”. Further, the remaining time is displayed on the display panel 5 during the automatic scrolling.
残り時間を示す態様は任意である。例えば、テキスト表示により残り時間を示す場合、ユーザに残り時間を通知するためのメッセージ(例えば、「次の字幕まで、残り2秒」)等で残り時間を示せばよい。   The mode indicating the remaining time is arbitrary. For example, when the remaining time is indicated by text display, the remaining time may be indicated by a message for notifying the user of the remaining time (for example, “2 seconds remaining until the next subtitle”) or the like.
また、アイコン表示により残り時間を示す場合、アナログ時計を模したアイコン等で残り時間を示せばよい。この場合、そのアイコンが示す残り時間がゼロになったときに次の字幕文の表示に切替えればよい。   Further, when the remaining time is indicated by the icon display, the remaining time may be indicated by an icon imitating an analog clock. In this case, when the remaining time indicated by the icon becomes zero, the display should be switched to the next caption text display.
更に、再生中の字幕文の色を、タイマが計時する時間の経過に伴って、変更させてもよい。例えば、字幕文の再生開始時には字幕文を青色で表示させ、次の字幕文に切替える直前では赤色で表示させてもよい。   Further, the color of the subtitle sentence being reproduced may be changed as the time counted by the timer elapses. For example, the subtitle text may be displayed in blue at the start of reproduction of the subtitle text, and may be displayed in red immediately before switching to the next subtitle text.
なお、制御部11が、字幕文の表示を切替えたとき、その旨を、報知音の出力やバイブレーション動作によりユーザ通知してもよい。これにより、ユーザは字幕文が切替わったことを認識できるため、ユーザにとっての利便性を向上できる。   In addition, when the control part 11 switches the display of a caption text, you may notify that by the output of a notification sound, or a vibration operation. Thereby, since the user can recognize that the subtitle sentence has been switched, the convenience for the user can be improved.
(実施形態5)
上述した実施形態では、ユーザは、表示中の映像に関し、コンテンツの録画時間中で再生されるタイミングを知ることができない。
(Embodiment 5)
In the above-described embodiment, the user cannot know the timing of playback during the content recording time for the displayed video.
実施形態5は、コンテンツ録画データ121全体の再生時間(以下、「全再生時間TT」という)における、現在再生中の映像の表示時刻を表示させて、ユーザにとっての利便性を向上させる例である。   Embodiment 5 is an example of improving the convenience for the user by displaying the display time of the video currently being played in the playback time of the entire content recording data 121 (hereinafter referred to as “total playback time TT”). .
実施形態5の自動スクロール処理は、図7で示した例と基本的に同一である。ただし、実施形態5では、制御部11は、図7のステップS29の処理の実行後、ステップS210の処理を行う前に、図13に示すステップV31〜V34の処理を実行する。   The automatic scroll process of the fifth embodiment is basically the same as the example shown in FIG. However, in the fifth embodiment, the control unit 11 performs the processes of steps V31 to V34 illustrated in FIG. 13 after performing the process of step S29 of FIG. 7 and before performing the process of step S210.
即ち、字幕付映像と字幕リストとの表示後(図7,ステップS21〜ステップS29)、制御部11は、現在表示中のコンテンツ録画データ121に係る全再生時間TTを取得する(ステップV31)。全再生時間TTは、例えば、録画したコンテンツを格納するファイルの属性としてコンテンツ録画データ121と予め対応付けておくことで、取得できる。   That is, after displaying the video with captions and the caption list (FIG. 7, Steps S21 to S29), the control unit 11 acquires the total playback time TT related to the content recording data 121 currently displayed (Step V31). The total reproduction time TT can be acquired by associating with the content recording data 121 in advance as an attribute of a file storing the recorded content, for example.
続いて、図7のステップS26で格納した現在表示中の映像の経過時刻を取得し(ステップV32)、その経過時刻を全再生時間TTで除算し、経過時刻が全再生時間に占める割合(以下、「進捗割合」という)を求める(ステップV33)。さらに、その進捗割合を示す画像を、表示パネル5上に表示させる(ステップV34)。   Subsequently, the elapsed time of the currently displayed video stored in step S26 of FIG. 7 is acquired (step V32), and the elapsed time is divided by the total playback time TT, and the ratio of the elapsed time to the total playback time (hereinafter referred to as the total playback time). , “Progress ratio”) (step V33). Further, an image indicating the progress rate is displayed on the display panel 5 (step V34).
進捗割合を示す態様は、任意であり、画像表示で示しても、テキスト表示で示してもよい。ここでは、画像表示の一例として、全再生時間を表す全体バーB1(例えば、横棒)と、進捗割合を示す割合バーB2とを重ねて表示する例を説明する。例えば、全体バーB1の大きさを200画素に設定した場合、進捗割合が10%のとき、割合バーB2の大きさは200画素×10%=20画素である。   The mode of indicating the progress rate is arbitrary, and may be indicated by image display or text display. Here, as an example of image display, an example will be described in which an overall bar B1 (for example, a horizontal bar) indicating the total playback time and a ratio bar B2 indicating the progress ratio are displayed in an overlapping manner. For example, when the size of the entire bar B1 is set to 200 pixels, when the progress rate is 10%, the size of the rate bar B2 is 200 pixels × 10% = 20 pixels.
図12(a)の例では、先頭の字幕文(字幕表示時刻「00:00:00」)及びその字幕文に対応する映像を表示中のため、進捗割合RTは0の状態にある。このとき、全体バーB1のみを表示させる。   In the example of FIG. 12A, the progress ratio RT is in a state of 0 because the first caption text (caption display time “00:00:00”) and the video corresponding to the caption text are being displayed. At this time, only the entire bar B1 is displayed.
図12(b)の例では、図4に示す字幕管理データ122内の先頭から2番目の字幕文を表示中である。このとき、映像の表示時刻(00:00:09)に基づいて定まる進捗割合を示す割合バーB2が、全体バーB1に重ねて表示される。   In the example of FIG. 12B, the second caption sentence from the top in the caption management data 122 shown in FIG. 4 is being displayed. At this time, the rate bar B2 indicating the progress rate determined based on the video display time (00:00:09) is displayed so as to overlap the overall bar B1.
前述した図12(b)の表示方法の例では、ユーザは現時点での進捗割合は把握できるが、時分秒単位等で表した時間などに関する情報を取得できない。   In the example of the display method in FIG. 12B described above, the user can grasp the progress rate at the present time, but cannot acquire information on the time expressed in units of hours, minutes, seconds, and the like.
この問題を回避するため、図12(c)に例示するように、全体バーB1に対応する全再生時間TT、割合バーB2に対応する再生中の映像の表示時刻、などを表示してもよい。これにより、ユーザは、視聴中のコンテンツの残りの部分の再生に要する時間、現時点で視聴を完了したコンテンツの再生時間、を示す情報を取得でき、利便性を向上できる。   In order to avoid this problem, as shown in FIG. 12C, the total playback time TT corresponding to the entire bar B1, the display time of the video being played back corresponding to the ratio bar B2, and the like may be displayed. . Thereby, the user can acquire information indicating the time required to reproduce the remaining part of the content being viewed and the reproduction time of the content that has been viewed at the present time, and the convenience can be improved.
さらに、図12(d)に例示するように、全体バーB1や割合バーB2と共に、各字幕文の進捗割合が全体バーB1に対応する位置に、各字幕文の存在を示す画像PIを表示してもよい。これにより、ユーザは、自動スクロールの実行に伴って割合バーB2の端点が画像PIに達したときに字幕文が表示されること、を把握できる。   Further, as illustrated in FIG. 12D, together with the overall bar B1 and the ratio bar B2, an image PI indicating the presence of each caption sentence is displayed at a position where the progress ratio of each caption sentence corresponds to the overall bar B1. May be. As a result, the user can grasp that the caption text is displayed when the end point of the ratio bar B2 reaches the image PI along with the execution of the automatic scroll.
また、録画番組内の字幕がない部分が一目で把握できる。例えば、録画番組がドラマであれば、オープニングテーマ中やエンディングテーマ中、コマーシャル中などといったシーンは字幕がない。しかし、オープニングだけは視聴したいというユーザがいた場合、画像PIの分布を見て、番組先頭付近の字幕がない部分がオープニングであることが分かり、そこは字幕送りをせずに再生することでオープニングを視聴できる。   In addition, it is possible to grasp at a glance a portion without a subtitle in a recorded program. For example, if the recorded program is a drama, there are no subtitles in scenes such as the opening theme, the ending theme, and the commercial. However, if there is a user who wants to watch only the opening, looking at the distribution of the image PI, it can be seen that there is no opening near the beginning of the program is the opening, and it is opened by playing without sending the subtitle Can be watched.
図12(d)に示す変形例では、字幕文Mn毎に進捗割合RTnを求め、各進捗割合が各字幕文に対応付けられた字幕管理データ122bを、記憶部12に格納しておく。図14に示す字幕管理データ122bの例では、先頭の字幕文M1の字幕表示時刻T1が00:00:00のため、進捗割合RT1は「0」である。なお、進捗割合は、コンテンツの再生前に予め求めておいてもよく、コンテンツの再生中に求めて記憶部12に一時的に記憶させてもよい。   In the modification shown in FIG. 12D, the progress rate RTn is obtained for each subtitle sentence Mn, and the subtitle management data 122b in which each progress ratio is associated with each subtitle sentence is stored in the storage unit 12. In the example of the caption management data 122b shown in FIG. 14, the progress ratio RT1 is “0” because the caption display time T1 of the first caption sentence M1 is 00:00:00. The progress rate may be obtained in advance before the content is reproduced, or may be obtained during the reproduction of the content and temporarily stored in the storage unit 12.
この変形例で自動スクロールを実行する場合、図13に示すステップV34において、各進捗割合RTnを字幕管理データ122bから取得し、各進捗割合が全体バー1上で対応する位置に画像PIを表示させる。画像PIは、全体バーB1及び割合バーB2と重ねて表示されても分別できるよう、各バーと異なる色で表示することが望ましい。   When automatic scrolling is executed in this modified example, each progress rate RTn is acquired from the caption management data 122b in step V34 shown in FIG. 13, and the image PI is displayed at a position corresponding to each progress rate on the entire bar 1. . It is desirable to display the image PI in a color different from each bar so that the image PI can be distinguished even if it is displayed overlapping the whole bar B1 and the ratio bar B2.
(実施形態6)
上述した実施形態では、ユーザが字幕リスト中からコンテンツ録画データ121内の先頭の字幕文を選択した場合、先頭の字幕文から再生を開始すると共に、その字幕文に対応する再生タイミングを有する映像から再生を開始する。
(Embodiment 6)
In the embodiment described above, when the user selects the first subtitle sentence in the content recording data 121 from the subtitle list, playback starts from the first subtitle sentence, and from the video having the reproduction timing corresponding to the subtitle sentence. Start playback.
そのため、先頭の字幕文に対応するIDRフレームの再生時以前に再生される映像フレームをコンテンツが含む場合でも、それらの映像フレームが再生されないという問題が生じてしまう。例えば、先頭の字幕文がコンテンツの再生開始から3分後に表示される場合、それまで映像が再生されない。   For this reason, even if the content includes video frames that are played back before the IDR frame corresponding to the first caption text, the video frames are not played back. For example, when the first subtitle sentence is displayed 3 minutes after the start of content reproduction, the video is not reproduced until then.
この問題を解決するために、先頭の映像フレームの再生タイミングに模擬的な字幕文(以下、「仮字幕文」という)を対応付けて、その仮字幕文から字幕文の再生を開始すればよい。以下、このような動作を行う実施形態6に係る携帯電話1を説明する。   In order to solve this problem, it is only necessary to associate a simulated subtitle sentence (hereinafter referred to as “provisional subtitle sentence”) with the playback timing of the first video frame, and start reproduction of the subtitle sentence from the temporary subtitle sentence. . Hereinafter, the mobile phone 1 according to the sixth embodiment which performs such an operation will be described.
実施形態6の携帯電話1の基本構成は、図2で示した例と同一である。ただし、記憶部12には、図4で示した字幕管理データ122に代えて、図15に示す字幕管理データ122cを記憶させる。この字幕管理データ122cの字幕文には、コンテンツ録画データ121から抽出した字幕文Mn以外に、コンテンツ録画データ121に含まれていない仮字幕文が追加されている。   The basic configuration of the mobile phone 1 of Embodiment 6 is the same as the example shown in FIG. However, the storage unit 12 stores subtitle management data 122c shown in FIG. 15 instead of the subtitle management data 122 shown in FIG. In addition to the caption text Mn extracted from the content recording data 121, a provisional caption text not included in the content recording data 121 is added to the caption text of the caption management data 122c.
図15中、「(番組先頭)」という内容は新たに追加されたもので、その内容を示す字幕文は仮字幕文KMである。この仮字幕文KMは、コンテンツ録画データ121内の先頭のIDRフレームに対応付けられるよう、その字幕表示時刻Mnは「00:00:00」に設定されている。なお、字幕管理データ122cへの仮字幕文の格納は、字幕PESから字幕文Mnを抽出するときに同時に実行すればよい。   In FIG. 15, the content “(program head)” is newly added, and the caption text indicating the content is the provisional caption text KM. The subtitle display time Mn is set to “00:00:00” so that the temporary subtitle sentence KM is associated with the first IDR frame in the content recording data 121. Note that the provisional caption text is stored in the caption management data 122c at the same time as the caption text Mn is extracted from the caption PES.
また、コンテンツ再生用のアプリケーションの実行中、字幕文Mnを表示させるため図4で示した字幕管理データ122をワークメモリに展開するときに、仮字幕文を追加してもよい。   In addition, a temporary subtitle sentence may be added when the subtitle management data 122 shown in FIG. 4 is expanded in the work memory in order to display the subtitle sentence Mn during execution of the content reproduction application.
以下では、字幕管理データ122の内容を変更することなしにコンテンツの先頭にある映像を表示するための処理を説明する。図17に示すように、ユーザがコンテンツ視聴用のアプリケーションの実行を指示すると、制御部11は、先頭の字幕文が先頭の映像フレームに対応しているか否かを判別する(ステップV41)。   Hereinafter, a process for displaying the video at the head of the content without changing the content of the caption management data 122 will be described. As shown in FIG. 17, when the user instructs execution of an application for viewing content, the control unit 11 determines whether or not the top caption sentence corresponds to the top video frame (step V41).
このとき、字幕管理データ122を参照して、先頭の字幕文の字幕表示時刻が「00:00:00」であるか否かを判別し、「00:00:00」なら(ステップV41;Yes)、処理はステップV45に進む。ステップV45の通常の映像表示処理は、図7で示したステップS22〜S29と実質的に同一の処理である。   At this time, with reference to the caption management data 122, it is determined whether or not the caption display time of the first caption text is “00:00:00”. If it is “00:00:00” (step V41; Yes) ), The process proceeds to step V45. The normal video display processing in step V45 is substantially the same processing as steps S22 to S29 shown in FIG.
一方、先頭の字幕表示時刻が「00:00:00」でなければ(ステップV41;No)、コンテンツ録画データ121の先頭にあるIDRフレームを表示する(ステップV42)。さらに、そのIDRフレームに対応する仮字幕文KMを字幕領域MAに表示し(ステップV43)、表示中の仮字幕文KMが中央に配置された字幕リストをリスト領域LAに表示する(ステップV44)。ステップV42〜V44の処理により、図16(b)に例示する画面D42が表示される。   On the other hand, if the top caption display time is not “00:00:00” (step V41; No), the IDR frame at the top of the content recording data 121 is displayed (step V42). Further, the temporary subtitle sentence KM corresponding to the IDR frame is displayed in the subtitle area MA (step V43), and the subtitle list in which the temporary subtitle sentence KM being displayed is arranged at the center is displayed in the list area LA (step V44). . A screen D42 illustrated in FIG. 16B is displayed by the processing of steps V42 to V44.
また、実施形態6では、図18に示すように、ユーザが現在表示中の字幕文に代えてその1つ前の字幕文を表示するよう指示すると、表示中の字幕文が先頭の字幕文か否かを判別する。この指示は、カーソルキー3の上方向への押下などにより可能である。   Also, in the sixth embodiment, as shown in FIG. 18, when the user instructs to display the previous subtitle sentence instead of the currently displayed subtitle sentence, the currently displayed subtitle sentence is the first subtitle sentence. Determine whether or not. This instruction can be made by pressing the cursor key 3 upward.
先頭の字幕文でなければ(ステップV51;No)、処理はステップV55に進む。ステップV55の処理は、図7で示したステップS22〜S29と実質的に同一である。   If it is not the first caption sentence (step V51; No), the process proceeds to step V55. The process of step V55 is substantially the same as steps S22 to S29 shown in FIG.
一方、表示中の字幕文が先頭の字幕文なら(ステップV51;Yes)、ステップV52〜V54の処理を行う。ステップV52〜V54の処理は、図17で示したステップV42〜V44の処理と実質的に同一である。そして、処理を終える。   On the other hand, if the subtitle sentence being displayed is the first subtitle sentence (step V51; Yes), the processing of steps V52 to V54 is performed. The processing of steps V52 to V54 is substantially the same as the processing of steps V42 to V44 shown in FIG. Then, the process ends.
なお、仮字幕文と映像との対応付は、先頭の字幕文と先頭の映像とが対応しない場合に限られない。例えば、コンテンツの最後の字幕文と最後の映像とが対応しない場合、などにも同様に適用可能である。最後の字幕文と最後の映像とが対応しないとき、最後の映像は表示されないため、図16(c)に例示する画面D43が表示される。最後の映像に仮字幕文を対応付け、仮字幕文を表示したときは、図16(d)に例示する画面D44が表示される。   Note that the correspondence between the provisional subtitle sentence and the video is not limited to the case where the top subtitle sentence does not correspond to the top video. For example, the present invention can be similarly applied to the case where the last caption sentence of the content does not correspond to the last video. When the last subtitle sentence does not correspond to the last video, the last video is not displayed, so the screen D43 illustrated in FIG. 16C is displayed. When the temporary caption text is associated with the last video and the temporary caption text is displayed, a screen D44 illustrated in FIG. 16D is displayed.
以上説明したように、本発明の実施形態1によれば、予め定められた「字幕切替時間」が経過する毎に、再生中の字幕文に代えて次の字幕文を再生すると共に、字幕リストを自動スクロールする。これにより、ユーザはカーソルキー3等を操作して字幕文を表示する必要がなくなり、ユーザの利便性を向上できる。   As described above, according to the first embodiment of the present invention, every time a predetermined “subtitle switching time” elapses, the next subtitle sentence is reproduced instead of the subtitle sentence being reproduced, and the subtitle list is reproduced. Scroll automatically. This eliminates the need for the user to display the caption text by operating the cursor key 3 or the like, thereby improving user convenience.
実施形態2によれば、予め定められた「1文字あたりの表示時間t」と字幕文の文字数KZnとを乗じた「字幕切替時間」に従い、字幕リストの自動スクロールを行う。これにより、字幕文の文字数が多くなるにつれてその字幕文を表示する時間も長くなり、ユーザの利便性を向上できる。   According to the second embodiment, the subtitle list is automatically scrolled according to a “subtitle switching time” obtained by multiplying a predetermined “display time t per character” and the number of characters KZn of the subtitle sentence. Thereby, as the number of characters in the caption text increases, the time for displaying the caption text also becomes longer, and the convenience for the user can be improved.
実施形態3によれば、文字数に応じた区分により字幕文を分別し、その区分に対応する「字幕切替時間」に従って、字幕リストの自動スクロールを行う。これにより、表示中の字幕文の文字数が少ない場合でも、その字幕文は分別された区分中で最も文字数の多い字幕文と同一の「字幕切替時間」に従って表示され、ユーザがその字幕文を判読するための時間が長くなる。   According to the third embodiment, subtitle sentences are classified according to the division according to the number of characters, and the subtitle list is automatically scrolled according to the “subtitle switching time” corresponding to the division. As a result, even if the number of characters in the subtitle text being displayed is small, the subtitle text is displayed according to the same “subtitle switching time” as the subtitle text with the largest number of characters in the classified category, and the user interprets the subtitle text. It takes a long time to do.
また、本発明の各実施形態によれば、ユーザにより「字幕切替時間」を編集可能とする。これにより、ユーザは自己の好みに応じて字幕文の表示を切替させることができる。   Further, according to each embodiment of the present invention, the “caption switching time” can be edited by the user. Thereby, the user can switch the display of the caption text according to his / her preference.
実施形態4によれば、次の字幕文に切替わるまでの残り時間を表示パネル5に表示させる。これにより、ユーザは、現在表示中の字幕文から次の字幕文の表示に切替わるタイミングに合わせて、字幕文を読むペースを調整できる。   According to the fourth embodiment, the remaining time until switching to the next caption text is displayed on the display panel 5. Thereby, the user can adjust the pace of reading the subtitle sentence in accordance with the timing of switching from the currently displayed subtitle sentence to the display of the next subtitle sentence.
実施形態5によれば、コンテンツの再生中、コンテンツ録画データ121の全再生時間に対し、現時点までのコンテンツ再生が完了した程度をユーザに示す。これにより、ユーザは、示された程度を基準として、コンテンツの視聴を継続するか否かを判断できる。   According to the fifth embodiment, during the reproduction of content, the degree of completion of content reproduction up to the present time is shown to the user with respect to the total reproduction time of the content recording data 121. Thereby, the user can determine whether or not to continue viewing the content on the basis of the indicated degree.
さらに、全再生時間、表示中の映像の表示時刻、などを表示する。これにより、ユーザは視聴中のコンテンツの未再生部分の再生完了に要する時間、コンテンツ再生開始時から現時点までの視聴時間、などを把握できる。   Further, the total playback time, the display time of the video being displayed, and the like are displayed. Thereby, the user can grasp the time required to complete the reproduction of the unreproduced portion of the content being viewed, the viewing time from the start of content reproduction to the present time, and the like.
実施形態6によれば、コンテンツ中の先頭の字幕文と先頭の映像とが対応していない場合、先頭の映像が有する再生タイミングに仮字幕文KMを対応付ける。そして、仮字幕文KMから字幕文の再生を開始する。これにより、ユーザは先頭の映像を視聴することが可能となり、ユーザの利便性を向上できる。   According to the sixth embodiment, when the first subtitle sentence in the content does not correspond to the first video, the temporary subtitle sentence KM is associated with the reproduction timing of the first video. Then, the reproduction of the subtitle sentence is started from the temporary subtitle sentence KM. As a result, the user can view the first video, and the convenience for the user can be improved.
以下、本実施形態の変形について説明する。字幕リストの表示のオン又はオフを、ユーザにより編集可能としてもよい。このとき、字幕リスト表示のオフからオンへの切替後、字幕リストから字幕文が選択されたときに自動スクロールを開始すればよい。   Hereinafter, modifications of the present embodiment will be described. The user may be able to edit whether the subtitle list display is on or off. At this time, after the caption list display is switched from OFF to ON, automatic scrolling may be started when a caption text is selected from the caption list.
実施形態6では、仮字幕文の内容は、「(番組先頭)」の文字列に限らず、他の文字列でも空白でもよい。また、仮字幕文に対応付けられる映像は、コンテンツ中の先頭の映像フレームに限らず、先頭の字幕文の字幕表示時刻に対応する映像よりも先に再生される映像であればよい。例えば、番組先頭のIDRフレームでも、そのIDRフレーム近傍のPフレームでもよい。   In the sixth embodiment, the content of the provisional subtitle sentence is not limited to the character string “(start of program)”, and may be another character string or blank. The video associated with the temporary subtitle sentence is not limited to the first video frame in the content, but may be any video that is played back before the video corresponding to the subtitle display time of the first subtitle sentence. For example, it may be an IDR frame at the beginning of a program or a P frame near the IDR frame.
その他、本発明の概念は、専用のコンピュータシステムに限らず、例えば、コンテンツ録画再生機能を備える、PDA、電子カメラ、電子腕時計、携帯型TV、カーナビゲーション装置、等の任意の字幕付映像再生装置に適用可能である。即ち、コンピュータを携帯電話1として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、携帯電話1として、これを使用、譲渡、貸与などしてもよい。   In addition, the concept of the present invention is not limited to a dedicated computer system. For example, a video playback device with arbitrary subtitles such as a PDA, an electronic camera, an electronic watch, a portable TV, a car navigation device, etc., having a content recording / playback function. It is applicable to. That is, a computer program for causing a computer to function and operate as the mobile phone 1 is created, distributed, and lent, and this is installed in the computer, and the mobile phone 1 can be used, transferred, or lent. Good.
本発明に係る携帯電話を開いた状態で正面から見たときの外観図である。It is an external view when it sees from the front in the state which opened the mobile telephone based on this invention. 携帯電話の構成を示すブロック図である。It is a block diagram which shows the structure of a mobile telephone. コンテンツ録画データのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of content video recording data. 字幕管理データのデータ構造の第1の例を示す図である。It is a figure which shows the 1st example of the data structure of subtitle management data. TV信号から情報を抽出して、字幕管理データを生成する処理を示すフローチャートである。It is a flowchart which shows the process which extracts information from TV signal and produces | generates subtitle management data. 字幕付映像と共に字幕リストが表示された画面を示す図である。It is a figure which shows the screen on which the subtitle list was displayed with the image | video with a subtitle. 自動スクロールの処理を示すフローチャートである。It is a flowchart which shows the process of an automatic scroll. 字幕管理データのデータ構造の第2の例を示す図である。It is a figure which shows the 2nd example of the data structure of subtitle management data. (a)は、実施形態2における字幕管理データを生成する処理を示すフローチャートである。(b)は、実施形態2における自動スクロールの処理を示すフローチャートである。(A) is a flowchart which shows the process which produces | generates the caption management data in Embodiment 2. FIG. FIG. 6B is a flowchart illustrating an automatic scroll process according to the second embodiment. (a)は、表示切替時間情報のデータ構造の一例を示す図である。(b)は、実施形態3における自動スクロールの処理を示すフローチャートである。(A) is a figure which shows an example of the data structure of display switching time information. FIG. 6B is a flowchart illustrating an automatic scroll process according to the third embodiment. (a)は、サブメニュー表示前の画面の一例を示す図である。(b)は、サブメニュー表示後の画面の一例を示す図である。(c)は、実施形態1に係る字幕切替時間の設定画面の一例を示す図である。(d)は、実施形態2に係る字幕切替時間の設定画面の第1の例を示す図である。(e)は、実施形態2に係る字幕切替時間の設定画面の第2の例を示す図である。(f)は、実施形態3に係る字幕切替時間の設定画面の一例を示す図である。(A) is a figure which shows an example of the screen before a submenu display. (B) is a figure which shows an example of the screen after a submenu display. (C) is a figure which shows an example of the setting screen of the caption switching time concerning Embodiment 1. FIG. (D) is a figure which shows the 1st example of the setting screen of the caption switching time which concerns on Embodiment 2. FIG. (E) is a figure which shows the 2nd example of the setting screen of the caption switching time concerning Embodiment 2. FIG. (F) is a figure which shows an example of the setting screen of the caption switching time which concerns on Embodiment 3. FIG. (a)は、実施形態5に係る画面の第1の例を示す図である。(b)は、実施形態5に係る画面の第2の例を示す図である。(c)は、実施形態5に係る画面の第3の例を示す図である。(d)は、実施形態5に係る画面の第4の例を示す図である。(A) is a figure which shows the 1st example of the screen which concerns on Embodiment 5. FIG. (B) is a figure showing the 2nd example of a screen concerning Embodiment 5. (C) is a figure which shows the 3rd example of the screen which concerns on Embodiment 5. FIG. (D) is a figure which shows the 4th example of the screen which concerns on Embodiment 5. FIG. 実施形態5における自動スクロールの処理を示すフローチャートである。10 is a flowchart illustrating an automatic scroll process according to the fifth embodiment. 字幕管理データのデータ構造の第3の例を示す図である。It is a figure which shows the 3rd example of the data structure of subtitle management data. 字幕管理データのデータ構造の第4の例を示す図である。It is a figure which shows the 4th example of the data structure of subtitle management data. (a)は、先頭映像と先頭の字幕文とが対応していないコンテンツを再生したときの画面の一例を示す図である。(b)は、先頭映像と仮字幕文とを対応付けてコンテンツを再生したときの画面の一例を示す図である。(c)は、最後の映像と最後の字幕文とが対応していないコンテンツを再生したときの画面の一例を示す図である。(d)は、最後の映像と仮字幕文とを対応付けてコンテンツを再生したときの画面の一例を示す図である。(A) is a figure which shows an example of a screen when reproducing | regenerating the content to which a top image | video and a top caption sentence do not respond | correspond. (B) is a figure which shows an example of a screen when reproducing | regenerating a content by matching a head image | video and a provisional caption sentence. (C) is a figure which shows an example of a screen when the content to which the last image | video and the last subtitle sentence do not respond | correspond is reproduced | regenerated. (D) is a figure which shows an example of a screen when the content is reproduced in association with the last video and the provisional subtitle sentence. 実施形態6における、先頭の映像に対応する仮字幕文を表示する処理を示すフローチャートである。18 is a flowchart illustrating a process for displaying a provisional subtitle sentence corresponding to the first video in Embodiment 6. 実施形態6における、現在表示中の1つ前の字幕文を表示する処理を示すフローチャートである。18 is a flowchart illustrating a process of displaying a previous subtitle sentence that is currently displayed in the sixth embodiment.
符号の説明Explanation of symbols
1…携帯電話、2…キーボード、3…カーソルキー、4…表示切替ボタン、5…表示パネル、6…通話用マイク、7…通話用スピーカ、8…スピーカ、11…制御部、12…記憶部、13…操作部、14…表示部、15…チューナ、16…デコード部、17…音声出力部、18…音声入力部、19…通信部、20…バス、121…コンテンツ録画データ、122,122a,122b,122c…字幕管理データ、123…表示切替時間情報   DESCRIPTION OF SYMBOLS 1 ... Mobile phone, 2 ... Keyboard, 3 ... Cursor key, 4 ... Display switching button, 5 ... Display panel, 6 ... Calling microphone, 7 ... Calling speaker, 8 ... Speaker, 11 ... Control part, 12 ... Memory | storage part , 13 ... operation section, 14 ... display section, 15 ... tuner, 16 ... decoding section, 17 ... audio output section, 18 ... audio input section, 19 ... communication section, 20 ... bus, 121 ... content recording data, 122, 122a , 122b, 122c ... subtitle management data, 123 ... display switching time information

Claims (12)

  1. 複数の字幕文を定義する字幕信号と、複数の映像を定義する映像信号とを、再生順序により対応付けて記憶する記憶手段と、
    前記字幕信号が定義する字幕文を再生する字幕再生手段と、
    時間を計時し、前記字幕再生手段が再生中の字幕文の再生開始から所定時間が経過したことを検出するタイマ手段と、
    前記タイマ手段で所定時間の経過を検出したときに、前記字幕再生手段を制御し、現在再生中の字幕文に代えて、その字幕文の次の再生順序を有する字幕文を再生させる字幕切替手段と、
    前記映像信号が定義する各映像の内から前記字幕再生手段が再生中の字幕文に対応する再生順序を有する映像、を再生する映像再生手段と、
    前記字幕再生手段が再生中の字幕文と、その字幕文の再生順序から所定の順序だけ前にある字幕文と、その字幕文の再生順序から所定の順序だけ後にある字幕文と、のリストを生成して表示するリスト表示手段と、
    を備えることを特徴とする字幕付映像再生装置。
    Storage means for storing a subtitle signal defining a plurality of subtitle sentences and a video signal defining a plurality of videos in association with each other according to a reproduction order;
    Subtitle playback means for playing back a subtitle sentence defined by the subtitle signal;
    Timer means for measuring time and detecting that a predetermined time has elapsed since the start of reproduction of the subtitle sentence being reproduced by the subtitle reproduction means;
    Subtitle switching means for controlling the subtitle reproduction means to detect the subtitle sentence having the next reproduction order of the subtitle sentence instead of the currently reproduced subtitle sentence when the timer means detects the elapse of a predetermined time. When,
    Video reproduction means for reproducing a video having a reproduction order corresponding to a subtitle sentence being reproduced by the subtitle reproduction means from among the videos defined by the video signal;
    A list of a subtitle sentence being reproduced by the subtitle reproduction means, a subtitle sentence that is a predetermined order before the reproduction order of the subtitle sentence, and a subtitle sentence that is a predetermined order after the reproduction order of the subtitle sentence is displayed. List display means for generating and displaying;
    A video playback apparatus with subtitles, comprising:
  2. 前記タイマ手段は、
    現在再生中の字幕文に含まれる文字の数を判別する文字数判別手段と、前記文字数判別手段で判別した数の増大に伴って前記所定時間を大きくし、前記数の減少に伴って前記所定時間を小さくする時間変更手段と、を備え、
    前記時間変更手段で変更した所定時間が経過したことを検出する、
    ことを特徴とする請求項1に記載の字幕付映像再生装置。
    The timer means includes
    Character number determination means for determining the number of characters included in the currently reproduced subtitle sentence, and the predetermined time is increased as the number determined by the character number determination means increases, and the predetermined time as the number decreases A time changing means for reducing
    Detecting that a predetermined time changed by the time changing means has elapsed,
    The video reproduction apparatus with captions according to claim 1.
  3. 前記記憶手段は、前記字幕文に含まれる各文字の再生時間を示す1文字再生時間情報を記憶しており、
    前記時間変更手段は、前記1文字再生時間情報が示す再生時間と前記文字数判別手段で判別した数との積から定まる時間に、前記所定時間を変更する、
    ことを特徴とする請求項2に記載の字幕付映像再生装置。
    The storage means stores one character reproduction time information indicating a reproduction time of each character included in the subtitle sentence,
    The time changing means changes the predetermined time to a time determined from a product of the reproduction time indicated by the one character reproduction time information and the number determined by the character number determination means.
    The video reproduction apparatus with captions according to claim 2.
  4. 前記字幕信号が定義する全字幕文の総文字数を求める総文字数演算手段と、
    前記記憶手段が記憶する1文字再生時間情報が示す再生時間と前記総文字数との積から、全字幕文の再生に要する全字幕文再生時間を求める全字幕再生時間取得手段と、
    前記全字幕文再生時間と現在時刻とを加えて字幕文再生完了時刻を求め、その字幕文再生完了時刻を表示する手段と、
    をさらに備える、ことを特徴とする請求項3に記載の字幕付映像再生装置。
    A total character number calculating means for determining the total number of characters of all subtitle sentences defined by the subtitle signal;
    All subtitle playback time acquisition means for obtaining all subtitle sentence playback time required for playback of all subtitle sentences from the product of the playback time indicated by the one character playback time information stored in the storage means and the total number of characters;
    Means for obtaining a caption sentence reproduction completion time by adding the all caption sentence reproduction time and the current time, and displaying the caption sentence reproduction completion time;
    The video reproducing apparatus with captions according to claim 3, further comprising:
  5. 前記記憶手段は、前記字幕文に含まれる文字の数と前記所定時間とを対応付ける字幕切替時間情報を記憶しており、
    前記時間変更手段は、
    前記字幕切替時間情報を参照し、前記文字数判別手段で判別した数に対応する所定時間を特定する時間特定手段、を備え、
    前記時間特定手段で特定した所定時間に、前記所定時間を変更する、ことを特徴とする請求項2に記載の字幕付映像再生装置。
    The storage means stores subtitle switching time information that associates the number of characters included in the subtitle sentence with the predetermined time,
    The time changing means is
    Referring to the caption switching time information, and a time specifying means for specifying a predetermined time corresponding to the number determined by the character number determining means,
    3. The captioned video reproduction apparatus according to claim 2, wherein the predetermined time is changed to the predetermined time specified by the time specifying means.
  6. 前記タイマ手段は、
    ユーザの操作に応答して、前記所定時間を入力する時間入力手段、を備え、
    前記時間入力手段が入力した所定時間が経過したことを検出する、ことを特徴とする請求項1乃至5のいずれか1項に記載の字幕付映像再生装置。
    The timer means includes
    A time input means for inputting the predetermined time in response to a user operation,
    6. The subtitle-added video reproduction apparatus according to claim 1, wherein it is detected that a predetermined time input by the time input unit has elapsed.
  7. 前記字幕切替手段は、
    前記所定時間と前記タイマ手段で計時した時間との差から、再生中の字幕文を切替えるまでの残り時間を求め、その残り時間を表示する残り時間表示手段、を備え、
    前記残り時間表示手段が表示中の残り時間がゼロになったときに、前記字幕再生手段を制御して字幕文を切替えさせる、ことを特徴とする請求項1乃至6のいずれか1項に記載の字幕付映像再生装置。
    The subtitle switching means is
    From the difference between the predetermined time and the time measured by the timer means, the remaining time until the subtitle sentence being played is switched, and the remaining time display means for displaying the remaining time,
    The subtitle text is switched by controlling the subtitle reproduction means when the remaining time being displayed by the remaining time display means becomes zero. Video playback device with subtitles.
  8. 前記映像信号が定義する全映像の再生の開始から終了までの時間を示す全映像再生時間を求める全映像時間取得手段と、
    先頭の字幕文の再生開始時から現在再生中の字幕文の再生時に至るまでの経過時間が前記全映像再生時間に占める割合、を示す割合指示画像を生成する割合画像生成手段と、
    前記割合画像生成手段で生成した割合指示画像を表示する割合画像表示手段と、を備える、ことを特徴とする請求項1乃至7のいずれか1項に記載の字幕付映像再生装置。
    A total video time acquisition means for obtaining a total video playback time indicating a time from the start to the end of the playback of all videos defined by the video signal;
    A ratio image generating means for generating a ratio indicating image indicating a ratio of an elapsed time from the start of reproduction of the first caption sentence to the reproduction of the currently reproduced caption sentence;
    8. The video reproduction apparatus with caption according to claim 1, further comprising: a ratio image display unit configured to display a ratio instruction image generated by the ratio image generation unit. 9.
  9. 前記全映像時間取得手段で求めた全映像再生時間における前記各字幕文の各再生時刻を示す再生時刻指示画像と、前記割合画像生成手段で生成した割合指示画像とを重ねて表示する手段、を備える、ことを特徴とする請求項8に記載の字幕付映像再生装置。   Means for displaying a reproduction time instruction image indicating each reproduction time of each subtitle sentence in the whole video reproduction time obtained by the all video time acquisition means and a ratio instruction image generated by the ratio image generation means in an overlapping manner; The video reproduction apparatus with captions according to claim 8, comprising:
  10. 前記記憶手段は、
    前記各映像から、前記各字幕文に再生順序が対応付けられていない映像を抽出する非対応映像抽出手段、を備え、
    前記非対応映像抽出手段で抽出した映像と、擬似的な字幕文である仮字幕文とを、再生順序により対応付けて記憶して、
    前記字幕再生手段は、
    前記映像再生手段が前記非対応映像抽出手段で抽出した映像を再生したときに、該映像に対応付けられた仮字幕文を再生して、
    前記リスト表示手段は、
    前記再生中の仮字幕文と、該仮字幕文の再生順序から所定の順序だけ前又は後の再生順序を有する字幕文及び仮字幕文と、を示すリストを表示する、ことを特徴とする請求項1乃至9のいずれか1項に記載の字幕付映像再生装置。
    The storage means
    A non-corresponding video extracting means for extracting a video whose playback order is not associated with each subtitle sentence from each video,
    The video extracted by the non-corresponding video extraction means and the temporary subtitle sentence that is a pseudo subtitle sentence are stored in association with each other according to the reproduction order,
    The subtitle playback means includes
    When the video reproduction means reproduces the video extracted by the non-corresponding video extraction means, the provisional subtitle sentence associated with the video is reproduced,
    The list display means includes:
    A list showing the subtitle sentence being reproduced, and a subtitle sentence and a provisional subtitle sentence having a reproduction order before or after a predetermined order from the reproduction order of the provisional subtitle sentence, are displayed. Item 10. The video playback device with captions according to any one of Items 1 to 9.
  11. 前記字幕切替手段は、
    再生中の字幕文に代えて、その字幕文の次の再生順序を有する字幕文が再生されたことをユーザに通知する通知手段、を備え、
    前記字幕再生手段を制御して前記次の再生順序を有する字幕文を再生させたときに、前記通知手段でユーザに通知する、ことを特徴とする請求項1乃至10のいずれか1項に記載の字幕付映像再生装置。
    The subtitle switching means is
    A notification means for notifying the user that a subtitle sentence having the next reproduction order of the subtitle sentence has been reproduced instead of the subtitle sentence being reproduced;
    11. The user is notified by the notification unit when the subtitle sentence having the next reproduction order is reproduced by controlling the subtitle reproduction unit. Video playback device with subtitles.
  12. コンピュータに、
    複数の字幕文を定義する字幕信号と、複数の映像を定義する映像信号とを、再生順序により対応付けて記憶部に記憶させ、
    前記記憶部に記憶させた字幕信号が定義する字幕文を再生させ、
    時間を計時し、前記再生中の字幕文の再生開始から所定時間が経過したことを検出させ、
    前記所定時間が経過したことを検出したときに、現在再生中の字幕文に代えて、その字幕文の次の再生順序を有する字幕文を再生させ、
    前記映像信号が定義する各映像の内から前記再生中の字幕文に対応する再生順序を有する映像、を再生させ、
    前記再生中の字幕文と、その字幕文の再生順序から所定の順序だけ前又は後の再生順序を有する字幕文と、を示すリストを表示部に表示させ、
    前記再生中の字幕文と、その字幕文の再生順序から所定の順序だけ前にある字幕文と、その字幕文の再生順序から所定の順序だけ後にある字幕文と、を示すリストを表示させる、
    ためのプログラム。
    On the computer,
    A subtitle signal defining a plurality of subtitle sentences and a video signal defining a plurality of videos are stored in the storage unit in association with each other according to the reproduction order,
    Playing back a caption sentence defined by a caption signal stored in the storage unit;
    Time is measured, and it is detected that a predetermined time has elapsed from the start of reproduction of the subtitle sentence being reproduced,
    When it is detected that the predetermined time has elapsed, a subtitle sentence having the next reproduction order of the subtitle sentence is reproduced instead of the subtitle sentence currently being reproduced,
    Playing a video having a playback order corresponding to the subtitle sentence being played out of each video defined by the video signal;
    A list showing the subtitle sentence being reproduced and a subtitle sentence having a reproduction order before or after a predetermined order from the reproduction order of the subtitle sentence is displayed on the display unit,
    Displaying a list indicating the subtitle sentence being reproduced, a subtitle sentence that is a predetermined order before the reproduction order of the subtitle sentence, and a subtitle sentence that is a predetermined order after the reproduction order of the subtitle sentence;
    Program for.
JP2007159510A 2007-06-15 2007-06-15 Subtitled video playback device and program Expired - Fee Related JP4367535B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007159510A JP4367535B2 (en) 2007-06-15 2007-06-15 Subtitled video playback device and program

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2007159510A JP4367535B2 (en) 2007-06-15 2007-06-15 Subtitled video playback device and program
CN2008100971378A CN101312506B (en) 2007-05-21 2008-05-19 Captioned video playback apparatus
US12/154,026 US8346049B2 (en) 2007-05-21 2008-05-19 Captioned video playback apparatus and recording medium
KR1020080047274A KR100980792B1 (en) 2007-05-21 2008-05-21 Captioned video playback apparatus and recording medium recorded program
US13/683,293 US8989551B2 (en) 2007-05-21 2012-11-21 Captioned video playback apparatus and recording medium

Publications (2)

Publication Number Publication Date
JP2008312066A true JP2008312066A (en) 2008-12-25
JP4367535B2 JP4367535B2 (en) 2009-11-18

Family

ID=40239234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007159510A Expired - Fee Related JP4367535B2 (en) 2007-06-15 2007-06-15 Subtitled video playback device and program

Country Status (1)

Country Link
JP (1) JP4367535B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302779A (en) * 2008-06-11 2009-12-24 Casio Hitachi Mobile Communications Co Ltd Video with caption-reproducing device, and video with caption-reproducing method and program
JP2010178146A (en) * 2009-01-30 2010-08-12 Toshiba Alpine Automotive Technology Corp Disk reproducer, and disk reproduction method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302779A (en) * 2008-06-11 2009-12-24 Casio Hitachi Mobile Communications Co Ltd Video with caption-reproducing device, and video with caption-reproducing method and program
JP2010178146A (en) * 2009-01-30 2010-08-12 Toshiba Alpine Automotive Technology Corp Disk reproducer, and disk reproduction method

Also Published As

Publication number Publication date
JP4367535B2 (en) 2009-11-18

Similar Documents

Publication Publication Date Title
US8989551B2 (en) Captioned video playback apparatus and recording medium
US7830570B2 (en) Device and method for edition of moving picture data
JP5057918B2 (en) Electronic device and scene type display method
JP2009038680A (en) Electronic device and face image display method
JP5310808B2 (en) Subtitled video playback device and subtitled video playback program
JP4569673B2 (en) Subtitled video playback device, subtitled video playback method and program
JP5158595B2 (en) Subtitled video playback terminal device and program
JP2006245907A (en) Broadcast recording and reproducing apparatus
JP2009159125A (en) Reproducer for video image with caption, search result notifying method for reproducer for video image with caption, and program
JP4367535B2 (en) Subtitled video playback device and program
JP5036267B2 (en) Portable electronic device
JP2003037796A (en) Information recording and reproducing device
JP2009130469A (en) Captioned video playback apparatus, and program
JP4333560B2 (en) TV broadcast recording and playback device
JP2009094966A (en) Reproducing device, reproduction method, and reproduction control program
JP2009206724A (en) Playback device
JP5311448B2 (en) Subtitled video playback device, subtitled video playback method and program
JP5110521B2 (en) Subtitled video playback device and program
JP4929127B2 (en) CM detecting method and moving picture reproducing apparatus using the same
JP2009159484A (en) Broadcast receiver
JP4821733B2 (en) Subtitled video playback terminal device and program
JP2013145976A (en) Reproduction control device, control method therefor, reproduction device, television receiver, program, and recording medium
JP2006157758A (en) Video reproducing equipment and video detection/utilization method
JP2007295475A (en) Recording and reproducing apparatus
JP2006041715A (en) Hard disk recorder and information recording and reproducing apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090817

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees