JP2009055459A - Terminal and program for reproducing video content - Google Patents

Terminal and program for reproducing video content Download PDF

Info

Publication number
JP2009055459A
JP2009055459A JP2007221527A JP2007221527A JP2009055459A JP 2009055459 A JP2009055459 A JP 2009055459A JP 2007221527 A JP2007221527 A JP 2007221527A JP 2007221527 A JP2007221527 A JP 2007221527A JP 2009055459 A JP2009055459 A JP 2009055459A
Authority
JP
Japan
Prior art keywords
subtitles
displayed
time code
subtitle
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007221527A
Other languages
Japanese (ja)
Other versions
JP5196634B2 (en
Inventor
Kiyosato Saito
磨悟 齋藤
Masami Fujita
昌巳 藤田
Naoki Kawai
直樹 河合
Akira Nakamura
章 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INDEX KK
Index Corp Japan
Japan Broadcasting Corp
Original Assignee
INDEX KK
Nippon Hoso Kyokai NHK
Index Corp Japan
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INDEX KK, Nippon Hoso Kyokai NHK, Index Corp Japan, Japan Broadcasting Corp filed Critical INDEX KK
Priority to JP2007221527A priority Critical patent/JP5196634B2/en
Priority to CN200880104532A priority patent/CN101785314A/en
Priority to PCT/JP2008/064271 priority patent/WO2009028317A1/en
Publication of JP2009055459A publication Critical patent/JP2009055459A/en
Application granted granted Critical
Publication of JP5196634B2 publication Critical patent/JP5196634B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To acquire thumbnail image data for searching a part to be reproduced on demand. <P>SOLUTION: A video content reproduction terminal includes: an operation means; a communication means; a display means; a storage means; a first control means for allowing the storage means to store each pair of text data and time codes; a second control means for transmitting a first request via the communication means; a third means for allowing the display means to display a reduction image corresponding to subtitles; a fourth control means for transmitting a second request via the communication means; and a fifth control means for allowing the display means to display a series of frame images sequentially. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラムに関する。   The present invention relates to a video content playback terminal and a video content playback program.

いわゆる第3世代と呼ばれる携帯電話機は、極めて高いビットレートのデータ伝送を誇り、従来の世代の携帯電話機では難しかった動画像のストリーミング再生をも実現するに至っている。このような携帯電話機の高スペック化に伴い、各種サービスプロバイダから携帯電話機の利用者に向けて配信されるコンテンツも静止画像から動画像へと変化しつつあり、動画像のコンテンツの配信環境をより良くするための技術も提案されている。例えば、特許文献1に開示された携帯電話端末は、動画像のコンテンツをストリーミング再生している間に自端末に宛てた着信が入ると、コンテンツの配信元のサーバに対して配信の中断を要求する。そして、着信元の相手との通話が終了すると改めてサーバへ配信を要求し、中断された箇所からストリーミング再生を再開できるようになっている。この種の携帯電話機による動画像のストリーミング再生は、コンテンツの一部に相当する数十フレーム分の画像をエンコードして得たビデオデータを受信し、そのビデオデータをデコードして得た画像を表示させている間に次の数十フレーム分のビデオデータを受信する、という手順を繰り返しながら進められる。
特開2006−270729号公報
The so-called third-generation mobile phone is proud of data transmission at an extremely high bit rate, and has realized streaming playback of moving images that has been difficult with conventional generation mobile phones. With such high specifications of mobile phones, the content distributed from various service providers to mobile phone users is also changing from still images to moving images, and the distribution environment of moving image content is more Techniques for improving it have also been proposed. For example, when a mobile phone terminal disclosed in Patent Document 1 receives an incoming call addressed to the terminal while streaming the content of a moving image, the mobile phone terminal requests the distribution source server to interrupt the distribution. To do. When the call with the other party of the incoming call ends, the server again requests distribution, and streaming playback can be resumed from the interrupted point. This type of mobile video streaming playback with mobile phones receives video data obtained by encoding an image of several tens of frames corresponding to a part of the content, and displays the image obtained by decoding the video data. It is possible to proceed while repeating the procedure of receiving video data for the next several tens of frames while
JP 2006-270729 A

ところで、携帯電話機向けの動画像のコンテンツの配信を受ける利用者の多くは、コンテンツを再生させる前にその概要を確認し、指定した箇所からコンテンツを再生させたいとの希望を持っている。しかしながら、これまでの携帯電話機は、動画像のコンテンツをストリーミング再生している間でなければ、早送りや巻き戻しの操作を受け付け得ないようになっており、使い勝手が悪いという問題がある。   By the way, many users who receive the distribution of moving image content for mobile phones have a desire to confirm the outline before reproducing the content and to reproduce the content from a designated location. However, conventional mobile phones cannot accept fast-forward and rewind operations unless streaming video content is being streamed, resulting in poor usability.

このような背景の下、本発明は、動画像のコンテンツを再生する前にその概要を利用者に了解させ、利用者が指定した箇所からコンテンツを再生できるような仕組みとして発案された。具体的には、動画像のコンテンツを再生するに先立ち、当該動画像のコンテンツをなす一連のまたは一部のフレーム画像を縮小したサムネイル画像と、そのサムネイル画像と対応する字幕を示すテキストデータとを取得し、利用者がテキストデータ若しくはサムネイル画像を選択することにより、所定の位置から動画像データの取得と再生を行うシステムを発案した。   Under such a background, the present invention was conceived as a mechanism that allows a user to understand the outline of a moving image content before playing it, and plays the content from a location specified by the user. Specifically, prior to playback of moving image content, a thumbnail image obtained by reducing a series or part of frame images constituting the moving image content, and text data indicating subtitles corresponding to the thumbnail image are provided. A system has been devised that acquires and plays moving image data from a predetermined position by acquiring and selecting text data or thumbnail images by the user.

しかし、通信が不安定な状況下では、テキストデータとサムネイル画像データを取得するのに失敗するおそれがある。加えて、記憶容量に制限がある場合、取得するデータを少なくし、円滑な再生を行いたいという要望もある。   However, under circumstances where communication is unstable, there is a risk that acquisition of text data and thumbnail image data will fail. In addition, when the storage capacity is limited, there is a desire to reduce the data to be acquired and perform smooth reproduction.

本発明は、再生箇所を検索するためのサムネイル画像データをオンデマンドで取得できる仕組みを提供することを目的とする。   An object of the present invention is to provide a mechanism that can acquire on-demand thumbnail image data for searching for a playback location.

本発明の好適な態様であるビデオコンテンツ再生端末は、操作手段と、通信手段と、表示手段と、記憶手段と、ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータとビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、通信手段を介して取得し、取得した各対を記憶手段に記憶させる第1の制御手段と、記憶手段から特定した一又は複数の対のテキストデータが示す字幕を表示手段に表示させるとともに、その対のタイムコードを含む第1のリクエストを通信手段を介して発信する第2の制御手段と、第1のリクエストに含まれるタイムコードが示す時間軸上の位置での再生が予定されるフレーム画像の縮小画像を示すサムネイル画像データを通信手段を介して取得し、取得したサムネイル画像データが示す縮小画像を字幕と対応付けて表示手段に表示させる第3の制御手段と、表示された字幕の選択を操作手段の操作を通じて受け付ける手段であって、字幕の選択を受けると、その選択にかかる字幕と対をなすタイムコードを含む第2のリクエストを通信手段を介して発信する第4の制御手段と、第2のリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を表示手段に順次表示させる第5の制御手段とを備える。   A video content playback terminal according to a preferred aspect of the present invention includes an operation unit, a communication unit, a display unit, a storage unit, and a series of frame images forming a video content, or a part of the frame images. Each pair of text data indicating a subtitle corresponding to each of the video data and a time code indicating a position on the time axis from the beginning to the end of the video content is acquired via the communication unit, and each acquired pair is stored in the storage unit The first control means to be stored in the display means, and the subtitles indicated by the one or more pairs of text data identified from the storage means are displayed on the display means, and a first request including the time code of the pair is transmitted via the communication means. The second control means for transmitting and the reduced image of the frame image scheduled to be reproduced at the position on the time axis indicated by the time code included in the first request Third control means for acquiring the thumbnail image data via the communication means, displaying the reduced image indicated by the obtained thumbnail image data in association with the subtitle on the display means, and selecting the displayed subtitle to be operated by the operation means. 4th control means which transmits the 2nd request containing the time code which makes a pair with the subtitle concerning the selection, via a communication means, when receiving a selection of a subtitle via a communication means, and a 2nd request The video data indicating a series of frame images scheduled to be reproduced after the position on the time axis indicated by the time code included in the video is acquired via the communication means, and the series of frame images indicated by the acquired video data is displayed. And a fifth control means for sequentially displaying.

また、第2の制御手段は、時間軸上の位置が連続するタイムコードを含む複数の対の纏まりを操作手段の操作に応じて記憶手段から特定し、特定した対の各々のテキストデータが示す字幕を時間軸上の位置が先行するものから並べて表示手段に表示させるとともに、それらの対の各々のタイムコードを含む第1のリクエストを同時にまたは個別に通信手段を介して発信するようにしてもよい。   Further, the second control means identifies a group of a plurality of pairs including time codes whose positions on the time axis are continuous from the storage means according to the operation of the operation means, and each text data of the identified pair indicates The subtitles are displayed side by side on the time axis and displayed on the display means, and the first request including the time code of each of the pairs is simultaneously or individually transmitted via the communication means. Good.

また、操作手段は、先行する字幕へのシフトを指示する第1のボタン、を有し、第2の制御手段は、第1のボタンが操作されるたびに、表示手段に並べて表示されている字幕のうち時間軸上の位置が最も前の字幕のテキストデータと対をなすタイムコードを記憶手段から特定し、特定したタイムコードに先行するタイムコードと対をなすテキストデータが示す字幕を、並べて表示されている字幕のうち時間軸上の位置が最も後の字幕を除いた字幕と併せて表示手段に表示させるとともに、先行するタイムコードを含む第1のリクエストを通信手段を介して発信する巻戻し方向スクロール制御手段を有してもよい。   The operation means has a first button for instructing a shift to the preceding subtitle, and the second control means is displayed side by side on the display means every time the first button is operated. The time code that is paired with the text data of the subtitle with the earliest subtitle position among the subtitles is specified from the storage means, and the subtitles indicated by the text data that is paired with the time code preceding the specified time code are arranged side by side. A volume that causes the display means to display the displayed subtitles together with the subtitles excluding the most recent subtitle among the displayed subtitles, and transmits the first request including the preceding time code via the communication means. You may have a return direction scroll control means.

また、操作手段は、後続する字幕へのシフトを指示する第2のボタン、を有し、第2の制御手段は、第2のボタンが操作されるたびに、表示手段に並べて表示されている字幕のうち時間軸上の位置が最も後の字幕のテキストデータと対をなすタイムコードを記憶手段から特定し、特定したタイムコードに後続するタイムコードと対をなすテキストデータが示す字幕を、並べて表示されている字幕のうち時間軸上の位置が最も前の字幕を除いた字幕と併せて表示手段に表示させるとともに、後続するタイムコードを含む第1のリクエストを通信手段を介して発信する早送り方向スクロール制御手段を有してもよい。   The operation means has a second button for instructing a shift to the subsequent subtitle, and the second control means is displayed side by side on the display means every time the second button is operated. The time code that is paired with the text data of the subtitle that is the latest subtitle among the subtitles is specified from the storage means, and the subtitles indicated by the text data that is paired with the time code following the specified time code are arranged side by side. Fast forward to display on the display means together with the subtitles excluding the previous subtitle among the displayed subtitles, and to send the first request including the subsequent time code via the communication means You may have a direction scroll control means.

本発明の別の好適な態様であるビデオコンテンツ再生プログラムは、操作手段、通信手段、表示手段、および記憶手段を有するコンピュータに、ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータとビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、通信手段を介して取得し、取得した各対を記憶手段に記憶させる第1の制御機能と、記憶手段から特定した一又は複数の対のテキストデータが示す字幕を表示手段に表示させるとともに、その対のタイムコードを含む第1のリクエストを通信手段を介して発信する第2の制御機能と、第1のリクエストに含まれるタイムコードが示す時間軸上の位置での再生が予定されるフレーム画像の縮小画像を示すサムネイル画像データを通信手段を介して取得し、取得したサムネイル画像データが示す縮小画像を字幕と対応付けて表示手段に表示させる第3の制御機能と、表示された字幕の選択を操作手段の操作を通じて受け付ける機能であって、字幕の選択を受けると、その選択にかかる字幕と対をなすタイムコードを含む第2のリクエストを通信手段を介して発信する第4の制御機能と、第2のリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を表示手段に順次表示させる第5の制御機能とを実現させる。   Another preferred aspect of the present invention is a video content playback program that stores a series of frame images constituting a video content on a computer having operation means, communication means, display means, and storage means, or a part of them. Each pair of text data indicating a subtitle corresponding to each of the frame images and a time code indicating a position on the time axis from the beginning to the end of the video content are acquired via communication means, and each acquired pair A first control function for storing the information in the storage means, and the display means displays subtitles indicated by one or more pairs of text data identified from the storage means, and communicates the first request including the time code of the pair Playback at a position on the time axis indicated by the second control function transmitted via the means and the time code included in the first request is scheduled. A third control function for acquiring thumbnail image data indicating a reduced image of the frame image via the communication unit, and displaying the reduced image indicated by the acquired thumbnail image data in association with the subtitle on the display unit; and the displayed subtitle 4 is a function for receiving the selection of the first time through the operation of the operation means, and when receiving the selection of the subtitle, the fourth control for transmitting the second request including the time code paired with the subtitle for the selection via the communication means The video data indicating the function and a series of frame images scheduled to be reproduced after the position on the time axis indicated by the time code included in the second request is acquired via the communication unit, and the acquired video data indicates A fifth control function for sequentially displaying a series of frame images on the display means is realized.

本発明によると、再生箇所を検索するためのサムネイル画像データをオンデマンドで取得することができる。   According to the present invention, thumbnail image data for searching for a playback location can be acquired on demand.

(発明の実施の形態)
本発明の実施形態について、以下、図面を参照しながら説明する。
(Embodiment of the Invention)
Embodiments of the present invention will be described below with reference to the drawings.

図1は、本実施形態にかかる動画像コンテンツ配信システムの全体構成図である。図1に示すように、このシステムは、コンテンツ配信サーバ装置10が接続されるインターネット通信網91、携帯電話端末30(「ビデオコンテンツ再生端末」に相当)が接続される移動体パケット通信網92、及びそれらの両通信網91,92の間に介在するゲートウェイサーバ装置93より構成される。なお、この実施形態は、本発明にかかるコンテンツの配信を、インターネット通信網91と移動体パケット通信網92を利用して行うものであるが、放送網を通じてコンテンツを配信するようにしてもよい。   FIG. 1 is an overall configuration diagram of a moving image content distribution system according to the present embodiment. As shown in FIG. 1, this system includes an Internet communication network 91 to which the content distribution server device 10 is connected, a mobile packet communication network 92 to which a mobile phone terminal 30 (corresponding to a “video content playback terminal”) is connected, And a gateway server device 93 interposed between the two communication networks 91 and 92. In this embodiment, the content according to the present invention is distributed using the Internet communication network 91 and the mobile packet communication network 92. However, the content may be distributed through a broadcast network.

インターネット通信網91は、TCP(transmission control protocol)/IP(internet protocol)や、そのTCP/IP上で実現される、HTTP(hyper text transfer protocol)、SMTP(simple mail transfer protocol)などに準拠した手順でデータを伝送するノードの集合体であり、サーバ装置やルータを有する。 移動体パケット通信網92は、TCP/IPを簡素化したプロトコルや、そのTCP/IP上で実現される、HTTPに相当するプロトコルなどに準拠した手順でデータを転送するノードの集合体であり、基地局やパケット加入者処理装置を有する。   The Internet communication network 91 is a procedure conforming to TCP (transmission control protocol) / IP (internet protocol), HTTP (hyper text transfer protocol), SMTP (simple mail transfer protocol), etc. realized on the TCP / IP. The node is a collection of nodes that transmit data and includes a server device and a router. The mobile packet communication network 92 is a collection of nodes that transfer data in accordance with a protocol based on a simplified TCP / IP protocol or a protocol equivalent to HTTP implemented on the TCP / IP. It has a base station and a packet subscriber processing device.

ゲートウェイサーバ装置93は、移動体パケット通信網92とインターネット通信網91を相互接続する移動パケット関門中継交換局内にて稼働するコンピュータであり、一方の通信網のノードから他方の通信網のノードに宛てて送出されたデータは、このゲートウェイサーバ装置93にてプロトコル変換された上で、他方の通信網のノードへと転送される。   The gateway server device 93 is a computer that operates in a mobile packet gateway relay switching center that interconnects the mobile packet communication network 92 and the Internet communication network 91, and is addressed from one communication network node to the other communication network node. The data sent in this way is converted into a protocol by the gateway server device 93 and then transferred to the node of the other communication network.

図2は、コンテンツ配信サーバ装置10のハードウェア概略構成を示す図である。コンテンツ配信サーバ装置10は、動画像、音声、および字幕によって映画や興業などのビデオコンテンツを表現する各種フォーマットのデータ(以下、それらの集合体を「ビデオコンテンツデータ」と呼ぶ)を携帯電話端末30からの要求に応じて配信する。   FIG. 2 is a diagram illustrating a schematic hardware configuration of the content distribution server device 10. The content distribution server device 10 uses the mobile phone terminal 30 to store data in various formats (hereinafter referred to as “video content data”) representing video content such as movies and entertainments with moving images, audio, and subtitles. Delivered in response to requests from

図2に示すように、このサーバ装置10は、制御部11、通信インターフェース12、及びハードディスク13を備えている。制御部11は、CPU14、RAM15、ROM16を内蔵する。通信インターフェース12は、TCP/IP、HTTPなどのプロトコルに従った手順でデータを送受信する。   As shown in FIG. 2, the server device 10 includes a control unit 11, a communication interface 12, and a hard disk 13. The control unit 11 includes a CPU 14, a RAM 15, and a ROM 16. The communication interface 12 transmits and receives data according to a procedure according to a protocol such as TCP / IP or HTTP.

ハードディスク13は、コンテンツデータベース17およびメニュー画面表示支援データ18を記憶する。コンテンツデータベース17は、複数のビデオコンテンツデータを収録したデータベースである。ビデオコンテンツデータの各々は、ビデオデータ、テキストデータ、サムネイル画像データを取り纏めたものである。ビデオデータは、動画像として再生される一連のフレーム画像の画像信号とそれらのフレーム画像と併せて再生される一連の音声の音声信号とを、所定のエンコード規格に従ってエンコードしたデータである。一連のフレーム画像および音声の信号は、MPEG(Moving Picture Experts Group)-4など規格に従ってエンコードするとよい。この種のエンコード規格においては、フレーム画像および音声が、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けたうえで、圧縮符号化される。   The hard disk 13 stores a content database 17 and menu screen display support data 18. The content database 17 is a database that records a plurality of video content data. Each of the video content data is a collection of video data, text data, and thumbnail image data. Video data is data obtained by encoding an image signal of a series of frame images reproduced as a moving image and a series of audio signals reproduced together with the frame images according to a predetermined encoding standard. A series of frame image and audio signals may be encoded according to a standard such as MPEG (Moving Picture Experts Group) -4. In this type of encoding standard, a frame image and audio are compressed and encoded after being associated with a time code indicating a position on the time axis from the beginning to the end of the content.

テキストデータは、ビデオデータの一連のフレーム画像と併せて表示する字幕の文字列を示すデータである。テキストデータが示す各字幕は、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けられている。   The text data is data indicating a subtitle character string to be displayed together with a series of frame images of video data. Each subtitle indicated by the text data is associated with a time code indicating a position on the time axis from the beginning to the end of the content.

サムネイル画像データは、ビデオデータの一連のフレーム画像の中から離散的に抽出したフレーム画像の縮小画像であるサムネイル画像の画像信号を、所定のエンコード規格に従ってエンコードしたデータである。サムネイル画像データが示す各サムネイル画像も、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けられている。サムネイル画像の信号は、GIF(Graphics Interchange Format)などの規格に従ってエンコードするとよい。   The thumbnail image data is data obtained by encoding an image signal of a thumbnail image, which is a reduced image of a frame image discretely extracted from a series of frame images of video data, according to a predetermined encoding standard. Each thumbnail image indicated by the thumbnail image data is also associated with a time code indicating a position on the time axis from the beginning to the end of the content. The thumbnail image signal may be encoded according to a standard such as GIF (Graphics Interchange Format).

メニュー画面表示支援データ18は、コンテンツデータベース17に収録された各コンテンツデータの記憶領域を示すアドレスとそれらのコンテンツデータのタイトルを示す各文字列との関連付けを、所定のマークアップ言語によって記述したデータである。   The menu screen display support data 18 is data in which an association between an address indicating the storage area of each content data recorded in the content database 17 and each character string indicating the title of the content data is described in a predetermined markup language. It is.

図3は、携帯電話端末30のハードウェア概略構成を示す図である。携帯電話端末30は、通信部31(「通信手段」に相当)、操作部32(「操作手段」に相当)、液晶表示部33(「表示手段」に相当)、収音部34、放音部35、および制御部36(「第1の制御手段」、「第2の制御手段」、「第3の制御手段」、「第4の制御手段」、「第5の制御手段」、「早送り方向スクロール制御手段」、「巻戻し方向スクロール制御手段」に相当)を備える。通信部31は、制御部36による制御の下、移動体パケット通信網92の基地局と無線通信を行う。   FIG. 3 is a diagram illustrating a schematic hardware configuration of the mobile phone terminal 30. The mobile phone terminal 30 includes a communication unit 31 (corresponding to “communication unit”), an operation unit 32 (corresponding to “operation unit”), a liquid crystal display unit 33 (corresponding to “display unit”), a sound collection unit 34, and a sound emission. Unit 35 and control unit 36 ("first control means", "second control means", "third control means", "fourth control means", "fifth control means", "fast-forwarding") Equivalent to “direction scroll control means” and “rewind direction scroll control means”). The communication unit 31 performs wireless communication with the base station of the mobile packet communication network 92 under the control of the control unit 36.

操作部32は、カーソルを上下左右方向に移動させた上で確定するマルチファンクションボタン(後述)、番号や文字などを入力するダイヤルボタンなどの各種ボタンからなり、利用者によって入力操作が行われると、その入力操作に対応した操作信号を制御部36に供給する。液晶表示部33は、液晶パネル等の表示装置から構成されており、制御部36による制御の下に各種情報を表示する。収音部34はマイクロホンであり、放音部35はスピーカである。   The operation unit 32 includes various buttons such as a multi-function button (described later) that is determined after moving the cursor up, down, left, and right, and a dial button that inputs a number, a character, and the like. Then, an operation signal corresponding to the input operation is supplied to the control unit 36. The liquid crystal display unit 33 includes a display device such as a liquid crystal panel, and displays various information under the control of the control unit 36. The sound collection unit 34 is a microphone, and the sound emission unit 35 is a speaker.

制御部36は、CPU37、ROM38、RAM39(「記憶手段」に相当)、及びEEPROM40を有している。CPU37は、RAM39をワークエリアとして利用しつつ、ROM38やEEPROM40に記憶された各種プログラムを実行する。   The control unit 36 includes a CPU 37, a ROM 38, a RAM 39 (corresponding to “storage means”), and an EEPROM 40. The CPU 37 executes various programs stored in the ROM 38 and the EEPROM 40 while using the RAM 39 as a work area.

ROM38は、OS(Operating System)プログラム、メーラプログラム、ブラウザプログラム、呼接続支援プログラム、およびビデオコンテンツ再生プログラムを記憶する。OSプログラムは、各種ハードウェアリソースの駆動や調停などといった基幹的な処理の手順を記したプログラムである。呼接続支援プログラムは、他の携帯電話機や固定電話との間の呼接続や通話に関わる処理の手順を記したプログラムである。メーラプログラムは、電子メールの作成や送受信に関わる処理の手順を記したプログラムである。ブラウザプログラムは、サイトの閲覧に関わる処理の手順を記したプログラムである。   The ROM 38 stores an OS (Operating System) program, a mailer program, a browser program, a call connection support program, and a video content reproduction program. The OS program is a program that describes basic processing procedures such as driving and arbitration of various hardware resources. The call connection support program is a program that describes a procedure for processing related to call connection and call with other mobile phones and fixed phones. The mailer program is a program in which processing procedures related to creation and transmission / reception of electronic mail are described. The browser program is a program that describes the procedure of processing related to browsing the site.

ビデオコンテンツ再生プログラムは、コンテンツ配信サーバ装置10のコンテンツデータベース17に収録されたビデオコンテンツデータのストリーミング再生や再生するコンテンツデータの選択に関わる処理の手順を記したプログラムである。このプログラムに記された手順に従ったCPU37の動作を通じて、後に詳述するコンテンツ選択支援処理およびコンテンツ再生処理が実行される。   The video content reproduction program is a program that describes a processing procedure related to streaming reproduction of video content data recorded in the content database 17 of the content distribution server device 10 and selection of content data to be reproduced. Through the operation of the CPU 37 according to the procedure described in this program, a content selection support process and a content reproduction process which will be described in detail later are executed.

EEPROM40には、携帯電話端末30からのリクエストに応じてゲートウェイサーバ装置93やインターネット通信網91のサーバ装置からダウンロードされるプログラムが記憶される。   The EEPROM 40 stores a program downloaded from the gateway server device 93 or the server device of the Internet communication network 91 in response to a request from the mobile phone terminal 30.

次に、本実施形態にかかる特徴的な処理であるコンテンツ選択支援処理とコンテンツ再生処理について説明する。   Next, content selection support processing and content reproduction processing, which are characteristic processing according to the present embodiment, will be described.

図4および図5は、コンテンツ選択支援処理を示すフローチャートである。図4および図5に示す一連の処理は、コンテンツデータベース17に収録された各コンテンツデータのタイトルを列記したメニュー画面が液晶表示部33に表示された状態で、それらのいずれかのタイトルが操作部32の操作を通じて選択されると、開始される。メニュー画面は、メニュー画面表示支援データ18のURL(Uniform Resource Locator)を含むリクエストを移動体パケット通信網92へ発信し、コンテンツ配信サーバ装置10から返信されるレスポンスに含まれるメニュー画面表示支援データ18を解釈して得た内容を基に、液晶表示部33に表示される。   4 and 5 are flowcharts showing the content selection support process. The series of processes shown in FIGS. 4 and 5 are performed in a state where a menu screen listing the titles of the respective content data recorded in the content database 17 is displayed on the liquid crystal display unit 33, and any of those titles is displayed on the operation unit. When selected through 32 operations, it starts. The menu screen transmits a request including the URL (Uniform Resource Locator) of the menu screen display support data 18 to the mobile packet communication network 92, and the menu screen display support data 18 included in the response returned from the content distribution server device 10. Is displayed on the liquid crystal display unit 33 based on the content obtained by interpreting the above.

メニュー画面に表示されたタイトルのいずれかが選択されると(S100:Yes)、制御部36は、ビデオコンテンツ再生プログラムを起動させる(S110)。以降の処理は、このビデオコンテンツ再生プログラムが示す手順に従って行われる。   When one of the titles displayed on the menu screen is selected (S100: Yes), the control unit 36 activates the video content reproduction program (S110). The subsequent processing is performed according to the procedure indicated by the video content reproduction program.

制御部36は、テキストデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S120)。このリクエストには、ステップS100で選択されたタイトルを示す識別子が内包される。発信されたリクエストは、移動体パケット通信網92、ゲートウェイサーバ装置93、およびインターネット通信網91を経由してコンテンツ配信サーバ装置10まで送信される。   The control unit 36 transmits a request addressed to the content distribution server device 10 for text data from the communication unit 31 (S120). This request includes an identifier indicating the title selected in step S100. The transmitted request is transmitted to the content distribution server device 10 via the mobile packet communication network 92, the gateway server device 93, and the Internet communication network 91.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれる識別子が指し示すコンテンツのビデオコンテンツデータをコンテンツデータベース17から特定し(S130)、そのビデオコンテンツデータから取得したテキストデータを含むレスポンスを通信インターフェース12から発信する(S140)。発信されたレスポンスは、インターネット通信網91、ゲートウェイサーバ装置93、および移動体パケット通信網92を経由して、リクエストの発信元の携帯電話端末30まで送信される。   The control unit 11 of the content distribution server device 10 that has received the request identifies video content data of the content indicated by the identifier included in the request from the content database 17 (S130), and includes text data acquired from the video content data. A response is transmitted from the communication interface 12 (S140). The transmitted response is transmitted to the mobile phone terminal 30 that is the source of the request via the Internet communication network 91, the gateway server device 93, and the mobile packet communication network 92.

レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれるテキストデータをRAM16に記憶する(S150)。このテキストデータが示す各字幕がコンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対をなしていることは、上述した通りである。   The control unit 36 of the mobile phone terminal 30 that has received the response stores the text data included in the response in the RAM 16 (S150). As described above, each subtitle indicated by the text data is paired with a time code indicating a position on the time axis from the beginning to the end of the content.

続いて、制御部11は、RAM16にて各字幕と対応付けられた一連のタイムコードの中から、コンテンツの冒頭により近い時間軸上の位置を示す3つのタイムコードを取得し(S160)、取得した3つのタイムコードを含むコンテンツ配信サーバ装置10宛てのリクエストを通信部31から発信するとともに(S170)、それらのタイムコードと対をなす字幕を埋め込んだ再生箇所検索画面を液晶表示部33に表示させる(S180)。   Subsequently, the control unit 11 acquires three time codes indicating positions on the time axis closer to the beginning of the content from a series of time codes associated with each subtitle in the RAM 16 (S160). A request addressed to the content distribution server device 10 including the three time codes is transmitted from the communication unit 31 (S170), and a playback location search screen in which subtitles that are paired with these time codes are embedded is displayed on the liquid crystal display unit 33. (S180).

図6は、再生箇所検索画面を示す図である。この画面は、再生時間表示領域52の下に、字幕表示領域53とサムネイル画像表示領域54とを左右に並べて配したレイアウトになっている。再生時間表示領域52は、細長い矩形状の上下の2つの枠52a,52bに分かれ、上側の枠52aには、コンテンツの冒頭から末尾までの間の時間軸上の位置を百分率によって示す数値が表示される。下側の枠54bには、コンテンツの冒頭から末尾までの時間軸上の位置を、時間、分、および秒により表す数値が表示される。また、その時間、分、および秒を表す数値の背後は、コンテンツの冒頭から末尾までの時間軸上の位置を表すインジケータとなっている。   FIG. 6 is a diagram showing a playback location search screen. This screen has a layout in which a subtitle display area 53 and a thumbnail image display area 54 are arranged side by side on the left and right below the playback time display area 52. The playback time display area 52 is divided into two elongated rectangular upper and lower frames 52a and 52b, and the upper frame 52a displays a numerical value indicating the position on the time axis from the beginning to the end of the content as a percentage. Is done. The lower frame 54b displays numerical values representing the position on the time axis from the beginning to the end of the content in terms of hours, minutes, and seconds. Also, behind the numerical values representing the hours, minutes, and seconds are indicators that represent the position on the time axis from the beginning to the end of the content.

字幕表示領域53には、ステップS180にて埋め込まれた字幕、つまり、コンテンツの冒頭により近い時間軸上の位置と対応する3つの字幕が、上段、中段、下段に分かれて表示されている。3つのうち時間軸上の位置が一番前の字幕は上段に表示され、時間軸上の位置が一番後の字幕は下段に表示される。サムネイル画像表示領域54には、サムネイル画像を埋め込むための3つの矩形枠が、字幕の各々の真横に相当する位置に表示されている。ただし、後述するステップS190にて、コンテンツ配信サーバ装置10からサムネイル画像データを取得するまで、それらの矩形枠は空白のままにされる。   In the subtitle display area 53, the subtitles embedded in step S180, that is, three subtitles corresponding to positions on the time axis closer to the beginning of the content are displayed in an upper stage, a middle stage, and a lower stage. Of the three subtitles, the subtitle with the earliest position on the time axis is displayed in the upper row, and the subtitle with the last position on the time axis is displayed in the lower row. In the thumbnail image display area 54, three rectangular frames for embedding thumbnail images are displayed at positions corresponding to the right side of each subtitle. However, these rectangular frames are left blank until thumbnail image data is acquired from the content distribution server device 10 in step S190 described later.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれる3つのタイムコードと対をなすサムネイル画像データをステップS130で特定したビデオコンテンツデータから取得し(S190)、取得した3つのサムネイル画像データを含むレスポンスを通信インターフェース12から発信する(S200)。   The control unit 11 of the content distribution server device 10 that has received the request acquires the thumbnail image data paired with the three time codes included in the request from the video content data specified in step S130 (S190), and acquires the acquired 3 A response including two thumbnail image data is transmitted from the communication interface 12 (S200).

レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれる3つのサムネイル画像データをそれぞれデコードして得た各サムネイル画像を、再生箇所検索画面のサムネイル画像表示領域54に表示させる(S210)。具体的には、レスポンスに含まれる3つのサムネイル画像データをRAM39に確保したバッファ領域に記憶したうえで、それらの画像データを時間軸上の位置が先行するものから順に1つずつデコードし、デコードを経て得られたサムネイル画像をサムネイル画像表示領域54の上の矩形枠から順に並べて表示させていく。   Upon receiving the response, the control unit 36 of the mobile phone terminal 30 displays each thumbnail image obtained by decoding the three thumbnail image data included in the response in the thumbnail image display area 54 of the playback location search screen ( S210). Specifically, after storing the three thumbnail image data included in the response in the buffer area secured in the RAM 39, the image data is decoded one by one in order from the one with the position on the time axis, and decoded. The thumbnail images obtained through the above are displayed in order from the rectangular frame on the thumbnail image display area 54.

図7は、ステップS210における表示が行われている途中の再生箇所検索画面を示す図である。図7は、上段の矩形枠へのサムネイル画像の表示が完了した後、その下の矩形枠へのサムネイル画像の表示が完了する前の画面の様子を示すものとなっており、サムネイル画像が未取得であることを示す「Loading」の文字列が、上段を除く2つの矩形枠の中にそれぞれ記されている。   FIG. 7 is a diagram showing a playback location search screen during the display in step S210. FIG. 7 shows the state of the screen after the thumbnail image display in the upper rectangular frame is completed and before the thumbnail image display in the lower rectangular frame is completed. A character string “Loading” indicating acquisition is written in each of the two rectangular frames excluding the upper row.

ステップS210にて、画像のサムネイル画像表示領域54の3つの矩形枠へサムネイル画像が表示されると、利用者は、操作部32のマルチファンクションボタンの上下の操作を通じて字幕の早送りまたは巻戻しを指示することができる。早送りの指示はマルチファンクションの下ボタンの押下を通じて下され、巻戻しの指示はその上ボタンの押下を通じて下される。また、早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示は、下ボタンと上ボタンの間の確定ボタンの押下を通じて下される。   When the thumbnail images are displayed in the three rectangular frames in the thumbnail image display area 54 of the image in step S210, the user instructs fast forward or rewind of the subtitles through the up and down operations of the multifunction buttons of the operation unit 32. can do. The fast-forward instruction is given through pressing the lower button of the multi-function, and the rewinding instruction is given through pressing the upper button. In addition, an instruction to reproduce video data from a fast-forward destination location or a rewind destination location is given by pressing a confirm button between the lower button and the upper button.

早送りの指示が下されると(S220:Yes)、制御部36は、字幕表示領域53の下段に表示された字幕に後続する字幕をRAM39のテキストデータから取得するとともに(S240)、サムネイル画像データを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S250)。このリクエストには、ステップS240で取得したテキストデータと対をなすタイムコードが含まれる。   When an instruction for fast-forwarding is given (S220: Yes), the control unit 36 obtains subtitles subsequent to the subtitles displayed in the lower part of the subtitle display area 53 from the text data in the RAM 39 (S240), and thumbnail image data. A request addressed to the content distribution server device 10 is transmitted from the communication unit 31 (S250). This request includes a time code that is paired with the text data acquired in step S240.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードと対応するサムネイル画像データをステップS130で特定したビデオコンテンツデータから取得し(S260)、取得したサムネイル画像データを含むレスポンスを通信インターフェース12から発信する(S270)。   The control unit 11 of the content distribution server device 10 that has received the request acquires the thumbnail image data corresponding to the time code included in the request from the video content data specified in step S130 (S260), and acquires the acquired thumbnail image data. A response including this is transmitted from the communication interface 12 (S270).

レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれるサムネイル画像データおよびステップS240で取得した字幕を、再生箇所検索画面に表示されたサムネイル画像データと字幕の3つの組のうち時間軸上の位置が最も前の組に代えて表示させる(S280)。このステップS280における表示の切り換えは、以下の手順に従う。まず、字幕表示領域53およびサムネイル画像表示領域54の中段に表示されていた字幕とサムネイル画像を、各々の領域の上段に移動させるとともに、字幕表示領域53およびサムネイル画像表示領域54の下段に表示されていた字幕とサムネイル画像を、各々の領域の中段に移動させる。次に、ステップS240で取得した字幕を字幕表示領域53の下段に表示させるとともに、ステップS270で発信されたレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像をサムネイル画像表示領域54の下段に表示させる。   The control unit 36 of the mobile phone terminal 30 that has received the response uses the thumbnail image data included in the response and the subtitle acquired in step S240, among the three sets of thumbnail image data and subtitles displayed on the playback location search screen. The position on the time axis is displayed instead of the previous group (S280). The display switching in step S280 follows the following procedure. First, the subtitles and thumbnail images displayed in the middle of the subtitle display area 53 and the thumbnail image display area 54 are moved to the upper stage of the respective areas, and are displayed in the lower stage of the subtitle display area 53 and the thumbnail image display area 54. The subtitles and thumbnail images that have been moved are moved to the middle of each area. Next, the subtitles acquired in step S240 are displayed in the lower part of the subtitle display area 53, and the thumbnail images obtained by decoding the thumbnail image data included in the response transmitted in step S270 are displayed in the lower part of the thumbnail image display area 54. To display.

下ボタンが押下されるたびに、ステップS240からステップS280の処理が繰り返され、再生箇所選択画面の字幕表示領域53とサムネイル画像表示領域54に並ぶ字幕とサムネイル画像の3つの組のうち下の2つが上にスクロールし、新たな組が下段に現れる。利用者は、下ボタンの押下を繰り返すことにより、再生箇所選択画面に表示される字幕とサムネイル画像の組をより後の時間軸上の位置と対応するものへと順次切り換え、再生を希望する箇所の字幕が字幕表示領域53の中段に至ったときに確定ボタンを押下する。   Each time the down button is pressed, the processing from step S240 to step S280 is repeated, and the lower two of the three sets of subtitles and thumbnail images arranged in the subtitle display area 53 and thumbnail image display area 54 of the playback location selection screen are displayed. One scrolls up and a new pair appears in the bottom row. By repeatedly pressing the down button, the user sequentially switches the combination of subtitles and thumbnail images displayed on the playback location selection screen to the one corresponding to the position on the later time axis, and the location where playback is desired When the subtitle has reached the middle of the subtitle display area 53, the confirm button is pressed.

一方、巻戻しの指示が下されると(S230:Yes)、制御部36は、字幕表示領域53の上段に表示された字幕に先行する字幕をRAM39のテキストデータから取得するとともに(S290)、サムネイル画像データを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S300)。このリクエストには、ステップS290で取得したテキストデータと対をなすタイムコードが含まれる。   On the other hand, when an instruction for rewinding is given (S230: Yes), the control unit 36 acquires the subtitle preceding the subtitle displayed in the upper part of the subtitle display area 53 from the text data in the RAM 39 (S290), A request addressed to the content distribution server device 10 for thumbnail image data is transmitted from the communication unit 31 (S300). This request includes a time code that is paired with the text data acquired in step S290.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードと対応するサムネイル画像データをステップS130で特定したビデオコンテンツデータから取得し(S310)、取得したサムネイル画像データを含むレスポンスを通信インターフェース12から発信する(S320)。   The control unit 11 of the content distribution server apparatus 10 that has received the request acquires thumbnail image data corresponding to the time code included in the request from the video content data specified in step S130 (S310), and acquires the acquired thumbnail image data. A response including this is transmitted from the communication interface 12 (S320).

レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像およびステップS290で取得した字幕を、再生箇所検索画面に表示されたサムネイル画像データと字幕の3つの組のうち時間軸上の位置が最も後の組に代えて表示させる(S330)。このステップS330における表示の切り換えは、以下の手順に従う。まず、字幕表示領域53およびサムネイル画像表示領域54の中段に表示されていた字幕とサムネイル画像を、各々の領域の下段に移動させるとともに、字幕表示領域53およびサムネイル画像表示領域54の上段に表示されていた字幕とサムネイル画像を、各々の領域の中段に移動させる。次に、ステップS290で取得した字幕を字幕表示領域53の上段に表示させるとともに、ステップS320で発信されたレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像をサムネイル画像表示領域54の上段に表示させる。   The control unit 36 of the mobile phone terminal 30 that has received the response displays the thumbnail image data obtained by decoding the thumbnail image data included in the response and the thumbnail image data displayed on the playback location search screen, with the subtitles acquired in step S290. And the position on the time axis among the three sets of subtitles is displayed instead of the last set (S330). The switching of display in step S330 follows the following procedure. First, the subtitles and thumbnail images displayed in the middle of the subtitle display area 53 and the thumbnail image display area 54 are moved to the lower stages of the respective areas, and are displayed in the upper stages of the subtitle display area 53 and the thumbnail image display area 54. The subtitles and thumbnail images that have been moved are moved to the middle of each area. Next, the caption obtained in step S290 is displayed in the upper part of the caption display area 53, and the thumbnail image obtained by decoding the thumbnail image data included in the response transmitted in step S320 is displayed in the upper part of the thumbnail image display area 54. To display.

上ボタンが押下されるたびに、ステップS290からステップS330の処理が繰り返され、再生箇所選択画面の字幕表示領域53とサムネイル画像表示領域54に並ぶ字幕とサムネイル画像の3つの組のうち上の2つが下にスクロールし、新たな組が上段に現れる。利用者は、上ボタンの押下を繰り返すことにより、再生箇所選択画面に表示される字幕とサムネイル画像の組をより後の時間軸上の位置と対応するものへと順次切り換え、再生を希望する箇所の字幕が字幕表示領域53の中段に至ったときに確定ボタンを押下する。   Each time the upper button is pressed, the processing from step S290 to step S330 is repeated, and the upper two of the three sets of subtitles and thumbnail images arranged in the subtitle display area 53 and the thumbnail image display area 54 of the playback location selection screen are displayed. One scrolls down and a new pair appears in the top row. By repeatedly pressing the upper button, the user sequentially switches the subtitle and thumbnail image set displayed on the playback location selection screen to the one corresponding to the position on the later time axis, and the location where playback is desired When the subtitle has reached the middle of the subtitle display area 53, the confirm button is pressed.

ステップS280またはステップS330が実行された後、確定ボタンが押下されると(S340:Yes)、ストリーミング再生処理が開始される。   When the confirmation button is pressed after step S280 or step S330 is executed (S340: Yes), streaming playback processing is started.

図8は、ストリーミング再生処理を示すフローチャートである。確定ボタンが押下されると(S340:Yes)、制御部36は、ビデオデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信するとともに(S350)、ストリーミング再生画面を液晶表示部33に表示させる(S360)。このリクエストには、確定ボタンが押下された時に字幕表示領域53の中段に表示されていた字幕と対をなすタイムコードが含まれる。ストリーミング再生画面のレイアウトの詳細は、後述する。   FIG. 8 is a flowchart showing streaming playback processing. When the confirmation button is pressed (S340: Yes), the control unit 36 sends a request for video data to the content distribution server device 10 from the communication unit 31 (S350), and displays a streaming playback screen on the liquid crystal display unit. 33 is displayed (S360). This request includes a time code that is paired with the subtitle displayed in the middle of the subtitle display area 53 when the confirmation button is pressed. Details of the layout of the streaming playback screen will be described later.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する(S370)。   The control unit 11 of the content distribution server apparatus 10 that has received the request starts downloading video data for the amount of playback scheduled after the position on the time axis indicated by the time code included in the request (S370).

コンテンツ配信サーバ装置10によるビデオデータのダウンロードが始まると、制御部36は、ストリーミング再生画面を通じたビデオデータのストリーミング再生を開始する(S380)。ストリーミング再生が始まると、ビデオデータのエンコード、そのエンコードを経て得られるフレーム画像の表示と音声の放音、およびフレーム画像と対応する字幕の表示の関わる処理が並行して行われる。これらの処理の手順を具体的に示すと、以下のようになる。コンテンツ配信サーバからダウンロードされるビデオデータはRAM39に確保したバッファ領域に記憶される。制御部36は、そのバッファ領域に記憶されるビデオデータをデコードし、デコードを経て得られる一連のフレーム画像をストリーミング再生画面のフレーム画像表示領域55(後述)に順次表示させるとともに、その音声を放音部35から放音させる。各フレーム画像の表示の切り換えのタイミング、および、音声の放音のタイミングは、デコードの際にそれらのフレーム画像や音声の信号と併せて得られるタイムコードを基に特定される。また、制御部36は、フレーム画像と時間軸上の位置を同じくするタイムコードと対をなす字幕をRAM39に記憶されているテキストデータから取得し、それらの字幕をストリーミング再生画面の字幕表示領域56(後述)に順次表示させる。   When the download of video data by the content distribution server device 10 starts, the control unit 36 starts streaming playback of the video data through the streaming playback screen (S380). When streaming playback starts, processing related to encoding of video data, display of a frame image obtained through the encoding, sound emission, and display of subtitles corresponding to the frame image are performed in parallel. Specifically, the procedure of these processes is as follows. Video data downloaded from the content distribution server is stored in a buffer area secured in the RAM 39. The control unit 36 decodes the video data stored in the buffer area, sequentially displays a series of frame images obtained through the decoding in a frame image display area 55 (described later) of the streaming playback screen, and releases the sound. Sound is emitted from the sound part 35. The display switching timing of each frame image and the sound emission timing are specified based on a time code obtained together with the frame image and the sound signal at the time of decoding. In addition, the control unit 36 obtains subtitles that are paired with the time code having the same position on the time axis as the frame image from the text data stored in the RAM 39, and these subtitles are displayed in the subtitle display area 56 of the streaming playback screen. (To be described later) sequentially displayed.

図9は、ストリーミング再生画面を示す図である。この画面は、再生時間表示領域52の下に、フレーム画像表示領域55と字幕表示領域56を上下に並べて配したレイアウトになっている。フレーム画像表示領域55には、ビデオデータをデコードして得たフレーム画像が表示される。字幕表示領域56には、RAM39のテキストデータから取得される字幕が表示される。それらの領域55,56のフレーム画像および字幕が時間軸の流れに従って切り換えられることは、上述した通りである。   FIG. 9 is a diagram showing a streaming playback screen. This screen has a layout in which a frame image display area 55 and a caption display area 56 are arranged vertically below the playback time display area 52. In the frame image display area 55, a frame image obtained by decoding the video data is displayed. In the caption display area 56, captions acquired from the text data in the RAM 39 are displayed. As described above, the frame images and subtitles in these areas 55 and 56 are switched according to the flow of the time axis.

ステップS380にて、ストリーミング再生が始まると、利用者は、操作部32のマルチファンクションボタンの左右の操作を通じて字幕の早送りまたは巻戻しを指示することができる。早送りの指示はマルチファンクションの右ボタンの押下を通じて下され、巻戻しの指示はその左ボタンの押下を通じて下される。また、早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示は、確定ボタンの押下を通じて下される。   In step S380, when streaming playback starts, the user can instruct fast forward or rewind of subtitles through left and right operations of the multifunction buttons of the operation unit 32. A fast-forward instruction is issued by pressing the right button of the multi-function, and a rewind instruction is given by pressing the left button. In addition, an instruction to reproduce video data from a fast-forward destination or a rewind destination is issued by pressing the enter button.

早送りの指示が下されると(S390:Yes)、制御部36は、字幕表示領域56に表示された字幕に後続する字幕をRAM39のテキストデータから取得し(S410)、その字幕をストリーミング再生画面の字幕表示領域56に表示させるとともに(S420)、ビデオデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S430)。このリクエストには、ステップS410で取得した字幕と対をなすタイムコードが含まれる。   When an instruction for fast-forwarding is given (S390: Yes), the control unit 36 acquires a subtitle subsequent to the subtitle displayed in the subtitle display area 56 from the text data in the RAM 39 (S410), and the subtitle is displayed on the streaming playback screen. Is displayed in the subtitle display area 56 (S420), and a request addressed to the content distribution server device 10 for video data is transmitted from the communication unit 31 (S430). This request includes a time code that is paired with the caption obtained in step S410.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する(S440)。つまり、このステップS440では、リクエストを受信するまで続いていたビデオデータのダウンロードが一旦途切れ、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降のビデオデータのダウンロードが改めて開始される。   The control unit 11 of the content distribution server apparatus 10 that has received the request starts downloading video data for the amount of playback scheduled after the position on the time axis indicated by the time code included in the request (S440). That is, in this step S440, the download of the video data that has continued until the request is received is temporarily interrupted, and the download of the video data after the position on the time axis indicated by the time code included in the request is started again.

一方、巻戻しの指示が下されると(S400:Yes)、制御部36は、字幕表示領域56に表示された字幕に先行する字幕をRAM39のテキストデータから取得し(S450)、その字幕をストリーミング再生画像の字幕表示領域56に表示させるとともに(S460)、ビデオデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S470)。このリクエストには、ステップS450で取得した字幕と対をなすタイムコードが含まれる。   On the other hand, when an instruction to rewind is given (S400: Yes), the control unit 36 acquires the subtitle preceding the subtitle displayed in the subtitle display area 56 from the text data in the RAM 39 (S450), and the subtitle is displayed. The streaming reproduction image is displayed in the subtitle display area 56 (S460), and a request for the video data is sent from the communication unit 31 to the content distribution server device 10 (S470). This request includes a time code that is paired with the caption obtained in step S450.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する(S480)。このステップS480も上述したステップS440と同様に、リクエストを受信するまで続いていたビデオデータのダウンロードが一旦途切れ、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降のビデオデータのダウンロードが改めて開始される。   The control unit 11 of the content distribution server apparatus 10 that has received the request starts downloading video data for the amount of playback scheduled after the position on the time axis indicated by the time code included in the request (S480). Similarly to step S440 described above, in step S480, the download of video data that has continued until the request is received is temporarily interrupted, and the download of video data after the position on the time axis indicated by the time code included in the request is updated. Be started.

以上説明した本実施形態にかかる携帯電話端末30のコンテンツ選択支援処理においては、メニュー画面からユーザが選択したタイトルと対応するビデオコンテンツデータのテキストデータをコンテンツ配信サーバ装置10から受信した携帯電話端末30が、時間軸上の位置が連続する3つの字幕をそのテキストデータから取得し、取得した字幕およびそれらと対応するサムネイル画像を再生箇所検索画面に表示させるようになっている。さらに、操作部32の上下の操作を通じてその再生箇所検索画面に表示された字幕とサムネイル画像の対を上下にスクロールさせ、スクロールによりサムネイル画像が新たに現れるたびに、そのサムネイル画像の画像データをコンテンツ配信サーバ装置16への要求と引き換えに受信するようになっている。このように、コンテンツの冒頭から末尾に至る字幕のテキストデータは一括して受信する一方で、テキストデータよりもデータ容量の大きいサムネイル画像データはいわゆるオンデマンドで受信するようにすることで、操作部32の上下の操作に対するスクロールの追随性を高めるとともに、携帯電話端末30のメモリリソースを効率的に利用することができる。   In the content selection support process of the mobile phone terminal 30 according to the present embodiment described above, the mobile phone terminal 30 that has received the text data of the video content data corresponding to the title selected by the user from the menu screen from the content distribution server device 10. However, three subtitles whose positions on the time axis are continuous are acquired from the text data, and the acquired subtitles and thumbnail images corresponding to the subtitles are displayed on the playback location search screen. Further, the pair of subtitles and thumbnail images displayed on the playback location search screen is scrolled up and down through the up and down operation of the operation unit 32, and the image data of the thumbnail images is stored as content each time a new thumbnail image appears by scrolling. It is received in exchange for a request to the distribution server device 16. As described above, the subtitle text data from the beginning to the end of the content is collectively received, while the thumbnail image data having a data capacity larger than the text data is received on-demand, so that the operation unit It is possible to improve the followability of the scroll with respect to the up / down operation of 32 and to efficiently use the memory resource of the mobile phone terminal 30.

また、上記実施形態にかかる携帯電話端末30のコンテンツ再生処理においては、フレーム画像表示領域55と字幕表示領域56とを個別に配したストリーミング再生画面を液晶表示部33に表示させ、字幕表示領域56に表示された字幕を操作部32の左右の操作を通じて左右にスクロールさせるようになっている。そして、その左右の操作を通じて早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示が下されると、その箇所からビデオデータの再生が行われるようになっている。このように、フレーム画像表示領域55におけるビデオデータの再生を中断しないまま字幕表示領域56の字幕を早送りまたは巻戻しさせ、再生位置の確定の指示が下されたところでその位置からビデオデータを改めて再生させるようにすることにより、巻戻しおよび早送りの操作性をより向上させることができる。   In the content playback process of the mobile phone terminal 30 according to the above embodiment, a streaming playback screen in which the frame image display area 55 and the caption display area 56 are individually arranged is displayed on the liquid crystal display unit 33, and the caption display area 56 is displayed. The subtitles displayed on the screen are scrolled left and right through left and right operations of the operation unit 32. When an instruction to reproduce video data is given from the fast-forward destination or the rewind destination location through the left and right operations, the video data is reproduced from that location. In this way, the subtitle in the subtitle display area 56 is fast-forwarded or rewinded without interrupting the playback of the video data in the frame image display area 55, and the video data is replayed from that position when an instruction to confirm the playback position is given. By doing so, the operability of rewinding and fast-forwarding can be further improved.

(他の実施形態)
本発明は、種々の変形実施が可能である。
(Other embodiments)
The present invention can be modified in various ways.

上記実施形態にかかる携帯電話端末30のコンテンツ選択支援処理においては、マルチファンクションボタンの上下の操作によって早送りまたは巻戻しの指示が下されると、サムネイル画像データを求めるコンテンツ配信サーバ装置10宛てのリクエストがまず発信され、そのレスポンスに含まれるサムネイル画像データのデコードを実行した後に、デコードを経て得たサムネイル画像とそれに対応する字幕とが纏めて表示されるようになっている。これに対し、早送りまたは巻戻しの指示が下された時点で字幕のみを先に切り換え、サムネイル画像データのデコードにより得られたサムネイル画像を後から表示させるようにしてもよい。   In the content selection support process of the mobile phone terminal 30 according to the above embodiment, when a fast-forward or rewind instruction is given by the up / down operation of the multifunction button, a request addressed to the content distribution server device 10 for obtaining thumbnail image data Is first transmitted, and after decoding the thumbnail image data included in the response, the thumbnail image obtained through the decoding and the corresponding subtitles are displayed together. On the other hand, when a fast forward or rewind instruction is given, only the subtitles are switched first, and the thumbnail image obtained by decoding the thumbnail image data may be displayed later.

本発明の実施形態にかかる動画像コンテンツ配信システムの全体構成図である。1 is an overall configuration diagram of a moving image content distribution system according to an embodiment of the present invention. コンテンツ配信サーバ装置のハードウェア概略構成図である。It is a hardware schematic block diagram of a content delivery server apparatus. 携帯電話端末のハードウェア概略構成図である。It is a hardware schematic block diagram of a mobile telephone terminal. コンテンツ選択支援処理を示すフローチャートである(前半部分)。It is a flowchart which shows a content selection assistance process (first half part). コンテンツ選択支援処理を示すフローチャートである(後半部分)。It is a flowchart which shows a content selection assistance process (second half part). 再生箇所検索画面を示す図である。It is a figure which shows a reproduction | regeneration location search screen. 再生箇所検索画面を示す図である。It is a figure which shows a reproduction | regeneration location search screen. ストリーミング再生処理を示すフローチャートである。It is a flowchart which shows a streaming reproduction process. ストリーミング再生画面を示す図である。It is a figure which shows a streaming reproduction | regeneration screen.

符号の説明Explanation of symbols

10…コンテンツ配信サーバ装置、91…インターネット通信網、92…移動体パケット通信網、93…ゲートウェイサーバ装置、30…携帯電話端末、11,36…制御部、12…通信インターフェース、13…ハードディスク、14,37…CPU、15,38…ROM、16,39…RAM、17…コンテンツデータベース、18…メニュー画面表示支援データ、40…EEPROM、31…通信部、32…操作部、33…液晶表示部、34…収音部、35…放音部、52…再生時間表示領域、53,56…字幕表示領域、54…サムネイル画像表示領域、55…フレーム画像表示領域、 DESCRIPTION OF SYMBOLS 10 ... Content delivery server apparatus, 91 ... Internet communication network, 92 ... Mobile packet communication network, 93 ... Gateway server apparatus, 30 ... Mobile phone terminal, 11, 36 ... Control part, 12 ... Communication interface, 13 ... Hard disk, 14 37 ... CPU, 15, 38 ... ROM, 16, 39 ... RAM, 17 ... content database, 18 ... menu screen display support data, 40 ... EEPROM, 31 ... communication unit, 32 ... operation unit, 33 ... liquid crystal display unit, 34 ... Sound collection unit, 35 ... Sound emission unit, 52 ... Playback time display area, 53, 56 ... Subtitle display area, 54 ... Thumbnail image display area, 55 ... Frame image display area,

Claims (5)

操作手段と、
通信手段と、
表示手段と、
記憶手段と、
ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータと上記ビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、上記通信手段を介して取得し、取得した各対を上記記憶手段に記憶させる第1の制御手段と、
上記記憶手段から特定した一又は複数の対のテキストデータが示す字幕を上記表示手段に表示させるとともに、その対のタイムコードを含む第1のリクエストを上記通信手段を介して発信する第2の制御手段と、
上記第1のリクエストに含まれるタイムコードが示す時間軸上の位置での再生が予定されるフレーム画像の縮小画像を示すサムネイル画像データを上記通信手段を介して取得し、取得したサムネイル画像データが示す縮小画像を上記字幕と対応付けて上記表示手段に表示させる第3の制御手段と、
上記表示された字幕の選択を上記操作手段の操作を通じて受け付ける手段であって、字幕の選択を受け付けると、その選択にかかる字幕と対をなすタイムコードを含む第2のリクエストを上記通信手段を介して発信する第4の制御手段と、
上記第2のリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを上記通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を上記表示手段に順次表示させる第5の制御手段と、
を備えることを特徴とするビデオコンテンツ再生端末。
Operation means;
Communication means;
Display means;
Storage means;
A series of frame images constituting the video content, or text data indicating subtitles corresponding to each of some of the frame images and a time indicating a position on the time axis from the beginning to the end of the video content. First control means for acquiring each pair of codes via the communication means and storing the acquired pairs in the storage means;
Second control for causing the display means to display subtitles indicated by one or more pairs of text data identified from the storage means, and for transmitting a first request including the time code of the pair via the communication means. Means,
The thumbnail image data indicating the reduced image of the frame image scheduled to be reproduced at the position on the time axis indicated by the time code included in the first request is acquired via the communication unit, and the acquired thumbnail image data is Third control means for causing the display means to display a reduced image to be displayed in association with the subtitle;
The means for accepting the selection of the displayed subtitles through the operation of the operation means. When the selection of the subtitles is accepted, a second request including a time code paired with the subtitles for the selection is received via the communication means. A fourth control means for transmitting
Video data indicating a series of frame images scheduled to be reproduced after the position on the time axis indicated by the time code included in the second request is acquired via the communication unit, and the series indicated by the acquired video data Fifth control means for sequentially displaying the frame images on the display means;
A video content playback terminal comprising:
前記第2の制御手段は、
時間軸上の位置が連続するタイムコードを含む複数の前記対の纏まりを前記操作手段の操作に応じて前記記憶手段から特定し、特定した対の各々のテキストデータが示す字幕を時間軸上の位置が先行するものから並べて前記表示手段に表示させるとともに、それらの対の各々のタイムコードを含む第1のリクエストを同時にまたは個別に前記通信手段を介して発信する、
ことを特徴とする請求項1に記載のビデオコンテンツ再生端末。
The second control means includes
A group of the plurality of pairs including time codes whose positions on the time axis are continuous is specified from the storage unit according to the operation of the operation unit, and the subtitles indicated by each text data of the specified pair are displayed on the time axis The first position including the time code of each of those pairs is simultaneously or individually transmitted via the communication means while being displayed on the display means side by side from the position preceded.
The video content reproduction terminal according to claim 1, wherein
前記操作手段は、
先行する字幕へのシフトを指示する第1のボタン、
を有し、
前記第2の制御手段は、
上記第1のボタンが操作されるたびに、前記表示手段に並べて表示されている字幕のうち時間軸上の位置が最も前の字幕のテキストデータと対をなすタイムコードを前記記憶手段から特定し、特定したタイムコードに先行するタイムコードと対をなすテキストデータが示す字幕を、上記並べて表示されている字幕のうち時間軸上の位置が最も後の字幕を除いた字幕と併せて前記表示手段に表示させるとともに、上記先行するタイムコードを含む前記第1のリクエストを前記通信手段を介して発信する巻戻し方向スクロール制御手段、
を有することを特徴とする請求項2に記載のビデオコンテンツ再生端末。
The operation means includes
A first button for instructing a shift to the preceding subtitle,
Have
The second control means includes
Each time the first button is operated, a time code that is paired with the text data of the subtitle whose time axis position is the earliest among subtitles displayed side by side on the display means is specified from the storage means. The display means includes the subtitles indicated by the text data paired with the time code preceding the specified time code, together with the subtitles excluding the subtitle that is displayed on the time axis among the subtitles displayed side by side. And a rewind direction scroll control means for transmitting the first request including the preceding time code via the communication means,
The video content reproduction terminal according to claim 2, further comprising:
前記操作手段は、
後続する字幕へのシフトを指示する第2のボタン、
を有し、
前記第2の制御手段は、
上記第2のボタンが操作されるたびに、前記表示手段に並べて表示されている字幕のうち時間軸上の位置が最も後の字幕のテキストデータと対をなすタイムコードを前記記憶手段から特定し、特定したタイムコードに後続するタイムコードと対をなすテキストデータが示す字幕を、上記並べて表示されている字幕のうち時間軸上の位置が最も前の字幕を除いた字幕と併せて前記表示手段に表示させるとともに、上記後続するタイムコードを含む前記第1のリクエストを前記通信手段を介して発信する早送り方向スクロール制御手段、
を有することを特徴とする請求項2に記載のビデオコンテンツ再生端末。
The operation means includes
A second button for instructing a shift to the following subtitle,
Have
The second control means includes
Each time the second button is operated, a time code that is paired with the text data of the latest subtitle in the subtitles displayed side by side on the display means is identified from the storage means. The display means includes the subtitles indicated by the text data paired with the time code subsequent to the specified time code, together with the subtitles excluding the subtitle that is displayed on the time axis among the subtitles displayed side by side. And fast-forwarding direction scroll control means for transmitting the first request including the subsequent time code via the communication means,
The video content reproduction terminal according to claim 2, further comprising:
操作手段、通信手段、表示手段、および記憶手段を有するコンピュータに、
ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータと上記ビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、上記通信手段を介して取得し、取得した各対を上記記憶手段に記憶させる第1の制御機能と、
上記記憶手段から特定した一又は複数の対のテキストデータが示す字幕を上記表示手段に表示させるとともに、その対のタイムコードを含む第1のリクエストを上記通信手段を介して発信する第2の制御機能と、
上記第1のリクエストに含まれるタイムコードが示す時間軸上の位置での再生が予定されるフレーム画像の縮小画像を示すサムネイル画像データを上記通信手段を介して取得し、取得したサムネイル画像データが示す縮小画像を上記字幕と対応付けて上記表示手段に表示させる第3の制御機能と、
上記表示された字幕の選択を上記操作手段の操作を通じて受け付ける機能であって、字幕の選択を受け付けると、その選択にかかる字幕と対をなすタイムコードを含む第2のリクエストを上記通信手段を介して発信する第4の制御機能と、
上記第2のリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを上記通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を上記表示手段に順次表示させる第5の制御機能と、
を実現させるビデオコンテンツ再生プログラム。
In a computer having operation means, communication means, display means, and storage means,
A series of frame images constituting the video content, or text data indicating subtitles corresponding to each of some of the frame images and a time indicating a position on the time axis from the beginning to the end of the video content. A first control function for acquiring each pair of codes via the communication means, and storing each acquired pair in the storage means;
Second control for causing the display means to display subtitles indicated by one or more pairs of text data identified from the storage means, and for transmitting a first request including the time code of the pair via the communication means. Function and
The thumbnail image data indicating the reduced image of the frame image scheduled to be reproduced at the position on the time axis indicated by the time code included in the first request is acquired via the communication unit, and the acquired thumbnail image data is A third control function for causing the display means to display a reduced image to be displayed in association with the subtitle;
The function of accepting selection of the displayed subtitles through the operation of the operation means. When the selection of the subtitles is accepted, a second request including a time code paired with the subtitles related to the selection is sent via the communication means. A fourth control function for sending
Video data indicating a series of frame images scheduled to be reproduced after the position on the time axis indicated by the time code included in the second request is acquired via the communication unit, and the series indicated by the acquired video data A fifth control function for sequentially displaying the frame images on the display means;
A video content playback program that realizes
JP2007221527A 2007-08-28 2007-08-28 Video content playback terminal and video content playback program Expired - Fee Related JP5196634B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007221527A JP5196634B2 (en) 2007-08-28 2007-08-28 Video content playback terminal and video content playback program
CN200880104532A CN101785314A (en) 2007-08-28 2008-08-08 Video content reproduction terminal and video content reproduction program
PCT/JP2008/064271 WO2009028317A1 (en) 2007-08-28 2008-08-08 Video content reproduction terminal and video content reproduction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007221527A JP5196634B2 (en) 2007-08-28 2007-08-28 Video content playback terminal and video content playback program

Publications (2)

Publication Number Publication Date
JP2009055459A true JP2009055459A (en) 2009-03-12
JP5196634B2 JP5196634B2 (en) 2013-05-15

Family

ID=40387043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007221527A Expired - Fee Related JP5196634B2 (en) 2007-08-28 2007-08-28 Video content playback terminal and video content playback program

Country Status (3)

Country Link
JP (1) JP5196634B2 (en)
CN (1) CN101785314A (en)
WO (1) WO2009028317A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988663A (en) * 2020-08-28 2020-11-24 北京百度网讯科技有限公司 Method, device and equipment for positioning video playing node and storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088568B (en) * 2009-12-08 2016-08-10 新奥特(北京)视频技术有限公司 A kind of subtitle making system
US20140114935A1 (en) * 2011-05-17 2014-04-24 SINO IC Technology Co., Ltd. Method of compressing test file

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283981A (en) * 2002-03-20 2003-10-03 Nippon Telegr & Teleph Corp <Ntt> Method and system for inputting/displaying comment about video, client apparatus, program for inputting/ displaying comment about video, and storage medium thereof
JP2006253960A (en) * 2005-03-09 2006-09-21 Daikin Ind Ltd Information processing apparatus, mobile apparatus, information processing method, and program
JP2007036752A (en) * 2005-07-27 2007-02-08 Tdk Corp System, method and program for reproducing contents
JP2007174245A (en) * 2005-12-21 2007-07-05 Daikin Ind Ltd System and method for reproducing video recording

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283981A (en) * 2002-03-20 2003-10-03 Nippon Telegr & Teleph Corp <Ntt> Method and system for inputting/displaying comment about video, client apparatus, program for inputting/ displaying comment about video, and storage medium thereof
JP2006253960A (en) * 2005-03-09 2006-09-21 Daikin Ind Ltd Information processing apparatus, mobile apparatus, information processing method, and program
JP2007036752A (en) * 2005-07-27 2007-02-08 Tdk Corp System, method and program for reproducing contents
JP2007174245A (en) * 2005-12-21 2007-07-05 Daikin Ind Ltd System and method for reproducing video recording

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN7012004593; 'インデックスとNHK、放送と通信の新しい連携サービス、『Yomu.TV(仮称)』の共同開発を開始放送番組の観た' 株式会社インデックス・ホールディングス プレスリリース , 20070523 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988663A (en) * 2020-08-28 2020-11-24 北京百度网讯科技有限公司 Method, device and equipment for positioning video playing node and storage medium
KR20210042852A (en) * 2020-08-28 2021-04-20 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 method for confirming a position of video playback node, apparatus, electronic equipment, computer readable storage medium and computer program
JP2021103896A (en) * 2020-08-28 2021-07-15 北京百度網訊科技有限公司 Video playback node positioning methods, apparatus, device, storage medium, and computer program
KR102436734B1 (en) 2020-08-28 2022-08-26 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 method for confirming a position of video playback node, apparatus, electronic equipment, computer readable storage medium and computer program
JP7201729B2 (en) 2020-08-28 2023-01-10 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド Video playback node positioning method, apparatus, device, storage medium and computer program
US11581021B2 (en) 2020-08-28 2023-02-14 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for locating video playing node, device and storage medium

Also Published As

Publication number Publication date
WO2009028317A1 (en) 2009-03-05
CN101785314A (en) 2010-07-21
JP5196634B2 (en) 2013-05-15

Similar Documents

Publication Publication Date Title
JP5051444B2 (en) Content utilization system, content utilization method, recording / reproducing apparatus, content provision method, and content provision program
KR101394515B1 (en) Mobile communication device capable of storing video chatting log and operating method thereof
JP2009171388A (en) Information transmission apparatus, and information distribution system
JP5196635B2 (en) Video content playback terminal and video content playback program
WO2008047647A1 (en) Mobile communication terminal
JP4628285B2 (en) Program recording device, portable terminal, program recording / playback system, recorded program display method
JP2007172264A (en) Electronic mail animation reproduction system
JP2006287875A (en) Communication terminal equipment
US7801477B2 (en) Broadcasting system and method of controlling the same
JP5196634B2 (en) Video content playback terminal and video content playback program
JP5214614B2 (en) Video distribution apparatus and video distribution program
US20070121818A1 (en) Information processing apparatus, information processing method, and program that enable viewing of content during telephone call
JP2009088812A (en) Communication system and communication terminal
JP4399865B2 (en) Recorded program playback device, recorded program playback method, and recorded program playback program
JP5173269B2 (en) Information distribution system and video content reproduction control method in the same system
JP4768554B2 (en) Portable terminal device and program
JP2005156626A (en) Display apparatus with scrolling processing, recording medium, and computer readable program
JP4709107B2 (en) Television broadcast receiving apparatus and program
JP4938384B2 (en) Moving image data distribution system, moving image data providing method, moving image data distribution program, moving image data providing program, and computer-readable recording medium on which those programs are recorded
JP6473770B2 (en) Video output device, subtitle server device, video output method, and program
JP5643149B2 (en) Portable terminal device and program
JP2015012360A (en) Video output device, caption server device, video output method and program
KR101378092B1 (en) Method for searching streaming data skip and device thereof
JP2005184182A (en) Portable terminal device
JP5667248B2 (en) Broadcast program reproduction system and control method thereof, television apparatus and broadcast reception apparatus

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5196634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees