JP2009055466A - ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム - Google Patents

ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム Download PDF

Info

Publication number
JP2009055466A
JP2009055466A JP2007221556A JP2007221556A JP2009055466A JP 2009055466 A JP2009055466 A JP 2009055466A JP 2007221556 A JP2007221556 A JP 2007221556A JP 2007221556 A JP2007221556 A JP 2007221556A JP 2009055466 A JP2009055466 A JP 2009055466A
Authority
JP
Japan
Prior art keywords
subtitles
subtitle
frame images
time
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007221556A
Other languages
English (en)
Other versions
JP5196635B2 (ja
Inventor
Kiyosato Saito
磨悟 齋藤
Masami Fujita
昌巳 藤田
Naoki Kawai
直樹 河合
Akira Nakamura
章 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INDEX KK
Index Corp Japan
Japan Broadcasting Corp
Original Assignee
INDEX KK
Nippon Hoso Kyokai NHK
Index Corp Japan
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INDEX KK, Nippon Hoso Kyokai NHK, Index Corp Japan, Japan Broadcasting Corp filed Critical INDEX KK
Priority to JP2007221556A priority Critical patent/JP5196635B2/ja
Priority to PCT/JP2008/064273 priority patent/WO2009028318A1/ja
Priority to CN2008801045337A priority patent/CN101785315B/zh
Publication of JP2009055466A publication Critical patent/JP2009055466A/ja
Priority to HK10111099.5A priority patent/HK1144634A1/xx
Application granted granted Critical
Publication of JP5196635B2 publication Critical patent/JP5196635B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】利用者が希望する動画像の再生位置まで動画像のコンテンツの早送りや巻戻しを円滑に行えるようにすること。
【解決手段】操作手段と、通信手段と、表示手段と、記憶手段と、ビデオコンテンツをなす一連のフレーム画像と対応する字幕を示すテキストデータとタイムコードの各対を記憶させる第1の制御手段と、字幕の早送りまたは巻戻しの指示が下されるたびに字幕を切り換えるとともに、切り換え後の字幕のテキストデータと対をなすタイムコードを含むリクエストを通信手段を介して発信する第2の制御手段と、リクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を字幕とともに表示手段に表示させる第3の制御手段とを備える。
【選択図】図1

Description

本発明は、ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラムに関する。
いわゆる第3世代と呼ばれる携帯電話機は、極めて高いビットレートのデータ伝送を誇り、従来の世代の携帯電話機では難しかった動画像のストリーミング再生をも実現するに至っている。このような携帯電話機の高スペック化に伴い、各種サービスプロバイダから携帯電話機の利用者に向けて配信されるコンテンツも静止画像から動画像へと変化しつつあり、動画像のコンテンツの配信環境をより良くするための技術も提案されている。例えば、特許文献1に開示された携帯電話端末は、動画像のコンテンツをストリーミング再生している間に自端末に宛てた着信が入ると、コンテンツの配信元のサーバに対して配信の中断を要求する。そして、着信元の相手との通話が終了すると改めてサーバへ配信を要求し、中断された箇所からストリーミング再生を再開できるようになっている。
特開2006−270729号公報
ところで、動画像のコンテンツをストリーミング再生する携帯電話機の画面には、動画像をなす一連のフレームとともに、冒頭からの再生時間を示すインジケータが表示される。そして、利用者は、このインジケータを参照しつつ各種キーを操作することにより、そのコンテンツを巻戻させたり、または、早送りさせたりできるようになっている。
しかしながら、ストリーミング再生は、ビデオデータをデコードして得た数十フレーム分の画像を表示させている間に次の数十フレーム分のビデオデータを受信する、という手順を繰り返しながら進められていく。このため、画像を確認しながら早送り若しくは巻戻しをすることができない。したがって、自分の希望する動画像の再生位置まで早送り若しくは巻戻しをしたいとの利用者の要請に応えることができない。
本発明は、利用者が希望する動画像の再生位置まで動画像のコンテンツの早送りや巻戻しを円滑に行い得るような仕組みを提供することを目的とする。
本発明の好適な態様であるビデオコンテンツ再生端末は、操作手段と、通信手段と、表示手段と、記憶手段と、ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータとビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、通信手段を介して取得し、取得した各対を記憶手段に記憶させる第1の制御手段と、記憶手段に記憶されたタイムコードを時間軸上の位置が先行するものから順次特定し、特定したタイムコードと対をなすテキストデータが示す字幕を表示手段に表示させる手段であって、操作手段の操作を通じて字幕の早送りまたは巻戻しの指示が下されるたびに、表示手段に表示されている字幕をその字幕に後続しまたは先行する別の字幕に切り換えるとともに、切り換え後の字幕のテキストデータと対をなすタイムコードを含むリクエストを通信手段を介して発信する第2の制御手段と、リクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を字幕とともに表示手段に順次表示させる第3の制御手段とを備える。
また、ビデオデータは、一連のフレーム画像とそれらの再生が予定される時間軸上の位置とを示し、第2の制御手段は、早送りまたは巻き戻しの指示が下されない間は、取得されたビデオデータが示す一連のフレーム画像の各々の時間軸上の位置をそのビデオデータを基に特定し、第3の制御手段が表示手段に表示させるフレーム画像の各々と時間軸上の位置を同じくする字幕を、表示手段に順次表示させるようにしてもよい。
本発明の別の好適な態様であるビデオコンテンツ再生プログラムは、操作手段、通信手段、表示手段、および記憶手段を有するコンピュータに、ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータとビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、通信手段を介して取得し、取得した各対を記憶手段に記憶させる第1の制御機能と、記憶手段に記憶されたタイムコードを時間軸上の位置が先行するものから順次特定し、特定したタイムコードと対をなすテキストデータが示す字幕を表示手段に表示させる機能であって、操作手段の操作を通じて字幕の早送りまたは巻戻しの指示が下されるたびに、表示手段に表示されている字幕をその字幕に後続しまたは先行する別の字幕に切り換えるとともに、切り換え後の字幕のテキストデータと対をなすタイムコードを含むリクエストを通信手段を介して発信する第2の制御機能と、リクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を字幕とともに表示手段に順次表示させる第3の制御機能と、を実現させる。
本発明によると、利用者が希望する動画像の再生位置まで動画像のコンテンツの早送りや巻戻しを円滑に行えるようにすることができる。
(発明の実施の形態)
本発明の実施形態について、以下、図面を参照しながら説明する。
図1は、本実施形態にかかる動画像コンテンツ配信システムの全体構成図である。図1に示すように、このシステムは、コンテンツ配信サーバ装置10が接続されるインターネット通信網91、携帯電話端末30(「ビデオコンテンツ再生端末」に相当)が接続される移動体パケット通信網92、及びそれらの両通信網91,92の間に介在するゲートウェイサーバ装置93より構成される。なお、この実施形態は、本発明にかかるコンテンツの配信を、インターネット通信網91と移動体パケット通信網92を利用して行うものであるが、放送網を通じてコンテンツを配信するようにしてもよい。
インターネット通信網91は、TCP(transmission control protocol)/IP(internet protocol)や、そのTCP/IP上で実現される、HTTP(hyper text transfer protocol)、SMTP(simple mail transfer protocol)などに準拠した手順でデータを伝送するノードの集合体であり、サーバ装置やルータを有する。 移動体パケット通信網92は、TCP/IPを簡素化したプロトコルや、そのTCP/IP上で実現される、HTTPに相当するプロトコルなどに準拠した手順でデータを転送するノードの集合体であり、基地局やパケット加入者処理装置を有する。
ゲートウェイサーバ装置93は、移動体パケット通信網92とインターネット通信網91を相互接続する移動パケット関門中継交換局内にて稼働するコンピュータであり、一方の通信網のノードから他方の通信網のノードに宛てて送出されたデータは、このゲートウェイサーバ装置93にてプロトコル変換された上で、他方の通信網のノードへと転送される。
図2は、コンテンツ配信サーバ装置10のハードウェア概略構成を示す図である。コンテンツ配信サーバ装置10は、動画像、音声、および字幕によって映画や興業などのビデオコンテンツを表現する各種フォーマットのデータ(以下、それらの集合体を「ビデオコンテンツデータ」と呼ぶ)を携帯電話端末30からの要求に応じて配信する。
図2に示すように、このサーバ装置10は、制御部11、通信インターフェース12、及びハードディスク13を備えている。制御部11は、CPU14、RAM15、ROM16を内蔵する。通信インターフェース12は、TCP/IP、HTTPなどのプロトコルに従った手順でデータを送受信する。
ハードディスク13は、コンテンツデータベース17およびメニュー画面表示支援データ18を記憶する。コンテンツデータベース17は、複数のビデオコンテンツデータを収録したデータベースである。ビデオコンテンツデータの各々は、ビデオデータ、テキストデータ、サムネイル画像データを取り纏めたものである。ビデオデータは、動画像として再生される一連のフレーム画像の画像信号とそれらのフレーム画像と併せて再生される一連の音声の音声信号とを、所定のエンコード規格に従ってエンコードしたデータである。一連のフレーム画像および音声の信号は、MPEG(Moving Picture Experts Group)-4など規格に従ってエンコードするとよい。この種のエンコード規格においては、フレーム画像および音声が、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けたうえで、圧縮符号化される。
テキストデータは、ビデオデータの一連のフレーム画像と併せて表示する字幕の文字列を示すデータである。テキストデータが示す各字幕は、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けられている。
サムネイル画像データは、ビデオデータの一連のフレーム画像の中から離散的に抽出したフレーム画像の縮小画像であるサムネイル画像の画像信号を、所定のエンコード規格に従ってエンコードしたデータである。サムネイル画像データが示す各サムネイル画像も、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けられている。サムネイル画像の信号は、GIF(Graphics Interchange Format)などの規格に従ってエンコードするとよい。
メニュー画面表示支援データ18は、コンテンツデータベース17に収録された各コンテンツデータの記憶領域を示すアドレスとそれらのコンテンツデータのタイトルを示す各文字列との関連付けを、所定のマークアップ言語によって記述したデータである。
図3は、携帯電話端末30のハードウェア概略構成を示す図である。携帯電話端末30は、通信部31(「通信手段」に相当)、操作部32(「操作手段」に相当)、液晶表示部33(「表示手段」に相当)、収音部34、放音部35、および制御部36(「第1の制御手段」、「第2の制御手段」、「第3の制御手段」に相当)を備える。通信部31は、制御部36による制御の下、移動体パケット通信網92の基地局と無線通信を行う。
操作部32は、カーソルを上下左右方向に移動させた上で確定するマルチファンクションボタン(後述)、番号や文字などを入力するダイヤルボタンなどの各種ボタンからなり、利用者によって入力操作が行われると、その入力操作に対応した操作信号を制御部36に供給する。液晶表示部33は、液晶パネル等の表示装置から構成されており、制御部36による制御の下に各種情報を表示する。収音部34はマイクロホンであり、放音部35はスピーカである。
制御部36は、CPU37、ROM38、RAM39(「記憶手段」に相当)、及びEEPROM40を有している。CPU37は、RAM39をワークエリアとして利用しつつ、ROM38やEEPROM40に記憶された各種プログラムを実行する。
ROM38は、OS(Operating System)プログラム、メーラプログラム、ブラウザプログラム、呼接続支援プログラム、およびビデオコンテンツ再生プログラムを記憶する。OSプログラムは、各種ハードウェアリソースの駆動や調停などといった基幹的な処理の手順を記したプログラムである。呼接続支援プログラムは、他の携帯電話機や固定電話との間の呼接続や通話に関わる処理の手順を記したプログラムである。メーラプログラムは、電子メールの作成や送受信に関わる処理の手順を記したプログラムである。ブラウザプログラムは、サイトの閲覧に関わる処理の手順を記したプログラムである。
ビデオコンテンツ再生プログラムは、コンテンツ配信サーバ装置10のコンテンツデータベース17に収録されたビデオコンテンツデータのストリーミング再生や再生するコンテンツデータの選択に関わる処理の手順を記したプログラムである。このプログラムに記された手順に従ったCPU37の動作を通じて、後に詳述するコンテンツ選択支援処理およびコンテンツ再生処理が実行される。
EEPROM40には、携帯電話端末30からのリクエストに応じてゲートウェイサーバ装置93やインターネット通信網91のサーバ装置からダウンロードされるプログラムが記憶される。
次に、本実施形態にかかる特徴的な処理であるコンテンツ選択支援処理とコンテンツ再生処理について説明する。
図4および図5は、コンテンツ選択支援処理を示すフローチャートである。図4および図5に示す一連の処理は、コンテンツデータベース17に収録された各コンテンツデータのタイトルを列記したメニュー画面が液晶表示部33に表示された状態で、それらのいずれかのタイトルが操作部32の操作を通じて選択されると、開始される。メニュー画面は、メニュー画面表示支援データ18のURL(Uniform Resource Locator)を含むリクエストを移動体パケット通信網92へ発信し、コンテンツ配信サーバ装置10から返信されるレスポンスに含まれるメニュー画面表示支援データ18を解釈して得た内容を基に、液晶表示部33に表示される。
メニュー画面に表示されたタイトルのいずれかが選択されると(S100:Yes)、制御部36は、ビデオコンテンツ再生プログラムを起動させる(S110)。以降の処理は、このビデオコンテンツ再生プログラムが示す手順に従って行われる。
制御部36は、テキストデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S120)。このリクエストには、ステップS100で選択されたタイトルを示す識別子が内包される。発信されたリクエストは、移動体パケット通信網92、ゲートウェイサーバ装置93、およびインターネット通信網91を経由してコンテンツ配信サーバ装置10まで送信される。
リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれる識別子が指し示すコンテンツのビデオコンテンツデータをコンテンツデータベース17から特定し(S130)、そのビデオコンテンツデータから取得したテキストデータを含むレスポンスを通信インターフェース12から発信する(S140)。発信されたレスポンスは、インターネット通信網91、ゲートウェイサーバ装置93、および移動体パケット通信網92を経由して、リクエストの発信元の携帯電話端末30まで送信される。
レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれるテキストデータをRAM16に記憶する(S150)。このテキストデータが示す各字幕がコンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対をなしていることは、上述した通りである。
続いて、制御部11は、RAM16にて各字幕と対応付けられた一連のタイムコードの中から、コンテンツの冒頭により近い時間軸上の位置を示す3つのタイムコードを取得し(S160)、取得した3つのタイムコードを含むコンテンツ配信サーバ装置10宛てのリクエストを通信部31から発信するとともに(S170)、それらのタイムコードと対をなす字幕を埋め込んだ再生箇所検索画面を液晶表示部33に表示させる(S180)。
図6は、再生箇所検索画面を示す図である。この画面は、再生時間表示領域52の下に、字幕表示領域53とサムネイル画像表示領域54とを左右に並べて配したレイアウトになっている。再生時間表示領域52は、細長い矩形状の上下の2つの枠52a,52bに分かれ、上側の枠52aには、コンテンツの冒頭から末尾までの間の時間軸上の位置を百分率によって示す数値が表示される。下側の枠54bには、コンテンツの冒頭から末尾までの時間軸上の位置を、時間、分、および秒により表す数値が表示される。また、その時間、分、および秒を表す数値の背後は、コンテンツの冒頭から末尾までの時間軸上の位置を表すインジケータとなっている。
字幕表示領域53には、ステップS180にて埋め込まれた字幕、つまり、コンテンツの冒頭により近い時間軸上の位置と対応する3つの字幕が、上段、中段、下段に分かれて表示されている。3つのうち時間軸上の位置が一番前の字幕は上段に表示され、時間軸上の位置が一番後の字幕は下段に表示される。サムネイル画像表示領域54には、サムネイル画像を埋め込むための3つの矩形枠が、字幕の各々の真横に相当する位置に表示されている。ただし、後述するステップS190にて、コンテンツ配信サーバ装置10からサムネイル画像データを取得するまで、それらの矩形枠は空白のままにされる。
リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれる3つのタイムコードと対をなすサムネイル画像データをステップS130で特定したビデオコンテンツデータから取得し(S190)、取得した3つのサムネイル画像データを含むレスポンスを通信インターフェース12から発信する(S200)。
レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれる3つのサムネイル画像データをそれぞれデコードして得た各サムネイル画像を、再生箇所検索画面のサムネイル画像表示領域54に表示させる(S210)。具体的には、レスポンスに含まれる3つのサムネイル画像データをRAM39に確保したバッファ領域に記憶したうえで、それらの画像データを時間軸上の位置が先行するものから順に1つずつデコードし、デコードを経て得られたサムネイル画像をサムネイル画像表示領域54の上の矩形枠から順に並べて表示させていく。
図7は、ステップS210における表示が行われている途中の再生箇所検索画面を示す図である。図7は、上段の矩形枠へのサムネイル画像の表示が完了した後、その下の矩形枠へのサムネイル画像の表示が完了する前の画面の様子を示すものとなっており、サムネイル画像が未取得であることを示す「Loading」の文字列が、上段を除く2つの矩形枠の中にそれぞれ記されている。
ステップS210にて、画像のサムネイル画像表示領域54の3つの矩形枠へサムネイル画像が表示されると、利用者は、操作部32のマルチファンクションボタンの上下の操作を通じて字幕の早送りまたは巻戻しを指示することができる。早送りの指示はマルチファンクションの下ボタンの押下を通じて下され、巻戻しの指示はその上ボタンの押下を通じて下される。また、早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示は、下ボタンと上ボタンの間の確定ボタンの押下を通じて下される。
早送りの指示が下されると(S220:Yes)、制御部36は、字幕表示領域53の下段に表示された字幕に後続する字幕をRAM39のテキストデータから取得するとともに(S240)、サムネイル画像データを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S250)。このリクエストには、ステップS240で取得したテキストデータと対をなすタイムコードが含まれる。
リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードと対応するサムネイル画像データをステップS130で特定したビデオコンテンツデータから取得し(S260)、取得したサムネイル画像データを含むレスポンスを通信インターフェース12から発信する(S270)。
レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれるサムネイル画像データおよびステップS240で取得した字幕を、再生箇所検索画面に表示されたサムネイル画像データと字幕の3つの組のうち時間軸上の位置が最も前の組に代えて表示させる(S280)。このステップS280における表示の切り換えは、以下の手順に従う。まず、字幕表示領域53およびサムネイル画像表示領域54の中段に表示されていた字幕とサムネイル画像を、各々の領域の上段に移動させるとともに、字幕表示領域53およびサムネイル画像表示領域54の下段に表示されていた字幕とサムネイル画像を、各々の領域の中段に移動させる。次に、ステップS240で取得した字幕を字幕表示領域53の下段に表示させるとともに、ステップS270で発信されたレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像をサムネイル画像表示領域54の下段に表示させる。
下ボタンが押下されるたびに、ステップS240からステップS280の処理が繰り返され、再生箇所選択画面の字幕表示領域53とサムネイル画像表示領域54に並ぶ字幕とサムネイル画像の3つの組のうち下の2つが上にスクロールし、新たな組が下段に現れる。利用者は、下ボタンの押下を繰り返すことにより、再生箇所選択画面に表示される字幕とサムネイル画像の組をより後の時間軸上の位置と対応するものへと順次切り換え、再生を希望する箇所の字幕が字幕表示領域53の中段に至ったときに確定ボタンを押下する。
一方、巻戻しの指示が下されると(S230:Yes)、制御部36は、字幕表示領域53の上段に表示された字幕に先行する字幕をRAM39のテキストデータから取得するとともに(S290)、サムネイル画像データを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S300)。このリクエストには、ステップS290で取得したテキストデータと対をなすタイムコードが含まれる。
リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードと対応するサムネイル画像データをステップS130で特定したビデオコンテンツデータから取得し(S310)、取得したサムネイル画像データを含むレスポンスを通信インターフェース12から発信する(S320)。
レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像およびステップS290で取得した字幕を、再生箇所検索画面に表示されたサムネイル画像データと字幕の3つの組のうち時間軸上の位置が最も後の組に代えて表示させる(S330)。このステップS330における表示の切り換えは、以下の手順に従う。まず、字幕表示領域53およびサムネイル画像表示領域54の中段に表示されていた字幕とサムネイル画像を、各々の領域の下段に移動させるとともに、字幕表示領域53およびサムネイル画像表示領域54の上段に表示されていた字幕とサムネイル画像を、各々の領域の中段に移動させる。次に、ステップS290で取得した字幕を字幕表示領域53の上段に表示させるとともに、ステップS320で発信されたレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像をサムネイル画像表示領域54の上段に表示させる。
上ボタンが押下されるたびに、ステップS290からステップS330の処理が繰り返され、再生箇所選択画面の字幕表示領域53とサムネイル画像表示領域54に並ぶ字幕とサムネイル画像の3つの組のうち上の2つが下にスクロールし、新たな組が上段に現れる。利用者は、上ボタンの押下を繰り返すことにより、再生箇所選択画面に表示される字幕とサムネイル画像の組をより後の時間軸上の位置と対応するものへと順次切り換え、再生を希望する箇所の字幕が字幕表示領域53の中段に至ったときに確定ボタンを押下する。
ステップS280またはステップS330が実行された後、確定ボタンが押下されると(S340:Yes)、ストリーミング再生処理が開始される。
図8は、ストリーミング再生処理を示すフローチャートである。確定ボタンが押下されると(S340:Yes)、制御部36は、ビデオデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信するとともに(S350)、ストリーミング再生画面を液晶表示部33に表示させる(S360)。このリクエストには、確定ボタンが押下された時に字幕表示領域53の中段に表示されていた字幕と対をなすタイムコードが含まれる。ストリーミング再生画面のレイアウトの詳細は、後述する。
リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する(S370)。
コンテンツ配信サーバ装置10によるビデオデータのダウンロードが始まると、制御部36は、ストリーミング再生画面を通じたビデオデータのストリーミング再生を開始する(S380)。ストリーミング再生が始まると、ビデオデータのエンコード、そのエンコードを経て得られるフレーム画像の表示と音声の放音、およびフレーム画像と対応する字幕の表示の関わる処理が並行して行われる。これらの処理の手順を具体的に示すと、以下のようになる。コンテンツ配信サーバからダウンロードされるビデオデータはRAM39に確保したバッファ領域に記憶される。制御部36は、そのバッファ領域に記憶されるビデオデータをデコードし、デコードを経て得られる一連のフレーム画像をストリーミング再生画面のフレーム画像表示領域55(後述)に順次表示させるとともに、その音声を放音部35から放音させる。各フレーム画像の表示の切り換えのタイミング、および、音声の放音のタイミングは、デコードの際にそれらのフレーム画像や音声の信号と併せて得られるタイムコードを基に特定される。また、制御部36は、フレーム画像と時間軸上の位置を同じくするタイムコードと対をなす字幕をRAM39に記憶されているテキストデータから取得し、それらの字幕をストリーミング再生画面の字幕表示領域56(後述)に順次表示させる。
図9は、ストリーミング再生画面を示す図である。この画面は、再生時間表示領域52の下に、フレーム画像表示領域55と字幕表示領域56を上下に並べて配したレイアウトになっている。フレーム画像表示領域55には、ビデオデータをデコードして得たフレーム画像が表示される。字幕表示領域56には、RAM39のテキストデータから取得される字幕が表示される。それらの領域55,56のフレーム画像および字幕が時間軸の流れに従って切り換えられることは、上述した通りである。
ステップS380にて、ストリーミング再生が始まると、利用者は、操作部32のマルチファンクションボタンの左右の操作を通じて字幕の早送りまたは巻戻しを指示することができる。早送りの指示はマルチファンクションの右ボタンの押下を通じて下され、巻戻しの指示はその左ボタンの押下を通じて下される。また、早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示は、確定ボタンの押下を通じて下される。
早送りの指示が下されると(S390:Yes)、制御部36は、字幕表示領域56に表示された字幕に後続する字幕をRAM39のテキストデータから取得し(S410)、その字幕をストリーミング再生画面の字幕表示領域56に表示させるとともに(S420)、ビデオデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S430)。このリクエストには、ステップS410で取得した字幕と対をなすタイムコードが含まれる。
リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する(S440)。つまり、このステップS440では、リクエストを受信するまで続いていたビデオデータのダウンロードが一旦途切れ、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降のビデオデータのダウンロードが改めて開始される。
一方、巻戻しの指示が下されると(S400:Yes)、制御部36は、字幕表示領域56に表示された字幕に先行する字幕をRAM39のテキストデータから取得し(S450)、その字幕をストリーミング再生画像の字幕表示領域56に表示させるとともに(S460)、ビデオデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S470)。このリクエストには、ステップS450で取得した字幕と対をなすタイムコードが含まれる。
リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する(S480)。このステップS480も上述したステップS440と同様に、リクエストを受信するまで続いていたビデオデータのダウンロードが一旦途切れ、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降のビデオデータのダウンロードが改めて開始される。
以上説明した本実施形態にかかる携帯電話端末30のコンテンツ選択支援処理においては、メニュー画面からユーザが選択したタイトルと対応するビデオコンテンツデータのテキストデータをコンテンツ配信サーバ装置10から受信した携帯電話端末30が、時間軸上の位置が連続する3つの字幕をそのテキストデータから取得し、取得した字幕およびそれらと対応するサムネイル画像を再生箇所検索画面に表示させるようになっている。さらに、操作部32の上下の操作を通じてその再生箇所検索画面に表示された字幕とサムネイル画像の対を上下にスクロールさせ、スクロールによりサムネイル画像が新たに現れるたびに、そのサムネイル画像の画像データをコンテンツ配信サーバ装置16への要求と引き換えに受信するようになっている。このように、コンテンツの冒頭から末尾に至る字幕のテキストデータは一括して受信する一方で、テキストデータよりもデータ容量の大きいサムネイル画像データはいわゆるオンデマンドで受信するようにすることで、操作部32の上下の操作に対するスクロールの追随性を高めるとともに、携帯電話端末30のメモリリソースを効率的に利用することができる。
また、上記実施形態にかかる携帯電話端末30のコンテンツ再生処理においては、フレーム画像表示領域55と字幕表示領域56とを個別に配したストリーミング再生画面を液晶表示部33に表示させ、字幕表示領域56に表示された字幕を操作部32の左右の操作を通じて左右にスクロールさせるようになっている。そして、その左右の操作を通じて早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示が下されると、その箇所からビデオデータの再生が行われるようになっている。このように、フレーム画像表示領域55におけるビデオデータの再生を中断しないまま字幕表示領域56の字幕を早送りまたは巻戻しさせ、再生位置の確定の指示が下されたところでその位置からビデオデータを改めて再生させるようにすることにより、巻戻しおよび早送りの操作性をより向上させることができる。
(他の実施形態)
本発明は、種々の変形実施が可能である。
上記実施形態にかかる携帯電話端末30のコンテンツ選択支援処理においては、マルチファンクションボタンの上下の操作によって早送りまたは巻戻しの指示が下されると、サムネイル画像データを求めるコンテンツ配信サーバ装置10宛てのリクエストがまず発信され、そのレスポンスに含まれるサムネイル画像データのデコードを実行した後に、デコードを経て得たサムネイル画像とそれに対応する字幕とが纏めて表示されるようになっている。これに対し、早送りまたは巻戻しの指示が下された時点で字幕のみを先に切り換え、サムネイル画像データのデコードにより得られたサムネイル画像を後から表示させるようにしてもよい。
本発明の実施形態にかかる動画像コンテンツ配信システムの全体構成図である。 コンテンツ配信サーバ装置のハードウェア概略構成図である。 携帯電話端末のハードウェア概略構成図である。 コンテンツ選択支援処理を示すフローチャートである(前半部分)。 コンテンツ選択支援処理を示すフローチャートである(後半部分)。 再生箇所検索画面を示す図である。 再生箇所検索画面を示す図である。 ストリーミング再生処理を示すフローチャートである。 ストリーミング再生画面を示す図である。
符号の説明
10…コンテンツ配信サーバ装置、91…インターネット通信網、92…移動体パケット通信網、93…ゲートウェイサーバ装置、30…携帯電話端末、11,36…制御部、12…通信インターフェース、13…ハードディスク、14,37…CPU、15,38…ROM、16,39…RAM、17…コンテンツデータベース、18…メニュー画面表示支援データ、40…EEPROM、31…通信部、32…操作部、33…液晶表示部、34…収音部、35…放音部、52…再生時間表示領域、53,56…字幕表示領域、54…サムネイル画像表示領域、55…フレーム画像表示領域、

Claims (3)

  1. 操作手段と、
    通信手段と、
    表示手段と、
    記憶手段と、
    ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータと上記ビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、上記通信手段を介して取得し、取得した各対を上記記憶手段に記憶させる第1の制御手段と、
    上記記憶手段に記憶されたタイムコードを時間軸上の位置が先行するものから順次特定し、特定したタイムコードと対をなすテキストデータが示す字幕を上記表示手段に表示させる手段であって、上記操作手段の操作を通じて字幕の早送りまたは巻戻しの指示が下されるたびに、上記表示手段に表示されている字幕をその字幕に後続しまたは先行する別の字幕に切り換えるとともに、切り換え後の字幕のテキストデータと対をなすタイムコードを含むリクエストを上記通信手段を介して発信する第2の制御手段と、
    上記リクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを上記通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を上記字幕とともに上記表示手段に順次表示させる第3の制御手段と、
    を備えることを特徴とするビデオコンテンツ再生端末。
  2. 前記ビデオデータは、
    一連のフレーム画像とそれらの再生が予定される時間軸上の位置とを示し、
    前記第2の制御手段は、
    前記早送りまたは巻き戻しの指示が下されない間は、前記取得されたビデオデータが示す一連のフレーム画像の各々の時間軸上の位置をそのビデオデータを基に特定し、前記第3の制御手段が表示手段に表示させるフレーム画像の各々と時間軸上の位置を同じくする字幕を、前記表示手段に順次表示させる、
    ことを特徴とする請求項1に記載のビデオコンテンツ再生端末。
  3. 操作手段、通信手段、表示手段、および記憶手段を有するコンピュータに、
    ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータと上記ビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、上記通信手段を介して取得し、取得した各対を上記記憶手段に記憶させる第1の制御機能と、
    上記記憶手段に記憶されたタイムコードを時間軸上の位置が先行するものから順次特定し、特定したタイムコードと対をなすテキストデータが示す字幕を上記表示手段に表示させる機能であって、上記操作手段の操作を通じて字幕の早送りまたは巻戻しの指示が下されるたびに、上記表示手段に表示されている字幕をその字幕に後続しまたは先行する別の字幕に切り換えるとともに、切り換え後の字幕のテキストデータと対をなすタイムコードを含むリクエストを上記通信手段を介して発信する第2の制御機能と、
    上記リクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを上記通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を上記字幕とともに上記表示手段に順次表示させる第3の制御機能と、
    を実現させるビデオコンテンツ再生プログラム。
JP2007221556A 2007-08-28 2007-08-28 ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム Expired - Fee Related JP5196635B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007221556A JP5196635B2 (ja) 2007-08-28 2007-08-28 ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム
PCT/JP2008/064273 WO2009028318A1 (ja) 2007-08-28 2008-08-08 ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム
CN2008801045337A CN101785315B (zh) 2007-08-28 2008-08-08 视频内容再生终端
HK10111099.5A HK1144634A1 (en) 2007-08-28 2010-11-29 Video content reproduction terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007221556A JP5196635B2 (ja) 2007-08-28 2007-08-28 ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム

Publications (2)

Publication Number Publication Date
JP2009055466A true JP2009055466A (ja) 2009-03-12
JP5196635B2 JP5196635B2 (ja) 2013-05-15

Family

ID=40387044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007221556A Expired - Fee Related JP5196635B2 (ja) 2007-08-28 2007-08-28 ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム

Country Status (4)

Country Link
JP (1) JP5196635B2 (ja)
CN (1) CN101785315B (ja)
HK (1) HK1144634A1 (ja)
WO (1) WO2009028318A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212658A (ja) * 2015-05-11 2016-12-15 日本電気株式会社 発注端末、メニューサーバ、受注サーバ、発注システム、発注方法、及び発注プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5922255B2 (ja) * 2011-12-28 2016-05-24 インテル コーポレイション データストリームのリアルタイム自然言語処理
JP6078673B1 (ja) * 2016-02-29 2017-02-08 三菱日立パワーシステムズ株式会社 動画再生装置、動画再生方法、およびプログラム
JP7447422B2 (ja) * 2019-10-07 2024-03-12 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
CN113259739B (zh) * 2021-05-13 2022-06-03 四川长虹网络科技有限责任公司 视频显示方法、装置、计算机设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283981A (ja) * 2002-03-20 2003-10-03 Nippon Telegr & Teleph Corp <Ntt> 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体
JP2006253960A (ja) * 2005-03-09 2006-09-21 Daikin Ind Ltd 情報処理装置、携帯機器、情報処理方法、およびプログラム
JP2007036752A (ja) * 2005-07-27 2007-02-08 Tdk Corp コンテンツ再生システム、コンテンツ再生方法およびコンテンツ再生プログラム
JP2007174245A (ja) * 2005-12-21 2007-07-05 Daikin Ind Ltd 録画再生システム及び録画再生方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW293981B (ja) * 1995-07-21 1996-12-21 Philips Electronics Nv

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283981A (ja) * 2002-03-20 2003-10-03 Nippon Telegr & Teleph Corp <Ntt> 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体
JP2006253960A (ja) * 2005-03-09 2006-09-21 Daikin Ind Ltd 情報処理装置、携帯機器、情報処理方法、およびプログラム
JP2007036752A (ja) * 2005-07-27 2007-02-08 Tdk Corp コンテンツ再生システム、コンテンツ再生方法およびコンテンツ再生プログラム
JP2007174245A (ja) * 2005-12-21 2007-07-05 Daikin Ind Ltd 録画再生システム及び録画再生方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN7012004592; 'インデックスとNHK、放送と通信の新しい連携サービス、『Yomu.TV(仮称)』の共同開発を開始放送番組の観た' 株式会社インデックス・ホールディングス プレスリリース , 20070523 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212658A (ja) * 2015-05-11 2016-12-15 日本電気株式会社 発注端末、メニューサーバ、受注サーバ、発注システム、発注方法、及び発注プログラム

Also Published As

Publication number Publication date
CN101785315A (zh) 2010-07-21
HK1144634A1 (en) 2011-02-25
WO2009028318A1 (ja) 2009-03-05
JP5196635B2 (ja) 2013-05-15
CN101785315B (zh) 2013-04-17

Similar Documents

Publication Publication Date Title
US8249422B2 (en) Content usage system, content usage method, recording and playback device, content delivery method, and content delivery program
WO2009090708A1 (ja) 情報送信装置および情報配信システム
JP5196635B2 (ja) ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム
JP4628285B2 (ja) 番組録画装置、携帯端末、番組録画・再生システム、録画番組表示方法
JP2007172264A (ja) 電子メール動画再生システム
JP5196634B2 (ja) ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム
JP5214614B2 (ja) 映像配信装置及び映像配信プログラム
JP4399865B2 (ja) 録画番組再生装置、録画番組再生方法および録画番組再生プログラム
JP2007089025A (ja) 通話中にコンテンツの視聴可能な情報処理装置、情報処理方法、および、プログラム
JP2005156626A (ja) スクロール処理付表示装置、記録媒体、コンピュータ読み取り可能なプログラム
JP5173269B2 (ja) 情報配信システム及び同システムにおける映像コンテンツ再生制御方法
JP4768554B2 (ja) 携帯端末装置及びプログラム
JP4709107B2 (ja) テレビ放送受信装置及びプログラム
JP4846674B2 (ja) 静止画抽出装置及び静止画抽出プログラム
JP4938384B2 (ja) 動画像データ配信システム、動画像データ提供方法、動画像データ配信プログラム、動画像データ提供プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP6223016B2 (ja) 映像出力装置、字幕サーバ装置、映像出力方法、及びプログラム
JP6473770B2 (ja) 映像出力装置、字幕サーバ装置、映像出力方法、及びプログラム
KR100554803B1 (ko) 멀티미디어 콘텐츠 전달을 위한 슬라이드 메타정보처리장치 및 그 방법
JP5643149B2 (ja) 携帯端末装置及びプログラム
JP2005278123A (ja) 映像受信装置およびコンピュータを映像受信装置として機能させるためのプログラム、ならびに映像提供装置およびコンピュータを映像提供装置として機能させるためのプログラム
KR101378092B1 (ko) 스트리밍 데이터 스킵 탐색 방법 및 장치
JP2012050017A (ja) 動画表示装置、動画表示方法
JP2010124269A (ja) 動画受信装置および動画受信装置におけるgui表示方法
JP2005252843A (ja) 携帯端末装置、番組録画システム、及び番組録画方法
JP2006229885A (ja) 動画メッセージ配信システム、サーバ装置及び動画メッセージ配信方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5196635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees