JP2008172324A - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JP2008172324A
JP2008172324A JP2007001418A JP2007001418A JP2008172324A JP 2008172324 A JP2008172324 A JP 2008172324A JP 2007001418 A JP2007001418 A JP 2007001418A JP 2007001418 A JP2007001418 A JP 2007001418A JP 2008172324 A JP2008172324 A JP 2008172324A
Authority
JP
Japan
Prior art keywords
information
image
video signal
character string
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007001418A
Other languages
English (en)
Other versions
JP2008172324A5 (ja
JP4962009B2 (ja
Inventor
Takeshi Ozawa
武史 小澤
Takashi Nomura
隆 野村
Motofumi Itawaki
基文 板脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007001418A priority Critical patent/JP4962009B2/ja
Priority to US12/008,072 priority patent/US8879885B2/en
Priority to CN2008100027210A priority patent/CN101222595B/zh
Publication of JP2008172324A publication Critical patent/JP2008172324A/ja
Publication of JP2008172324A5 publication Critical patent/JP2008172324A5/ja
Application granted granted Critical
Publication of JP4962009B2 publication Critical patent/JP4962009B2/ja
Priority to US14/472,644 priority patent/US20140369667A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】字幕画像の表示出力に関して、ユーザにとってより利用価値、利便性が高まるような表示の態様を得られるようにする。
【解決手段】オーディオファイルをメタデータにより管理する携帯型コンテンツプレーヤについて、ワンセグ放送を受信して、その映像信号の画像とともに、キャプションデータに基づいた字幕画像を同時に表示可能な機能を与える。そのうえで、キャプションデータの文字列において上記メタデータが有する情報と一致する文字列を探索する。そして、字幕画像において、探索された文字列について下線表示するなどして強調表示を実行する。
【選択図】図7

Description

本発明は、例えば、楽曲単位に相当する単位音声情報に付加される音声情報対応関連情報(メタデータ)と、テレビジョン放送の字幕情報(キャプションデータ)を利用して情報処理を実行するようにされた情報処理装置とその方法に関する。また、このような情報処理装置が実行するプログラムに関する。
現在、我が国では地上デジタルテレビジョン放送のサービスが開始されているが、このサービスの1つとして、「ワンセグ」といわれる、携帯電話などをはじめとした移動体端末向けの放送も行われている状況にある。上記もしているようにワンセグは、デジタルテレビジョン方式を採っているために、移動体端末が必要とする程度の解像度の画像としては高画質が安定して得られることが利点の1つであり、今後において、広い普及が見込まれている。
また、現在のワンセグとしてのテレビジョン放送には、映像・音声信号の情報に加えてキャプションなどともいわれる字幕の情報(字幕情報)を付加した番組があり、ワンセグに対応する移動体端末としても、映像信号による動画と字幕情報に基づく字幕画像とを同時に表示させることが可能なものが存在する。
そして、例えば特許文献1には、字幕画像を表示させる場合の態様に関して、ユーザ操作により字幕画像における文字を拡大・縮小させたり、字幕画像における文字色をデフォルトの色から変更して表示させるなど、字幕画像における文字表示をデフォルトの状態から所定の態様に変更するようにした技術が記載されている。
特開2005−353213号公報
本願発明としても、映像信号とともに字幕情報を画像として表示させる技術に関連するもので、現状における字幕情報の単なる表示出力にとどまることなく、ユーザにとっての利用価値、利便性がより高まるような字幕情報に関した表示の態様を提供することを目的とするものである。
そこで本発明は上記した課題を考慮して、情報処理装置として次のように構成する。
つまり、映像信号を画像として表示出力させると共に、この映像信号に付加される字幕情報を利用して、上記映像信号の画像に同期するようにして字幕画像を表示出力させる表示出力手段と、楽曲単位に相当する単位音声情報と、この単位音声情報ごとに関連した1以上の属性情報項目から形成される関連情報とが記憶される記憶部から取得した、上記所定の属性情報項目に格納される情報内容と、上記字幕情報の内容とを比較した結果として、共通とされる文字列情報を取得する文字列情報取得手段と、上記字幕画像において、上記文字列情報取得手段により取得された文字列情報を提示しているとする画像部分を所定の態様により強調表示させるようにして上記表示出力手段を制御する、字幕画像対応表示制御手段とを備えることとした。
上記構成による情報処理装置では、先ず、映像信号を画像として表示出力させると共に、字幕情報を字幕画像として表示出力させることが可能とされている。字幕画像は、映像信号の画像に同期して表示出力されるべきものとされる。
そのうえで、情報処理装置は、楽曲単位に相当する単位音声情報と、そのメタデータである関連情報を記憶している記憶部から、関連情報における所定の属性情報項目の内容を取得して、この取得した属性情報項目の内容と字幕情報の内容とを比較することで、共通としてみることのできる文字列情報を取得し、この取得した文字列情報に対応する字幕画像における画像部分を強調表示する。
このようにして強調表示される画像部分に対応しては、取得された文字列情報が文字画像として表示されていることになるのであるが、これは即ち、単位音声情報が楽曲であることをふまえれば、字幕画像において、記憶部に記憶される楽曲に関連した文字を強調させているものであると見ることができる。また、記憶部に記憶される楽曲としての単位音声情報の再生が、ユーザの音楽鑑賞のために行われるものとするならば、字幕画像において強調される文字は、ユーザにとって相応に重要度の高い内容を有していることになる。
つまり本願発明としては、映像信号の画像とともに表示される字幕画像において、重要度が高いとされる文字列を自動判定して強調することが可能とされるものであり、これにより、ユーザにとっての字幕画像の利用価値は、より高められることになる。また、本願発明では、字幕画像における強調表示は、楽曲(音声)コンテンツの嗜好などを反映しているといえ、この点でも、これまでにない字幕画像の利用の可能性を与えることが可能になる。
以下、本願発明を実施するための最良の形態(以下、実施の形態という)についての説明を行っていく。本実施の形態としては、本願発明に基づく情報処理装置としての構成を、携帯型コンテンツプレーヤに適用した場合を例に挙げることとする。
本実施の形態の携帯型コンテンツプレーヤ1は、先ず、オーディオコンテンツとして、楽曲単位相当のオーディオファイルのデータを記憶管理可能とされると共に、記憶しているオーディオファイルを、例えばヘッドフォンなどを利用して聴くことができるようにして再生出力可能とされている。
また、ビデオコンテンツとして、動画とこれに同期した音声から少なくとも成る所定形式のビデオファイルのデータについても、記憶管理と、視聴可能な態様による再生出力とが可能とされている。
そのうえで、本実施の形態の携帯型コンテンツプレーヤ1は、ワンセグといわれる地上デジタルテレビジョン放送を受信して、その画像・音声を視聴可能なようにして再生出力することも可能とされている。また、ワンセグでは、他のデジタル放送と同様に、字幕(キャプション)の表示に使用する情報(キャプションデータ)も、上記の画像・音声の情報とともに伝送することができるものとされている。そして、キャプションデータに対応するデジタルテレビジョン放送の受信装置は、受信したキャプションデータをデコードして画像データに変換し、例えば主となる受信画像に同期させて字幕画像を表示させることが可能とされている。本実施の形態の携帯型コンテンツプレーヤとしても、ワンセグについて、このようなキャプションデータに対応した字幕画像表示機能を有する。
また、携帯型コンテンツプレーヤ1は、このようなワンセグ受信機能を有することに応じて、ワンセグを受信選局して得られた画像・音声・キャプションの情報によるビデオコンテンツを、所定形式のビデオファイルとして記憶させて管理することが可能とされている。つまり、ワンセグにより受信選局して得られるビデオコンテンツを記憶する、録画機能も有するようにされる。また、記憶されたワンセグのビデオコンテンツとしてのビデオファイルを再生出力することも可能なようにして構成される。
なお、以降において、ビデオファイルのうちで、ワンセグのビデオコンテンツを記録したものについては録画ファイルといい、録画ファイル以外のビデオファイルについては、一般ビデオファイルともいうことにする。また、本実施の形態の携帯型コンテンツプレーヤ1としては、上記のようにして字幕表示に対応することに応じて、録画ファイルについては、後述もするようにして、画像・音声に加えてキャプションデータを含めた構造とすることが可能とされている。
確認のために述べておくと、ワンセグは、周知のようにして、我が国において行われている地上波テレビジョン放送サービスの1つである。我が国の地上波テレビジョン放送は、ISDB(Integrated Services Digital Broadcasting-Terrestrial)の方式を採っているが、このISDB方式では、1チャンネルあたりに割与えた6MHz帯域を13のセグメントに分割するようにされている。そのうえで、現状にあっては、ハイビジョンといわれるHDTVの放送には12セグメントを使用し、通常画質のSDTVには4セグメントを使用することとしたうえで、1つのセグメントが移動体端末向けの放送に予約されている。この移動体向けに予約された1セグメントを使用した放送サービスをワンセグという。
現状では、このワンセグにより伝送する映像の画サイズとしては、QVGA(320×240ピクセル)としている。この仕様は、例えばSDTVなどと比較すれば低解像度ではあるものの、本来がデジタル方式であることから、移動体端末が有する例えば2インチ前後のディスプレイパネル上での表示であれば、充分に品質の高い画像を安定的に得ることができる。また、デジタル放送とされていることで、ワンセグにおいても、データ放送の伝送が可能とされており、このデータ放送の内容を考慮することで、移動体端末の特徴を有効に活用することも期待されている。
なお、ワンセグにおいては、映像圧縮符号化方式としてはH.264(MPEG-4 AVC)を採用し、音声圧縮符号化方式としてはAAC LCを採用している。
図1は、本実施の形態としての携帯型コンテンツプレーヤ1の構成例を示している。
この図に示す構成において、先ず、外部データインターフェイス11は、所定のデータインターフェイス規格に対応してデータ通信を実行するためのハードウェア構成を含む機能回路部位とされる。
なお、この外部データインターフェイス11が対応する規格としては特に限定されるものではないが、現状であればUSB(Universal Serial Bus)、IEEE1394などを挙げることができる。また、有線によるデータインターフェイス規格以外にも、例えばBluetooth(登録商標)などの近距離無線によるデータ通信規格を採用することも可能である。
記憶部12は、主としてコンテンツ関連データD1を記憶保存するために使用される。ここでのコンテンツ関連データD1は、オーディオコンテンツ(オーディオファイル)、ビデオコンテンツ(一般ビデオファイル、録画ファイル)、及びこれらのファイルについての属性情報(メタデータ)から成るものとする)などを一括して示したものとされる。
また、この場合の記憶部12には、制御部20を実際に形成する部位の1つとされる、CPU(Central Processing Unit)が実行するプログラムD2のデータも記憶されることとしている。制御部20は、記憶部12から、このプログラムD2のデータを読み込んで内部RAM(メモリ部21)に展開し、これを実行するようにされる。これにより、制御部20としての制御処理動作が実現される。
この記憶部12として実際に採用される記憶デバイスについては、電源供給が停止されてもデータが消失しない、いわゆる不揮発性を有するもので、必要なだけの記憶容量を容易に確保できるものであれば特に限定されるものではない。ちなみに、現状であれば、HDD(ハードディスクドライブ)、あるいはフラッシュメモリなどを採用することが順当となる。
また、記憶部12に記憶されるファイル、管理情報などは、所定方式によるファイルシステムにより管理するようにされる。
テレビジョンチューナ部13は、ワンセグ放送の受信機能に対応して備えられるもので、ワンセグ放送を受信して、少なくとも、放送コンテンツとしての情報(放送内容情報:映像・音声データ、キャプションデータ、データ放送データなど)を得るようにされる。
このために、テレビジョンチューナ部13では、アンテナ14によりワンセグ放送の放送電波を受信して得られた信号(受信信号)を入力し、例えば制御部20の選局制御(チャンネル指定)に従って選局処理を行うことで、受信信号から、指定された放送局(チャンネル)に対応する受信信号成分を得るようにされる。このとき、制御部20は、例えば操作部23に対して行われた選局操作などに応じて指定されたチャンネルが選局されるようにして制御を実行する。そして、この場合のテレビジョンチューナ部13は、上記指定チャンネルの受信信号成分について、局側からの送出時に施された変調に対する復調処理を実行して、映像・音声の各々についてのベースバンド信号を得るようにされる。この場合、ベースバンド信号としての映像信号データ・音声信号データは、各々が所定方式により圧縮符号化されているものとされる。
この場合、上記のようにしてテレビジョンチューナ部13にて得られた映像・音声のベースバンド信号は制御部20が入力し、後述するようにして、制御部20内の再生処理部22にて、記憶部12への記録(録画)、あるいは画像・音声による再生出力のための信号処理が施される。
また、放送コンテンツとして映像・音声の情報とともにキャプションデータも伝送されてきている場合には、テレビジョンチューナ部13により、上記の映像・音声とともにキャプションデータも受信取得されることになる。制御部20は、例えば、この受信取得されたキャプションデータをキャプションデータ処理部24に入力させる。キャプションデータ処理部24では、入力された所定形式のキャプションデータが、字幕として視覚的に認識可能なようにされた画像として表示されるようにするための処理を実行する。
ここで、本実施の形態の携帯型コンテンツプレーヤ1が、記憶部12に記憶されるコンテンツ関連データD1としてのコンテンツデータ(オーディオファイル、ビデオファイル)を取得するための態様例について述べておく。
先ず、コンテンツ関連データD1のうち、オーディオファイル、及びビデオコンテンツにおける一般ビデオファイルは、外部データインターフェイス11経由で、外部機器から取得するようにされる。
一例として、上記外部機器がパーソナルコンピュータである場合を例にしたコンテンツデータの取得態様は次のようになる。
先ず、ユーザは、携帯型コンテンツプレーヤ1に対して、外部機器であるパーソナルコンピュータを、外部データインターフェイス11により通信が可能なようにして接続する。
パーソナルコンピュータには、例えばオーディオファイル及びビデオファイル(一般ビデオファイル)を記憶管理するためのアプリケーションソフトウェアがインストールされている。携帯型コンテンツプレーヤとパーソナルコンピュータとを接続しているときには、このアプリケーションソフトウェアが起動されるようになっている。そして、ユーザが行うアプリケーションソフトウェアに対する操作により、このアプリケーションソフトウェアが記憶管理しているオーディオファイル、ビデオファイルのうちから任意に選択したものを、外部データインターフェイス11を経由する通信により、携帯型コンテンツプレーヤ1に対して転送するようにされる。なお、このようにしてアプリケーションソフトウェアが、オーディオファイル、ビデオファイルを、携帯型コンテンツプレーヤ1に対して転送するときには、オーディオファイル、ビデオファイルとともに、これらの転送ファイルごとに対応するメタデータも転送するようにされる。
携帯型コンテンツプレーヤ1の制御部20では、上記のようにして転送され、外部データインターフェイス11にて受信されるオーディオファイル、ビデオファイル、及びメタデータを取得すると、このデータを、必要に応じて所定の形式に変換するなどしたうえで、記憶部12に転送して書き込んで記憶させる。
また、コンテンツ関連データD1のうち、録画ファイルとしてのビデオコンテンツについては、テレビジョンチューナ部13にてワンセグ放送を受信して取得したビデオコンテンツとしての映像・音声の情報が元となる。
つまり、制御部20では、テレビジョンチューナ部13の受信選局、復調処理によって得たベースバンド信号形式の映像信号データ・音声信号データについてファイル形式化する処理を行ったうえで、このデータを記憶部12に対して転送して記憶させるようにする。また、本実施の形態では、画像・音声とともに、これと同期再生されるべきキャプションデータも伝送されてきている場合には、図4により後述するようにして、上記の映像信号データ・音声信号データと共に、キャプションデータも含めるようにしてファイル形式化するようにされる。
そして、携帯型コンテンツプレーヤ1においては、上記のようにして記憶されたファイルが録画ファイルとして管理されることになる。
次に、図1の構成を採る携帯型コンテンツプレーヤ1により、記憶部12に記憶されるコンテンツデータを再生出力する場合の動作例について説明する。
先ず、記憶部12に記憶されたコンテンツデータのうちで、オーディオファイルを再生するときには、先ず、制御部20が、再生対象として指定されたオーディオファイルを記憶部12から読み出すようにされる。そして、この読み出したオーディオファイルのデータ、つまり、音声信号データを、同じ制御部20内にあるとされる再生処理部22に入力し、ここで再生信号処理を実行する。
再生処理部22は、オーディオコンテンツ、及びビデオコンテンツとしての音声信号データ、映像信号データについての所要の再生信号処理を実行可能に構成された部位である。
この場合の再生信号処理としては、先ず、入力された音声信号データの圧縮符号化形式に応じた復号(伸長処理)を施して、所定のサンプリング周波数と量子化ビットによるデジタル音声信号を得るようにされる。そして、このデジタル音声信号をオーディオ出力処理部15に入力させる。
この場合のオーディオ出力処理部15は、入力されてくるデジタル音声信号について、例えば音質調整、音量調整などをはじめとする所要の信号処理と、アナログ音声信号への変換処理(A/D変換)、及び増幅などを施して、ヘッドフォン駆動用の音声信号としてヘッドフォン端子16に出力する。これにより、ヘッドフォン端子16に接続されるヘッドフォンでオーディオファイルの再生音声を聴くことができる。
なお、一般にヘッドフォンは、L(左),R(右)ステレオによる2チャンネル、若しくはそれ以上のチャンネル数により構成されるマルチチャンネルに対応していることが通常とされ、従って、本実施の形態の携帯型コンテンツプレーヤ1の実際としても、その音声再生信号処理系(再生処理部22のオーディオ再生処理系、オーディオ出力処理部15)などとしても、上記のような2以上の所定のチャンネル構成に対応した構成を有するものとされる。しかしながら、ここでは図示及び説明を簡単なものとすることの便宜上、これらのチャンネルを1系統にまとめて示している。
また、コンテンツデータにおけるビデオファイル(一般ビデオファイル、録画ファイルを指す)を再生するときには、制御部20が、記憶部12から所要のビデオファイルの読み出しを実行し、再生処理部22に対して出力するようにされる。
先の説明から理解されるように、ビデオファイルは、少なくとも動画像としての映像信号データと、これに同期して再生出力されるべき音声信号データから成るものとされ、これらの映像信号データ、音声信号データについては、圧縮符号化された形式とされている。
そこで、この場合の再生処理部22としては、入力されたビデオファイルの映像信号データ、音声信号データについて、それぞれの圧縮符号化方式に対応する復号(伸長)処理を施して、所定形式のデジタル映像信号と、これに再生時間が同期するデジタル音声信号を得るようにされる。そして、デジタル映像信号をビデオ出力処理部17に対して出力し、デジタル音声信号をオーディオ出力処理部15に対して出力するようにされる。
ビデオ出力処理部17では、入力されてくるデジタル映像信号について、必要に応じて画質調整、表示用フレーム画像データ(動画像)への変換処理などを行って、この表示用フレーム画像データを、表示メモリ18に対して、逐次、フレーム周期に対応する所定タイミングで書き込んでいくようにされる。
また、再生されるビデオファイルが、キャプションデータを含む録画ファイルである場合、制御部20は、映像信号データ・音声信号データと共に、キャプションデータが含まれる構造のビデオファイルを再生処理部22に入力するようにされる。そして、表示モードとして字幕表示すべきことが指定されている場合には、再生処理部22が有するとされるデマルチプレクス機能により、キャプションデータを、映像信号データ・音声信号データと分離し、キャプションデータ処理部24に転送するようにされる。
キャプションデータ処理部24では、入力されたキャプションデータから、字幕画像としての表示用画像データを生成し、例えば、フレーム周期に対応する所定タイミングで、表示メモリ18に対する書き込みを行うようにされる。
ディスプレイ部19は、所定方式のディスプレイデバイスと、これを駆動するドライブ回路などからなり、上記のようにして表示メモリ18に書き込まれる表示用画像データによりディスプレイデバイスを駆動するようにされる。これにより、ディスプレイ部19としての表示パネルには、ビデオファイルの再生画像が表示されることになる。このとき、ビデオファイルにキャプションデータが含まれており、字幕表示すべき表示モードが設定されていれば、再生画像としては、所定の態様により、映像信号データを元とする主画像(動画像)と、字幕画像とが同時に表示されることになる。
これとともに、オーディオ出力処理部15では、入力されてくるデジタル音声信号について、先の説明と同様の信号処理を施して、ヘッドフォン端子16からヘッドフォン駆動用音声信号として出力するようにされる。つまり、本実施の形態の携帯型コンテンツプレーヤ1のユーザは、本体の表示パネルを視ながらヘッドフォンにより再生音声を聴くことで、ビデオコンテンツの再生画像、再生音声を視聴することができる。
また、本実施の形態の携帯型コンテンツプレーヤ1では、基本的なワンセグ対応機能として、テレビジョンチューナ部1によりワンセグ放送を受信選局、復調して得たビデオコンテンツを、リアルタイム的に、画像音声として出力させることも可能とされる。
このためには、テレビジョンチューナ部13にて復調して得られたビデオコンテンツとしてのベースバンド形式の映像信号データ、音声信号データを再生処理部22に入力させて、それぞれの圧縮符号化方式に対応する復号処理を実行し、復号後の出力である映像信号データをビデオ出力処理部17へ、音声信号データをオーディオ出力処理部15に出力させる。また、ワンセグ放送により映像・音声とともに伝送されるキャプションデータも表示させる場合には、受信取得されたキャプションデータをキャプションデータ処理部24に入力させ、ここで、字幕画像としての表示用画像データを生成して表示メモリ18へ出力させることとすればよい。
以降、ビデオ出力処理部17、表示メモリ18、ディスプレイ部19、及びオーディオ出力処理部15が、先に述べたビデオファイル再生時と同様の動作を実行することで、現在受信選局中にあるとされるワンセグ放送の画像・音声(及び字幕画像)を、表示パネル及びヘッドフォンにより視聴できることになる。
また、デジタルテレビジョン放送では、周知のようにして、本放送(ビデオコンテンツとしての映像音声の情報)とともに、データ放送のデータなども多重化して伝送可能とされている。また、放送予定の番組に関する情報から成る、EPG(電子番組ガイド: Electrical Program Guide)のデータ(EPGデータ)も伝送可能とされている。
本実施の形態の携帯型コンテンツプレーヤ1としては、これらのデータ放送及びEPGデータの受信と、そのデコード出力にも対応しているものとされる。
例えばテレビジョンチューナ部13によりデータ放送あるいはEPGデータを受信して、データ放送のデータあるいはEPGデータを取得した場合には、これらのデータを、制御部20が取り込むようにされる。
制御部20は、データ放送のデータについては、そのデータ形式に応じたデコード処理を実行するようにされる。このとき、データ放送のデータが表示用データであれば、制御部20は、デコード処理後のデータ放送用のデータから表示用画像データを生成し、これを表示メモリ18に対して書き込むようにされる。これにより、例えばデータ放送の画像がディスプレイ部の表示画面に表示される。また、制御部20は、受信取得したデータ放送用のデータが、例えば双方向サービスなどのための制御データなどである場合には、この制御データに応じた処理を実行するようにされる。
また、EPGデータを受信取得した場合には、例えばこれを所定の形式に整えた上で、メモリ部21に書き込んで保持しておくようにされる。メモリ部21は、例えばDRAMやSDRAMなどの記憶装置により構成されるもので、EPGデータの他、制御部20(CPU)が利用すべき各種の情報,データが保持される。また、CPUは、メモリ部21にプログラムをロードしてこれを実行するようにされ、同じメモリ部21を、その作業領域として利用するようにされる。
例えば、ユーザ操作などに応じて、EPGデータをディスプレイ部19に表示させるべきこととなった場合には、制御部20は、メモリ部21に保持しているEPGデータを読み出し、その内容が反映された番組表としての表示用画像データを生成して表示メモリ18に書き込むようにされる。
制御部20は、例えば実際においては、ハードウェアとしてCPU、RAM(メモリ部21)、ROMなどを備えるマイクロコンピュータシステムを中心に構成されるもので、携帯型コンテンツプレーヤ1における制御処理を実行する。
操作部23は、携帯型コンテンツプレーヤ1において備えられる各種の操作子と、これらの操作子に対して行われた操作に応じた信号(操作信号)を生成して出力する部位とを一括して示す。制御部20は、操作部23から入力された操作信号に応じて所要の制御処理を実行する。
次に、記憶部12に記憶されるデータのうち、コンテンツ関連データD1に関して、図2を参照して説明しておくこととする。図2には、コンテンツ関連データD1に属するとされる各種情報、ファイルの内訳とその管理態様例を、ディレクトリ構造により示している。即ち、ここでは、記憶部12に記憶されるコンテンツ関連データD1について、所定のファイルシステムの下で、例えば図2に示されるようにして規定されるディレクトリ構成により管理することとしている。
図2における最上位階層のディレクトリには、コンテンツ関連データフォルダが置かれている。このコンテンツ関連データフォルダは、記憶部12としてのボリュームにおける所定のディレクトリ階層に置かれているものとされる。
上記コンテンツ関連データフォルダの直下には、オーディオコンテンツフォルダとビデオコンテンツフォルダが置かれる。
オーディオコンテンツフォルダの直下のディレクトリには、例えば、オーディオファイルフォルダと、オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブルが置かれる。
オーディオファイルフォルダには、図において、オーディオファイル1、オーディオファイル2・・・・として示しているように、1以上のオーディオファイルが格納される。確認のために述べておくと、このオーディオファイルは、例えば先の説明のようにして、携帯型コンテンツプレーヤ1が、外部データインターフェイス11を経由したデータ通信により外部機器から取得したものである。
オーディオファイル・メタデータテーブルは、上記オーディオファイルフォルダに格納されるオーディオファイルについての所定のメタデータ(付加情報、属性情報)をテーブル化したものとされる。なお、このオーディオファイル・メタデータテーブルについての、属性項目の内容例や構造例については後述する。また、この場合のオーディオファイル・メタデータテーブルは、例えばファイルシステムにより、1ファイル単位として管理されるようになっている。
アルバムリストテーブルは、上記オーディオファイルフォルダに格納されるオーディオファイルとしての楽曲が収録されているとするアルバムをリスト化して管理したテーブル情報であり、アーティストリストテーブルは、上記オーディオファイルフォルダに格納されるオーディオファイルとしての楽曲を演奏しているとするアーティストをリスト化して管理したテーブル情報である。
上記オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブルの構造例については、後述する。
また、ビデオコンテンツフォルダの直下のディレクトリには、一般ビデオファイルフォルダ、録画ファイルフォルダの2つのフォルダが置かれている。
一般ビデオファイルフォルダには、図において一般ビデオファイル1、2・・・として示しているように、1以上の一般ビデオファイルが格納される。
録画ファイルフォルダには、図において録画ファイル1、2・・・として示しているように、1以上の録画ファイルが格納される。
なお、コンテンツ関連データD1に属する情報種別内容や管理態様例については、この図に示すものに限定されるものではない。
例えば、一般ビデオファイルに対応してメタデータ(一般ビデオファイル対応メタデータ)を、録画ファイルフォルダに対応してメタデータ(録画ファイル対応メタデータ)を用意して、ビデオコンテンツフォルダ内に、一般ビデオファイル対応メタデータ及び録画ファイル対応メタデータを格納するディレクトリ(フォルダ)を置くようにしてもよい。
また、例えば、コンテンツデータとして、オーディオファイル及びビデオファイルと共に、写真などとしての静止画像ファイルも含めることも可能である。そこで、このような場合には、例えばコンテンツ関連データフォルダの直下の階層に、静止画ファイルフォルダを追加して置くこととして、この静止画ファイルフォルダに、静止画ファイルを格納することとすればよい。
図3(a)(b)(c)は、オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブルの構造例を、その情報内容例とともに示している。
図3(a)に示されるオーディオファイル・メタデータテーブルは、先ず、1つのオーディオファイルIDに対して、属性項目として、曲名、アルバムID、アーティストIDの情報を対応付けることで、1つのオーディオファイルに対応したテーブルリストを形成する。そのうえで、このようなテーブルリストを、オーディオフォルダに格納されるオーディオファイルごとに対応して配列させるものである。
オーディオファイルIDは、オーディオファイルごとに固有となるようにして付される識別子とされる。曲名は、対応するオーディオファイルについての曲名を示す。アルバムIDは、対応するオーディオファイルとしての楽曲が収録されているアルバム名ごとに固有となるように割与えられた識別子である。アーティストIDは、対応するオーディオファイルとしての楽曲を演奏しているアーティスト名ごとに固有となるように割り与えられる識別子である。
この図3(a)の各属性項目の具体的な情報内容の例を見てみると、先ず、オーディオファイルIDについては、M01、M02、M03、M04、M05、M06が配列されている。これは、全部で6つのオーディオファイルについてのテーブルリストが存在し、従って、オーディオファイルフォルダには6つのオーディオファイルが格納されていることを示している。
そのうえで、オーディオファイルID=M01が示すオーディオファイルのテーブルリスト(図のテーブル構造において、1オーディオファイルに対応する属性項目が配列される一行分に相当する)においては、[曲名=曲A、アルバムID=AL01、アーティストID=A01]が示され、オーディオファイルID=M02のオーディオファイルについては、[曲名=曲B、アルバムID=AL01、アーティストID=A01]が示され、 オーディオファイルID=M03のオーディオファイルについては、[曲名=曲C、アルバムID=AL02、アーティストID=A01]が示され、オーディオファイルID=M04のオーディオファイルについては、[曲名=曲D、アルバムID=AL03、アーティストID=A02]が示され、オーディオファイルID=M05のオーディオファイルについては、[曲名=曲E、アルバムID=AL04、アーティストID=A03]が示され、オーディオファイルID=M06のオーディオファイルについては、[曲名=曲F、アルバムID=AL04、アーティストID=A03]が示されている。
また、図3(b)に示すアルバムリストテーブルは、アルバムIDとアルバム名の属性項目情報を対応付けて形成されるテーブルリストが配列された構造を有する。そして、1つのテーブルリストには、上記図3(a)のオーディオファイル・メタデータテーブルにおいて示されるアルバムIDの1つが格納され、アルバム名の属性項目には、そのアルバムIDにより示されるアルバムの名称を示す情報が格納される。従って、この場合の図3(b)におけるアルバムリストテーブルの内容としては、図3(a)において示される4つのアルバムID=AL01、AL02、AL03、AL04ごとについてのテーブルリストが存在することになる。
各テーブルリストの内容としては、アルバムID=AL01に対応してアルバム名=アルバムAが示され、アルバムID=AL02に対応してアルバム名=アルバムBが示され、アルバムID=AL03に対応してアルバム名=アルバムCが示され、アルバムID=AL04に対応してアルバム名=アルバムDが示されている。
また、図3(c)に示すアーティストリストテーブルは、アーティストIDとアルバム名の属性項目情報を対応付けて形成されるテーブルリストが配列された構造を有する。そして、1つのテーブルリストには、上記図3(a)のオーディオファイル・メタデータテーブルにおいて示されるアーティストIDの1つが格納され、アーティスト名の属性項目には、そのアーティストIDにより示されるアーティストの名称を示す情報が格納される。従って、この場合の図3(c)におけるアーティストリストテーブルの内容としては、図3(a)において示される3つのアーティストID=A01、A02、A03ごとについてのテーブルリストが存在することになる。そして、各テーブルリストの内容としては、アーティストID=A01に対応してアーティスト名=アーティストAが示され、アーティストID=A02に対応してアーティスト名=アーティストBが示され、アーティストID=A03に対応してアーティスト名=アーティストCが示されている。
なお、図3(a)(b)(c)に示した各リストテーブル(オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブル)へのオーディオファイルの新規登録は、例えば外部機器上で動作するオーディオファイル管理アプリケーションから、外部データインターフェイス11経由でオーディオファイルの転送を受けて記憶部12に記憶させる際に行われるものとされる。
つまり、オーディオファイル管理アプリケーションとしても、楽曲としてのオーディオファイルを、オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブルをはじめとする各種のメタデータと対応させて管理しているものとされる。そして、オーディオファイル管理アプリケーションから携帯型コンテンツプレーヤ1に対してオーディオコンテンツとしてのオーディオファイルを転送して記憶させるときに、転送するオーディオファイルについての属性情報として、少なくとも、オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブルを作成するのに必要なオーディオファイルID、曲名、アルバムID、アルバム名、アーティストID、アーティスト名などの情報も転送するようにされる。そして、携帯型コンテンツプレーヤ1では、オーディオファイルとともに受信したこれらの情報を利用して新規のテーブルリストを作成し、オーディオファイル・メタデータテーブルのテーブルリストに追加登録するようにされる。また、新規のアルバム、又はアーティストの情報が転送されてきた場合には、これらの新規のアルバム又はアーティストについてのテーブルリストを作成して、アルバムリストテーブル、アーティストリストテーブルについても追加登録するようにされる。
なお、以降の説明において、オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブルを、まとめて「オーディオファイル管理情報」ともいう場合がある。
図4は、本実施の形態の携帯型コンテンツプレーヤ1が記憶部12に記憶して管理するものとされる、録画ファイルの構造を模式的に示している。先に図1によっても述べたようにして、録画ファイルを形成するデータの要素としては、先ず、動画像としての映像信号データと、これに再生時間が同期する音声信号データであるものとされる。さらに、放送局側からの送出時において、キャプションデータも多重化されていた場合には、このキャプションデータも、録画ファイルを形成する要素となる。そして、これらの映像信号データ及び音声信号データ、さらにはキャプションデータを所定構造によりまとめることで、この図において示されるようにして、1つの録画ファイルを形成するものである。
図5は、キャプションデータの形式例を模式的に示している。
キャプションデータは、例えば図示しているようにして、3行16桁によるテキストデータ単位としての形式を有するものとされる。あるいは、12桁4行によるテキストデータ単位としての形式を有するものとされる。
これまでの説明から理解されるようにして、本実施の形態の携帯型コンテンツプレーヤ1は、ワンセグ放送をリアルタイムに受信して得られる放送コンテンツを映像・音声として出力することができる。また、放送コンテンツを記憶部12に記憶させたものである録画ファイルの映像・音声を再生することも可能とされている。そのうえで、放送コンテンツ、又は録画ファイルにキャプションデータが含まれる場合には、主画像としての映像とともに、キャプションデータに基づく字幕画像を表示させることも可能とされている。
上記のようにして表示される字幕画像は、一般的には、そのときに同時表示される主画像の内容についての解説、出演者のセリフなどを表示文字により提示するためのものであり、例えば、番組の内容をより分かりやすくすることの助けとなるものである。本実施の形態としては、キャプションデータに基づいた字幕表示について、上記のような本来の目的を踏襲した上で、次に説明するようにしてGUI(Graphical User Interface)的な機能を与えることで、字幕画像について、ユーザのために、より高い利便性、利用価値が与えられるようにする。以降、この点について説明を行っていくこととする。
先ず、図6(a)には、図1に示したディスプレイ部19の表示画面部100が示されている。この場合の表示画面部100は、例えば所定の縦横比による縦長のサイズを有しているものとされる。本実施の形態の携帯型コンテンツプレーヤ1により、放送コンテンツ又は録画ファイルとしての動画像(主画像)を、キャプションデータに基づく字幕画像とともに表示させるときには、図示するようにして、例えば、表示画面部100を主画像表示領域100aと字幕表示領域100bとで上下に分割し、主画像表示領域100aに例えば番組内容などとなる主画像としての動画を表示させ、字幕表示領域100bに、上記主画像に同期した字幕画像を表示させることができる。
なお、以降において図6についての説明を行っていくのにあたり、携帯型コンテンツプレーヤ1に記憶されているオーディオファイルに対応する管理情報(オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブル)の内容としては、図3(a)(b)(c)に示したものであるとする。
また、放送コンテンツと、録画ファイルのコンテンツとを特に区別しないときには、両者がテレビジョン放送により送出されるコンテンツを共通のソースとすることに由来して、テレビジョンコンテンツともいうことにする。
ここで、図6(a)に示される字幕表示領域100bには、「本日のゲストであるアーティストAさんには、最新アルバムAより曲Aを歌っていただきます。」との文字列が示される字幕画像が表示されている。つまり、この字幕画像の基となるキャプションデータは、上記の文字列のテキストデータとされるものである。
通常の場合、字幕画像としては、キャプションデータとしてのテキストデータの内容を単に文字により表示させたものとなるが、本実施の形態では、字幕画像に示される文字列全体において、図示するようにして、或る特定の文字列部分について、下線表示101を付加表示することで強調表示を行うようにしている。
図6(a)の字幕画像の文字列全体において強調表示されているのは、「アーティストA」「アルバムA」「曲A」の文字列部分となっているが、「アーティストA」は、図3(c)のアーティストリストテーブルのアーティストID=A01に対応するアーティスト名の属性項目において示され、「アルバムA」は、図3(b)のアルバムリストテーブルのアルバムID=AL01に対応するアルバム名の属性項目において示され、「曲A」は、図3(a)のオーディオファイル・メタデータテーブルのオーディオファイルID=M01に対応する曲名の属性項目において示されている。
つまり、本実施の形態では、字幕画像に示される文字列全体のうちで、オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブルにおいて示される属性項目である、曲名、アーティスト名、アルバム名の内容の何れかと一致するとされる文字列部分について下線表示101による強調表示を行うものとしている。
なお、文字列部分を強調表示するための表示態様としては、下線表示を行う以外にも多様に考えられるものであり、本願発明の下では、特に限定されるべきでない。例えば、強調表示の他の態様としては、強調すべき文字列部分を、他の文字列部分とは異なる文字色、太さ、文字スタイル(例えば斜体とする)にすることなどが考えられる。あるいは、強調すべき文字列部分に所定の態様による飾りを加えるようなことも考えられる。
ここで、記憶部12に記憶させているオーディオファイルは、先の説明のようにして、例えばユーザが操作を行って、パーソナルコンピュータなどから転送させたものであるから、そのオーディオファイルとしての楽曲は、ユーザの好みに適っているものであるということがいえる。そして、上記のオーディオファイル管理情報(オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブル)は、記憶部12に記憶されるオーディオファイルについての管理情報であるから、上記の曲名、アーティスト名、アルバム名の各属性項目に格納される内容は、ユーザが好むとされる、曲、アーティスト、アルバムを示しているということがいえる。従って、図6(a)の字幕画像表示領域100bにおいて強調表示される文字列部分は、ユーザの好みの楽曲タイトル(曲名)、アーティストの名称(アーティスト名)、アルバムのタイトル(アルバム名)を指し示しているということがいえる。
このようにして本実施の形態では、字幕画像において、ユーザが好むであろうと推定される楽曲、アーティスト、及びアルバムのうちの何れかについての名称が示される文字列部分を強調表示するようにされる。これにより、例えば表示画面部100に表示されるテレビジョンコンテンツの画像を漫然と視ているような状況でも、字幕画像においてある文字列部分が強調表示されたことにより、ユーザの関心が促される。例えば、ユーザは、自分にとって興味のある曲、アーティスト、アルバムの何れかに関連した番組の内容が始まったことに気が付き、漫然と見過ごしてしまうようなことが防がれる。
そのうえで、本実施の形態としては、上記の強調表示のための下線表示101について、いわゆるリンク機能を与えることとしている。
つまり、図6(a)の字幕画像表示領域100bにおいては、カーソル102が示されている。このカーソル102は、ユーザによる操作に応じて、下線表示101が付加されている文字列部分の間で移動可能とされている。図6(a)においては、カーソル102が、「アーティストA」の文字列部分にて配置されている状態が示されている。
そして、この図6(a)に示すカーソル102の位置状態の下で、ユーザが、カーソル配置についての決定操作を行ったとする。すると、表示画面部100は、これまでのテレビジョンコンテンツの画像の表示から、図6(b)に示すようにして、アーティストAについてのアルバムリストの表示に切り換わるようにされる。図6(b)のアルバムリストには、図3に示すオーディオファイル管理情報の管理内容に対応して、アーティストA(アーティストID=A01)の楽曲である曲A、曲Bが収録される「アルバムA」(アルバムID=AL01)と、「アルバムB」(アルバムID=AL02)が示されている。このようにして表示されるアルバムリストは、オーディオファイル再生のためのユーザインターフェイス画像の1つとされるものであり、例えば、このアルバムリストに提示されるアルバムのうちから任意のアルバムタイトルを選択して、さらにそのアルバムに収録される楽曲リストを表示させることなどが可能になる。
また、図6(b)に示されるようにして、カーソル102を、「アルバムA」の文字列部分に対して配置表示させたうえで決定操作を行った場合には、例えば図6(d)に示すようにして、同じくオーディオファイル再生のユーザインターフェイス画面の1つである、アルバムAに収録される曲名リストの表示に切り換わるようにされる。図6(d)の楽曲リストには、図3に示すオーディオファイル管理情報の管理内容に対応して、アーティストA(アーティストID=A01)の楽曲の曲名である曲A、曲Bが示されている。そして、例えばこの楽曲リストから任意の楽曲を選択決定する操作を行えば、その楽曲を再生出力させることができる。
また、図6(e)に示されるようにして、カーソル102を、「曲A」の文字列部分に対して配置表示させたうえで決定操作を行った場合には、この曲Aのオーディオファイルの再生出力が行われる。これに応じて、表示画面部100には、図6(f)に示すようにして、曲Aについての再生状況画像の表示が行われる。
続いて、上記図6により説明した、強調表示を伴う字幕画像表示と、強調表示された文字列部分をリンクとして、オーディオファイル再生に関連したユーザインターフェイスに移行する動作とを実現するための技術構成例について説明していくこととする。
先ず、図7のフローチャートを参照して、字幕画像において文字列部分を強調表示するための処理手順例について説明する。この図に示す処理は、現在においてテレビジョンチューナ部13によりワンセグ放送を受信選局して得られた放送コンテンツの画像・音声を出力させている状態、若しくは録画ファイルの画像・音声を再生出力させている状態(つまりテレビジョンコンテンツの画像・音声を出力させている状態)の下で、表示モードとして字幕画像を表示させるべきことが設定されている場合において実行されるものである。また、ここでは、出力元となる放送コンテンツとしてはキャプションデータが多重化されて伝送されてきており、録画ファイルとしては、その構造において有効なキャプションデータが含まれている場合を前提とする。
図7において、先ず、ステップS101では、キャプションデータを新規取得する処理を実行している。つまり、放送コンテンツの場合であれば、番組の進行に伴う主画像としての内容の変化に応じて、キャプションデータとしても新規な内容のものが伝送されてくる。また、録画ファイルの場合であれば、再生の進行に主画像としての内容の変化に応じて、次のキャプションデータを新規に読み出すべきことになる。つまり、ステップS101では、放送コンテンツの場合には、新規に伝送されてきたキャプションデータを、受信取得された情報のうちから抽出して取得するようにされる。また、録画ファイルの場合には、記憶部12から読み出した情報のうちからキャプションデータを抽出して取得する。
また、次のステップS102では、上記のようにして取得したキャプションデータを利用して、例えばキャプションデータ処理部24により字幕画像データを生成するようにされる。つまり、取得したキャプションデータが示すテキストの内容が文字として示される、表示用の画像データを生成する。なお、このステップS102にて生成した字幕画像データの画像内容としては、未だ、下線表示101、及びカーソル102などが付加されていない、基本的な画像内容を有しているものとされる。ここでは、このような内容の字幕画像データを、プレーン字幕画像データということにする。
ステップS103では、先のステップS101により取得したとされるキャプションデータのテキスト内容としての文字列と、次の情報とを順次比較していくようにされる。
先ずは、キャプションデータの文字列と、オーディオファイル・メタデータテーブルの各テーブルリストにおける曲名の属性項目の内容とを比較するようにされる。なお、この比較にあたっては、曲名の属性項目の内容がテキスト形式でない場合には、そのデータ形式を例えばテキストに変換するなどして、キャプションデータの内容と比較が可能なようにして形式の統一を図るようにすればよい。
続いては、キャプションデータの文字列と、アルバムリストテーブルの各テーブルリストにおけるアルバム名の属性項目の内容とを比較するようにされる。
さらに続いては、キャプションデータの文字列と、アーティストリストテーブルの各テーブルリストにおけるアーティスト名の属性項目の内容とを比較するようにされる。
ステップS104においては、上記ステップS103による比較処理の結果として、キャプションデータの文字列において、上記の曲名、アルバム名、若しくはアーティスト名の各属性項目における内容のなかで、一致するものがあったか否かについての判別を行う。
そして、ここで一致するものがあったとして肯定の判別結果が得られた場合には、ステップS105に進む。
ステップS105においては、先のステップS102により得られたプレーン字幕画像データの画像において示される文字列において、上記ステップS104により一致したとされる文字列部分に対して下線表示101が付加されるようにして画像処理を実行する。また、これとともに、下線表示101が付加された文字列部分のうちから、所定規則に従って選択した1つの文字列部分(例えば、文字列における最初の下線表示101が付加された文字列部分)に対して、カーソル102が配置されるようにするための画像処理も実行するようにされる。これにより、例えば図6(a)の字幕画像表示領域100bにおいて示される態様の字幕画像の元となる画像データが得られることになる。
また、上記の画像処理とともに、次のステップS106としての手順によっては、一致文字列リストテーブルを作成し、これをメモリ部21に保持しておくようにされる。
図8に一致文字列リストテーブルの構造と、その内容例を示す。この図に示されるようにして、一致文字列リストテーブルは、ステップS104により一致するものとして判定された文字列部分(一致文字列)の内容と、オーディオファイル管理情報(オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブル)において、この一致文字列に該当する曲名、アーティスト名、若しくはアルバム名に対応するID(オーディオファイルID、アーティストID、アルバムIDの何れかとなる)とを対応付けたテーブルリストが配列されて成るものとされる。
そして、この図に示される一致文字列リストテーブルの内容は、図6(a)に示される字幕画像を表示させる結果となる場合に対応している。つまり、図6(a)においては、「アーティストA」「アルバムA」「曲A」の文字列部分を強調表示させているが、これは、キャプションデータの文字列において、「アーティストA」「アルバムA」「曲A」と一致する文字列部分があったということを意味している。そして、図3によれば、「アーティストA」を示すアーティストIDはA01、「アルバムA」を示すアルバムIDはAL01、「曲A」を示すオーディオファイルIDは、M01となっている。そこで、この場合の一致文字列リストテーブルとしては、図のようにして、一致文字列「アーティストA」にID=A01を対応させたテーブルリストを作成し、同様にして、一致文字列「アルバムA」にID=AL01を対応させたテーブルリストと、一致文字列「曲A」にID=M01を対応させたテーブルリストとを作成し、さらに、これらのテーブルリストを配列したことにより形成することとなる。
なお、このようにして作成、保持された一致文字列リストテーブルは、図9により後に述べる、強調表示された文字列部分をリンクとして機能させるための処理において利用する。
上記ステップS106の手順を実行した後は、ステップS107に進む。また、ステップS104にて一致した文字列がなかったとして否定の判別結果が得られた場合には、上記ステップS105、S106の手順をスキップして、ステップS107に進むことになる。
ステップS107では、現在において生成して保持しているとされる字幕画像データを、字幕画像として、字幕画像表示領域100bに表示させるための制御を実行する。このためには、上記字幕画像データを所要のタイミングで表示メモリ18に転送するようにされる。
ここで、ステップS105、S106を経てステップS107に至った場合、表示される字幕画像の内容としては、一致文字列に該当する文字列部分において下線表示101が付加されたものとなっている。これに対して、ステップS105、S106をスキップしてステップS107に至った場合には、プレーン字幕画像データに基づいた字幕画像の表示となる。つまり、字幕としての文字列において下線表示101はどこにも付加されていない状態の通常表示となる。これは、オーディオファイル管理情報が有する曲名、アーティスト名、アルバム名の属性項目の内容と同じ文字列は、存在しなかったことを示している。
次に、図9のフローチャートを参照して、強調表示された文字列部分をリンクとして、オーディオファイル再生に関連したユーザインターフェイスに移行する動作を実現するための処理手順例について説明する。この図に示す処理は、例えば図6(a)(c)(e)などに示したように、テレビジョンコンテンツの画像と、字幕画像とを表示させているときに実行されるものとなる。
先ず、ステップS201においては、字幕画像上に配置されるカーソル102を移動させるための操作が操作部23に対して行われたか否かの判別処理を行うこととしており、否定の判別結果が得られた場合には、後述するステップS203に進む。これに対して、肯定の判別結果が得られた場合は、ステップS202に進む。
ステップS202では、上記ステップS201に対応して得られたカーソル移動指示に応答して、カーソル102を、他の強調表示された文字列部分に対して移動させるための処理を実行したうえで、ステップS203に進む。
ステップS203では、現在においてカーソル102が配置されている文字列部分についての選択決定操作が行われたか否かについて判別しており、否定の判別結果が得られた場合は、ステップS201に戻るようにされる。これに対して、肯定の判別結果が得られた場合は、ステップS204に進む。
ステップS204では、一致文字列リストテーブルを参照して、上記ステップS203に対応して選択決定された文字列部分、つまり一致文字列と対応付けられているIDを取得するようにされる。例えば、図6(a)に示されるようにして「アーティストA」の文字列部分が強調表示されている状態で選択決定操作が行われたとすれば、ステップS204では、図8に示す一致文字列リストテーブルを参照して、「アーティストA」の一致文字列に対応付けられているアーティストID=A01を取得することになる。
次のステップS205では、上記ステップS204により取得したID(ここでは取得IDという)と、記憶部12に記憶されているオーディオファイル・メタデータテーブルに格納されている各ID(アーティストID、アルバムID、オーディオファイルID)との比較を行う。
そして、上記ステップS205による比較処理の結果として、先ず、ステップS206により、アーティストIDにおいて、取得IDと一致するものが存在したか否かについて判定し、ここで肯定の判別結果が得られた場合にはステップS207に進む。
ステップS206にて肯定の判別結果が得られた場合には、取得IDは、アーティストIDの1つであることになる。そこで、ステップS207では、オーディオファイル・メタデータテーブルを参照して、上記取得IDとしてのアーティストIDに対応付けられている全てのアルバムIDを取得するようにされる。例えば取得IDがアーティストAに対応するA01であるとすれば、このステップS207により取得されるアルバムIDは、AL01、AL02の2つとなる。
次に、ステップS208では、アルバムリストテーブルを参照して、上記ステップS207により取得したアルバムIDに対応付けられているアルバム名を取得する。アルバムIDが、上記のAL01、AL02であるとすれば、ステップS208では、アルバムA、アルバムBのアルバム名の情報が取得される。
そして、ステップS209では、上記ステップS208により取得したアルバム名の情報を利用して、今回の取得IDが示すアーティストについてのアルバムリストを表示出力させるための制御を実行する。このためには、例えば制御部20が、上記のようにして取得したアルバム名が文字などとして示されるアルバムリストの画像内容を有する表示用画像データを生成する。そして、この表示用画像データを表示メモリ18に転送することで、ディスプレイ部19により画像として表示させるものである。これにより、例えば図6(a)から図6(b)への遷移として示したように、テレビジョンコンテンツの画像の表示から、アーティストAについてのアルバムリストの表示への切り換えが行われることになる。
また、ステップS206において否定の判別結果が得られた場合には、ステップS210に進み、アルバムIDにおいて、取得IDと一致するものが存在したか否かについて判定するようにされる。そして、肯定の判別結果が得られたのであれば、ステップS211、S212の手順を実行する。
ステップS210にて肯定の判別結果が得られたということは、取得IDは、アルバムIDの1つであることになる。そこで、先ずステップS211では、オーディオファイル・メタデータテーブルを参照して、上記取得IDとしてのアルバムIDに対応付けられている全ての曲名の内容を取得する。例えば取得IDがアルバムID=AL01であるとすれば、このステップS211により取得される曲名の情報はは、曲A、曲Bの2つとなる。次に、ステップS212により、上記のようにして取得した曲名の情報を利用して、取得IDが示すアルバムに収録されている曲についての曲名リストを表示させる。このようにして、例えば図6(d)に示されるような表示への切り換えが実現される。
また、ステップS210にて否定の判定結果が得られた場合、取得IDは、オーディオファイルIDであることになる。そこで、この場合にはステップS213により、取得IDと一致するオーディオファイルIDが示すオーディオファイルを記憶部12から読み出して再生出力させるための制御を実行する。また、このオーディオファイル再生に応じて、再生状況画像を表示させるための制御も併行して実行するようにされる。これにより、例えば図6(e)に示されるテレビジョンコンテンツの画像の表示から、図6(f)に示されるような再生状況画像の表示への切り換えが行われることになる。
ところで、例えば図6(a)(c)(e)に示されるテレビジョンコンテンツの画像表示から、図6(b)(d)(f)などのオーディオファイル操作に関連したユーザインターフェイス画像に移行させた後に、ユーザが、元のテレビジョンコンテンツを視聴したいと思い、このための操作を行う場合のあることは、当然考えられる。
このような操作を行うことを想定した場合に、テレビジョンコンテンツが放送コンテンツである場合の対応としては、オーディオファイル操作関連のユーザインターフェイス画像から、元のテレビジョンコンテンツの画像表示に戻されたことに応じては、そのときに、オーディオファイル操作関連のユーザインターフェイス画像への切り換え前と同じチャンネル(放送元)で、現に放送されている映像・音声を出力する動作とすることが、順当な仕様の1つとなる。
上記のような仕様としてもよいのではあるが、この仕様にあっては、当然のこととして、ユーザは、オーディオファイル操作関連のユーザインターフェイス画像を表示出力させていた期間の放送コンテンツの内容を見逃してしまうことになる。放送コンテンツのようにリアルタイム的に送出されてくるものの場合、録画ファイルなどのようにして、後から見逃した部分を再び視聴することは難しい。
そこで、本実施の形態としては、放送コンテンツの画像を表示(画像表示とともに音声も出力される)させていた状態から、オーディオファイル操作関連のユーザインターフェイス画像への切り換えが行われ、再度、切り換え前と同じ(つまり、チャンネルが同じであるということになる)元の放送コンテンツの画像表示に切り換える(戻す)ための操作が行われた場合には、この操作に応じた元の放送コンテンツの出力が、オーディオファイル操作関連のユーザインターフェイス画像への切り換えにより中断された放送内容に続く位置から開始されるようにする。これにより、ユーザは、オーディオファイル操作関連のユーザインターフェイス画像を表示させていたことにより視聴することができなかったはずの放送コンテンツの内容から視聴を再開することができる。なお、以降においては、上記のようにして、オーディオファイル操作関連のユーザインターフェイス画像への切り換えにより中断された放送内容に続く位置から元の放送コンテンツの出力を開始させる機能について、放送コンテンツ・レジューム機能などということにする。
図10は、本実施の形態としての放送コンテンツ・レジューム機能を実現するために携帯型コンテンツプレーヤ1が実行する動作例を模式的に示している。
先ず、図10(a)には、現在テレビジョンチューナ部13により受信選局を実行していることで、携帯型コンテンツプレーヤ1がリアルタイムに取得している放送コンテンツを時間経過とともに示している。なお、この図10(a)の放送コンテンツは、例えば時点t0を開始時刻、時点t3を終了時刻とする1つの番組であり、例えばキャプションデータも多重化されて放送されているものとする。
図10(c)は、表示画面部100において表示される画像内容の遷移を時間経過と共に示している。
ここでは、先ずユーザは、携帯型コンテンツプレーヤ1により図10(a)に示される番組が放送されているチャンネルを受信選局し、図10(c)の時点t0以降として示すようにして、この受信中とされる番組の放送コンテンツの画像を表示させている。なお、このときには、放送コンテンツの音声も出力されている。また、表示画面部100においては、図6(a)(c)(e)などに示すように、番組の内容を有する主画像とともに、字幕画像も表示しているものとされる。
そして、例えば時点t0から或る時間を経過した時点t1のタイミングで、ユーザが、図6により説明した字幕画像上でのカーソルの選択決定操作を行ったとする。すると、図10(c)に示されるようにして、この時点t1にて、表示画面部100は、これまでの受信中の放送コンテンツの画像から、カーソル102が配置されていた強調文字列部分の内容に応じたオーディオファイル操作関連のインターフェイス画像(例えば図6(b)(d)(f)の各画像など)の表示に切り換わることになる。
そして、この時点t1のようにして、受信中の放送コンテンツの画像からオーディオファイル操作関連のインターフェイス画像への切り換えが行われたときには、これまで実行していた放送コンテンツの受信取得動作を継続させた上で、図10(c)に示すようにして、時点t1以降において得られる放送コンテンツのデータ(映像・音声、及びキャプションデータ)を、バックアップ録画データとして記憶部12に書き込んで記憶させていくようにする。
次に、時点t1から或る時間を経過した時点t2に至って、ユーザが、時点t1以前にて表示させていたのと同じチャンネルの放送コンテンツ(元の放送コンテンツ)の画像表示に戻すための操作を行ったとする。これに応じては、図10(b)と図10(c)とを参照して分かるように、時点t2以降からは、バックアップ録画データを、その先頭位置(記録開始位置)から再生し、その画像・音声を出力するようにされる。従って、図10(c)の時点t2以降としては、図示するようにして、このバックアップ録画データの再生画像が表示されることになる。
このような表示画像の切り換えとすることで、図10(c)において、時点t1に対応する受信中の放送コンテンツの内容の終端部分と、時点t2に対応するバックアップ録画データの再生内容の開始部分とは、その内容がつながっていることになる。つまり、先に述べたようにして、放送コンテンツでありながら、途中で他のユーザインターフェイス画像への切り換えなどが行われたとしても、その後において同じ放送コンテンツの出力に戻したときには、切り換え前の続きからその内容を視聴できることとなっているものである。
また、この図10の例では、バックアップ録画データの記録は、その番組終了時刻に至って終了させることとしている。つまり、図10(b)にも示されるように、バックアップ録画データの記録は時点t3に至ったとされるタイミングで終了される。従って、例えば時点t2以降において、バックアップ録画データの再生出力を継続させていたとすれば、バックアップ録画データの終端まで再生した時点t4まで、バックアップ録画データは再生出力させることができる。なお、時点t4にてバックアップ録画データの再生が終了した後の表示画面部100の表示内容については、例えば、このバックアップ録画データの取得元となるチャンネルにおいて、そのときに現に放送されているコンテンツを出力することとして、その画像を表示させることなどが考えられる。
また、ここでの図示による説明は省略するが、本実施の形態としては、テレビジョンコンテンツとして録画ファイルを再生する場合においても、上記と同等のレジューム機能を与えることとする。
つまり、例えば、図6(a)などに示ようにして録画ファイルを再生してその画像を表示させていた状態から、一旦、図6(b)などのオーディオファイル操作関連のインターフェイス画像に表示を切り換えた後、さらに、同じ録画ファイルの再生に戻すこととした場合には、その録画ファイルの再生を、先頭から再開させるのではなく、オーディオファイル操作関連のインターフェイス画像への切り換えまでに出力されていた内容の続きから再生することとするものである。
このようにして、本実施の形態では、テレビジョンコンテンツとして、放送コンテンツと録画ファイルの何れについてもレジューム機能が与えられるものである(テレビジョンコンテンツ・レジューム機能)。
図11のフローチャートは、上記図10により説明したテレビジョンコンテンツ・レジューム機能を実現するために制御部20が実行するものとされる処理手順例を示している。
この図においては、先ずステップS301において、例えばテレビジョンコンテンツの画像の表示から、他のユーザインターフェイス画像の表示に切り換えるための指示が得られるのを待機する。そして、例えば図6(a)から図6(b)、図6(c)から図6(d)、あるいは図6(e)から図6(f)への遷移として説明したように、字幕画像上のカーソルの選択決定操作が行われたことに応じて、例えばオーディオファイル操作関連の所定のユーザインターフェイス画像の表示に切り換えるべき指示が得られたとされると、ステップS302に進む。
ステップS302においては、上記ステップS301の判別処理に対応して指定されたユーザインターフェイス画像を表示画面部100に表示させるための表示制御を実行し、ステップS303に進む。
ステップS303においては、ステップS301に対応した表示切り換えの指示が得られる段階まで表示させていたテレビジョンコンテンツが、録画ファイルであるのか、あるいは放送コンテンツであるのかについて判別を行う。ここで、放送コンテンツであるとの判別結果が得られた場合には、ステップS304に進む。
ステップS304においては、これまでに表示させていた放送コンテンツのデータを記憶部12に記録するための制御処理を開始する。つまり、図10(b)に示したバックアップ録画を開始させる。
ここで、本実施の形態としては、テレビジョンコンテンツ・レジューム機能に対応して、レジュームポイントを定義するものとされる。レジュームポイントとは、テレビジョンコンテンツ(放送コンテンツ又は録画ファイル)の画像表示からユーザインターフェイス画像への切り換えが行われ、再度、同じテレビジョンコンテンツの画像表示に戻るべきこととなった場合に、出力を開始すべきコンテンツの再生時間位置(データ位置)を示すものである。
そして、ステップS305においては、上記ステップS304により開始されたバックアップ録画により記憶部12に記憶されるデータ(バックアップ録画データ)の記録開始位置をレジュームポイントとして保持しておくようにされる。この場合のレジュームポイントの実際としてはは、例えば記憶部12としての記憶媒体のアドレスとして、バックアップ録画データの開始位置が記録されるアドレスの値を保持することとすればよい。このステップS305の手順を実行したとされると、ステップS307に進む。
一方、先のステップS303により、録画ファイルであると判別された場合には、ステップS306に進む。
ステップS306においては、先のステップS302に応じて、録画ファイルの画像表示から現在表示中とされているユーザインターフェイス画像に切り換わったとされるタイミングでの、上記録画ファイルの再生位置をレジュームポイントとして保持するようにされる。このときのレジュームポイントとしても、上記録画ファイルの再生位置に対応する記憶媒体のアドレスの値を保持することとすればよい。
ステップS306の手順に続いては、ステップS307に移行する。
ステップS307に至った段階では、例えば図6(a)(c)(d)などのテレビジョンコンテンツを表示させている状態から、既に、図6(b)(d)(e)等に示したオーディオファイル操作関連のユーザインターフェイス画像の表示に切り換わっている。そこで、ステップS307では、先ず、このようなユーザインターフェイス画像から、元のテレビジョンコンテンツ以外であって、さらに他のユーザインターフェイス画像の表示(若しくは元のテレビジョンコンテンツ以外のコンテンツ画像の出力)に切り換えるための指示が得られたか否かについて判別することとしている。これは、例えば先に説明したように、図6(b)のアルバムリストにおいてアルバムに対する選択決定操作が行われたことに応じて、その選択決定されたアルバムに収録される楽曲の曲名リストの表示に切り換えるべきこととなった場合などに対応する。
ステップS307にて上記の指示が得られたとの判別結果が得られた場合には、ステップS309に進み、表示画面部100の画像を、指定されたユーザインターフェイス画像(若しくは元のテレビジョンコンテンツ以外のコンテンツ画像)に切り換えて表示させるための制御処理を実行する。ステップS309の手順を終了した後は、ステップS307に戻るようにされる。
また、ステップS307にて上記の指示が得られていないとの判別結果が得られた場合には、ステップS308に進む。
ステップS308においては、現在のユーザインターフェイス画像に切り換わる直前において表示されていた放送コンテンツの表示に戻すための指示が得られたか否かについて判別する。そして、肯定の判別結果が得られた場合には、ステップS310、S311の手順を実行する。
ステップS310においては、現在保持しているレジュームポイントとして示される記憶部12の記憶媒体上のアドレスを指定して、ビデオコンテンツファイルの再生開始を指示するようにされる。このステップS310に至るのにあたり、ステップS305を経由した場合には、レジュームポイントが、バックアップ録画データの記録開始位置を示しているので、ステップS310によっては、バックアップ録画データの先頭からの再生出力開始することになる。これにより、表示画面部100における表示としては、時点t1以降において放送されていた受信中の放送コンテンツの内容に続く画像が、時点t2以降において表示されることになる。つまり、放送コンテンツについてのレジューム出力が実現されている。
これに対して、ステップS306を経由してステップS310に至った場合には、レジュームポイントが録画ファイルの中途におけるデータ位置を示していることになるので、ステップS310としては、このデータ位置から再生を開始させることになる。これにより、録画ファイルは、今回のユーザインターフェイス画像への切り換え前において中断(停止)された位置に続くところから再生が開始され、その画像が表示画面部100に表示されることになる。つまり、録画ファイルについてのレジューム再生が実現されるようになっている。
また、このような処理手順によれば、レジュームポイントは、単に、記憶媒体上の再生開始位置を示す情報内容を有するのみであり、この点で、録画ファイルとバックアップ録画データとで区別されるものではなく、共通に利用されるものとなっている。これにより、例えばレジュームポイントに相当する再生開始位置を指示する情報としては、録画ファイルとバックアップ録画データとで個別に持つ必要は無くなる。
ステップS308において否定の判別結果が得られた場合、つまり、テレビジョンコンテンツの画像表示から他のユーザインターフェイス画像への切り換えが行われた状態のまま、さらに他のユーザインターフェイス画像への切り換えるための指示も、元のテレビジョンコンテンツの表示(出力)に戻るための指示も得られていないとする場合には、ステップS311に進む。
ステップS311では、現在、バックアップ録画を実行中であるか否かについて判別し、否定結果が得られた場合には、ステップS307に戻る。これに対して、肯定の判別結果が得られた場合にはステップS312に進む。
上記ステップS312と、これに続くステップS313、S314は、ステップS304により開始させたバックアップ録画データの記録を終了させるための条件に対応する。
先ず、ステップS312においては、現在実行中にあるとされるバックアップ録画データの記録(バックアップ録画)の録画対象である放送コンテンツとしての番組の終了時刻に至ったか否かについての判別を行うようにされている。ここで肯定の判別結果が得られたのであれば、ステップS314に進むことで、これまでのバックアップ録画を終了させる。ステップS315では、これまでのバックアップ録画としての記録動作を終了させたうえで、これまでのバックアップ録画としての記録動作により記憶部12に記録されたバックアップ録画データを削除(消去)するようにされる。さらに、これまでに保持していたレジュームポイントの情報をクリア(消去)する。
また、ステップS313においては、バックアップ録画の開始時点から、例えばユーザが再び、元の放送コンテンツに戻ることはないであろうと推定される程度の一定時間を経過することを待機しており、この一定時間が経過したとされると、ステップS315に進んでバックアップ録画についての終了処理を実行する。
ステップS314においては、携帯型コンテンツプレーヤ1のメイン電源がオフとされたか否かについて判別し、オフとされたことに応じて、ステップS315に進むようにされる。
なお、上記ステップS315においては、バックアップ録画としての記録動作の終了に伴い、バックアップ録画データを削除することとしているが、例えば、削除せずに、録画ファイルとして管理されるようにして残すようにすることも考えられる。
また、これまでにおいて説明した、図7、図9、及び図11のフローチャートとして示される処理手順を実現するために、制御部20のCPUが実行するものとされるプログラムは、先の説明のようにして、記憶部12に予め記憶させておくようにされるが、このほかにも、例えばデータインターフェイス11を経由して接続されるパーソナルコンピュータなどからインストールするようにして記憶部12に記憶させることも考えられる。あるいは、携帯型コンテンツプレーヤ1について所定のリムーバブル形式の記憶媒体に対応するドライブを備えることとした上で、この記憶媒体からインストールさせるようにして記憶部12に記憶させることが考えられる。また、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、携帯型コンテンツプレーヤ1自体にネットワーク機能を持たせることとし、サーバからダウンロードして取得してインストールさせることも考えられる。
また、字幕画像において強調表示された文字列部分についてカーソルを配置させて選択決定操作を行った場合に、どのようなユーザインターフェイス画像の表示、若しくは携帯型コンテンツプレーヤ1の動作に切り換えるべきであるのかについては、いくつか考えられるものである。つまり、図6にて示した、アーティスト、アルバム、曲名ごとの場合に対応したユーザインターフェイス画像への切り換わりのパターンは、あくまでも一例であり、他にも考えられるものである。例えば、図6(c)の場合のようにして、アルバム名を示す強調文字列部分について選択決定操作を行ったことに応じては、そのアルバムに収録された楽曲を、所定順に従って順次再生していく(このときには再生状況表示が行われる)という動作とすることも考えられる。
あるいは、例えば図6(a)の場合のようにして、アーティスト名を示す強調文字列部分について選択決定操作を行ったことに応じては、アルバムリストのような比較的詳細とされる情報の提示に代えて、例えば単に、携帯型コンテンツプレーヤにおいて記憶されているアーティストAの楽曲(オーディオファイル)の数を単に示すようなユーザインターフェイス画像の態様も考えることができる。
また、図6(b)(d)のアルバムリストや曲名リストなどのリストを表示させるときのリスト項目の順序については、例えば文字順であるとか、アルバム内の収録順などのようにして、通常においてデフォルトとして設定される順序によるものとされればよい。あるいは、オーディオファイルのメタデータには、しばしば、例えば楽曲ごとにユーザのお気に入り度などが示される情報が含まれることが多いが、このような情報を利用して、ユーザにとって重要度、関心度が高いものの順にリスト項目を配列させてリスト表示を行うようにすることも考えられる。
また、本願発明が適用される情報処理装置としては、本実施の形態にあるような、携帯型のコンテンツプレーヤに限定されるものではない。例えば、オーディオ・ビデオコンテンツの記憶、再生が可能とされるとともに、ワンセグなどのテレビジョン放送を受信可能な携帯電話などにも適用できる。また、携帯型に限定されることなく、例えばカーオーディオ機器や、据え置き型の機器などにも本願発明は適用できる。また、これに伴って、情報処理装置が有するべきテレビジョン放送受信機能としては、ワンセグ放送に限定されるものではなく、例えば通常のデジタル若しくはアナログの地上波放送、衛星放送、CATVなどに対応したものとされてよい。さらには、例えばテレビジョン放送だけではなく、ラジオ放送などとされてもよい。
本発明の実施の形態としての携帯型コンテンツプレーヤの構成例を示す図である。 実施の形態の携帯型コンテンツプレーヤにおいて記憶されるコンテンツデータについての内容例を、そのディレクトリ構造例とともに示す図である。 オーディオファイル・メタデータテーブル、アルバムリストテーブル、アーティストリストテーブルの構造例を、その具体的内容例とともに示す図である。 録画ファイルの構造例を示す図である。 キャプションデータの形式例を模式的に示す図である。 テレビジョンコンテンツの表示態様例と、このテレビジョンコンテンツを表示させた状態から、オーディオファイル操作関連のユーザインターフェイス画像の表示に切り換えるための操作手順例を説明するための図である。 実施の形態としての字幕画像表示のための処理手順例を示すフローチャートである。 一致文字列リストテーブルの構造例を、その具体的内容例とともに示す図である。 字幕画像に対する操作に応じた処理手順例を示すフローチャートである。 実施の形態における放送コンテンツ・レジューム機能としての動作例を示す図である。 実施の形態におけるテレビジョンコンテンツについてのレジューム機能を実現するための処理手順例を示すフローチャートである。
符号の説明
1 携帯型コンテンツプレーヤ、11 外部データインターフェイス、12 記憶部、D1 コンテンツ関連データ、D2 プログラム、13 テレビジョンチューナ部、14 アンテナ部、15 オーディオ出力処理部、16 ヘッドフォン端子、17ビデオ出力処理部、18 表示メモリ部、19 ディスプレイ部、20 制御部、21 メモリ部、22 再生処理部、23 操作部、24 キャプションデータ処理部、100 表示画面部、100a 主画像表示領域、100b 字幕画像表示領域、101 下線表示、102 カーソル

Claims (11)

  1. 映像信号を画像として表示出力させると共に、この映像信号に付加される字幕情報を利用して、上記映像信号の画像に同期するようにして字幕画像を表示出力させる表示出力手段と、
    楽曲単位に相当する単位音声情報と、この単位音声情報ごとに関連した1以上の属性情報項目から形成される関連情報とが記憶される記憶部から取得した、上記所定の属性情報項目に格納される情報内容と、上記字幕情報の内容とを比較した結果として、共通とされる文字列情報を取得する文字列情報取得手段と、
    上記字幕画像において、上記文字列情報取得手段により取得された文字列情報を提示しているとする画像部分を所定の態様により強調表示させるようにして上記表示出力手段を制御する、字幕画像対応表示制御手段と、
    を備えることを特徴とする情報処理装置。
  2. 上記字幕画像対応表示制御手段により強調表示された画像部分のうちの1つが選択決定されたことに応じて、この選択決定された画像部分により提示される上記文字列情報が反映された所定の動作を実行させる動作実行制御手段をさらに備える、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 上記動作実行制御手段は、
    上記所定の動作として、上記選択決定された画像部分により提示される文字列情報に基づいて上記関連情報から得られる、上記単位音声情報に関する所定の属性項目についての一覧を示す一覧画像が表示されるようにして、上記表示出力手段を制御する、
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 上記記憶部に記憶されている単位音声情報を再生出力する単位音声情報再生出力手段をさらに備え、
    上記動作実行制御手段は、
    上記所定の動作として、上記選択決定された画像部分により提示される文字列情報に基づいて、上記関連情報から特定した1つの単位音声情報が再生出力されるように、上記単位音声情報再生出力手段を制御する、
    ことを特徴とする請求項2に記載の情報処理装置。
  5. 放送として提供される上記字幕情報の付加された映像信号を取得する放送受信手段を備え、
    上記放送受信手段が取得した映像信号に付加された上記字幕情報を利用して、上記表示出力手段により上記映像信号の画像と上記字幕画像を表示出力させているときに、上記動作実行制御手段による所定の動作が実行された場合に、上記放送受信手段により取得される映像信号の所定の記憶部への記録を開始させる映像信号記録制御手段と、
    上記動作実行制御手段による所定の動作が実行された後において、この所定の動作が開始される直前まで上記表示出力手段により表示出力されていたのと同じ放送元から提供される映像信号の画像を、再度、表示出力させる場合に、上記映像信号記録手段により記録された映像信号をその記録開始位置から再生させる再生制御手段と、
    を備えることを特徴とする請求項2に記載の情報処理装置。
  6. 上記映像信号記録制御手段は、
    所定の終了条件を満たしたものと判定した場合に、開始させた記録を終了させる、
    ことを特徴とする請求項5に記載の情報処理装置。
  7. 上記映像信号記録制御手段は、
    上記所定の終了条件として、上記再生制御手段による再生が実行されないまま、上記放送受信手段により取得される映像信号が対応する番組の終了時刻に至ったことが判定された場合に、開始させた記録を終了させる、
    ことを特徴とする請求項6に記載の情報処理装置。
  8. 上記映像信号記録制御手段は、
    上記所定の終了条件として、上記再生制御手段による再生が実行されないまま、上記放送受信手段により取得される映像信号の所定の記憶媒体への記録を開始した時点から、所定時間を経過したことが判定された場合に、開始させた記録を終了させる、
    ことを特徴とする請求項6に記載の情報処理装置。
  9. 上記映像信号記録制御手段が開始させた記録を終了させたことに応じて、上記所定の記憶部に記録済みとされた映像信号を消去する消去手段、
    を備えることを特徴とする請求項6に記載の情報処理装置。
  10. 映像信号を画像として表示出力させると共に、この映像信号に付加される字幕情報を利用して、上記映像信号の画像に同期するようにして字幕画像を表示出力させる表示出力手順と、
    楽曲単位に相当する単位音声情報と、この単位音声情報ごとに関連した1以上の属性情報項目から形成される関連情報とが記憶される記憶部から取得した、上記所定の属性情報項目に格納される情報内容と、上記字幕情報の内容とを比較した結果として、共通とされる文字列情報を取得する文字列情報取得手順と、
    上記字幕画像において、上記文字列情報取得手段により取得された文字列情報を提示しているとする画像部分を所定の態様により強調表示させるようにして上記表示出力手段を制御する、字幕画像対応表示制御手順と、
    を実行することを特徴とする情報処理方法。
  11. 映像信号を画像として表示出力させると共に、この映像信号に付加される字幕情報を利用して、上記映像信号の画像に同期するようにして字幕画像を表示出力させる表示出力手順と、
    楽曲単位に相当する単位音声情報と、この単位音声情報ごとに関連した1以上の属性情報項目から形成される関連情報とが記憶される記憶部から取得した、上記所定の属性情報項目に格納される情報内容と、上記字幕情報の内容とを比較した結果として、共通とされる文字列情報を取得する文字列情報取得手順と、
    上記字幕画像において、上記文字列情報取得手段により取得された文字列情報を提示しているとする画像部分を所定の態様により強調表示させるようにして上記表示出力手段を制御する、字幕画像対応表示制御手順と、
    を情報処理装置に実行させるプログラム。
JP2007001418A 2007-01-09 2007-01-09 情報処理装置、情報処理方法、プログラム Expired - Fee Related JP4962009B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007001418A JP4962009B2 (ja) 2007-01-09 2007-01-09 情報処理装置、情報処理方法、プログラム
US12/008,072 US8879885B2 (en) 2007-01-09 2008-01-08 Information processing apparatus, information processing method, and program
CN2008100027210A CN101222595B (zh) 2007-01-09 2008-01-09 信息处理装置和信息处理方法
US14/472,644 US20140369667A1 (en) 2007-01-09 2014-08-29 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007001418A JP4962009B2 (ja) 2007-01-09 2007-01-09 情報処理装置、情報処理方法、プログラム

Publications (3)

Publication Number Publication Date
JP2008172324A true JP2008172324A (ja) 2008-07-24
JP2008172324A5 JP2008172324A5 (ja) 2010-02-18
JP4962009B2 JP4962009B2 (ja) 2012-06-27

Family

ID=39594377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007001418A Expired - Fee Related JP4962009B2 (ja) 2007-01-09 2007-01-09 情報処理装置、情報処理方法、プログラム

Country Status (3)

Country Link
US (2) US8879885B2 (ja)
JP (1) JP4962009B2 (ja)
CN (1) CN101222595B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190031A1 (en) * 2008-01-28 2009-07-30 Herve Guihot Television apparatus and method for subtitle handling
US9558501B2 (en) * 2008-09-05 2017-01-31 Sony Corporation Content recommendation system, content recommendation method, content recommendation apparatus, program, and information storage medium
KR101479079B1 (ko) * 2008-09-10 2015-01-08 삼성전자주식회사 디지털 캡션에 포함된 용어의 설명을 표시해주는 방송수신장치 및 이에 적용되는 디지털 캡션 처리방법
US8312105B2 (en) * 2009-04-28 2012-11-13 International Business Machines Corporation Natural ordering in a graphical user interface
US8707381B2 (en) 2009-09-22 2014-04-22 Caption Colorado L.L.C. Caption and/or metadata synchronization for replay of previously or simultaneously recorded live programs
WO2011059275A2 (en) * 2009-11-13 2011-05-19 Samsung Electronics Co., Ltd. Method and apparatus for managing data
CN102082921A (zh) * 2009-11-27 2011-06-01 新奥特(北京)视频技术有限公司 一种多样化字幕飞播的方法及装置
CN102082918B (zh) * 2009-11-27 2015-06-17 新奥特(北京)视频技术有限公司 一种进行多样化字幕飞播的字幕机
CN103064601B (zh) * 2013-01-31 2015-10-07 广东欧珀移动通信有限公司 通过手势操作使视频画面与字幕同步的方法及移动终端
CN103237179B (zh) * 2013-04-03 2016-09-28 广东威创视讯科技股份有限公司 一种拼接墙视频窗口字幕显示方法及装置
KR20150034956A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 컨텐츠 인식 방법 및 이를 적용한 디스플레이 장치, 그리고 컨텐츠 인식 시스템
US9721178B2 (en) 2015-06-16 2017-08-01 Telefonaktiebolaget Lm Ericsson (Publ) Automatic extraction of closed caption data from frames of an audio video (AV) stream using image clipping
US9900665B2 (en) 2015-06-16 2018-02-20 Telefonaktiebolaget Lm Ericsson (Publ) Caption rendering automation test framework
US10083162B2 (en) * 2016-11-28 2018-09-25 Microsoft Technology Licensing, Llc Constructing a narrative based on a collection of images
US10277953B2 (en) * 2016-12-06 2019-04-30 The Directv Group, Inc. Search for content data in content
KR20180068069A (ko) * 2016-12-13 2018-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP6873878B2 (ja) * 2017-09-26 2021-05-19 株式会社日立国際電気 ビデオサーバシステム
WO2019070292A1 (en) * 2017-10-06 2019-04-11 Rovi Guides, Inc. SYSTEMS AND METHODS FOR PRESENTING CLOSED SUBTITLING AND SUBTITLE DATA DURING QUICK ACCESS READING OPERATIONS
US11683558B2 (en) * 2021-06-29 2023-06-20 The Nielsen Company (Us), Llc Methods and apparatus to determine the speed-up of media programs using speech recognition
US11785278B1 (en) * 2022-03-18 2023-10-10 Comcast Cable Communications, Llc Methods and systems for synchronization of closed captions with content output

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279433A (ja) * 2001-03-22 2002-09-27 Hitachi Ltd 映像中の文字検索方法及び装置
JP2005109925A (ja) * 2003-09-30 2005-04-21 Victor Co Of Japan Ltd デジタル放送受信装置
JP2005115607A (ja) * 2003-10-07 2005-04-28 Matsushita Electric Ind Co Ltd 映像検索装置
JP2006129122A (ja) * 2004-10-29 2006-05-18 Sharp Corp 放送受信装置、放送受信方法、放送受信プログラム及びプログラム記録媒体
JP2006191413A (ja) * 2005-01-07 2006-07-20 Seiko Epson Corp 画像表示装置
JP2006245907A (ja) * 2005-03-02 2006-09-14 Sharp Corp 放送記録再生装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9908631D0 (en) * 1999-04-15 1999-06-09 Canon Kk Search engine user interface
US7493018B2 (en) * 1999-05-19 2009-02-17 Kwang Su Kim Method for creating caption-based search information of moving picture data, searching and repeating playback of moving picture data based on said search information, and reproduction apparatus using said method
AU2002213071A1 (en) * 2000-10-11 2002-04-22 United Video Properties, Inc. Systems and methods for supplementing on-demand media
US7007064B2 (en) * 2002-08-02 2006-02-28 Motorola, Inc. Method and apparatus for obtaining and managing wirelessly communicated content
EP1573594A2 (en) * 2002-12-11 2005-09-14 Koninklijke Philips Electronics N.V. Method and system for utilizing video content to obtain text keywords or phrases for providing content related links to network-based resources
US20040152055A1 (en) * 2003-01-30 2004-08-05 Gliessner Michael J.G. Video based language learning system
JP2007521734A (ja) * 2003-06-24 2007-08-02 松下電器産業株式会社 録画装置及び録画代行装置
US20050251832A1 (en) * 2004-03-09 2005-11-10 Chiueh Tzi-Cker Video acquisition and distribution over wireless networks
US20050206751A1 (en) * 2004-03-19 2005-09-22 East Kodak Company Digital video system for assembling video sequences
JP4692950B2 (ja) 2004-06-11 2011-06-01 ソニー株式会社 データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体
JP4135689B2 (ja) * 2004-06-29 2008-08-20 ソニー株式会社 プログラム、電子機器、データ処理方法および再生装置
JP2007281537A (ja) * 2006-04-03 2007-10-25 Hitachi Ltd 録画再生装置及び録画再生装置を含むテレビジョン受信機
US7965923B2 (en) * 2006-05-01 2011-06-21 Yahoo! Inc. Systems and methods for indexing and searching digital video content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279433A (ja) * 2001-03-22 2002-09-27 Hitachi Ltd 映像中の文字検索方法及び装置
JP2005109925A (ja) * 2003-09-30 2005-04-21 Victor Co Of Japan Ltd デジタル放送受信装置
JP2005115607A (ja) * 2003-10-07 2005-04-28 Matsushita Electric Ind Co Ltd 映像検索装置
JP2006129122A (ja) * 2004-10-29 2006-05-18 Sharp Corp 放送受信装置、放送受信方法、放送受信プログラム及びプログラム記録媒体
JP2006191413A (ja) * 2005-01-07 2006-07-20 Seiko Epson Corp 画像表示装置
JP2006245907A (ja) * 2005-03-02 2006-09-14 Sharp Corp 放送記録再生装置

Also Published As

Publication number Publication date
CN101222595B (zh) 2011-11-30
US20140369667A1 (en) 2014-12-18
US8879885B2 (en) 2014-11-04
JP4962009B2 (ja) 2012-06-27
CN101222595A (zh) 2008-07-16
US20080166106A1 (en) 2008-07-10

Similar Documents

Publication Publication Date Title
JP4962009B2 (ja) 情報処理装置、情報処理方法、プログラム
JP5040292B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2007251803A (ja) 記録再生装置、携帯端末装置、記録再生システム、及び記録再生方法
KR20070059813A (ko) 디지털 멀티미디어 재생 장치 및 디지털 멀티미디어 재생장치에서 디지털 멀티미디어 방송을 제공하는 방법
US8270803B2 (en) Image recording and reproducing apparatus, and image reproducing method
KR20090005845A (ko) 태그를 이용한 미디어 신호 재생 제어 방법 및 장치
JP2003224822A (ja) ディジタル信号受信装置、ディジタル信号受信方法、ディジタル信号受信システム
JP2012015958A (ja) コンテンツ再生システム
JP2010016521A (ja) 映像処理装置および映像処理方法
JP2006352485A (ja) 情報記録再生装置及びテレビジョン受像機
JP4739388B2 (ja) 記録再生装置、携帯端末装置、記録再生システム、及び記録再生方法
JP2004015115A (ja) デジタル複合再生装置
JP4635098B1 (ja) 電子機器
JP2006013619A (ja) データ処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP6213031B2 (ja) 映像処理装置及び方法
JP2011071584A (ja) 電子機器及び表示方法
JP6980177B2 (ja) オーディオ装置
JP2007324845A (ja) 番組予約システム、情報処理端末、および映像処理装置
JP2009253545A (ja) 番組録画装置および番組録画方法
JP4312167B2 (ja) コンテンツ再生装置
JP2008109420A (ja) 記録媒体再生装置
KR101436635B1 (ko) 디브이알 기능을 갖는 영상표시기기의 저장정보 편집장치및 방법
JP2008097726A (ja) コンテンツ記録再生装置、コンテンツ記録再生方法、コンテンツ記録再生装置制御プログラム、および記録媒体
JP2009253546A (ja) 番組録画再生装置および番組録画再生方法
KR20070107277A (ko) 방송 수신기를 이용한 이미지 파일의 재생방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees