JP2004023787A

JP2004023787A - Visualization and navigation interface by television system

Info

Publication number: JP2004023787A
Application number: JP2003158077A
Authority: JP
Inventors: Jamey Graham; ジャメイ　グラハム
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-06-17
Filing date: 2003-06-03
Publication date: 2004-01-22
Anticipated expiration: 2023-06-03
Also published as: JP4235041B2

Abstract

<P>PROBLEM TO BE SOLVED: To impart a method for extracting and displaying multimedia information. <P>SOLUTION: A television (TV) interface is imparted for displaying the multimedia information storable in a multimedia document. The interface enables a user to navigate according to the multimedia information stored in the multimedia document. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、一般にテレビジョンインターフェースに情報を表示することに関連し、特にテレビジョンに表示されるマルチメディア情報のナビゲーション（ｎａｖｉｇａｔｉｏｎ）を支援する、テレビジョンにおけるユーザインターフェースを表示する技術に関連する。
【０００２】
【従来の技術】
テレビジョン（ＴＶ）を経由して格納済みのマルチメディア情報を表示することの可能な機器の出現は、ユーザのテレビジョン視聴習慣を劇的に変化させている。そのような機器の具体例には、ディジタルビデオレコーダ（ＤＶＲ）、ディジタルビデオディスク（ＤＶＤ）プレーヤ等が含まれる。ＤＶＤは、後で再生するためにＴＶ放送を記録することが可能である。記録されたＴＶ放送の再生中に、ユーザは、一時停止、早送り、巻き戻しをすることが可能であり、また、それら以外の動作を、ビデオカセットレコーダ（ＶＣＲ）システムで行われ得る動作と同様に、記録されたＴＶ放送に対して実行することが可能である。
【０００３】
一般にＤＶＲは、記録されたＴＶ放送を格納するための格納サブシステム（例えば、ハードドライブ）を有するデータ処理システムである。ＤＶＲは、ユーザにより指定され得る時間の間に、１つ又はそれ以上のＴＶ放送を記録することが可能である。また、ＤＶＲは一般に、記録されたＴＶ放送情報の再生に関するナビゲーション及び制御用のユーザインターフェースを備える。このユーザインターフェースは、ＴＶ遠隔装置を利用して制御されるよう設計される。
【０００４】
【発明が解決しようとする課題】
ＴＶに表示され、ＴＶを通じて出力される記録済みのマルチメディア情報（これは、格納済みのＴＶ放送情報を含み得る）の再生をユーザが制御及びナビゲートすることを可能にする、様々なユーザインターフェースが作成されている。一例にあっては、テレビジョンインターフェースは、ＴＶにより再生されているところのマルチメディア情報と並んで表示されるタイムバー（ｔｉｍｅ　ｂａｒ）を含む。タイムバーは、マルチメディア記録全体の長さ、及びマルチメディア情報の再生中に経過した時間を示す。そのバーにはマーカ（ｍａｒｋｅｒ）も包含され、ユーザが「ジャンプ（ｊｕｍｐ）」することの可能なマルチメディア情報中の時点（ｔｉｍｅ　ｐｏｉｎｔ）を表示する。ユーザは、遠隔制御を利用して、そのマーカに対応する映像の時点にジャンプすることが可能である。従来のインターフェースでは、マーカは、マルチメディア情報中に事前に設定された時点を単に表示するに過ぎず、記録されたマルチメディア情報の内容を参酌して決定されてはいない。例えば、マーカは、マルチメディア情報の１／４、１／２、及び３／４の時間に対応し得る。また、これらのマーカは、ユーザが設定することはできず、マルチメディア情報の内容を示すものではない。更に、マーカは、タイムバーにおける単なる線又はライン（ｌｉｎｅ）として表示され、マルチメディア情報の内容に関連する何らの情報も示さない。それに加えて、記録済みのマルチメディア情報のナビゲーションは、事前に設定されたマーカに制約され−−タイムバーは、記録済みのマルチメディア情報中のマーカに対応しない部分に、任意に又はランダムにアクセスすることを許容しない。
【０００５】
ディジタルビデオディスク（ＤＶＤ）プレーヤは、一般に、事前に設定した場面又はシーン（ｓｃｅｎｅｓ）を利用して、ＤＶＤに格納されたマルチメディア情報の再生及びナビゲーションをユーザが制御することを可能にする。ユーザには、そのシーンに関連した画像を含むシーンの選択に関するスクリーンが提示される。ユーザは、シーンを選択して再生を開始することが可能であり、ＤＶＤはその選択されたシーンから始まるマルチメディア情報の再生を開始する。このシーン選択スクリーンは、マルチメディア情報の再生中には示されない。従って、そのＤＶＤインターフェースは、ＤＶＤに格納されたマルチメディア情報の再生中に、対話的なナビゲーションを許容しない。ユーザがシーンを選択すると、選択されたシーンに対応するマルチメディア情報はＴＶにて再生される。再生中に、ユーザは、シーン選択スクリーンを見ること、マルチメディア情報の他の部分をナビゲートすることは許容されない。更に、ユーザは、事前に設定されたシーンの間でのナビゲーションに制限される。
【０００６】
（関連出願の参照項目）
本願は、２００２年２月２１日付けで出願された“Ｍｕｌｔｉｍｅｄｉａ　Ｖｉｓｕａｌｉｚａｔｉｏｎ　＆　Ｉｎｔｅｇｒａｔｉｏｎ　Ｅｎｖｉｒｏｎｍｅｎｔ（ＭｕＶＩＥ）”と題する米国特許出願番号１０／０８１１２９の一部継続出願（代理人管理番号０１５３５８−００６６００）に関連し、更にそれは１９９７年１２月２２日付けで出願された“ＡＵＴＯＭＡＴＩＣ　ＡＤＡＰＴＩＶＥＤＯＣＵＭＥＮＴ　ＲＥＡＤＩＮＧ　ＨＥＬＰ　ＳＹＳＴＥＭ”と題する暫定的でない米国特許出願０８／９９５６１６の一部継続出願に関連し、これら全体の内容は本願の参考に供せられる。
【０００７】
本願は、以下の共通する所有者の特許出願にも関連し、その全体の内容は参考に供せられる：
２００１年１１月１９日付けで出願された“Ｐａｐｅｒ−Ｂａｓｅｄ　Ｉｎｔｅｒｆａｃｅ　ｆｏｒ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｆｏｒｍａｔｉｏｎ”と題する米国特許出願番号第１０／００１８９５号（代理人管理番号０１５３５８−００６５００）。
【０００８】
【課題を解決するための手段】
本発明は、マルチメディア情報を抽出及び表示する技術を与える。本発明の一態様によれば、マルチメディア文書に格納され得るマルチメディア情報を表示するテレビジョン（ＴＶ）インターフェースが設けられる。本発明の一態様の教示するものによれば、そのインターフェースは、マルチメディア文書に格納されたマルチメディア情報により、ユーザがナビゲートすることを可能にする。
【０００９】
一実施例によれば、テレビジョンディスプレイにマルチメディア情報を表示する手法が与えられる。本実施例は、ディスプレイの第１領域にマルチメディア情報の一部を表示するよう構築される。更に、本実施例は、前記ディスプレイの第２領域にナビゲーションバーを表示するよう構築される。このナビゲーションバーは１つ又はそれ以上のサムネイル（ｔｈｕｍｂｎａｉｌ）画像を包含し、１つ又はそれ以上のサムネイル画像中の各サムネイル画像は、前記マルチメディア情報から抽出される。また、１つ又はそれ以上のサムネイル画像中の少なくとも１つのサムネイル画像は、前記ディスプレイの前記第１領域にマルチメディア情報の前記一部が表示されている間に選択されることが可能である。
【００１０】
他の実施例によれば、テレビジョンディスプレイにマルチメディア情報を表示する手法が与えられる。本実施例は、ディスプレイの第１領域に前記マルチメディア情報の一部を表示するよう構築される。また、ナビゲーションバーが表示される前記ディスプレイの第２領域が識別（ｉｄｅｎｔｉｆｙ）される。そして本実施例は、前記ディスプレイの前記第２領域を利用して１つ又はそれ以上のタイムスタンプを決定する。各タイムスタンプに対応するマルチメディア情報からキーフレームが抽出される。前記１つ又はそれ以上のタイムスタンプ内の少なくとも１つのタイムスタンプに関して抽出されたキーフレームを含むように、ナビゲーションバーが形成される。ナビゲーションバーはその後に前記ディスプレイの前記第２領域に表示される。前記ナビゲーションバーには、前記ディスプレイの前記第１領域におけるマルチメディア情報の一部を表示する間にユーザにより選択されることが可能な少なくとも１つのキーフレームが包含される。
【００１１】
更なる他の実施例では、データ処理システムが与えられる。データ処理システムは、プロセッサ及び前記プロセッサに接続されたメモリを有する。そのメモリは、前記プロセッサにより実行される１つ又はそれ以上のコードモジュールを格納するよう構築され、前記１つ又はそれ以上のコードモジュールは、上述したようなテレビジョンディスプレイにマルチメディア情報を表示する手法を実行するように構築される。
【００１２】
更なる他の態様にあっては、テレビジョンディスプレイにマルチメディア情報を表示させるためのコンピュータプログラムプロダクト（ｐｒｏｄｕｃｔ）が提供される。コンピュータプログラムプロダクトは、上述したようなテレビジョンディスプレイにマルチメディア情報を表示する手法を実行させる命令又はコード（ｃｏｄｅ）を包含する。
【００１３】
一態様にあっては、ナビゲーションバーに表示されるサムネイル画像を選択するために、ＴＶ遠隔制御が行われる。
【００１４】
明細書中の他の更なる説明及び添付図面を参照することにより、本発明の本質及び利点に関する更なる理解が得られるであろう。
【００１５】
【発明の実施の形態】
本願実施例は、テレビジョン（ＴＶ）に表示されるナビゲーションバーを与え、ＴＶに出力されるマルチメディア情報の制御及びナビゲーションを可能にする。本願実施例によれば、マルチメディア文書（ドキュメント）に格納され得るマルチメディア情報を表示するテレビジョンユーザインターフェースが与えられる。本願実施例の教示するものによれば、そのインターフェースは、マルチメディア文書に格納されたマルチメディア情報を利用して、ユーザがナビゲーションすることを可能にする。インターフェースは、ＴＶに表示されたマルチメディア文書の内容に焦点を当てた脈絡のある画像（ａ　ｆｏｃｕｓｅｄ　ａｎｄ　ａ　ｃｏｎｔｅｘｔｕａｌ　ｖｉｅｗ）を与える。
【００１６】
上述したように、「マルチメディア情報（ｍｕｌｔｉｍｅｄｉａ　ｉｎｆｏｒｍａｔｉｏｎ）」なる用語は、統合された形式におけるいくつかの異なるタイプの情報より成る情報に言及することを意図する。マルチメディア情報に包含される様々なタイプの情報には、テキスト情報、グラフィックス情報、アニメーション情報、音声（音響）情報、映像情報、スライド情報、及びホワイトボード（ｗｈｉｔｅｂｏａｒｄ）画像情報の組み合わせその他の情報が含まれる。例えば、テレビジョン放送の映像記録は、映像情報及び音声情報を有し得る。場合によっては、映像記録は、映像情報に関連する内容の字幕（ＣＣ：ｃｌｏｓｅｄ−ｃａｐｔｉｏｎｅｄ）テキスト情報をも有し、多くの場合にそれは、映像記録中の音声部分に包含された音声の正確な表現である。また、マルチメディア情報は、１つ又はそれ以上のオブジェクト（ｏｂｊｅｃｔ）　に言及するために使用され、そのオブジェクトは様々な形式又はタイプ（ｔｙｐｅ）の情報を含む。例えば、マルチメディア情報に含まれるマルチメディアオブジェクトには、テキスト情報、グラフィックス情報、アニメーション情報、音声（音響）情報、映像情報、スライド情報、及びホワイトボード画像情報の組み合わせその他の情報が含まれる。
【００１７】
本願で使用される「マルチメディア文書（ｍｕｌｔｉｍｅｄｉａ　ｄｏｃｕｍｅｎｔ）」なる用語は、ディジタル形式でマルチメディア情報を格納する任意の電子的な格納単位（ｕｎｉｔ）（例えば、ファイル）に言及することを意図する。マルチメディア情報を格納するために、様々な異なるフォーマットが使用され得る。これらのフォーマットには、様々なＭＰＥＧフォーマット（例えば、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ７等）、ＭＰ３フォーマット、ＳＭＩＬフォーマット、ＨＴＭＬ＋ＴＩＭＥフォーマット、ＷＭＦ（ウィンドウズ（登録商標）メディアフォーマット）、ＲＭ（リアルメディア）フォーマット、クイックタイム（Ｑｕｉｃｋｔｉｅ）フォーマット、ショックウェーブ（Ｓｈｏｃｋｗａｖｅ）フォーマット、様々なストリーム化メディアフォーマット、技術委員会により開発されたフォーマット、特定の（ｐｒｏｐｒｉｅｔａｒｙ）及び慣習上のフォーマット等が含まれる。マルチメディア文書の具体例には、映像記録、ＭＰＥＧファイル、新たな放送記録、提示記録、記録済みの会議、教室講義録、放送テレビ番組等が含まれ得る。
【００１８】
図１は、本願実施例を適用することの可能な分散ネットワーク１００の概略ブロック図である。図１に示されるように、分散ネットワーク１００は、１つ又はそれ以上のＴＶ機器１０２を含む多数のシステム、１つ又はそれ以上のテレビジョンシステム１０６、及び複数の通信リンク１１０を通じて通信ネットワーク１０８に接続されたサーバシステム１０４を有する。図１に示される分散ネットワーク１００は、本発明の適用が可能な態様を例示するに過ぎず、特許請求の範囲に記載された発明の範囲を制限するものではない。当業者は、様々な変形例、修正例及び代替例を見出すであろう。例えば、本発明は、スタンドアローン（ｓｔａｎｄ−ａｌｏｎｅ）システムに適用することも可能である。スタンドアローン環境では、図１の様々なシステムにより実行される機能は、単独のシステムによって実行されることとなる。
【００１９】
通信ネットワーク１０８は、図１に示される様々なシステムが互いに情報を通信及び交換することを可能にする機構を与える。通信ネットワーク１０８は、それ自身多くの相互接続されたコンピュータシステム及び通信リンクにより構成され得る。一実施例にあっては、通信ネットワーク１０８はインターネットであり、他の実施例では、通信ネットワーク１０８は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ネットワーク、イントラネット、私的なネットワーク、公的なネットワーク、交換ネットワーク等の任意の適切な通信ネットワークであり得る。
【００２０】
図１の様々なシステムを接続するために使用される通信リンク１１０は、ハードワイヤリンク、光リンク、衛星その他の無線通信リンク、伝搬波リンクその他の適切な情報通信用の機構を包含する様々な形式のものであり得る。通信リンクを通じた情報通信を促進するために、様々な通信プロトコルが使用され得る。その通信プロトコルには、ＴＣＰ／ＩＰ、ＴＨＨＰプロトコル、拡張可能マークアップ言語（ＸＭＬ）、無線アプリケーションプロトコル（ＷＡＰ）、工業規格機構による開発のプロトコル、ベンダ専用（ｖｅｎｄｏｒ−ｓｐｅｃｉｆｉｃ）プロトコル、特定の（ｃｕｓｔｏｍｉｚｅｄ）プロトコル等が含まれ得る。
【００２１】
本発明の一態様によれば、サーバシステム１０４、ＴＶ機器１０２、及び／又はそれらの組み合わせは、本願実施例の教示するものによるマルチメディア情報を表示するインターフェースの形成を促進する処理を行うよう構築される。また、ＴＶ機器１０２及び／又はサーバ１０４は、遠隔制御による信号を受信することが可能であり、その信号に従って処理を行う。
【００２２】
インターフェースがサーバ１０４により形成されるならば、サーバ１０４は、通信リンク１０８を通じて、又は通信ネトワーク１０８及びＴＶ機器１０２を通じてＴＶシステム１０６のディスプレイ用のインターフェースを送信する。インターフェースがＴＶ機器１０２により形成されるならば、ＴＶ機器１０２は、通信リンク１１０を通じてＴＶシステム１０６におけるディスプレイ用のインターフェースを送信する。インターフェースがＴＶ機器１０２及びサーバ１０４により形成されるならば、ＴＶ機器１０２、サーバ１０４又はそれらの組み合わせが、ＴＶシステム１０６のディスプレイにインターフェースを送信し得る。サーバ１０４及び／又はＴＶ機器１０２により形成されたインターフェースは、マルチメディア文書に格納されたマルチメディア情報を、ユーザが抽出及び閲覧することを可能にする。
【００２３】
本願実施例により教示されるインターフェースを形成するため及び様々な特徴を得るためのサーバシステム１０４及び／又はＴＶ機器１０２より実行される処理は、サーバシステム１０４及び／又はＴＶ機器１０２にて実行されるソフトウエアモジュールにより、サーバシステム１０４及び／又はＴＶ機器１０２に接続されたハードウエアモジュールにより、又はそれらの組み合わせにより実行される。本発明の他の実施例では、その処理は、図１に示される様々なシステムの間で分散され得る。
【００２４】
インターフェースに表示されるマルチメディア情報は、サーバシステム１０４及び／又はＴＶ機器１０２にアクセスすることの可能なマルチメディア文書に格納される。例えば、マルチメディア文書は、サーバシステム１０４及び／又はＴＶ機器１０２の格納サブシステムに格納され得る。或いは、マルチメディア文書は、サーバシステム１０４及び／又はＴＶ機器１０２にアクセスすることの可能なメモリロケーションに格納され得る。
【００２５】
ユーザはＴＶ１０６を利用して、サーバシステム１０４及び／又はＴＶ機器１０２により形成されたインターフェースを視聴する。また、ユーザは、図１に示される他のシステムと対話（ｉｎｔｅｒａｃｔ）するためにＴＶ機器１０２を利用し得る。例えば、ユーザは、ＴＶ機器１０２を利用して、特定のマルチメディア情報を選択し、及び特定のマルチメディア文書に格納されたマルチメディア情報を表示するインターフェースを作成するようにサーバシステム１０４及び／又はＴＶ機器１０２に要求する。また、ユーザは、ＴＶ機器１０２に接続された入力装置を利用して、サーバシステム１０４及び／又はＴＶ機器１０２により形成されたインターフェースと対話することが可能である。ＴＶ機器１０２は、ＤＣＲ、パーソナルコンピュータ、携帯用コンピュータ、ワークステーション、コンピュータ端末、ネットワークコンピュータ、メインフレームその他の適切な処理システムのような様々なタイプのものであり得る。
【００２６】
本願実施例によれば、単独のコンピュータシステムがサーバ１０４及びＴＶ機器１０２の両者として機能する。サーバシステム１０４及びＴＶ機器１０２の様々な他の態様も可能である。
【００２７】
図２は、本願実施例によるコンピュータシステム２００の概略ブロック図である。コンピュータシステム２００は、図１に示されるような任意のシステムとして使用され得る。図２に示されるように、コンピュータシステム２００は、バス・サブシステム２０４を通じて複数の周辺装置と通信する少なくとも１つのプロセッサ２０２を含む。これらの周辺装置は、メモリサブシステム２０８及びファイル格納サブシステム２１０より成る格納サブシステム２０６、ユーザインターフェース入力装置２１２、ユーザインターフェース出力装置２１４、及びネットワークインターフェースサブシステム２１６を包含する。入力及び出力装置は、ユーザがコンピュータシステム２００と対話することを可能にする。ユーザは、人的なユーザ、装置、プロセス、他のコンピュータ等であり得る。ネットワークインターフェース２１６は、他のコンピュータシステム及び通信ネットワークに対するインターフェースを与える。
【００２８】
バス・サブシステム２０４は、コンピュータシステム２００の様々な要素及びサブシステムが、互いに所望の通信を行わせる機構を与える。コンピュータシステム２００の様々なサブシステム及び要素は、物理的に同じ場所にあることを必要とせず、ネットワーク１００内の様々な場所に分散され得る。バスシステム２０４は単独のバスとして描かれているが、バスシステムの他の態様では複数のバスを使用し得る。
【００２９】
ユーザインターフェース入力装置２１２としては、遠隔制御、キーボード、ポインティングデバイス、マウス、トラックボール、タッチパッド、グラフィクスタブレット、スキャナ、バーコードスキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システムのような音声入力装置、マイクロフォンその他の入力装置を含み得る。一般に、「入力装置」なる用語は、コンピュータシステム２００を利用して情報を入力するための、総ての可能な形式の装置及び手法を包含することを意図する。
【００３０】
ユーザインターフェース出力装置２１４は、ディスプレイサブシステム、プリンタ、ファックス機器、音声出力装置のような視覚的でない提示を包含する。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）のようなフラットパネル装置、投影機等であり得る。また、ディスプレイサブシステムは、音声出力装置のような視覚的でない提示をも与え得る。一般に、「出力装置」なる用語は、コンピュータシステム２００から情報を出力するための総ての任意の可能な装置の形式及び手法を包含することを意図する。本願実施例によれば、本発明の教示するものにより形成されたインターフェースは、出力装置２１４を通じてユーザに提示される。
【００３１】
格納サブシステム２０６は、コンピュータシステムの及び本発明による機能性を与える基本プログラム及びデータ構造を格納するように構築される。例えば、本願実施例によれば、本発明の機能性を実行するソフトウエアモジュールは、サーバシステム２０４の格納サブシステム２０６に格納され得る。これらのソフトウエアモジュールは、サーバシステム１０４のプロセッサ２０２によって実行される。分散された動作環境では、ソフトウエアモジュールは、複数のコンピュータシステムに格納され、複数のコンピュータシステムのプロセッサによって実行される。また、格納サブシステム２０６は、本発明に使用され得る様々なデータベースを格納するための格納部又はレポジトリ（ｒｅｐｏｓｉｔｏｒｙ）を与える。格納サブシステム２０６は、メモリサブシステム２０８及びファイル格納サブシステム２１０より成る。
【００３２】
メモリサブシステム２０８は、プログラム実行中に命令及びデータを格納するための主要なランダムアクセスメモリ（ＲＡＭ）２１８と、所定の命令が格納されている読み取り専用メモリ（ＲＯＭ）２２０とを包含する。ファイル格納サブシステム２１０は、プログラム及びデータファイルに関する永続的な（不揮発性の）格納を行い、そして、ハードディスクドライブ、付随的な取り外し可能な媒体のフロッピディスク、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）ドライブ、光学ドライブ、取り外し可能な媒体カートリッジその他の格納媒体を包含し得る。１つ又はそれ以上のドライブが、他の接続されたコンピュータの遠隔した場所に位置付けられる。
【００３３】
コンピュータシステム２００それ自身が、パーソナルコンピュータ、携帯用コンピュータ、ワークステーション、コンピュータ端末、ネットワークコンピュータ、メインフレーム、キオスク（ｋｉｏｓｋ）、パーソナルディジタル支援装置（ＰＤＡ）、セルラ電話のような通信装置その他のデータ処理装置のような様々なタイプのものであり得る。一般に、サーバコンピュータは、クライアントシステムよりも多くの格納部及び処理容量を有する。コンピュータ及びネットワークの継続的な進展性に配慮して、図２に示されるようなコンピュータシステム２００の記述は、コンピュータシステムの好適実施例を説明するためだけの具体例であることを意図する。図２に示されるコンピュータシステムよりも多くの又は少ない素子を備えることで、コンピュータシステムの他の多くの態様が可能である。
【００３４】
図３は、本願実施例によるマルチメディア情報を閲覧するための概略的なテレビジョンユーザインターフェース３００を示す。図３に示されるようなインターフェース３００は、本発明を組み込む例を説明するに過ぎず、特許請求の範囲に記載された本発明の範囲を制限するものでないことは、明らかであろう。当業者は、それ以外の変形、修正及び代替例を理解するであろう。
【００３５】
本願実施例によれば、インターフェース３００は、ＴＶに表示され、マルチメディア情報を出力するために使用される。また、インターフェース３００は、ＴＶ１０６を通じてマルチメディア情報出力の再生を、ユーザが制御及びナビゲートすることを可能にするという特徴を有する。図示されるように、インターフェース３００は、第１視聴領域（ｖｉｅｗｉｎｇ　ａｒｅａ）３０２及び第２視聴領域３０４を包含する。本発明の他の実施例では、図３に示されるものよりも多い又は少ない視聴領域を有し得ることは、明らかであろう。更に、本発明の他の実施例では、１つ又はそれ以上の視聴領域が、１つの視聴領域内で組み合わせられ得る、又は特定の視聴領域が複数の視聴領域に分割され得る。従って、図３及び以下に示される視聴領域は、特許請求の範囲に記載された本発明の範囲を制限することを意図しない。
【００３６】
図３に示されるように、インターフェース３００は、テレビジョン放送記録に対応するマルチメディア情報を表示する。テレビジョン放送は、サーバシステム１０４及び／又はＴＶ機器１０２にアクセスすることの可能なメモリロケーションにて、テレビジョン放送記録として格納され得る。本発明がテレビジョン記録を表示することに限定されないことは、明らかであろう。テキスト情報、字幕（ＣＣ）情報、ホワイトボード情報その他の情報を含む、ＴＶを通じて表示され得るマルチメディア情報の他の形式は、本発明の他の実施例にて表示され得る。
【００３７】
マルチメディア情報は典型的には「開始時間」及び「終了時間」を含む。開始時間は、マルチメディア情報の記録が開始された時間を示し、終了時間は、マルチメディア情報の記録が中止された時間を示す。記録されたマルチメディア情報は、開始時間及び終了時間の間のマルチメディア情報に格納される。開始時間及び終了時間の間の期間は、マルチメディア情報の持続時間（ｄｕｒａｔｉｏｎ）として言及され得る。
【００３８】
図３に示されるインターフェース３００を通じて出力されるテレビジョン放送情報は、多種多様な技術を利用して格納され得る。ある手法によれば、テレビジョン放送は、サーバシステム１０４のＰＣ−ＴＶビデオカード（ｖｉｄｅｏ　ｃａｒｄ）に接続された衛星受信機を利用して記録及び格納される。サーバシステム１０４上で走るアプリケーションは、インターフェース３００の形成を支援するように記録されたテレビジョン放送を処理する。本発明の他の態様によれば、テレビジョン放送はディジタル映像レコーダを利用して捕捉され得る。例えば、ユーザは特定のチャネルにおけるＴＶプログラムを記録するためにＤＶＲをプログラムし得る。ＤＶＲの具体例には、ＴＩＶＯ（商標）システム、ＲｅｐｌａｙＴＶ（商標）システム、セットトップボックス等の装置が含まれる。
【００３９】
第１視聴領域３０２は、マルチメディア情報を出力する。図３に示されるものは、マルチメディア情報が第１視聴領域３０２にて再生されているところである。
【００４０】
第２視聴領域３０４は、第１視聴領域３０２で再生されるマルチメディア情報のナビゲーションバー３０５を表示する。図３に示されるように、第１視聴領域３０２は、マルチメディア文書に格納され得るマルチメディア情報を出力する。第２視聴領域３０４は、第１視聴領域３０２に表示される情報のナビゲーション及び再生を制御するために使用されるナビゲーションバー３０５を表示する。一実施例では、ナビゲーションバー３０５は、第１視聴領域３０２で再生されるマルチメディア情報の尺度変更された（ｓｃａｌｅｄ）表現形式を表示する。ユーザは、ナビゲーションバー３０５の中で、情報を表示するために使用される尺度変更因子又はスケール因子を選択し得る。一実施例によれば、情報全体の表現形式（即ち、マルチメディア情報の再生に関連する開始時間及び終了時間の間のマルチメディア情報）が第２視聴領域３０４に表示される。本実施例では、ナビゲーションバー３０５の一端は、マルチメディア映像の開始時を表現し、ナビゲーションバー３０５の他端はマルチメディア放送の終了時を表現する。
【００４１】
ナビゲーションバー３０５は、ある時刻におけるマルチメディア情報の視覚的な表現を表示する。キーフレーム（ｋｅｙｆｒａｍｅ）が、マルチメディア文書内のマルチメディア情報から抽出され、ナビゲーションバー３０５内のサムネイル画像として表示される。サムネイル画像は、マルチメディア情報をナビゲートするためにユーザにより使用され得る。ユーザはサムネイル画像を選択するために遠隔制御を利用し得る。サムネイル画像が選択されると、第１視聴領域３０２にて再生されるマルチメディア情報が、選択されたサムネイル画像に対応する時刻にて開始される。
【００４２】
図３に示されるように、一実施例によれば、ナビゲーションバー３０５は、１つ又はそれ以上のサムネイル画像３０６、進行又はプログレス（ｐｒｏｇｒｅｓｓ）バー３０８、動作記号又はアクションシンボル３１０を含む。各サムネイル画像３０６は、ある時刻に格納済みのマルチメディア情報から抽出したキールフレームを表現する。図３に示される実施例では、マルチメディア文書に格納されたマルチメディア情報に含まれている映像情報から抽出した映像キーフレームを利用して、映像情報が表示される。映像キーフレームは、開始時間及び終了時間の間の様々な時点における、マルチメディア文書に包含される映像情報から抽出され得る。
【００４３】
サムネイル画像を読み取りやすくするために、ユーザが構築することの可能な特定のレイアウト形式を利用して、抽出されたサムネイル画像３０６を表示することが可能である。例えば、ユーザは、サムネイル画像高さ、サムネイル画像幅、ナビゲーションバー３０５の幅、ナビゲーションバー３０５の高さを調整することが可能である。図３では、２行のサムネイル画像が表示されるように、サムネイル画像が表示される。
【００４４】
表示されるマルチメディア情報に包含される情報の様々な形式に基づいて、１つ又はそれ以上のサムネイル画像３０６がナビゲーションバー３０５に表示され得る。第２視聴領域３０４に表示されるサムネイル画像は、マルチメディア情報に含まれる映像情報から抽出されたキーフレームを表すが、本発明の他の実施例では、テキスト情報、ホワイトボード情報等のようなマルチメディア情報に包含される他の形式の情報からサムネイル画像が抽出され得ることは、理解されるであろう。本発明の一実施例によれば、ナビゲーションバー３０５に表示されるサムネイル画像数、及びサムネイル画像によって表現される情報形式は、ユーザにより調整可能である。
【００４５】
図３に示されるように、ナビゲーションバー３０５は、２行のサムネイル画像３０６の間に表示されるプログレスバー３０８をも包含する。プログレスバー３０８の物理的な位置は、視聴領域３０２で再生されている情報に対応するマルチメディア情報における時点を示す。図３に示される実施例では、第１視聴領域３０２に表示されるマルチメディア情報が早い時間から遅い時間に移行するにつれて、プログレスバー３０８はナビゲーションバー３０５内で左から右に移動する。プログレスバー３０８は２行のサムネイル画像３０６の間に示されるが、プログレスバー３０８はインターフェース３００の他の領域に示されるようにすることも可能である。例えば、プログレスバー３０８は、サムネイル画像３０６の上の行より上に、サムネイル画像３０６の下の行より下に及びその他の領域に表示されることが可能である。
【００４６】
アクションシンボル３１０は、第１視聴領域３０２のマルチメディア情報に関する再生の現状を示す。図３に示されるように、マルチメディア情報の再生は、一時停止させられる。図示されるように、周知の一時停止記号がアクションシンボル３１０として表示され得る。それに加えて、ユーザがマルチメディア情報を再生するならば、アクションシンボル３１０は、「再生」モードを表現する標準的な三角形を示す。ユーザがマルチメディア情報を早送り又は巻き戻すならば、アクションシンボル３１０は、順方向又は逆方向に移動することを示す標準的な三角形の組を示す。これらの記号は当該技術分野で周知であり、多くのＴＶ、ＶＣＲ、ＤＶＤシステム及び遠隔制御部（リモコン）に見受けられる。
【００４７】
インターフェース３００は、一実施例では、表題又はタイトル領域３１２、データ記録領域３１４、及び現在時刻領域３１６を含む。タイトルセクション３１２は、第１表示領域３０２で再生されるマルチメディア情報の表題を表示する。データ記録領域３１４は、再生されるマルチメディア情報が記録された日付を表示する。現在時刻領域３１６は、再生されるマルチメディア情報における現在の時間を示す。
【００４８】
図３に示されるように、サムネイル画像３０６−１及びサムネイル画像３０６−２は、ナビゲーションバーの左上側及び左下側に位置付けられている。それに加えて、サムネイル画像３０６−３及びサムネイル画像３０６−４は、サムネイル画像３０６−１，３０６−２にそれぞれ隣接して表示されている。一実施例では、サムネイル画像３０６−１は、第１時刻ｔ１でマルチメディア情報から抽出したキーフレームを表現する。また、サムネイル画像３０６−２は、第２時刻ｔ２（ｔ２＞ｔ１）でマルチメディア情報から抽出され、サムネイル画像３０６−３は、第３時刻ｔ３（ｔ３＞ｔ２）でマルチメディア情報から抽出され、サムネイル画像３０６−４は、第４時刻ｔ４（ｔ４＞ｔ３）でマルチメディア情報から抽出される。従って、ナビゲーションバー３０５に表示されるサムネイル画像は、マルチメディア情報の開始時間及び終了時間の間の様々な時刻から抽出されたサムネイル画像を表す。サムネイル画像３０６は様々な手法で構成され得ることは、理解されるであろう。例えば、マルチメディア情報の進行は、上側の行で左から右に、そして下側の行で左から右に流すことが可能である。
【００４９】
図４は、一実施例による第２視聴領域３０４の拡大図を示す。それに加えて、サーバシステム１０４及び／又はＴＶ機器１０２に信号を送信する遠隔制御部４００が示されている。一実施例では、遠隔制御部４００は、インターフェース３００で再生されるマルチメディア情報を、停止、巻き戻し、早送り、一時停止する又は上述した他の動作ために使用され得る。それに加えて、遠隔制御部４００は、ロケーションボックス４０２を制御するために使用される。
【００５０】
図４に示されるように、ロケーションボックス４０２はナビゲーションバー３０５内に表示される。ユーザは、ロケーションボックス４０２を利用して、第１視聴領域３０２に表示されるマルチメディア情報をナビゲートすることが可能である。ロケーションボックス４０２は、第１視聴領域３０２にて再生されるマルチメディア情報において、ナビゲーションバー３０５の中で現在対応付けられている箇所を示す必要はない。その代りに、ロケーションボックス４０２は、遠隔制御部４００を利用してユーザが選択し得る１つ又はそれ以上のサムネイル画像３０６を示す。サムネイル画像３０６を超えてロケーションボックス４０２を移動させることは、遠隔制御部４００における上、下、左又は右ボタンを利用して制御され得る。
【００５１】
ロケーションボックス４０２は、１つのサムネイル画像３０６に重なるように示されているが、ロケーションボックス４０２は、複数のサムネイル画像３０６を又はある範囲内のサムネイル画像を包含することも可能である。サムネイル画像３０６の範囲が選択されたならば、選択された最初及び最後のサムネイル画像３０６の間のマルチメディア情報が、第１視聴領域３０２で再生される。
【００５２】
遠隔制御部４００は、サーバ１０４、ＴＶ機器１０２及び／又はＴＶ１０６と通信することの可能な標準的な任意の遠隔制御部であり得る。本願実施例によれば、遠隔制御部４００は、マルチメディア情報を出力するために使用されるＴＶ１０６をユーザが制御することを可能にする。遠隔制御部４００は、赤外線（ＩＲ）技術、無線、有線、又はサーバシステム１０４、ＴＶ機器１０２及び／又はＴＶ１０６に命令を連絡する際のその他任意の通信プロトコルを利用し得る。遠隔制御部４００は、ＴＶ遠隔制御部、ＤＶＤ遠隔制御部、ＶＣＲ遠隔制御部、パーソナルディジタル支援装置（ＰＤＡ）、セルラ電話機等として具現化され得る。また、遠隔制御部４００は、ＴＶ、ＤＶＲ、ＤＶＤ、ＶＣＲ等の一部としても組み込まれ得る。
【００５３】
図示されるように、遠隔制御部４００は、第２視聴領域３０４におけるロケーションボックス４０２のナビゲーションを支援する矢印ボタン４０６を含む。矢印ボタン４０６は、ロケーションボックス４０２を異なるサムネイル画像３０６に移動させるために使用される。従って、例えば、右矢印キーが押されると、ロケーションボックス４０２はサムネイル画像３０６の１つ分だけ右に移動し、左矢印キーが押されると、ロケーションボックス４０２はサムネイル画像３０６の１つ分だけ左に移動する等の動作が行われる。ナビゲーションバーのナビゲーションについて、以下に詳細に説明する。一実施例では、ボタン４０６のクリックの各々が、クリックされたボタンに対応する方向に、１サムネイル画像だけロケーションボックスの位置を移動させる。他の実施例では、ボタン４０６を選択している場合に、ユーザがロケーションボックスの移動が止まるべきであることを示すまで（例えば、遠隔制御部で以前に選択されたボタンを再度クリックするまで）、ロケーションボックス４０２が、選択されたボタンの方向に連続的に移動する。
【００５４】
入力又はエンターボタン４０８も遠隔制御部４００に設けられている。エンターボタンは、ロケーションボックス４０２により関連付けられている（又は目下強調されている）サムネイル画像を選択するために使用される。例えば、ロケーションボックス４０２が特定のサムネイル画像３０６上に位置付けられており、ユーザがエンターボタン４０８を選択するならば、その特定のサムネイル画像がユーザにより選択されたものとしてマークされる。以後、選択されたサムネイル画像に関する動作が実行される。本願実施例によれば、エンターボタン４０８を押下することで、特定のサムネイル画像３０６上が選択されると、第１視聴領域３０２で再生されるマルチメディア情報は、選択されたサムネイル画像に対応するマルチメディア文書内のマルチメディア情報の部分にジャンプする。例えば、本願実施例によれば、第１視聴領域３０２におけるマルチメディア情報の再生は、選択されたキーフレームに関連するタイムスタンプ（ｔｉｍｅｓｔａｍｐ）に対応する格納済みのマルチメディア情報の部分にジャンプする。タイムスタンプがどのようにしてサムネイル画像に関連付けられるかについては、以下に詳細に説明される。
【００５５】
図５は、本願第１実施例による第２視聴領域３０４の拡大図を示す。選択されたサムネイル画像指標又はインジケータ（ｉｎｄｉｃａｔｏｒ）５００は、第２視聴領域３０４に包含されている。
【００５６】
選択されたサムネイル画像インジケータ５００は、以前ユーザにより選択された１つ又はそれ以上のサムネイル画像３０６を強調するために使用される。選択されたサムネイル画像の各々は、視覚的に区別され、及びロケーションボックス４０２と異なるように表示される。例えば、本願実施例によれば、選択されたサムネイル画像インジケータ５００は、ロケーションボックス４０２を表現するために使用される色彩とは異なる色彩で表示される。図５では、選択されたサムネイル画像インジケータ５００は、選択されたサムネイル画像３０６の境界に色付けされた四角形を表示することで示される。選択されたサムネイル画像を示すために、他の多くのインジケータが使用され得ることは、理解されるであろう。例えば、選択されたサムネイル画像に隣接する記号を表示させることが可能である。
【００５７】
図５に示されるように、第２視聴領域３０４は、サムネイル画像３０６−１に対応する選択されたサムネイル画像を含む。上述したように、本願実施例によれば、遠隔制御部４００を利用して、ユーザはサムネイル画像３０６−１を選択することができる。特定のサムネイル画像（例えば、図５に示されるサムネイル画像３０６−１）を選択する際に、選択されたサムネイル画像インジケータ５００が、選択される画像としてサムネイル画像３０６−１を強調しながら表示される。図示されるように、画像を強調するためにサムネイル画像３０６−１周囲に四角形が表示される。上述したように、選択されたサムネイル画像インジケータ５００（例えば、四角形）は、ロケーションボックス４０２を示すためのものと異なる色彩を利用して描かれ得る。サムネイル画像３０６−１を選択した後に、ユーザはロケーションボックス４０２を他のサムネイル画像（例えば、図５に示されるサムネイル画像５０２）に移動させることができる。
【００５８】
図６は、本願実施例による複数の選択されたサムネイル画像インジケータ５００を示す第２視聴領域を示す。
【００５９】
図６に示されるように、第２視聴領域３０４にて複数のサムネイル画像が選択されている。選択された各画像は、選択されたサムネイル画像インジケータ５００によって示される。選択されたサムネイル画像は、第１視聴領域３０２に表示される格納済みのマルチメディア情報における様々な時点のものである。
【００６０】
本願実施例によれば、選択されたサムネイル画像は、ユーザにとって関心のある格納済みのマルチメディア情報の部分を決定するために使用され得る。また、この情報は、ユーザに関するプロファイル（ｐｒｏｆｉｌｅ）を作成するために使用することも可能であり、そのプロファイルはユーザの関心事を示す。例えば、「ジョージ，Ｗ．ブッシュ大統領」の映像を表示する１つ又はそれ以上の画像をユーザが選択したならば、その選択された画像から、ユーザは「ジョージ，Ｗ．ブッシュ大統領」に関連する内容に興味があることが推測される。更に、マルチメディア情報におけるスポーツ関連内容に相当するサムネイル画像３０６をユーザが選択したならば、それは、ユーザはスポーツに関心のあることを示す。選択されたサムネイル画像から推測された関心事の部分又は話題（ｔｏｐｉｃ）は、ユーザに関するプロファイルを作成するために使用され得る。ユーザプロファイルは、そのユーザに合わせた宣伝広告又は売り込みを行うために使用される。ユーザのプロファイルに基づいて、そのユーザに合わせたプログラミングも行われ得る。例えば、本願実施例によれば、ユーザがスポーツに関心のあることをユーザプロファイルが示すならば、ユーザにナビゲーションバー３０５が表示される場合に、ナビゲーションバーに表示されるスポーツ関連内容に関する総てのサムネイル画像が、ＴＶインターフェースを通じてユーザに表示されるときに強調されるようにすることが可能である。
【００６１】
図７は、本願実施例によるＴＶユーザインターフェース７００を示す。図示されるように、ユーザインターフェース７００は、第１視聴領域７０１、第２視聴領域７０２、ナビゲーションバー７０３、及び下見又はプレビュー（ｐｒｅｖｉｅｗ）領域７０４を含む。
【００６２】
第１視聴領域７０１は、マルチメディア文書からのマルチメディア情報を表示し、これは上述した第１視聴領域３０２と同様である。
【００６３】
第２視聴領域７０２におけるナビゲーションバー７０３は、インターフェース７００の横側に沿って縦向きに並べられたサムネイル画像３０６を含む。加えて、プログレスバー３０８、アクションシンボル３１０、選択されたサムネイル画像インジケータ５００及びロケーションボックス４０２が、ナビゲーションバー７０３に包含される。従って、第２視聴領域７０２は、第２視聴領域３０４に関して説明した任意の特徴を包含し得る。しかしながら、第２視聴領域７０２は、４つの縦列に並べられたサムネイル画像３０６を表示する。
【００６４】
図示されるように、ナビゲーションバー７０３は、４列のサムネイル画像を含む。一実施例では、サムネイル画像の列はプログレスバー３０８によって区分けされる。プログレスバー３０８は、第２視聴領域７０２又はディスプレイ７００の他の領域に設けられ得ることは、理解されるであろう。
【００６５】
図示されるように、サムネイル画像７０６−１、サムネイル画像７０６−２、サムネイル画像７０６−３及びサムネイル画像７０６−４は、４列のナビゲーションバー７０３の最上位行に位置付けられている。一実施例では、サムネイル画像７０６−１は、第１時刻ｔ１におけるマルチメディア情報から抽出されたキーフレームを表現する。また、サムネイル画像７０６−２は第２時刻におけるマルチメディア情報から抽出され（ｔ２＞ｔ１）、サムネイル画像７０６−３は第３時刻におけるマルチメディア情報から抽出され（ｔ３＞ｔ２）、そしてサムネイル画像７０６−４は第４時刻におけるマルチメディア情報から抽出される（ｔ４＞ｔ３）。以後、サムネイル画像７０６−５は第５時刻におけるマルチメディア情報から抽出される（ｔ５＞ｔ４）、等々である。従って、ナビゲーションバー７０３に表示されるサムネイル画像は、マルチメディア情報の開始時刻及び終了時刻の間の様々な時点から抽出されたサムネイル画像を表現する。サムネイル画像７０６は、様々な手法で組織化され得ることが可能なことが、理解されるであろう。例えば、マルチメディア情報の進行は、列の上部から列の底部に、次の列の上部から列の底部に、等々のように流すことが可能である。
【００６６】
プレビュー領域７０４は、マルチメディア文書からマルチメディア情報を下見するために使用されるサムネイル画像７０８を含む。一実施例では、プレビュー領域７０４に表示されるサムネイル画像７０８は、第１視聴領域３０２にて再生されるマルチメディア情報の現在のロケーションに隣接する（前後両者の）所定の期間にて見出されたマルチメディア情報から抽出されたキーフレームを表現する。図示されるように、第１視聴領域７０１にて再生されるマルチメディア情報中の現時点に対応する現在のロケーションのサムネイル７１０が、表示される。現在のロケーションのサムネイル７１０にて表示されるキーフレームは、第１視聴領域７０１にて再生されるマルチメディア情報の現在のロケーションの時刻に厳密には対応しないが、プレビュー領域７０４に表示されるキーフレームの中で現在のロケーションの時間に最も近いキーフレームであり得る。
【００６７】
プレビュー領域７０４では、一実施例では、現在のロケーションのサムネイル画像７１０は、他のサムネイル画像７０８と視覚的に区別されるように表示される。例えば、現在のロケーションのサムネイル画像７１０は、異なる色彩で強調された背景を有する。更に、現在のロケーションのサムネイル画像７１０に隣接する（例えば、上側に又は下側に並んで）記号が表示され得る。図示されるように、現在のロケーションのサムネイル画像７１０に及び他のサムネイル画像７０８にも時間が表示される。その時間は、マルチメディア情報にて経過した時間（例えば、記録されたマルチメディア情報の開始時間から経過した時間）に対応する。格納済みのマルチメディア情報の中で、２１：５０、００：２２：００、００：２２：１０、００：２２：２０、００：２２：３０及び００：２２：４０の時間に現われるマルチメディア情報に対応して、サムネイル画像７０８が示される。
【００６８】
再生されるマルチメディア情報の現在のロケーションを包囲する時間範囲は、ユーザにより構築又は調整することが可能である。例えば、プレビュー領域７０４に関するサムネイル画像７０８の間の時間間隔が指定され得る。その時間間隔を利用して、現在のロケーションに対応するキーフレームを抽出する時間が算出される。その後に、以下に説明するように、計算された時間にキーフレームが抽出され、サムネイル画像７０８として表示される。
【００６９】
他の実施例では、ナビゲーションバー７０３内のロケーションボックス４０２の位置に対応する時間間隔の間に抽出されるキーフレームを、プレビュー領域７０４は包含する。この場合に、ロケーションボックス４０２が特定のサムネイル画像３０６に位置付けられるときは、特定のサムネイル画像の位置に対応するマルチメディア情報に関連する期間から抽出された多数のキーフレームを、プレビュー領域７０４は包含する。キーフレームは、その後に、上述したのと同様な手法でプレビュー領域７０４に表示される。
【００７０】
図８は、本願実施例によるＴＶユーザインターフェース８００を示す。図示されるように、インターフェース８００は、第１視聴領域８０２と、インターフェース８００の横側に縦向きに並べられた第２視聴領域８０４を包含する。
【００７１】
図８に示されるように、第２視聴領域８０４は、２列のサムネイル画像３０６及びプログレスバー８０６を含むナビゲーションバー８０５を包含する。プログレスバー８０６は、サムネイル画像３０６の横に含まれる。しかしながら、他の実施例では、プログレスバー８０６は、サムネイル画像３０６の右側のような、インターフェース８００の他の領域に表示され得る。
【００７２】
また、アクションシンボル８０８も包含されている。図示されるように、アクションシンボル８０８は、プログレスバー８０４から左にずれている。アクションシンボル８０６は、この場所に限定されず、プログレスバー８０６上に表示されるように、他の場所に設けることも可能であることは、理解されるであろう。
【００７３】
一実施例では、関心事の話題（トピック）を利用して、上述したインターフェース中のサムネイル画像を強調し得る。例えば、ユーザが、ある関心のある話題を指定したならば、その関心のある話題に関連するサムネイル画像は強調され得る。関心のある話題については、例えば、２００１年１１月１９日付けで出願された“Ａｕｔｏｍａｔｉｃ　Ａｄａｐｔｉｖｅ　Ｄｏｃｕｍｅｎｔ　Ｈｅｌｐ　Ｓｙｓｔｅｍ”と題する米国特許出願番号第１０／００１８９５号（代理人管理番号０１５３５８−００４２００）に記載されている。
【００７４】
一実施例では、ユーザは１つ又はそれ以上の関心のある話題を選択し得る。一実施例では、関心のある話題は、１つ又はそれ以上のキーワードフレーズ（ｋｅｙｗｏｒｄ　ｐｈｒａｓｅ）に関連する。１つ又はそれ以上の関心のある話題が選択されると、マルチメディア情報の中で、選択された関心のある話題を探索するために、その対応するキーワードフレーズが使用される。例えば、キーワードフレーズに関するキーワード探索は、字幕付番組にて又はマルチメディア情報中の任意のテキスト情報に行われ得る。キーワードフレーズが識別されると、識別されたキーワードフレーズに対応するマルチメディア情報における時間が判定される。判定された時間に最も近い時間から抽出されナビゲーションバーに表示されるサムネイル画像は、その後に強調される。
【００７５】
［本願実施例によるインターフェース作成手法］
以下、本願実施例によりＴＶインターフェース表示されるナビゲーションバーの作成手法を説明する。簡単のため、インターフェースに表示されるマルチメディア情報が映像情報より成ることを想定する。しかしながら、音声情報、テキスト情報、ホワイトボード情報等のような他の形式のマルチメディア情報も、格納済みのマルチメディア情報に包含され、本願の他の実施例のＴＶインターフェースに表示され得ることは、理解されるであろう。
【００７６】
図９は、図３に示されるような第２視聴領域３０４におけるナビゲーションバー３０５、及び本願実施例によりナビゲーションバー３０５を特徴付けるために使用され得る寸法変数（ｄｉｍｅｎｓｉｏｎａｌ　ｖａｒｉａｂｌｅ）を示す。図９に示されるように、ナビゲーションバー３０５は、「画像包含幅（ＩｍａｇｅＣｏｎｔａｉｎｅｒＷｉｄｔｈ）」及び「画像包含高さ（ＩｍａｇｅＣｏｎｔａｉｎｅｒＨｅｉｇｈｔ）」によって特徴付けられる。ナビゲーションバーに表示される各サムネイル画像は、画像幅及び画像高さの寸法によって特徴付けられる。格納されたマルチメディア情報は、持続時間を表す変数によって特徴付けられ得る。
【００７７】
持続時間の変数は、格納済みのマルチメディア情報（即ち、本発明の簡単な例を説明するための映像情報に関するもの）の長さ（秒）を表現する。秒、分、時その他の時間の長さを表現し得る任意の単位を含む様々な単位が、格納済みのマルチメディア情報の持続時間を測定するために使用され得る。
【００７８】
画像幅９０２は、ナビゲーションバーに表示され得る個々のサムネイル画像の幅を表現する。画像高さ９０４は、ナビゲーションバーに表示され得る個々のサムネイル画像の高さを表現する。画像包含幅９０６は、ナビゲーションバーを表示する領域の幅を表現する。画像包含高さ９０８は、ナビゲーションバーを表示する領域の高さを表現する。
【００７９】
図１０は、本願実施例に従って、図３に示されるレイアウトでナビゲーションバー内にサムネイル画像（例えば、サムネイル画像３０６）を表示する方法を示す簡略化された上位概念的フローチャートである。図１０に示される本方法は、サーバ１０４により、ＴＶ機器１０２により、又はサーバ１０４及びＴＶ機器１０２の組み合わせにより実行され得る。例えば、本方法は、サーバ１０４又はＴＶ機器１０２にて実行されるソフトウエアモジュールによって、サーバ１０４又はＴＶ機器１０２に接続されたハードウエアモジュールによって、又はそれらの組み合わせによって実行され得る。以下に説明される実施例では、本方法がサーバ１０４により実行される。図１０に示される方法は、本発明を利用する具体例を示すに過ぎず、特許請求の範囲に記載されるような本発明の範囲を限定するものではない。当業者であれば、これ以外の変形例、修正例及び代替例を見出し得るであろう。
【００８０】
図１０に示されるように、サーバ１０４は、マルチメディア情報を表示するために、ＴＶに記録する格納済みのマルチメディア情報から信号を受信する（ステップ１００１）。この信号に応答して、サーバ１０４はその後にインターフェースにて表示用のマルチメディア情報にアクセスする（ステップ１００２）。上述したように、マルチメディア情報は、サーバ１０４にとってアクセス可能なマルチメディア文書に格納され得る。ステップ１００２の一部として、サーバ１０４は、マルチメディア文書を識別する情報（例えば、マルチメディア文書のファイル名）、及びそのマルチメディア文書のロケーション（例えば、階層経路又はディレクトリパス）を受信し得る。本発明におけるユーザは、マルチメディア文書識別情報を与え得る。サーバ１０４は、与えられた情報に基づいてマルチメディア文書にアクセスし得る。その後にサーバシステム１０４は格納された文書を利用して、本願実施例の教示するところによるインターフェースを作成する。
【００８１】
その後にサーバ１０４は、ステップ１００２（ステップ１００４）にてアクセスしたマルチメディア情報から画像情報を抽出する。他の実施例では、テキスト情報、ホワイトボード情報等の他の情報が、画像情報と供に又はそれに代えて抽出され得る。
【００８２】
その後にサーバ１０４は格納済みのマルチメディア情報の長さを判定する（ステップ１００６）。一実施例では、その長さは秒で計測される。持続時間の変数は、そのマルチメディア情報の長さを表現する値に初期化され得る。
【００８３】
その後に画像幅及び画像包含幅に関する値が判定される（ステップ１００８）。一実施例では、これらの値は事前に設定され、格納サブシステム２０６から引き出され得る。また、これらの値は事前に設定され、サーバ１０４にとってアクセス可能な他の任意のシステムから引き出され得る。
【００８４】
上記の値が決定されると、キーフレームの最大数である最大キーフレームが算出される（ステップ１０１０）。最大キーフレームの値は、ナビゲーションバーの１行にどれ程多くのキーフレームが表示され得るかを示す。説明の便宜上、２行のサムネイル画像が想定される。一実施例では、画像包含幅／画像幅＝最大キーフレームの計算が行われる。この計算では、ナビゲーションバーの幅がサムネイル画像の幅によって除算される。最大キーフレームの値は、ナビゲーションバーの１行にどの程度多くのキーフレームが表示され得るかを示す。
【００８５】
サーバ１０４は、サムネイル画像が表示される第２視聴領域３０４内の場所に対応するセル（ｃｅｌｌ）の初期配置を決定する（ステップ１０１１）。各サムネイルは、画像情報から抽出されたキーフレームである。セルは第２視聴領域３０４内のピクセルロケーション（ｐｉｘｅｌ　ｌｏｃａｔｉｏｎ）に関連付けられる。
【００８６】
サーバ１０４は、秒乗数（ｓｅｃｏｎｄ　ｍｕｌｔｉｐｌｉｅｒ）ｓｅｃ＿ｍ（ステップ１０１２）を決定する。一実施例では、秒乗数は、ｓｅｃ＿ｍ＝持続時間／画像包含幅の計算によって決定される。秒乗数ｓｅｃ＿ｍは、第２視聴領域３０４内のピクセルロケーションを、マルチメディア情報にて対応する時間の値（秒）に変換するために使用される。
【００８７】
サーバ１０４は、ナビゲーションバー内でのセル位置に関連する、上位キーフレームについての第２視聴領域３０４内のＸ位置を決定する（ステップ１０１４）。Ｘ位置は、インターフェース３００におけるピクセルロケーションに対応する。例えば、そのＸ位置は、サムネイル画像３０６−１がインターフェースにて表示される場所であり得る。
【００８８】
サーバ１０４は、ナビゲーションバー内でのセル位置に関連する、下位キーフレームについての第２視聴領域３０４内のＸ位置を決定する。一実施例では、上位キーフレームは時刻Ｔ_Ｘにて抽出されるキーフレームであり、下位キーフレームは時刻Ｔ_Ｙ（Ｔ_Ｙ＞Ｔ_Ｘ）にてマルチメディア情報から抽出されるキーフレームである。Ｘ位置はインターフェース３００におけるピクセルロケーションに対応する。例えば、そのＸ位置は、サムネイル画像３０６−２がインターフェースにて表示される場所であり得る。
【００８９】
一実施例では、下位フレームのＸ位置は、上位フレームのＸ位置に、サムネイル画像幅の半分であるところの画像幅値の半分を加えたものとして算出される。下位の行に表示されるキーフレームに依存して、他の値も使用され得ることは理解されるであろう。例えば、ユーザが互いに接近した２つのキーフレームを表示することを希望する場合に、画像幅値の半分より小さい値を使用することが可能である。
【００９０】
ステップ１０１４，１０１６に関連し、図１１は一実施例による第２視聴領域３０４にて可能なＸ位置を示す。図示されるように、上位キーフレームのＸ位置はＫＦ１^ａ，ＫＦ２^ａ，ＫＦ３^ａにより表現される。特定のサムネイル画像について計算されたＸ位置は、ナビゲーションバー内でその特定のサムネイル画像を表示するための左上側の座標に対応する。下位キーフレームのＸ位置はＫＦ１^ｂ，ＫＦ２^ｂ，ＫＦ３^ｂにより表現される。下位キーフレームのＸ位置は、各サムネイル画像の中央の位置に対応する。
【００９１】
図１０に戻り、サーバ１０４は、上位行キーフレームについてのＸ位置に秒乗数ｓｅｃ＿ｍを乗算することで、上位行キーフレームについての第１タイムスタンプを計算する（ステップ１０１８）。この計算は、マルチメディア情報における時間を、ナビゲーションバーにおけるＸ位置に関連付ける。Ｘ位置の値が増加すると、そのＸ位置に関連するタイムスタンプも増加する。増加するＸ位置それぞれの値は、格納済みのマルチメディア情報における後の時点を表現する。
【００９２】
その後にサーバ１０４は、下位キーフレームのＸ位置に秒乗数ｓｅｃ＿ｍを乗算することで、下位行キーフレームについての第２タイムスタンプを計算する（ステップ１０２０）。一実施例では、下位キーフレームのＸ位置は、上位キーフレームのＸ位置に、画像幅値の半分を加えたものである。従って、下位キーフレームについての第２タイムスタンプは、上位キーフレームについてのタイムスタンプより後の時間に対するものである。
【００９３】
サーバ１０４は、マルチメディア文書から、上記のように計算された第１及び第２タイムスタンプに対応する上位行及び下位行キーフレームを抽出する（ステップ１０２２）。マルチメディア情報における時間に対応する第１及び第２タイムスタンプの値を利用して、そのタイムスタンプに最も近い上位及び下位キーフレームが抽出される。
【００９４】
そして、抽出された上位行キーフレームは、上位行キーフレームについての対応するセル位置に表示される（ステップ１０２４）。また、抽出された下位行キーフレームも、下位行キーフレームについての対応するセル位置に表示される（ステップ（１０２６）。そしてプロセスはステップ１０１４に戻って反復し、セル位置に対応する上位行及び下位行キーフレームについてのＸ位置が決定され、新たなタイムスタンプが算出され、上位行及び下位行が、新たなタイムスタンプに関して抽出され、対応するセル位置にてナビゲーションバー内で表示される。
【００９５】
一実施例では、各サムネイル画像３０６に対応するセルは、座標情報（Ｘ位置）、キーフレーム、及びタイムスタンプを含むＪＡＶＡ（登録商標）オブジェクトのようなオブジェクト（ｏｂｊｅｃｔ）である。
【００９６】
図１２は、図７又は８に描かれた配置に従ってナビゲーションバー内でサムネイル画像３０６のようなサムネイル画像を表示する方法を示す、概略的な上位概念的フローチャート１２００である。図１２に示される方法は、サーバ１０４によって、ＴＶ機器１０２によって、又はサーバ１０４及びＴＶ機器１０２の組み合わせによって実行され得る。例えば、本方法は、サーバ１０４又はＴＶ機器１０２にて実行されるソフトウエアモジュールによって、サーバ１０４又はＴＶ機器１０２に接続されたハードウエアモジュールによって、又はそれらの組み合わせによって実行され得る。以下に説明される実施例では、本方法がサーバ１０４により実行される。図１２に示される方法は、本発明を利用する具体例を示すに過ぎず、特許請求の範囲に記載されるような本発明の範囲を限定するものではない。当業者であれば、これ以外の変形例、修正例及び代替例を見出し得るであろう。
【００９７】
説明の便宜上、ナビゲーションバー８０５を作成することが説明される。本方法では、ナビゲーションバーは水平ではなく垂直に表示される。従って、異なる秒乗数ｓｅｃ＿ｍが使用され、それは、持続時間／画像包含高さに相当する。また、抽出するキーフレームを算出するためにＹ軸位置が使用され、抽出する右列キーフレームを決定するために画像高さが使用される。
【００９８】
図１２に示されるように、サーバ１０４は、マルチメディア情報を表示するために、ＴＶに記録する格納済みの街メディア情報から信号を受信する（ステップ１２０１）。この信号に応答して、サーバ１０４はインターフェースに表示するためのマルチメディア情報にアクセスする（ステップ１２０２）。上述したように、マルチメディア情報は、サーバ１０４にとってアクセス可能なマルチメディア文書に格納され得る。ステップ１２０２の一部として、サーバ１０４は、マルチメディア文書を識別する情報（例えば、マルチメディア文書のファイル名）、及びそのマルチメディア文書のロケーション（例えば、ディレクトリパス）を受信し得る。本発明におけるユーザは、マルチメディア文書識別情報を与え得る。サーバ１０４は、与えられた情報に基づいてマルチメディア文書にアクセスし得る。
【００９９】
その後にサーバ１０４は、ステップ１２０２（ステップ１２０４）にてアクセスしたマルチメディア情報から画像情報を抽出する。他の実施例では、テキスト情報、ホワイトボード情報等の他の情報が、画像情報と供に又はそれに代えて抽出され得る。
【０１００】
サーバ１０４はマルチメディア情報の長さを判定する。一実施例では、その長さは秒で計測される（ステップ１２０６）。持続時間の変数は、そのマルチメディア情報の長さを表現する値に初期化され得る。
【０１０１】
その後に画像高さ及び画像包含高さに関する値が判定される（ステップ１２０８）。一実施例では、これらの値は事前に設定され、格納サブシステム２０６から引き出され得る。また、これらの値は事前に設定され、サーバ１０４にとってアクセス可能な他の任意のシステムから引き出され得る。
【０１０２】
上記の値が決定されると、キーフレームの最大数である最大キーフレームが算出される（ステップ１２１０）。最大キーフレームの値は、ナビゲーションバーの１列にどれ程多くのキーフレームが表示され得るかを示す。説明の便宜上、２列のサムネイル画像が想定される。一実施例では、画像包含高さ／画像高さ＝最大キーフレームの計算が行われる。この計算では、ナビゲーションバーの高さがサムネイル画像の高さによって除算される。最大キーフレームの値は、ナビゲーションバーの１列にどの程度多くのキーフレームが表示され得るかを示す。
【０１０３】
サーバ１０４は、サムネイル画像が表示される第２視聴領域内の場所に対応するセルの初期レイアウトを決定する（ステップ１２１１）。各サムネイルは、画像情報から抽出されたキーフレームである。セルは第２視聴領域８０４内のピクセルロケーションに関連付けられる。
【０１０４】
サーバ１０４は、秒乗数ｓｅｃ＿ｍを決定する（ステップ１２１２）。一実施例では、秒乗数は、ｓｅｃ＿ｍ＝持続時間／画像包含高さの計算によって決定される。秒乗数ｓｅｃ＿ｍは、第２視聴領域３０４内のピクセルロケーションを、マルチメディア情報にて対応する時間の値（秒）に変換するために使用される。
【０１０５】
サーバ１０４は、ナビゲーションバー内でのセル位置に関連する、左側キーフレームについての第２視聴領域８０４内のＹ位置を決定する（ステップ１２１４）。Ｙ位置は、第２視聴領域におけるピクセルロケーションに対応する。例えば、そのＹ位置は、左列のサムネイル画像がインターフェースにて表示される場所であり得る。
【０１０６】
サーバ１０４は、ナビゲーションバー内でのセル位置に関連する、右側キーフレームについての第２視聴領域内のＹ位置を決定する（ステップ１２１６）。一実施例では、左側キーフレームは時刻Ｔ_Ｘにて抽出されるキーフレームであり、ン右側キーフレームは時刻Ｔ_Ｙ（Ｔ_Ｙ＞Ｔ_Ｘ）にてマルチメディア情報から抽出されるキーフレームである。Ｙ位置は第２視聴領域におけるピクセルロケーションに対応する。例えば、そのＹ位置は、右列におけるサムネイル画像がインターフェースにて表示される場所であり得る。
【０１０７】
一実施例では、右側フレームのＹ位置は、左側フレームのＹ位置に、サムネイル画像高さの半分であるところの画像高さの半分の値を加えたものとして算出される。右列に表示されるキーフレームに依存して、他の値も使用され得ることは理解されるであろう。例えば、ユーザが互いに接近した２つのキーフレームを表示することを希望する場合に、画像高さの半分より小さい値を使用することが可能である。
【０１０８】
ステップ１２１４，１２１６に関連し、図１３は一実施例による第２視聴領域８０４にて可能なＸ位置を示す。図示されるように、左列キーフレームＫＦ１^ａ，ＫＦ２^ａ，ＫＦ３^ａについてのＹ位置が示されている。Ｙ位置は、サムネイル画像の表示の左上座標に対応する。更に、右列キーフレームＫＦ１^ｂ，ＫＦ２^ｂ，ＫＦ３^ｂのＹ位置も示されている。右列キーフレームのＹ位置は、左列内の各サムネイル画像３０６の中央の位置に対応する。
【０１０９】
図１２に戻り、サーバ１０４は、左列キーフレームについてのＹ位置に秒乗数ｓｅｃ＿ｍを乗算することで、左列キーフレームについての第１タイムスタンプを計算する（ステップ１２１８）。この計算は、マルチメディア情報における時間を、ナビゲーションバーにおけるＹ位置に関連付ける。Ｙ位置の値が増加すると、タイムスタンプもそれに応じて増加し、Ｙ位置が増加するにつれてマルチメディア文書における後のマルチメディア情報が表示される。
【０１１０】
その後にサーバ１０４は、右側キーフレームのＹ位置に秒乗数ｓｅｃ＿ｍを乗算することで、右側キーフレームについての第２タイムスタンプを計算する（ステップ１２２０）。一実施例では、右側キーフレームのＹ位置は、左側キーフレームのＹ位置に、画像高さの半分の値を加えたものである。従って、右側キーフレームについての第２タイムスタンプは、左側キーフレームについてのタイムスタンプより後の時間に対するものである。
【０１１１】
サーバ１０４は、マルチメディア文書から、上記のように計算された第１及び第２タイムスタンプに対応する上位行及び下位行キーフレームを抽出する（ステップ１２２２）。マルチメディア情報における時間に対応する第１及び第２タイムスタンプの値を利用して、そのタイムスタンプに最も近い左側及び右側キーフレームが抽出される。
【０１１２】
そして、抽出された左側キーフレームは、左側キーフレームについての対応するセル位置に表示される（ステップ１２２４）。また、抽出された右側キーフレームも、右側キーフレームについての対応するセル位置に表示される（ステップ１２２６）。そしてプロセスはステップ１２１４に戻って反復し、セル位置に対応する左側及び右側キーフレームについてのＹ位置が決定され、新たなタイムスタンプが算出され、左側及び右側キーフレームが、新たなタイムスタンプに関して抽出され、対応するセル位置にてナビゲーションバー内で表示される。
【０１１３】
一実施例では、各サムネイル画像３０６に対応するセルは、座標情報（Ｙ位置）、キーフレーム、及びタイムスタンプを含むＪＡＶＡ（登録商標）オブジェクトのようなオブジェクトである。
【０１１４】
ナビゲーションバーの中に任意の数の行又は列が包含され得ることは、理解されるであろう。ナビゲーションバーの中で各キーフレームのＸ又はＹ軸位置を決定するために、行又は列の数に依存して、様々な増加分（ｉｎｃｒｅｍｅｎｔ）が算出される。一実施例では、図７に見受けられるような縦型のナビゲーションバーに関し、増加分は、画像高さの変数を列数で除算したものに等しい。図７における増分は、画像高さを４で除算したものになる。キーフレームはＹ軸に沿って各々の増加分で抽出される。サムネイル画像の２以上の行がナビゲーションバーに包含される場合には、同様な手順が利用される。但し、画像幅の変数は行数によって除算され、その増加分がＸ軸に沿って使用されることになる。
【０１１５】
図１０による一例を説明する。本実施例では、マルチメディア情報は１時間の映像である。従って、持続時間＝３６００である。また、画像包含幅＝７６０、画像幅＝３６、及び画像高さ＝２６であることを想定する。キーフレームの１つの行に関し、キーフレームの最大数は、最大キーフレーム＝画像包含幅／画像幅＝７６０／３６＝２１である。従って、２１個のキーフレームが、水平軸上に左から右に表示される。図３に見受けられるように２行のキーフレームが存在し、全部で４２個のキーフレームが表示され得るものとする。更に、上述したように、キーフレームは、上から下へ、及び左から右へ順序付けられる。
【０１１６】
秒乗数ｓｅｃ＿ｍは、持続時間／画像包含幅＝３６００／７６０＝４．７３６８に等しいｓｅｃ＿ｍとして計算される。Ｘ位置はその後にサムネイル画像３０６のために決定される。例えば、以下のＸ位置が使用される場合に、ＫＦ１^ａ＝０，ＫＦ１^ｂ＝１８；ＫＦ２^ａ＝３６，ＫＦ２^ｂ＝５４；ＫＦ３^ａ＝７２，ＫＦ３^ｂ＝９０、対応するタイムスタンプ値は、Ｓ１^ａ＝０，Ｓ１^ｂ＝８５．２６；Ｓ２^ａ＝１７０．５２，Ｓ２^ｂ＝２５５．７８；及びＳ３^ａ＝３４１．０４，Ｓ３^ｂ＝４２６．３１である。タイムスタンプは、Ｘ位置に秒乗数ｓｅｃ＿ｍを乗算することで算出される。
【０１１７】
ナビゲーションバー内の各々の対応する位置について計算されたタイムスタンプを利用して、サーバ１０４はその時間に最も近いキーフレームを抽出し、それをナビゲーションバーに表示する。
【０１１８】
図１２にて説明した方法による例を説明する。本実施例では、画像高さ＝２６、画像包含高さ＝５４０、及び画像幅＝３６である。
【０１１９】
ナビゲーションバーの高さは異なるので、本実施例における秒乗数は異なる。即ち、秒乗数ｓｅｃ＿ｍ＝持続時間／画像包含高さ＝３６００／５４０＝６．６６６７である。
【０１２０】
Ｙ位置の値は、ＫＦ１^ａ＝０，ＫＦ１^ｂ＝１３；ＫＦ２^ａ＝２６，ＫＦ２^ｂ＝３９；及びＫＦ３^ａ＝５２，ＫＦ３^ｂ＝６５であり、対応するタイムスタンプ値は、Ｓ１^ａ＝０，Ｓ１^ｂ＝８６．６７；Ｓ２^ａ＝１７３．３３，Ｓ２^ｂ＝２６０；及びＳ３^ａ＝３４６．６７，Ｓ３^ｂ＝４３３．３３である。上述したように、タイムスタンプは、Ｙ位置に秒乗数ｓｅｃ＿ｍを乗算することで算出される。
【０１２１】
ナビゲーションバー内の対応する各位置について計算されたタイムスタンプを利用して、サーバ１０４はその時間に最も近いキーフレームを抽出し、それをナビゲーションバーに表示する。
【０１２２】
図１４は、本願実施例により選択されたサムネイル画像に対応するマルチメディア情報の再生を開始する方法を示す概略的な上位概念的フローチャート１４００である。図１４に示される方法は、本発明を応用する例を示すに過ぎず、特許請求の範囲に記載されるような本発明の範囲を限定するものではない。当業者であれば、それ以外の変形例、修正例及び代替例を見出すであろう。
【０１２３】
サーバ１０４は、サムネイル画像が選択されたか否かを判定する（例えば、ナビゲーションバー内のサムネイルがロケーションボックス４０２によって強調され、「入力（ｅｎｔｅｒ）」ボタンが選択されたか否かを判定する。）（ステップ１４０２）。もしそうでなければ、本方法はステップ１４０２に戻り、サーバ１０４はサムネイル画像が選択されたか否かを再び判定する。
【０１２４】
サムネイル画像が選択されると、サーバ１０４は、選択されたサムネイル画像に対応するタイムスタンプを決定する（ステップ１４０４）。本願実施例によれば、選択されたサムネイル画像に対応するタイムスタンプは、そのサムネイル画像が表示されているナビゲーションバー内のセルに関連付けられているタイムスタンプを表す。選択されたサムネイル画像に関連するタイムスタンプは、その後に、第１視聴領域で表示されるマルチメディア情報の再生を再位置付けする（ｒｅｐｏｓｉｔｉｏｎ）ために使用されるために使用される。
【０１２５】
そして、サーバ１０４は、決定されたタイムスタンプに対応する時間にて、第１視聴領域でマルチメディア情報の再生を開始する（１４０６）。この場合に、決定されたタイムスタンプに対応する格納済みのマルチメディア情報内の位置において、再生が始まり、以後継続する。このプロセスはその後にステップ１４０２に戻り、サーバ１４０２は他の選択された画像を監視する。
【０１２６】
一実施例によるナビゲーションバーによるナビゲーションを説明する。一実施例では、図４に描かれる遠隔制御部４００のような遠隔制御部を利用して、ナビゲーションバー内のロケーションボックス４０２の位置をナビゲートする又は変更する。上述したように、ロケーションボックスをナビゲーションバー内の異なる位置に移動させるために、矢印ボタン４０８が使用される。
【０１２７】
上述したように、上側、下側、左側又は右側の場所にロケーションボックスを動かすための要求信号が受信される。その信号を受信すると、サーバ１０４は、要求された移動が実行可能であるか否かを判定し、それに従ってロケーションボックスを動かす。その要求を処理する手法は、ＴＶに表示されるナビゲーションバーの形式及び配置（例えば、サムネイル画像が水平に又は垂直に表示されるナビゲーションバーであること等）に依存し得る。
【０１２８】
図３のナビゲーションバーが使用されるものと仮定し、その信号が、下向きにロケーションボックスを動かすことを要求したならば、サムネイル画像の第１行からサムネイル画像の第２行に向けて、第１行内のロケーションボックス４０２の現在位置の直下のサムネイル画像の所にロケーションボックスが移動させられる。信号が右向きにロケーションボックスを動かすことを要求したならば、ロケーションボックス４０２中の現在のロケーションの隣の（右側の）列内のサムネイル画像の所に、ロケーションボックスが動かされる。更に、信号が左向きにロケーションボックス４０２を動かすことを要求したならば、ロケーションボックス４０２中の現在の位置の左側の列の所に、ロケーションボックスが動かされる。ロケーションバーが特定の方向におけるその限界まで動かされ、受信した信号がロケーションバーを更にその特定の方向に動かすことを要求するならば、その移動は実行可能でないと判断される。例えば、ロケーションボックス４０２が最も左隅のサムネイルに位置付けられていたならば、ロケーションボックスを左に動かす要求は実行可能でないと判断され、何らの動きも起こさないであろう。
【０１２９】
ロケーションボックス４０２がナビゲーションバーの下側の行に位置する場合に、ロケーションボックスを下に動かす要求は、ロケーションボックス４０２の現在のロケーションに隣り合う列の上側の行に、ロケーションボックス４０２が動かされるようにすることが可能である。ユーザがロケーションボックス４０２を後に動かすことを決定することに起因して、ロケーションボックス４０２は次の列に移動する。また、ロケーションボックスを上に動かす要求は、可能であるならば、ロケーションボックス４０２が、ロケーションボックス４０２の現在のロケーションの左列の下側の行に移動するようにする。
【０１３０】
縦向きに並べられたナビゲーションバーの場合には、右に移動する要求は、それが底部に達するまで、ナビゲーションバーを行毎に下に動かす。また、左に移動する要求は、それが上部に達するまでナビゲーションバーを上に戻す。更に、上及び下の要求は、上述したように処理される。
【０１３１】
以上の説明は例示的なものであり、制限的なものではない。本願の開示内容を参照することで、本発明の多くの変形例が、当業者に明白になるであろう。従って、本発明の範囲は、上記の説明を参照しながら決定されるべきものではなく、全範囲及び均等物と供に特許請求の範囲を参照しながら決定されるべきである。
【０１３２】
本発明の具体的な実施例が説明されてきたが、様々な修正、変形、代替的な構成及び均等物も本発明の範疇に含まれる。上述した発明は、ある特定のデータ処理環境下の動作に限定されず、様々なデータ処理環境で動作することは制限されない。更に、本発明は、ある特定の一連の処理及びステップを用いて説明されてきたが、本発明の範囲が上述した一連の処理及びステップに限定されないことは、当業者にとって明白であろう。
【０１３３】
更に、本発明はハードウエア及びソフトウエアの特定の組み合わせを利用して説明されてきたが、ハードウエア及びソフトウエアの他の組み合わせも本発明の範疇にあることは、理解されるであろう。本発明は、ハードウエアのみにて、ソフトウエアのみにて、又はそれらの組み合わせを利用して実現され得る。
【０１３４】
従って、明細書及び図面は、制限的な意味ではなく例示的なものとして取り扱われるべきである。しかしながら、特許請求の範囲に記載された本発明の広範な精神及び範囲から逸脱することなしに、付加、消去、削除その他の修正、及び変更がそれに加えてなされ得ることは、明白であろう。
【図面の簡単な説明】
【図１】図１は、本願実施例に適用可能な分散ネットワークの概略ブロック図である。
【図２】図２は、本願実施例によるコンピュータシステムの概略ブロック図である。
【図３】図３は、本願実施例によるマルチメディア情報を視聴するための概略的なテレビジョンユーザインターフェースを示す図である。
【図４】図４は、一実施例による第２視聴領域の拡大された様子を示す図である。
【図５】図５は、本願実施例による第２視聴領域の拡大されたディスプレイを示す図である。
【図６】図６は、本願実施例による複数の選択されたサムネイル画像インジケータを含む第２視聴領域を示す図である。
【図７】図７は、本願実施例によるＴＶユーザインターフェースを示す図である。
【図８】図８は、本願実施例によるＴＶユーザインターフェースを示す図である。
【図９】図９は、本願実施例による図３に示されるようなナビゲーションバー、及びナビゲーションバーを特徴付けるために使用される寸法変数を示す図である。
【図１０】図１０は、本願実施例によるナビゲーションバーにてサムネイル画像を表示する方法を示す上位概念的なフローチャートである。
【図１１】図１１は、一実施例による第２視聴領域における可能なＸ位置を示す図である。
【図１２】図１２は、本願実施例によるナビゲーションバーにてサムネイル画像を表示する方法を示す上位概念的なフローチャートである。
【図１３】図１３は、一実施例による第２視聴領域における可能なＹ位置を示す図である。
【図１４】図１４は、本願実施例により選択されたサムネイル画像に対応するマルチメディア情報の再生を開始するための方法を示す上位概念的なフローチャートである。
【符号の説明】
１００　分散ネットワーク
１０２　ＴＶ機器
１０４　サーバシステム
１０６　テレビジョンシステム
１０８　通信ネットワーク
１１０　通信リンク
２００　コンピュータシステム
２０２　プロセッサ
２０４　バス・サブシステム
２０６　格納サブシステム
２０８　メモリサブシステム
２１０　ファイル格納サブシステム
２１２　ユーザインターフェース入力装置
２１４　ユーザインターフェース出力装置
２１６　ネットワークインターフェースサブシステム
２１８　ＲＯＭ
２２０　ＲＡＭ
３００　テレビジョンユーザインターフェース
３０２　第１視聴領域
３０４　第２視聴領域
３０５　ナビゲーションバー
３０６　サムネイル画像
３０８　プログレスバー
３１０　アクションシンボル
３１２　表題部
３１４　日付記録部
３１６　現在時刻部
４００　遠隔制御部
４０２　ロケーションボックス
４０６　矢印ボタン
４０８　入力ボタン
５００　選択されたサムネイル画像インジケータ
７００　ＴＶユーザインターフェース
７０１　第１視聴領域
７０２　第２視聴領域
７０３　ナビゲーションバー
７０４　プレビュー領域
７０６　サムネイル画像
７０８　サムネイル画像
８００　ＴＶユーザインターフェース
８０２　第１視聴領域
８０４　第２視聴領域
８０５　ナビゲーションバー
８０６　プログレスバー
８０８　アクションシンボル
９０２　画像幅
９０４　画像高さ
９０６　画像包含幅
９０８　画像包含高さ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates generally to displaying information on a television interface, and more particularly to techniques for displaying a user interface on a television that supports navigation of multimedia information displayed on the television.
[0002]
[Prior art]
The advent of devices capable of displaying stored multimedia information via television (TV) has dramatically changed a user's television viewing habits. Specific examples of such devices include digital video recorders (DVR), digital video disc (DVD) players, and the like. DVDs can record TV broadcasts for later playback. During playback of the recorded TV broadcast, the user can pause, fast forward, rewind, and perform other operations in the same manner as those that can be performed in a video cassette recorder (VCR) system. In addition, the present invention can be executed for a recorded TV broadcast.
[0003]
Generally, a DVR is a data processing system having a storage subsystem (eg, a hard drive) for storing recorded TV broadcasts. A DVR is capable of recording one or more TV broadcasts during a time that may be specified by a user. In addition, the DVR generally includes a user interface for navigation and control regarding reproduction of recorded TV broadcast information. This user interface is designed to be controlled using a TV remote device.
[0004]
[Problems to be solved by the invention]
Various user interfaces that allow the user to control and navigate the playback of recorded multimedia information displayed on the TV and output through the TV, which may include stored TV broadcast information Has been created. In one example, the television interface includes a time bar that is displayed alongside the multimedia information being played by the TV. The time bar indicates the total length of the multimedia recording and the time elapsed during the reproduction of the multimedia information. The bar also includes a marker, which indicates a time point in the multimedia information at which the user can "jump". The user can use the remote control to jump to the point in the video corresponding to the marker. In the conventional interface, the marker merely displays a preset time point in the multimedia information, and is not determined in consideration of the content of the recorded multimedia information. For example, the markers may correspond to １／, 、, and 時間 times of the multimedia information. Also, these markers cannot be set by the user and do not indicate the contents of the multimedia information. Furthermore, the markers are displayed as simple lines or lines in the time bar and do not show any information related to the content of the multimedia information. In addition, navigation of the recorded multimedia information is constrained by pre-set markers--the time bar randomly or randomly accesses parts of the recorded multimedia information that do not correspond to the markers. Do not allow to do.
[0005]
Digital video disc (DVD) players generally allow a user to control the playback and navigation of multimedia information stored on a DVD using preset scenes or scenes. The user is presented with a screen for selecting a scene that includes an image associated with the scene. The user can select a scene and start playing, and the DVD starts playing multimedia information starting from the selected scene. This scene selection screen is not shown during playback of multimedia information. Therefore, the DVD interface does not allow interactive navigation during playback of multimedia information stored on the DVD. When the user selects a scene, the multimedia information corresponding to the selected scene is reproduced on the TV. During playback, the user is not allowed to see the scene selection screen and navigate other parts of the multimedia information. Further, the user is restricted to navigating between preset scenes.
[0006]
(Reference items for related applications)
This application is related to a continuation-in-part of U.S. patent application Ser. Further, it is related to a continuation-in-part of a non-provisional US patent application Ser. Offered.
[0007]
This application is also related to the following commonly owned patent applications, the entire contents of which are incorporated by reference:
U.S. Patent Application No. 10/001895, filed November 19, 2001, entitled "Paper-Based Interface for Multimedia Information" (Attorney Docket No. 015358-006500).
[0008]
[Means for Solving the Problems]
The present invention provides techniques for extracting and displaying multimedia information. According to one aspect of the invention, a television (TV) interface for displaying multimedia information that can be stored in a multimedia document is provided. In accordance with the teachings of one aspect of the present invention, the interface allows a user to navigate through multimedia information stored in a multimedia document.
[0009]
According to one embodiment, a technique is provided for displaying multimedia information on a television display. This embodiment is configured to display a part of the multimedia information in the first area of the display. Further, this embodiment is configured to display a navigation bar in a second area of the display. The navigation bar includes one or more thumbnail images, and each thumbnail image in the one or more thumbnail images is extracted from the multimedia information. Also, at least one thumbnail image of one or more thumbnail images can be selected while the part of the multimedia information is displayed in the first area of the display.
[0010]
According to another embodiment, a technique is provided for displaying multimedia information on a television display. This embodiment is configured to display a part of the multimedia information in a first area of a display. Also, a second area of the display on which a navigation bar is displayed is identified. The embodiment then determines one or more time stamps using the second area of the display. A key frame is extracted from the multimedia information corresponding to each time stamp. A navigation bar is formed to include keyframes extracted for at least one of the one or more timestamps. A navigation bar is then displayed in the second area of the display. The navigation bar includes at least one key frame that can be selected by a user while displaying a portion of the multimedia information in the first area of the display.
[0011]
In yet another embodiment, a data processing system is provided. The data processing system has a processor and a memory connected to the processor. The memory is configured to store one or more code modules executed by the processor, the one or more code modules displaying multimedia information on a television display as described above. Built to perform the technique.
[0012]
In yet another aspect, a computer program product for displaying multimedia information on a television display is provided. The computer program product includes instructions or code for performing the techniques for displaying multimedia information on a television display as described above.
[0013]
In one aspect, TV remote control is performed to select a thumbnail image displayed on the navigation bar.
[0014]
A further understanding of the nature and advantages of the present invention will be obtained by reference to the other further description in the specification and the accompanying drawings.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiments of the present application provide a navigation bar displayed on a television (TV) and enable control and navigation of multimedia information output to the TV. According to an embodiment of the present invention, a television user interface for displaying multimedia information that may be stored in a multimedia document is provided. In accordance with the teachings of the present embodiments, the interface allows a user to navigate using multimedia information stored in a multimedia document. The interface provides a focused and a contextual view that focuses on the content of the multimedia document displayed on the TV.
[0016]
As mentioned above, the term "multimedia information" is intended to refer to information consisting of several different types of information in an integrated format. Various types of information included in the multimedia information include text information, graphics information, animation information, audio (sound) information, video information, slide information, and combinations of whiteboard image information and other information. Is included. For example, a video record of a television broadcast may include video information and audio information. In some cases, the video recording also has closed-captioned (CC) textual information of the content associated with the video information, which in many cases is the exact content of the audio contained in the audio portion of the video recording. It is an expression. Also, multimedia information is used to refer to one or more objects, which objects include information of various types. For example, the multimedia object included in the multimedia information includes text information, graphics information, animation information, audio (sound) information, video information, slide information, a combination of whiteboard image information, and other information.
[0017]
As used herein, the term “multimedia document” is intended to refer to any electronic unit (eg, file) that stores multimedia information in digital form. A variety of different formats can be used to store multimedia information. These formats include various MPEG formats (eg, MPEG1, MPEG2, MPEG4, MPEG7, etc.), MP3 format, SMIL format, HTML + TIME format, WMF (Windows (registered trademark) media format), RM (real media) format, Includes Quicktie format, Shockwave format, various streamed media formats, formats developed by the technical committee, proprietary and customary formats, and the like. Specific examples of multimedia documents may include video recordings, MPEG files, new broadcast recordings, presentation recordings, recorded meetings, classroom lectures, broadcast television programs, and the like.
[0018]
FIG. 1 is a schematic block diagram of a distributed network 100 to which the embodiment of the present application can be applied. As shown in FIG. 1, a distributed network 100 includes a number of systems including one or more TV devices 102, one or more television systems 106, and a communication network 108 through a plurality of communication links 110. It has a server system 104 connected. The distributed network 100 shown in FIG. 1 merely illustrates an aspect to which the present invention can be applied, and does not limit the scope of the invention described in the claims. Those skilled in the art will find various variations, modifications and alternatives. For example, the present invention can be applied to a stand-alone system. In a standalone environment, the functions performed by the various systems of FIG. 1 will be performed by a single system.
[0019]
Communication network 108 provides a mechanism that allows the various systems shown in FIG. 1 to communicate and exchange information with one another. Communication network 108 may itself be comprised of many interconnected computer systems and communication links. In one embodiment, the communication network 108 is the Internet, and in another embodiment, the communication network 108 is a local area network (LAN), a wide area network (WAN), a wireless network, an intranet, a private network, It can be any suitable communication network, such as a public network, a switching network, and the like.
[0020]
The communication links 110 used to connect the various systems of FIG. 1 include hardwire links, optical links, satellites and other wireless communication links, propagation links and other suitable mechanisms for information communication. It can be of the form Various communication protocols may be used to facilitate information communication over the communication link. The communication protocols include TCP / IP, THHP protocol, extensible markup language (XML), wireless application protocol (WAP), protocols developed by industry standards organizations, vendor-specific protocols, and customized (customized). ) Protocols etc. may be included.
[0021]
According to one aspect of the invention, the server system 104, the TV device 102, and / or a combination thereof is configured to perform a process that facilitates the formation of an interface for displaying multimedia information in accordance with the teachings of the present embodiments. Is done. In addition, the TV device 102 and / or the server 104 can receive a signal by remote control, and perform processing according to the signal.
[0022]
If the interface is formed by the server 104, the server 104 sends the interface for the display of the TV system 106 through the communication link 108 or through the communication network 108 and the TV device 102. If the interface is formed by TV device 102, TV device 102 transmits an interface for display on TV system 106 via communication link 110. If the interface is formed by the TV device 102 and the server 104, the TV device 102, the server 104, or a combination thereof may transmit the interface to the display of the TV system 106. The interface formed by server 104 and / or TV device 102 allows a user to extract and view multimedia information stored in a multimedia document.
[0023]
The processing performed by the server system 104 and / or the TV device 102 to form the interface and obtain various features taught by the embodiments of the present application is performed by the server system 104 and / or the TV device 102. It is executed by a software module, a hardware module connected to the server system 104 and / or the TV device 102, or a combination thereof. In other embodiments of the present invention, the processing may be distributed among the various systems shown in FIG.
[0024]
The multimedia information displayed on the interface is stored in a multimedia document that can access the server system 104 and / or the TV device 102. For example, the multimedia document may be stored on the server system 104 and / or the storage subsystem of the TV device 102. Alternatively, the multimedia document may be stored in a memory location accessible to the server system 104 and / or the TV device 102.
[0025]
The user uses the TV 106 to watch the interface formed by the server system 104 and / or the TV device 102. Also, the user may utilize the TV device 102 to interact with other systems shown in FIG. For example, a user may utilize the TV device 102 to select particular multimedia information and to create an interface that displays multimedia information stored in a particular multimedia document and / or the server system 104 and / or Request to the TV device 102. In addition, the user can use an input device connected to the TV device 102 to interact with the server system 104 and / or the interface formed by the TV device 102. The TV device 102 can be of various types, such as a DCR, personal computer, portable computer, workstation, computer terminal, network computer, mainframe, or other suitable processing system.
[0026]
According to this embodiment, a single computer system functions as both the server 104 and the TV device 102. Various other aspects of the server system 104 and the TV device 102 are also possible.
[0027]
FIG. 2 is a schematic block diagram of a computer system 200 according to the embodiment of the present application. Computer system 200 can be used as any system as shown in FIG. As shown in FIG. 2, computer system 200 includes at least one processor 202 that communicates with a plurality of peripheral devices through a bus subsystem 204. These peripherals include a storage subsystem 206 comprising a memory subsystem 208 and a file storage subsystem 210, a user interface input device 212, a user interface output device 214, and a network interface subsystem 216. Input and output devices allow a user to interact with computer system 200. A user can be a human user, a device, a process, another computer, or the like. Network interface 216 provides an interface to other computer systems and communication networks.
[0028]
Bus subsystem 204 provides a mechanism by which the various components and subsystems of computer system 200 perform desired communications with one another. The various subsystems and elements of computer system 200 need not be physically located at the same location, but may be distributed at various locations within network 100. Although bus system 204 is depicted as a single bus, other aspects of the bus system may use multiple buses.
[0029]
The user interface input device 212 includes a remote control, a keyboard, a pointing device, a mouse, a trackball, a touchpad, a graphics tablet, a scanner, a barcode scanner, a touch screen incorporated in a display, and a voice input device such as a voice recognition system. , A microphone or other input device. In general, the term “input device” is intended to encompass all possible types of devices and techniques for inputting information using computer system 200.
[0030]
User interface output devices 214 include non-visual presentations such as display subsystems, printers, fax machines, and audio output devices. The display subsystem may be a cathode ray tube (CRT), a flat panel device such as a liquid crystal display (LCD), a projector or the like. The display subsystem may also provide a non-visual presentation, such as an audio output device. In general, the term “output device” is intended to encompass all any possible device types and techniques for outputting information from computer system 200. According to an embodiment of the present application, an interface formed according to the teachings of the present invention is presented to a user through output device 214.
[0031]
The storage subsystem 206 is configured to store the basic programs and data structures that provide the functionality of the computer system and according to the present invention. For example, according to embodiments of the present application, software modules that perform the functionality of the present invention may be stored in storage subsystem 206 of server system 204. These software modules are executed by the processor 202 of the server system 104. In a distributed operating environment, software modules may be stored in and executed by processors in multiple computer systems. Storage subsystem 206 also provides a storage or repository for storing various databases that can be used for the present invention. The storage subsystem 206 includes a memory subsystem 208 and a file storage subsystem 210.
[0032]
The memory subsystem 208 includes a main random access memory (RAM) 218 for storing instructions and data during program execution, and a read-only memory (ROM) 220 for storing predetermined instructions. File storage subsystem 210 provides permanent (non-volatile) storage of program and data files, and includes a hard disk drive, an accompanying removable media floppy disk, a compact disk read only memory (CD-ROM). It may include drives, optical drives, removable media cartridges and other storage media. One or more drives are located at remote locations on other connected computers.
[0033]
The computer system 200 itself is a personal computer, a portable computer, a workstation, a computer terminal, a network computer, a mainframe, a kiosk, a personal digital assistant (PDA), a communication device such as a cellular telephone, and other data processing. It can be of various types, such as a device. Generally, server computers have more storage and processing capacity than client systems. With the continuing development of computers and networks in mind, the description of computer system 200 as shown in FIG. 2 is intended to be illustrative only of a preferred embodiment of the computer system. Many other aspects of a computer system are possible with more or fewer elements than the computer system shown in FIG.
[0034]
FIG. 3 shows a schematic television user interface 300 for viewing multimedia information according to an embodiment of the present invention. It will be apparent that the interface 300 as shown in FIG. 3 merely illustrates an example incorporating the present invention and does not limit the scope of the invention as claimed. Those skilled in the art will recognize other variations, modifications, and alternatives.
[0035]
According to an embodiment of the present invention, the interface 300 is displayed on a TV and used to output multimedia information. In addition, the interface 300 has a feature that enables a user to control and navigate the reproduction of the multimedia information output through the TV 106. As shown, the interface 300 includes a first viewing area 302 and a second viewing area 304. It will be apparent that other embodiments of the present invention may have more or less viewing areas than those shown in FIG. Further, in other embodiments of the present invention, one or more viewing regions may be combined within one viewing region, or a particular viewing region may be divided into multiple viewing regions. Accordingly, the viewing regions shown in FIG. 3 and below are not intended to limit the scope of the invention as claimed.
[0036]
As shown in FIG. 3, the interface 300 displays multimedia information corresponding to a television broadcast record. The television broadcast may be stored as a television broadcast record at a memory location accessible to server system 104 and / or TV device 102. It will be apparent that the invention is not limited to displaying television records. Other forms of multimedia information that can be displayed through a TV, including text information, caption (CC) information, whiteboard information, and other information, can be displayed in other embodiments of the present invention.
[0037]
The multimedia information typically includes a “start time” and an “end time”. The start time indicates the time at which the recording of the multimedia information was started, and the end time indicates the time at which the recording of the multimedia information was stopped. The recorded multimedia information is stored in the multimedia information between the start time and the end time. The period between the start time and the end time may be referred to as the duration of the multimedia information.
[0038]
Television broadcast information output through the interface 300 shown in FIG. 3 may be stored using various techniques. According to one approach, television broadcasts are recorded and stored using a satellite receiver connected to a PC-TV video card of server system 104. An application running on server system 104 processes the recorded television broadcast to assist in forming interface 300. According to another aspect of the invention, television broadcasts may be captured utilizing a digital video recorder. For example, a user may program a DVR to record a TV program on a particular channel. Specific examples of DVRs include devices such as the TIVO ™ system, the PlayTV ™ system, and set-top boxes.
[0039]
The first viewing area 302 outputs multimedia information. What is shown in FIG. 3 is where multimedia information is being reproduced in the first viewing area 302.
[0040]
The second viewing area 304 displays a navigation bar 305 of multimedia information reproduced in the first viewing area 302. As shown in FIG. 3, the first viewing area 302 outputs multimedia information that can be stored in a multimedia document. The second viewing area 304 displays a navigation bar 305 used to control navigation and reproduction of information displayed in the first viewing area 302. In one embodiment, the navigation bar 305 displays a scaled representation of the multimedia information played in the first viewing area 302. The user may select in the navigation bar 305 the scale factor or scale factor that will be used to display the information. According to one embodiment, a representation of the entire information (i.e., multimedia information between a start time and an end time associated with the reproduction of the multimedia information) is displayed in the second viewing area 304. In this embodiment, one end of the navigation bar 305 represents the start of the multimedia video, and the other end of the navigation bar 305 represents the end of the multimedia broadcast.
[0041]
The navigation bar 305 displays a visual representation of the multimedia information at a certain time. A keyframe is extracted from the multimedia information in the multimedia document and displayed as a thumbnail image in the navigation bar 305. Thumbnail images can be used by users to navigate multimedia information. A user may utilize a remote control to select a thumbnail image. When a thumbnail image is selected, multimedia information reproduced in the first viewing area 302 starts at a time corresponding to the selected thumbnail image.
[0042]
As shown in FIG. 3, according to one embodiment, the navigation bar 305 includes one or more thumbnail images 306, a progress or progress bar 308, and an action or action symbol 310. Each thumbnail image 306 represents a keel frame extracted from multimedia information stored at a certain time. In the embodiment shown in FIG. 3, video information is displayed using video key frames extracted from video information included in multimedia information stored in a multimedia document. Video key frames may be extracted from the video information contained in the multimedia document at various times between the start time and the end time.
[0043]
To make the thumbnail images easier to read, the extracted thumbnail images 306 can be displayed using a specific layout format that can be constructed by the user. For example, the user can adjust the height of the thumbnail image, the width of the thumbnail image, the width of the navigation bar 305, and the height of the navigation bar 305. In FIG. 3, thumbnail images are displayed such that two lines of thumbnail images are displayed.
[0044]
One or more thumbnail images 306 may be displayed on the navigation bar 305 based on various forms of information included in the displayed multimedia information. The thumbnail image displayed in the second viewing area 304 represents a key frame extracted from the video information included in the multimedia information. In another embodiment of the present invention, the thumbnail image such as text information, whiteboard information, or the like is used. It will be appreciated that thumbnail images may be extracted from other types of information contained in the multimedia information. According to one embodiment of the present invention, the number of thumbnail images displayed on the navigation bar 305 and the information format represented by the thumbnail images are adjustable by the user.
[0045]
As shown in FIG. 3, the navigation bar 305 also includes a progress bar 308 displayed between two rows of thumbnail images 306. The physical position of the progress bar 308 indicates the time point in the multimedia information corresponding to the information being reproduced in the viewing area 302. In the embodiment shown in FIG. 3, the progress bar 308 moves from left to right in the navigation bar 305 as the multimedia information displayed in the first viewing area 302 transitions from early to late. Although the progress bar 308 is shown between the two lines of thumbnail images 306, the progress bar 308 may be shown in other areas of the interface 300. For example, the progress bar 308 may be displayed above the line above the thumbnail image 306, below the line below the thumbnail image 306, and in other areas.
[0046]
The action symbol 310 indicates the current state of the reproduction of the multimedia information in the first viewing area 302. As shown in FIG. 3, the reproduction of the multimedia information is paused. As shown, a known pause symbol may be displayed as action symbol 310. In addition, if the user plays the multimedia information, the action symbol 310 shows a standard triangle representing a "play" mode. If the user fast-forwards or rewinds the multimedia information, the action symbol 310 indicates a standard set of triangles indicating moving forward or backward. These symbols are well known in the art and can be found on many TV, VCR, DVD systems and remote controls.
[0047]
Interface 300 includes, in one embodiment, a title or title area 312, a data recording area 314, and a current time area 316. The title section 312 displays the title of the multimedia information reproduced in the first display area 302. The data recording area 314 displays the date on which the reproduced multimedia information was recorded. The current time area 316 indicates the current time in the multimedia information to be reproduced.
[0048]
As shown in FIG. 3, the thumbnail images 306-1 and 306-2 are positioned on the upper left and lower left sides of the navigation bar. In addition, the thumbnail images 306-3 and 306-4 are displayed adjacent to the thumbnail images 306-1 and 306-2, respectively. In one embodiment, the thumbnail image 306-1 represents a key frame extracted from the multimedia information at the first time t1. The thumbnail image 306-2 is extracted from the multimedia information at a second time t2 (t2> t1), and the thumbnail image 306-3 is extracted from the multimedia information at a third time t3 (t3> t2). The thumbnail image 306-4 is extracted from the multimedia information at a fourth time t4 (t4> t3). Therefore, the thumbnail images displayed on the navigation bar 305 represent the thumbnail images extracted from various times between the start time and the end time of the multimedia information. It will be appreciated that thumbnail image 306 can be configured in various ways. For example, the progression of the multimedia information can flow from left to right in the upper row and left to right in the lower row.
[0049]
FIG. 4 shows an enlarged view of the second viewing area 304 according to one embodiment. In addition, a remote control 400 that sends signals to the server system 104 and / or the TV device 102 is shown. In one embodiment, the remote control 400 may be used to stop, rewind, fast forward, pause, or otherwise perform the multimedia information played on the interface 300. In addition, the remote control 400 is used to control the location box 402.
[0050]
As shown in FIG. 4, the location box 402 is displayed in the navigation bar 305. The user can use the location box 402 to navigate through the multimedia information displayed in the first viewing area 302. The location box 402 does not need to indicate a location currently associated with the navigation bar 305 in the multimedia information reproduced in the first viewing area 302. Instead, the location box 402 shows one or more thumbnail images 306 that can be selected by the user using the remote control 400. Moving the location box 402 beyond the thumbnail image 306 may be controlled using the up, down, left or right buttons on the remote control 400.
[0051]
Although the location box 402 is shown to overlap one thumbnail image 306, the location box 402 may include multiple thumbnail images 306 or a range of thumbnail images. When the range of the thumbnail image 306 is selected, the multimedia information between the selected first and last thumbnail images 306 is reproduced in the first viewing area 302.
[0052]
The remote control 400 can be any standard remote control capable of communicating with the server 104, the TV device 102 and / or the TV 106. According to an embodiment of the present invention, the remote controller 400 allows a user to control the TV 106 used to output multimedia information. Remote control 400 may utilize infrared (IR) technology, wireless, wired, or any other communication protocol for communicating instructions to server system 104, TV device 102 and / or TV 106. The remote control 400 can be embodied as a TV remote control, a DVD remote control, a VCR remote control, a personal digital assistant (PDA), a cellular telephone, or the like. Further, the remote control unit 400 can be incorporated as a part of a TV, DVR, DVD, VCR, or the like.
[0053]
As shown, the remote control 400 includes an arrow button 406 that assists in navigating the location box 402 in the second viewing area 304. Arrow buttons 406 are used to move location box 402 to a different thumbnail image 306. Thus, for example, when the right arrow key is pressed, the location box 402 moves right by one thumbnail image 306, and when the left arrow key is pressed, the location box 402 moves left by one thumbnail image 306. Is performed. The navigation of the navigation bar will be described in detail below. In one embodiment, each click of button 406 moves the location box by one thumbnail image in the direction corresponding to the clicked button. In another embodiment, when button 406 is selected, until the user indicates that the location box should stop moving (eg, until the previously selected button is clicked again on the remote control). , The location box 402 moves continuously in the direction of the selected button.
[0054]
An input or enter button 408 is also provided on the remote control 400. The enter button is used to select a thumbnail image associated with (or currently highlighted) by location box 402. For example, if the location box 402 is positioned on a particular thumbnail image 306 and the user selects the enter button 408, that particular thumbnail image is marked as selected by the user. Thereafter, the operation related to the selected thumbnail image is executed. According to the embodiment of the present application, when a specific thumbnail image 306 is selected by pressing the enter button 408, the multimedia information reproduced in the first viewing area 302 corresponds to the selected thumbnail image. Jump to the part of multimedia information in the multimedia document. For example, according to the embodiment of the present application, the reproduction of the multimedia information in the first viewing area 302 jumps to a part of the stored multimedia information corresponding to the timestamp associated with the selected key frame. How a time stamp is associated with a thumbnail image is described in detail below.
[0055]
FIG. 5 shows an enlarged view of the second viewing area 304 according to the first embodiment of the present invention. The selected thumbnail image indicator or indicator 500 is included in the second viewing area 304.
[0056]
The selected thumbnail image indicator 500 is used to highlight one or more thumbnail images 306 previously selected by the user. Each of the selected thumbnail images is visually distinguished and displayed differently from the location box 402. For example, according to the present embodiment, the selected thumbnail image indicator 500 is displayed in a color different from the color used to represent the location box 402. In FIG. 5, the selected thumbnail image indicator 500 is shown by displaying a colored square at the boundary of the selected thumbnail image 306. It will be appreciated that many other indicators may be used to indicate the selected thumbnail image. For example, it is possible to display a symbol adjacent to the selected thumbnail image.
[0057]
As shown in FIG. 5, second viewing area 304 includes a selected thumbnail image corresponding to thumbnail image 306-1. As described above, according to the present embodiment, the user can select the thumbnail image 306-1 using the remote control unit 400. When a specific thumbnail image (for example, the thumbnail image 306-1 shown in FIG. 5) is selected, the selected thumbnail image indicator 500 is displayed while highlighting the thumbnail image 306-1 as the selected image. . As shown, a rectangle is displayed around thumbnail image 306-1 to emphasize the image. As described above, the selected thumbnail image indicator 500 (eg, a rectangle) may be drawn using a different color than that for indicating the location box 402. After selecting thumbnail image 306-1, the user can move location box 402 to another thumbnail image (eg, thumbnail image 502 shown in FIG. 5).
[0058]
FIG. 6 illustrates a second viewing area showing a plurality of selected thumbnail image indicators 500 according to an embodiment of the present application.
[0059]
As shown in FIG. 6, a plurality of thumbnail images are selected in the second viewing area 304. Each selected image is indicated by a selected thumbnail image indicator 500. The selected thumbnail images are at various points in the stored multimedia information displayed in the first viewing area 302.
[0060]
According to embodiments of the present invention, the selected thumbnail image may be used to determine a portion of the stored multimedia information of interest to the user. This information can also be used to create a profile for the user, which profile indicates the user's interests. For example, if the user selects one or more images that display a video of "George, W. Bush", from the selected images, the user may be associated with "George, W. Bush". It is presumed that they are interested in the content. Further, if the user selects a thumbnail image 306 corresponding to sports-related content in the multimedia information, it indicates that the user is interested in sports. The parts or topics of interest inferred from the selected thumbnail image can be used to create a profile for the user. The user profile is used to carry out an advertisement or promotion tailored to the user. Based on the user's profile, programming tailored to that user may also be performed. For example, according to the embodiment of the present application, if the user profile indicates that the user is interested in sports, when the navigation bar 305 is displayed to the user, all of the sports-related contents displayed on the navigation bar are displayed. Thumbnail images can be highlighted when displayed to a user through a TV interface.
[0061]
FIG. 7 illustrates a TV user interface 700 according to an embodiment of the present application. As shown, the user interface 700 includes a first viewing area 701, a second viewing area 702, a navigation bar 703, and a preview or preview area 704.
[0062]
The first viewing area 701 displays multimedia information from the multimedia document, which is similar to the first viewing area 302 described above.
[0063]
The navigation bar 703 in the second viewing area 702 includes the thumbnail images 306 arranged vertically along the horizontal side of the interface 700. In addition, a progress bar 308, an action symbol 310, a selected thumbnail image indicator 500 and a location box 402 are included in the navigation bar 703. Accordingly, second viewing area 702 may include any of the features described with respect to second viewing area 304. However, the second viewing area 702 displays the thumbnail images 306 arranged in four columns.
[0064]
As shown, navigation bar 703 includes four columns of thumbnail images. In one embodiment, the columns of thumbnail images are separated by a progress bar 308. It will be appreciated that the progress bar 308 may be provided in the second viewing area 702 or other areas of the display 700.
[0065]
As shown, the thumbnail image 706-1, the thumbnail image 706-2, the thumbnail image 706-3, and the thumbnail image 706-4 are positioned in the top row of the four-column navigation bar 703. In one embodiment, the thumbnail image 706-1 represents a key frame extracted from the multimedia information at the first time t1. The thumbnail image 706-2 is extracted from the multimedia information at the second time (t2> t1), the thumbnail image 706-3 is extracted from the multimedia information at the third time (t3> t2), and the thumbnail image 706 is obtained. -4 is extracted from the multimedia information at the fourth time (t4> t3). Thereafter, the thumbnail image 706-5 is extracted from the multimedia information at the fifth time (t5> t4), and so on. Therefore, the thumbnail images displayed on the navigation bar 703 represent thumbnail images extracted from various points in time between the start time and the end time of the multimedia information. It will be appreciated that thumbnail images 706 can be organized in various ways. For example, the progression of multimedia information can flow from the top of a column to the bottom of a column, from the top of the next column to the bottom of a column, and so on.
[0066]
Preview area 704 includes a thumbnail image 708 that is used to preview multimedia information from the multimedia document. In one embodiment, the thumbnail image 708 displayed in the preview area 704 is found in a predetermined period (before and after) adjacent to the current location of the multimedia information reproduced in the first viewing area 302. Key frames extracted from the extracted multimedia information. As shown, a thumbnail 710 of the current location corresponding to the current time in the multimedia information reproduced in the first viewing area 701 is displayed. The key frame displayed in the thumbnail 710 of the current location does not strictly correspond to the time of the current location of the multimedia information reproduced in the first viewing area 701, but the key frame displayed in the preview area 704 It may be the key frame closest to the time of the current location in the frame.
[0067]
In the preview area 704, in one embodiment, the thumbnail image 710 of the current location is displayed so as to be visually distinguished from other thumbnail images 708. For example, the thumbnail image 710 at the current location has a background highlighted in different colors. Further, a symbol adjacent (eg, side-by-side or above) thumbnail image 710 at the current location may be displayed. As shown, time is displayed on the thumbnail image 710 at the current location and also on other thumbnail images 708. The time corresponds to the time elapsed in the multimedia information (for example, the time elapsed from the start time of the recorded multimedia information). Among the stored multimedia information, multimedia information appearing at times 21:50, 00:22:00, 00:22:10, 00:22:20, 00:22:30, and 00:22:40. , A thumbnail image 708 is shown.
[0068]
The time range surrounding the current location of the multimedia information to be played can be constructed or adjusted by the user. For example, a time interval between thumbnail images 708 for preview area 704 may be specified. The time for extracting the key frame corresponding to the current location is calculated using the time interval. Thereafter, key frames are extracted at the calculated time and displayed as thumbnail images 708, as described below.
[0069]
In another embodiment, the preview area 704 contains keyframes extracted during a time interval corresponding to the location of the location box 402 in the navigation bar 703. In this case, when the location box 402 is positioned at the specific thumbnail image 306, the preview area 704 includes a number of key frames extracted from the period related to the multimedia information corresponding to the position of the specific thumbnail image. I do. The key frame is then displayed in preview area 704 in a manner similar to that described above.
[0070]
FIG. 8 shows a TV user interface 800 according to an embodiment of the present invention. As shown, the interface 800 includes a first viewing area 802 and a second viewing area 804 arranged vertically on the horizontal side of the interface 800.
[0071]
As shown in FIG. 8, the second viewing area 804 includes a navigation bar 805 including two rows of thumbnail images 306 and a progress bar 806. The progress bar 806 is included beside the thumbnail image 306. However, in other embodiments, progress bar 806 may be displayed in other areas of interface 800, such as to the right of thumbnail image 306.
[0072]
Also, an action symbol 808 is included. As shown, the action symbol 808 is offset to the left from the progress bar 804. It will be appreciated that the action symbol 806 is not limited to this location, but may be provided in other locations, such as displayed on the progress bar 806.
[0073]
In one embodiment, topics of interest may be used to enhance the thumbnail images in the interface described above. For example, if the user has specified a topic of interest, the thumbnail images associated with the topic of interest may be highlighted. Topics of interest are described, for example, in US Patent Application No. 10/001895, entitled "Automatic Adaptive Document Help System", filed November 19, 2001 (Attorney Docket No. 015358-004200). ing.
[0074]
In one embodiment, a user may select one or more topics of interest. In one embodiment, the topic of interest is related to one or more keyword phrases. When one or more topics of interest are selected, the corresponding keyword phrase is used to search for the selected topics of interest in the multimedia information. For example, a keyword search for a keyword phrase may be performed in a program with subtitles or on any text information in multimedia information. Once the keyword phrase is identified, the time in the multimedia information corresponding to the identified keyword phrase is determined. The thumbnail images extracted from the time closest to the determined time and displayed on the navigation bar are emphasized thereafter.
[0075]
[Interface creation method according to the embodiment of the present application]
Hereinafter, a method of creating a navigation bar displayed on the TV interface according to the embodiment of the present application will be described. For simplicity, it is assumed that the multimedia information displayed on the interface comprises video information. However, other forms of multimedia information, such as audio information, text information, whiteboard information, etc., may also be included in the stored multimedia information and displayed on the TV interface of other embodiments of the present application. Will be appreciated.
[0076]
FIG. 9 shows the navigation bar 305 in the second viewing area 304 as shown in FIG. 3, and the dimensional variables that can be used to characterize the navigation bar 305 according to embodiments of the present invention. As shown in FIG. 9, the navigation bar 305 is characterized by “ImageContainerWidth” and “ImageContainerHeight”. Each thumbnail image displayed on the navigation bar is characterized by an image width and image height dimension. The stored multimedia information may be characterized by a variable representing a duration.
[0077]
The duration variable represents the length (in seconds) of the stored multimedia information (i.e., for video information to illustrate a simple example of the present invention). Various units may be used to measure the duration of the stored multimedia information, including seconds, minutes, hours, and any other units that can represent the length of time.
[0078]
Image width 902 represents the width of each thumbnail image that can be displayed on the navigation bar. The image height 904 represents the height of each thumbnail image that can be displayed on the navigation bar. The image inclusion width 906 expresses the width of the area for displaying the navigation bar. The image inclusion height 908 represents the height of the area for displaying the navigation bar.
[0079]
FIG. 10 is a simplified high-level conceptual flowchart illustrating a method of displaying a thumbnail image (eg, thumbnail image 306) in a navigation bar with the layout shown in FIG. 3, according to an embodiment of the present application. The method illustrated in FIG. 10 may be performed by the server 104, by the TV device 102, or by a combination of the server 104 and the TV device 102. For example, the method may be performed by a software module running on the server 104 or the TV device 102, by a hardware module connected to the server 104 or the TV device 102, or by a combination thereof. In the embodiment described below, the method is performed by the server 104. The method shown in FIG. 10 merely illustrates a specific example of utilizing the present invention and is not intended to limit the scope of the present invention as set forth in the claims. Those skilled in the art will be able to find other variations, modifications and alternatives.
[0080]
As shown in FIG. 10, the server 104 receives a signal from stored multimedia information to be recorded on a TV to display the multimedia information (step 1001). In response to this signal, server 104 then accesses the multimedia information for display at the interface (step 1002). As described above, the multimedia information may be stored in a multimedia document accessible to server 104. As part of step 1002, server 104 may receive information identifying the multimedia document (eg, the file name of the multimedia document) and the location of the multimedia document (eg, a hierarchical path or directory path). The user in the present invention can provide multimedia document identification information. Server 104 may access the multimedia document based on the provided information. Thereafter, server system 104 utilizes the stored document to create an interface as taught in the present embodiment.
[0081]
Thereafter, the server 104 extracts image information from the multimedia information accessed in step 1002 (step 1004). In other embodiments, other information, such as text information, whiteboard information, etc., may be extracted with or instead of the image information.
[0082]
Thereafter, the server 104 determines the length of the stored multimedia information (Step 1006). In one embodiment, the length is measured in seconds. The duration variable may be initialized to a value representing the length of the multimedia information.
[0083]
Thereafter, values relating to the image width and the image inclusion width are determined (step 1008). In one embodiment, these values may be preset and retrieved from storage subsystem 206. Also, these values can be preset and derived from any other system accessible to the server 104.
[0084]
When the above values are determined, a maximum key frame which is the maximum number of key frames is calculated (step 1010). The value of the maximum keyframe indicates how many keyframes can be displayed on one line of the navigation bar. For convenience of explanation, two rows of thumbnail images are assumed. In one embodiment, the calculation of image inclusion width / image width = maximum keyframe is performed. In this calculation, the width of the navigation bar is divided by the width of the thumbnail image. The value of the maximum keyframe indicates how many keyframes can be displayed in one line of the navigation bar.
[0085]
The server 104 determines an initial arrangement of cells corresponding to a place in the second viewing area 304 where the thumbnail image is displayed (Step 1011). Each thumbnail is a key frame extracted from the image information. The cell is associated with a pixel location within the second viewing area 304.
[0086]
The server 104 determines a second multiplier (sec_m) (step 1012). In one embodiment, the second multiplier is determined by calculating sec_m = duration / image coverage. The second multiplier sec_m is used to convert a pixel location in the second viewing area 304 into a corresponding time value (second) in the multimedia information.
[0087]
The server 104 determines the X position in the second viewing area 304 for the upper key frame, which is related to the cell position in the navigation bar (step 1014). The X position corresponds to a pixel location in interface 300. For example, the X position may be where the thumbnail image 306-1 is displayed on the interface.
[0088]
The server 104 determines the X position in the second viewing area 304 for the lower key frame, which is related to the cell position in the navigation bar. In one embodiment, the upper keyframe is at time T _X At the time T _Y (T _Y > T _X ) Is a key frame extracted from the multimedia information. The X position corresponds to a pixel location in interface 300. For example, the X position may be where thumbnail image 306-2 is displayed on the interface.
[0089]
In one embodiment, the X position of the lower frame is calculated as the X position of the upper frame plus half the image width value that is half the thumbnail image width. It will be appreciated that other values may be used depending on the keyframe displayed in the lower row. For example, if the user wants to display two keyframes that are close to each other, it is possible to use a value less than half the image width value.
[0090]
In connection with steps 1014 and 1016, FIG. 11 shows possible X positions in the second viewing area 304 according to one embodiment. As shown, the X position of the upper key frame is KF1 ^a , KF2 ^a , KF3 ^a Is represented by The X position calculated for a particular thumbnail image corresponds to the upper left coordinates for displaying that particular thumbnail image in the navigation bar. X position of lower key frame is KF1 ^b , KF2 ^b , KF3 ^b Is represented by The X position of the lower key frame corresponds to the center position of each thumbnail image.
[0091]
Returning to FIG. 10, the server 104 calculates the first time stamp for the upper row key frame by multiplying the X position for the upper row key frame by the second multiplier sec_m (step 1018). This calculation associates the time in the multimedia information with the X position in the navigation bar. As the value of an X position increases, the timestamp associated with that X position also increases. The value of each increasing X position represents a later point in the stored multimedia information.
[0092]
Thereafter, the server 104 calculates a second time stamp for the lower row key frame by multiplying the X position of the lower key frame by a second multiplier sec_m (step 1020). In one embodiment, the X position of the lower keyframe is the X position of the upper keyframe plus half the image width value. Thus, the second timestamp for the lower keyframe is for a time after the timestamp for the upper keyframe.
[0093]
The server 104 extracts upper row and lower row key frames corresponding to the first and second timestamps calculated as described above from the multimedia document (step 1022). Using the values of the first and second time stamps corresponding to the time in the multimedia information, the upper and lower key frames closest to the time stamp are extracted.
[0094]
Then, the extracted upper row key frame is displayed at a cell position corresponding to the upper row key frame (step 1024). The extracted lower row keyframe is also displayed at the corresponding cell location for the lower row keyframe (step (1026). The process then returns to step 1014 and repeats with the upper row and the corresponding row at the cell location. The X position for the lower row keyframe is determined, a new timestamp is calculated, the upper row and lower row are extracted for the new timestamp, and displayed in the navigation bar at the corresponding cell locations.
[0095]
In one embodiment, the cell corresponding to each thumbnail image 306 is an object, such as a JAVA object that includes coordinate information (X position), keyframes, and timestamps.
[0096]
FIG. 12 is a schematic high-level flowchart 1200 illustrating a method of displaying a thumbnail image, such as thumbnail image 306, in a navigation bar according to the arrangement depicted in FIG. The method illustrated in FIG. 12 may be performed by the server 104, by the TV device 102, or by a combination of the server 104 and the TV device 102. For example, the method may be performed by a software module running on the server 104 or the TV device 102, by a hardware module connected to the server 104 or the TV device 102, or by a combination thereof. In the embodiment described below, the method is performed by the server 104. The method shown in FIG. 12 merely illustrates a specific example of utilizing the present invention, and does not limit the scope of the present invention as set forth in the claims. Those skilled in the art will be able to find other variations, modifications and alternatives.
[0097]
For convenience of explanation, creation of the navigation bar 805 will be described. In this method, the navigation bar is displayed vertically instead of horizontally. Therefore, a different second multiplier sec_m is used, which corresponds to duration / image inclusion height. The Y-axis position is used to calculate the key frame to be extracted, and the image height is used to determine the right column key frame to be extracted.
[0098]
As shown in FIG. 12, the server 104 receives a signal from stored city media information recorded on a TV to display multimedia information (step 1201). In response to this signal, server 104 accesses multimedia information for display on the interface (step 1202). As described above, the multimedia information may be stored in a multimedia document accessible to server 104. As part of step 1202, server 104 may receive information identifying the multimedia document (eg, the file name of the multimedia document) and the location of the multimedia document (eg, a directory path). The user in the present invention can provide multimedia document identification information. Server 104 may access the multimedia document based on the provided information.
[0099]
Thereafter, the server 104 extracts image information from the multimedia information accessed in step 1202 (step 1204). In other embodiments, other information, such as text information, whiteboard information, etc., may be extracted with or instead of the image information.
[0100]
The server 104 determines the length of the multimedia information. In one embodiment, the length is measured in seconds (step 1206). The duration variable may be initialized to a value representing the length of the multimedia information.
[0101]
Thereafter, values relating to the image height and the image inclusion height are determined (step 1208). In one embodiment, these values may be preset and retrieved from storage subsystem 206. Also, these values can be preset and derived from any other system accessible to the server 104.
[0102]
When the above values are determined, the maximum key frame, which is the maximum number of key frames, is calculated (step 1210). The value of the maximum keyframe indicates how many keyframes can be displayed in one column of the navigation bar. For convenience of explanation, two rows of thumbnail images are assumed. In one embodiment, the calculation of image inclusion height / image height = maximum keyframes is performed. In this calculation, the height of the navigation bar is divided by the height of the thumbnail image. The value of the maximum keyframe indicates how many keyframes can be displayed in one column of the navigation bar.
[0103]
The server 104 determines the initial layout of the cell corresponding to the location in the second viewing area where the thumbnail image is displayed (Step 1211). Each thumbnail is a key frame extracted from the image information. The cell is associated with a pixel location in the second viewing area 804.
[0104]
The server 104 determines the second multiplier sec_m (Step 1212). In one embodiment, the second multiplier is determined by calculating sec_m = duration / image containment height. The second multiplier sec_m is used to convert a pixel location in the second viewing area 304 into a corresponding time value (second) in the multimedia information.
[0105]
The server 104 determines the Y position in the second viewing area 804 for the left keyframe, which is related to the cell position in the navigation bar (step 1214). The Y position corresponds to a pixel location in the second viewing area. For example, the Y position may be where the thumbnail image in the left column is displayed on the interface.
[0106]
The server 104 determines a Y position in the second viewing area for the right keyframe that is related to the cell position in the navigation bar (step 1216). In one embodiment, the left keyframe is at time T _X , And the right key frame is the time T _Y (T _Y > T _X ) Is a key frame extracted from the multimedia information. The Y position corresponds to a pixel location in the second viewing area. For example, the Y position may be where the thumbnail images in the right column are displayed on the interface.
[0107]
In one embodiment, the Y position of the right frame is calculated as the Y position of the left frame plus half the image height, which is half the height of the thumbnail image. It will be appreciated that other values may be used depending on the keyframe displayed in the right column. For example, if the user wants to display two keyframes that are close to each other, a value less than half the image height can be used.
[0108]
In connection with steps 1214 and 1216, FIG. 13 shows possible X positions in the second viewing area 804 according to one embodiment. As shown, the left column key frame KF1 ^a , KF2 ^a , KF3 ^a Are shown. The Y position corresponds to the upper left coordinate of the thumbnail image display. Furthermore, the right column key frame KF1 ^b , KF2 ^b , KF3 ^b Are also shown. The Y position of the right column key frame corresponds to the center position of each thumbnail image 306 in the left column.
[0109]
Referring back to FIG. 12, the server 104 calculates a first time stamp for the left column key frame by multiplying the Y position for the left column key frame by the second multiplier sec_m (step 1218). This calculation associates the time in the multimedia information with the Y position in the navigation bar. As the value of the Y position increases, the timestamp increases accordingly, and subsequent multimedia information in the multimedia document is displayed as the Y position increases.
[0110]
Thereafter, the server 104 calculates a second time stamp for the right key frame by multiplying the Y position of the right key frame by a second multiplier sec_m (step 1220). In one embodiment, the Y position of the right key frame is the Y position of the left key frame plus half the image height. Thus, the second timestamp for the right keyframe is for a time after the timestamp for the left keyframe.
[0111]
The server 104 extracts upper row and lower row key frames corresponding to the first and second timestamps calculated as described above from the multimedia document (step 1222). Using the values of the first and second time stamps corresponding to the time in the multimedia information, the left and right key frames closest to the time stamp are extracted.
[0112]
Then, the extracted left key frame is displayed at the corresponding cell position for the left key frame (step 1224). The extracted right key frame is also displayed at the corresponding cell position for the right key frame (step 1226). The process then returns to step 1214 and repeats, determining the Y position for the left and right keyframes corresponding to the cell positions, calculating new timestamps, and extracting the left and right keyframes with respect to the new timestamps. It is displayed in the navigation bar at the corresponding cell position.
[0113]
In one embodiment, the cell corresponding to each thumbnail image 306 is an object such as a JAVA object that includes coordinate information (Y position), a key frame, and a time stamp.
[0114]
It will be appreciated that any number of rows or columns may be included in the navigation bar. Various increments are calculated to determine the X or Y axis position of each keyframe in the navigation bar, depending on the number of rows or columns. In one embodiment, for a vertical navigation bar as seen in FIG. 7, the increment is equal to the image height variable divided by the number of columns. The increment in FIG. 7 is the image height divided by four. Keyframes are extracted at each increment along the Y axis. A similar procedure is used when more than one row of thumbnail images is included in the navigation bar. However, the variable of the image width is divided by the number of lines, and the increase is used along the X-axis.
[0115]
An example according to FIG. 10 will be described. In this embodiment, the multimedia information is a one-hour video. Therefore, duration = 3600. It is also assumed that the image inclusion width = 760, the image width = 36, and the image height = 26. For one row of keyframes, the maximum number of keyframes is: maximum keyframes = image inclusion width / image width = 760/36 = 21. Therefore, 21 key frames are displayed on the horizontal axis from left to right. It is assumed that there are two rows of keyframes as seen in FIG. 3 and a total of 42 keyframes can be displayed. Further, as described above, keyframes are ordered from top to bottom and left to right.
[0116]
The second multiplier sec_m is calculated as sec_m equal to duration / image inclusion width = 3600/760 = 4.7368. The X position is then determined for thumbnail image 306. For example, if the following X position is used, KF1 ^a = 0, KF1 ^b = 18; KF2 ^a = 36, KF2 ^b = 54; KF3 ^a = 72, KF3 ^b = 90, the corresponding time stamp value is S1 ^a = 0, S1 ^b = 85.26; S2 ^a = 170.52, S2 ^b = 255.78; and S3 ^a = 341.04, S3 ^b = 426.31. The time stamp is calculated by multiplying the X position by a second multiplier sec_m.
[0117]
Using the timestamp calculated for each corresponding position in the navigation bar, server 104 extracts the keyframe closest to that time and displays it on the navigation bar.
[0118]
An example according to the method described with reference to FIG. 12 will be described. In this embodiment, the image height = 26, the image inclusion height = 540, and the image width = 36.
[0119]
Since the height of the navigation bar is different, the second multiplier in this embodiment is different. That is, the second multiplier sec_m = duration / image inclusion height = 3600/540 = 6.6667.
[0120]
The value of the Y position is KF1 ^a = 0, KF1 ^b = 13; KF2 ^a = 26, KF2 ^b = 39; and KF3 ^a = 52, KF3 ^b = 65 and the corresponding time stamp value is S1 ^a = 0, S1 ^b = 86.67; S2 ^a = 173.33, S2 ^b = 260; and S3 ^a = 346.67, S3 ^b = 433.33. As described above, the time stamp is calculated by multiplying the Y position by the second multiplier sec_m.
[0121]
Using the timestamp calculated for each corresponding location in the navigation bar, server 104 extracts the keyframe closest to that time and displays it on the navigation bar.
[0122]
FIG. 14 is a schematic high-level conceptual flowchart 1400 illustrating a method of starting reproduction of multimedia information corresponding to a selected thumbnail image according to an embodiment of the present application. The method shown in FIG. 14 is only an example of applying the present invention, and does not limit the scope of the present invention as described in the claims. One of ordinary skill in the art would recognize other variations, modifications, and alternatives.
[0123]
The server 104 determines whether a thumbnail image has been selected (e.g., determines whether a thumbnail in the navigation bar has been highlighted by the location box 402 and an "enter" button has been selected) ( Step 1402). If not, the method returns to step 1402 and server 104 again determines whether a thumbnail image has been selected.
[0124]
When a thumbnail image is selected, the server 104 determines a time stamp corresponding to the selected thumbnail image (Step 1404). According to this embodiment, the time stamp corresponding to the selected thumbnail image represents the time stamp associated with the cell in the navigation bar where the thumbnail image is displayed. The timestamp associated with the selected thumbnail image is subsequently used to be used to reposition the playback of the multimedia information displayed in the first viewing area.
[0125]
Then, the server 104 starts reproducing the multimedia information in the first viewing area at a time corresponding to the determined time stamp (1406). In this case, reproduction starts at a position in the stored multimedia information corresponding to the determined time stamp, and continues thereafter. The process then returns to step 1402, where server 1402 monitors for other selected images.
[0126]
The navigation by the navigation bar according to the embodiment will be described. In one embodiment, a remote control, such as the remote control 400 depicted in FIG. 4, is utilized to navigate or change the location of the location box 402 in the navigation bar. As mentioned above, arrow buttons 408 are used to move the location box to different positions in the navigation bar.
[0127]
As described above, a request signal to move the location box to an upper, lower, left or right location is received. Upon receiving the signal, server 104 determines whether the requested move is feasible and moves the location box accordingly. The manner in which the request is processed may depend on the format and arrangement of the navigation bar displayed on the TV (eg, such that the thumbnail image is a navigation bar displayed horizontally or vertically).
[0128]
Assuming that the navigation bar of FIG. 3 is used and the signal requires moving the location box downward, from the first row of thumbnail images to the second row of thumbnail images, The location box is moved to a thumbnail image immediately below the current position of the location box 402 in the row. If the signal requires moving the location box to the right, the location box is moved to the thumbnail image in the (right) column next to the current location in the location box 402. Further, if the signal requires moving the location box 402 to the left, the location box is moved to the left column of the current location in the location box 402. If the location bar has been moved to its limit in a particular direction and the received signal requires that the location bar be moved further in that particular direction, the movement is determined to be impracticable. For example, if the location box 402 was positioned at the leftmost thumbnail, the request to move the location box to the left would be determined to not be feasible and would not cause any movement.
[0129]
If the location box 402 is located in the lower row of the navigation bar, a request to move the location box down will cause the location box 402 to be moved to the upper row of the column adjacent to the current location of the location box 402. It is possible to Due to the user deciding to move location box 402 later, location box 402 moves to the next column. Also, a request to move the location box up causes the location box 402 to move to the lower row of the left column of the current location of the location box 402, if possible.
[0130]
In the case of a vertically arranged navigation bar, a request to move to the right moves the navigation bar down line by line until it reaches the bottom. Also, a request to move left moves the navigation bar back up until it reaches the top. Further, the upper and lower requests are processed as described above.
[0131]
The above description is illustrative and not restrictive. Many variations of the present invention will become apparent to one of ordinary skill in the art upon reviewing the present disclosure. The scope of the invention should, therefore, be determined not with reference to the above description, but instead should be determined with reference to the appended claims along with their full scope and equivalents.
[0132]
Although specific embodiments of the present invention have been described, various modifications, variations, alternative configurations, and equivalents are also included in the scope of the present invention. The above-described invention is not limited to operation in a specific data processing environment, and operation in various data processing environments is not limited. Further, while the present invention has been described using a particular set of processes and steps, it will be apparent to those skilled in the art that the scope of the present invention is not limited to the above described set of processes and steps.
[0133]
Further, while the invention has been described using a particular combination of hardware and software, it will be understood that other combinations of hardware and software are within the scope of the invention. The present invention can be realized by hardware only, software only, or a combination thereof.
[0134]
Accordingly, the specification and drawings are to be treated in an illustrative rather than a restrictive sense. It will be apparent, however, that additions, deletions, deletions, and other modifications and changes may be made thereto without departing from the broad spirit and scope of the invention as set forth in the appended claims.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram of a distributed network applicable to an embodiment of the present invention.
FIG. 2 is a schematic block diagram of a computer system according to an embodiment of the present application.
FIG. 3 is a diagram illustrating a schematic television user interface for viewing multimedia information according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an enlarged state of a second viewing area according to an embodiment;
FIG. 5 is a diagram showing a display in which a second viewing area is enlarged according to the embodiment of the present invention;
FIG. 6 is a diagram illustrating a second viewing area including a plurality of selected thumbnail image indicators according to an embodiment of the present application.
FIG. 7 is a diagram showing a TV user interface according to the embodiment of the present invention.
FIG. 8 is a view showing a TV user interface according to the embodiment of the present invention.
FIG. 9 is a diagram illustrating a navigation bar as shown in FIG. 3 and dimensional variables used to characterize the navigation bar according to an embodiment of the present application.
FIG. 10 is a high-level conceptual flowchart showing a method of displaying a thumbnail image on a navigation bar according to the embodiment of the present invention.
FIG. 11 is a diagram illustrating possible X positions in a second viewing area according to one embodiment.
FIG. 12 is a high-level conceptual flowchart showing a method of displaying a thumbnail image on a navigation bar according to the embodiment of the present invention.
FIG. 13 is a diagram illustrating possible Y positions in a second viewing area according to one embodiment.
FIG. 14 is a high-level flowchart showing a method for starting reproduction of multimedia information corresponding to a selected thumbnail image according to the embodiment of the present invention.
[Explanation of symbols]
100 distributed network
102 TV equipment
104 server system
106 television system
108 Communication Network
110 communication link
200 Computer System
202 processor
204 Bus Subsystem
206 Storage subsystem
208 Memory Subsystem
210 File Storage Subsystem
212 User Interface Input Device
214 User interface output device
216 Network interface subsystem
218 ROM
220 RAM
300 Television User Interface
302 First viewing area
304 second viewing area
305 Navigation bar
306 thumbnail image
308 Progress bar
310 Action symbol
312 Title section
314 Date recording section
316 Current time section
400 Remote control unit
402 Location Box
406 arrow button
408 input button
500 Selected thumbnail image indicator
700 TV user interface
701 First viewing area
702 Second viewing area
703 Navigation bar
704 preview area
706 thumbnail image
708 thumbnail image
800 TV user interface
802 First viewing area
804 Second viewing area
805 Navigation bar
806 progress bar
808 action symbol
902 image width
904 Image height
906 Image inclusion width
908 Image inclusion height

Claims

A method for displaying multimedia information on a television display, comprising:
Displaying a portion of the multimedia information in a first area of a display; and displaying a navigation bar in a second area of the display, wherein the navigation bar includes one or more thumbnail images. And each thumbnail image in one or more thumbnail images is extracted from the multimedia information, and at least one thumbnail image in one or more thumbnail images is stored in the first area of the display. Steps that can be selected while the part of the multimedia information is being displayed;
Displaying multimedia information on a television display.

The method of claim 1, wherein at least one of the one or more thumbnail images is selectable during playback of the multimedia information in the first area of the display. the method of.

The method of claim 1, wherein the at least one thumbnail image can be selected using a television remote control.

The navigation bar includes a progress bar, wherein the progress bar represents a time in the multimedia information corresponding to a part of the multimedia information displayed in the first area of the display. The method of claim 1.

The progress bar has a symbol associated with the playback of the multimedia information in the first area of the display, wherein the symbol is at least one of a pause symbol, a play symbol, a rewind symbol, and a fast forward symbol. The method of claim 4, comprising:

The method of claim 1, further comprising displaying a location box on the navigation bar, wherein the location box is associated with at least one of the one or more thumbnail images.

Furthermore,
Receiving user input to move the location box from a first location associated with a first thumbnail image to a second location associated with a second thumbnail image; and responsive to the user input, Displaying the location box at the second location associated with a second thumbnail image;
The method of claim 6, comprising:

The method of claim 6, further comprising receiving user input to select at least one thumbnail image.

Further, in response to the user input for selecting at least one thumbnail image, a portion of the multimedia information within the first area of the display at a time corresponding to the selected at least one thumbnail image. 9. The method of claim 8, further comprising the step of:

The method of claim 8, further comprising the step of displaying an indication that the at least one selected thumbnail image is selected.

The method of claim 10, wherein the indicator is a highlighted location box including the selected at least one thumbnail image.

The method of claim 1, further comprising displaying a second navigation bar in a third area of the display, wherein the second navigation bar includes one or more preview thumbnail images.

The method of claim 12, wherein the preview thumbnail image is extracted from the multimedia information during a time period associated with the current portion of the multimedia information displayed in a first viewing area. .

The method of claim 1, wherein the multimedia information comprises video information.

The method according to claim 1, wherein a thumbnail image of the plurality of thumbnail images is a key frame of multimedia information.

Furthermore,
Receiving information on topics of interest;
Determining one or more thumbnail images related to the topic of interest information from the one or more thumbnail images; and one or more determined thumbnails related to the topic of interest Displaying a visual indicator with the image;
The method of claim 1, comprising:

A method of displaying multimedia information on a television display,
Displaying a portion of the multimedia information in a first area of a display;
Identifying a second area of the display where a navigation bar is displayed;
Determining one or more timestamps based on the second region of the display;
Extracting key frames from multimedia information corresponding to each of the one or more time stamps; and a key extracted for at least one of the one or more time stamps. Forming a navigation bar including a frame; and displaying the formed navigation bar in the second area of the display;
At least one keyframe included in the navigation bar can be selected while a portion of the multimedia information in the first area of the display is being displayed. How to display multimedia information on a television display.

The method of claim 17, wherein at least one keyframe is selectable during playback of multimedia information in the first area of the display.

The method of claim 17, wherein at least one key frame can be selected using a television remote control.

The method of claim 17, wherein determining one or more timestamps comprises determining a second multiplier.

The method of claim 20, wherein determining the second multiplier comprises dividing a length of the multimedia information by a width of the second region of the display.

21. The method of claim 20, wherein determining the second multiplier comprises dividing a length of the multimedia information by a height of the second region of the display.

21. The method of claim 20, wherein determining the one or more timestamps comprises multiplying one or more locations within the second region of the display by the second multiplier. the method of.

The method of claim 23, wherein the one or more locations are one or more X-axis coordinates within the second region of the display.

The method of claim 23, wherein the one or more locations are one or more Y-axis coordinates in the second area of the display.

Determining one or more timestamps includes:
Determining a time stamp for a first key frame at a first location in the second area of the display; and determining a time stamp for a second key frame at a second location in the second area of the display. ;
The method of claim 17, comprising:

Determining one or more timestamps includes:
Determining a timestamp for a third keyframe at a third location in the second area of the display;
27. The method of claim 26, wherein the second position is greater than the first position but less than a third position.

The method of claim 17, wherein the second area of the display includes one or more cell locations.

29. The method of claim 28, wherein key frames extracted for one or more timestamps are displayed at one or more cell locations.

The navigation bar includes a progress bar, wherein the progress bar represents time in multimedia information corresponding to the portion of multimedia information displayed in the first area of the display. Item 18. The method according to Item 17.

The progress bar has a symbol related to playing multimedia information in the first area of the display, wherein the symbol comprises at least one of a pause symbol, a playback symbol, a rewind symbol, and a fast forward symbol. 31. The method of claim 30, wherein:

The method of claim 17, further comprising displaying a location box on the navigation bar, wherein the location box is associated with at least one keyframe included in the navigation bar.

Furthermore,
Receiving user input to move the location box from a first position associated with a first keyframe to a second position associated with a second keyframe; and responsive to the user input, Displaying the location box at the second location associated with a second keyframe;
33. The method of claim 32, comprising:

The method of claim 32, further comprising receiving a user input to select the at least one keyframe.

And displaying a portion of the multimedia information in the first region of the display at a time corresponding to the selected at least one key frame in response to the user input. 35. The method of claim 34.

35. The method of claim 34, further comprising displaying an indication that the at least one selected keyframe is selected.

The method of claim 36, wherein the indicator is a highlighted location box that includes the at least one selected keyframe.

The method of claim 17, further comprising displaying a second navigation bar in a third area of the display, wherein the second navigation bar includes one or more preview keyframes. Method.

39. The method of claim 38, wherein the preview keyframe is extracted from the multimedia information during a time period associated with the current portion of the multimedia information displayed in a first viewing area. .

The method of claim 17, wherein said multimedia information comprises video information.

Furthermore,
Receiving information on topics of interest;
Determining one or more keyframes in the navigation bar that are relevant to information of the topic of interest; and with one or more determined keyframes related to the topic of interest. Displaying visual indicators;
The method of claim 17, comprising:

A data processing system for displaying multimedia information on a television display,
Processor;
A memory connected to the processor and configured to store one or more code modules to be executed by the processor;
Wherein said one or more code modules comprises:
A module for displaying a part of the multimedia information in a first area of the display; and a module for displaying a navigation bar in a second area of the display, wherein the navigation bar includes one or more thumbnail images. Each thumbnail image in one or more thumbnail images is extracted from the multimedia information, and at least one thumbnail image in the one or more thumbnail images is stored in the first area of the display. A module that can be selected while the part of the media information is being displayed;
A data processing system for displaying multimedia information on a television display.

43. The at least one thumbnail image of one or more thumbnail images can be selected during playback of the multimedia information in the first area of the display. Data processing system.

43. The data processing system of claim 42, wherein the at least one thumbnail image can be selected using a television remote control.

43. The data processing system of claim 42, further comprising a module for displaying a location box on a navigation bar, wherein the location box is associated with at least one of the one or more thumbnail images. .

A module for receiving a user input for selecting at least one thumbnail image; and in response to the user input for selecting at least one thumbnail image, at least one selected at the first region of the display. A module for displaying a part of the multimedia information at a time corresponding to one thumbnail image;
The data processing system according to claim 45, further comprising:

43. The data processing of claim 42, further comprising a module for displaying a second navigation bar in a third area of the display, wherein the second navigation bar includes one or more preview thumbnail images. system.

A data processing system for displaying multimedia information on a television display,
Processor;
A memory connected to the processor and configured to store one or more code modules to be executed by the processor;
Wherein said one or more code modules comprises:
A module for displaying a part of the multimedia information in a first area of the display;
A module for identifying a second area of the display where a navigation bar is displayed;
A module for determining one or more timestamps based on the second region of the display;
Extracting key frames from multimedia information corresponding to each of the one or more time stamps; and a key extracted for at least one of the one or more time stamps. A module for forming a navigation bar including a frame; and a module for displaying the formed navigation bar in the second area of the display, wherein at least one key frame included in the navigation bar includes the frame of the display. A data processing system for displaying multimedia information on a television display, comprising: a module capable of being selected while a portion of the multimedia information in the first area is being displayed. .

49. The data processing system of claim 48, wherein at least one key frame is selectable during playback of multimedia information in said first area of said display.

49. The data processing system according to claim 48, wherein said at least one key frame can be selected using a television remote control.

49. The data processing system of claim 48, wherein determining one or more timestamps is performed by determining a second multiplier.

52. The data processing of claim 51, wherein determining one or more timestamps is performed by multiplying one or more positions in the second area of the display by the second multiplier. system.

A module for determining one or more timestamps,
A module for determining a timestamp for a first keyframe at a first location in the second area of the display; and determining a timestamp for a second keyframe at a second location in the second area of the display. Module to make;
49. The data processing system according to claim 48, wherein said second position is greater than said first position.

A module for determining one or more timestamps,
A module for determining a time stamp for a third key frame at a third location in the second area of the display;
54. The data processing system according to claim 53, wherein said second position is greater than said first position but less than said third position.

Television; and data processing systems;
A multimedia system comprising: wherein the data processing system comprises:
Displaying a portion of the multimedia information in a first area of the display; and displaying a navigation bar in a second area of the display;
Constructed such that the navigation bar includes one or more thumbnail images, and each thumbnail image in the one or more thumbnail images is extracted from the multimedia information and includes one or more thumbnail images. A multimedia system, wherein at least one of the thumbnail images can be selected while the part of the multimedia information is being displayed in the first area of the display.

56. The at least one thumbnail image of one or more thumbnail images can be selected during playback of the multimedia information in the first area of the display. Multimedia system.

The multimedia system according to claim 55, wherein the at least one thumbnail image can be selected using a television remote control.

Television; and data processing systems;
Having the data processing system,
Displaying a portion of the multimedia information in a first area of the display;
Identifying a second area of the display where a navigation bar is displayed;
Determining one or more timestamps based on the second region of the display;
Extracting key frames from multimedia information corresponding to each of the one or more time stamps;
Forming a navigation bar including keyframes extracted for at least one of the one or more timestamps; and displaying the formed navigation bar in the second area of the display;
Constructed such that at least one key frame included in the navigation bar can be selected while a portion of the multimedia information in the first area of the display is being displayed. Features multimedia system.

The multimedia system of claim 58, wherein at least one key frame is selectable during playback of multimedia information in the first area of the display.

The multimedia system of claim 58, wherein the at least one key frame can be selected using a television remote control.

A system for displaying multimedia information on a television display,
Means for displaying a portion of the multimedia information in a first area of the display; and means for displaying a navigation bar in a second area of the display, wherein the navigation bar includes one or more thumbnail images. Each thumbnail image in one or more thumbnail images is extracted from the multimedia information, and at least one thumbnail image in the one or more thumbnail images is multi-displayed in the first area of the display. Means by which said part of the media information can be selected while being displayed;
A system for displaying multimedia information on a television display, comprising:

A system for displaying multimedia information on a television display,
Means for displaying a portion of the multimedia information in a first area of the display;
Means for identifying a second area of the display where a navigation bar is displayed;
Means for determining one or more timestamps based on the second region of the display;
Means for extracting key frames from multimedia information corresponding to each of the one or more time stamps;
Means for forming a navigation bar including keyframes extracted for at least one of the one or more timestamps; and means for displaying the formed navigation bar in the second area of the display;
And wherein at least one key frame included in the navigation bar can be selected while a portion of the multimedia information in the first area of the display is being displayed. A system for displaying multimedia information on a television display.

A computer program for displaying multimedia information on a television display,
An instruction to display a part of the multimedia information in a first area of the display; and an instruction to display a navigation bar in a second area of the display;
Wherein the navigation bar includes one or more thumbnail images, wherein each thumbnail image in the one or more thumbnail images is extracted from the multimedia information and includes one or more thumbnail images. A computer program, wherein at least one thumbnail image in an image can be selected while the part of the multimedia information is displayed in the first area of the display.

64. The at least one thumbnail image of one or more thumbnail images can be selected during playback of the multimedia information in the first area of the display. Computer programs.

64. The computer program of claim 63, wherein the at least one thumbnail image can be selected using a television remote control.

A computer program for displaying multimedia information on a television display,
Instructions for displaying a portion of the multimedia information in a first area of the display;
Instructions for identifying a second area of the display where a navigation bar is displayed;
Instructions for determining one or more timestamps based on the second region of the display;
Instructions for extracting key frames from multimedia information corresponding to each of the one or more time stamps; and a key extracted for at least one of the one or more time stamps. Instructions for forming a navigation bar including a frame; and instructions for displaying the formed navigation bar in the second area of the display;
And wherein at least one key frame included in the navigation bar can be selected while a portion of the multimedia information in the first area of the display is being displayed. And a computer program.

67. The computer program of claim 66, wherein at least one key frame is selectable during playback of the multimedia information in the first area of the display.

67. The computer program of claim 66, wherein the at least one keyframe is selectable using a television remote control.