JP2007266800A - 情報再生装置 - Google Patents

情報再生装置 Download PDF

Info

Publication number
JP2007266800A
JP2007266800A JP2006086861A JP2006086861A JP2007266800A JP 2007266800 A JP2007266800 A JP 2007266800A JP 2006086861 A JP2006086861 A JP 2006086861A JP 2006086861 A JP2006086861 A JP 2006086861A JP 2007266800 A JP2007266800 A JP 2007266800A
Authority
JP
Japan
Prior art keywords
information
image
program
screen
broadcast signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006086861A
Other languages
English (en)
Other versions
JP2007266800A5 (ja
Inventor
Junichiro Watanabe
純一郎 渡邊
Yukinobu Maruyama
幸伸 丸山
Arihito Tsukada
有人 塚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006086861A priority Critical patent/JP2007266800A/ja
Priority to US11/673,079 priority patent/US20070229706A1/en
Publication of JP2007266800A publication Critical patent/JP2007266800A/ja
Publication of JP2007266800A5 publication Critical patent/JP2007266800A5/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Abstract

【課題】膨大な量の放送コンテンツの中から、必要な情報のみを効率よく取得する。
【解決手段】第一および第二の放送信号を受信する受信手段と,前記受信手段で受信された前記第一の放送信号を第一の画像情報として表示し再生する情報再生手段と,前記第二の放送信号の有する第二の画像情報を記憶する記憶手段と,前記記憶手段に記憶された第二の画像情報の一部分を抽出する抽出手段とを有し,前記情報表示手段は前記第一の画像情報が有する画像上に,前記抽出手段により抽出された前記第二の画像情報の有する画像の一部分を重ねて表示し再生することを特徴とする情報再生装置を提供する。
【選択図】 図1

Description

本発明は,放送および通信に関する情報の閲覧方法に関する。
近年,高速でデータ通信を行うことができるブロードバンドネットワークインフラの整備が進んでいる。たとえば光ファイバーを使った家庭向けの高速データ通信サービスなどが普及しつつあり,ユーザは通信速度を気にせずにインタネットを利用して情報を得ることが可能になってきている。
一方で,テレビの放送形態が多様化しており,地上デジタル放送,衛星放送,ケーブルテレビ放送など,さまざまな放送形態が存在する。これに加えて,上述したような通信インフラの整備により,インタネットを利用してテレビ番組コンテンツを配信することが可能になってきており,それに伴ってさまざまな放送サービスが可能になってきている。たとえば,オンデマンド映像配信サービス(Video On Demand)や,Internet Protocolを利用したテレビ放送(IPTV)などが普及しつつある。この結果,ユーザは双方向のブロードバンド通信を利用してインタラクティブに好きなテレビ番組コンテンツにアクセスすることが可能になり,テレビ視聴に関するユーザの自由度は増加している。これらの通信インフラを利用することにより,放送事業者は一度に多数の(たとえば100チャンネル以上)の放送コンテンツを配信することが可能であり,ユーザが視聴可能な放送コンテンツの数(選択肢)はますます増大している。このような技術の中には、映像信号の中のテキスト情報のみを別信号として配信したり、あるいは、テキスト情報のみ抽出することが可能な技術もあり、従来の映像のみの情報に加えてテキスト情報のみを取得することも可能になってきている(特許文献1)。
さらに,テレビ番組を録画するためのハードディスク付きレコーダー(以下,HDDレコーダー)や,複数のテレビチューナを備えたパソコン(以下,PC)などが普及している。これらの機器が備えているハードディスクの容量は年々増加する傾向にあり,近年ではテラバイトオーダー(TB〜)のHDDを備えているものも多い。また,数個程度のテレビチューナを備えている製品も普及しており,搭載されるテレビチューナの数も増加する傾向にある。
また,家庭内にあるテレビやHDDレコーダ,PCなどをホームネットワークで相互接続するための標準規格が整備されつつあり,これらの機器を相互接続してそれぞれの機器の中に蓄積されたさまざまなコンテンツを家庭内のどの機器からでも閲覧することが可能になってきている。このような状況では,家庭内の総HDD容量はテラバイトオーダー,総テレビチューナ数も数個以上,それぞれ存在することになり,家庭内でユーザがアクセスできるテレビ番組や音楽,映像,その他の情報の数は増えてきており,ユーザは豊富な選択肢の中から視聴したい番組を自由に選ぶことが可能になってきている。
特開2001−111910
しかしながら,ユーザがアクセスできるコンテンツ(テレビ番組やHDDに蓄積された映像,あるいはインタネットニュースなど)の数の増加に伴って,ユーザが視聴したいコンテンツも多岐にわたるために,いかに効率よくこれらのコンテンツを視聴するか,ということが大きな課題になってきている。すなわち,膨大な量の放送コンテンツの中にはユーザにとって不要な情報も多く含まれており,いかにして必要な情報のみを効率よく,かつ,失敗しないで,取得するか,ということが大きな課題になってきている。
たとえば,同時刻に放映される複数のテレビ番組を視聴するためには,現在時刻(オンエア)である番組を視聴しながら同時に別の番組を録画してから後で視聴するという方法や,視聴したい複数のテレビ番組のチャンネルを頻繁に切り替えながら視聴するという方法などが考えられる。しかし,前者の方法では,スポーツ番組やニュースなどのリアルタイム性が重視される番組には不向きであるし,後者の方法では,ユーザが番組内で視聴したいシーンの視聴に失敗する,という場合も生じる。
この問題を解決する手段として,テレビ画面を複数の子画面に分割し,各々の子画面に複数のテレビ番組を同時に表示する,という方法が考えられる。この方法を用いれば,ユーザは同時に複数のテレビ番組を視聴することが出来る。しかしながら,この方法では,各テレビ番組に含まれる全画面情報が表示されているため,ある番組内の画面変化に気づきにくく,ユーザがその番組内の特定のシーンの視聴に失敗するという課題は,克服されない。
本発明は,かかる問題を解消するためのものである。
従来の技術では、例えば、音楽番組,ニュース,野球中継を同時に視聴しているとき,音楽番組を主に見ながら,ニュース番組の中でユーザが気になるトピックのシーンを放映する時刻だけニュース番組に注意を向ける,とか,野球中継の中で点数が変化したときだけ野球中継の番組に注意を向ける,などといった行為を行うことが困難である。
本発明は,かかる問題を解消するためのものであり,その目的は,複数のテレビ番組を同時に効率的に視聴するために,番組内の必要な情報のみを表示する方法を提供することである。具体的には,複数のテレビ番組の中から必要な情報を表示している画面の一部分のみを他のテレビ番組画面の上に重ねて表示する方法を提供することである。また,番組内容の変化を検出して画面の一部分のサイズや位置などをダイナミックに決めるための方法を提供することである。さらには,放送局側が放送する信号に関して,画面の一部分のみを表示するための情報を埋め込むことにより,複数の放送コンテンツを効率的に視聴し,必要な情報を取得する方法を提供するものである。
つまり、上記の目的を達成するために,本発明は,オンエア中あるいは録画したテレビ番組,あるいはインタネットブラウザ,などの画面の一部分を,他のオンエア中あるいは録画したテレビ番組,あるいはインタネットブラウザの画面の上に重ねて表示する手段を有するものである。たとえば,音楽番組,野球中継,ニュース番組を同時に視聴する場合,音楽番組は全画面で表示し,その上に,野球中継番組の画面中の点数が表示されている部分のみを重ねて表示し,さらに,ニュース番組の画面中のテロップ(文字情報)が表示されている部分のみを重ねて表示する,というような手段を有するものである。
また本発明は,画面の一部分の位置やサイズを,番組内の音響的,画像的特徴量の変化によってダイナミックに変更する手段を有するものである。これにより,たとえば,野球中継番組の点数を表示している部分のサイズを,点数が変化するたびに拡大表示したり,あるいは,ニュース番組の中でアナウンサーが発声する特定のキーワードを検出してそのキーワードに関連するニューストピックのシーンのみ拡大して表示する,ということが可能になり,複数の番組を同時に視聴している場合でも,各番組内でユーザが視聴したい特定のシーンを見逃さずに視聴することが可能になる。
また,本発明は,テレビ番組の受信側で上述したような画面の一部分の選択や貼り付けを行うだけではなく,番組を放送する放送側の信号に,画面の一部分を切り取るための情報を埋め込む方法を提供するものである。放送信号の中に,画面の中から切り取る部分の位置座標,その部分のサイズ,切り取りの開始時刻あるいは終了時刻,などの情報を含ませることにより,ユーザ側で切り取りに関する作業を行うことなく,簡単に第一の画面の上に第二の画面の一部のみを重ねて表示することが可能になる。
また,本発明は,放送信号の中に,番組提供者やスポンサーなどに関連した情報へのリンク情報なども埋め込む方法を提供するものであり,このことにより,放送番組に重ねてたとえば番組提供者等のインタネット上のサイトの画面を重ねて表示したりすることが可能になる。
つまり、本発明の課題は以下の情報再生装置により解決される。
(1)第一および第二の放送信号を受信する受信手段と,前記受信手段で受信された前記第一の放送信号を第一の画像情報として表示し再生する情報再生手段と,前記第二の放送信号の有する第二の画像情報を記憶する記憶手段と,前記記憶手段に記憶された第二の画像情報の一部分を抽出する抽出手段とを有し,前記情報表示手段は前記第一の画像情報が有する画像上に,前記抽出手段により抽出された前記第二の画像情報の有する画像の一部分を重ねて表示し再生することを特徴とする情報再生装置。
(2)第一および第二の放送信号を受信する受信手段と,前記受信手段で受信された前記第一の放送信号を第一の画像情報として表示し再生する情報再生手段とを有し,前記第二の放送信号は,第二の画像情報および前記第二の画像情報の前記情報再生手段の表示領域全体における位置情報を有し,前記第二の画像情報および前記位置情報を記憶する記憶手段を有し,前記情報表示手段は前記第一の画像情報が有する画像上に,前記記憶手段に記憶された前記位置情報の有する表示領域全体における位置に,前記第二の画像情報が有する画像を重ねて表示し再生することを特徴とする情報再生装置。
本発明により,複数の放送コンテンツの中から,効率的に情報を取得することが可能になる。
また本発明により,時間的なダイジェスト再生(盛り上がりシーンやユーザがあらかじめ登録したキーワードに関連するシーンなど)と空間的なダイジェスト再生(画面内の一部分)を同時に行うことにより,効率的に多種多様の情報にアクセスすることが可能になる。
以下,本発明の実施形態を図面を用いて説明する。ここでは,操作対象機器としてテレビを例に説明するが,情報を再生する機器であればそれ以外の機器であってもよい。またここでは,テレビの放送番組を例にして説明を行うが,テレビ放送のほかに,インタネットを利用して配信されるコンテンツや,Webサイトなどで提供される文字情報,あるいはデジタルビデオカメラなどで撮影された映像,などでも良い。
図1は本発明の一実施形態を示す概略構成図であり,101はコンテンツを表示するための表示部,102は操作信号を入力する入力部,103はインタネット網を介してEPG(Electronic Program Guide)情報や映像コンテンツやWebサイトの情報などを取得するための通信部,104はインタネット網,105は画面の切り取り処理を行う抽出部(演算装置),106は録画したコンテンツを記録するための記憶部,107は記憶部内に格納されたコンテンツを検索し表示部に表示する情報閲覧プログラム,108はテレビアンテナ,109および110はテレビ信号を受信するためのチューナー,111はWeb情報を配信するWWWサーバ,112は映像コンテンツを配信するコンテンツ配信サーバ,113はデジタルビデオカメラあるいは監視カメラなどのカメラ映像情報を取得するためのカメラ情報読み取り部,である。
本発明の情報表示装置では複数のテレビチューナを用いて複数の番組コンテンツを受信する。図1では2個のテレビチューナ109,110を用いてテレビアンテナに接続し,2個のチャンネルを同時に受信できる構成にしてあるが,テレビチューナの数は複数であれば2個より多くても少なくても良い。
本発明の基本的構成としては,テレビ映像を受信するためのテレビチューナ109〜110,受信した映像やEPGを記憶する記憶部106,記憶部に蓄積された映像データから選択されたデータを検索するための演算部105,検索した映像データやEPGを閲覧するための閲覧プログラム107,である。
また,この基本構成をテレビやPCなどディスプレイ(表示部101)を有する既存の装置に組み込んで,そのディスプレイに映像データやWebサイトを表示しても良いし,表示部101は外付けの装置としても良い。
また,テレビチューナの代わりに監視カメラなどの常時撮影を行っているカメラシステムに接続し,カメラ情報読み取り部113から取得したコンテンツを受信しても良い。テレビ番組や監視カメラ映像の代わりに,映像コンテンツを配信するコンテンツ配信サーバ112から映像コンテンツのストリーミングデータを受信しても良い。
記憶部106には情報閲覧プログラム107が格納されており,抽出部105が情報閲覧プログラム107を起動するとテレビチューナやインタネット網を介して取得したテレビ番組の映像データ,記憶部に蓄積したコンテンツ,カメラ情報読み取り部から入力されたカメラ映像,通話部からインタネットを経由して取得したWebサーバ111やコンテンツ配信サーバ112が提供する情報,などが画面に表示される。
同図において、画面の切り取り処理に関して説明する。
まず、チューナ1109を用いてテレビ信号1を受信し表示部101に表示する。こればたとえば図2における画面表示例201のような状況である。
次に、チューナ2110を用いてテレビ信号2を受信し表示部102に表示する。これはたとえば図2における表示例202のような状況である。
ここで抽出部105により、後述するようないくつかの方法により、画面202の中から任意の部分を選択し切り取り処理を行う。
切り取り処理を行うための時間情報や画面の位置情報や録画し多テレビ信号などは記憶部106に保存される。
最後に抽出部105において画面切り取り処理を終了すると、チューナ2102によって受信されたテレビ信号の画面の一部が、チューナ1101によって受信されたテレビ信号の画面の上に重ねて表示される。これは図2の206のような画面状況である。
ここではチューナ1およびチューナ2を用いて2つのテレビ信号を受信して画面を切り取り重ねて表示する例を説明したが、第3のチューナを利用して第3のテレビ信号を受信して、第1および第2のテレビ画面の上に第3のテレビ画面の一部を切り取って重ねて表示しても良い。
あるいはチューナを用いてテレビ信号を受信するかわりに、インタネット網104と通信部103を介してWWWサーバ111やコンテンツ配信サーバ112から提供される映像情報やインタネット上の情報を、抽出部105で任意の画面部分を切り取り、重ねて表示しても良い。
あるいはチューナを用いてテレビ信号を受信するかわりに、カメラ情報読み取り部113から入力された映像情報を抽出部105で切り取り処理をし、テレビ信号画面などに重ねて表示しても良い。
図2は,本発明における情報表示方法の例を示すものである。この例では,音楽番組201,野球中継202, ニュース番組203を同時に視聴している場合の例を示している。この例において,音楽番組201は全画面を,ニュース番組203はテロップ部分204を,野球中継番組202は点数の部分205を,各々重ねて表示している206。
この例が示すように,ユーザは主に音楽番組を視聴しながら,同時に,ニュース番組のテキスト情報,および,野球中継の中の野球の点数の情報,という必要な情報のみを取得することが可能である。
図3は,本発明における複数のテレビ番組を重ねて表示する場合の操作方法の例を示すものである。
同図において,301はリモコンであり,このリモコンには画面の選択ボタン302,チャンネル変更ボタン303,決定ボタン304が搭載されている。
同図において, 305,306,307,308,309,310は,時系列に沿った画面の様子を表すものである。
同図において,まず,リモコン301のチャンネル変更ボタン303を操作して視聴したい番組を選択する305。この段階では画面は全画面で表示されている。
同図305の状態で画面の選択ボタン302を押下すると,その番組が基準番組として記憶部105に登録される。基準番組の上に,他の番組の一部分を重ねて表示していく。この状態では,305と同じ画面が表示されており306,他の番組はまだ重ねて表示されてはいない。
次に同図において,チャンネルを変更し,別の番組を表示し,その番組の中の特定の領域を指定する307。特定の領域の指定方法に関しては後述する。
同図307の状態でリモコンの決定ボタン304を押下すると,307で指定した領域を基準番組の上に重ねて表示する308。
同図において,同様に別の番組を選択し,その番組の中の特定の領域を指定309した後でリモコンの決定ボタンを押下すると,その領域を基準番組の上に重ねて表示する310。
図4は図3で示した例の操作の流れを説明するためのフローチャートである。
同図において,まず,チャンネルを変更して基準番組にする番組を探す401。
つぎにリモコンの画面の選択ボタン302を押下して,選択した番組を基準番組に設定する402。
同図において次に,基準番組の上に重ねて表示させるほかの番組を探すためにチャンネルを変更する403。
表示されている番組の画面中の特定の領域を選択して決定ボタンを押下し,基準番組の上に重ねてその領域を表示する404。
同図において,さらに他の番組の画面の一部分を基準番組の上に重ねて表示させたい場合には405,403および404の過程を繰り返し行うことで,基準番組の上に複数の番組の画面の一部分を重ねて表示させることが出来る。
図3および図4では基準画面の設定や,画面の一部分の選択などにリモコンのボタン操作によって行う方法を説明したが,キーボードやマウスなど,別の方法を用いてこれらの操作を行っても良い。
図5は,本発明における,ユーザが画面の一部分を切り取る方法を示す例である。この例では,ユーザは画面を切り取る番組をまず選択する。その後,たとえばパソコンのマウスやフリーカーソルリモコンなどのポインタ501,503を用いて,切り取る部分の左上の座標(x1,y1)502から右下の座標(x2, y2)504までドラッグする。このようにポインタでドラッグされた矩形領域505が切り取られて基準画面に重ねて表示される。
図6は図5で説明したポインタのドラッグにより番組画面の一部を選択する方法において,記憶部106に蓄積される情報と画面例を示すものである。
同図において,番組ごとにその番組ID601,基準番組であるか否かをあらわす基準番組フラグ602,切り取る部分の座標情報603を保持している。
基準番組フラグが1の場合はその番組が基準番組,基準番組フラグが0の場合はその番組は基準番組ではなく,自由に画面の一部を切り出して基準番組の上に重ねて表示させることが出来る。
同図において,番組ID=1の番組は基準番組として設定されているために,矩形領域の切り出しは行わない。
同図において,番組ID=2お呼びID=3の番組は,ポインタのドラッグにより座標情報(x1,y1),(x2,y2),(x3,y3),(x4,y4)を取得し,記憶部に保存する。
同図において実際の画面の例としては,たとえば604のように基準番組である番組IDが1の番組の上に,非基準番組である番組ID2および3の番組の中の,上述の座標で指定された矩形領域を重ねて表示する。
図7は図5および図6で説明したポインタのドラッグによって矩形領域を切り取る場合の操作の流れを示すフローチャートである。
同図において,まず,選択した番組が基準番組か否かを判定する701。もしも基準番組であれば,その画面の一部を表示する処理は行わない。
同図において,選択された番組が基準番組でなければ,その番組の画面中の切り出し領域の座標を取得する。たとえば矩形領域を切り出すときには,矩形の左上の座標をまず取得702し,次に右下の座標を取得703すれば,この2つの座標で切り出し矩形が決定される。
同図において,切り出し領域の座標を取得したあと,決定処理を行い,基準番組の上に切り出し領域を重ねて表示704する。
図8は,本発明における,ユーザが画面の一部を切り取る方法の別の例を示すものである。この例では,ユーザはあらかじめ定義されたいくつかの切り取りパターンの中からひとつを選択することにより,そのパターンに一致した部分を切り取ることが出来る。
同図において,801,802,803,804,805,806,807はそれぞれ,画面の左上を切り取るためのパターン,画面の下部分を切り取るためのパターン,画面の左下部分を切り取るためのパターン,画面の中央部分を切り取るためのパターン,画面の右上を切り取るためのパターン,画面の上部分を切り取るためのパターン,画面の右下部分を切り取るためのパターンである。
同図において,ユーザは,このような切り取りパターンを選択するだけで,画面内の対応する部分を切り取ることが出来る。この例では,画面の左上を切り取るための切り取りパターンを選択して,野球中継番組の点数の部分を切り取った例を示している808。
この例において,選択した切り取りパターンで切り取ったあと,必要ならば切り取り領域の微調整を行うことも可能である。たとえば,ポインタで切り取り領域の境界線をドラッグしたり,リモコンの上下左右ボタンを用いて領域の上辺,下辺,右辺,左辺の位置をずらす,などの方法により,切り取り領域の拡大,縮小などの変更を行うことができる。
同図においては7つのパターンを用いる例を示したが,パターンの数はこれよりも多くても少なくても良い。
図9は図8で説明した切り取りパターンが保持している情報の例を示すものである。
同図において,各切り取りパターンはパターン番号901と,切り取り領域の座標902を記憶部106に保存している。
演算部105は選択したパターンの保持している切り取り領域の座標を読み出して,その座標に対応する領域を番組の画面から切り出して基準番組の上に重ねて表示する。
図10は図8および図9で説明したパターンを利用した画面切り取り方法に関する操作方法を示すフローチャートである。
同図において,まず,あらかじめ登録されたいくつかの切り出しパターンの中からひとつを選択する1001。
次に,基準番組の上に,上記選択パターンの座標に対応する領域を切り出して重ねて表示する1002。
さらに,もしも重ねた領域の位置や大きさなどの微調整が必要かどうかを判断し1003,もしも必要な場合には,マウスポインタなどのドラッグ,あるいは,上下左右の各辺の移動などにより,切り出し領域を微調整して再表示する1004。
図11はフリーカーソルを用いて画面の一部分を切り出す例を示すものである。
この例では,リモコン1102の特定のボタンを押すと,画面上にポインタ1101が出現する。このリモコンにはジャイロセンサあるいは加速度センサなどの向きを検知するためのセンサが搭載されており,ユーザはリモコンの向きによってこのポインタを画面上の任意の場所に移動させることが出来る。
同図において,ポインタを切り取りたい領域の近くまで移動させた後,ユーザは,たとえばリモコンについているホイール1103あるいは拡大・縮小ボタンなどを用いてポインタの大きさを変更することができ,これによって目的の領域を包みこむことが出来る1102。
同図において,ポインタの動きが停止し,ポインタの大きさの変更も停止した後,所定の時間が経過すると,その所定の領域を矩形1105あるいは任意の輪郭1106で切り取ることが出来る。
図12は図11に示す方法における処理を示すフローチャートである。
同図において,まず,リモコンの所定のボタンを押下することにより画面上にポインタを表示させる1201。
次に,ポインタを切り取りたい領域の近くまで移動させ1202,その領域を選択し1203,切り出して基準番組の上に重ねて表示する1204。
図13は,切り取られた画面のサイズを変更する方法を示すひとつの例であり,この例では,ユーザがあらかじめ登録したキーワードをシステムが検知すると,そのキーワードに内容を放送しているチャンネルの画面が大きくなる様子を示している。
同図において,音楽番組1301の上にニュース番組のテロップ部分1302が重ねて表示されている。
同図において,ニュース番組に出てくるキーワードをユーザがあらかじめ「○○○」というキーワードを登録してあるものとする。
同図において,番組を視聴するためのテレビあるいはPCに,放送映像に含まれる文字情報を画像認識で認識する手段が搭載されている。
同図において,ニュース番組のテロップの中に,ユーザがあらかじめ定義したキーワード「○○○」が表示されたとき,画像認識技術により,映像中のテロップに含まれる「○○○」1303を認識するこができる。
同図において,システムがあらかじめ登録したキーワード「○○○」を認識したあと,ニュース番組の画面を自動的に拡大する1304ことにより,音楽番組を視聴している最中に,「○○○」というキーワードに関連したニュースのみ,拡大した画面で視聴し,それ以外のニューストピックスはテロップ情報のみ表示して音楽番組を主に視聴する,といった視聴の仕方が可能になる。
同図において,キーワード「○○○」の検出は,上述したような画像認識技術を用いてテロップに含まれる単語を抽出する方法のほかに,音声認識技術を用いてニュース番組の中のアナウンサーの発声を音声認識し,発声中のキーワード「○○○」をワードスポッティングで検出する,という方法を用いても良い。この場合,音響的な特徴量をシステムは逐次抽出し,あらかじめ登録したキーワード「○○○」の音響的な特徴量と比較する。もしも,「○○○」の音響的特徴量と逐次計算して抽出している特徴量が一致すれば,キーワード「○○○」が検出される。
また、デジタル放送などに含まれる文字情報をもとに検出を行ってもよい。
同図において,音楽番組1301は,ニュース番組1302がキーワード検出により拡大表示1304された場合,その時点で隠されてしまう。このため,ニュース番組1304がもとのサイズすなわち,一部分のみの表示1302に戻った場合に,音楽番組1301はニュース番組1304によって隠された時刻からの映像を再生する必要がある。
ここでは,ニュース番組1302がキーワードを検出し拡大表示された瞬間から,音楽番組1301の映像を記憶部に録画し始める。ニュース番組1304が元のサイズ1302に戻ったときに,音楽番組1301は記憶部に録画された映像データの再生を開始する。この再生はたとえば早送りで,あるいは,盛り上がりシーンのみ再生することにより,現在時刻に追いつくことが出来る。このことにより,音楽番組1301の内容を見逃さずに視聴することが可能になる。
なお、ここでは切り取られた画面を拡大表示する例を示したが、拡大に限られず、点滅させたり、音や表示などによる何らかのアラームを出力するなど、視聴者に何らかの注意を喚起する方法であってもよい。
図14は,図13の処理を示すフローチャートである。
同図において,まず,検出したいキーワードを登録する1401。
システムは常時,文字認識,画像認識,あるいは音声認識技術を使って番組の画像的,あるいは音響的特徴量を抽出する1402。
抽出した特徴量が,あらかじめ登録したキーワードの特徴量と一致するかどうか判定する1403。
もしも一致した場合,そのキーワードを含む番組を拡大表示する。
図13,および図14に示す方法により,ユーザがあらかじめ登録したキーワードと一致する情報が再生される場合には,その番組の画面を拡大して表示することができ,ユーザが視聴したいシーンを見逃さずに視聴することが出来る。
図15は,本発明における,音楽番組を主に視聴しながら,ニュース番組の情報も取得する方法を示すもう一つの例である。
この例では,ニュース番組1504の画面の一部あるいは全画面が透過度0(すなわち不可視)で音楽番組1501の画面の上に重ねて表示されている1502。このため,ニュース番組は見えず,音楽番組のみが視聴できる。
同図において,図13の例と同様に,ニュース番組に対してユーザがあらかじめ登録しておいたキーワードを検出した場合,ニュース番組の表示の透過度が0から100に変化し,その結果,音楽番組の上に重ねたニュース番組の一部もしくは全部が可視状態になり,視聴することが可能になる1504。
図16は,本発明における,切り出し映像の重ね方の別の例を示す図である。
同図において,基準番組A1611の上に,別の10個の番組から切り出した各番組の画面の一部B〜Kが表示されているものとする1601〜1610。
同図において,図13で説明したような,キーワード検出により,たとえば番組Bの切り取り画面の画面サイズを拡大する場合,拡大されるウィンドウの位置やサイズに応じて,テレビ画面の残りの面積を考慮して,残りの9個の番組の画面の最適なサイズおよび位置を計算し,10個の番組が全て表示されるように,自動的に再配置を行う1612。
図17は,本発明における,切り出し映像の重ね方の別の例を示す図である。
同図においては,切り出した画面を,番組の上に重ねるのではなく,画面のある領域(この例では右端)に並べて配置していく方法の例を示している。
同図において,画面が切り出されるたびに,その画面1702はテレビ画面の所定の領域1704に次々に配置されていく。
同図において,所定の領域に配置した画面は,たとえばスクロールによって順次表示させることができ,ユーザは任意の切り出し映像を選択することが出来る。
また同図において,所定の領域に切り出し画像が配置されると,元の画像1701は縦横比を保ったまま縮小されて,画面内に収まるように再表示される1703。
図18は,図17と同様に切り出した映像を重ねないで表示する場合の方法を示す例であり,この場合には,切り出し映像は横長の領域であるとする。
同図において,切り出し領域がたとえば画面上部であった場合1802,図17の場合と同様,元の画像1801は縦横比を保ったまま縮小して再表示される1804。
また同図において,上部の特定の領域に配置された切り出し映像1803は,たとえば横方向のスクロールで別の画像を表示することが出来,ユーザは任意の画像を選択することができる。
今までは,放送信号をユーザの持つクライアント端末上のアプリケーション(音声認識や画像認識などの信号処理技術)で処理をして,画面の上に切り出し画面を重ねて表示する方法に関して説明してきた。
これとは別に,放送側が送信する放送信号の中に,切り出しを行うための情報を埋め込んでおく,という方法もある。以下,この方法に関していくつかの例を用いて説明する。
図19は,放送信号の中に,画面を切り取るための情報が含まれている場合の例を示すものである。
同図において3つの番組が同時に放送局から配信されているものとする。
同図において,放送信号は,チャンネル情報1901,1902,1903,映像データ1904,1905,1906,基準番組フラグ1907,1908,1909,画面切り取りのための各種情報1910〜1916で構成されている。
同図においてチャンネル情報とはチャンネルの名まえあるいは番号あるいはIDを示すものであり,この例では各チャンネルごとにA1901,B1902,C1903という名まえが付与されている。
同図において,映像データ1904,1905,1906とは映像コンテンツのデータそのものである。
同図において基準番組フラグとは,その番組が基準番組か否かを示すものであり,基準番組フラグは1ならばその番組は基準番組であり,0ならば基準番組ではないことを示している。
同図において画面切り取りのための各種情報とは,時間情報,幅,高さ,切り出し領域の原点座標である。なお、これはあくまで一例であり、画面切り取りのための情報にはその他の情報を入れても問題無い。
同図のチャンネルAの切り出し情報1910に関して説明すると,時刻00:00〜24:00まで,原点(0,0),幅1024ピクセル,高さ768ピクセルで表示する,ということを示している。
同様に,同図のチャンネルBの切り出し情報1912,1914,1916,は,時刻00:00から06:00まで
原点座標(50,50),幅100ピクセル,高さ100ピクセルで表示,時刻06:00から12:00まで,原点座標(50,50),幅800ピクセル,高さ100ピクセルで表示,時刻12:00から24:00まで,原点座標(300,220),幅300ピクセル,高さ250ピクセルで表示,することを示している。
同様に,同図のチャンネルCの切り出し情報1911,1913,1915は,時刻00:00から06:00まで
原点座標(50,500),幅800ピクセル,高さ100ピクセルで表示,時刻06:00から12:00まで,原点座標(800,500),幅100ピクセル,高さ100ピクセルで表示,時刻12:00から24:00まで,原点座標(0,0),幅0ピクセル,高さ0ピクセルで表示,することを示している。
この結果,実際に表示される画面の様子は,同図に示すように,時間の経過に伴って変化する。
同図1917,1918,1919は,これら3つの番組の実際の表示例を示すものであり,チャンネルAの基準番組フラグ1907が1であるから,チャンネルAの上にチャンネルBおよびCの一部分を重ねて表示している。
同図において,時刻00:00から06:00までは,各チャンネルの切り出し情報に従って図1917のように表示される。
同図において,時刻06:00から12:00までは,各チャンネルの切り出し情報に従って図1918のように表示される。
同図において,時刻12:00から24:00までは,各チャンネルの切り出し情報に従って図1919のように表示される。この例では,チャンネルCは原点(0,0),幅0ピクセル,高さ0ピクセルであるから,表示されないことになる。
同図に示すような放送信号を受信することにより,ユーザは自分で画面の切り取り操作をする必要はなく,たとえばリモコンなどの操作デバイスで「切り取り」スイッチをONにするかOFFにするか,というような簡単な操作で,切り取った画面を重ねて表示させることが可能になる。
同図の説明では,時間,画面サイズ,画面位置に関する情報を放送信号に含ませる例を示したが,これ以外の情報でもよく,たとえば画像の透過度や,画像の中に含まれる物に関するインタネット上の情報へのリンクなどを含んでいても良い。
放送信号に含ませる情報の別の例としては,たとえば,放送番組中に含まれるテロップの位置や長さの情報,あるいは人の位置の情報,などでもよい。このことにより,クライアント側で画像認識をする必要なく,テロップ部分,あるいは人の部分を切り出すことが可能になる。
図20は,放送信号の中に,画像に含まれる人の位置や文字情報(テロップ)の位置の情報を含ませる例を示すものである。
同図において,放送信号の中に人の位置を表す座標2004や,テロップの位置を表す座標2005などの情報,などを含んだ情報テーブルが含まれており,チャンネル1の人の位置2001の座標やテロップの位置2002,チャンネル2の人の位置2003などの情報が保持されているものとする。
ユーザは,たとえば画面切り取り機能を有効にすることにより,人やテロップの部分のみを切り出して基準番組に重ねて表示させることが出来る。
同図の説明では時刻情報に関しては説明しなかったが,図19と同様,時刻の情報,すなわち,いつからいつまでどの位置に人が表示されているか,といった情報も,この情報テーブルに保持されていても良い。
図21は,切り出した画面を他の番組の上に重ねて表示させるときの例を示すものである。
同図において,放送信号に含まれている画面内の「人」の位置2101,「文字」の位置2102は,記憶部に保存している。
あるいはこれらの情報は,放送信号の中に含まれていても良いし,画像認識技術で抽出しても良い。
「人」の位置,「文字」の位置と,これから置こうとしている切り出し矩形の位置2103を演算部にて比較して,重なっていたら,重ならない領域に移動して表示する。
図22では,画像に含まれるものにリンクされた情報へアクセスする方法に関して説明する。
同図においては,たとえばあるチャンネルで時刻19:30から野球の試合の中継放送が開始された2202ものとする。
このとき,番組のスポンサーのインタネット上のサイトのリンク情報を放送信号に含ませておくことにより,たとえば番組のスポンサーである野球用品メーカーのインタネット上のサイトが,野球中継番組の開始と同時に別画面に表示されて,重ねて表示される2203,ということが可能になる。
同図において放送信号の中に,同図に示すような情報テーブルが含まれている。この例では,19:00から19:30まではリンク情報はないので通常の番組画面が表示される2201。
同図において,時刻19:30から21:30までは,リンク情報2204とリンク情報表示位置の情報2205が放送信号とともに配信されているので,たとえばスポンサー情報のWebサイトを画面上のリンク情報表示位置の座標に表示する。
同図では,放送信号にリンク情報が含まれている例を説明したが,放送信号にリンク情報が含まれない場合の例として,クライアント側で画像認識により放送画像に含まれるものを認識し,そのものに関連付けられたインタネット上のサイトへアクセスし,その画面を重ねて表示する,という方法でも良い。この例では,たとえば野球の中継番組の中で野球選手が使用しているバットなどの野球用品を画像認識し,その野球用品メーカのインタネット上のサイトにアクセスし,その画面を重ねて表示する。
今まで説明してきたように,本発明では,複数の放送信号の中から必要な部分の身を切り取って表示させることにより,効率的に情報を表示することを特徴とする。
放送信号の中に,時刻や,切り取り部分の位置や大きさ,リンク情報などを含ませるために,情報テーブルを構成し,映像データとともに配信する例に関しては説明してきた。
また,ユーザが自分で任意の領域を切り取る方法に関しても説明したが,この場合にも,同様の情報テーブルを履歴(ログ)として記憶部に保存しておくことが可能である。
画面切り出しのために必要なこのような情報テーブルの活用例に関して例を示して説明する。
図23は,ユーザが行った画面の切り出し,および,重ね方に関する情報をたとえばメールなどを用いて他のユーザの端末や,他の情報端末に送信する例を示すものである。
同図において,まずユーザはテレビで番組Aを視聴しながら,番組Bの一部分と,番組Cの一部分を,番組Aの画面に重ねた表示を視聴している2301。
同図において記憶部には画面切り出しのための情報テーブル2303が保存されている。この情報テーブル2303は放送信号の中に含まれているものであっても良いし,ユーザが自分で切り出した履歴から作成したものであっても良い。
同図において,ユーザは,番組A,B,Cを放送しているチャンネル名,チャンネルBの一部分のサイズ,チャンネルCの一部分のサイズ,チャンネルBの一部分を重ねてあるチャンネルA上の一座標,チャンネルCの一部分を重ねてあるチャンネルA上の一座標,などの,画面構成を再現するために必要な情報2303を,メールなどの通信手段により別の情報表示装置に送信することができる。
このことにより,たとえば,テレビで視聴していた画面とまったく同じ画面構成で,番組A,B,Cを携帯電話の画面で視聴する2302,などということが可能になる。
同図において画面構成を再現するための情報としては,上述した画面のサイズや位置情報のほかに,画面の透過度,画面切り取りの開始時刻と終了時刻(いつからいつまでどのくらいのサイズでどの位置に重ねてあるか),リンク情報,などの情報も含まれる。
さらに同図において,A,B,Cの3つの番組を重ねて表示した画面を録画した場合,上述したような画面構成を再現するための情報も同時に保存され,あとで再生した場合に,オンエアで視聴した画面構成と同じ画面構成で録画した番組を視聴することができる。
さらに,このようなユーザの切り取り履歴や情報テーブル2303を,放送事業者やコンテンツ管理事業者などに送ることにより,放送画面の中のどの部分がどの程度切り取られて視聴されているか,といったデータを収集することも可能になる。
図24は,複数のチャンネルの一部分を切り取って重ねて表示する別の例を示すものである。いままでは,複数のチャンネルの一部分を切り取って,その部分を動画のまま重ねて表示する例を説明してきた。
図24に示す例では,チャンネルの一部分を切り取った画面の静止画を,別のチャンネルに重ねて表示する様子を示している。
同図において,番組A2401は動画で表示されており,番組B2402,C2403,D2404の一部分が切り取られて静止画で番組Aに重ねて表示されている。
同図において,ユーザはたとえばリモコンなどの操作デバイスを操作することにより,フォーカスを静止画の上にハイライトさせることが出来る2405。
同図において,静止画にフォーカスがハイライトされると,その静止画がキャプチャされた時刻から動画を再生する。
同図において,フォーカスされた静止画の再生は,実時間で再生しても良いし,あるいは,音響的特徴量や画像の特徴量を利用したダイジェスト再生で再生しても良い。
同図において,フォーカスが他の静止画に移動すると,フォーカス移動前にハイライトされていた画面は動画再生時点での静止画として表示され,新しくハイライトされた静止画が動画として再生を開始する2406。
図25は,本発明において,画面内の指定領域を,別の画面などで隠す例である。
同図に示す例では,録画した音楽番組の画面上部に,たとえば緊急のニュース速報などを示すテロップ2501が挿入されてしまっている例を示している。
このような映像は,たとえば音楽番組の中に出演しているお気に入りの歌手のシーンにこのようなテロップが表示されていると,ユーザは気持ちよく視聴することが出来ない。
そこで,本発明を用いて,テロップが表示されている領域の上に,別の画面を重ねる2502ことにより,ユーザにとって邪魔な情報を画面から消去することが可能になる。
同図において,重ねる画面2502は,別の画面領域であってもよいし,単なる矩形であってもよいし,モザイクなどの画像処理効果であってもよいし,その他の手段であっても良い。
さらに,同図において,ニュース速報のような消去したい領域の上に別の画像を重ねる方法のほかに,その領域を画像認識で検出し,ピクセルの色を均一化してしまう,という方法もある。
同図において,消去したい情報の他の例としては,上述したような文字情報のほかに,たとえば子供に見せたくないシーンなども対象としてよい。
さらに同図において,画像認識などにより消去したいシーンを検出したときに,切り出し映像を重ねることでその部分を消すことに加えて,その部分の音を消す,という処理を加えても良い。
本発明のシステム構成を示す説明図である。 本発明の画面例を示す説明図である。 本発明の画面切り取り操作に伴う画面の変化の例を示す説明図である。 本発明の画面切り取り操作のフローを示す説明図である。 本発明の画面切り取り方法を示す説明図である。 本発明の画面切り取り情報を示す説明図である。 本発明のポインタのドラッグで切り取り領域を選択する場合のフローを示す説明図である。 本発明の切り取りパターンを用いて画面を切り取る例を示す説明図である。 本発明の画面を切り取るための情報を示す説明図である。 本発明のあらかじめ定義された切り出しパターンを使って切り取り領域を選択する場合のフローを示す説明図である。 本発明のフリーカーソルリモコン操作で画面切り取る例を示す説明図である。 本発明のフリーカーソルリモコンで切り取り領域を選択する場合のフローを示す説明図である。 本発明の切り取って重ねて表示した画面のサイズを変更する例を示す説明図である。 本発明のあらかじめ登録したキーワードを認識して画面サイズを変更するフローを示す説明図である。 本発明の画面の透過度を変化させて画面を表示する例を示す説明図である。 本発明の画面サイズを変更して再配置する例を示す説明図である。 本発明の切り出した画面の一部の配置方法の例を示す説明図である。 本発明の切り出した画面の一部の配置方法の例を示す説明図である。 本発明の放送信号に画面切り取りのための情報を入れる例を示す説明図である。 本発明の「人」や「テロップ」の情報を放送信号に含ませる例を示す説明図である。 本発明の切り出した画像を重ねるときの作法を示す説明図である。 本発明のサーバ,スポンサーとの連携方法の例を示す説明図である。 本発明の画面を切り出すための情報をさまざまな端末で共有する例を示す説明図である。 本発明の切り出した画面をカーソルで選択して再生する例を示す説明図である。 本発明の画面上の一部を隠す方法の例を示す説明図である。
符号の説明
101:表示部,102:入力部,103:通信部,104:インタネット網,105:抽出部,106:記憶部,107:情報閲覧プログラム,108:テレビアンテナ,109:テレビチューナ,110:テレビチューナ,111:WWWサーバ,112:コンテンツ配信サーバ,113:カメラ情報入力部
201:音楽番組,202:野球中継番組,203:ニュース番組,204:ニュース番組中のテロップ部分,205:野球中継番組中の点数表示部分,206:音楽番組の上にニュース番組中のテロップ部分と野球中継番組中の点数部分を重ねて表示した画面
301:リモコン,302:画面の選択ボタン,303:チャンネル変更ボタン,304:決定ボタン,305:音楽番組,306:基準画面に設定された番組,307:野球中継番組の点数部分の選択,308:野球中継番組の点数部分を音楽番組に重ねて表示,309:ニュース番組のテロップ部分の選択,310:ニュース番組のテロップ部分を音楽番組に重ねて表示
401:チャンネルの切り替え,402:基準画面の設定,403:チャンネルの切り替え,404:画面内の特定領域の指定,405:他のチャンネルの画面の一部を重ねて表示するか否かの判定,
501:ポインタ,502:切り出し領域の座標,503:ポインタ,504:切り出し領域の座標,505:矩形領域
601:番組ID,602:基準番組フラグ,603:切り出し矩形の座標,604:画面例
701:現在の番組が基準番組か否かの判定,702:ポインタを切り出し開始位置にあわせる,703:ポインタを切り出し終了位置に合わせる,704:指定した切り出し領域を基準番組の上に重ねて表示する
801:画面の左上部分を切り出すためのパターン,802:画面の下部分を切り出すためのパターン,803:画面の左下部分を切り出すためのパターン,804:画面の中央部分を切り出すためのパターン,805:画面の右上部分を切り出すためのパターン,806:画面の上部分を切り出すためのパターン,807:画面の右下部分を切り出すためのパターン,808:801:画面の左上部分を切り出すためのパターンを選択した場合の画面例
901:切り出しパターンの識別番号,902:切り出しパターンの座標情報
1001:切り出しパターンの選択,1002:基準番組の上の切り取った画面を重ねて表示,1003:切り出した領域の位置やサイズの微調整が必要か否かの判定,1004:位置やサイズの微調整
1101:ポインタ,1102:リモコン,1103:ホイール,1104:サイズを拡大したポインタ,1105:特定領域を矩形で切り出す例,1106:特定領域を輪郭に沿って切り出す例
1201:ポインタ表示,1202:ポインタを特定領域の近傍へ移動,1203:ポインタのサイズ変更,1204:領域の切り出し
1301:音楽番組,1302:ニュース番組中のテロップ部分,1303:テロップ中に表示されたキーワード,1304:拡大表示されたニュース番組
1401:キーワード登録,1402:番組中の音響的あるいは画像的特徴量の抽出,1403:番組中にキーワードが含まれるか否かの判定,1404:画面拡大表示
1501:音楽番組,1502:透過率0%で音楽番組に重ねて表示されているニュース番組,1503:ニュース番組,1504:透過率100%で音楽番組に重ねて表示されているニュース番組
1601:番組の一部分,1602:番組の一部分,1603:番組の一部分,1604:番組の一部分,1605:番組の一部分,1606:番組の一部分,1607:番組の一部分,1608:番組の一部分,1609:番組の一部分,1610:番組の一部分,1611:基準番組,1612:拡大表示された番組
1701:番組画面,1702:切り出し領域,1703:縮小表示された番組画面,1704:切り出された画面
1801:番組画面,1802:切り出し領域,1803:縮小表示された番組画面,1804:切り出された画面
1901:チャンネル識別情報,1902:チャンネル識別情報,1903:チャンネル識別情報,1904:映像データ,1905:映像データ,1906:映像データ,1907:基準番組フラグ,1908:基準番組フラグ,1909:基準番組フラグ,1910:切り出し情報,1911:切り出し情報,1912:切り出し情報,1913:切り出し情報,1914:切り出し情報,1915:切り出し情報,1916:切り出し情報,1917:画面例,1918:画面例,1919:画面例
2001:画面中の人が表示されている領域,2002:画面中のテロップが表示されている領域,2003:画面中の人が表示されている領域,2004:人の領域の座標情報,2005:テロップの領域の座標情報
2101:画面中の人が表示されている領域,2102:画面中のテロップが表示されている領域,2103:別のチャンネルから切り出した画面の一部,2104:人とテロップに重ならないように表示された別のチャンネルから切り出した画面の一部
2201:ニュース番組,2202:野球中継番組,2203:野球中継番組の番組提供者へのリンク情報,2204:番組提供者へのリンク情報,2205:番組提供者へのリンク情報の表示位置
2301:テレビに表示されている画面,2302:携帯電話に表示されている画面,2303:画面の状態を保持している情報テーブル
2401:基準番組,2402:基準番組に重ねて表示された切り出し画面の静止画,2403:基準番組に重ねて表示された切り出し画面の静止画,2404:基準番組に重ねて表示された切り出し画面の静止画,2405:カーソルにフォーカスされて動画再生を開始した切り出し画面,2406:カーソルにフォーカスされて動画再生を開始した切り出し画面
2501:番組画面中に表示された臨時の文字情報,2502:番組画面中に表示された臨時の文字情報を隠すように配置された矩形またはモザイクなどの画像効果。

Claims (15)

  1. 第一および第二の放送信号を受信する受信手段と,
    前記受信手段で受信された前記第一の放送信号を第一の画像情報として表示し再生する情報再生手段と,
    前記第二の放送信号の有する第二の画像情報を記憶する記憶手段と,
    前記記憶手段に記憶された第二の画像情報の一部分を抽出する抽出手段とを有し,
    前記情報表示手段は前記第一の画像情報が有する画像上に,前記抽出手段により抽出された前記第二の画像情報の有する画像の一部分を重ねて表示し再生することを特徴とする情報再生装置。
  2. 外部からの情報を入力する入力手段を有し,
    前記抽出手段は,前記入力手段により選択された前記第二の画像情報の一部分を抽出することを特徴とする請求項1記載の情報再生装置。
  3. 前記抽出手段は前記第二の放送信号の有する音声信号が所定値以上となったとき,または,前記音声信号が所定の波形情報を含む,または所定の波形情報と近似するとき,または前記音声信号の変化が所定値以上のときに,前記第二の画像情報の一部を前記第一の画像情報上に重ねて表示し再生することを特徴とする請求項1記載の情報再生装置。
  4. 前記抽出手段は前記第二の画像情報から所定の画像情報を画像認識することにより,前記第二の画像情報の一部分を抽出することを特徴とする請求項1記載の情報再生装置。
  5. 前記抽出手段は前記第二の放送信号の有する文字情報が所定の文字配列を含むとき、前記文字情報を前記第一の画像情報上に重ねて表示し再生することを特徴とする請求項1記載の情報再生装置。
  6. 外部からの情報を入力する入力手段を有し、前記入力手段からの指定に基づき、前記第一の放送信号または前記第二の放送信号のどちらを基準番組として前記情報表示手段の全画面に表示し、どちらを一部分を抽出し重ねて表示するかを選択できることを特徴とする請求項1記載の情報再生装置。
  7. 外部からの情報を有する入力手段を有し、
    前記第二の放送信号に含まれる情報が前記入力手段から入力され情報を含むときにアラームを出力することを特徴とする請求項1記載の情報再生装置。
  8. 前記第二の放送信号に含まれる情報が前記入力手段から入力され情報を含むときに、前記第二の画像情報が有する画像のサイズが拡大することを特徴とする請求項7記載の情報再生装置。
  9. 前記第二の放送信号に含まれる情報が前記入力手段から入力され情報を含むときに、前記第二の画像情報が有する画像の透過度を変えて表示することを特徴とする請求項7記載の情報再生装置。
  10. 第一および第二の放送信号を受信する受信手段と,
    前記受信手段で受信された前記第一の放送信号を第一の画像情報として表示し再生する情報再生手段とを有し,
    前記第二の放送信号は,第二の画像情報および前記第二の画像情報の前記情報再生手段の表示領域全体における位置情報を有し,
    前記第二の画像情報および前記位置情報を記憶する記憶手段を有し,
    前記情報表示手段は前記第一の画像情報が有する画像上に,前記記憶手段に記憶された前記位置情報の有する表示領域全体における位置に,前記第二の画像情報が有する画像を重ねて表示し再生することを特徴とする情報再生装置。
  11. 前記第二の放送信号は文字情報を有することを特徴とする請求項9記載の情報再生装置。
  12. 前記第二の放送信号は時間情報を有し、前記情報表示手段は前記時間情報に基づく時間に、前記第一の画像情報が有する画像上に,前記記憶手段に記憶された前記位置情報の有する表示領域全体における位置に,前記第二の画像情報が有する画像を重ねて表示し再生することを特徴とする請求項9記載の情報再生装置。
  13. 前記第二の放送信号は、人の位置の情報または文字情報の位置の情報を有することを特徴とする請求項9記載の情報再生装置。
  14. 前記第二の放送信号は、前記第二の画像情報が含む情報のインターネット上でのアドレスへのリンク情報を有することを特徴とする請求項9記載の情報再生装置。
  15. 前記情報表示手段は前記第二の画像情報を静止画として表示し、
    入力手段を有し、
    前記入力手段からの入力に基づき、前記情報表示手段は、静止画として表示されていた前記第二の画像情報を動画として再生することを特徴とする請求項1記載の情報再生装置。
JP2006086861A 2006-03-28 2006-03-28 情報再生装置 Withdrawn JP2007266800A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006086861A JP2007266800A (ja) 2006-03-28 2006-03-28 情報再生装置
US11/673,079 US20070229706A1 (en) 2006-03-28 2007-02-09 Information reading apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006086861A JP2007266800A (ja) 2006-03-28 2006-03-28 情報再生装置

Publications (2)

Publication Number Publication Date
JP2007266800A true JP2007266800A (ja) 2007-10-11
JP2007266800A5 JP2007266800A5 (ja) 2008-09-18

Family

ID=38558318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006086861A Withdrawn JP2007266800A (ja) 2006-03-28 2006-03-28 情報再生装置

Country Status (2)

Country Link
US (1) US20070229706A1 (ja)
JP (1) JP2007266800A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239729A (ja) * 2008-03-27 2009-10-15 Toshiba Corp コンテンツのシーン出現を通知する装置、方法およびプログラム
JP2010147649A (ja) * 2008-12-17 2010-07-01 Asutemu:Kk 手話映像表示装置、手話映像表示方法、及びプログラム
JP2011120069A (ja) * 2009-12-04 2011-06-16 Samsung Electronics Co Ltd 情報処理装置、表示制御方法、およびプログラム
JP2012108793A (ja) * 2010-11-18 2012-06-07 Nec Corp 情報表示システム、装置、方法及びプログラム
JP2012124905A (ja) * 2010-02-26 2012-06-28 Sharp Corp コンテンツ再生装置、テレビジョン受像機、コンテンツ再生方法、コンテンツ再生プログラム、および記録媒体

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315415B1 (ko) * 2007-12-06 2013-10-07 삼성전자주식회사 영상처리장치 및 그 제어방법
JP2009182877A (ja) * 2008-01-31 2009-08-13 Toshiba Corp 記録再生装置および記録再生方法
WO2009122372A2 (en) * 2008-04-04 2009-10-08 Koninklijke Philips Electronics N.V. A display managing system
JP5470861B2 (ja) * 2009-01-09 2014-04-16 ソニー株式会社 表示装置及び表示方法
JP5584806B2 (ja) * 2012-09-25 2014-09-03 シャープ株式会社 セットトップボックス、表示システム、表示装置、テレビジョン受像機、制御方法、プログラム、および記録媒体
CN102905183A (zh) 2012-10-11 2013-01-30 中兴通讯股份有限公司 一种实现电视分屏观看的方法、机顶盒及电视系统
JP2016095502A (ja) * 2014-11-11 2016-05-26 株式会社半導体エネルギー研究所 表示システム、表示装置
KR102364085B1 (ko) * 2015-08-11 2022-02-17 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN105898513A (zh) * 2015-12-14 2016-08-24 乐视网信息技术(北京)股份有限公司 基于安卓平台的多媒体资源的播放方法、装置和终端设备
CN105916004B (zh) * 2016-06-08 2019-03-01 深圳创维数字技术有限公司 一种图像的叠加显示方法和系统
CN113450811B (zh) * 2018-06-05 2024-02-06 安克创新科技股份有限公司 对音乐进行通透处理的方法及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6490319B1 (en) * 1999-06-22 2002-12-03 Intel Corporation Region of interest video coding
KR100364739B1 (ko) * 2000-08-21 2002-12-16 엘지전자 주식회사 티브이의 부화면 제어장치 및 방법
US20030041332A1 (en) * 2001-08-21 2003-02-27 Allen Paul G. System and method for mitigating interruptions during television viewing
US6981227B1 (en) * 2002-02-04 2005-12-27 Mircrosoft Corporation Systems and methods for a dimmable user interface
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US20060200842A1 (en) * 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts
US8032840B2 (en) * 2006-01-10 2011-10-04 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239729A (ja) * 2008-03-27 2009-10-15 Toshiba Corp コンテンツのシーン出現を通知する装置、方法およびプログラム
JP2010147649A (ja) * 2008-12-17 2010-07-01 Asutemu:Kk 手話映像表示装置、手話映像表示方法、及びプログラム
JP2011120069A (ja) * 2009-12-04 2011-06-16 Samsung Electronics Co Ltd 情報処理装置、表示制御方法、およびプログラム
JP2012124905A (ja) * 2010-02-26 2012-06-28 Sharp Corp コンテンツ再生装置、テレビジョン受像機、コンテンツ再生方法、コンテンツ再生プログラム、および記録媒体
JP2012108793A (ja) * 2010-11-18 2012-06-07 Nec Corp 情報表示システム、装置、方法及びプログラム

Also Published As

Publication number Publication date
US20070229706A1 (en) 2007-10-04

Similar Documents

Publication Publication Date Title
JP2007266800A (ja) 情報再生装置
US10609446B2 (en) Systems and methods for providing blackout recording and summary information
US20200221163A9 (en) Method for receiving enhanced service and display apparatus thereof
US9787627B2 (en) Viewer interface for broadcast image content
JP6231524B2 (ja) 無線通信デバイスを用いてメディアガイダンスアプリケーション機能性を提供するためのシステムおよび方法
US8615777B2 (en) Method and apparatus for displaying posting site comments with program being viewed
JP4325071B2 (ja) デジタルビデオ再生方法及びデジタルビデオ再生装置
JP5395813B2 (ja) コンテンツおよびメタデータの消費技法
US8739213B2 (en) System and method for providing an interactive program guide for past current and future programming
US20070162936A1 (en) Interactive main menu graphical user interface systems and methods
US20140096174A1 (en) Video branching
WO2015049810A1 (ja) 多視点動画配置システム
KR20030017997A (ko) 이미지 시퀀스 내의 위치를 선택하기 위한 방법 및 시스템
JP2008547316A (ja) 動的なメディアガイドリスティング
JPH11196345A (ja) 表示システム
CN103841430A (zh) 一种电子节目菜单的显示方法
TW200824451A (en) Method and related system capable of notifying and buffering predetermined events in a program
CN108810580B (zh) 媒体内容推送方法及装置
JP2010098730A (ja) リンク情報の提供装置、表示装置、システム、方法、プログラム、記録媒体及びリンク情報の送受信システム
US20070256031A1 (en) Method for Selecting a Button in a Graphic Bar and Receiver for Carrying Out Said Method
JP2009038793A (ja) 情報処理サーバ、番組受信端末、番組関連情報提供方法及び番組関連情報描画方法
JP4554399B2 (ja) デジタル放送受信装置、デジタル放送システム、デジタル放送受信方法及びデジタル放送方法
JP5683756B1 (ja) 多視点動画配置システム
WO2009122372A2 (en) A display managing system
JP2007306527A (ja) コンテンツ表示装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080804

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20100902