JP2007116448A - 視聴システム - Google Patents

視聴システム Download PDF

Info

Publication number
JP2007116448A
JP2007116448A JP2005305919A JP2005305919A JP2007116448A JP 2007116448 A JP2007116448 A JP 2007116448A JP 2005305919 A JP2005305919 A JP 2005305919A JP 2005305919 A JP2005305919 A JP 2005305919A JP 2007116448 A JP2007116448 A JP 2007116448A
Authority
JP
Japan
Prior art keywords
video
viewer
reproduction
image signal
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005305919A
Other languages
English (en)
Inventor
Hideki Tanabe
英樹 田邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2005305919A priority Critical patent/JP2007116448A/ja
Priority to US11/583,840 priority patent/US20070092220A1/en
Publication of JP2007116448A publication Critical patent/JP2007116448A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data

Abstract

【課題】複数の映像表示装置において同一のコンテンツを欠落なく再生する。
【解決手段】視聴システム10は、ネットワーク11に接続されたテレビ100A,100B,100Cと、メディアサーバ200とを備える。テレビ100Aは、撮像部202と、視聴者の顔画像データを抽出する顔画像抽出部208と、視聴者の顔の特徴量を算出する顔特徴情報算出部210と、特徴量に基づいて視聴者を特定する視聴者特定部212と、視聴者の情報を生成する視聴者構成情報生成部214とを備える。メディアサーバ200は、コンテンツを格納するコンテンツ記憶部234と、受信されたコンテンツ選択制御データに基づいてコンテンツを選択するコンテンツ選択部244と、選択されたコンテンツをテレビ100Bに送信するコンテンツ送信部246とを備える。
【選択図】図2

Description

本発明は映像音声信号の再生の制御に関する。本発明は、より特定的には、ネットワーク接続された複数の映像表示装置における映像音声の再生が制御される視聴システムに関する。
テレビ放送された番組、ビデオ録画された映像その他の映像コンテンツをハードディスク、光メディアその他の記録媒体に記録して、映像コンテンツをテレビあるいはPC(Personal Computer)その他の映像表示装置で再生する装置(以下、メディアサーバという。)が実用化されている。メディアサーバの中には、ネットワークを介して接続されている複数の映像表示装置を有するものもある。この場合、たとえば、複数の部屋に映像表示装置をそれぞれ配置することにより、メディアサーバの使用者は、各部屋において当該メディアサーバから送信された映像コンテンツを視聴することができる。係る仕組みを実現する視聴システムは、たとえば特開2004−343445号公報(特許文献1)に開示されている。
また、使用者が、複数の映像表示装置において同一の映像コンテンツを視聴する場合、たとえば、部屋を移動することにより、視聴が中断されることがある。このような場合において、視聴をシームレスに実現するための技術が、たとえば特開2004−336310号公報(特許文献2)に開示されている。
また、複数の映像表示装置のいずれかに同一の映像コンテンツを提供する技術に関し、たとえば、特開2005−033682号公報(特許文献3)は、視聴者の位置に応じて当該視聴者を特定し、映像コンテンツを供給する技術を開示している。また、映像コンテンツの供給に関し、たとえば、特開2002−084523号公報(特許文献4)は、供給されるコンテンツの表示その他の制御により、コンテンツに係る権利を保護するための技術を開示している。
特開2004−343445号公報 特開2004−336310号公報 特開2005−033682号公報 特開2002−084523号公報
しかしながら、大容量の記憶装置に記録された映像コンテンツの数は増える一方、各コンテンツの整理は容易ではない。また、視聴者は、コンテンツの視聴中に、他の部屋に移動したり、あるいは過去に途中まで視聴したコンテンツを再生するためには、コンテンツを検索し、視聴済みの部分を飛ばして(いわゆる「早送り」)して、続きの部分を探すのは、非常に煩雑である。
本発明は、上述の問題点を解決するためになされたものであって、その第1の目的は、複数の映像表示装置において視聴者が視聴していたコンテンツを正確に再生することができる視聴システムを提供することである。
本発明の第2の目的は、視聴者の位置に依存することなく、複数の映像表示装置において同一のコンテンツを欠落させることなく表示することができる視聴システムを提供することである。
上記の課題を解決するために、この発明のある局面に従う視聴システムは、ネットワークに接続された第1および第2の映像表示装置と映像記録再生装置とを備える。映像記録再生装置は、映像音声信号を有する映像音声コンテンツを格納する記録手段と、映像音声信号を再生する再生手段とを含む。第1の映像表示装置は、被写体を撮影して画像信号を出力する第1の撮影手段と、画像信号に基づいて予め定められた解析処理を実行することにより被写体の特徴量を算出する第1の算出手段と、外部から入力される被写体の識別情報と、識別情報に関連付けられる特徴量とを格納する識別情報記憶手段と、映像音声コンテンツの再生のために外部から入力される第1の再生要求を、映像記録再生装置に対して送信する第1の要求送信手段とを含む。映像記録再生装置は、第1の再生要求に基づいて、再生が指示された映像音声コンテンツに対応する映像音声信号を再生手段に読み出させる第1の再生制御手段と、第1の映像表示装置に対して、読み出された映像音声信号を送信する第1の配信制御手段とをさらに含む。第1の映像表示装置は、映像音声信号に基づいて映像音声コンテンツを表示する第1の表示手段と、映像音声信号の再生に基づいて、第1の撮影手段に、再生を指示した第1の視聴者の画像信号を取得させる第1の撮影制御手段と、第1の視聴者の撮影に基づく画像信号と識別情報とに基づいて、第1の視聴者を特定するための第1の特定情報を生成する第1の生成手段と、第1の特定情報と、第1の特定情報が関連付けられた再生履歴とを、映像記録再生装置に対して送信する履歴送信手段とを含む。映像記録再生装置は、被写体情報と再生履歴とを格納する履歴記憶手段を含む。第2の映像表示装置は、被写体を撮影して画像信号を出力する第2の撮影手段と、画像信号に基づいて予め定められた解析処理を実行することにより被写体の特徴量を算出する第2の算出手段と、外部から入力された被写体の第2の識別情報と、第2の識別情報に関連付けられる特徴量とを格納する第2の識別情報記憶手段と、映像音声コンテンツの再生のために外部から入力された第2の再生要求に基づいて、第2の撮影手段に画像信号を取得させる第2の撮影制御手段と、特徴量と、取得された画像信号とに基づいて、第2の再生要求を入力した第2の視聴者を特定する第2の特定情報を生成する第2の生成手段と、第2の特定情報と第2の再生要求とを、映像記録再生装置に対して送信する第2の要求送信手段とを含む。映像記録再生装置は、第2の再生要求および第2の特定情報と、再生履歴とに基づいて、第2の視聴者によって再生が指示されたコンテンツを特定する特定手段と、特定手段により特定されたコンテンツに対応する映像音声信号を、第2の映像表示装置に送信する第2の配信制御手段とをさらに含む。第2の映像表示装置は、映像記録再生装置によって送信された映像音声信号に基づいて映像音声コンテンツを表示する第2の表示手段を含む。
この発明の他の局面に従う視聴システムは、ネットワークに接続された第1および第2の映像表示装置と映像記録再生装置とを備える。映像記録再生装置は、映像音声信号を有する映像音声コンテンツを格納する記録手段と、映像音声信号を再生する再生手段と、外部から入力される要求に応じて、映像音声コンテンツに対応する映像音声信号を要求の送信元に配信する配信制御手段とを含む。第1の映像表示装置は、被写体を撮影に基づく画像信号を取得するための第1の取得手段と、画像信号を解析して被写体の特徴量を算出する第1の算出手段と、被写体の識別情報と、識別情報に関連付けられる特徴量とを格納する識別情報記憶手段と、第1の再生要求に基づいて、映像記録再生装置に映像音声コンテンツを再生させる第1の再生制御手段と、映像記録再生装置により再生された映像音声コンテンツを表示する第1の表示手段と、第1の取得手段に、再生を指示した第1の視聴者の撮影に基づく画像信号を取得させる第1の取得制御手段と、第1の視聴者の画像信号と識別情報とに基づいて、第1の視聴者を特定するための第1の特定情報を生成する第1の生成手段と、第1の特定情報と、第1の特定情報が関連付けられた再生履歴とを、映像記録再生装置に対して送信する履歴送信手段とを含む。映像記録再生装置は、被写体情報と再生履歴とを格納する履歴記憶手段を含む。第2の映像表示装置は、被写体の撮影に基づく画像信号を取得するための第2の取得手段と、画像信号に基づいて被写体の特徴量を算出する第2の算出手段と、被写体の第2の識別情報と、第2の識別情報に関連付けられる特徴量とを格納する第2の識別情報記憶手段と、第2の取得手段に、第2の再生要求を入力した第2の視聴者の撮影に基づく画像信号を取得させる第2の取得制御手段と、特徴量と、取得された画像信号とに基づいて、第2の視聴者を特定する第2の特定情報を生成する第2の生成手段と、第2の特定情報と第2の再生要求とに基づいて、再生が指示された映像音声コンテンツを映像記録再生装置に再生させる第2の再生制御手段と、映像記録再生装置によって再生された映像音声信号に基づいて映像音声コンテンツを表示する第2の表示手段を含む。
好ましくは、第1の取得手段は、被写体を撮影して画像信号を出力する第1の撮影手段を含む。第1の取得制御手段は、第1の撮影手段による撮影動作を制御する。第2の取得手段は、被写体を撮影して画像信号を出力する第2の撮影手段を含む。第2の取得制御手段は、第2の撮影手段による撮影動作を制御する。
好ましくは、第1の取得手段は、被写体の撮影により生成された画像信号の入力を受け付ける第1の信号入力手段を含む。第2の取得手段は、被写体の撮影により生成された画像信号の入力を受け付ける第2の信号入力手段を含む。
好ましくは、第1の算出手段は、予め定められた解析処理を実行することにより被写体の特徴量を算出する。
好ましくは、第2の算出手段は、予め定められた解析処理を実行することにより被写体の特徴量を算出する。
好ましくは、第1の再生制御手段は、第1の再生要求を映像記録再生装置に送信する。配信制御手段は、第1の再生要求に基づいて、再生が指示された映像音声コンテンツに対応する映像音声信号を第1の映像表示装置に対して送信する。
好ましくは、第2の識別情報記憶手段は、外部から入力された被写体の第2の識別情報と、第2の識別情報に関連付けられる特徴量とを格納する。
好ましくは、第2の再生制御手段は、第2の特定情報と第2の再生要求とを映像記録再生装置に送信する。配信制御手段は、第2の再生要求に基づいて、再生が指示された映像音声コンテンツを第2の映像表示装置に送信する。
好ましくは、第1の取得制御手段は、映像音声信号の再生に基づいて、第1の取得手段に、第1の視聴者の画像信号を取得させる。
好ましくは、映像記録再生装置は、第1の映像表示装置において再生が終了した第1の時刻と第2の映像表示装置により再生指示が送信された第2の時刻との時間差を算出する時間差算出手段と、第1の時刻よりも時間差に応じて遡った時刻から再生が指示された映像音声コンテンツに対応する映像音声信号を再生手段に再生させる重複再生制御手段とをさらに備える。
この発明の他の局面に従う視聴システムは、ネットワークに接続された第1および第2の映像表示装置と映像記録再生装置とを備える。映像記録再生装置は、映像音声信号を有する映像音声コンテンツを格納する記録手段と、映像音声信号を再生する再生手段とを含む。第1の映像表示装置は、被写体を撮影して画像信号を出力する第1の撮影手段と、画像信号を映像記録再生装置に送信する第1の送信手段と、映像音声コンテンツの再生のために外部から入力される第1の再生要求を、映像記録再生装置に対して送信する第1の要求送信手段とを含む。映像記録再生装置は、予め定められた解析処理を画像信号に対して実行することにより画像の特徴量を算出する解析手段と、視聴者を識別するために予め入力された識別情報と、視聴者の画像信号に対する解析処理により算出されて識別情報に関連付けられる特徴量とを記憶する視聴者情報記憶手段と、第1の映像表示装置からの画像信号に基づいて、第1の再生要求を指示した第1の視聴者の第1の特徴量を、解析手段に算出させる第1の算出手段と、第1の再生要求に基づいて、再生が指示された映像音声コンテンツに対応する映像音声信号を再生手段に再生させる第1の再生制御手段と、読み出された映像音声信号を第1の映像表示装置に送信する第1の配信手段と、識別情報と第1の特徴量とに基づいて、第1の視聴者を特定する第1の特定情報を生成するための第1の生成手段と、第1の特定情報と再生された映像音声コンテンツとを格納する再生履歴記憶手段とを含む。第1の映像表示装置は、映像記録再生装置から送信された映像音声信号に基づいて映像音声コンテンツを表示する第1の表示手段をさらに含む。第2の映像表示装置は、映像音声コンテンツの再生のために外部から入力される第2の再生要求を、映像記録再生装置に対して送信する第2の要求送信手段と、第2の再生要求に基づいて被写体を撮影して画像信号を出力する第2の撮影手段と、画像信号を映像記録再生装置に送信する第2の送信手段とを含む。映像記録再生装置は、第2の映像表示装置からの画像信号に基づいて、第2の再生要求を指示した第2の視聴者の第2の特徴量を、解析手段に算出させる第2の算出手段と、識別情報と第2の特徴量とに基づいて、第2の視聴者を特定する第2の特定情報を生成するための第2の生成手段と、第1の特定情報と第2の特定情報とに基づいて、第1の視聴者と第2の視聴者とが一致する映像音声コンテンツを検索する検索手段と、検索手段により検索された映像音声コンテンツに対応する映像音声信号を第2の映像表示装置に送信する第2の配信手段とを含む。第2の映像表示装置は、映像記録再生装置によって送信された映像音声信号に基づいて映像音声コンテンツを表示する第2の表示手段を含む。
この発明のさらに他の局面に従う視聴システムは、ネットワークに接続された第1および第2の映像表示装置と映像記録再生装置とを備える。映像記録再生装置は、映像音声信号を有する映像音声コンテンツを格納する記録手段と、映像音声信号を再生する再生手段とを含む。第1の映像表示装置は、被写体の撮影に基づく画像信号を取得するための第1の取得手段と、画像信号を映像記録再生装置に送信する第1の送信手段と、映像音声コンテンツの再生のために外部から入力される第1の再生要求を、映像記録再生装置に対して送信する第1の要求送信手段とを含む。映像記録再生装置は、予め定められた解析処理を画像信号に対して実行することにより画像の特徴量を算出する解析手段と、視聴者を識別する識別情報と、識別情報に関連付けられる特徴量とを記憶する視聴者情報記憶手段と、第1の映像表示装置からの画像信号に基づいて、第1の再生要求を指示した第1の視聴者の第1の特徴量を、解析手段に算出させる第1の算出手段と、第1の再生要求に基づいて、再生が指示された映像音声コンテンツに対応する映像音声信号を再生手段に再生させる第1の再生制御手段と、読み出された映像音声信号を第1の映像表示装置に送信する第1の配信手段と、識別情報と第1の特徴量とに基づいて、第1の映像表示装置に対する再生の履歴を管理する管理手段とを含む。第1の映像表示装置は、映像記録再生装置から送信された映像音声信号に基づいて映像音声コンテンツを表示する第1の表示手段を含む。第2の映像表示装置は、映像音声コンテンツの再生のために外部から入力される第2の再生要求を、映像記録再生装置に対して送信する第2の要求送信手段と、被写体の撮影に基づく画像信号を取得するための第2の取得手段と、画像信号を映像記録再生装置に送信する第2の送信手段とを含む。映像記録再生装置は、第2の映像表示装置からの画像信号に基づいて、第2の再生要求を指示した第2の視聴者の第2の特徴量を、解析手段に算出させる第2の算出手段と、識別情報と第2の特徴量と再生の履歴とに基づいて、第1の視聴者と第2の視聴者とが一致する映像音声コンテンツを検索する検索手段と、検索手段により検索された映像音声コンテンツに対応する映像音声信号を第2の映像表示装置に送信する第2の配信手段とを含む。第2の映像表示装置は、映像記録再生装置によって送信された映像音声信号に基づいて映像音声コンテンツを表示する第2の表示手段を含む。
好ましくは、第1の取得手段は、被写体を撮影して画像信号を出力する第1の撮影手段を含む。第1の取得制御手段は、第1の撮影手段による撮影動作を制御する。第2の取得手段は、被写体を撮影して画像信号を出力する第2の撮影手段を含む。第2の取得制御手段は、第2の撮影手段による撮影動作を制御する。
好ましくは、第1の取得手段は、被写体の撮影により生成された画像信号の入力を受け付ける第1の信号入力手段を含む。第2の取得手段は、被写体の撮影により生成された画像信号の入力を受け付ける第2の信号入力手段を含む。
好ましくは、第2の取得手段は、第2の再生要求の入力に基づいて画像信号を取得する。
好ましくは、管理手段は、識別情報と第1の特徴量とに基づいて、第1の視聴者を特定する第1の特定情報を生成するための第1の生成手段と、第1の特定情報と再生された映像音声コンテンツとを格納する再生履歴記憶手段とを含む。検索手段は、識別情報と第2の特徴量とに基づいて、第2の視聴者を特定する第2の特定情報を生成するための第2の生成手段と、第1の特定情報と第2の特定情報とに基づいて、第2の映像表示装置に配信される映像音声コンテンツを検索するコンテンツ検索手段とを含む。
好ましくは、コンテンツ検索手段は、第1の視聴者と第2の視聴者とが一致する映像音声コンテンツを検索する。
好ましくは、視聴者情報記憶手段は、視聴者を識別するために予め入力された識別情報と、視聴者の画像信号に対する解析処理により算出された特徴量とを記憶する。
好ましくは、映像記録再生装置は、第1の映像表示装置において再生が終了した第1の時刻と第2の映像表示装置により再生指示が送信された第2の時刻との時間差を算出する時間差算出手段と、第1の時刻よりも時間差に応じて遡った時刻から再生が指示された映像音声コンテンツに対応する映像音声信号を再生手段に再生させる重複再生制御手段とをさらに備える。
本発明に係る視聴システムによると、第1の映像表示装置の視聴者と第2の映像表示装置の視聴者とは、それぞれ画像信号に基づいて認証される。第1の映像表示装置の視聴者が第2の映像表示装置を使用して映像音声コンテンツを視聴していることが確認されると、映像記録再生装置は、第1の映像表示装置の視聴者に対して再生された映像音声コンテンツを、第2の映像表示装置に続けて配信する。その結果、第1の映像表示装置において再生された映像音声コンテンツが第2の映像表示装置において、続けて再生される。
したがって、視聴者が映像音声コンテンツを視聴する場所を変更した場合でも、同一のコンテンツを複雑な操作を行なうことなく視聴することができる。これにより、映像音声コンテンツの管理のための負荷を軽減することができる。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<第1の実施の形態>
図1を参照して、本発明の第1の実施の形態に係る視聴システム10について説明する。図1は、視聴システム10の概略構成を表わすブロック図である。視聴システム10は、テレビ100A,100B,100Cと、メディアサーバ200とを備える。各テレビとメディアサーバ200とは、ネットワーク11を介してそれぞれ接続されている。メディアサーバ200は、たとえばPC、ハードディスクレコーダその他の映像記録再生装置により実現される。
各テレビは、たとえば別個の場所に配置されている。たとえば、視聴システム10が家庭において構築される場合には、各テレビは、部屋ごとに配置される。ネットワーク11は、たとえば光ファイバケーブル、イーサネット(登録商標)その他のLAN(Local Area Network)により実現される。なお、各テレビは、総称するときは、テレビ100と表わす。また、視聴システムを構成する映像表示装置は、テレビに限られない。少なくともCRT(Cathode Ray Tube)、液晶ディスプレイその他の映像表示部を有する装置であればよい。
図2を参照して、視聴システム10を実現する技術的思想について説明する。図2は、視聴システム10の機能的構成を表わすブロック図である。
テレビ100Aは、被写体を撮影して画像信号を出力する撮像部202と、撮像部202から出力される画像信号を予め定められた処理を実行することによりデジタルデータを生成する映像信号処理部204と、映像信号処理部204から出力されるデータを保存するデータ保存部206と、データ保存部206に格納されているデータに基づいてテレビ100Aの視聴者の顔画像データを抽出する顔画像抽出部208と、顔画像抽出部208より抽出されたデータに基づいて視聴者の顔の特徴量を算出する顔特徴情報算出部210と、顔特徴情報算出部210により算出された特徴量に基づいてテレビ100Aの視聴者を特定するための視聴者特定部212と、視聴者特定部212により特定された視聴者情報に基づいてテレビ100Aにより出力されているコンテンツを視聴している視聴者の情報を生成する視聴者構成情報生成部214とを備える。
テレビ100Aは、さらに、ネットワーク11に接続され、ネットワーク11を介して情報を通信するネットワークインターフェイス216と、テレビ100Aの外部からテレビ100Aに表示されるコンテンツを選択するための情報の入力を受け付けるコンテンツ選択情報入力部218と、メディアサーバ200から送信されたコンテンツ情報を受信するコンテンツ受信部220と、コンテンツ受信部220により受信されたコンテンツを再生するためのコンテンツ再生部222と、ネットワークインターフェイス216を介して受信された情報に基づいてコンテンツの選択状況を取得してそれらの情報を出力するための制御を行なうコンテンツ選択状況表示制御部224と、コンテンツ再生部222により再生されるコンテンツあるいはコンテンツ選択状況表示制御部224から出力される情報に基づいて映像を表示する表示部230とを備える。
ここで、コンテンツとは、映像音声信号を有する映像音声コンテンツ、たとえば、テレビ放送された番組、外部から入力されたビデオ映像その他の動画像等を含む。また、メディアサーバがDVDその他の記録媒体を再生できる装置であれば、各記録媒体に格納されている映画その他の映像もコンテンツに相当する。
図2を再び参照して、メディアサーバ200は、時刻を計測して時刻情報を出力する計時部232と、外部から入力される情報をコンテンツとして格納するコンテンツ記憶部234と、メディアサーバ200が接続されている各テレビの視聴状況を格納するコンテンツ視聴状態記憶部236と、ネットワーク11に接続され、テレビ100A,100B,100Cの各々と通信するためのネットワークインターフェイス238と、各テレビにおけるコンテンツの視聴状態を表わす情報を生成してコンテンツ視聴状態記憶部236に格納するコンテンツ視聴状態記憶制御部240と、ネットワークインターフェイス238を介して受信されるコンテンツ選択制御データに基づいてコンテンツ記憶部234に格納されているコンテンツを選択するためのコンテンツ選択部244と、コンテンツ選択部244により選択されたコンテンツの情報に基づいてコンテンツの視聴時刻、視聴者構成情報、視聴場所情報等を特定するためのコンテンツ選択条件生成部242と、コンテンツ選択部244により選択されたコンテンツのデータをネットワークインターフェイス238を介して特定されたテレビに送信するためのコンテンツ送信部246とを備える。
図3を参照して、本実施の形態に係るテレビの具体的構成について説明する。図3は、テレビ100のハードウェア構成を表わすブロック図である。テレビ100は、アンテナ302と、外部入力部304と、受光部306と、操作部308と、CPU(Central Processing Unit)310と、チューナ314と、切換回路316とを備える。CPU310は、メモリ312を含む。アンテナ302により受信された放送信号は、チューナ314に伝送される。チューナ314は、CPU310から出力される制御信号に基づいて選局が指示されたチャンネルを選択する。
外部入力部304は、外部から映像音声信号の入力を受け付ける。たとえば、外部入力部104は、メディアサーバ200から送信された映像音声信号の入力を受け付ける。映像音声信号は、たとえば、テレビ放送された番組を録画した映像コンテンツ、DVDその他の記録媒体から取得された映像コンテンツなどを含む。映像音声信号は、外部入力部304から切換回路316に伝送される。外部入力部304は、映像信号と音声信号とを別々に入力を受け付けるものであってもよいし、各々の信号を伝送するケーブルを1つにまとめたものであってもよい。切換回路316は、CPU310から出力される切換指令に基づいてチューナ314から出力される信号と外部入力部304から出力される信号とのいずれかを選択的に出力する。
テレビ100は、さらにカメラ350と、メモリ352と、解析装置360と、通信IF(Interface)370とを備える。カメラ350は、たとえばCCD(Charge Coupled Device)固体撮像素子を含む。
メモリ352は、たとえばフラッシュメモリである。カメラ350は、CPU310から出力される撮影指令に基づいて被写体(視聴者)を撮影し、その被写体の画像データをメモリ352に対して伝送する。メモリ352は、CPU310から出力される書込指令に基づいてその指令によって特定された領域に画像データを格納する。解析装置360は、CPU310からの指令に基づいてカメラ350の撮影により取得された画像データを解析する。解析処理については後述する。
通信IF370は、ネットワーク11に接続され、メディアサーバ200との間で信号の通信を行なう。通信される信号には、制御信号、映像音声信号が含まれる。
図3を再び参照して、テレビ100は、信号処理回路320と、ドライバ128と、ディスプレイ330と、アンプ336a,336bと、スピーカ340a,340bとを備える。信号処理回路320は、分離回路322と、OSD(On Screen Display)回路324とを含む。
切換回路316から出力された信号は、分離回路322に入力される。分離回路322は、CPU310からの指令に基づいて映像信号と音声信号とを分離するための処理を実行する。分離回路322から出力される映像信号は、OSD回路324に入力される。分離回路322から出力される音声信号は、アンプ336a,336bにそれぞれ伝送される。
OSD回路324は、CPU310からの指令に基づいてディスプレイ330に画像を表示するための信号を生成する。当該画像は、たとえばチャンネル番号その他の文字情報を含む。また、文字情報には音量レベルを表わす表示、テレビ100の動作を表わす表示も含まれる。動作を表わす表示は、音量のアップまたはダウン、コントラストの変更などを含む。より具体的には、OSD回路324は、分離回路322から出力される映像信号とメモリ312に予め格納されているデータに基づいて生成される画像信号とを合成し、当該合成により生成された信号をドライバ328に対して出力する。
ドライバ328は、OSD回路324から出力される信号に基づいてディスプレイ330における映像の表示処理を実行する。アンプ336a,336bは、分離回路322から出力される各々の音声信号を増幅してスピーカ340a,340bにそれぞれ伝送する。スピーカ340a,340bは、その信号に基づいて音声を出力する。
次に、図4を参照して、本実施の形態に係るテレビ100を実現するCPU310について説明する。図4は、CPU310によって実現される機能の構成を表わすブロック図である。CPU310は、入力部410と、相対位置関係特定部420と、構成情報生成部430と、送信データ生成部440と、送信指令部450と、制御信号取得部460と、動作指令生成部470と、出力部490とを含む。
入力部410は、CPU310の外部からの信号の入力を受け付ける。ここで外部とは、受光部306、操作部308、通信IF370を含む。CPU310は、さらに解析装置360からのデータの入力を受け付ける。このデータも入力部450を介して内部に伝送される。
相対位置関係特定部420は、メモリ352に格納されているデータに基づいて、カメラ350によって撮影された被写体の位置関係を特定するための処理を実行する。具体的には、相対位置関係特定部420は、被写体がテレビ100からどの程度離れているかあるいはテレビ100の正面に対してどの程度左右にずれているかを表わす情報を算出する。ずれを表わす情報は、たとえば画素数を単位として表現される。
特徴量被各部422は、予め記憶されている特徴量と、新たに算出された特徴量とを比較する。予め記憶されている特徴量は、テレビ100に対する標準的な視聴位置において視聴者を撮影することにより取得された画像データから算出されたものである。
構成情報生成部430は、相対位置関係特定部420からの情報に基づいてテレビ100を視聴している視聴者の構成を表す情報を生成する。この情報は、視聴者を特定するためのID(Identification)と、テレビ100のディスプレイ330に表示されているコンテンツを識別するためのデータとを含む。
制御信号取得部460は、入力部410を介して入力が受け付けられたデータに基づいてテレビ100の動作を指令するための信号を取得する。動作指令生成部470は、制御信号取得部460によって取得された信号に基づいてテレビ100に対して指示された動作を実行させるための信号を生成する。送信データ生成部440は、構成情報生成部430により生成された情報と制御信号取得部460からの情報とに基づいて、ネットワーク11を介してメディアサーバ200に対して送信されるデータを生成する。送信指令部450は、送信データ生成部440により生成されたデータをネットワーク11を介してメディアサーバ200に対して送信するように指示を出力する。出力部490は、送信指令部450からの指令あるいは動作指令生成部470から出力される信号をCPU310の外部に対して出力する。出力された信号は、当該信号により制御の対象となるハードウェアに送出される。
図5を参照して、テレビ100のデータ構造について説明する。図5は、メモリ352におけるデータの格納の一態様を概念的に表わす図である。メモリ352は、データを格納するための領域510,520,530,540,550を含む。
視聴者を識別するための情報(視聴者ID)は、領域510に格納されている。視聴者を撮影することにより取得された顔画像のデータは、領域520に格納されている。視聴者の属性情報(たとえば年齢)は、領域530に格納されている。視聴者の顔の特徴量は、領域540,550にそれぞれ格納されている。領域510から550に格納されているデータは、それぞれ関連付けられている。したがって、領域510に格納されている視聴者IDを指定することにより、対応するデータが特定される。
ここで、図6を参照して、本実施の形態における顔画像データの抽出処理について説明する。図6は、メモリ352に格納された顔画像を概念的に表わす図である。
被写体がテレビ100のディスプレイ330の正面に位置した状態で撮影処理が正常に実行されると、撮影処理によって生成されたデータは、メモリ352に格納される。被写体の顔は、肌色の部分とそうでない部分とを含む。たとえば頭髪、眉あるいは瞳は、たとえば、黒色であって、肌色とは異なる。そこで、このような被写体の画像に対してたとえば画像データの二値化処理あるいは濃淡処理を実行すると、濃淡の程度が異なる画像が生成される。
すなわち図6に示されるように、眉602a,602bと、瞳604a,604bと、鼻606と、口608とがそれぞれ抽出される。メモリ352における領域が予め特定されている場合、たとえば目の間隔612と、目の長さ610,614と、口元の幅616と、目尻と口の中心部との距離618とが、相対的な距離として、それぞれ算出される。距離は、たとえば画素の数により表わされる。間隔612の値と間隔618の値とは、それぞれ左右方向の情報、上下方向の情報としてメモリ352において確保された領域に格納される。これにより、カメラ350の撮影により生成された画像に対する被写体がどの位置にいるかを容易に特定することができる。
図7を参照して、本実施の形態に係るテレビ100が使用された場合における「標準位置」について説明する。図7は、テレビ100が設置された部屋を上部から表わした図である。視聴者701は、部屋700においてテレビ100を視聴している。視聴者701は、テレビ100に対して「標準位置」に位置している。ここで、標準位置とは、テレビ100に対して予め定められた位置をいう。この位置は、たとえばテレビ100からの距離と、テレビの中心を通る軸からの距離とによって特定される。
図7に示される例では、標準位置は、点線720と点線730との交点となる。点線730は、テレビ100の基準の位置に対応する点線710から予め定められた距離だけ離れた位置に相当する。点線720は、テレビ100の中心線、たとえばディスプレイ330に垂直に交差するような線に対応する。
このような状態で、視聴者701は、テレビ100に対する初期登録を行なう。すなわち、視聴者701はカメラ350による撮影を受け、解析装置360が視聴者701の顔画像を認識し、特徴量を算出する。その結果、視聴者701が正常に認識されると、特徴量がテレビ100に登録される。視聴者701は、テレビ100を視聴する都度、カメラ350に撮影される。したがって、新たに算出された特徴量と既に保存された特徴量との比較が可能になる。
視聴者701が標準位置よりもテレビ100に近い位置にて視聴する場合も考えられる。たとえば、視聴者701が、点線731における位置702において視聴する場合がある。あるいは逆に、視聴者701は、テレビ100から離れた点線732に対応する位置703において視聴する場合も考えられる。このような場合、視聴者701とカメラ350までの距離が短くなったり、あるいは長くなったりする。本実施の形態においては、特徴量の比が視聴者の認識に使用される。たとえば、視聴者の目の間隔と、目と口の間隔との比が認識に使用される。この場合、同一の視聴者であればカメラ350からの距離が異なっても、当該比は同一の値になるため、視聴者701が別の視聴者として誤って認識されることはない。したがって、その後のテレビ100の動作も、視聴者701に応じた制御が実現される。
さらに、視聴者がテレビ100に対して中心軸720からずれた位置において視聴する場合も考えられる。たとえば複数の視聴者がテレビ100の映像を視聴する場合である。具体的には、他の視聴者が点線721,722の位置において視聴する場合があり得る。このような場合も、当該特徴量の比の値は、予め登録された特徴量の比の値に対して大きくずれないため、ずれの量を誤差として予め設定しておくことにより、同一の視聴者を正確に認証することができる。
なお、標準位置と異なる位置は、図7に示されるものに限られない。部屋700の中でテレビ100の映像を視聴可能な位置は、当該標準位置と異なる位置になり得る。
図8および図9を参照して、本実施の形態に係るテレビ100の制御構造について説明する。図8は、視聴者を最初に認証するためにCPU310と解析装置360とが実行する処理の手順を表わすフローチャートである。
ステップS810にて、CPU310は、受光部306を介して入力されるリモコン端末(図示しない)によって送信された信号の受信に基づいて、テレビ100の動作モードをカメラ350による撮影モードに切換えるための指示を検知する。ステップS820にて、CPU310は、受光部306によって受信されるリモコン端末からの撮影指示信号に基づいて、カメラ350の撮影ボタン(図示しない)の押下の指令を検知する。CPU310は、カメラ350に対して予め設定された撮影モードにて被写体を撮影するように指令を出力する。撮影モードには、絞り、シャッタスピードなどが含まれる。カメラ350は、そのような指令に応答して被写体の撮影処理を実行する。その撮影処理の後、カメラ350は、画像データをメモリ352に対して送出する。
ステップS830にて、CPU310は、カメラ350からメモリ352に伝送されたデータを、メモリ352において予め確保した領域に格納する。ステップS840にて、CPU310は、解析装置360に対してメモリ352に格納されたデータを用いて解析するように指示を出力する。
ステップS850にて、解析装置360は、その指示に基づいてメモリ352から画像データを読み出し、RAM(Random Access Memory)(図示しない)のワーク領域に格納する。ステップS860にて、解析装置360は、そのデータから視聴者の顔に相当する画像領域を抽出する。この抽出処理は、たとえば公知の画像処理を用いて実現される。
ステップS870にて、解析装置360は、その画像領域に対して特徴量を算出するための処理を実行する。算出される特徴量は、CPU310によって予め指定されたものである。ステップS880にて、解析装置360は、算出した特徴量をメモリ352において予め確保された領域に格納する。その結果、テレビ100に対して標準位置に位置する視聴者の認証処理が完了し、その視聴者を特定するためのデータは、メモリ352に格納されることになる(図5)。
図9は、テレビ100の動作を制御するためにCPU310が実行する処理の手順を表わすフローチャートである。この処理は、たとえば、視聴者がテレビ100に対してコンテンツの再生を指示したときに実行される。
ステップS910にて、CPU310は、受光部360からの信号あるいは操作部308からの信号に基づいてコンテンツの再生指示の入力を検知する。ステップS920にて、CPU310は、メディアサーバ200からコンテンツのデータを取得して、ディスプレイ330にそのコンテンツを表示させる。ステップS930にて、CPU310は、カメラ350に対して撮影を行なうための信号を送信することによりコンテンツの視聴者をカメラ350に撮影させる。
ステップS940にて、CPU310は、ステップS930において取得された視聴者の画像データとメモリ352に予め登録されている画像データとを比較して、コンテンツを視聴している視聴者の認証処理を行なう。ステップS950にて、CPU310は、受光部306からの信号あるいは操作部308からの信号に基づいて、再生されていたコンテンツの再生の終了指示の入力を検知する。ステップS960にて、CPU310は、コンテンツの再生日時と再生場所(すなわちテレビの識別番号)と視聴者の情報とコンテンツの再生が停止された位置とを含む視聴者情報を生成する。ステップS970にて、CPU310は、ネットワーク11を介してメディアサーバ200に対して視聴者情報を送信する。
図10を参照して、テレビ100とメディアサーバ200との通信について説明する。図10は、テレビ100がメディアサーバ200に対して送信する視聴者情報の構成を表わす図である。視聴者情報1000は、ヘッダ1010と、送信先アドレス1020と、送信元アドレス1030と、視聴日時1040と、視聴場所1050と、第1視聴者の視聴者ID1060と、第2視聴者の視聴者ID1070と、コンテンツの停止位置1080と、FCS(Frame Check Sequence)1090とを含む。
送信先アドレス1020は、ネットワーク11におけるメディアサーバ200の位置を特定するためのデータである。送信元アドレス1030は、ネットワーク11におけるテレビ100の位置を特定するためのデータである。視聴日時1040は、たとえばコンテンツの再生が終了した日時をいう。視聴場所1050は、たとえばテレビ100を識別するためのデータ、あるいはテレビ100が設置されている部屋を識別するデータである。第1視聴者の視聴者ID1060と第2視聴者の視聴者ID1070とは、テレビ100によって認証された視聴者を特定するためのデータである。停止位置1080は、コンテンツの再生が停止された位置を特定するためのデータである。このデータは、たとえば当該コンテンツの先頭からの時刻、あるいは具体的なアドレスなどである。
図11を参照して、本実施の形態に係るメディアサーバ200の具体的構成の一態様について説明する。図11は、メディアサーバ200として機能するコンピュータシステム1100のハードウェア構成を表わすブロック図である。
コンピュータシステム1100は、相互にデータバスによって接続されたCPU1110と、コンピュータシステム1200の使用者による指示の入力を受け付けるマウス1120,1130と、入力されたデータあるいはCPU1110によるプログラムの実行により生成されるデータを一時的に格納するRAM1140と、大容量のデータを不揮発的に格納可能であって当該データにランダムアクセスできるハードディスク1150と、CD−ROM(Compact Disk-Read Only Memory)駆動装置1160と、モニタ1180と、通信IF1190とを含む。CD−ROM駆動装置1160には、CD−ROM1162が装着される。
コンピュータシステム1100における処理は、各ハードウェアおよびCPU1110により実行されるソフトウェアによって実現される。このようなソフトウェアは、RAM1140あるいはハードディスク1150に予め格納されている。またソフトウェアは、CD−ROM1162その他のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、インターネットその他の通信回線に接続している情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、CD−ROM駆動装置1160その他の読取装置によりそのデータ記録媒体から読み取られた後に、あるいは通信IF1190を介してダウンロードされた後に、ハードディスク1150に一旦格納される。そのソフトウェアは、ハードディスク1150からRAM1140に実行可能な形式として読み出され、そしてCPU1110によって実行される。
図11に示されるコンピュータシステム1100を構成する各ハードウェアは、一般的なものである。したがって、以下で説明する本発明の最も本質的な部分は、RAM1140、ハードディスク1150、CD−ROM1162その他のデータ記録媒体に格納された、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、コンピュータシステム1100の各ハードウェアの動作は周知であるので、ここでは詳細な説明は述べない。
図12を参照して、コンピュータシステム1100のデータ構造について説明する。図12は、ハードディスク1150におけるデータの格納の一態様を概念的に表わす図である。ハードディスク1150は、コンテンツの管理情報を表わすテーブル1200と、各コンテンツとを格納している。テーブル1200は、コンテンツの識別番号を格納する領域1210と、コンテンツの名称を格納する領域1220と、各コンテンツが格納されている場所を格納する領域1230とを含む。
ハードディスク1150は、さらに各コンテンツの具体的なデータを格納する領域1240,1250,1260を含む。たとえば、領域1240は、アドレス0xAAAAから開始する。領域1240は、テーブル1200の領域1230に格納されている格納場所によって対応付けられている。その他のコンテンツも同様である。コンテンツの格納の態様および管理情報の格納の態様は、図12に示されるものに限られない。また、ハードディスク1150におけるデータの格納の態様は、当業者にとって容易に理解できるものである。したがって、ここでは詳細な説明は繰り返さない。
図13および図14を参照して、本実施の形態に係るメディアサーバの制御構造について説明する。ここでは、テレビ100Aを視聴していたユーザ(以下、視聴者)がその後テレビ100Bを視聴する場合について説明する。図13および図14は、メディアサーバ200として機能するコンピュータシステム1100のCPU1110が実行する処理の手順を表わすフローチャートである。この処理は、テレビから視聴者情報を受信したときに実行される。
ステップS1310にて、CPU1110は、テレビ100Aから視聴者情報を受信する。ステップS1320にて、CPU1110は、その視聴者情報をRAM1140に一旦格納する。その後CPU1110は、ハードディスク1150におけるデータを参照して、RAM1140に格納されている視聴者情報をハードディスク1150において確保された領域に格納する。なお、同一視聴者の古い情報が既にハードディスク1150に存在している場合には、当該情報に上書きすることにより保存してもよい。
視聴者がコンテンツを見るための装置をテレビ100Aからテレビ100Bに変更すると、テレビ100Bはユーザを撮影してメディアサーバ200に対して当該視聴者に対してコンテンツを提供するための処理を実行する。
すなわち、図14に示されるように、ステップS1410にて、CPU1110は、ネットワーク11を介して、テレビ100Bから、視聴者の画像信号を受信する。ステップS1420にて、CPU1110は、RAM1140に画像信号を受信する。ステップS1430にて、CPU1110は、当該画像信号を解析する。ステップS1440にて、CPU1110は、視聴者の構成情報を取得する。ステップS1450にて、CPU1110は、取得した構成情報と、視聴者の構成履歴とを比較する。ステップS1460にて、CPU1110は、比較の結果、構成情報に対応する構成履歴を検出し、当該構成履歴に対応するコンテンツを読み出す。ステップS1470にて、CPU1110は、テレビ100Bに対して、コンテンツを映像音声信号として送信する。
図15を参照して、メディアサーバ200のデータ構造について説明する。図15は、コンピュータシステム1100のRAM1140におけるデータの格納の一態様を表わす図である。RAM1140は、コンテンツの再生履歴を管理する情報を格納する領域1510から1560を含む。
再生記録を識別するための再生IDは、領域1510に格納されている。コンテンツの再生が停止された時刻データは、領域1520に格納されている。コンテンツの再生が行なわれていた場所を特定するデータは、領域1530に格納されている。このデータは、たとえばテレビそのものを識別するデータであってもよいし、当該テレビが設置されている部屋を識別するデータであってもよい。このようなデータは、たとえば、ユーザが視聴システム10を構築する際に入力される。再生されていたコンテンツを特定するためのデータ(たとえばコンテンツの名称)は、領域1540に格納されている。コンテンツの視聴者を特定するデータは、領域1550に格納されている。コンテンツの再生が停止された位置を特定するデータは、領域1560に格納されている。このデータは、コンテンツの先頭からの時間、あるいはコンテンツが格納されているディスクのアドレスなどである。
図16を参照して、本実施の形態に係るテレビ100の制御構造についてさらに説明する。図16は、視聴者がコンテンツの再生をテレビ100に指示した場合にCPU310が実行する処理の手順を表わすフローチャートである。
ステップS1610にて、CPU310は、受光部306からの信号あるいは操作部308からの信号に基づいてコンテンツの再生指示の入力を検知する。ステップS1620にて、CPU310は、カメラ350に対して撮影指示を送信することにより、再生指示を入力した視聴者を撮影して当該視聴者の画像データを取得する。ステップS1630にて、CPU310は、その画像データに基づいて視聴者を特定するための処理を行ない視聴者IDを取得する。ステップS1640にて、CPU310は、コンテンツの再生要求を生成する。当該再生要求は、ステップS1630において取得された視聴者識別情報(視聴者ID)と、コンテンツ名と、再生装置(テレビ100)とを含む。ステップS1650にて、CPU310は、通信IF370を介してメディアサーバ200に対して再生要求を送信する。
ステップS1660にて、CPU310は、メディアサーバ200から再生要求に対応するコンテンツを受信したか否かを判断する。テレビ100が当該コンテンツを受信している場合には(ステップS1660にてYES)、処理はステップS1670に移される。そうでない場合には(ステップS1660にてNO)、処理はステップS1680に移される。
ステップS1670にて、CPU310は、通信IF370を介して受信したコンテンツを再生する。具体的には当該コンテンツのデータは、通信IF370から信号処理回路320に入力される。信号処理回路320は、その信号をドライバ328に対して送出する。その結果、ディスプレイ330は、メディアサーバ200から送信されたコンテンツを表示することができる。ステップS1680にて、CPU310は、要求されたコンテンツが再生できないことを通知するメッセージを表示するデータを生成する。当該メッセージは、たとえばメモリ312に予め格納されたテキストからなる。ステップS1690にて、CPU310は、生成したデータに基づいてディスプレイ330にそのメッセージを表示させる。
ここで、図17を参照して、テレビ100とメディアサーバ200との通信についてさらに説明する。図17は、テレビ100からメディアサーバ200に対して送信される再生要求1700の構成を概念的に表わす図である。
再生要求1700は、ヘッダ1710と、送信先アドレス1720と、送信元アドレス1730と、送信日時1740と、再生要求を表わすデータ1750と、第1視聴者の視聴者ID1760と、第2視聴者の視聴者ID1770と、FCS1780とを含む。ここでは、コンテンツの再生を求める視聴者が2人いる場合の再生要求が示されているが、再生要求の構成は図17に示されるものに限られない。すなわち、視聴者の数は1人であってもよいし3人以上であってもよい。当該視聴者が3人以上存在する場合、各視聴者IDは、FCS1780の前に格納されることになる。
図18を参照して、メディアサーバ200の制御構造についてさらに説明する。図18は、コンテンツの再生要求を受信したコンピュータシステム1100が実行する処理の手順を表わすフローチャートである。
ステップS1802にて、CPU1110は、通信IF1190を介して受信された信号に基づいて、テレビ100Aから信号を受信したことを検知する。ステップS1810にて、CPU1110は、その信号に含まれる情報に基づいて、コンテンツの再生要求を受信したか否かを判断する。CPU110がコンテンツの再生要求を受信したと判断すると(ステップS1810にてYES)、処理はステップS1820に移される。そうでない場合には(ステップS1810にてNO)、処理は終了する。
ステップS1820にて、CPU1110は、再生要求に含まれる再生を希望する視聴者情報(視聴者の名称、視聴者IDなど)を取得する。ステップS1830にて、CPU1110は、視聴者情報から再生希望者を検索する。ステップS1840にて、CPU1110は、再生希望者が視聴者情報のデータベース(図15)に存在するか否かを判断する。当該再生希望者がデータベースに存在する場合には(ステップS1840にてYES)、処理はステップS1850に移される。そうでない場合には(ステップS1840にてNO)、処理はステップS1860に移される。
ステップS1850にて、CPU1110は、データベースに含まれている再生停止位置(領域1560)を参照して、再生が停止された位置に対応するコンテンツデータを読み出して、再生要求の送信元(テレビ100A)に送信する。ステップS1860にて、CPU1110は、再生が要求されたコンテンツのデータを最初から読み出して再生要求の送信元に送信する。この場合、テレビ100Aは、コンテンツを最初から再び再生することになる。
図19を参照して、本実施の形態に係るテレビ100の表示態様について説明する。図19は、コンテンツを再生するときに表示されるメッセージを表わす図である。すなわち、テレビ100のディスプレイ330は、コンテンツの再生が要求された後、実際にコンテンツを再生する際、前回コンテンツが再生されていた日がいつであるかを表示する。具体的には、テレビ100は、メディアサーバ200から再生停止日時(図15における領域1520)のデータをコンテンツの再生開始時に受信し、その情報をディスプレイ330に表示する。このようにすると、視聴者は、これから再生されようとするコンテンツが正しいものであるかを容易に確認することができる。
以上のようにして、本発明の第1の実施の形態に係る視聴システム10によると、視聴システム10を構成するメディアサーバ200が、視聴者を特定するための情報として、特徴量を保存している。メディアサーバ200は、視聴システム10を構成する再生装置(たとえばテレビ100A,100B,100C)における視聴者によるコンテンツの視聴履歴を保存している。メディアサーバ200は、各再生装置からのコンテンツの再生要求に応答して、同一の視聴者が過去にコンテンツを視聴したか否かを判断する。過去に視聴されたコンテンツが存在する場合には、メディアサーバ200は、再生要求を送信した再生装置に当該コンテンツを送信する。その結果、視聴者は、コンテンツの視聴場所(たとえば視聴するテレビ)を変更しても、継続して同一のコンテンツを視聴することができる。したがって、視聴システム10は、数多くのコンテンツを視聴するために各コンテンツを管理する手間を大きく省くことができる。
<第2の実施の形態>
以下、本発明の第2の実施の形態について説明する。本実施の形態に係る視聴システムは、メディアサーバが視聴者の解析処理を実行する点で、前述の第1の実施の形態に係る視聴システム10と異なる。
図20を参照して、本実施の形態に係る視聴システム20を実現する技術的思想について説明する。図20は、視聴システム20の機能的構成を表わすブロック図である。
視聴システム20は、映像を表示するディスプレイ機器の一態様であるテレビ2000A,2000B,2000Cと、メディアサーバ2050とを備える。テレビ2000A,2000b,2000Cとメディアサーバ2050とは、それぞれネットワーク11を介して接続されている。テレビ2000Aの機能的構成は、図2に示されるテレビ100Aの構成に対して、解析処理を実行する機能を有さない点で、異なる。すなわち、テレビ2000Aは、図2に示される顔画像抽出部208と顔特徴情報算出部210と視聴者特定部212と視聴者構成情報生成部214とを有さない。テレビ2000Aは、その他の構成については図2のテレビ100Aに示される構成と同一のものを有する。したがって、ここではそれらについての説明は繰り返さない。
メディアサーバ2050は、図2に示されるメディアサーバ200の構成に加えて、ネットワークインターフェイス238を介して受信された情報に基づいて視聴者の顔画像を抽出するための顔画像抽出部2052と、顔画像抽出部2052によって抽出された顔画像データから視聴者の顔の特徴を表わす情報を算出する顔特徴情報算出部2054と、顔特徴情報算出部2054によって算出された情報に基づいてディスプレイ機器の視聴者を特定するための視聴者特定部2056と、視聴者特定部2056により特定された視聴者情報(たとえば、視聴者を識別するID、名前等)に基づいてディスプレイ機器を視聴している視聴者を表す情報を生成する視聴者構成情報生成部2058とを備える。
図21を参照して、本実施の形態に係る視聴システム20を構成するテレビ2000について説明する。図21は、テレビ2000のハードウェア構成を表わすブロック図である。テレビ2000は、図3に示される構成に対して、解析装置360を有さない。その他のハードウェア構成については、テレビ2000は、図3に示されるものと同一のものを有する。したがって、ここではそれらについての説明は繰り返さない。
図22を参照して、メディアサーバ2050のデータ構造について説明する。図22は、ハードディスク1150におけるデータの格納の一態様を表わす図である。ハードディスク1150は、予め登録された視聴者の情報を有するテーブル2200と、メディアサーバ2050に格納されているコンテンツの管理情報を有するテーブル2220と、各コンテンツのデータとを格納する。
テーブル2200は、登録された視聴者を識別するための視聴者ID2202と、当該視聴者の撮影により取得された顔画像データ2204と、視聴者の属性情報(たとえば年齢)2206と、視聴者の顔画像の特徴量2208,2210とを含む。テーブル2220は、メディアサーバ2050に登録されているコンテンツを識別するID2222と、コンテンツの名称2224と、当該コンテンツが格納されている場所を表わすデータ2226とを含む。具体的には、各コンテンツは、領域2230,2240,2250によって特定される各領域にそれぞれ格納されている。テーブル2220を構成するデータ項目は、それぞれ関連付けられている。したがって、領域2222に格納されているIDを指定することにより、対応するコンテンツが特定され(領域2224)、具体的なデータは、領域2230から2250のいずれかを参照して読み出される。
図23を参照して、本実施の形態に係るテレビ2000Aの制御構造について説明する。図23は、視聴者を登録するためにテレビ2000AのCPU310が実行する処理の手順を表わすフローチャートである。
ステップS2310にて、テレビ2000AのCPU310は、カメラ撮影モードへの切り換えの指示を検知する。この検知は、たとえば受光部306を介して受信されるリモコン端末(図示しない)からの信号に基づいて行なわれる。ステップS2320にて、CPU310は、受光部306からの信号に基づいて撮影指示の入力(たとえば撮影ボタンの押下)を検知する。ステップS2330にて、CPU310は、カメラ350に対して撮影指示を送信することにより、カメラ350の前に存在する視聴者の撮影を行ない、画像データを取得する。ステップS2340にて、CPU310は、当該画像データを通信IF370を介してメディアサーバ250に対して送信する。
このようにして、テレビ2000Aから画像データがメディアサーバ2050に対して送信されると、メディアサーバ2050は、当該画像データに対する解析処理を実行し視聴者の顔画像の特徴量を算出する。解析処理は、図20に示される顔画像抽出部2052、顔特徴情報算出部2054、視聴者特定部2056、視聴者構成情報生成部2058において実行される。
図24を参照して、視聴システム20を構成するテレビ2000Aの制御構造について説明する。図24は、テレビ2000Aの視聴者がコンテンツを視聴するときに、CPU310が実行する処理の手順を表わすフローチャートである。
ステップS2410にて、CPU310は、受光部306あるいは操作部308からの信号に基づいてコンテンツの再生指示の入力を検知する。ステップS2420にて、CPU310は、メディアサーバ2050からコンテンツのデータを取得して、テレビ2000Aに表示する。ステップS2430にて、CPU310は、カメラ350に対して撮影信号を送信することにより、カメラ350の前に存在する視聴者を撮影する。撮影により生成された信号は、メモリ352に一時的に格納される。ステップS2440にて、CPU310は、メディアサーバ2050に対して視聴者の画像データを送信する。
ここで図25を参照して、本実施の形態におけるディスプレイ機器とメディアサーバ2050との通信について説明する。図25は、テレビ2000Aがメディアサーバ2050に対して送信する信号を表わす図である。信号2500は、ヘッダ2510と、送信先アドレス2520と、送信元アドレス2530と、撮影日時2540と、撮影場所2550と、画像データ2560と、FCS2570とを含む。
送信先アドレス2520は、メディアサーバ2050のネットワーク11における位置を特定するためのデータをいう。送信元アドレス2530は、ネットワーク11におけるテレビ2000Aの位置を特定するためのデータをいう。撮影日時2540は、カメラ350によって撮影が行なわれた時刻をいう。撮影場所2550は、カメラ350によって撮影が行なわれた場所(たとえばテレビ2000Aの識別データ、テレビ2000Aが配置されている部屋を特定するデータなど)である。画像データ2560は、たとえばカメラ350から出力されるデータである。そのデータ形式は特に限られない。
次に、図26および図27を参照して、本実施の形態に係るメディアサーバ2050の制御構造について説明する。なお、メディアサーバ2050は、たとえばコンピュータシステム1100によって実現される。そこで、以下ではコンピュータシステム1100の動作として説明する。図26は、視聴者の情報を登録するためにCPU1110が実行する処理の手順を表わすフローチャートである。
ステップS2610にて、CPU1110は、ネットワーク11を介してテレビ2000Aから画像データを受信する。ステップS2620にて、CPU1110は、画像データから視聴者の顔部分の画像データを抽出する。ステップS2630にて、CPU1110は、抽出した画像データに基づいて顔の特徴量を算出する。ステップS2640にて、CPU1110は、算出した特徴量に基づいて視聴者特定情報を生成する。ここで視聴者特定情報とは、たとえば複数の特徴量の比の値をいう。
ステップS2650にて、CPU1110は、マウス1120あるいはキーボード1130を介して視聴者登録情報(視聴者の名前、年齢その他の属性情報など)の入力を受け付ける。ステップS2660にて、CPU1110は、ステップS2640にて生成された視聴者特定情報と、ステップS2650において入力が受け付けられた視聴者登録情報とを用いて、視聴者構成情報を生成する。視聴者構成情報は、視聴者IDと、特徴量とを含む。ステップS2670にて、CPU1110は、ハードディスク1150において確保された領域に、当該視聴者構成情報を格納する。
図27は、メディアサーバ2050がコンテンツを再生するときにCPU1110が実行する処理の手順を表わすフローチャートである。
ステップS2702にて、CPU1110は、ネットワーク11を介してテレビ2000Aからコンテンツの再生要求と視聴者の画像データとを受信する。ステップS2704にて、CPU1110は、画像データから顔部分の画像データを抽出する。ステップS2706にて、CPU1110は、抽出した画像データを用いて顔の特徴量を算出する。ステップS2708にて、CPU1110は、算出した特徴量に基づいて視聴者構成情報を生成する。ステップS2710にて、CPU1110は、ステップS2708において生成された視聴者構成情報と、ハードディスク1150に既に登録されている視聴者構成情報とを比較する。
ステップS2712にて、CPU1110は、各視聴者構成情報に含まれる視聴者がすでに登録されている視聴社交性情報に含まれる視聴者に一致するか否かを判断する。当該視聴者が一致する場合には(ステップS2712にてYES)、処理はステップS2720に移される。そうでない場合には(ステップS2712にてNO)、処理はステップS2730に移される。
ステップS2720にて、CPU1110は、視聴者構成情報が関連付けられている再生領域に基づいて再生が要求されたコンテンツデータを読み出す。ステップS2722にて、CPU1110は、読み出したコンテンツデータをテレビ2000Aに対して送信する。
ステップS2730にて、CPU1110は、再生履歴がない旨のメッセージデータをテレビ2000Aに対して送信する。ステップS2732にて、CPU1110は、コンテンツの一覧リストを表示するためのデータをテレビ2000Aに対して送信する。テレビ2000Aがこのデータを受信すると、そのディスプレイ330は、メディアサーバ250に格納されているコンテンツの一覧を表示する。視聴者は、そのリストを算出して他のコンテンツを選択することができる。
ここで、図28を参照して、テレビ2000Aにおける映像の表示態様について説明する。図28は、メディアサーバ2050に格納されているコンテンツの一覧のディスプレイ330における表示を表わす図である。
テレビ2000Aにおいてコンテンツの再生が要求された場合に当該コンテンツが存在しない場合、メディアサーバ2050は、テレビ2000Aに対して再生履歴がない旨のメッセージデータを送信する。その後、メディアサーバ2050は、コンテンツの一覧リストも送信する。テレビ2000Aは、そのデータを自身すると、図28に示されるようにメッセージとコンテンツの一覧リストとを表示する。
具体的には、領域2810には、再生を希望するコンテンツが存在しない旨のメッセージが表示される。領域2820には、メディアサーバ2050に格納されているコンテンツ、すなわち視聴可能なコンテンツの一覧が表示される。視聴者が、リモコン端末(図示しない)を操作して領域2820に表示されているリストからコンテンツの名称あるいは番号を選択し、確定と表示された領域を押下すると、コンテンツの選択が完了する。コンテンツの選択を表わすデータはメディアサーバ2050に送信される。その後、メディアサーバ2050からテレビ2000Aにコンテンツデータが送信されると、コンテンツはテレビ2000Aにおいて表示される。
以上のようにして、本実施の形態に係る視聴システム20によれば、テレビ2000において撮影された視聴者の信号がメディアサーバ2050に送信される。メディアサーバ2050は、その信号を解析して、テレビ2000の視聴者を特定し、特定のコンテンツを視聴している場合には、視聴者構成情報として、視聴者情報とコンテンツ情報とを含む情報を生成する。メディアサーバ2050は、視聴者構成情報を用いて、コンテンツの再生を希望する視聴者の過去に視聴した履歴を参照する。同一の視聴者情報を含む履歴が存在する場合に、メディアサーバ2050が、当該コンテンツの再生は途中で終わっていることを確認すると、メディアサーバ2050は、そのコンテンツを読み出して、再生を希望しているテレビ2000に送信する。
このようにすると、テレビ2000その他のディスプレイ機器には、視聴者の顔画像を解析する機能を備える必要がない。したがって、テレビ2000の構成が複雑になることを防止することができる。
また、メディアサーバ2050がコンテンツを一括して管理するため、視聴システム20の使用者は、数多くのコンテンツを管理する必要がなくなる。したがって、コンテンツを視聴する際における利便性が向上し得る。
<第3の実施の形態>
以下、本発明の第3の実施の形態について説明する。本実施の形態に係るメディアサーバは、コンテンツを再生する際に、再生が停止された位置よりも少し前の位置からコンテンツを再生する機能を有する点で、前述の各実施の形態と異なる。なお、本実施の形態に係るメディアサーバは、第1あるいは第2の実施の形態において示されたメディアサーバと同一のハードウェア構成によって実現される。したがって、ここではそれらについての説明は繰り返さない。本実施の形態に係るメディアサーバは、コンピュータシステム1100において実行される処理を変更することにより実現される。
図29を参照して、本実施の形態に係るメディアサーバの制御構造について説明する。図29は、CPU1110が実行する処理の手順を表わすフローチャートである。なお、前述の処理と同一の処理には同一のステップ番号を付してある。したがって、ここではそれらについての説明は繰り返さない。
ステップS1840にて、CPU1110は、再生希望者が視聴者情報のデータ項目に存在するか否かを判断する。再生希望者が視聴者情報のデータ項目に存在する場合には(ステップS1840にてYES)、処理はステップS2910に移される。そうでない場合には(ステップS1840にてNO)、処理はステップS1860に移される。
ステップS2910にて、CPU1110は、再生が要求されたコンテンツの再生停止位置よりも予め定められた時間だけ前に逆上ってコンテンツを再生する。予め定められた時間は、たとえば30秒、1分その他の時間である。当該時間は、たとえば、再生履歴として、メディアサーバ200に含まれる計時回路(図示しない)により計測される時刻に反映される。たとえば、再生停止日時が、2005年9月25日21時30分00秒であり、当該コンテンツの場所がたとえば「0xbbbb」である場合、再びコンテンツが再生される場所は、2005年9月25日21時29分00秒に対応する場所「0xbbaa」となる。
このようにすると、視聴者が別々のディスプレイ機器において同一のコンテンツを視聴する場合においても、視聴が中断された場面を再び視聴することができるため、コンテンツの内容を容易に思い出しやすくなる。この場合、逆上ってコンテンツを再生する量は、固定値に限られず可変であってもよい。たとえば再生が停止された日時から時間が経過している場合には、経過した時間に応じて逆上る量を増やしてもよい。
<変形例>
以下、各実施の形態の変形例について説明する。前述の各実施の形態においては、ディスプレイ機器の一態様であるテレビ100,2000は、カメラを内蔵していたが、本実施の形態に係るテレビは、必ずしもカメラを内蔵している必要はない。この場合、カメラから解析されたデータの入力を受け付けることにより、テレビは、視聴者の情報を取得することができる。
そこで図30を参照して、本変形例に係るテレビ3000の構成について説明する。図30は、カメラ3100が接続されたテレビ3000のハードウェア構成を表わすブロック図である。テレビ3000は、図3に示される構成に対して、カメラとメモリと解析装置とを有さない。テレビ3000は、CPU310に接続されたインターフェイス3310をさらに備える。インターフェイス3310は、カメラユニット3100から出力される信号の入力を受け付けて、CPU310に伝送する。
図31を参照して、解析機能を有するカメラユニット3100について説明する。図31は、カメラユニット3100のハードウェア構成を表わすブロック図である。カメラユニット3100は、入力部3420と、CPU3410と、レンズ3430と、CCD素子3440と、信号処理回路3450と、メモリ3460と、解析装置3470と、インターフェイス3480とを含む。
入力部3420は、外部から信号の入力を受け付ける。外部から入力される信号には、テレビ3000から入力される制御信号、あるいはカメラユニット3100がリモコン機能を有する場合には、対応するリモコン端末(図示しない)からの制御信号などが含まれる。その信号は、CPU3410に伝送される。CPU3410は、入力される信号に基づいてカメラユニット3400の各ハードウェアの動作を制御する。
レンズ3430は、カメラユニット3400に対して予め定められた位置に配置されている。レンズ3430によって集められた光信号は、CCD素子3440に転送される。CCD素子3440は、CPU3410からの指示に基づいて駆動し、光信号を電気信号に変換し、生成された電気信号を信号処理回路3450に送出する。信号処理回路3450は、CPU3410から出力される指示に基づいてCCD素子3440から出力された電荷に対して予め定められた信号処理を実行する。信号処理回路3450から出力されたデータは、メモリ3460において予め確保された領域に格納される。
解析装置3470は、CPU3410からの指令に基づいてメモリ3460に格納されているデータを読み出し、そのデータを用いて解析処理を実行する。具体的には、解析装置3470は、図3に示される解析装置360と同様の機能を実現する。インターフェイス3480は、解析装置3470から出力される信号の入力を受け付ける。インターフェイス3480は、その信号をカメラユニット3100の外部に出力する。これにより、解析結果がテレビ3000に伝送される。
このようにすると、テレビ3000は、従来の構成を有する装置により実現されるため、カメラユニット3100を接続するだけで、既存のテレビジョン受信装置を本発明に係るテレビジョン受信装置として機能させることができる。
以上詳述したように、本発明の各実施の形態に係る視聴システムによると、異なる部屋においても同一のコンテンツを視聴しやすくなるため、ハードディスク装置その他の大容量の記憶装置に格納さえたコンテンツが利用されやすくなる。たとえば、視聴者は、再生を希望するコンテンツに関し、それまで視聴した部分を飛ばして再生位置を検索する必要がなくなるため、当該視聴者は、容易にそして速やかにコンテンツを視聴することができる。
また、当該視聴システムによれば、コンテンツの視聴時に視聴者の顔画像が取得され、視聴者の特徴量が算出される。このため、コンテンツの再生時には、視聴者が意識することなく、視聴者の認証処理が行なわれる。そのため、同一の視聴者が再生指示を入力した場合には、当該視聴者の過去の視聴履歴に基づいて、継続して再生されるべきコンテンツは、メディアサーバその他の映像記録再生装置によって検索される。これにより、当該視聴者は、コンテンツの再生を途中で中断した場合であっても、その後の再生を続けて行なうことができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明の第1の実施の形態に係る視聴システム10の概略構成を表わすブロック図である。 視聴システム10の機能的構成を表わすブロック図である。 テレビ100のハードウェア構成を表わすブロック図である。 CPU310によって実現される機能の構成を表わすブロック図である。 メモリ352におけるデータの格納の一態様を概念的に表わす図である。 メモリ352に格納された顔画像を概念的に表わす図である。 テレビ100が設置された部屋を上部から表わした図である。 CPU310と解析装置360とが実行する処理の手順を表わすフローチャートである。 テレビ100の動作を制御するためにCPU310が実行する処理の手順を表わすフローチャートである。 テレビ100がメディアサーバ200に対して送信する視聴者情報の構成を表わす図である。 メディアサーバ200として機能するコンピュータシステム1100のハードウェア構成を表わすブロック図である。 ハードディスク1150におけるデータの格納の一態様を概念的に表わす図である。 メディアサーバ200として機能するコンピュータシステム1100のCPU1110が実行する処理の手順を表わすフローチャート(その1)である。 メディアサーバ200として機能するコンピュータシステム1100のCPU1110が実行する処理の手順を表わすフローチャート(その2)である。 コンピュータシステム1100のRAM1140におけるデータの格納の一態様を表わす図である。 視聴者がコンテンツの再生をテレビ100に指示した場合にCPU310が実行する処理の手順を表わすフローチャートである。 テレビ100からメディアサーバ200に対して送信される再生要求1700の構成を概念的に表わす図である。 コンテンツの再生要求を受信したコンピュータシステム1100が実行する処理の手順を表わすフローチャートである。 コンテンツを再生するときに表示されるメッセージを表わす図である。 視聴システム20の機能的構成を表わすブロック図である。 テレビ2000のハードウェア構成を表わすブロック図である。 ハードディスク1150におけるデータの格納の一態様を表わす図である。 視聴者を登録するためにテレビ2000AのCPU310が実行する処理の手順を表わすフローチャートである。 テレビ2000Aの視聴者がコンテンツを視聴するときに、CPU310が実行する処理の手順を表わすフローチャートである。 テレビ2000Aがメディアサーバ2050に対して送信する信号を表わす図である。 視聴者の情報を登録するためにCPU1110が実行する処理の手順を表わすフローチャートである。 メディアサーバ2050がコンテンツを再生するときにCPU1110が実行する処理の手順を表わすフローチャートである。 メディアサーバ2050に格納されているコンテンツの一覧のディスプレイ330における表示を表わす図である。 CPU1110が実行する処理の手順を表わすフローチャートである。 カメラ3100が接続されたテレビ3000のハードウェア構成を表わすブロック図である。 カメラユニット3100のハードウェア構成を表わすブロック図である。
符号の説明
10,20 視聴システム、11 ネットワーク、100A,100B,100C,3000 テレビ、200 メディアサーバ、302 アンテナ、602a,602b 眉、604a,604b 瞳、606 鼻、608 口、701 視聴者、1100 コンピュータシステム。

Claims (20)

  1. ネットワークに接続された第1および第2の映像表示装置と映像記録再生装置とを備え、前記映像記録再生装置は、
    映像音声信号を有する映像音声コンテンツを格納する記録手段と、
    前記映像音声信号を再生する再生手段とを含み、
    前記第1の映像表示装置は、
    被写体を撮影して画像信号を出力する第1の撮影手段と、
    前記画像信号に基づいて予め定められた解析処理を実行することにより被写体の特徴量を算出する第1の算出手段と、
    外部から入力される前記被写体の識別情報と、前記識別情報に関連付けられる前記特徴量とを格納する識別情報記憶手段と、
    映像音声コンテンツの再生のために外部から入力される第1の再生要求を、前記映像記録再生装置に対して送信する第1の要求送信手段とを含み、
    前記映像記録再生装置は、
    前記第1の再生要求に基づいて、再生が指示された映像音声コンテンツに対応する映像音声信号を前記再生手段に読み出させる第1の再生制御手段と、
    前記第1の映像表示装置に対して、読み出された映像音声信号を送信する第1の配信制御手段とをさらに含み、
    前記第1の映像表示装置は、
    前記映像音声信号に基づいて映像音声コンテンツを表示する第1の表示手段と、
    前記映像音声信号の再生に基づいて、前記第1の撮影手段に、前記再生を指示した第1の視聴者の画像信号を取得させる第1の撮影制御手段と、
    前記第1の視聴者の撮影に基づく画像信号と前記識別情報とに基づいて、前記第1の視聴者を特定するための第1の特定情報を生成する第1の生成手段と、
    前記第1の特定情報と、前記第1の特定情報が関連付けられた再生履歴とを、前記映像記録再生装置に対して送信する履歴送信手段とを含み、
    前記映像記録再生装置は、前記被写体情報と前記再生履歴とを格納する履歴記憶手段を含み、
    前記第2の映像表示装置は、
    被写体を撮影して画像信号を出力する第2の撮影手段と、
    前記画像信号に基づいて予め定められた解析処理を実行することにより被写体の特徴量を算出する第2の算出手段と、
    外部から入力された前記被写体の第2の識別情報と、前記第2の識別情報に関連付けられる前記特徴量とを格納する第2の識別情報記憶手段と、
    映像音声コンテンツの再生のために外部から入力された第2の再生要求に基づいて、前記第2の撮影手段に画像信号を取得させる第2の撮影制御手段と、
    前記特徴量と、取得された前記画像信号とに基づいて、前記第2の再生要求を入力した第2の視聴者を特定する第2の特定情報を生成する第2の生成手段と、
    前記第2の特定情報と前記第2の再生要求とを、前記映像記録再生装置に対して送信する第2の要求送信手段とを含み、
    前記映像記録再生装置は、
    前記第2の再生要求および前記第2の特定情報と、前記再生履歴とに基づいて、前記第2の視聴者によって再生が指示されたコンテンツを特定する特定手段と、
    前記特定手段により特定されたコンテンツに対応する映像音声信号を、前記第2の映像表示装置に送信する第2の配信制御手段とをさらに含み、
    前記第2の映像表示装置は、前記映像記録再生装置によって送信された映像音声信号に基づいて映像音声コンテンツを表示する第2の表示手段を含む、視聴システム。
  2. ネットワークに接続された第1および第2の映像表示装置と映像記録再生装置とを備え、前記映像記録再生装置は、
    映像音声信号を有する映像音声コンテンツを格納する記録手段と、
    前記映像音声信号を再生する再生手段と、
    外部から入力される要求に応じて、映像音声コンテンツに対応する映像音声信号を前記要求の送信元に配信する配信制御手段とを含み、
    前記第1の映像表示装置は、
    被写体を撮影に基づく画像信号を取得するための第1の取得手段と、
    前記画像信号を解析して被写体の特徴量を算出する第1の算出手段と、
    前記被写体の識別情報と、前記識別情報に関連付けられる前記特徴量とを格納する識別情報記憶手段と、
    第1の再生要求に基づいて、前記映像記録再生装置に前記映像音声コンテンツを再生させる第1の再生制御手段と、
    前記映像記録再生装置により再生された映像音声コンテンツを表示する第1の表示手段と、
    前記第1の取得手段に、前記再生を指示した第1の視聴者の撮影に基づく画像信号を取得させる第1の取得制御手段と、
    前記第1の視聴者の前記画像信号と前記識別情報とに基づいて、前記第1の視聴者を特定するための第1の特定情報を生成する第1の生成手段と、
    前記第1の特定情報と、前記第1の特定情報が関連付けられた再生履歴とを、前記映像記録再生装置に対して送信する履歴送信手段とを含み、
    前記映像記録再生装置は、前記被写体情報と前記再生履歴とを格納する履歴記憶手段を含み、
    前記第2の映像表示装置は、
    被写体の撮影に基づく画像信号を取得するための第2の取得手段と、
    前記画像信号に基づいて被写体の特徴量を算出する第2の算出手段と、
    前記被写体の第2の識別情報と、前記第2の識別情報に関連付けられる前記特徴量とを格納する第2の識別情報記憶手段と、
    前記第2の取得手段に、第2の再生要求を入力した第2の視聴者の撮影に基づく画像信号を取得させる第2の取得制御手段と、
    前記特徴量と、取得された前記画像信号とに基づいて、前記第2の視聴者を特定する第2の特定情報を生成する第2の生成手段と、
    前記第2の特定情報と前記第2の再生要求とに基づいて、前記再生が指示された映像音声コンテンツを前記映像記録再生装置に再生させる第2の再生制御手段と、
    前記映像記録再生装置によって再生された映像音声信号に基づいて映像音声コンテンツを表示する第2の表示手段を含む、視聴システム。
  3. 前記第1の取得手段は、前記被写体を撮影して画像信号を出力する第1の撮影手段を含み、
    前記第1の取得制御手段は、前記第1の撮影手段による撮影動作を制御し、
    前記第2の取得手段は、前記被写体を撮影して画像信号を出力する第2の撮影手段を含み、
    前記第2の取得制御手段は、前記第2の撮影手段による撮影動作を制御する、請求項2に記載の視聴システム。
  4. 前記第1の取得手段は、前記被写体の撮影により生成された画像信号の入力を受け付ける第1の信号入力手段を含み、
    前記第2の取得手段は、前記被写体の撮影により生成された画像信号の入力を受け付ける第2の信号入力手段を含む、請求項2に記載の視聴システム。
  5. 前記第1の算出手段は、予め定められた解析処理を実行することにより前記被写体の特徴量を算出する、請求項2に記載の視聴システム。
  6. 前記第2の算出手段は、予め定められた解析処理を実行することにより前記被写体の特徴量を算出する、請求項2に記載の視聴システム。
  7. 前記第1の再生制御手段は、前記第1の再生要求を前記映像記録再生装置に送信し、
    前記配信制御手段は、前記第1の再生要求に基づいて、再生が指示された映像音声コンテンツに対応する映像音声信号を前記第1の映像表示装置に対して送信する、請求項2に記載の視聴システム。
  8. 前記第2の識別情報記憶手段は、外部から入力された前記被写体の第2の識別情報と、前記第2の識別情報に関連付けられる前記特徴量とを格納する、請求項2に記載の視聴システム。
  9. 前記第2の再生制御手段は、前記第2の特定情報と前記第2の再生要求とを前記映像記録再生装置に送信し、
    前記配信制御手段は、前記第2の再生要求に基づいて、前記再生が指示された映像音声コンテンツを前記第2の映像表示装置に送信する、請求項2に記載の視聴システム。
  10. 前記第1の取得制御手段は、前記映像音声信号の再生に基づいて、前記第1の取得手段に、前記第1の視聴者の画像信号を取得させる、請求項2に記載の視聴システム。
  11. 前記映像記録再生装置は、
    前記第1の映像表示装置において再生が終了した第1の時刻と前記第2の映像表示装置により再生指示が送信された第2の時刻との時間差を算出する時間差算出手段と、
    前記第1の時刻よりも前記時間差に応じて遡った時刻から前記再生が指示された映像音声コンテンツに対応する映像音声信号を前記再生手段に再生させる重複再生制御手段とをさらに備える、請求項2に記載の視聴システム。
  12. ネットワークに接続された第1および第2の映像表示装置と映像記録再生装置とを備え、前記映像記録再生装置は、
    映像音声信号を有する映像音声コンテンツを格納する記録手段と、
    前記映像音声信号を再生する再生手段とを含み、
    前記第1の映像表示装置は、
    被写体を撮影して画像信号を出力する第1の撮影手段と、
    前記画像信号を前記映像記録再生装置に送信する第1の送信手段と、
    映像音声コンテンツの再生のために外部から入力される第1の再生要求を、前記映像記録再生装置に対して送信する第1の要求送信手段とを含み、
    前記映像記録再生装置は、
    予め定められた解析処理を画像信号に対して実行することにより画像の特徴量を算出する解析手段と、
    視聴者を識別するために予め入力された識別情報と、前記視聴者の画像信号に対する前記解析処理により算出されて前記識別情報に関連付けられる特徴量とを記憶する視聴者情報記憶手段と、
    前記第1の映像表示装置からの画像信号に基づいて、前記第1の再生要求を指示した第1の視聴者の第1の特徴量を、前記解析手段に算出させる第1の算出手段と、
    前記第1の再生要求に基づいて、再生が指示された映像音声コンテンツに対応する映像音声信号を前記再生手段に再生させる第1の再生制御手段と、
    読み出された映像音声信号を前記第1の映像表示装置に送信する第1の配信手段と、
    前記識別情報と前記第1の特徴量とに基づいて、前記第1の視聴者を特定する第1の特定情報を生成するための第1の生成手段と、
    前記第1の特定情報と再生された映像音声コンテンツとを格納する再生履歴記憶手段とを含み、
    前記第1の映像表示装置は、前記映像記録再生装置から送信された映像音声信号に基づいて映像音声コンテンツを表示する第1の表示手段をさらに含み、
    前記第2の映像表示装置は、
    映像音声コンテンツの再生のために外部から入力される第2の再生要求を、前記映像記録再生装置に対して送信する第2の要求送信手段と、
    前記第2の再生要求に基づいて被写体を撮影して画像信号を出力する第2の撮影手段と、
    前記画像信号を前記映像記録再生装置に送信する第2の送信手段とを含み、
    前記映像記録再生装置は、
    前記第2の映像表示装置からの画像信号に基づいて、前記第2の再生要求を指示した第2の視聴者の第2の特徴量を、前記解析手段に算出させる第2の算出手段と、
    前記識別情報と前記第2の特徴量とに基づいて、前記第2の視聴者を特定する第2の特定情報を生成するための第2の生成手段と、
    前記第1の特定情報と前記第2の特定情報とに基づいて、前記第1の視聴者と前記第2の視聴者とが一致する映像音声コンテンツを検索する検索手段と、
    前記検索手段により検索された映像音声コンテンツに対応する映像音声信号を前記第2の映像表示装置に送信する第2の配信手段とを含み、
    前記第2の映像表示装置は、前記映像記録再生装置によって送信された映像音声信号に基づいて映像音声コンテンツを表示する第2の表示手段を含む、視聴システム。
  13. ネットワークに接続された第1および第2の映像表示装置と映像記録再生装置とを備え、前記映像記録再生装置は、
    映像音声信号を有する映像音声コンテンツを格納する記録手段と、
    前記映像音声信号を再生する再生手段とを含み、
    前記第1の映像表示装置は、
    被写体の撮影に基づく画像信号を取得するための第1の取得手段と、
    前記画像信号を前記映像記録再生装置に送信する第1の送信手段と、
    映像音声コンテンツの再生のために外部から入力される第1の再生要求を、前記映像記録再生装置に対して送信する第1の要求送信手段とを含み、
    前記映像記録再生装置は、
    予め定められた解析処理を画像信号に対して実行することにより画像の特徴量を算出する解析手段と、
    視聴者を識別する識別情報と、前記識別情報に関連付けられる特徴量とを記憶する視聴者情報記憶手段と、
    前記第1の映像表示装置からの画像信号に基づいて、前記第1の再生要求を指示した第1の視聴者の第1の特徴量を、前記解析手段に算出させる第1の算出手段と、
    前記第1の再生要求に基づいて、再生が指示された映像音声コンテンツに対応する映像音声信号を前記再生手段に再生させる第1の再生制御手段と、
    読み出された映像音声信号を前記第1の映像表示装置に送信する第1の配信手段と、
    前記識別情報と前記第1の特徴量とに基づいて、前記第1の映像表示装置に対する再生の履歴を管理する管理手段とを含み、
    前記第1の映像表示装置は、前記映像記録再生装置から送信された映像音声信号に基づいて映像音声コンテンツを表示する第1の表示手段を含み、
    前記第2の映像表示装置は、
    映像音声コンテンツの再生のために外部から入力される第2の再生要求を、前記映像記録再生装置に対して送信する第2の要求送信手段と、
    被写体の撮影に基づく画像信号を取得するための第2の取得手段と、
    前記画像信号を前記映像記録再生装置に送信する第2の送信手段とを含み、
    前記映像記録再生装置は、
    前記第2の映像表示装置からの画像信号に基づいて、前記第2の再生要求を指示した第2の視聴者の第2の特徴量を、前記解析手段に算出させる第2の算出手段と、
    前記識別情報と前記第2の特徴量と前記再生の履歴とに基づいて、前記第1の視聴者と前記第2の視聴者とが一致する映像音声コンテンツを検索する検索手段と、
    前記検索手段により検索された映像音声コンテンツに対応する映像音声信号を前記第2の映像表示装置に送信する第2の配信手段とを含み、
    前記第2の映像表示装置は、前記映像記録再生装置によって送信された映像音声信号に基づいて映像音声コンテンツを表示する第2の表示手段を含む、視聴システム。
  14. 前記第1の取得手段は、前記被写体を撮影して画像信号を出力する第1の撮影手段を含み、
    前記第1の取得制御手段は、前記第1の撮影手段による撮影動作を制御し、
    前記第2の取得手段は、前記被写体を撮影して画像信号を出力する第2の撮影手段を含み、
    前記第2の取得制御手段は、前記第2の撮影手段による撮影動作を制御する、請求項13に記載の視聴システム。
  15. 前記第1の取得手段は、前記被写体の撮影により生成された画像信号の入力を受け付ける第1の信号入力手段を含み、
    前記第2の取得手段は、前記被写体の撮影により生成された画像信号の入力を受け付ける第2の信号入力手段を含む、請求項13に記載の視聴システム。
  16. 前記第2の取得手段は、前記第2の再生要求の入力に基づいて前記画像信号を取得する、請求項13に記載の視聴システム。
  17. 前記管理手段は、
    前記識別情報と前記第1の特徴量とに基づいて、前記第1の視聴者を特定する第1の特定情報を生成するための第1の生成手段と、
    前記第1の特定情報と再生された映像音声コンテンツとを格納する再生履歴記憶手段とを含み、
    前記検索手段は、
    前記識別情報と前記第2の特徴量とに基づいて、前記第2の視聴者を特定する第2の特定情報を生成するための第2の生成手段と、
    前記第1の特定情報と前記第2の特定情報とに基づいて、前記第2の映像表示装置に配信される映像音声コンテンツを検索するコンテンツ検索手段とを含む、請求項13に記載の視聴システム。
  18. 前記コンテンツ検索手段は、前記第1の視聴者と前記第2の視聴者とが一致する映像音声コンテンツを検索する、請求項17に記載の視聴システム。
  19. 前記視聴者情報記憶手段は、視聴者を識別するために予め入力された前記識別情報と、前記視聴者の画像信号に対する前記解析処理により算出された前記特徴量とを記憶する、請求項13に記載の視聴システム。
  20. 前記映像記録再生装置は、
    前記第1の映像表示装置において再生が終了した第1の時刻と前記第2の映像表示装置により再生指示が送信された第2の時刻との時間差を算出する時間差算出手段と、
    前記第1の時刻よりも前記時間差に応じて遡った時刻から前記再生が指示された映像音声コンテンツに対応する映像音声信号を前記再生手段に再生させる重複再生制御手段とをさらに備える、請求項13に記載の視聴システム。
JP2005305919A 2005-10-20 2005-10-20 視聴システム Pending JP2007116448A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005305919A JP2007116448A (ja) 2005-10-20 2005-10-20 視聴システム
US11/583,840 US20070092220A1 (en) 2005-10-20 2006-10-19 System for reproducing video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005305919A JP2007116448A (ja) 2005-10-20 2005-10-20 視聴システム

Publications (1)

Publication Number Publication Date
JP2007116448A true JP2007116448A (ja) 2007-05-10

Family

ID=37985477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005305919A Pending JP2007116448A (ja) 2005-10-20 2005-10-20 視聴システム

Country Status (2)

Country Link
US (1) US20070092220A1 (ja)
JP (1) JP2007116448A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094814A (ja) * 2007-10-09 2009-04-30 Panasonic Electric Works Co Ltd 表示システム、宅内サーバ
JP2013505674A (ja) * 2009-09-23 2013-02-14 ユナイテッド ビデオ プロパティーズ, インコーポレイテッド メディアデバイスの検出領域内のユーザの自動的に検出するシステムおよび方法
JP2016070756A (ja) * 2014-09-29 2016-05-09 アズビル株式会社 制御システム
US9414120B2 (en) 2008-06-13 2016-08-09 Rovi Guides, Inc. Systems and methods for displaying media content and media guidance information
US10085072B2 (en) 2009-09-23 2018-09-25 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101673032B1 (ko) * 2010-01-25 2016-11-04 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 tv
US20110293246A1 (en) * 2010-06-01 2011-12-01 Honeywell International Inc. Systems and methods of managing network video recording systems
JP5764005B2 (ja) * 2011-08-04 2015-08-12 キヤノン株式会社 再生装置および再生方法
JP2013037732A (ja) 2011-08-04 2013-02-21 Canon Inc 再生装置及びその制御方法、プログラム、並びに記憶媒体
CN103842992A (zh) * 2011-09-12 2014-06-04 英特尔公司 促进与社交联网工具的基于电视的交互
WO2013037078A1 (en) * 2011-09-12 2013-03-21 Intel Corporation Facilitating television based interaction with social networking tools

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3360600B2 (ja) * 1998-02-18 2002-12-24 ミノルタ株式会社 画像記録システム
US7075572B2 (en) * 2000-03-16 2006-07-11 Fuji Photo Film Co., Ltd. Image photographing/reproducing system and method, photographing apparatus and image reproducing apparatus used in the image photographing/reproducing system and method as well as image reproducing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094814A (ja) * 2007-10-09 2009-04-30 Panasonic Electric Works Co Ltd 表示システム、宅内サーバ
US9414120B2 (en) 2008-06-13 2016-08-09 Rovi Guides, Inc. Systems and methods for displaying media content and media guidance information
JP2013505674A (ja) * 2009-09-23 2013-02-14 ユナイテッド ビデオ プロパティーズ, インコーポレイテッド メディアデバイスの検出領域内のユーザの自動的に検出するシステムおよび方法
US10085072B2 (en) 2009-09-23 2018-09-25 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US10631066B2 (en) 2009-09-23 2020-04-21 Rovi Guides, Inc. Systems and method for automatically detecting users within detection regions of media devices
JP2016070756A (ja) * 2014-09-29 2016-05-09 アズビル株式会社 制御システム

Also Published As

Publication number Publication date
US20070092220A1 (en) 2007-04-26

Similar Documents

Publication Publication Date Title
JP2007116448A (ja) 視聴システム
US8453169B2 (en) Video output device and video output method
JP4380524B2 (ja) 情報処理装置及び情報処理方法
US7730505B2 (en) Stream reproducing device
US8914820B2 (en) Systems and methods for memorializing a viewers viewing experience with captured viewer images
US6262763B1 (en) Actual size image display
JP4678246B2 (ja) 番組検索支援システム
US20120278765A1 (en) Image display apparatus and menu screen displaying method
KR101350596B1 (ko) 정보 처리 시스템, 기록 재생 장치, 재생 단말기, 정보 처리 방법, 및 기록 매체
JP4737213B2 (ja) 情報処理装置
JP2005236527A (ja) 映像再生装置、再生スクリプト生成装置、映像配信装置、映像切出し装置、及び映像蓄積装置
JP4270199B2 (ja) コンテンツ再生装置
KR101430985B1 (ko) 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법
WO2018042794A1 (ja) 画像送信装置、画像送信方法、プログラム
US8750579B2 (en) Image information processing apparatus and image information processing method
JP2010010736A (ja) 映像コンテンツ再生装置
JP2006311322A (ja) テレビジョン表示装置
JP5238863B2 (ja) 映像処理装置、テレビジョン表示装置、及び映像処理方法
JP4839963B2 (ja) 映像記録再生装置
JP2012156808A (ja) 画像伝送システムおよび画像再生装置
KR20050076017A (ko) 영상 데이터 저장 방법, 그 저장 장치, 영상 데이터 재생방법 및 그 재생 장치
JP2000059734A (ja) マルチメディアインタラクティブシステム
JP6463967B2 (ja) 撮像装置及びその制御方法
JP2005278123A (ja) 映像受信装置およびコンピュータを映像受信装置として機能させるためのプログラム、ならびに映像提供装置およびコンピュータを映像提供装置として機能させるためのプログラム
KR20070075728A (ko) 디지털 방송 수신기에서 녹화물 탐색 방법 및 그 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100112