CN1951118A - 流再现装置 - Google Patents

流再现装置 Download PDF

Info

Publication number
CN1951118A
CN1951118A CNA2005800139634A CN200580013963A CN1951118A CN 1951118 A CN1951118 A CN 1951118A CN A2005800139634 A CNA2005800139634 A CN A2005800139634A CN 200580013963 A CN200580013963 A CN 200580013963A CN 1951118 A CN1951118 A CN 1951118A
Authority
CN
China
Prior art keywords
hearer
stream
audio
visual information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800139634A
Other languages
English (en)
Other versions
CN100583993C (zh
Inventor
福宫英二
今川和幸
岩佐克博
石井育规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1951118A publication Critical patent/CN1951118A/zh
Application granted granted Critical
Publication of CN100583993C publication Critical patent/CN100583993C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Abstract

提供一种能够容易地自动视听流的未观看期间的流再现装置。包括：照相机(1)，被设置得靠近视听者；人物检测单元(10)，基于照相机的输出来检测视听者；视听信息生成单元(11)，基于人物检测单元的检测结果生成视听信息；以及再现控制单元(6)，接受流的提供，控制流的再现并输出再现信号，人物检测单元基于照相机的输出，区别检测各个视听者，视听信息生成单元基于人物检测单元对各个视听者的检测结果对每个视听者生成视听信息，视听信息生成单元生成的视听信息被与流的时间标记相关联，以使各个视听者未视听流的再现结果的未观看期间变得明显。

Description

流再现装置
技术领域
本发明涉及在AV(Audio/Visual)流(本说明书中简称作‘流’)的再现时，检测视听者的状态，能够容易地再现视听者未观看流的期间的流再现装置。
背景技术
文献1(特开平8-18900号公报)公开了检测在流再现装置前有无视听者，在视听者不在的期间将该流自动录像的技术。
更具体的说，文献1的电视接收机采用图21的结构。在图21中，地面电视广播天线201接收地面波的信号。卫星广播接收天线202接收卫星广播的信号。信号输入端子203接收外部的图像声音信号。
接收单元204由选台用调谐器以及解调电路构成，从天线201、202接收到的广播波中选择特定的台，同时将被选择的信号解调后生成图像声音信号。信号处理电路单元205对从接收单元204以及信号输入端子203输入的图像声音信号进行处理，并对信号控制单元206输出。
记录再现装置单元207具有记录介质，用于记录再现图像声音信号等，再现了的图像声音信号被输出到信号控制单元206。
检测装置单元208检测在电视接收机前是否有视听者，并将检测结果输出到信号控制单元206。
显示单元209显示图像信号的图像，扬声器单元210将声音信号变换为声音。另外，天线201、202以外的部分作为电视接收机而被容纳在一个外壳中。
电视接收机的电源被接通而成为可视听的状态时，检测装置单元208检测在电视接收机前是否有视听者，并将检测结果输出到信号控制单元206。
信号控制单元206在从检测装置单元208输入表示有视听者的检测结果的期间，不使记录再现装置单元207动作，如果检测结果表示视听者消失，则信号控制单元206使记录再现装置单元207开始记录视听者视听了的图像声音信号。
然后，在视听者返回电视接收机前、检测装置单元208检测到有视听者的情况时，信号控制单元206中止记录再现装置单元207的记录，并再现记录在记录再现装置单元207中的图像声音信号。由此，视听者能够自动地进行未观看期间的视听。
但是，在现有的技术中，记录再现装置单元207中如果不自动录制未观看期间的图像声音信号本身，则视听者不能在后来视听未观看期间。从而，在记录再现装置单元207的剩余的可记录时间少或没有的情况下，视听者不能在后来视听未观看期间。
此外，在起居室这样的场所(电视接收机多被设置在这样的场所)中，频繁引起人物的出入。在现有的技术中，只要在电视接收机前有一个视听者，则未观看期间的自动录像就不开始，因此多个视听者交替地出入，在存在分别不同的未观看期间的情况下，完全无法应对。结果，视听者只能分别搜索未观看期间，进行倒退或快进等麻烦的操作，从而通过手动来视听未观看期间。从而，在现有的技术中，在后来自动视听未观看期间的课题在现实中难以应对。
专利文献1：特开平8-18900号公报
发明内容
因此，本发明的目的在于提供一种能够容易地进行流的未观看期间的自动视听的流再现装置。
第一发明的流再现装置包括：检测单元，被设置得靠近视听者；人物检测单元，基于检测单元的输出来检测视听者；视听信息生成单元，基于人物检测单元的检测结果生成视听信息；以及再现控制单元，接受流的提供，控制流的再现并输出再现信号，视听信息生成单元生成的视听信息被与流的时间标记相关联，以便视听者未视听流的再现结果的未观看期间变得明显。
通过该结构，在如配置在单间中的流再现装置这样、视听者一定是一人的情况下，视听信息与流的时间标记相关联，以使视听者的未观看期间变得明显，因此视听者能够在后来自动视听未观看期间。而且，为了自动视听未观看期间，仅保存视听信息就足够，没有必要将流本身记录在任何的记录介质中，因此在记录介质的记录容量没有余量的情况下也可以应用。
第二发明的流再现装置中，还包括接受视听者的输入的操作输入单元，再现控制单元在被从操作输入单元输入未观看期间的再现指示时，基于视听信息生成单元制作的视听信息来决定未观看期间，并再现流的未观看期间。
通过该结构，在如配置在单间中的流再现装置这样、视听者一定是一人的情况下，视听者仅通过从操作输入单元进行未观看期间的再现指示，就可以在后来自动视听未观看期间。即，视听者不必为了该自动视听而进行后退或快进这样的麻烦的操作，可以非常容易地自动视听未观看期间。
第三发明的流再现装置中，人物检测单元基于检测单元的输出区别检测各个视听者，视听信息生成单元基于人物检测单元对各个视听者的检测结果，对每个视听者生成视听信息，视听信息生成单元生成的视听信息被与流的时间标记相关联，以便各个视听者未视听流的再现结果的未观看期间变得明显。
通过该结构，如配置在起居室中的流再现装置这样、视听者不确定的情况下，视听信息与流的时间标记相关联，以使各个视听者的未观看期间变得明显，因此各个视听者能够分别单独在后来自动视听自身相关的未观看期间。这样，即使在多个视听者交替地出入，分别具有不同的未观看期间的情况下，也能够没有问题地应对。
第四发明的流再现装置中，还包括接受视听者的输入的操作输入单元，再现控制单元在被从操作输入单元输入未观看期间的再现指示时，使人物检测单元确定进行了通过操作输入单元的输入的视听者，再现控制单元根据视听信息生成单元关于由人物检测单元确定的视听者而制作的视听信息来决定未观看期间，并再现流的未观看期间。
通过该结构，如配置在起居室中的流再现装置这样、视听者不确定的情况下，视听信息与流的时间标记相关联，以使各个视听者的未观看期间变得明显，各个视听者仅通过从操作输入单元进行未观看期间的再现指示，进行了再现指示的视听者被确定，各个视听者可以在后来自动视听与该人有关的未观看期间。即，视听者不必为了该自动视听而进行后退或快进这样的麻烦的操作，可以非常容易地自动视听未观看期间。
第五发明的流再现装置中，视听信息生成单元生成的视听信息包含与视听者开始视听的时间标记和视听者结束视听的时间标记相关联的信息。
通过该结构，可以像视听者开始视听的时间标记之前和视听者结束视听的时间标记之后这样，明确地确定视听者的未观看期间。
第六发明的流再现装置中，检测单元具有照相机，流再现装置还包括：人模板；人物数据库，将各个视听者的识别信息与用照相机拍摄各个视听者得到的人物图像对应保持；以及相关运算单元，进行照相机拍摄的图像和人模板的相关运算，以及照相机拍摄的图像和人物数据库保持的人物图像的相关运算，人物检测单元基于相关运算单元进行照相机拍摄的图像和人模板的相关运算的结果，判定视听者是否正在视听流的再现结果，人物检测单元在判定为视听者正在视听流的再现结果时，基于相关运算单元进行照相机拍摄的图像和人物图像的相关运算的结果，确定当前正在视听流的再现结果的视听者。
通过该结构，相关运算单元通过进行照相机拍摄的图像和人模板的相关运算，以及照相机拍摄的图像和人物数据库保持的人物图像的相关运算，人物检测单元可以确定视听者的有无或人数。进而，人物检测单元基于相关运算单元进行照相机拍摄的图像和人物图像的相关运算的结果，确定当前正在视听流的再现结果的视听者是谁。即，只要视听者被保持在人物数据库中，就可以具体地确定各个视听者，各个视听者可以分别单独在后来自动视听自身相关的未观看期间。
第七发明的流再现装置中，人物检测单元判定为视听者正在视听流的再现结果，在相关运算单元进行了照相机拍摄的图像和人物图像的相关运算的结果，照相机拍摄的图像不适合人物图像的任何一个的情况下，将新的各个视听者的识别信息和照相机拍摄的图像互相对应地追加到人物数据库。
根据该结构，即使突然出现还未被保持在人物数据库中的人物图像，也可以灵活地应对，各个视听者能够没有问题地分别单独在后来自动视听自身相关的未观看期间。
根据本发明，由于不必自动录制未观看期间的图像声音信号本身，不压迫记录容量，视听者就能够在后来视听未观看期间。
此外，即使在不特定的视听者交替地出入、存在分别不同的未观看期间的情况下也能够应对，各个视听者不进行后退或快进等麻烦的操作就能够在后来自动视听与该人有关的未观看期间。
附图说明
图1是本发明的实施方式1的流再现装置的方框图。
图2(a)是本发明的实施方式1中的人物数据库的数据结构图，图2(b)是本发明的实施方式1的ID组的数据结构图，图2(c)是本发明的实施方式1的人模板的例示图，图2(d)是本发明的实施方式1的视听信息的数据结构图。
图3是本发明的实施方式1的人物检测单元的流程图。
图4是本发明的实施方式1的人物检测单元的流程图。
图5是本发明的实施方式1的人物检测单元的流程图。
图6是本发明的实施方式1的视听信息生成单元的流程图。
图7是本发明的实施方式1的再现控制单元的流程图。
图8是本发明的实施方式1的再现控制单元的流程图。
图9(a)、图9(b)是本发明的实施方式1的视听状态的例示图。
图10(a)、图10(b)是本发明的实施方式1的视听状态的例示图。
图11(a)、图11(b)是本发明的实施方式1的视听状态的例示图。
图12(a)、图12(b)是本发明的实施方式1的视听状态的例示图。
图13(a)、图13(b)是(a)本发明的实施方式1的视听状态的例示图。
图14(a)、图14(b)是(a)本发明的实施方式1的视听状态的例示图。
图15是本发明的变形例的再现控制单元的流程图。
图16是本发明的变形例的再现控制单元的流程图。
图17是本发明的变形例的视听状态的例示图。
图18(a)、图18(b)是(a)本发明的变形例的视听状态的例示图。
图19是本发明的变形例中的显示例图。
图20是本发明的变形例中的显示例图。
图21是以往的电视接收机的方框图。
符号说明
1    照相机
2    监视器
2a   画面
3    流再现装置
4    操作输入单元
5    流提供单元
6    再现控制单元
7    人物数据库
8    人模板
9    相关运算单元
10   人物检测单元
11   视听信息生成单元
12   ID组存储单元
13   视听信息存储单元
具体实施方式
以下，参照附图说明本发明的实施方式。
(实施方式1)
图1是本发明的实施方式1的流再现装置的方框图。
在图1中，照相机1相当于检测单元。即，本实施方式的检测单元由照相机1构成，但只要对后述的处理没有障碍，也可以由传感器构成。如图10(a)所示，照相机1为了取得视听者的图像而被靠近视听者设置。
操作输入单元4由遥控器、按键、鼠标、十字键等构成，接受视听者的输入。
如图2(c)所示，人模板8保持人型的图像数据。
如图2(a)所示，人物数据库7将各个视听者的个别信息(ID；要素数：n(n为自然数))和由照相机1拍摄各个视听者得到的人物图像img1～imgn相对应保持。
相关运算单元9进行照相机1拍摄的图像和人模板8的相关运算，以及照相机1拍摄的图像和人物数据库7保持的人物图像img1～imgn的相关运算。相关运算单元9使用的算式也可以是通常所使用的算式。在本方式中，相关运算单元9假设输出相关值。
人物检测单元10基于照相机1的输出区别检测各个视听者。更具体地说，人物检测单元10基于相关运算单元9进行了照相机1拍摄的图像和人模板8的相关运算的结果，决定视听者是否正在视听流的再现结果，或者其人数。此外，人物检测单元10在判定为视听者正在视听流的再现结果时，基于相关运算单元9进行照相机1拍摄的图像和人物图像img1～imgn的相关运算的结果，确定当前正在视听流的再现结果的视听者是谁。
此外，人物检测单元10判定视听者正在视听流的再现结果，相关运算单元9进行照相机1拍摄的图像和人物图像img1～imgn的相关运算的结果，在照相机1拍摄的图像不适合人物图像img1～imgn的任何一个的情况下，将各个新的视听者的识别信息ID(n+1)和照相机1拍摄的图像互相对应而追加在人物数据库7中。其结果，照相机1拍摄的图像为新的人物图像imgn+1。
视听信息生成单元11基于照相机1的检测结果生成视听信息。该视听信息被与流的时间标记相关联，以使视听者未视听流的再现结果的未观看期间变得明显。
更具体地说，如图2(d)所示，从流的起点位置(00:00.00)到终点位置(01:00.00)，包含指示视听者开始视听的时间标记的标记符S1、S2和指示视听者结束视听的时间标记的标记符E1、E2。另外，标记符S1、E1是具有识别信息ID1的视听者，标记符S2、E2是具有识别信息ID2的视听者。
这样，视听信息生成单元11基于人物检测单元10对各个视听者的检测结果，对每个视听者生成视听信息。本方式的检测结果是图2(b)所示的ID组，ID组将识别信息ID和值(‘有’(视听者在流再现装置3前)或者‘无’(视听者不在流再现装置3前))构成的要素按视听者的人数集合。ID组被保存在ID组存储单元12中。ID组存储单元12中设有存储前一个ID组的前一个ID组区域12a、存储当前的ID组的当前ID组区域12b的两个区域。如后所述，这样是为了使各视听者的状态转移变得明确。
如图2(d)所示，根据标记符S1、E1以及标记符S2、E2，各个视听者未视听流的再现结果的未观看期间变得明显。即，具有识别信息ID1的视听者的未观看期间是从流的起点位置到标记符S2为止和从标记符E2到流的终点位置为止，具有识别信息ID2的视听者的未观看期间是从流的起点位置到标记符S2为止。另外，视听信息的数据量远少于图像声音信号的数据量，所以可以保存在流内外的任何一个中。在本方式中，视听信息被保存在视听信息存储单元13。
流提供单元5具有记录流的记录介质(DVD、HD等)，对再现控制单元6供给流。或者，流提供单元5也可以经由网络从服务器下载流，也可以经由天线或电缆从广播电视台等取得流。
再现控制单元6从流提供单元5接受流的供给并控制流的再现，对监视器2输出再现信号。监视器2基于再现控制单元6输出的再现信号，再现流的内容(图像以及声音)。
再现控制单元6被从操作输入单元4输入未观看期间的再现指示时，首先由人物检测单元10确定通过操作输入单元4进行了输入的视听者。接着，再现控制单元6基于与被确定的视听者有关的视听信息(被保存在视听信息存储单元13中)，确定该人的未观看期间，并再现流的未观看期间。
接着，参照图3～图5说明人物检测单元10的处理。如图3所示，在步骤1中，照相机1取得图像时，人物检测单元10进行图4所示的人数确认处理(步骤2)。接着，在步骤3中，人物检测单元10进行图5所示的ID组/人物数据库处理。然后，人物检测单元10反复步骤1～步骤3的处理直到处理结束为止(步骤4)。
如图4所示，如下实施人数确认处理。首先，在步骤11中，人物检测单元10设为人数计数器k＝0，准备空的位置组。这里，如以下所述，位置组是与人模板8的匹配合适、被认为存在视听者的位置的集合。
在步骤12中，人物检测单元10将匹配位置初始化为前端位置。这里，匹配位置是将照相机1拍摄的图像区域分为有限个区域的位置，关于匹配，是当前关注的位置。在本方式中，将与人模板8的大小相等的区域的中心作为匹配位置，相关运算单元9进行照相机1拍摄的图像中、该区域内的图像和人模板8的相关运算。
在步骤13中，人物检测单元10命令相关运算单元9进行当前的匹配位置的相关运算，相关运算单元9进行该运算并将结果(相关值)发送回人物检测单元10。此外，为了评价相关运算单元9的相关运算结果，人物检测单元10保持有预先决定的阈值，对从相关运算单元9得到的相关值和该阈值进行大小比较。如果相关值为阈值以上，则人物检测单元10判定为当前的匹配位置适合于人模板8，否则判定为不适合。该大小比较的结果(步骤14)，如果适合，则人物检测单元10将人数计数器k增加‘1’，将当前的匹配位置追加在位置组中(步骤15)，将处理转移到步骤16。如果不适合，则人物检测单元10不进行任何处理而直接将处理转移到步骤16。
在步骤16中，人物检测单元10检查与全部匹配位置有关的处理是否完成，如果未完成则将匹配位置推进到下一个(步骤17)，返回进行步骤13以下的处理。如果完成，则在步骤18中，以人数计数器k和位置组作为返回值，结束人数确认处理。
接着，参照图5说明ID组/人物数据库处理。在图4的步骤18中，得到人数计数器k的值，但如果照相机1的视野内一个视听者也没有，则人数计数器k＝0(参照步骤11)。此时，在步骤21中，人物检测单元10仅通过输出空的ID组(步骤22)，结束ID组/人物数据库处理。
如果人数计数器k不是‘0’(也就是说视听者拍摄到一人以上)，则处理转移到步骤23。步骤23中，人物检测单元10对人物数据库7进行存取，取得ID总数n，准备n个要素数(值全部为‘无’)的ID组。关于ID组，已经进行了叙述，但该状态下的ID组只是将图2(b)中的值全部设为‘无’。
此外，在步骤18中得到位置组后，将其前端的位置作为匹配位置。但是，该匹配位置是用于与人物数据库7中的人物图像img1～imgn的匹配的位置，这与图4不同。
接着，人物检测单元10在步骤25中检查要素数n。这里，也可能是n＝0的情况。这是在人物数据库7中谁的人物图像也未注册的情况。此时，人物检测单元10将处理转移到步骤26，将照相机1拍摄的图像中、由当前的匹配位置所决定的区域内的图像新注册在人物数据库7中，将ID组的对应的值设为‘有’。此时，新注册的图像对应识别信息ID＝n+1(n＝0则ID＝1)。然后，人物检测单元10将处理转移到步骤33。
在步骤25中，如果n不是‘0’(至少1组识别信息ID和人物图像的对已经注册在人物数据库7中的情况)，则在步骤27中，人物检测单元10设为序号计数器i＝1。然后，在步骤28中，命令相关运算单元9进行第i个人物图像和在当前的匹配位置决定的区域内的图像的相关运算，得到其相关值。这里，与图4同样，对预先决定的阈值和相关值进行大小比较。如果相关值为阈值以上，则人物检测单元10判定为当前的匹配位置适合于第i个人物图像，否则判定为不适合。该大小比较的结果(步骤29)，如果合适，则人物检测单元10在步骤32中将ID组的第i个值从‘无’变更为‘有’，并将处理转移到步骤33。
如果不适合，则在步骤30中，只要序号计数器i不达到要素数n，人物检测单元10就将步骤i推进一个(步骤31)并重复步骤28以下的处理。如果序号计数器i等于要素数n，则人物检测单元10判定为与当前作为人物图像注册在人物数据库7中的全部图像不一致(也就是说是新的视听者的图像)，在步骤26中，将当前的区域内的图像新注册到人物数据库7(识别信息ID＝n+1)，将与其对应的ID组的值设为‘有’。
在步骤33中，人物检测单元10检查位置组中是否剩余下一个位置。如果剩余下一个位置，则在步骤34中，将匹配位置设为下一个位置，返回步骤25。如果未剩余下一个位置，则由于全部位置的检查结束，在步骤35中，人物检测单元10将ID组输出到当前ID组区域12b，并将处理转移到图3的步骤4。
接着，参照图6说明视听信息生成单元11的处理。首先，在步骤41中，视听信息生成单元11等待直到流再现开始。在流再现开始之后，视听信息生成单元11为了方便而立即将视听信息存储单元13初始化没有任何人在视听的状态。此外，在步骤43中，对于前一个ID组区域12a以及当前ID组区域12b的任何一个，将所有的值都设为‘无’。
接着，在步骤44中，视听信息生成单元11将当前的ID组(流再现之后为空)覆写到前一个ID组区域12a上，并等待直到从人物检测单元10输入ID组(步骤35)，输入后将该ID组覆写到当前ID组区域12b。然后，在步骤45，视听信息生成单元11对数m设置输入的ID组的要素数。
接着，在步骤46中，视听信息生成单元11检查流再现是否结束。如果流再现结束，则视听信息生成单元11将处理转移到步骤55，如果未结束，则视听信息生成单元11将处理转移到步骤47。
在步骤47中，视听信息生成单元11检查数m是否为‘0’。如果数m＝0，则没有视听者，因此视听信息生成单元11不进行任何处理而返回到步骤44。
如果数m不是‘0’，则表示视听者为一人以上。从而，此时，视听信息生成单元11设为序号计数器i＝1(步骤48)，在步骤49中，检查是否前一个ID组区域的第i个值为‘无’，当前ID组区域的第i个值为‘有’。如果是，则表示第i个视听者从不在流再现装置3之前的状态转移到在的状态。如果有该转移，则该视听者相应于第一次来到流再现装置3前并开始视听，或中途退席后再次返回流再现装置3前的其中一个。
在存在该转移时，视听信息生成单元11在步骤50中，作为标记符字符串ads，选择接着字符‘S’将序号i与字符串连接的字符串，在步骤53中，对指示当前的时间标记的位置设置标记符字符串ads。由此，对视听信息存储单元13存储的视听信息追加标记符“S*”(*是将序号i变换为字符串而得到的)。
或者，视听信息生成单元11在步骤51中，检查是否前一个ID组区域的第i个值为‘有’，当前ID组区域的第i个值为‘无’。如果是，则表示第i个视听者从在流再现装置3前的状态转移到不在的状态。如果存在该转移，则该视听者在流再现装置3前进行过视听，或放弃了该视听而移动到其它地方。
存在该转移时，视听信息生成单元11在步骤52中，作为标记符字符串ads，选择接着字符‘E’将序号i与字符串连接的字符串，在步骤53中，对指示当前的时间标记的位置设置标记符字符串ads。由此，对视听信息存储单元13存储的视听信息追加标记符“E*”(*是将序号i变换为字符串而得到的)。
然后，视听信息生成单元11在步骤54中，将序号计数器i一边推进1(步骤55)，一边重复步骤49以下的处理，直到序号计数器i成为数m。
另外，在步骤56中，流再现结束。因此，视听信息生成单元11进行如下的处理，流的终点位置被再现时，对于在流再现装置3前的视听者，对视听信息存储单元13存储的视听信息追加指示流的终点位置的结束标记符‘E*’(*是将序号i变换为字符串而得到的)。
即，在步骤56中，视听信息生成单元11检查是否数m＝0。如果m＝0，则在流的终点位置被再现时，由于没有任何视听者，因此视听信息生成单元11直接结束处理。
如果数m不是‘0’，则在流的终点位置被再现时至少有一个视听者在流再现装置3前。从而，视听信息生成单元11设为序号计数器i＝1(步骤57)，在当前ID组区域12b中，检查第i个值是否为‘有’(步骤58)。如果是，则与步骤51同样，对视听信息存储单元13存储的视听信息追加指示流的终点位置的结束标记符‘E*’(*是将序号i变换为字符串而得到的)(步骤59、60)。视听信息生成单元11一边将序号计数器推进1(步骤62)，一边重复以上的处理，直到序号计数器i成为数m为止(步骤61)。
接着，参照图7～图8说明再现控制单元6的处理。首先，在步骤71中，再现控制单元6等待直到有对操作输入单元4的输入。如果有输入且其为通常的再现，则在步骤72中，再现控制单元6起动人物检测单元10，在步骤73中起动视听信息生成单元11。由此，如果出现新的视听者，则该视听者的人物图像和识别信息被对应追加在人物数据库7中，如果视听者有进出，则成为对视听信息附加指示时间标记的‘S*’、‘E*’的状态。
然后，在步骤74中，再现控制单元6开始流的再现，并维持该状态直到再现完成(步骤75)，完成后将处理转移到步骤76。
另一方面，在步骤71中，未观看期间的再现指示被输入操作输入单元4后，在步骤80中，再现控制单元6实施图8所示的未观看再现处理。即，在步骤81中，再现控制单元6起动人物检测单元10并输入ID组(步骤82)。然后，在步骤83中，再现控制单元6将数m设为输入的ID组中值为‘有’的个数。
如果，数m＝0，则没有任何视听者却有操作输入，产生矛盾，所以再现控制单元6进行差错处理并返回输入等待的状态(步骤71)。作为差错处理，例如，考虑在监视器2中显示‘未观看不能再现’等。
如果数m不是‘0’，则在步骤86中，再现控制单元6检查是否数m＝1。如果数m＝1，则视听者仅为一个人，能够自动地确定哪个视听者指示了未观看期间的再现。从而，再现控制单元6对于这一个视听者，基于识别信息ID对视听信息存储单元13进行存取，并确定未观看期间(步骤86、89、90)。
如果数m为‘2’以上，为了确定应再现哪个人物的未观看期间，在步骤87～88中，对要求再现未观看期间的视听者在监视器2上显示成为候补的人物图像，请求确定是哪个人物图像。对此，只要视听者输入相应的识别信息ID，就可以唯一地确定要求再现未观看期间的视听者。这样，从视听者的立场来说，仅通过序号来选择显现自己的脸的图像就足够，因此与倒退或快进等操作相比，操作格外地简单。
在如上进行了确定之后，在步骤89～90中具体地确定未观看期间，再现控制单元6再现未观看期间(步骤91、92)。
另外，以上的处理不过为一例，只要不脱离本发明的宗旨，当然可以进行各种变更。
接着，举例说明标记符的附加引起的视听信息的变化。首先，如图9(a)所示，假设在流再现装置3前没有任何视听者的状态。此时，如图9(b)所示，视听信息仅为流的起点位置和终点位置。此外，由于照相机1不对视听者的图像进行拍摄，因此监视器2的画面2a中什么也不反映。
接着，如图10(a)所示，假设母亲P1和孩子P2坐在流再现装置3之前开始视听。由此，照相机1拍摄母亲P1和孩子P2的图像，通过人模板8的匹配来检测两个视听者的存在，母亲P1和孩子P2的人物图像如果不在人物数据库7中，则对人物数据库7新进行注册。此外，与母亲P1对应的标记符S1和与孩子P2对应的标记符S2被追加在流的起点位置。
然后，如图11(a)所示，在母亲P1有事而取消了视听的情况下，如图11(b)所示，追加与母亲P1对应的标记符E1。
进而，如图12(a)所示，在父亲P3新开始了视听的情况下，如图12(b)所示，追加与父亲P3对应的标记符S3。
于是，如图13(a)所示，在孩子P2和父亲P3进行视听直到流的终点位置的情况下，如图13(b)所示，在流的终点位置追加与孩子P2对应的标记符E2和与父亲P3对应的标记符E3。
然后，如图14(a)所示，母亲P1返回流再现装置3前，使用操作输入单元4指示未观看期间的再现时，通过图8的步骤86、89～90的处理，如图14(b)中黑箭头所示，与母亲P1有关的未观看期间(标记符E1到流的终点位置)被确定，该未观看期间被自动再现。这里，母亲P1仅指示对未观看期间进行再现的意思就足够，不需要进行倒退和快进等麻烦的操作。
(变形例)
以下，参照图15～图20说明上述实施方式的变形例。首先，在图7中在步骤71进行指示‘通常再现’的操作输入后，起动人物检测单元(步骤72)，如图15所示，首先起动人物检测单元之后(步骤200)，转移到操作输入等待的状态(步骤71)也可以。
也可以如图16这样变更图8中的步骤86以后到步骤91为止的处理。即，如果数m为‘1’则与图8同样，直接确定标记符字符串Eads、Eads并将处理转移到步骤91。
如果数m是‘2’以上，则在步骤100～103中决定未观看期间，并将处理转移到步骤91。在步骤100中，再现控制单元6检查是否有未观看期间的设定。
该‘设定’用于决定在存在多个视听者时应再现的期间的决定要领，通过与这些视听者有关的各个未观看期间的“或”(如果至少一个视听者未观看就设为未观看期间)、“与”(如果所有的视听者未观看则设为未观看期间)等来实施。当然，也可以组合“或”以及“与”，可以通过优先级来对特定的视听者比其它视听者进行特别处理。
如果存在未观看期间的设定，则再现控制单元6据此决定未观看期间(步骤101)。
如果没有未观看期间的设定，则再现控制单元6在监视器2上显示必要的信息，要求视听者从操作输入单元4输入必要的信息(步骤102、103)。
例如，在步骤100中，即使设定未观看期间的“与”，如图19(a)所示，母亲P1和父亲P3返回流再现装置3前，使用操作输入单元4指示未观看期间的再现时，如图19(b)中黑箭头所示，未观看期间(标记符‘E1’～标记符‘S3’)被再现。在该情况下，由于标记符‘S3’以后不是父亲P3的未观看期间，因此不再现。另外，如果设定了未观看期间的“或”，则未观看期间(标记符‘S1’～标记符‘E3’)被再现。
另一方面，在步骤100中，在没有未观看期间的设定时，如图17所示，显示作为各视听者的母亲P1的未观看期间a和父亲P3的未观看期间b(步骤102)。此外，未观看期间c是未观看期间a、b的“或”，未观看期间d是未观看期间a、b的“与”。观看该显示，视听者(母亲P1或父亲P3)选择未观看期间c或未观看期间d的其中一个。
在任何的情况下，母亲P1以及父亲P3仅通过指示未观看期间的再现，或最多选择未观看期间就足够，不必进行倒退或快进等麻烦的操作。
此外，图2(b)的值不仅是‘有’/‘无’，也可以如下扩展。例如，作为图2(b)的值，可以取‘中途退席’(视听了当前流的至少一部分但现在未在视听当前流)和‘未观看’(完全未视听当前流)的值，优选能够更详细地区别值‘无’。此外，优选图2(b)的值能够表现未观看期间的总数。
进而，如图19所示，例如，三名视听者的人物图像被注册在人物数据库7中，在流再现装置3前存在图19的第二段所示的两名视听者时，并列显示流的标题(例如，节目名)和有与其有关的未观看期间的人物的人物图像时，容易理解，很理想。
在没有未观看期间的设定时，如图20所示，对流再现装置3前存在的两名视听者，与人物图像一并显示未观看期间的候补，这容易理解，很理想。
产业上的可利用性
本发明的流再现装置例如在DVD播放机、DVD录像机、HD录像机、经由网络的流从传送装置或接收装置等领域中能够良好地利用。

Claims (12)

1.一种流再现装置，包括：
检测单元，被设置得靠近视听者；
人物检测单元，基于所述检测单元的输出来检测视听者；
视听信息生成单元，基于所述人物检测单元的检测结果生成视听信息；以及
再现控制单元，接受流的提供，控制所述流的再现并输出再现信号，
所述视听信息生成单元生成的视听信息被与所述流的时间标记相关联，以便视听者未视听所述流的再现结果的未观看期间变得明显。
2.如权利要求1所述的流再现装置，其中，
所述流再现装置还包括接受视听者的输入的操作输入单元，
所述再现控制单元在被从所述操作输入单元输入未观看期间的再现指示时，基于所述视听信息生成单元制作的视听信息来决定未观看期间，并再现所述流的未观看期间。
3.如权利要求1所述的流再现装置，其中，
所述人物检测单元基于所述检测单元的输出区别并检测各个视听者，
所述视听信息生成单元基于所述人物检测单元对各个视听者的检测结果，对每个视听者生成视听信息，
所述视听信息生成单元生成的视听信息被与所述流的时间标记相关联，以便各个视听者未视听所述流的再现结果的未观看期间变得明显。
4.如权利要求3所述的流再现装置，其中，
所述流再现装置还包括接受视听者的输入的操作输入单元，
所述再现控制单元在被从所述操作输入单元输入未观看期间的再现指示时，使所述人物检测单元确定进行了通过所述操作输入单元的输入的视听者，
所述再现控制单元根据所述视听信息生成单元关于由所述人物检测单元确定的视听者而制作的视听信息来决定未观看期间，并再现所述流的未观看期间。
5.如权利要求1所述的流再现装置，其中，
所述视听信息生成单元生成的视听信息包含与视听者开始视听的时间标记和视听者结束视听的时间标记相关联的信息。
6.如权利要求1所述的流再现装置，其中，
所述视听信息生成单元生成的视听信息被保存在所述流内。
7.如权利要求1所述的流再现装置，其中，
所述视听信息生成单元生成的视听信息被保存在所述流外。
8.如权利要求1所述的流再现装置，其中，
所述检测单元具有照相机和传感器中的至少一个。
9.如权利要求3所述的流再现装置，其中，
所述检测单元具有照相机，
所述流再现装置还包括：
人模板；
人物数据库，将各个所述视听者的识别信息与用所述照相机拍摄各个所述视听者得到的人物图像对应保持；以及
相关运算单元，进行所述照相机拍摄的图像和所述人模板的相关运算，以及所述照相机拍摄的图像和所述人物数据库保持的所述人物图像的相关运算，
所述人物检测单元基于所述相关运算单元进行所述照相机拍摄的图像和所述人模板的相关运算的结果，判定视听者是否正在视听流的再现结果，
所述人物检测单元在判定为视听者正在视听流的再现结果时，基于所述相关运算单元进行所述照相机拍摄的图像和所述人物图像的相关运算的结果，确定当前正在视听流的再现结果的视听者。
10.如权利要求9所述的流再现装置，其中，
所述人物检测单元判定为视听者正在视听流的再现结果，在所述相关运算单元进行了所述照相机拍摄的图像和所述人物图像的相关运算的结果，所述照相机拍摄的图像不适合所述人物图像的任何一个的情况下，将新的各个视听者的识别信息和所述照相机拍摄的图像互相对应地追加到所述人物数据库。
11.如权利要求1所述的流再现装置，其中，
所述流再现装置还具有流提供单元，该单元具有记录所述流的记录介质，并对所述再现控制单元提供所述流。
12.如权利要求1所述的流再现装置，其中，
所述流再现装置还具有监视器，该监视器基于所述再现控制单元输出的再现信号再现所述流的内容。
CN200580013963A 2004-09-02 2005-08-26 流再现装置 Expired - Fee Related CN100583993C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP255291/2004 2004-09-02
JP2004255291 2004-09-02

Publications (2)

Publication Number Publication Date
CN1951118A true CN1951118A (zh) 2007-04-18
CN100583993C CN100583993C (zh) 2010-01-20

Family

ID=35999938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580013963A Expired - Fee Related CN100583993C (zh) 2004-09-02 2005-08-26 流再现装置

Country Status (4)

Country Link
US (1) US7730505B2 (zh)
JP (1) JPWO2006025284A1 (zh)
CN (1) CN100583993C (zh)
WO (1) WO2006025284A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581755A (zh) * 2012-07-19 2014-02-12 三星电子株式会社 用于控制内容回放的设备、系统和方法
CN105094308A (zh) * 2014-05-09 2015-11-25 Lg电子株式会社 终端及其操作方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2044592A1 (en) * 2006-07-12 2009-04-08 Koninklijke Philips Electronics N.V. A device and a method for playing audio-video content
JP4782033B2 (ja) * 2007-02-13 2011-09-28 日本電信電話株式会社 映像視聴履歴取得装置及びプログラム
GB2459705B (en) * 2008-05-01 2010-05-12 Sony Computer Entertainment Inc Media reproducing device, audio visual entertainment system and method
US20100043024A1 (en) * 2008-08-15 2010-02-18 Mana Digital Corporation Channel switching module
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
JP5528318B2 (ja) * 2010-03-23 2014-06-25 パナソニック株式会社 表示装置
US20120204209A1 (en) * 2010-06-01 2012-08-09 Seiji Kubo Content processing device, television receiver, and content processing method
US8584177B2 (en) * 2011-04-11 2013-11-12 Ericsson Television Inc. Controlling delivery of video programs using user defined identifiers for video receiver devices
CN103165062B (zh) * 2011-12-15 2016-07-13 联发科技（新加坡）私人有限公司 多媒体播放器电源的控制方法及装置
US9215490B2 (en) 2012-07-19 2015-12-15 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling content playback
JP2015076828A (ja) * 2013-10-11 2015-04-20 Ｎｅｃパーソナルコンピュータ株式会社 録画装置及びプログラム
US9690455B1 (en) * 2014-04-17 2017-06-27 Google Inc. Methods, systems, and media for providing media guidance based on detected user events
KR102280942B1 (ko) * 2014-05-09 2021-07-26 엘지전자 주식회사 단말기 및 그 동작 방법
US9807436B2 (en) * 2014-07-23 2017-10-31 Rovi Guides, Inc. Systems and methods for providing media asset recommendations for a group

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4858000A (en) * 1988-09-14 1989-08-15 A. C. Nielsen Company Image recognition audience measurement system and method
JPH089282A (ja) * 1994-06-24 1996-01-12 Hitachi Ltd 表示装置
JPH0818900A (ja) * 1994-06-29 1996-01-19 Hitachi Ltd テレビジョン受信機
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US7134130B1 (en) * 1998-12-15 2006-11-07 Gateway Inc. Apparatus and method for user-based control of television content
US6889382B1 (en) * 1999-07-27 2005-05-03 Mediaone Group, Inc. Remote TV control system
JP4046483B2 (ja) * 2001-04-17 2008-02-13 シャープ株式会社 情報再生装置
JP2002354409A (ja) * 2001-05-28 2002-12-06 Victor Co Of Japan Ltd 視聴システム
JP3868820B2 (ja) * 2002-01-25 2007-01-17 シャープ株式会社 放送受信装置
WO2003067594A1 (en) * 2002-02-08 2003-08-14 Ucentric Holdings, Inc. Centralized digital video recording system with bookmarking and playback from multiple locations
JP2004343445A (ja) * 2003-05-15 2004-12-02 Victor Co Of Japan Ltd 視聴システム
JP2005064592A (ja) 2003-08-14 2005-03-10 Fuji Photo Film Co Ltd 携帯通信端末

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581755A (zh) * 2012-07-19 2014-02-12 三星电子株式会社 用于控制内容回放的设备、系统和方法
CN105094308A (zh) * 2014-05-09 2015-11-25 Lg电子株式会社 终端及其操作方法
CN105094308B (zh) * 2014-05-09 2018-03-27 Lg电子株式会社 终端及其操作方法

Also Published As

Publication number Publication date
JPWO2006025284A1 (ja) 2008-05-08
US20080022295A1 (en) 2008-01-24
WO2006025284A1 (ja) 2006-03-09
CN100583993C (zh) 2010-01-20
US7730505B2 (en) 2010-06-01

Similar Documents

Publication Publication Date Title
CN1951118A (zh) 流再现装置
CN1604639A (zh) 小型化的视频馈送产生及用户界面
CN1232107C (zh) 字幕提取装置
CN1298164C (zh) 影像检索辅助方法及影像检索辅助设备、和广播接收设备
CN101237539B (zh) 记录装置
CN1627807A (zh) 节目提取方法与节目提取装置
CN1905638A (zh) 电视接收机及其显示控制方法
CN1331522A (zh) 预定信息设置装置及其方法
CN1579092A (zh) 信息处理系统、信息处理装置及方法、记录媒体及程序
CN1206294A (zh) 控制装置、电气设备及其系统和各控制方法,及传输媒体
CN1371572A (zh) 可选择语言的交互式电视节目导视器
CN1622092A (zh) 内容观看支持装置和内容观看支持方法以及计算机程序
CN1286567A (zh) 电视显示装置和操作电视系统的方法
CN1426659A (zh) 节目预约装置及方法
KR101445764B1 (ko) 멀티미디어 컨텐츠 리스트 및 서브리스트 제공방법, 및이를 적용한 방송수신장치
JP2008167019A (ja) 録画再生装置
CN1656798A (zh) 内容记录和再现设备、方法以及计算机程序
CN1758325A (zh) 电子设备
US9137496B2 (en) Entertainment system and method of communication
CN1756321A (zh) 图像显示设备
CN1770855A (zh) 播放节目输出控制装置和方法
CN1993989A (zh) 内容处理设备、处理内容的方法及计算机程序
CN1630351A (zh) 电视接收机、信息处理方法以及程序
CN1921533A (zh) 广播接收机及其用于管理预约记录信息的方法
JP4919879B2 (ja) 情報処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100120

Termination date: 20120826