CN102034520B - 电子装置及内容再现方法 - Google Patents
电子装置及内容再现方法 Download PDFInfo
- Publication number
- CN102034520B CN102034520B CN201010293531.6A CN201010293531A CN102034520B CN 102034520 B CN102034520 B CN 102034520B CN 201010293531 A CN201010293531 A CN 201010293531A CN 102034520 B CN102034520 B CN 102034520B
- Authority
- CN
- China
- Prior art keywords
- content
- list
- cpu
- different device
- thumbnail image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000004891 communication Methods 0.000 claims abstract description 14
- 238000003860 storage Methods 0.000 claims description 33
- 238000009434 installation Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 116
- 230000008569 process Effects 0.000 description 36
- 238000000605 extraction Methods 0.000 description 34
- 238000012360 testing method Methods 0.000 description 28
- 238000001514 detection method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 230000001815 facial effect Effects 0.000 description 16
- 230000005236 sound signal Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 8
- 230000009897 systematic effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000005055 memory storage Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000386 athletic effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了电子装置及内容再现方法。该电子装置,包括:通信单元,连接到网络上的不同装置,该不同装置存储内容;输出单元,连接到显示设备;控制单元;操作输入单元;以及在线单元。控制单元搜索存储在网络上不同装置中的内容,生成指示搜索的内容的缩略图像列表,估计接收和再现每个内容时的误差率,根据估计的误差率改变所述列表中每个缩略图的状态并将该列表输出到显示设备。操作输入单元接收针对每个缩略图像所指示的内容的再现指示操作。再现单元从该不同装置接收受到再现指示操作的内容,并再现该内容。
Description
技术领域
本发明涉及能够再现存储于网络上的不同装置中的内容的电子装置、该电子装置中的内容再现方法及其程序。
背景技术
在现有技术中,在国内的AV(视听)网络系统中,例如,位于房间内的装置可用来再现位于不同房间中的不同装置中存储的内容,而不使用户意识到存储内容的地点。
在如上所述通过网络再现内容的情况下,在网络的某些流量状况下可能难以或不可能再现内容。然而,不允许再现侧的装置用户在掌握流量状况的情况下判断是否可再现每个内容。因此,用户通常只是在用户尝试再现内容之后才知道内容不能被再现。
日本专利申请早期公开2006-330829公开了一种用于与内容一起显示信息的再现设备。在这种情况下,信息用来在对再现设备提供来自不同装置的内容时使用户识别内容的流状态是否良好。具体地,在日本专利申请早期公开2006-330829中,在流状态良好的情况下,例如,显示高速旋转的圆形箭头状标记。此外,还公开了上述标记的颜色可与流状态相对应地变化。
此外,日本专利申请早期公开2006-059329公开了一种内容处理设备,该内容处理设备用于确定在版权管理方面内容是否可被再现,且以如此方式产生内容的标题信息的列表,使得被确定为不可再现的内容的标题信息能够与被确定为可再现的内容的标题信息相区分。具体地,在日本专利申请早期公开2006-059329中,在列表中,x标记的图标被添加到不可再现的内容的标题,或在彼此分离的区域中显示可再现内容的标题和不可再现内容的标题。
发明内容
然而,在日本专利申请早期公开2006-330829中描述的技术中,在以标记显示流状态之前开始内容的流,因此在再现内容之前不能掌握内容的状态。因此,可设想到只有在用户开始内容的流之后,用户才识别出内容的状态恶劣且被迫停止再现内容。
此外,在日本专利申请早期公开2006-059329中描述的技术中,通过对标题列表中的区域的标记或区分来显示内容是否可被再现,因此用户可在内容被再现之前识别出内容是否可被再现。然而,除了标题之外用户需要检查标记,并需要检查多个区域,因此在再现内容之前要执行的步骤是复杂的,这导致缺乏直观性。
考虑到上述情况,需要一种能够使用户直观地掌握与网络的流量状况相对应地是否可平滑地再现内容的电子装置、该电子装置中的内容再现方法及其程序。
根据本发明实施例,提供一种电子装置,包括:通信单元,连接到网络上的不同装置,该不同装置存储内容;输出单元,连接到显示设备;控制单元,用于通过通信单元搜索存储在不同装置中的内容以生成指示搜索的内容的缩略图像列表,基于网络的流量状况通过通信单元估计接收和再现每个内容时的误差率,根据估计的误差率改变该列表中的每个缩略图的状态并通过输出单元将该列表输出到显示设备;操作输入单元,用于从用户接收针对每个缩略图像所指示的内容的再现指示操作;以及再现单元,用于响应于再现指示操作而从该不同装置通过通信单元接收受到再现指示操作的内容,并再现该内容。
通过该配置,通过根据再现内容时的估计的误差率改变列表中缩略图像的状态,允许电子装置使用户直观地掌握是否可平滑地再现与每个缩略图像目对应的内容。因此,允许该电子装置阻止如下情况:当用户再现由于恶劣流量状况而不能被平滑再现的内容时,使得用户感到不舒适的感觉。在此,改变图像的状态意味着例如随着流量状况变得恶劣而增加图像中的阴影(灰度)的程度或降低图像的亮度的强度。此外,上述内容可以是记录在便携式记录介质上的内容,该便携式记录介质例如插入不同装置的盘驱动中的光盘(BD,DVD)。
控制单元可以以以下方式通过输出单元更新列表:使得当在不同装置中存储新内容时,在列表中显示指示新存储的内容的缩略图像;或者可以以以下方式通过输出单元更新列表:使得当删除不同装置中存储的内容时,从列表删除指示被删除内容的缩略图像。
这样就允许电子装置在不同装置中添加或删除内容之后立即通知用户在不同装置中添加或删除了内容。以这种方式,允许用户立即再现所添加的内容,或防止用户错误地指示再现被删除的内容。
当估计出由于流量状况的改进而导致内容的误差率降低时,控制单元可通过输出单元改变每个缩略图像的状态并使显示设备显示指示列表中的误差率的降低的标记。
这样就允许电子装置在估计出流量状况改进且误差率降低的情况下以以下方式再现内容:使得电子装置可靠地使用户掌握由于以上状况变化而使内容能够被平滑地再现。
在这种情况下,操作输入单元可从用户接收在缩略图指示的内容中选择用户希望再现的内容的操作。在这种情况下,控制单元可使显示设备针对均具有被估计为下降的误差率的内容中的所选择内容而显示所述标记。
这样就允许电子装置仅针对用户希望再现的内容而显示所述标记,从而向用户通知对用户而言必要的信息且移除不必要的信息(标记)。
以上电子装置还可包括存储内容的存储单元。在这种情况下,控制单元可生成包括指示存储在存储单元中的内容的缩略图像和指示存储在不同装置中的内容的缩略图像的列表。
这样就允许电子装置在列表中不仅可显示存储在网络上的不同装置中的内容,还可显示存储在电子装置自身中的内容。因此,用户可直观地选择和再现内容,而不使用户知道内容是存储在电子装置自身中的内容还是存储在不同装置中的内容。
根据本发明的另一实施例,提供一种内容再现方法,包括:搜索存储在网络上的不同装置中的内容;生成指示搜索的内容的缩略图像的列表;基于网络的流量状况,估计接收和再现每个内容时的误差率;根据估计的误差率改变该列表中的每个缩略图像的状态并将该列表输出到显示设备;从用户接收针对每个缩略图像所指示的内容的再现指示操作;以及响应于该再现指示操作而从不同装置接收受到再现指示操作的内容且再现该内容。
根据本发明又一实施例,提供一种程序,用于执行以下步骤:搜索存储在网络上的不同装置中的内容;生成指示搜索的内容的缩略图像的列表;基于网络的流量状况,估计接收和再现每个内容时的误差率;根据估计的误差率改变该列表中的每个缩略图像的状态并将该列表输出到显示 设备;从用户接收针对每个缩略图像指示的内容的再现指示操作;以及响应于该再现指示操作而从不同装置接收受到再现指示操作的内容且再现该内容。
如上所述,根据本发明实施例,有可能使用户直观地掌握与网络的流量状况相对应是否可平滑地再现内容。
参照以下对附图中所示的本发明最佳实施例的详细说明,本发明的这些和其它的目的、特征和优点将变得更明显。
附图说明
图1是示意性示出本发明实施例中呈现的AV(视听)网络系统的示例的视图;
图2是示出本发明实施例中具有针对内容的元数据生成功能的PVR(个人视频记录器)的硬件配置的视图;
图3是示出本发明实施例中不具有针对内容的元数据生成功能的PVR的硬件配置的视图;
图4是本发明实施例中的PVR的默认的元数据生成处理的流程图;
图5是本发明实施例中PVR的搜索能够生成元数据的不同装置的处理细节的流程图;
图6是示出从内容存储装置返回的测试数据的数据结构的示例的视图;
图7是示出图6所示的测试数据中包括的操作模式数据的细节的表;
图8是示出图6所示的测试数据中包括的处理数据的细节的表;
图9是示出在本发明实施例中在内容种类是广播内容特别是新闻节目的情况下每个操作模式的执行所需的处理的表;
图10是示出在本发明实施例中在内容种类是广播内容特别是体育节目的情况下每个操作模式的执行所需的处理的表;
图11是示出在本发明实施例中在内容种类是广播内容特别是音乐节目的情况下每个操作模式的执行所需的处理的表;
图12是示出本发明实施例中内容种类是私密内容的情况下每个操作模式的执行所需的处理的表;
图13是概念性示出本发明实施例中的手振动特征提取处理的图;
图14是概念性示出本发明实施例中的关键帧检测处理的图;
图15是概念性示出本发明实施例中默认的元数据生成处理的视图;
图16是本发明实施例中通过PVR手动执行的元数据生成处理的流程图;
图17是概念性示出本发明实施例中手动执行的元数据生成处理的视图;
图18是本发明实施例中的内容分类处理的流程图;
图19是示出本发明实施例中生成的内容列表的显示示例的视图;
图20是本发明实施例中与流量状况等相对应地执行的针对内容列表的显示控制处理的流程图;
图21是各自示出本发明实施例中针对内容列表的显示控制处理所导致的缩略图之一变化的状态的视图;
图22是本发明实施例中基于面部识别元数据的访问控制处理的流程图;以及
图23是示出本发明实施例中与每个操作模式相对应的访问控制处理的概要的表。
具体实施方式
以下参考附图说明本发明的实施例。
AV网络系统的概要
图1是示意性示出本发明实施例中呈现的AV网络系统的示例的视图。
如图1所示,在AV网络系统中,例如,位于房间(A的房间和B的房间)中的装置通过网络50如因特网彼此连接。例如,在A的房间中,放置有两个PVR(个人视频记录器)100和200以及两个电视机(TV)60。TV 60分别连接到PVR 100和PVR 200。在这种情况下,PVR 100和TV60被放置在与放置PVR 200和其它TV 60的房间不相同的房间中。此外,例如,在B的房间中,放置一个PVR 300和连接到PVR 300的两个TV 60。在这种情况下,PVR 300和一个TV 60一起被放置在与放置TV 60的房 间不相同的房间中。
在图1中,示出了放置在A的房间中的四个装置和放置在B的房间中的三个装置通过网络50彼此连接的示例。然而不必说的是,放置在每个房间中的装置的数目和类型不限于此,且放置在除了A的房间和B的房间之外的房间中的装置也可连接到网络50。以下,可假定除了图1所示的装置之外的装置连接到网络50来进行说明。
在以上配置中,在进行预定认证的情况下可通过网络50互相访问放置在A的房间中的装置和放置在B的房间中的装置。因此,例如,B可通过网络50上放置在B的房间中的PVR 300来访问放置在A的房间中的PVR 100和PVR 200,从而查看存储在PVR 100和PVR 200中的内容。
在这种情况下,在PVR 100、200和300中,PVR 100具有针对内容编辑、特殊再现如摘要再现、内容分类等生成元数据的功能。同时,PVR200和300不具有以上功能。因此,即使在例如B想在B的房间中进行存储对在PVR 200中的内容的特殊再现或分类的情况下,PVR 300也不能用来进行特殊再现或分类。
在这一点上,在本实施例中,允许不具有针对内容的元数据生成功能的装置如PVR 300使得网络50上的不同装置生成元数据,该不同装置具有元数据生成功能,如PVR 100。
PVR的硬件配置
图2是示出具有元数据生成功能的PVR 100的硬件配置的视图。如图2所示,PVR 100包括数字调谐器1、解调单元2、解复用器3、解码器4、记录再现单元5、HDD(硬盘驱动)8、光盘驱动9和通信单元11。此外,PVR 100包括CPU(中央处理单元)12、闪存13和RAM(随机存取存储器)14。另外,PVR 100包括操作输入单元15、图形控制单元16、视频D/A(数字/模拟)转换器17、音频D/A(数字/模拟)转换器18、外部接口19和特征提取电路20。
数字调谐器1在CPU 12的控制下通过天线22选择数字广播中的特定频道,并接收包括节目数据的广播信号。尽管广播信号是例如以MPEG-2TS格式(TS:传输流)编码的MPEG流,但其不限于该格式。解调单元2解调被调制的广播信号。
解复用器3将复用的广播信号解复用成包括视频信号、音频信号、隐藏字幕信号、SI(服务信息)信号等的信号。然后,解复用器3将上述信 号提供给解码器4。此外,解复用器3能够还将在编码之前如上所述解复用的信号提供给特征提取电路20。SI信号用来发送用于显示EPG(电子节目指南)信息的数据等。EPG信息用来确定稍后所述的内容的种类。
解码器4解码被解复用器3解复用的视频信号、音频信号、隐藏字幕信号和SI信号。解码的信号被提供给记录再现单元5。
记录再现单元5包括记录单元6和再现单元7。当视频信号和音频信号被解码器4解码且被输入到记录单元6中时,记录单元6临时蓄积该视频信号和音频信号,并在控制其定时和数据量的同时将该视频信号和音频信号输出到HDD 8和光盘驱动9,使得HDD 8和光盘驱动9记录该视频信号和音频信号。此外,记录单元6还能够读取记录在HDD 8中的内容并将该内容输出到光盘驱动9,使得光盘驱动9读取光盘10上的内容。再现单元7读取针对记录在HDD 8或光盘10上的视频内容的视频信号和音频信号,并在控制其定时和数据量的同时将该视频信号和音频信号输出到解码器4。以这种方式,再现视频信号和音频信号。
HDD 8在内置的硬盘中记录通过数字调谐器1接收的节目和通过通信单元11在网络50上接收的各种内容。当存储的内容被再现时,HDD 8从硬盘读取其数据,并将数据输出到记录再现单元5。
此外,存在HDD 8存储各种节目、其它数据等的情况。当执行和参考各种节目和其它数据时,响应于从CPU 12发送的指示而从HDD 8读取各种节目和其它数据,且将其配置在RAM 14中。
与HDD 8相似地,光盘驱动9能够将节目内容等的各种数据记录在安装的光盘10上并读取记录的数据。此外,以上各种程序可记录在便携式记录介质如光盘10上,且可通过光盘驱动9安装到PVR 100中。
通信单元11用作连接到网络50的网络接口,用于根据如TCP/IP(发送控制协议/因特网协议)的协议针对网络50上的不同装置发送和接收数据。在通信单元11接收的数据是复用数据的情况下,该数据被提供给解复用器3。此外,如果需要的话,至少一部分所接收的数据还被提供给特征提取电路20。可以不根据数字调谐器1接收的广播信号而是通过通信单元11从网络50获得EPG信息。
外部接口19包括例如USB接口和存储卡接口。例如,外部接口19连接到外部装置如数字视频照相机或数字静止照相机,或连接到存储卡,并从外部装置或存储卡读取内容等的数据。
如果需要则CPU 12访问RAM 14等,以总体地控制PVR 100的各个块中的处理。在这种情况下,处理包括视频数据的接收处理、内容的记录/再现处理、特征提取(元数据生成)处理等。
闪存13是例如用作非易失性存储器的NAND型闪存,在该非易失性存储器中固定地存储要由CPU 12执行的操作系统(OS)和包括程序、各种参数等的固件。此外,闪存13存储在元数据生成处理期间与特征提取电路20一起操作的程序以及上述EPG信息等的各种数据。
RAM 14用作CPU 12的工作区域等。RAM 14是用于在内容的记录/再现处理期间或元数据生成处理期间临时存储OS、程序、处理数据等的存储器。
在操作输入单元15中,例如通过包括多个键的远程控制器21输入根据用户的操作的各种设置值和指令。操作输入单元15将各种设置值和指令输出到CPU 12。不用说,操作输入单元15可以不与远程控制器21相关联,且可包括键盘、鼠标、开关等。在这种情况下,键盘和鼠标连接到PVR 100,且开关被提供给PVR 100。
图形控制单元16使得从解码器4输出的视频信号和从CPU 12输出的其它视频信号经历图形处理如OSD(屏幕上显示)处理。以这种方式,生成要显示在显示设备如TV 60上的视频信号。
视频D/A转换器17将从上述图形控制单元16输入的数字视频信号转换成模拟视频信号。然后,视频D/A转换器17通过视频输出终端等将模拟视频信号输出到显示设备。
视频D/A转换器18将从上述解码器4输入的数字音频信号转换成模拟音频信号。然后,音频D/A转换器18通过音频输出终端等将模拟音频信号输出到TV等。
特征提取电路20从存储在HDD 8中的内容或存储在网络50上的不同装置中的内容中提取预定视频特征和预定音频特征。然后,特征提取电路20基于提取的特征生成要用于针对每个内容的特殊再现处理和分类处理的各种元数据。具体地,特征提取电路20将内容的视频信号和音频信号划分成针对每个预定时间段(针对每个帧间隔)的数据(数据分割处理)。然后,特征提取电路20将上述数据临时存储在RAM 14中。特征提取电路20在存储的数据中通过检测例如视频数据的运动矢量来提取视频特征。同时,特征提取电路20在存储的数据中通过分析例如音频数据的功 率水平来提取音频特征。
预定的视频特征包括例如照相机特征如摇摄、倾斜和缩放,以及指示如个人(面部)、动物和建筑物的物体的图像特征。预定音频特征包括例如指示人声的特征,更具体地是指示音频功率的持续时间的特征。此外,元数据包括以下元数据:基于照相机特征和音频特征生成的关于内容中的峰值场景(关键帧)的元数据(场景特征元数据);用于与内容中的被摄体相对应地(基于被摄体是否为人)对内容分类的元数据(分类元数据);用来通过识别内容中人的面部而控制对内容的访问的元数据(面部识别元数据)等。以下详细说明上述各种元数据。此外,元数据可以是上述特征提取处理提取的特征数据自身。
图3是示出不具有元数据生成功能的PVR 300的硬件配置的视图。如图3所示,除了PVR 300不包括PVR 100的特征提取电路20以外,PVR 300的配置与图2所示的PVR 100的配置相同。因此,在此省略PVR300的各个块的说明。PVR 200的配置也与PVR 300的配置相同。
AV网络系统中各装置的操作
接着,说明以上述方式配置的AV网络系统中各装置的操作。以下主要说明PVR 300的操作。以下尽管将PVR 300的CPU 42视为主更操作对象来说明PVR 300的操作,但是与在其它硬件和CPU 42的控制下执行的程序相协作地执行该操作。
元数据生成处理
首先说明AV网络系统中的元数据生成处理。在该实施例中,存在如下情况:针对在网络50上的所有装置中存储的所有内容默认自动生成元数据,以及针对特定内容生成元数据。
首先,说明默认地生成网络50上的装置中存储的内容的元数据的情况。图4是PVR 300默认的元数据生成处理的流程图。
如图4所示,PVR 300的CPU 42试图从网络50上的每个装置接收访问认证以访问每个装置(步骤41)。在允许CPU 42获得访问认证(步骤S42中的是)的情况下,CPU 42检测存储在访问装置中的内容(步骤43)。在不允许CPU 42获得访问认证(否)的情况下,也就是说,在网络50上存在不可访问的不同装置的情况下,CPU 42确定用户是否提供了进行到除了元数据生成操作之外的不同操作模式(如内容正常再现)的指示(步骤44)。在确定出用户提供了指示的情况下(是),CPU 42进行到 不同模式。
在步骤42中存在可访问的不同装置的情况下(是),CPU 42检测存储在不同装置中的内容(步骤43)。然后,CPU 42确定是否针对每个检测的内容生成元数据(步骤45)。
在步骤45中确定出生成元数据的情况下(是),CPU 42确定是否针对网络50上的所有装置中存储的所有内容生成元数据,也就是说,是否仍然存在要生成其元数据的内容(步骤51)。在确定出不存在要生成其元数据的内容的情况下(是),处理终止。在确定出仍存在要生成其元数据的内容的情况下(否),CPU返回到步骤41以重复上述处理。
在步骤45中确定出不生成元数据的情况下(否),CPU 42在网络50上搜索能够生成元数据的不同装置(步骤46)。稍后说明搜索处理的细节。
在作为上述搜索的结果找到适合于元数据生成的不同装置的情况下(步骤47的是),CPU 42对该不同装置发出命令,使该不同装置生成元数据(步骤48)。然后,CPU 42接收元数据(步骤50),响应于命令而在该不同装置中生成元数据。CPU 42针对网络50上的所有装置的所有内容重复上述处理(步骤51)。
在作为上述搜索的结果而没有发现适合于元数据生成的不同装置的情况下(步骤47中的否),CPU 42例如通过连接到PVR 300的TV 60来提供用于指示不能生成元数据的警告显示(步骤49)。
图5是搜索能够生成元数据的不同装置的处理的细节的流程图。
如图5所示,CPU 42首先对在网络50上存储内容的不同装置(内容存储装置)发出用于指示内容存储装置向除了内容存储装置之外的每个不同装置发送测试数据的命令(步骤61)。在此,测试数据是用于询问是否可生成元数据的数据,且同时是被发送以搜索用于可靠和高效地执行元数据生成处理的最佳装置的数据。
随后,将上述内容存储装置从上述每个不同的装置接收的上述测试数据的返回结果传送到CPU 42(步骤62)。现在,说明测试数据的细节。
图6是示出从不同装置返回到内容存储装置的测试数据的数据结构的示例的视图。如图6所示,测试数据包括同步数据71、系统数据72、操作模式数据73、处理数据74和误差处理数据75。
同步数据71是内容存储装置发送的用于同步测试数据的数据,并且 从不同的装置返回测试数据。系统数据72是包括返回侧的不同装置的IP地址的数据。
图7是示出操作模式数据73的细节的表。如图7所示,操作模式数据73由例如16比特(m1至m16)组成。使用比特0或1示出了针对16比特(m1至m16)中的每个比特在不同装置中是否可处理多个操作模式的每个操作模式。在图7中,有可能适当地将操作模式添加到没有限定操作模式的位置(-)。作为操作模式,示例了视频显示输出模式和音频显示输出模式、内容的正常再现模式、内容的摘要再现模式、内容的自动编辑模式、内容蓄积(记录)模式和内容捕获(照相机功能)模式。在图7所示的示例中,示出了测试数据的返回侧的不同装置适合于上述所有模式。
在图4和图5的流程图中,预先确定不同装置生成的元数据,因此基于上述操作模式数据确定是否可生成预定的元数据。例如,在期望生成用于摘要再现的元数据的情况下,基于上述操作模式数据而确定不同装置是否适合于摘要再现。
图8是示出处理数据74的细节的表。如图8所示,处理数据74由例如12比特(g1至g4,c1至c4,a1至a4)组成。使用比特0或1示出了对12比特(g1至g4,c1至c4,a1至a4)的每个比特是否可进行各种视频和音频特征提取处理中的每个处理。在这种情况下,在摘要再现模式、自动操作模式等中各种视频特征提取处理和音频特征提取处理是必要的。在图8中,有可能适当地将处理功能添加到没有限定操作模式的位置(-)。处理数据包括图像特征、照相机特征和音频特征。作为图像特征的处理功能,示例了面部检测功能和时钟(ticker)检测功能。作为照相机特征的处理功能,示例了检测功能如缩放、摇摄、倾斜和手振动。作为音频特征的处理功能,示例了音频峰值(高水平)检测功能、音乐检测功能和人声检测功能。在图8所示的示例中,示出了测试数据的返回侧的不同装置适合于上述所有处理模式。
误差处理数据75例如由16比特组成,且是用于测量在从内容存储装置发送测试数据且测试数据被返回的时间段期间生成的误差的误差率的数据。具体地,例如使用误差检测码如CRC码或Reed-Solomon码。
返回参考图5的流程图,当CPU 42接收上述测试数据的返回结果的数据时,CPU 42确定是否存在适合于生成预定元数据的不同装置(以下还简称为适当装置)(步骤63)。在确定不存在适当装置的情况下(否), CPU 42提供图4的步骤49中所示的警告显示。
在确定存在适当装置的情况下(是),CPU 42确定是否存在多个适当装置(步骤64)。在确定存在多个适当装置的情况下(是),CPU 42基于上述测试数据的返回的结果的数据来检测上述误差率和延迟时间段(步骤65)。基于上述返回的测试数据中的误差处理数据来计算误差率。基于内容存储装置发送测试数据的时间和不同装置返回测试数据的时间来计算延迟时间段。CPU 42针对每个适当装置计算误差率和延迟时间段。
然后,CPU 42在上述多个适当装置中选择具有最低误差率和最低延迟时间段的适当装置(步骤66)。也就是说,CPU 42选择在进行元数据生成时能够最有效和精确地进行元数据生成的不同装置。此外,CPU 42可基于通过将误差率和延迟时间段相乘获得的值来进行上述选择。
随后,CPU 42确定存储在内容存储装置中的每个内容的种类(步骤67)。在此确定内容种类的原因是自动编辑模式和摘要再现模式所需的特征数据根据种类而变化。也就是说,当种类根据内容而不同时,要由不同装置生成的元数据和适合于元数据生成的操作模式变化。因而,PVR 300被适配成根据种类和操作模式适当地选择适当装置。
现在,说明内容的种类与生成内容的元数据所需的操作模式之间的关系。
图9是示出在内容种类是广播内容(电视内容)特别是新闻节目的情况下每个操作模式的执行所需的处理的表。图10是示出内容种类是广播内容(电视节目)特别是体育节目的情况下每个操作模式的执行所需的处理的表。图11是示出在内容种类是广播内容(电视节目)特别是音乐节目的情况下每个操作模式的执行所需的处理的表。图12是示出在内容种类是一般用户进行的私密内容的情况下每个操作模式的执行所需的处理的表。
如图9所示,在内容种类是广播内容特别是新闻节目的情况下,为了分别执行摘要再现和自动编辑的模式,图像特征提取处理中的面部检测和时钟检测的处理变得必要,且音频特征提取处理中的人声检测处理变得必要。这是因为新闻节目具有新闻节目特有的特征,该特征包括新闻广播员的图像、一般显示在新闻广播员的图像的底部的时钟(ticker)等。此外,在这种情况下,在照相机特征提取处理中针对包括缩放、摇摄和倾斜的每个照相机特征的检测处理不是必要的,但对于更高的精确度而言是必需 的。针对每个照相机特征的检测处理用来从自实际新闻地点提供的视频中提取特征场景。
如图10所示,在内容种类是广播内容特别是体育节目的情况下,为了分别执行摘要再现和自动编辑的模式,图像特征提取处理中的面部检测变得必要,在照相机特征提取处理中对包括缩放、摇摄和倾斜的照相机特征的检测处理变得必要,且音频特征提取处理中的音频峰值检测处理变得必要。这是因为例如体育节目包括如运动员的运动的特征且照相机变得更活跃,而且当进球时欢呼声提高。此外,在这种情况下,在图像特征中的时钟检测处理不是必要的,但对于更高的精确度而言是必需的。这是因为可能存在如下情况:在时钟中显示运动员信息、比赛的即时更新的信息等。
如图11所示,在内容种类是广播内容特别是音乐节目的情况下,为了分别进行摘要再现和自动编辑的模式,图像特征提取处理中的面部检测处理变得必要,且音频特征提取处理中的音乐检测处理和人声检测处理变得必要。这是因为在音乐节目中需要识别歌唱者和歌唱者演唱的音乐。此外,在这种情况下,在照相机特征提取处理中针对包括缩放、摇摄和倾斜的每个照相机特征的检测处理不是必要的,但对于更高的精确度而言是必需的。针对每个照相机特征的检测处理用来提取歌唱者实际歌唱等的场景。
如图12所示,在内容种类是私密内容的情况下,为了分别进行摘要再现和自动编辑的模式,图像特征提取处理中的面部检测处理变得必要,照相机特征提取处理中针对包括缩放、摇摄、倾斜和手振动的每个照相机特征的检测处理变得必要,音频特征提取处理中的音频峰值检测处理和人声检测处理变得必要。这是因为需要检测其图像被包括在私密内容中的人以及该人的语音和行为。此外,手振动特征检测处理用来在从私密内容中检测到关键帧时移除不适合于观看的由手振动导致的模糊图像。
在此,在内容种类是广播内容的情况下,可基于种类信息确定种类,例如当在内容存储装置中记录内容时根据上述EPG信息连同内容自身一起记录种类信息。同时,有可能通过检测手振动特征来确定内容是广播内容或私密内容。这是因为当在内容的视频中检测到模糊图像时,可将内容确定为不是由专业用户而是由一般用户捕获的私密内容。在该实施例中应注意PVR 300不包括元数据生成功能,且因此PVR 300不适合于上述照相机特征提取处理。因此,PVR 300请求适合于手振动特征提取处理的装置(例如,PVR 100等)基于上述返回的测试数据而确定内容是广播内容 还是私密内容。尽管稍后将要说明,包括基于手振动的确定数据的关于内容种类的数据还用作上述分类元数据。
此外,例如当在内容存储装置中记录广播内容和私密内容时可根据上述EPG信息而连同种类信息一起自动存储用于确定内容是广播内容还是私密内容的确定数据作为种类标识(genre ID)。例如可通过将装置(摄像机等)识别为私密内容的输入侧来实现对于内容是广播内容还是私密内容的判断。
确定处理需要的不同装置从内容存储装置获得要确定的内容,且通过其手振动特征提取功能从内容提取手振动特征。现在,说明手振动特征提取处理的细节。
图13是概念性示出手振动特征提取处理的图。PVR 300要求的不同装置通过特征提取电路经由内容中的参考帧和搜索帧之间的块匹配处理检测运动矢量,并基于该运动矢量通过多线性回归分析计算仿射系数。然后,不同装置能够如图13所示地基于视频内容中每个预定区间(t0至t1,t1至t2,t2至t3,t3至t4)中摇摄系数Px或倾斜系数Py的分散(dispersion)以及平均值水平和摇摄系数Px或倾斜系数Py之间的交叉数目来确定手振动。在这种情况下,基于针对每个预定区间的仿射系数计算摇摄系数Px或倾斜系数Py。作为预定区间,设置例如约从0.5秒到5秒的时间长度。
例如,在图13的区间t0至t1中,系数Px或Py与平均水平的值交叉12次。在不同装置的特征提取电路中,通过Thcr指示交叉数目的阈值。在交叉数目大于阈值Thcr且系数Px或Py的上述预定区间中的每个分散的值大于预定阈值Thv的情况下,确定预定区间中的视频包括模糊图像。否则,确定预定区间中的视频不包括模糊图像。将确定结果发送到PVR300以确定内容是广播内容还是私密内容。
返回参考图5,CPU 42使用图9到图12所示的基准根据针对每个内容确定的种类来检测要由不同装置生成的元数据所需的操作模式(步骤68)。然后,CPU 42检测对于执行操作模式而言必要的用于操作的特征量标识(ID)(上述的g1至g4,c1至c4,a1至a4)(步骤69)。
随后,CPU 42在图4的步骤47中确定是否存在适合于用于操作的特征量ID所表示的处理的不同装置,并选择适当的装置。然后,CPU 42如上所述地向所选择的装置发出用于指示元数据生成的命令(步骤48)。
被指示元数据生成的上述不同装置从内容存储装置接收被生成元数据的内容。然后,不同装置通过在不同装置中包括的特征提取电路来执行特征提取处理和根据特征提取处理的元数据生成处理。
现在说明特征提取处理。图14是概念性示出特征提取处理的图。在图14中示出了如下示例,其中例如峰值场景(关键帧)被检测为用于生成上述场景特征元数据的特征量。
如图14所示,被指示元数据生成的不同装置的特征提取电路使得动态图像内容的视频场景经历照相机特征提取处理、图像特征提取处理和音频特征提取处理。然后,特征提取电路基于提取结果提取如下区间中的帧:在该区间中检测大于等于预定阈值的特征量作为关键帧。
基于照相机特征和图像特征提取关键帧的原因是照相机特征区间是用户有意识地操作照相机以进行捕获的区间,且因此该区间可被构思成对用户具有高重要度的场景,且人的面部倾向于在用户注意的中心处。此外,基于音频特征提取关键帧的原因是例如用户的注意程度可被构思成在音频水平高的区间中是高的。
具体地,上述特征提取电路通过视频内容中参考帧和搜索帧之间的块匹配处理来检测运动矢量。然后,特征提取电路基于该运动矢量通过多线性回归分析来计算仿射系数。以这种方式,基于仿射系数计算摇摄系数Px、倾斜系数Py和缩放系数Pz。摇摄系数Px、倾斜系数Py和缩放系数Pz大于预定阈值的区间被检测为关键帧。此外,例如特征提取电路针对动态图像内容的音频信号而提取具有大于等于预定阈值的功率的区间作为音频峰值区间。然后,特征提取电路检测例如其中从上述视频场景提取的关键帧间隔与从上述音频信号提取的音频峰值区间相重叠的区间,作为动态图像内容的关键帧。然后,生成关键帧的信息(时间码等)作为场景特征元数据。
图15是概念性示出默认的上述元数据生成处理的图。如图15所示,例如,假定在网络50上存在适合于元数据生成的PVR 100和500,且存在不适合于元数据生成的PVR 200、300和400。此外,PVR 200和400是上述内容存储装置。在这种情况下,PVR 200存储内容A且PVR 300存储内容B。
在该示例中,在不适合于元数据生成的PVR 300给出针对存储在PVR 200中的内容A而生成元数据的指示的情况下,PVR 300基于上述 测试数据在适合于生成元数据的装置中选择PVR 100作为在生成元数据时具有最小误差率和最小延迟时间段的不同装置。如图15所示,这是因为,当对作为适当装置的PVR 100和PVR 500进行相互比较时,PVR 100的位置更靠近作为内容存储装置的PVR 200。生成的元数据(默认的元数据A)存储在PVR 200的记录介质中,且在需要时例如在特殊再现期间被下载到PVR 300中。
相似地,在PVR 300给出针对存储在PVR 400中的内容B而生成元数据的指示的情况下,PVR 300基于上述测试数据在适合于生成元数据的适当装置中选择PVR 500作为具有最小误差率和最小延迟时间段的不同装置。生成的元数据(默认的元数据B)被存储在PVR 400的记录介质中,且在需要时被下载到PVR 300。
接着,说明针对网络50上的特定内容而手动生成元数据的情况。图16是PVR 300手动执行的元数据生成处理的流程图。一般对内容再现处理(特殊再现或正常再现)执行元数据生成处理。
如图16所示,与图4的流程图中的步骤41和42相似地,PVR 300的CPU 42试图从网络50上的特定装置获得访问认证以访问特定装置(步骤161)。在允许CPU 42获得访问认证的情况下(步骤162中的是),CPU42从存储在被访问装置中的内容中选择特定内容(步骤163)。在不允许CPU 42获得访问认证的情况下(否),CPU 42确定用户是否提供了进行到除了内容再现操作之外的不同操作模式的指示(步骤164)。在确定用户提供了指示的情况下(是),CPU 42进行到不同模式。
在此,基于在显示设备如连接到PVR 300的TV 60上显示的内容列表进行内容的上述选择。稍后说明内容列表。
随后,CPU 42根据用户的操作确定CPU 42针对上述选择的内容是进行特殊再现还是进行正常再现(步骤165)。在确定指示正常再现的情况下(否),CPU 42进行到针对内容的正常再现模式,且使内容得以正常地再现(步骤167)。
在步骤165中确定不指示特殊再现的情况下(是),CPU 42确定针对上述选择的内容是否存在元数据(步骤166)。在确定存在元数据的情况下(是),CPU 42接收元数据,并基于元数据执行对上述选择的内容的特殊再现(步骤179)。
在步骤166中确定不存在元数据的情况下(否),CPU 42进行到元数 据生成操作模式(步骤168)。然后,CPU 42与图5的处理相似地搜索适合于针对上述选择的内容的元数据生成的装置(步骤169)。在这种情况下,在存在多个适当装置的情况下,如上所述,基于上述测试数据选择具有最小误差率和最小延迟时间段的装置。
在存在适合于元数据生成的装置的情况下(步骤170中的是),CPU 42检查在内容存储装置中此时是否存在选择的内容(步骤172)。在内容存储装置中存在选择的内容的情况下,CPU 42向上述选择的装置指示元数据生成(步骤178)。然后,CPU 42接收生成的元数据(步骤178),并使用元数据执行内容的特殊再现(步骤179)。
在步骤170中确定不存在适当装置的情况下,CPU 42如上所述提供警告显示(步骤173),且向用户请求关于是否执行对上述内容的正常再现的指示(步骤174)。在指示正常再现的情况下(是),CPU 42进行到上述正常再现模式(步骤167)。在不指示正常再现的情况下(否),CPU42终止处理。
此外,在步骤175中确定不存在内容的情况下(否),CPU 42提供指示不存在内容的警告显示(步骤177),并终止处理。
图17是概念性示出手动进行的上述元数据生成处理的视图。在图17中,网络50上每个装置的配置与图15的配置相同。
如图17所示,与图15相比,关于存储在PVR 200中的内容A的个别的元数据A不存储在PVR 200中,而是由指示PVR 200生成元数据的PVR 300接收。此后,个别的元数据A用于特殊再现处理等。相似地,针对存储在PVR 400中的内容B的个别的元数据B不存储在PVR 400中,而是由PVR 300接收。此后,个别的元数据B用于特殊再现处理等。
内容分类处理
接着,说明网络50上的装置中存在的内容的分类处理。作为内容的分类处理的假设,在网络50上的装置中,通过上述元数据生成处理生成上述分类元数据且与内容一起存储。分类元数据指的是关于上述内容的种类的数据。在图5的步骤67中的上述内容种类确定处理中预先生成分类元数据。
图18是PVR 300的内容分类处理的流程图。如图18所示,如上所述CPU 42试图从网络50上的每个装置获得访问认证(步骤181)。在允许CPU 42获得访问认证的情况下(步骤182中的是),CPU 42检测存储 在每个装置中的内容(步骤183)。装置自身(PVR 300)也进行了上述内容检测处理。
在不允许CPU 42获得访问认证的情况下(否),CPU 42确定用户是否提供了进行到不同操作模式的指示(步骤186)。在确定用户提供了指示的情况下(是),CPU 42进行到不同模式。在确定用户没有提供该指示的情况下(否),CPU 42返回到步骤181。
当在步骤183中检测到内容时,CPU 42确定检测的内容是否为还没有进行分类处理的新内容(步骤184)。在确定检测的内容已进行了分类处理的情况下(否),CPU 42执行步骤186之后的后续处理。
在确定上述内容是还没有经历分类处理的新内容的情况下(是),CPU42基于上述分类元数据检测内容的种类(步骤185)。在此,在针对上述内容没有生成分类元数据的情况下,CPU 42指示网络50上的不同装置根据上述元数据生成处理生成分类元数据。为了针对私密内容生成分类元数据,如上所述还执行手振动特征提取处理。
随后,CPU 42确定检测的种类是否与不同内容的种类相同或相似(步骤187)。为了确定种类的相似性,PVR 300可预先存储种类之间的相似关系的数据。
在步骤187中确定检测的种类与不同内容的种类相同或相似的情况下(是),CPU 42将内容添加到现存的种类,并且分类标识(ID)被添加到内容(步骤188)。同时,在确定出检测的种类与不同内容的种类不同或不相似的情况下(否),CPU 42将内容添加到新的种类,且新的分类ID被添加到内容(步骤189)。分类ID包括内容是私密内容还是广播内容的确定数据。
CPU 42使用上述分类处理中生成的分类ID来产生网络50上的内容的内容列表,该内容包括存储在PVR 300中的内容。以这种方式,有可能在显示设备如TV 60上显示内容列表。
图19是示出了如上所述生成的内容列表的显示示例的视图。如图19所示,在内容列表中,以上述分类ID将多个内容分类成私密内容和广播内容。对于每个分类,显示内容的缩略图91和标题92。在这种情况下,关于私密内容,可显示指示内容中捕获了什么(运动会、旅行等)的信息。例如根据记录私密内容期间或传送到不同装置期间用户的输入生成上述信息。此外,关于广播内容,基于上述分类ID显示种类或子种类(棒球、 音乐节目等)。
当用户进行在内容列表中选择用于再现的特定内容的操作时,CPU42从存储用于再现的内容的内容存储装置接收内容。
与流量状况等相对应地执行的用于内容列表的显示控制处理
在这种情况下,在该实施例中,允许PVR 300在上述显示的内容列表中指示该内容列表中的每个内容是否可被平滑地再现。也就是说,PVR300通过与网络50的流量状况(访问状态)相对应地改变与内容相对应的缩略图的状态,使用户掌握内容是否可被平滑地再现。另外,在新内容被添加到网络50的情况下,或在网络50上没有剩余内容的情况下,PVR300通过在内容列表中反映上述情况能够使用户掌握上述情况。以下说明显示控制处理的细节。
图20是本发明实施例中与流量状况等相对应地执行的针对内容列表的显示控制处理的流程图。
如图20所示,CPU 42首先初始化用于每个内容的确定的计数器n,使得计数器n变成0(步骤191)。随后,CPU 42试图从网络50上的每个装置获得访问认证(步骤192)。在允许CPU 42获得访问认证的情况下(步骤193中的是),CPU 42检测存储在每个装置中的内容(步骤194)。也对存储在PVR 300自身中的内容执行内容的检测。因此,在上述内容列表中,显示存储在PVR 300自身和不同装置中的所有内容。这样,用户不需要知道内容是存储在用户使用的装置中的内容还是存储在一个不同装置中的内容。
在步骤193中不允许CPU 42获得访问认证的情况下(否),CPU 42确定是否在执行内容列表的显示操作模式(步骤198)。在确定在执行内容列表的显示操作模式的情况下,CPU 42进行到步骤202。在用户指示终止显示操作模式的情况下(否),CPU 42确定用户是否提供了进行到不同操作模式的指示(步骤199)。在确定用户提供了进行到不同操作模式的指示的情况下(是),CPU 42进行到不同操作模式。同时,在确定用户没有提供进行到不同操作模式的指示的情况下(否),CPU 42返回到步骤192,且重复步骤192之后的后续处理。
当在步骤194中检测到内容时,CPU 42确定是否存在还没有经过针对内容列表的显示控制处理的、上述内容中的内容(步骤195)。在确定存在还没有经历针对内容列表的显示控制处理的内容的情况下(是),CPU 42打开(turn on)显示允许标记(步骤196)。在这种情况下,显示允许标记指示是否可在内容列表中显示上述内容(n)。
随后,CPU 42确定是否检测了网络50上的所有内容(步骤197)。在确定存在要检测的内容的情况下(否),CPU 42使上述计数器n增加(步骤200)且重复步骤194之后的后续处理。
在确定检测了所有内容的情况下(是),CPU 42确定是否在执行针对内容列表的显示操作模式(步骤201)。在确定在执行针对内容列表的显示操作模式的情况下(是),CPU 42初始化计数器k以检测对内容的访问状态,使得计数器k变为0(步骤202)。在步骤201中,当用户指示终止上述显示操作模式时(否),执行与步骤199中相同的处理。
当初始化上述计数器k时,CPU 42检测针对内容(k)的访问状态(步骤203)。也就是说,CPU 42将上述测试数据发送到每个装置,接收从每个装置返回的测试数据,且检测流量状况(误差率)。以这种方式,CPU 42估计每个装置中存储的内容的误差率。当误差率大于预定阈值时,CPU 42确定具有上述误差率的内容不能被平滑地再现(不能被访问)。
随后,针对被确定为可访问的内容(k),CPU 42给出在上述内容列表中在正常状态下显示其上述缩略图的指示(步骤205)。在确定内容不能被访问的情况下(否),CPU 42给出在缩略图的状态改变的同时显示其缩略图的指示(步骤208)。
随后,CPU 42使上述计数器k增加,且针对所有检测的内容(n个内容)重复上述处理(步骤207)。然后,CPU 42确定是否是网络50上的各个装置被认证的定时(步骤209)。在确定不是网络50上的各个装置被认证的定时的情况下(否),CPU 42返回到步骤201。在确定是网络50上的各个装置被认证的定时的情况下(是),CPU 42返回到步骤192,且执行认证处理。
通过上述处理,与网络50的流量状况相对应地,在内容不能被平滑再现的情况下,在改变缩略图状态的同时显示其缩略图。此外,CPU 42在预定定时时重复上述认证处理。以这种方式,在新内容被添加到网络50的情况下,有可能与上述状况相对应地将其缩略图添加在上述内容列表中。否则,在从网络50去除特定内容的情况下,有可能与上述状况相对应地在上述内容列表中删除其缩略图。
图21是各自示出如下状态的视图:通过针对上述内容列表的显示控 制处理改变一个缩略图。图21A示出了缩略图状态改变之前的状态,且图21B示出了缩略图状态改变之后的状态。如图21A所示,响应于流量状况恶劣这一事实或从网络50去除内容2a这一事实,如图21B所示地将在正常状态下显示的内容2a的缩略图91显示为阴影(用灰色)。由将缩略图显示为阴影而导致缩略图的显示状态的变化这一点不限于此。例如,缩略图的显示状态的变化可由改变缩略图的颜色的浓度或亮度而导致。
此外,在图20的流程图中,设置关于误差率的一个预定阈值。然而,可设置多个阈值,从而根据误差率进行逐步的显示变化。
此外,当上述流量状况改进且误差率降低时,CPU 42可使缩略图的上述状态返回到正常显示状态,且可在缩略图的附近显示指示上述状况的特定标记。此时,以在上述内容列表中预先选择用户希望再现的内容的方式,CPU 42可仅显示关于被选择内容的标记。
基于面部识别元数据的访问控制处理
在该实施例中,网络50上的每个装置通过确定在内容中是否包括访问侧的装置的用户的面部图像,能够被认证以访问装置的内容。也就是说,当访问装置中存储的内容时,在内容包括访问侧的用户的面部图像的情况下该装置允许对内容的访问,否则不允许对内容的访问。这基于如下思想:用户应被允许访问包括用户图像的内容。以下说明访问控制处理。在访问控制处理中,使用上述元数据生成处理中生成的面部识别元数据。
图22是基于面部识别元数据的访问控制处理的流程图。在图22中,说明如下情况:适合于上述元数据生成处理的PVR 100生成指示允许或禁止针对网络50上的所有内容的访问的数据。
如图22所示,PVR 100的CPU 12从不同装置接受不同装置的用户A的面部图像的登记(步骤211)。面部图像可以是以提供给不同装置的照相机捕获的图像,或者可以是用户A使用用户A的数字照相机或具有照相机的手机捕获且通过不同装置发送的图像。
当面部图像被登记时,CPU 12从面部图像数据提取眼睛、鼻子、嘴、面部线条、纹理特征等的面部特征数据(特征矢量)。对于面部特征数据的提取,例如使用与面部的每个部位的位置关系、明度分布信息和皮肤色调信息相对应的特征过滤器。
随后,CPU 12试图从网络50上的每个装置获得访问认证(步骤212)。 在允许CPU 12获得访问认证的情况下(步骤213中的是),CPU 12从每个装置检测内容(步骤214)。具有要检测的内容的装置还包括装置自身(PVR 100)。在不允许CPU 12获得访问认证的情况下(否),CPU 12确定PVR 100的用户是否提供了进行到不同操作模式的指示(步骤219)。在确定用户提供了指示的情况下(是),CPU 12进行到不同模式。在确定用户没提供指示的情况下(否),CPU 12返回到步骤212。
当检测到上述内容时,CPU 12确定是否存在还没经历访问控制处理的内容(步骤215)。在确定不存在内容的情况下,CPU 12进行到步骤219。在确定存在内容的情况下,CPU从内容中检测面部图像和面部特征。对于检测面部图像,使用现有方法如皮肤色调检测。面部特征的检测与针对上述登记的面部图像的处理相同。在这种情况下,如果生成上述面部识别元数据,则检测处理不是必要的。在这种情况下,面部识别元数据可按原样用于访问控制处理。在没有通过检测处理检测面部图像的情况下(步骤217中的否),CPU 12返回到步骤212,且重复针对不同装置的处理。
在步骤216中检测到特定面部图像的情况下(步骤217中的是),CPU12将上述登记的面部图像的面部特征数据与从上述内容检测的面部特征数据相匹配。以这种方式,CPU 12确定在内容中是否包括用户A的上述登记的面部图像(步骤218)。
在确定在内容中包括用户A的面部图像的情况下(步骤220中的是),CPU 12针对内容生成用于允许来自用户A的装置的访问的允许数据(步骤221)。然后,CPU 12例如将面部图像的缩略图传送到用户A的装置(步骤222),并且面部图像被从内容中检测。可作为内容列表传送缩略图。这样,在显示操作模式下保持用户A的装置的情况下,将可访问内容显示为内容列表,且因此允许用户A的装置通过立即访问列表中的内容来再现内容。
然后,CPU 12确定是否完成了对要经历访问控制处理的所有新内容的分析(步骤223)。在确定完成了分析的情况下(是),处理终止。在确定没有完成分析的情况下(否),CPU 12返回到上述步骤212,且重复步骤212之后的后续处理。
以自动生成上述访问允许数据的模式进行上述处理。然而,可手动生成允许数据。图23是示出了分别与手动操作模式和自动操作模式相对应的访问控制处理的概要的表。
如图23所示,在自动模式中,CPU 12自动地通知其图像被包括在内容中的面部对应于如上所述的在装置中登记的用户的面部。在这种情况下,如上所述,CPU 12将上述缩略图例如传送到用户的装置的高速缓存存储器。此外,在手动模式中,登记侧的装置根据装置的用户的操作设置操作模式,以检测在网络50上是否存在包括用户图像的内容。在这种情况下,在通过面部图像的上述搜索检测到是否存在包括用户图像的内容之后,上述缩略图被传送到登记侧的装置的高速缓存存储器。
在上述处理中,可通过用作密钥的面部图像来认证对网络50上的每个内容的访问。此外,与使用ID或密码的情况相比允许具有更多直观性的认证。
在这种情况下,可在内容的登记期间通过登记的装置执行对每个内容中的面部图像和面部特征数据的检测处理,且可连同内容一起存储检测的面部特征数据作为元数据。这样,每个装置能够在提供访问请求之后立即尝试认证。
此外,有可能不仅允许来自其图像被包括在内容中的用户的访问,还允许来自内容的创建者的访问。在这种情况下,在内容的记录(产生)期间,存储从内容的创建者的面部图像检测的面部特征数据作为元数据。然后,在上述分析期间,除了与内容中的面部图像的面部特征数据相匹配之外,还进行与创建者的登记的面部图像的面部特征数据的匹配。这样,有可能防止如下状况:不允许内容的创建者再现他/她自己创建的内容。
结论
如上所述,根据上述实施例,即使在装置自身不能生成元数据的情况下,也允许网络50上的每个装置搜索网络上的能够生成元数据的不同装置,且然后使该不同装置生成元数据。以这种方式,有可能利用上述元数据用于各种处理。
此外,每个装置通过与再现内容时估计的误差率相对应地改变内容列表中的缩略图图像的状态,能够允许用户直观地掌握是否可平滑地再现与缩略图图像相对应的内容。因此,每个装置能够防止如下状况:当用户再现由于流量状况恶劣导致不能平滑再现的内容时,使得用户感到不舒适。
另外,在每个装置的内容中包括的面部图像对应于从不同装置发送的面部图像的情况下,即使不是通过不同装置的用户创建上述内容,上述装置也能够允许从不同装置访问该内容。
变型
本发明不限于上述实施例,且在不脱离本发明要点的情况下可作出各种变型。
在上述实施例中,说明了如下示例:PVR 300可指示PVR 100生成不同装置中存储的内容的元数据。然而,PVR 300可以以如此方式指示PVR 100生成存储在PVR 300自身中的内容的元数据:使得PVR 300针对PVR 100发送和接收针对元数据的测试数据。
在上述实施例中,说明了内容被存储在存储装置如HDD中的情况。然而,例如,本发明还可应用于存储在便携式记录介质如BD或DVD中的内容。
各种元数据仅是上述实施例中所述的示例,且本发明可应用于与任何操作相对应的任何元数据。
在上述实施例中,假定进行内容分类处理,说明了针对内容列表上的缩略图的显示变化处理,该内容列表中的显示变化处理对应于流量状况。然而,不用说的是,即使在不进行内容分类处理的状态下也可进行上述显示变化处理。
在上述实施例中,说明了本发明应用于PVR的示例。然而,本发明可应用于任何电子装置,包括例如PC(个人计算机)、电视设备、游戏机、移动电话和不同的AV(视听)装备。
本申请包含与2009年10月1日在日本专利局提交的日本优先权专利申请JP 2009-230000中公开的主题相关的主题,其全部内容通过引用包含于此。
本领域技术人员应理解,根据设计需求和其它因素可进行各种变型、组合、子组合和变化,只要该变型、组合、子组合和变化落入权利要求或其等同内容的范围之内即可。
Claims (6)
1.一种电子装置,包括:
通信单元,连接到网络上的不同装置,所述不同装置存储内容;
输出单元,连接到显示设备;
控制单元,用于通过所述通信单元来搜索存储在所述不同装置中的内容,生成指示搜索的内容的缩略图像的列表,基于网络的流量状况通过所述通信单元来估计接收和再现每个内容时的误差率,根据估计的误差率来改变所述列表中每个缩略图像的状态并通过所述输出单元将所述列表输出到所述显示设备,其中,根据估计的误差率与多个阈值的比较而对所述列表中每个缩略图像的状态进行逐步的显示变化;
操作输入单元,用于从用户接收针对每个缩略图像所指示的内容的再现指示操作;以及
再现单元,用于响应于所述再现指示操作而从所述不同装置通过所述通信单元接收受到再现指示操作的内容,并再现所述内容。
2.根据权利要求1所述的电子装置,
其中所述控制单元以以下方式通过所述输出单元更新所述列表:使得当在所述不同装置中存储新内容时,在所述列表中显示指示新存储的内容的缩略图像;或者以以下方式通过所述输出单元更新所述列表:使得当删除所述不同装置中存储的内容时,从所述列表删除指示被删除内容的缩略图像。
3.根据权利要求2所述的电子装置,
其中,当估计出由于流量状况的改进而导致内容的误差率下降时,所述控制单元通过所述输出单元改变每个所述缩略图像的状态,且使所述显示设备在所述列表中显示指示误差率的下降的标记。
4.根据权利要求3所述的电子装置,
其中所述操作输入单元从用户接收在所述缩略图像指示的内容中选择用户希望再现的内容的操作,以及
其中所述控制单元使所述显示设备针对均具有被估计为下降的误差率的内容中的选择的内容显示所述标记。
5.根据权利要求2所述的电子装置,还包括存储所述内容的存储单元,
其中所述控制单元生成包括指示存储在所述存储单元中的内容的缩略图像和指示存储在所述不同装置中的内容的缩略图像的列表。
6.一种内容再现方法,包括:
搜索存储在网络上的不同装置中的内容;
生成指示搜索的内容的缩略图像的列表;
基于网络的流量状况,估计接收和再现每个内容时的误差率;
根据估计的误差率改变所述列表中的每个所述缩略图像的状态并将所述列表输出到显示设备,其中,根据估计的误差率与多个阈值的比较而对所述列表中的每个所述缩略图像的状态进行逐步的显示变化;
从用户接收针对每个所述缩略图像指示的内容的再现指示操作;以及
响应于所述再现指示操作而从所述不同装置接收受到所述再现指示操作的内容并再现所述内容。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009230000A JP2011078029A (ja) | 2009-10-01 | 2009-10-01 | 電子機器、コンテンツ再生方法及びプログラム |
JP2009-230000 | 2009-10-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102034520A CN102034520A (zh) | 2011-04-27 |
CN102034520B true CN102034520B (zh) | 2014-10-08 |
Family
ID=43824129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010293531.6A Expired - Fee Related CN102034520B (zh) | 2009-10-01 | 2010-09-21 | 电子装置及内容再现方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8850323B2 (zh) |
JP (1) | JP2011078029A (zh) |
CN (1) | CN102034520B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013009356A (ja) * | 2011-05-20 | 2013-01-10 | Nippon Hoso Kyokai <Nhk> | 放送通信連携受信装置 |
WO2015025705A1 (ja) * | 2013-08-23 | 2015-02-26 | 日本電気株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
JP7072550B2 (ja) * | 2019-11-19 | 2022-05-20 | 株式会社ソニー・インタラクティブエンタテインメント | 操作デバイス |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1749941A (zh) * | 2004-09-13 | 2006-03-22 | 日本胜利株式会社 | 菜单图像显示方法和电子信息设备 |
CN1957608A (zh) * | 2004-04-02 | 2007-05-02 | 汤姆森许可贸易公司 | 生成菜单的方法和设备 |
CN101296386A (zh) * | 2007-04-25 | 2008-10-29 | 富士胶片株式会社 | 图像处理装置、方法及程序 |
CN101539937A (zh) * | 2009-04-30 | 2009-09-23 | 北京水晶石数字科技有限公司 | 一种快速显示海量图片的方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030158932A1 (en) * | 1998-10-02 | 2003-08-21 | Haruo Machida | System for displaying connection condition of device provided on network |
US6363434B1 (en) * | 1999-03-30 | 2002-03-26 | Sony Corporation Of Japan | Method of managing resources within a network of consumer electronic devices |
WO2001063919A1 (en) * | 2000-02-23 | 2001-08-30 | Penta Trading Ltd. | Systems and methods for generating and providing previews of electronic files such as web files |
JP4752363B2 (ja) | 2004-07-21 | 2011-08-17 | ソニー株式会社 | コンテンツ処理装置,コンテンツ処理方法及びコンピュータプログラム |
JPWO2006033329A1 (ja) * | 2004-09-21 | 2008-07-31 | パイオニア株式会社 | 映像表示装置、映像表示方法および映像表示プログラム |
JP4730590B2 (ja) * | 2005-05-23 | 2011-07-20 | ソニー株式会社 | 制御装置および方法、情報処理装置および方法、並びにプログラム |
JP4678495B2 (ja) | 2005-05-23 | 2011-04-27 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
KR100763189B1 (ko) * | 2005-11-17 | 2007-10-04 | 삼성전자주식회사 | 영상 표시 장치 및 방법 |
US7577908B2 (en) * | 2006-11-20 | 2009-08-18 | Sony Corporation | TV-centric system |
US8078695B2 (en) * | 2008-07-16 | 2011-12-13 | Sony Corporation | Media on demand using an intermediary device to output media from a remote computing device |
-
2009
- 2009-10-01 JP JP2009230000A patent/JP2011078029A/ja active Pending
-
2010
- 2010-09-21 CN CN201010293531.6A patent/CN102034520B/zh not_active Expired - Fee Related
- 2010-09-22 US US12/888,007 patent/US8850323B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1957608A (zh) * | 2004-04-02 | 2007-05-02 | 汤姆森许可贸易公司 | 生成菜单的方法和设备 |
CN1749941A (zh) * | 2004-09-13 | 2006-03-22 | 日本胜利株式会社 | 菜单图像显示方法和电子信息设备 |
CN101296386A (zh) * | 2007-04-25 | 2008-10-29 | 富士胶片株式会社 | 图像处理装置、方法及程序 |
CN101539937A (zh) * | 2009-04-30 | 2009-09-23 | 北京水晶石数字科技有限公司 | 一种快速显示海量图片的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102034520A (zh) | 2011-04-27 |
JP2011078029A (ja) | 2011-04-14 |
US8850323B2 (en) | 2014-09-30 |
US20110083107A1 (en) | 2011-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100754529B1 (ko) | 동영상 요약 서비스 장치 및 그 방법 | |
JP4202316B2 (ja) | 黒フィールド検出システムおよび方法 | |
KR101001172B1 (ko) | 유사 비디오 콘텐츠 호핑을 위한 방법 및 장치 | |
CN101490762B (zh) | 用于播放音频-视频内容的设备和方法 | |
JP4216308B2 (ja) | 通話装置および通話プログラム | |
JP2011130279A (ja) | コンテンツ提供サーバ、コンテンツ再生装置、コンテンツ提供方法、コンテンツ再生方法、プログラムおよびコンテンツ提供システム | |
JP4735413B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
JP2005020552A (ja) | ネットワークシステム、サーバ、データ記録再生装置及びその方法並びにプログラム | |
JP5079817B2 (ja) | サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機 | |
JP3947979B2 (ja) | ビデオコンテンツ自動レビューシステム | |
KR20120037411A (ko) | 검색 후에 수신된 복수의 버전 중에서 문서의 버전을 선택하는 방법 및 연관된 수신기 | |
JP2008541645A (ja) | コンテンツアイテムの境界を検出するための方法及び装置 | |
CN102034520B (zh) | 电子装置及内容再现方法 | |
EP2621180A2 (en) | Electronic device and audio output method | |
JP5306550B2 (ja) | 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法 | |
EP1858017A1 (en) | Image processing apparatus and file reproduce method | |
US8275242B2 (en) | Recording/reproducing apparatus and display control method | |
KR20060102639A (ko) | 동영상 재생 시스템 및 방법 | |
EP2587829A1 (en) | Video analysis information upload apparatus and video viewing system and method | |
US7810120B2 (en) | Method and apparatus for managing a list of recorded broadcasting programs | |
JP5544030B2 (ja) | 動画シーンのクリップ構成システム、方法および記録メディア | |
JP5266981B2 (ja) | 電子機器、情報処理方法及びプログラム | |
JP2011076551A (ja) | 電子機器、アクセス制御方法及びプログラム | |
JP4725554B2 (ja) | 番組記録再生システム及び番組記録再生方法 | |
JP2007201680A (ja) | 情報管理装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141008 Termination date: 20150921 |
|
EXPY | Termination of patent right or utility model |