CN102282849A - 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制方法以及视听环境控制系统 - Google Patents

Abstract

本发明的数据接收装置(2)具有：接收部(21)，根据1以上的帧的视频数据或音频数据的特征量对视听环境设备进行控制，接收用以表示在计算视频数据或音频数据的特征量时的计算区域的参照信息；效果控制数据生成部(25)，计算出参照信息所示的计算区域中的视频数据或音频数据的特征量。

Description

数据发送装置、数据发送方法、视听环境控制装置、视听环境控制方法以及视听环境控制系统

技术领域

本发明涉及数据发送装置、数据发送方法、视听环境控制装置、视听环境控制方法以及视听环境控制系统，特别涉及用于控制用户视听环境空间中的周边设备的数据发送装置、数据发送方法、视听环境控制装置、视听环境控制方法以及视听环境控制系统。

背景技术

近年，随着有关视频和音频的电子工学技术的飞速发展，在显示器的大型化、广视角化和高精细化、以及音响系统的完善方面都取得阶段性进展。因此，我们可以享受到具有临场感的视频和音频。例如，目前正在普及的家庭影院就是通过大型显示器或显示屏与多声道音声/音响技术的结合来实现能够获得高临场感的系统。

特别是最近，对于通过将多种媒介组合来进一步提高临场感的系统的开发越来越盛行。例如，不是仅通过一个显示装置来欣赏视频而是将多个显示器组合在一起来观赏广视角视频的系统、以及使在显示器上显示的视频与照明装置的照明光连动的系统等被相继提出。

特别是使显示器与照明装置连动以实现高临场感的技术能够在不使用大型显示器的前提下获得高临场感，因此，该技术对成本以及设置空间等的限制较小，被寄予很大的期望并深受瞩目。

根据该技术，控制在视听者的房间(视听环境空间)所设置的多个照明装置的照明光，使其颜色和强度配合显示器所显示的视频。由此，能够给视听者一种犹如身处显示器所显示的视频空间中的感觉和效果。例如，在专利文献1中公开了上述使显示器所显示的图像和照明装置的照明光连动的技术。

专利文献1中公开的照明系统是以提供高临场感为目的的。该照明系统控制多个照明装置，使照明装置与要显示的视频连动。在该系统中，根据代表色及平均亮度等视频数据的特征量，生成多个照明装置的照明控制数据。具体为，首先，在根据各照明装置的设置位置而预先决定的画面区域中，检测出视频数据的特征量，然后，根据该检测出的特征量，生成各照明装置的照明控制数据。并且，如专利文献1中所述，使用的照明控制数据不限于通过视频数据的特征量计算得到的数据，还可以为单独或者与视频数据一起通过网络传送的数据、以及通过载波传送的数据。

而且，例如，如专利文献2中所述，在控制周围光的系统中，不是根据视频数据的整个画面的平均色来设定周边光，而是根据特定画面位置的颜色来设定周边光。

专利文献1：日本国专利申请公开公报，“特开2001-343900号公报”；2001年12月14日公开。

专利文献2：日本国专利申请公表公报，“特表2005-531909号公报”；2005年10月20日公表。

发明内容

上述现有技术是通过检测所要显示的视频信号的每1帧(画面)中的特定画面位置上的特征量(颜色信号以及亮度信号)来控制照明光的。因此，随显示的视频内容的不同，有时难以生成对应该视频场面(气氛)的照明光。例如，若受到视频信号中含有的被摄人物的服装或被摄体背景中的人工物等的影响而向周围照射出不恰当色的照明光，便无法重现整个场面的气氛，或无法维持整个场面的临场感。较大偏离出视频场面拍摄时的照明状况的视听环境照明反而会破坏临场感。

另外，在现有技术中，照明光的状态是对应每帧的视频信号的亮度变化或色相变化来变化的。因此，尤其是当帧间的亮度变化及色相变化的程度较大时，照明光会发生复杂变化，从而产生视听者感到闪烁带来的不适感的问题。另外，当拍摄时的照明状况不变的某个场面正在显示时，若照明光对应每帧的亮度变化及色相变化而发生较大变动的话，反而会阻碍重现整个场面的气氛，因而不理想。

另外，一般而言，视频中的场面是例如根据视频制作者(脚本家、导演等)的意图，在恰当设定的照明状况下，作为基于一连串场面设定的一个分段视频而被拍摄制作的。因此，为了提高视听影音时的临场感以及气氛，较理想的是向视听空间照射与显示视频的场面拍摄时照明状况相对应的照明光。

本发明是鉴于上述的问题而研发的，其目的在于提供一种能够恰当地对调整视听环境的视听环境设备进行控制，由此实现最佳视听环境的视听环境控制装置以及数据发送装置。

为解决上述的问题，本发明的视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量，对视听环境设备进行控制，并且具备：接收单元，接收参照信息，其中，所述参照信息用以表示计算所述视频数据或音频数据的特征量时的计算区域；计算单元，计算所述参照信息所表示的计算区域中的视频数据或音频数据的特征量。

视听环境设备是用以对用户视听影音时的周围环境进行调节的设备，并不对其进行限定，其例如可以是照明装置以及空调装置等。

根据上述结构，视听环境控制装置接收用以表示计算视频数据或音频数据的特征量时的计算区域的参照信息，并计算接收的参照信息所表示的计算区域中的视频数据或音频数据的特征量。视听环境控制装置根据计算出的特征量来控制视听环境设备。

由此，能够根据从外部接收的参照信息所指定的视频数据或音频数据的特定区域中的特征量，来控制视听环境设备。因此，例如在计算视频数据的特征量时，能够排除视频数据中所含的被摄体人物的服装的影响，或排除被摄体的背景中的人工物的影响，从而能够对应内容(contents)制作者所意图的拍摄场景气氛或场面设定，来控制视听环境设备。这样便能够向用户提供可获得高临场感的视听环境。

为解决上述的问题，本发明的视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量，对视听环境设备进行控制，并且具备：接收单元，接收运算指定信息，其中，所述运算指定信息用以表示计算所述视频数据或音频数据的特征量时的计算方法；计算单元，根据所述运算指定信息所表示的计算方法，计算视频数据或音频数据的特征量。

根据上述结构，视听环境控制装置接收用以表示计算所述视频数据或音频数据的特征量时的计算方法的运算指定信息，并通过所接收的运算指定信息所示的计算方法，计算视频数据或音频数据的特征量。视听环境控制装置根据计算出的特征量来控制视听环境设备。

因此，能够根据通过从外部接收的运算指定信息所指定的特定计算方法而获得的视频数据或音频数据的特征量，来控制视听环境设备。因此，例如在计算视频数据的特征量时，能够获得与该视频内容相应的恰当的特征量，从而能够对应内容(contents)制作者所意图的拍摄场景气氛或场面设定，来控制视听环境设备。这样便能够向用户提供可获得高临场感的视听环境。

为解决上述的问题，本发明的视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量，对视听环境设备进行控制，并且具备：接收单元，接收校正信息，其中，所述校正信息用以表示计算所述视频数据或音频数据的特征量时的允许范围；计算单元，在所述校正信息所表示的允许范围之内，计算视频数据或音频数据的特征量。

根据上述结构，视听环境控制装置接收用以表示计算所述视频数据或音频数据的特征量时的允许范围的校正信息，并在所接收的所述校正信息所示的允许范围之内，计算视频数据或音频数据的特征量。视听环境控制装置根据计算出的特征量来控制视听环境设备。

因此，所计算的特征量处于从外部接收的校正信息所指定的允许范围内。由此，能够防止用于控制视听环境设备的特征量反复发生较大的增减。从而能够防止视听环境设备的驱动强度发生激烈变动，进而防止视听环境发生较大的变化。

为解决上述的问题，本发明的视听环境控制装置根据从外部接收的控制基准数据，对视听环境设备进行控制，并且具备：计算单元，计算从外部接收的视频数据或音频数据的特征量；校正单元，使用所述视频数据或音频数据的特征量，对所述控制基准数据进行校正。

根据上述结构，视听环境控制装置计算从外部接收的视频数据或音频数据的特征量，并使用所计算的特征量对从外部接收的控制基准数据进行校正。视听环境控制装置根据被校正后的控制基准数据来控制视听环境设备。

因此，能够使用根据视频数据或音频数据算出的特征量，对从外部接收的针对视听环境设备的控制基准数据进行校正，并根据校正后的数据来控制视听环境设备，所以能够在不偏离影音制作者所意图的拍摄场景气氛或场面设定的同时，提供可伴随视音频内容变化的视听环境。

为解决上述的问题，本发明的数据发送装置对视听环境控制装置发送数据，其中，所述视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制。本发明的数据发送装置具备用于发送参照信息的发送单元，其中，所述参照信息用以表示计算所述视频数据或音频数据的特征量时的计算区域。

根据上述结构，数据发送装置向视听环境控制装置发送参照信息。参照信息用以表示视听环境控制装置在计算视频数据或音频数据的特征量时的计算区域。所计算的特征量在视听环境控制装置对视听环境设备进行控制时被使用。

因此，参照信息被发送给视听环境控制装置后，视听环境控制装置计算参照信息所示的计算区域中的视频数据或音频数据的特征量。视听环境控制装置根据所计算的特征量来控制视听环境设备。因此，能够根据预先指定的视频数据、音频数据的特定区域中的特征量，对视听环境设备进行控制。由此，能够对应内容(contents)制作者所意图的拍摄场景气氛或场面设定，来控制视听环境设备。这样便能够向用户提供可获得高临场感的视听环境。

为解决上述的问题，本发明的数据发送装置对视听环境控制装置发送数据，其中，所述视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制。本发明的数据发送装置具备用于发送运算指定信息的发送单元，其中，所述运算指定信息用以表示计算所述视频数据或音频数据的特征量时的计算方法。

根据上述结构，数据发送装置向视听环境控制装置发送运算指定信息。运算指定信息用以表示视听环境控制装置在计算视频数据或音频数据的特征量时的计算方法。所计算的特征量在视听环境控制装置对视听环境设备进行控制时被使用。

因此，运算指定信息被发送给视听环境控制装置后，视听环境控制装置根据运算指定信息所指定计算方法，计算视频数据或音频数据的特征量。视听环境控制装置根据所计算的特征量来控制视听环境设备。因此，能够根据通过预先指定的特定计算方法而获得的视频数据或音频数据的特征量，对视听环境设备进行控制。由此，能够对应内容(contents)制作者所意图的拍摄场景气氛或场面设定，来控制视听环境设备。这样便能够向用户提供可获得高临场感的视听环境。

为解决上述的问题，本发明的数据发送装置对视听环境控制装置发送数据，其中，所述视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制。本发明的数据发送装置具备用于发送校正信息的发送单元，其中，所述校正信息用以表示计算所述视频数据或音频数据的特征量时的允许范围。

根据上述结构，数据发送装置向视听环境控制装置发送校正信息。校正信息用以表示计算视频数据或音频数据的特征量时的允许范围。所计算的特征量在视听环境控制装置对视听环境设备进行控制时被使用。

因此，校正信息被发送给视听环境控制装置后，视听环境控制装置在校正信息所示的允许范围内计算视频数据或音频数据的特征量。从而，所计算的特征量处于预先指定的允许范围内。视听环境控制装置根据处于允许范围内的特征量，对视听环境设备进行控制。由此，能够防止用于控制视听环境设备的特征量反复发生较大的增减。从而能够防止视听环境设备的驱动强度发生激烈变动，进而防止视听环境发生较大的变化。

为解决上述的问题，本发明的数据发送装置向视听环境控制装置发送用以控制视听环境设备的控制基准数据，所述控制基准数据以节段为单位被设定，其中，所述节段是用于构成视频数据或音频数据的帧的集合。

根据上述结构，数据发送装置发送以节段为单位而被设定的控制基准数据，所述节段是用于构成视频数据或音频数据的帧的集合。

因此，控制基准信息被发送给视听环境控制装置后，视听环境控制装置根据控制基准数据来控制视听环境设备。此时，能够以帧的集合即节段为单位来进行控制。通过对应场景、镜头(shot)、帧来分割出节段，便能够对应场面设定来控制视听环境设备。由此能够向用户提供可获得高临场感的视听环境。

为解决上述的问题，本发明的视听环境控制方法根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，其包含：接收步骤，接收参照信息，其中，所述参照信息用以表示计算所述视频数据或音频数据的特征量时的计算区域；计算步骤，计算所述参照信息所表示的计算区域中的视频数据或音频数据的特征量。

为解决上述的问题，本发明的视听环境控制方法根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，其也能够包含：接收步骤，接收运算指定信息，其中，所述运算指定信息用以表示计算所述视频数据或音频数据的特征量时的计算方法；计算步骤，根据所述运算指定信息所表示的计算方法，计算视频数据或音频数据的特征量。

为解决上述的问题，本发明的视听环境控制方法根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，其也能够包含：接收步骤，接收校正信息，其中，所述校正信息用以表示计算所述视频数据或音频数据的特征量时的允许范围；计算步骤，在所述校正信息所表示的允许范围之内，计算视频数据或音频数据的特征量。

为解决上述的问题，本发明的视听环境控制方法也能够根据从外部接收的控制基准数据来对视听环境设备进行控制，其也能够包含：计算步骤，计算从外部接收的视频数据或音频数据的特征量；校正步骤，使用所述视频数据或音频数据的特征量，对所述控制基准数据进行校正。

根据以上的结构，本发明的视听环境控制方法能够实现与本发明的视听环境控制装置相同的效果。

〔发明效果〕

本发明的视听环境控制装置能够对视听环境设备进行与视频数据或音频数据相适的控制，因此能够向用户提供适合于视频或音频的视听环境。

附图说明

图1为本发明的视听环境控制系统的一个实施方式的概略结构图。

图2为本发明的数据发送装置的一个实施方式的概略结构图。

图3为元数据的数据结构的一个例图。

图4为节段分割信息的结构图。

图5为手动控制用设备控制信息中的各数据的记述内容的例图。

图6为本发明的视听环境控制系统的视听环境中的配置例图。

图7为在多个帧中变化的区域信息的具体例图。

图8为以块的坐标来表示的图7所示的区域信息的表。

图9为表示由色温分类的自动控制用设备控制信息的颜色信息的图。

图10为表示自动控制用设备控制信息的音响信息的图。

图11为关于在自动设定模式下，根据基准照明数据设定照明数据的阈值的图。

图12为根据颜色信号数据决定照明数据的处理流程的流程图。

图13为以色差表示的基准照明数据的变化范围的图。

图14为表示用户因色差不同而获得的不同印象的图。

图15为用于根据色温转换成色温数据的温度变化表。

图16为本实施方式的外部服务器装置的主要结构框图。

图17为本发明的视听环境控制系统的另一实施方式的概略结构图。

<附图标记说明>

1                        数据发送装置

2，2′                   数据接收装置(视听环境控制装置)

3                        视频显示装置(显示装置)

4                        音频重放装置

5、5a、5b、5c            照明装置(视听环境设备)

6、6a、6b                风力装置(视听环境设备)

7                        空调装置(视听环境设备)

8                        振动装置(视听环境设备)

9                        外部服务器装置

11                       数据多重化部

12                       发送部(发送单元)

13                       数据编码部

21                       接收部(接收单元)

22                       数据分离部

23、24                   延时发生部

25                       效果控制数据生成部(计算单元、校正单元)

26                       阈值设定部

27                       CPU

28                       请求发送部

29                       元数据接收部

91                       请求接收部

92                       数据存储部

93                       元数据发送部

100、100′               视听环境控制系统

具体实施方式

〔实施方式1〕

根据图1～图15，对本发明的一个实施方式进行如下说明。在本实施方式中，将以照明装置、空调机、送风机、振动装置为例，对视听环境空间中配置的周边设备进行说明。然而，只要是控制视听环境的装置即可，本发明并不限于上述这些装置。例如，气味发生装置等也适用于本发明。

首先，参照图2对本实施方式的数据发送装置进行说明。

(数据发送装置)

图2为本发明的数据发送装置的一个实施方式的概略结构框图。数据发送装置为将视频数据、音频数据、元数据发送给下述视听环境控制系统的装置。如图2所示，数据发送装置1具有数据多重化部11、发送部(发送单元)12、数据编码部13。

数据编码部13对输入的视频数据进行压缩编码，并输出至数据多重化部11。可以利用各种压缩方式进行视频编码，如ISO/IEC 13818-2(MPEG-2 Video)、ISO/IEC 14496-2(MPEG-4 Visual)、ISO/IEC 14496-10(MPEG-4AVC)等。

数据编码部13还对输入的音频数据进行压缩编码，并输出至数据多重化部11。可以利用各种压缩方式进行音频编码，如ISO/IEC 13818-7(MPEG-2AAC)、ISO/IEC 14496-3(MPEG-4Audio)等。

数据编码部13还对输入的元数据进行压缩编码，并输出至数据多重化部11。元数据的详细内容将在下面进行说明。对于元数据的记述方法，例如，可以采用XML(Extensible Markup Language：可扩展标记语言)等形式。对于元数据的压缩方式，可以采用ISO/IEC 15938-1(MPEG-7Systems)中的BiM(Binary formatfor MPEG-7)等方式。当然也可以不进行压缩而直接以XML形式输出。

数据多重化部11对编码后的视频数据、音频数据、元数据进行多重化。就多重化方式来说，例如，可以采用ISO/IEC 13818-1(MPEG-2Systems)中的MPEG-2传送流包(Transport Stream Packet；TSP)、IP数据包、RTP数据包等。

例如，在采用MPEG-2规定的传送流包(TSP)时，能够在记述有MPEG-2规定的信息的头部之后，在扩充头部记述元数据，并利用扩充头部之后的数据载荷(payload)来传送视频数据和音频数据。或者，元数据也可以与视频数据和音频数据同样地以数据载荷来传送。还可以对视频数据、音频数据、元数据的不同数据流进行多重化后再进行传送。

发送部12将多重化后的视频数据、音频数据、元数据作为广播数据来进行传送或保存。

在本实施方式中，视频数据、音频数据、元数据这3种数据是在多重化后以广播数据的形式发送的。然而，多重化并非发送的必要条件，可视情况选择恰当的发送方法。例如，可以不对各个数据进行多重化，而是进行单独发送，也可以只对视频数据和音频数据进行多重化后发送，而对元数据进行单独发送。

如下所述，也可以先在可通过网络访问的外部服务器装置中保存元数据，然后将用于识别该保存的元数据的URL(Uniform Resource Locator：统一资源定位地址)等与视频数据一同多重化后再进行发送。若使用与视频/音频多重化数据的发送网络不同的网络来发送元数据本身，则用于使元数据与视频/音频多重化数据相关联的信息(识别信息)并不限于URL，其只要是能够特定元数据与视频/音频多重化数据的对应关系的特定信息即可，例如可以为TV-Anytime标准中的CRID(Content Reference ID：内容索引ID)、内容名等。

或者，也可以将元数据单独保存在其他存储介质中来使用。例如，视频/音频数据可以保存在Blu-ray Disc、DVD等大容量存储介质中，而元数据可以保存在小型半导体存储介质中来使用。此时，在存储多个内容并使用时，除了包含视频/音频数据以外，还包含可以明确视频/音频数据与元数据的对应关系的特定信息。

在本实施方式中，是将元数据作为与视频/音频数据不同的数据来处理的。然而，也可以记述成包含元数据内容和视频/音频数据内容的一个数据的形式。

(元数据)

下面，参照图3～图5、图7～图10对元数据进行说明。

图3为例示元数据的数据结构的图。在本实施方式中，视频数据被分割成由1个以上的任意数量的帧构成的节段，与各节段相关的附加信息以节段为单位记述。各种附加信息包括节段分割信息Ds、控制信息Dr、自动控制用设备控制信息Da、手动控制用设备控制信息Dm。

详细内容将在下面进行说明。自动控制是指，接收方利用输出过来的视频数据或音频数据，按照规定的处理方法(例如，指定有区域运算或音响运算的处理方法)来决定视听环境设备的驱动强度，从而进行控制。另一方面，手动控制是指，直接采用从发送方直接(通过手动)预先指定的控制数据来对视听环境设备进行控制。

(节段分割信息)

图4表示节段分割信息Ds的结构。节段分割信息为用于特定节段的信息。在本实施方式中，如图4所示，节段分割信息Ds包括节段号、开始时刻(开始点)、区间信息。通过为了表示视频数据和音频数据各自的重放时间信息而附加的时间码来指定节段开始时刻。例如，如图4所示，时间码包括视频数据的时(h)；分(m)；秒(s)；帧(f)的信息。节段区间包括用于表示从该节段的开始时间码的对应时间开始，到下一个节段的开始时间码的对应时间为止的期间的时(h)；分(m)；秒(s)；帧(f)信息。

在此，对节段的开始时刻(开始帧)、区间(帧数)两者进行了记述，然而，只要至少记述其中之一即可。即使只记述其中之一，只要该节段与下一节段连续且不重叠，就可以决定节段分割。例如，可以将设定有与某照明控制相关的信息的帧作为该节段的开始帧，从而把自该开始帧到下一个设定有与照明控制相关的信息的帧为止的区间作为该节段的区间。

在本说明书中，节段被定义成：将视频内容按照在时间方向上的任意长度来分割出的部分。例如，对应场景、镜头(shot)、或帧等所分割出的部分。举例来说，在根据场景来分割节段时，在节段中将与镜头对应存在的信息汇总记述。而在根据镜头来分割节段时，在所有对应同一场景的节段中，将与该场景对应存在的信息同样地反复记述。而在根据帧来分割节段时，在所有对应同一场景或同一镜头的节段中，将与场景对应存在以及与镜头对应存在的信息同样地反复记述。

在视听环境设备的控制中，大多以场面状况固定的场景(scene)为单位来进行控制，但有时也以摄影状况固定的镜头为单位来进行控制。另外，有时也期望以帧为单位来进行精细的控制。对于因视频数据的内容而需要经常对视听环境设备进行固定控制的视频内容部分，以该视频内容部分为单位来分割出节段，这样便能够抑制所要附加的数据量的增加，从而能够有效地对记述数据或识别数据进行记述。

(控制信息)

控制信息Dr用来规定在对应各个节段来进行视听环境设备的控制时，是利用手动控制用设备控制信息Dm中的数据，还是利用自动控制用设备控制信息Da中的数据。即，控制信息Dr用于表示在向视频显示装置输出各节段中包含的各帧时的，针对各视听环境设备的控制方法。如图3所示，在本实施方式中，规定了自动控制模式和手动控制模式这2种控制方法。就1个节段而言，以某1个模式作为控制信息Dr来记述/指定在控制方法指定区域中。

(手动控制用设备控制信息)

手动控制用设备控制信息Dm为：为了再现各节段中包含的视频数据在拍摄时的环境状况，由内容制作者为各视听环境设备指定的控制数据。具体为，该控制数据中记述了表示在拍摄视频数据时使用的拍摄照明的照明数据、表示风力的风力数据、表示温度的温度数据、表示振动的振动数据等。

图5为手动控制用设备控制信息Dm中各数据的记述内容的例图。如图5所示，在手动控制用设备控制信息Dm中，输入有附加给内容的效果种类、条件(表示效果的值)。

就照明效果而言时，将内容制作者或内容提供者推荐的视听环境中的照明亮度(单位为lx)和照明的色温(单位为K)等指定为照明条件。在表示亮度时，也可以不用勒克斯(Lux；lx)，而采用坎德拉(Candela；cd)及流明(Lumen；lm)等。在表示颜色时，也可以不用色温，而采用XYZ颜色表示法、RGB颜色表示法、YCbCr颜色表示法等。

对于视频数据，可以通过照明光表现出各场景的氛围和临场感。因此，照明装置的照明条件为很重要的信息。例如，通过控制视听环境中的照明，能够提高现代/古装剧中各场景的临场感。即，就现代电视剧中一般使用的照明设备的光的色温而言，荧光灯(中性白色)约为5000K，荧光灯(日光色)约为6700K，白炽灯约为2800K。另一方面，在古装剧中作为夜间的光源而通常使用的蜡烛的火焰的色温约为1800K～2500K。而且，一般来说，现代剧中照明强度较强，而古装剧中照明强度较弱。因此，在播放古装剧傍晚屋内的场景时，如果在照明的色温高且照明强度强的环境下视听，会导致无法获得临场感，以致视听者在与内容制作者或内容提供者希望的视听环境相反的环境下视听。

因此，作为优选，内容制作者或内容提供者对处于视听视频数据和音频数据时的内容视听环境下的周边视听环境设备，指定用于进行反映出制作者意图的适当控制的驱动条件。该条件能够由内容制作者或内容提供者在实际视听视频数据和音频数据时制作，例如，可以通过手动指定各场景的照明条件(亮度、色温)来制作。或者，通过分析视频数据或视频编码化数据，自动抽取整个画面或画面周边的平均亮度以及起主导作用的颜色，然后根据抽取的亮度信息和颜色信息决定照明的亮度和色温等照明条件。

在本实施方式中，作为效果种类，举出了照明、风、温度以及振动的例子。然而除此以外，气味等效果只要能够与内容的重放连动且能够给视听空间一定的临场感便可。

在利用手动控制用设备控制信息Dm时，与要显示的视频的特征量无关，能够通过将拍摄视频时的环境状态以节段为单位存储，来控制视听环境设备以创造出适当的视听空间。手动控制用设备控制信息Dm大多以帧为单位或以镜头为单位变化，因此，通过以帧或镜头为单位来分割节段，能够将拍摄环境信息以节段为单位记述。

在各节段中，只要包含自动控制用设备控制信息Da和手动控制用设备控制信息Dm中的至少一方即可。从抑制数据量增加的观点来看，在各节段中，也可以只包含自动控制用设备控制信息Da或手动控制用设备控制信息Dm中的一方。例如，在控制信息Dr表示自动控制模式时，可以仅记述自动控制用设备控制信息Da，而在控制信息Dr表示手动控制模式时，可以不记述自动控制用设备控制信息Da，而只记述手动控制用设备控制信息Dm。

(自动控制用设备控制信息)

在自动控制模式下，自动控制用设备控制信息Da为：校正信息，表示在下述数据接收装置利用各节段中包含的视频数据和音频数据来生成各视听环境设备的控制数据时，所附加的限制；参照信息，用来抽取数据接收装置在附加限制时作为基准的特征量；运算指定信息，表示用于计算数据接收装置在附加限制时作为基准的特征量的运算指定方法；或控制基准信息(控制基准数据)，其是由内容制作者指定的控制数据。

具体为，参照信息包括：区域信息，用于表示对象区域(计算区域、画面区域)，该对象区域为用于抽取(计算)出视频特征量(也称图像特征量)的区域，该视频特征量为各节段内1个以上的代表帧中的视频数据的特征量；用于抽取音响特征量(也称音频特征量)的对象区域(计算区域、频域)，该音响特征量为各节段内1以上的代表帧的对应音频数据的特征量。

在校正信息中，记述有对生成的控制数据进行校正的颜色校正信息和音响校正信息。该颜色校正信息表示视频特征量所被允许的颜色范围，而该音响校正信息表示音响特征量所被允许的音频级的频域。此外，虽无图示，但上述校正信息中也可以包含亮度校正信息。该亮度校正信息表示视频特征量所被允许的亮度范围。

在运算指定信息中，记述有区域运算指定信息、音响运算指定信息等。该区域运算指定信息用于指定区域运算方法，该音响运算指定信息用于指定音响运算方法。各节段的代表帧或者是预先在每个节段中选择的帧，或者是自动选择的各节段中的第几个帧。

控制基准信息与从各帧中抽取的视频特征量和音响特征量是同一种类的信息，用于表示内容制作者预先定好的颜色基准信息和音响基准信息。

如下所述，在自动控制模式下，利用自动控制用设备控制信息Da，根据显示的视频数据或重放的音频数据，适当地计算出视频特征量或音频特征量，然后根据该特征量，生成视听环境设备中用来规定视听环境设备的驱动强度的控制数据。然后，利用该控制数据控制视听环境设备。因此，能够适当地决定对应于显示的视频或音频的内容(情节上的场景设定状况)的视听环境设备的驱动强度，并输出给视听环境设备

如图7和图8所示，区域信息为关于将视频显示装置的显示画面分割成1个以上的指定块的信息。例如，如图8所示，只要存储有块的坐标(x1，y1)和(x2，y2)这样的信息即可。当然，区域信息并不限于以上所示的以像素为单位分割的块的信息。即使是以像素为单位进行分割，也无需使上述x方向或y方向上的像素数相同，且块的大小也可以自由改变。还可以参照ISO/IEC15938-3(MPEG-7 Visual Descriptions)中的RegionLocator描述符，或者参照SpatioTemporalLocator描述符等区域信息。而且，如图7所示，块也可以在节段内变化。此时，如图8所示，预先保存变化开始时的块的坐标(x1_s，y1_s)、(x2_s，y2_s)和变化结束时的块的坐标(x1_e，y1_e)、(x2_e，y2_e)的信息。对有变化的区间内的块的大小及形状进行各种线性插值或非线性插值处理。

在自动控制用设备控制信息Da中记述有区域信息时，从代表帧及输出帧中抽取该区域信息所指定的画面区域内的视频特征量，并利用抽取出的视频特征量，生成对某特定视听环境设备进行控制的控制数据。即，如下所述，数据接收装置利用代表帧中的由区域信息所指定的画面区域内的视频特征量、和各帧中的由同一区域信息所指定的画面区域内的视频特征量，计算出各帧中的最终特征量，生成控制数据。

下面，对颜色校正信息(也称颜色信息)进行详细说明。对于视频数据中的处于自动控制模式下的区间，可以将上述颜色信息指定为希望的颜色并作为元数据中的自动控制用设备控制信息Da进行发送。例如，将亮度(单位为lx)和照明的色温(单位为K)等指定为照明条件。在表示亮度时，除了可以用勒克斯(lx)以外，还可以用坎德拉(Cd)和流明(lm)等。而且，对于图9所示的色温范围，可以预先分类，用“热(Hot)”、“暖(Warm)”、“适中(Moderate)”、“冷(Cool)”等用语来表示。而且，表示颜色时，除了可以用色温外，还可以用XYZ颜色表示法、RGB颜色表示法、YCbCr颜色表示法等。此外，可以发送颜色信息和区域信息这2种信息，也可以只发送其中的一种信息。

如上所述，颜色校正信息用于表示最终特征量所被允许的颜色范围。因此，在下述视听环境控制方法的阈值处理中，可以不用用户在阈值设定部设定保存的阈值，而是根据内容制作者所指定的颜色校正信息和在各帧中抽取的关于颜色的特征量，来获得保持在允许范围内的最终特征量。根据处于该允许范围内的最终特征量生成视听环境设备的控制数据。即，能够在同一节段内，将照明的颜色范围的变化控制在希望的允许范围内。

下面，参照图10对音响校正信息(也称音响信息)进行详细说明。对于视频数据中的处于自动控制模式下的区间，能够指定希望的声音的频率并将该频率作为元数据中的基准信息进行发送。例如，音响信息可以指定为频率(单位为Hz)。在此，音响信息是与将如图10所示的声音的频率指定为1以上的信息相关的信息。例如，如图10所示，只要保存有适用于风力的频率Fw和适用于振动的频率Fv的信息即可。当然，音响信息并不限于频率的指定。而且，即使在频率指定的情况下，也可以自由改变频率范围。例如，只要将表示适用于风力的频率范围Fw_s～Fw_e以及适用于振动的频率范围Fv_s～Fv_e的信息作保存即可。

频率范围作为音响校正信息保存时，该范围便为最终特征量的允许范围。因此，在下述视听环境控制方法的阈值处理中，能够不用用户在阈值设定部设定保存的阈值，而是根据内容制作者所指定的音响校正信息和与显示的帧对应的音频数据的特征量即声压级(信号强度)，来获得保持在允许范围内的最终特征量。根据处于该允许范围内的最终特征量，生成视听环境设备的控制数据。即，能够在同一节段内，将风力装置和振动装置中的风力和振动的变化控制在希望的允许范围内。

下面对运算指定信息进行说明。运算指定信息用来表示计算视频特征量或音响特征量时的方法。

当内容制作者指定了区域运算方法时，根据指定的区域运算方法计算出画面区域内的视频特征量。作为区域运算方法的例子，有计算出指定的画面区域内的平均色，计算出高亮度区域色，计算出与照明色温(相关色温)对应的颜色，计算出与记忆色对应的颜色(例如，蓝天、夕阳、嫩绿等颜色)等方法，然而本发明并不限于此。

当内容制作者指定了音响运算方法时，根据指定的音响运算方法计算出频率范围内的声压级(信号强度)。作为音响运算方法的例子，有计算出频率范围内的平均声压级和最大声压级等方法，然而本发明并不限于此。

在下述数据接收装置的效果控制数据生成部中，自动控制用设备控制信息被用于生成用来驱动控制视听环境设备的控制数据。在本实施方式中，为了抑制自动控制用设备控制信息Da的数据量，只针对各节段内的代表帧对各自动控制用设备控制信息Da进行设定，然而，也可以针对各节段内的各帧对自动控制用设备控制信息Da进行设定。

(视听环境控制系统)

参照图1对本实施方式的视听环境控制系统进行如下说明。

图1是本发明的视听环境控制系统100的一个实施方式的概略结构图。如图1所示，视听环境控制系统100具有数据接收装置(视听环境控制装置)2、视频显示装置(显示装置)3、音频重放装置4、照明装置(视听环境设备)5、风力装置(视听环境设备)6、空调装置(视听环境设备)7、振动装置(视听环境设备)8。视听环境控制系统100与数据发送装置1配合使用。

数据接收装置2首先接收设置于视听环境控制系统100外部的数据发送装置1所提供的广播数据，然后将广播数据中所包含的视频数据和音频数据输出到视频显示装置3和音频重放装置4。数据接收装置2还将元数据转换成用于驱动控制各视听环境设备的驱动控制数据，然后使该驱动控制数据与相应的视频数据等同步，并输出到照明装置5等各个视听环境装置中。由此，形成了配合视频显示装置3中显示的视频的视听环境。

(数据接收装置)

数据接收装置2具有接收部(接收单元)21、数据分离部22、延时发生部23和24、作为驱动控制数据生成单元的效果控制数据生成部(计算单元、校正单元)25、阈值设定部26。

接收部21接收从发送装置1发送的广播数据，该广播数据为对视频数据、音频数据、元数据进行多重化后的数据。接收部21对经传送经路输入的广播数据进行解调并纠错。

数据分离部22从接收部21所接收的广播数据中分离并抽取出视频数据、音频数据、元数据。数据分离部22将分离出的视频数据和音频数据与表示该视频数据和音频数据的开始时刻(开始点)的TC(时间码)一起分别发送给延时发生部23和24。数据分离部22通过延时发生部23将视频数据发送到视频显示装置3，并通过延时发生部24将音频数据发送到音频重放装置4。并且，分离出的视频数据和音频数据与分离出的元数据一起被发送到效果控制数据生成部25。

效果控制数据生成部25根据在数据分离部22中分离出的视频数据、音频数据、元数据，生成照明调光数据(RGB数据)、风力数据(风速数据)、温度数据、振动数据，作为用于适当地分别驱动控制在视听者的实际视听环境空间中设置的照明装置5、风力装置6、空调装置7、振动装置8的驱动控制数据。然后，将照明调光数据、风力数据、温度数据、振动数据分别输出给照明装置5、风力装置6、空调装置7、振动装置8。

效果控制数据生成部25抽取出生成驱动控制数据时所使用的视频特征量和音频特征量

阈值设定部26用来保存效果控制数据生成部25使用的阈值，以备效果控制数据生成部25使用。效果控制数据生成部25利用阈值设定部26中保存的阈值，生成对在用户视听环境空间中所设置的视听环境设备进行驱动控制的数据。在此，阈值设定部26所保存的阈值是预先设定好的，然而，例如，也可以通过用户操作等来改变设定，还可以设定成可以随要显示的视频内容的种类(类型)等作改变。

延时发生部23和24推迟在数据分离部22中分离出的视频数据和音频数据，以使各驱动控制数据与视频数据及音频数据同步。例如，将效果控制数据生成部25进行各驱动控制数据的转换处理时所需要的时间、作为在数据分离部22中分离出的视频数据和音频数据的推迟时间。由此，能够使向照明装置5发送的照明调光数据、向风力装置6发送的风力数据、向空调装置7发送的温度数据、向振动装置8发送的振动数据，与视频数据和音频数据的输出同步。

视听环境控制系统100中的数据接收装置2既可以设计成与视频显示装置3和音频重放装置4同体，也可以分别设计成不同体。

(视听环境设备)

例如，可以将由能够被独立地进行发光控制的R(红)、G(绿)、B(蓝)各色LED光源以空出一定间隔的形式排列而成的装置用作照明装置5。照明装置5用上述3原色的LED光源射出具有希望的颜色和亮度的照明光。然而，照明装置5只要能够控制视频显示装置3周围环境的照明色和亮度即可，并不限于由发出指定颜色光的LED光源组合而成。例如，也可以由白色LED和彩色滤光片构成，也可以由白炽灯和彩色滤光片组合而成，还可以配合彩色灯管等。此外，在表示形式上，并不限于通过R(红)、G(绿)、B(蓝)各色来表示，例如，也可以通过照明色温(单位为K)来表示。

可以将鼓风机、电风扇、送风机用作风力装置6。

可以将空调(air conditioner)用作空调装置7。

可以将振动椅、振动毯用作振动装置8。

图6表示了控制照明装置5a、5b、5c、风力装置6a、6b、空调装置7、振动装置8连动时的例子。

(视听环境控制方法)

下面，参照图11～图15对利用元数据对各视听环境设备进行控制的方法进行说明。

效果控制数据生成部25通过控制数据Dr判断出是自动控制模式还是手动控制模式，然后导出适用于各相应模式的控制数据。

具体为，当控制数据Dr指定的是手动控制模式时，效果控制数据生成部25不对手动控制用设备控制信息Dm即照明数据、风力数据、温度数据以及振动数据进行校正，而是直接将手动控制用设备控制信息Dm转换成用于对照明装置5、风力装置6、空调装置7以及振动装置8进行驱动控制的数据，并将该数据输出给各装置。

另一方面，当控制信息Dr指定的是自动控制模式时，效果控制数据生成部25利用自动控制用设备控制信息Da即参照信息、运算指定信息、颜色校正信息以及音响校正信息等，计算出要显示的帧的视频特征量以及与要显示的帧对应的音频数据的音响特征量。效果控制数据生成部25根据通过自动控制用设备控制信息Da计算出的视频特征量和音频特征量，生成用于驱动控制照明装置5、风力装置6、空调装置7和振动装置8的数据，并将生成的数据输出给各装置。

首先，以生成自动控制模式下用于驱动控制照明装置5的数据的情况为例进行说明。

效果控制数据生成部25首先计算出下述块平均值，该块平均值是指：在包含数据接收装置2向视频显示装置3输出的帧的节段中的代表帧内，在由区域信息指定的区域内所保存的对应于指定像素的视频数据的块平均值。然后，将上述块平均值作为基准照明数据(当内容制作者没有指定基准照明数据时)。之后，将该基准照明数据转换成表示明度(Lightness)、彩度(Chroma)(色彩)、色相(Hue)的各数据(下面，将明度、彩度、色相统称为“颜色信号数据”)。下面对生成相应节段内的各帧的照明数据的方法的一个实施例进行说明。

图11用于说明在自动设定模式时对照明数据的阈值进行的设定。效果控制数据生成部25计算出各帧中由区域信息指定的区域内的颜色信号数据，并通过对其进行阈值处理，即利用用户设定的阈值或在内容制作者设定的校正信息所示的允许范围内，计算出视频特征量或音响特征量，从而获取各帧的最终颜色信号数据。通过颜色校正信息获得的阈值与用户指定的阈值一样被设定保存在阈值设定部26中。

根据基准照明数据的颜色信号数据来设定用于控制照明色的与各帧对应的照明数据。在此，根据阈值，将基准照明数据的颜色信号数据的变化上限设为Thresh_max，并将下限设为Thresh_min。例如，就明度轴而言，若设定Thresh_max＝10，且Thresh_min＝20，则与各帧对应的各照明数据可以在明度的上限为(基准照明数据的明度)+10，明度的下限为(基准照明数据的明度)-20的范围内变化。

图12为表示根据颜色信号数据来决定照明数据时的处理流程的一例的流程图。效果控制数据生成部25取得数据分离部22输出的元数据和视频数据，并利用上述方法从元数据和视频数据中取得颜色信号数据(步骤S1)。

然后，比较取得的颜色信号数据和Thresh_max的大小(步骤S2)。由于颜色信号数据是对应视频的每个帧而生成的，所以在步骤S1中，是对应于每个帧来取得颜色信号数据，而在步骤S2中，也是对应于每个帧来进行颜色信号数据的比较。当取得的颜色数据信号比Thresh_max大时，则将Thresh_max设为该帧的最终颜色信号数据(步骤S5)。当取得的颜色信号数据没有Thresh_max大时，则判断取得的颜色信号数据是否比Thresh_min小(步骤S3)。当取得的颜色信号数据比Thresh_min小时，则将Thresh_min设为该帧的最终颜色信号数据(步骤S6)。当取得的颜色信号数据没有Thresh_min小时，则将取得的颜色信号数据直接设为该帧的最终颜色信号数据(步骤S4)。

由上述阈值处理决定的最终颜色信号数据即为该帧的照明数据。当决定了某个帧的照明数据后，效果控制数据生成部25判断在同一节段内是否存在下一个帧(步骤S7)。若存在下一个帧，则返回步骤S1，取得下一个帧的颜色信号数据，并循环上述处理。

根据上述阈值处理，在决定照明数据时，根据表示各帧的视频特征量的颜色信号数据的增减，并参照阈值，来在阈值范围内决定照明数据。由此，照明数据被设定成处在对每个节段所规定的允许范围内。因此，能够防止在各帧的颜色信号数据重复进行大幅增减时，照明数据也随着该增减发生激烈变动的问题。因此，能够实现安定地控制切换照明装置5。

在上述例子中，数据接收装置2是根据视频数据和音频数据计算出基准照明数据的。然而，当能够接收内容制作者预先设定的基准数据时，也可以利用从外部接收的基准数据。在从外部接收基准数据时也能够通过图12所示的处理取得最终颜色信号数据。如图3所示，内容制作者指定的基准照明数据被记述为自动控制用设备控制信息Da中的颜色基准信息。

上述处理方法为，根据从外部作为基准照明数据接收的以节段为单位的颜色信号数据、从视频数据中计算出的作为各帧的特征量的颜色信号数据、阈值，将颜色信号最终设定在允许范围内。换言之，上述处理方法为，首先比较从外部作为基准照明数据取得的颜色信号数据和从视频数据中计算出的各帧的颜色信号数据，然后进行校正处理，使作为基准照明数据取得的颜色信号数据接近于从视频数据中计算出的各帧的颜色信号数据。通过该校正处理后，当基准照明数据的颜色信号数据比Thresh_max大时，将Thresh_max设为最终颜色信号数据。而当基准照明数据的颜色信号数据比Thresh_min小时，将Thresh_min设为最终颜色信号数据。另外，当基准照明数据的颜色信号数据在Thresh_max与Thresh_min之间时，将校正处理后的颜色信号数据作为最终颜色信号数据。在上述情况下，也能够同样地防止在各帧的颜色信号数据反复进行大幅增减时，照明数据随着该增减激烈变动的问题。而且，通过使内容制作者所意图的每个节段的基准控制数据伴随显示的视频数据的内容以帧为单位进行变化，能够更有效地提高临场感。

综上所述，根据本发明所用到的自动设定模式，能够在同一节段区间内，使设置在视频显示装置3的周边的照明装置5的照明相对于基准数据保持大致不变。在此，大致不变是指，使同一节段内的照明光的变动保持在不会破坏视听者的临场感的范围内。

目前已经知道，在人类的视觉中存在颜色的允许差。图13和图14为用于说明在自动设定模式下的、与基准照明数据相对应的照明数据的阈值设定的另一例子的图。在图13中，对于基准照明数据，将变化范围指定为色差ΔE。图14表示色差ΔE的等级划分以及一般的视觉程度。作为在本发明中的大致的固定范围，只要是在图14所示的色系中色差可视为无区别的范围即可，亦即，只要包含于小于色差ΔE＝13的等级范围内即可。优选为包含于在印象上为同一颜色的范围内，亦即包含于色差ΔE＝6.5以下的等级范围内。综上所述，可以通过对明度、彩度、色相直接指定阈值来决定所允许的变化范围，也可以通过利用色差ΔE来决定允许变化的范围。

如上所述，在利用颜色校正信息时，允许范围已经是以颜色范围的形式规定好的。因此，利用颜色校正信息取得照明数据时，不是使用阈值设定部26所设定保存的阈值，而是用颜色校正信息直接表示基准照明数据的上限和下限。

下面，对在自动控制模式下，生成用于驱动控制风力装置6和振动装置8的数据的情况进行说明。

效果控制数据生成部25计算出音响信息中所保存的规定的风力适用频率(Hz)和振动适用频率(Hz)的各声压级(dB)，然后将其分别作为基准风力数据(dB)和基准振动数据(dB)。此外，与上述基准照明数据的情况相同，也可以接收由内容制作者以节段为单位预先设定的基准风力数据和基准振动数据。此时，基准风力数据和基准振动数据记述为自动控制用设备控制信息Da中的音响基准信息。作为风力适用频率的例子，不指定频率范围时为10Hz，指定频率范围时为0～10Hz。作为振动适用频率的例子，不指定频率范围时为50Hz，指定频率范围时为0～125Hz。基准风力数据被转换成表示风速(m/s)的风力数据。作为转换成风力数据的方法的例子，可以参照参照表(look-up table)，进行例如“50dB→0.5m/s”或“80dB→2m/s”等这样的转换。然而转换方法并不限于此。此外，转换后的值并不限于用绝对值指定的风速，也可以指定成“强风”、“弱风”。

就自动设定模式下的基准风力数据和基准振动数据而言，与上述基准照明数据同样，设定阈值来指定允许范围。效果控制数据生成部25计算出各帧的风力适用频率和振动适用频率的声压级，即计算出与各帧对应的风力数据和振动数据。然后效果控制数据生成部25通过阈值处理，获取与各帧对应的最终风力数据和振动数据，生成用于控制视听环境设备的控制数据。阈值处理中使用的阈值设定保存在阈值设定部26中。

分别根据基准风力数据和基准振动数据来设定用于控制风力的与各帧对应的风力数据以及用于控制振动的与各帧对应的振动数据。在此，规定各基准数据的变化上限和下限，即规定允许范围。例如，最终取得的风力数据和振动数据能够在声压级上限为(基准风力数据或基准振动数据)+15，声压级下限为(基准风力数据或基准振动数据)-10的范围内变化。

下面，对在自动控制模式下，生成用于驱动控制空调装置7的控制数据的情况进行说明。

效果控制数据生成部25计算出块平均值，该块平均值为：在视频显示装置3所显示的节段内的代表帧中，在由区域信息指定的区域内所保存的对应于指定像素的视频数据的块平均值，然后将该块平均值设为基准照明数据。然后，从基准照明数据中推定出色温(相关色温)。色温的推定处理过程为，根据上述视频数据的特征量，推定拍摄该视频时的现场照明状态。在本发明中，并不限于该处理方法，例如也可以应用非专利文献“《场景照明的推定处理》，富永昌治，戒井悟，B.A.Wandell，信学技报，PRMU99-184，1999”中记载的传感器相关法。

根据传感器相关法，在传感器空间中以色温为单位，预先求取传感器输出所占的色域，然后通过调查该色域与获得的图像像素分布的相关性来推定色温。

例如，在本实施方式中，能够应用传感器相关法，根据代表帧的视频数据来推定出该视频在拍摄时的照明色温。

其处理方法的步骤为：(1)预先求出传感器输出所占的色域；(2)对所有对象像素进行标准化；(3)在RB平面上构成标准化后的(R，B)坐标值；(4)将与对象图像的(R，B)坐标值的相关性最高的色域推定为对象图像的色温。上述色域例如可以以500K为单位来求得。

在色温的推定中，为对场景照明进行分类，传感器输出所能以色温为单位来占有的色域被定义在色空间内。在此，基于各色温的分光分布，求出相对于各类物体表面的传感器输出的RGB值。然后，使用将这些RGB的凸包投影在RB平面上而得的2维照明色域。该照明色域能够通过上述传感器输出所占的以500K为单位的色域来形成。

在传感器相关法中，为了调整图像间的整体亮度差，需要对图像数据进行缩放运算处理。设对象像素中的第i个像素的亮度为I_i，最大值为I_max。然后，为了进行不同图像间的亮度调整，对传感器输出进行如下所述的RGB和最大值的标准化。

(RGB)＝(R/I_max，G/I_max，B/I_max)

L_max＝max(R_i ²+G_i ²+B_i ²)^1/2

于是，在投影有照明色域的RB平面上，构成标准化后的(R，B)坐标值。将该照明色域作为参照色域，与构成的对象图像的坐标值进行比较。然后，选择与对象图像的坐标值相关性最高的参照色域，并根据该选择的参照色域来决定色温。

例如可以如上述现有技术例所示的那样，直接利用要显示的视频数据中包含的规定图像区域的颜色信号和亮度信号，来作为在色温的推定处理中使用的各场景的视频特征量。

将算出的色温转换成表示温度(℃)的温度数据。作为转换成温度数据的方法的例子，可以参照图15所示的温度转换表，例如以“1667≤色温＜2251→热”、“2251≤色温＜4171→暖”、“4171≤色温＜8061→适中”、“8061≤色温≤25000→冷”等这样的方式作转换。但转换方法并不限于此。

自动控制模式下的生成用于驱动控制数据接收装置2的数据的方法并不限于此。例如，可以根据电视节目的EPG(Electronic Program Guide：电子节目表)、字幕信息以及叠印字幕(superimpose)等文字信息所包含的关键字(Keyword)来生成用于驱动控制数据接收装置2的数据。

综上所述，根据本发明，不需发送手动控制模式时所用的元数据，就能够在反映内容制作者的意图的允许范围内，控制视听环境设备的驱动强度。

〔实施方式2〕

以下，根据图16以及图17来说明本发明的其他实施方式。为了便于说明，对于与前述实施方式中说明的部件具有相同功能的部件，赋予同样的标记，并省略其说明。

在前述的实施方式中，元数据被附加给视频数据以及音频数据后，作为广播数据的一部分被发送。

在本实施方式中，广播数据中不含有元数据。数据接收装置从外部服务器等装置接收与所要视听的视频数据或音频数据相对应的元数据，从而能够在重放视频数据或音频数据时实现最佳的视听环境。在该技术结构中，数据接收装置预先接收用以识别元数据的识别数据。

图16是本实施方式的外部服务器装置的结构框图。外部服务器装置具备数据发送装置1的一部分功能。如图16所示，外部服务器装置9包括有请求接收部91、数据存储部92、元数据发送部93。

请求接收部91从后述的数据接收装置(视听环境控制装置)2′侧，接收与特定的视频数据或音频数据(内容)相关的元数据的发送请求。

数据存储部92存储每一内容的元数据。

元数据发送部93将所被请求发送的元数据发送给请求方的数据接收装置。

存储在数据存储部92中的元数据中记述有内容制作者等所意图的任意控制单位的节段(例如场景或镜头(shot))的开始时间码，被请求发送的内容的元数据与用以表示节段开始时刻的TC(时间码)，一同从元数据发送部93发送至请求方的数据接收装置2′。

另外，也可以向内容制作者等所意图的任意控制单位的节段(例如场景或镜头)附加ID，并将被请求发送的内容的元数据与节段的ID一同从元数据发送部93发送至请求方的数据接收装置2′。此时，能够以节段为单位来向数据接收装置2′发送元数据。

如上所述，外部服务器装置9在接收到来自外部的请求时，能够以节段为单位来发送元数据。

以下，对包含数据接收装置2′的视听环境控制系统100′的系统结构进行说明，数据接收装置2′接收从外部服务器装置9发送出的元数据，从而控制视听环境设备。

如图17所示，视听环境控制系统100′包含：数据接收装置2′、视频显示装置3、音频重放装置4、照明装置5、风力装置6、空调装置7、振动装置8。

数据接收装置2′与前述的数据接收装置2的结构大致相同，其与数据接收装置2的不同之处在于还具备CPU(Central Processing Unit：中央处理器)27、请求发送部28、元数据接收部29。

请求发送部28根据来自效果控制数据生成部25的指示，介由通信网络向外部服务器装置9发送出与所要显示的视频数据(内容)相对应的元数据的发送请求。效果控制数据生成部25介由CPU27向请求发送部28作出指示。

元数据接收部29介由通信网络接收从外部服务器装置9发送来的元数据。所接收的元数据介由CPU27被发送至效果控制数据生成部25。

数据接收装置2′中的效果控制数据生成部25除了根据所接收的识别数据来实行元数据的发送请求以外，其他均与数据接收装置2中的效果控制数据生成部25的功能相同。

如上所述，即使广播数据中不含有元数据，视听环境控制系统100′也能够从外部服务器装置9得到与内容对应的元数据，并根据该元数据对各视听环境设备进行控制。因此，与前述的实施方式同样，可在抑制数据量增加的同时，以对应了视频制作者意图的任意定时来控制切换视听环境设备。由此，能够实现视听环境设备的最佳控制。

虽然在上述实施方式中以照明装置5、风力装置6、空调装置7、振动装置8为例，对配置在虚拟视听环境空间内的周边设备进行了说明，但本发明中并不限于使用这些视听环境设备。气味发生装置等这些可给视听环境带来影响的周边设备也能够适用在本发明中。这些可给视听环境带来影响的周边设备适用在本发明中时，例如可以用元数据来定义需以多强的程度来发出气味的表现效果信息。

在本发明中，视频数据或音频数据等这些内容并不限于是电视广播所传送的电视节目的内容，也可以是Blu-ray Disc或DVD等介质中存储的作品的内容。即，输入的视频数据并不限于是通过电视广播所接收的数据，在输入由外部重放装置所重放的视频数据时也能够运用本发明技术。

本发明并不限于上述的各实施方式，能够在权利要求所示的范围内进行种种变更。例如数据接收装置2、2′也可以设在视频显示装置3内，可以根据输入的视频数据中含有的各种信息来控制外部的视听环境设备。即，在权利要求所示的范围内组合适当变更的技术手段而得到的实施方式也包含于本发明的技术范围之内。

如上所述，本发明的视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，且具备：接收单元，接收参照信息，其中，所述参照信息用以表示计算所述视频数据或音频数据的特征量时的计算区域；计算单元，计算所述参照信息所表示的计算区域中的视频数据或音频数据的特征量。

优选所述参照信息用以表示计算所述视频数据的特征量时的画面区域。

另外，优选所述参照信息用以表示计算所述音频数据的特征量时的频域。

在此，所述参照信息以帧或节段为单位来设定，所述帧用于构成视频数据或音频数据，所述节段是所述帧的集合。

另外，如上所述，本发明的视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，且具备：接收单元，接收运算指定信息，其中，所述运算指定信息用以表示计算所述视频数据或音频数据的特征量时的计算方法；计算单元，通过所述运算指定信息所表示的计算方法，计算视频数据或音频数据的特征量。

优选所述运算指定信息用以指定计算作为所述视频数据的特征量的、预定画面区域内的平均色。

另外，优选所述运算指定信息用以指定计算作为所述视频数据的特征量的、预定画面区域内的高亮度区域色。

另外，优选所述运算指定信息用以指定计算作为所述视频数据的特征量的、与预定画面区域内的相关色温相对应的颜色。

另外，优选所述运算指定信息用以指定计算作为所述视频数据的特征量的、与预定画面区域内的记忆色相对应的颜色。

在此，所述运算指定信息以帧或节段为单位来设定，所述帧用于构成视频数据或音频数据，所述节段是所述帧的集合。

另外，如上所述，本发明的视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，且具备：接收单元，接收校正信息，其中，所述校正信息用以表示计算所述视频数据或音频数据的特征量时的允许范围；计算单元，在所述校正信息所表示的允许范围之内，计算视频数据或音频数据的特征量。

优选所述校正信息用以表示与作为所述视频数据的特征量而被计算出的明度及色彩的其中至少一方相关的允许范围。

另外，优选所述校正信息用以表示与作为所述音频数据的特征量而被计算出的频率及声压级的其中至少一方相关的允许范围。

在此，所述校正信息以帧或节段为单位来设定，所述帧用于构成视频数据或音频数据，所述节段是所述帧的集合。

另外，如上所述，本发明的视听环境控制装置根据从外部接收的控制基准数据来对视听环境设备进行控制，且具备：计算单元，计算从外部接收的视频数据或音频数据的特征量；校正单元，使用所述视频数据或音频数据的特征量，对所述控制基准数据进行校正。

作为优选，所述控制基准数据以节段为单位来设定，其中，所述节段是用于构成所述视频数据或音频数据的帧的集合。

在此，节段的定义是指：对由1个以上的帧构成的视频数据或音频数据，在时间方向上按任意时间长度所分割出的区间。

根据上述结构，能够按每一节段单位来控制视听环境设备。通过对应场景、镜头、帧来分割出节段，便能够对应场面设定来控制视听环境设备。由此能够向用户提供可获得高临场感的视听环境。

优选所述控制基准数据是与明度及色彩的其中至少一方相关的颜色基准信息。

优选所述控制基准数据是与频率及声压级的其中至少一方相关的音响基准信息。

另外，如上所述，本发明的数据发送装置对视听环境控制装置发送数据，所述视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制。本发明的数据发送装置具备发送参照信息的发送单元，所述参照信息用以表示计算所述视频数据或音频数据的特征量时的计算区域。

在数据发送装置中，优选所述参照信息用以表示计算所述视频数据的特征量时的画面区域。

另外，优选所述参照信息用以表示计算所述音频数据的特征量时的频域。

另外，如上所述，本发明的数据发送装置对视听环境控制装置发送数据，所述视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制。本发明的数据发送装置具备发送运算指定信息的发送单元，所述运算指定信息用以表示计算所述视频数据或音频数据的特征量时的计算方法。

在数据发送装置中，优选所述运算指定信息用以指定计算作为所述视频数据的特征量的、预定画面区域内的平均色。

另外，优选所述运算指定信息用以指定计算作为所述视频数据的特征量的、预定画面区域内的高亮度区域色。

另外，优选所述运算指定信息用以指定计算作为所述视频数据的特征量的、与预定画面区域内的相关色温相对应的颜色。

另外，优选所述运算指定信息用以指定计算作为所述视频数据的特征量的、与预定画面区域内的记忆色相对应的颜色。

另外，如上所述，本发明的数据发送装置对视听环境控制装置发送数据，所述视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制。本发明的数据发送装置具备发送校正信息的发送单元，所述校正信息用以表示计算所述视频数据或音频数据的特征量时的允许范围。

在数据发送装置中，优选所述校正信息用以表示与作为所述视频数据的特征量而被计算出的明度及色彩的其中至少一方相关的允许范围。

另外，优选所述校正信息用以表示与作为所述音频数据的特征量而被计算出的频率及声压级的其中至少一方相关的允许范围。

另外，如上所述，本发明的数据发送装置向视听环境控制装置发送用以控制视听环境设备的控制基准数据，所述控制基准数据以节段为单位来设定，其中，所述节段是用于构成视频数据或音频数据的帧的集合。

在数据发送装置中，优选所述控制基准数据是与明度及色彩的其中至少一方相关的颜色基准信息。

另外，优选所述控制基准数据是与频率及声压级的其中至少一方相关的音响基准信息。

包含本发明的视听环境控制装置的视听环境控制系统，也包含在本发明的范畴内。

即，本发明的视听环境控制系统具备本发明的视听环境控制装置、用以显示所述视频数据的显示装置、与所述显示装置设置在同一视听环境内的视听环境设备。

此外，所述视听环境控制装置也可以通过计算机来实现。此时，通过使计算机作为所述各单元发生功能，由此在计算机中实现所述视听环境控制装置的视听环境控制程序以及记录有该视听环境控制程序的计算机可读取记录介质也包含在本发明的范畴内。

最后，数据发送装置1、数据接收装置2、2′所含的各个部可由硬件逻辑来构成，也可以如下述那样，通过利用CPU(Central Processing Unit)以软件来实现。

即，数据发送装置1、数据接收装置2、2′可以具有：对用于实现各功能的控制程序(视听环境控制程序)的命令予以执行的CPU；存储上述控制程序的ROM(read only memory：只读存储器)；将上述控制程序展开成可执行形式的RAM(random access memory：随机存取存储器)；存储上述控制程序及各种数据的存储器等存储装置(存储介质)。

通过上述结构，本发明的目的可以通过预定的存储介质来达成。该存储介质存储有可由计算机读取的数据发送装置1以及数据接收装置2、2′的控制程序的程序代码(可执行程序、中间代码程序、源程序)即可，所述控制程序是用于实现以上所述功能的软件。向数据发送装置1、数据接收装置2、2′提供该存储介质。如此，由作为计算机的数据发送装置1、数据接收装置2、2′(或CPU、MPU)来读出并执行该存储介质中存储的程序代码即可。

关于用以向数据发送装置1、数据接收装置2、2′提供程序代码的存储介质，其并不特别限定是特定的结构或种类。即，该存储介质例如可以是磁带、盒式带等带类；也可以是包括软盘(注册商标)、硬盘等磁盘以及CD-ROM、MO、MD、DVD、CD-R等光盘的盘类；也可以是IC卡(包括存储卡)、光卡等卡类；或是掩膜型ROM、EPROM、EEPROM、闪存ROM等半导体存储器类等。

另外，数据发送装置1、数据接收装置2、2′与通信网络构成可通信的结构时，本发明的目的也能够达成。此时，上述程序代码也能够借助于通信网络来提供给数据发送装置1、数据接收装置2、2′。该通信网络能够用来向数据发送装置1、数据接收装置2、2′提供程度代码即可，其不限于是特定的种类或形式。例如，可以利用互联网(internet)、内联网(intranet)、外联网(extranet)、LAN、ISDN、VAN、CATV通信网、虚拟专用网络(virtual private network)、电话回线网络、移动通信网络、卫星通信网络等。

另外，关于用以构成该通信网络的传输介质，其是能够用于传送程序代码的介质即可，其不限于是特定的结构或种类。例如，可以利用IEEE1394、USB(Universal Serial Bus：通用串行总线)、电力线、电缆电视回线、电话线、ADSL(Asymmetric Digital Subscriber Line：非对称数字订户线)回线等有线通信，也可以利用诸如IrDA或遥控器等的红外线、Bluetooth(注册商标)、802.11无线通信、HDR、便携式电话网络、卫星回线、地面数字广播网络(terrestrial digitalnet)等无线通信。另外，即使上述程序代码的形态是以电子传输而实现的埋设于载波的计算机数据信号，本发明也能够得以实现。

〔附记事项〕

上述的各实施方式也能够表述如下。

(第1结构)

数据发送装置发送由1个以上的帧构成的视频数据，其特征在于：以节段为单位将节段分割信息、控制信息、控制基准信息附加于所述视频数据来发送；所述节段分割信息用以将所述视频数据分割成由1以上任意数的帧组成的所述节段，且表示各所述节段的开始时刻及/或区间；所述控制信息表示所述视频数据中的各帧被显示时的视听环境设备控制方法；所述控制基准信息表示所述视频数据中的各帧被显示时的视听环境设备控制方法的基准。

(第2结构)

基于第1结构的数据发送装置的特征在于，所述控制信息包含：在显示所述节段内的全部的帧时，用以对根据控制基准信息来控制视听环境设备的自动控制模式进行指示的信息。

(第3结构)

基于第1结构或第2结构的数据发送装置的特征在于，所述控制基准信息包含：在显示所述节段内的全部的帧时所要显示的视频数据的特征量。

(第4结构)

基于第3结构的数据发送装置的特征在于：所述视频数据的特征量包含与画面区域相关的信息。

(第5结构)

基于第3结构的数据发送装置的特征在于：所述视频数据的特征量包含与视频数据的亮度或颜色相关的信息。

(第6结构)

基于第1结构或第2结构的数据发送装置的特征在于，所述控制基准信息包含：在显示所述节段内的全部的帧时所要重放的音响数据的特征量。

(第7结构)

视听环境控制装置的特征在于具备：接收单元，接收显示装置所要显示的视频数据、节段分割信息、以节段为单位与所示视频数据构成对应关系的控制信息、控制基准信息；控制单元，根据所述控制信息，控制设置在所述显示装置周围的视听环境设备的驱动，所述节段分割信息用以表示将所述视频数据以1以上任意数的帧为单位而分割出的所述节段的开始时刻及/或区间，所述控制信息表示在显示构成所述视频数据的各帧时的视听环境设备控制方法，所述控制基准信息表示所述视频数据中的各帧被显示时的视听环境设备控制方法的基准。

(第8结构)

基于第7结构的视听环境控制装置的特征在于：所述控制单元使用视频数据的特征量来控制所述视听环境设备的驱动。

(第9结构)

基于第8结构的视听环境控制装置的特征在于：所述视频数据的特征量包含与画面区域相关的信息。

(第10结构)

基于第8结构的视听环境控制装置的特征在于：所述视频数据的特征量包含与视频数据的亮度或颜色相关的信息。

(第11结构)

基于第7结构的视听环境控制装置的特征在于：所述控制单元使用音响数据的特征量来控制所述视听环境设备的驱动。

(第12结构)

视听环境控制系统的特征在于具备：基于第7结构～第11结构中任意一结构的视听环境控制装置；用以重放所述视频数据及/或音频数据的视频/音频重放装置；设置在该视频/音频重放装置周围的周边设备。

(第13结构)

视听环境控制方法用于根据所要显示的视频数据或音响数据的特征量来控制视听环境设备的驱动。该视听环境控制方法的特征在于：通过对所述视频数据或音响数据的特征量施以校正处理，生成所述视听环境设备的控制信息。

(第14结构)

数据发送方法用于发送由1个以上的帧构成的视频数据。该数据发送方法的特征在于：以节段为单位，将节段分割信息、控制信息、控制基准信息附加于所述视频数据来发送，其中，所述节段分割信息用以将所述视频数据分割成由1以上任意数的帧组成的所述节段，且表示各所述节段的开始时刻及/或区间；所述控制信息表示所述视频数据中的各帧被显示时的视听环境设备控制方法；所述控制基准信息表示所述视频数据中的各帧被显示时的视听环境设备控制方法的基准。

(第15结构)

数据发送方法用于，接收来自外部的请求后发送控制信息，其中，所述控制信息表示在显示构成所述视频数据的各帧时的、视听环境设备的控制方法。该数据发送方法的特征在于：以节段为单位来发送节段分割信息、所述控制信息、控制基准信息，其中，所述节段分割信息用以表示将所述视频数据以1以上任意数的帧为单位而分割出的节段的开始时刻及/或区间。

(第16结构)

视听环境控制方法的特征在于：接收显示装置所要显示的视频数据、节段分割信息、控制信息、控制基准信息，并根据所述控制信息，控制设置在所述显示装置周围的视听环境设备的驱动，其中，所述节段分割信息用以表示将所述视频数据以1以上任意数的帧为单位而分割出的节段的开始时刻及/或区间，所述控制信息表示在显示构成所述视频数据的各帧时的视听环境设备控制方法，所述控制基准信息表示在显示所述视频数据的各帧时的视听环境设备控制方法的基准。

此外，上述的实施方式还能够表述如下。

(第17结构)

视听环境控制装置具备：接收单元，接收由多个节段构成的视频数据；控制视听环境设备的控制单元(延时发生部、效果控制数据生成部)，根据帧的特征量即帧特征量以及该帧所属的节段的特征量即节段特征量，决定在向显示装置输出所述视频数据的各帧时的、针对所述视听环境设备的控制内容，所述接收单元还接收含有所述多个节段各自的节段特征量以及参照信息的其中至少一方的记述数据(元数据)，所述控制单元为了从所述多个节段的各个中提取节段特征量而参照所述参照信息。

帧特征量并不作限定，其例如可以是帧的颜色信息、亮度信息、与该帧对应的音响信息等。其能够以每帧而变化。

节段特征量并不作限定，其例如可以是颜色信息、亮度信息、音响信息等。其以每个节段而预先所定。

根据上述结构，视听环境控制装置接收由多个节段构成的视频数据，还接收该多个节段各自的节段特征量和参照信息的其中至少一方，控制单元为了从所述多个节段的各个中提取节段特征量而参照所述参照信息。节段特征量是与各节段构成对应关系，其是用于控制视听环境设备的信息。参照信息是视听环境控制装置在提取相应的节段的节段特征量时所参照的信息。视听环境控制装置根据通过参照所接收的节段特征量或参照信息而从帧中提取的节段特征量以及与输出至显示装置的帧相对应的帧特征量，控制视听环境设备。

因此，与仅使用从输出至显示装置的帧中提取出的特征量来控制视听环境设备的情况相比，能够对应节段的内容来控制视听环境设备。从而能够按视频的每一节段来恰当控制视听环境设备，因此能够对应视频制作者所意图的拍摄场景气氛或场面设定来控制视听环境设备。由此，能够向用户提供可获得高临场感的视听环境。

(第18结构)

在视听环境控制装置中，所述控制单元利用各节段特征量对属于相应所述节段的各帧的帧特征量进行校正处理，并根据校正处理后的帧特征量即校正后特征量(校正后的数据)，来决定所述控制内容。

根据上述结构，能够在根据与输出至显示装置的帧相对应的帧特征量来控制视听环境设备时，通过对节段特征量进行校正处理，来对帧特征量施以所预定的限制。由此，即使所输出的帧的帧特征量反复发生较大的增减，也能够防止视听环境设备的驱动强度随该增减而激烈变动。从而，在显示同一节段内的视频时，能够在不破坏视听气氛的前提下控制视听环境。

(第19结构)

作为优选，所述节段特征量表示归属于相应节段的各帧的帧特征量的允许范围；所述控制单元按照使属于所述节段的各帧的帧特征量处于所述允许范围内的方式，进行所述校正处理。

根据上述结构，视听环境控制装置对各帧的帧特征量进行校正处理，并生成处于节段特征量所示的允许范围内的校正后特征量。然后，使用该校正后特征量来控制视听环境设备。所有用于控制视听环境设备的校正后特征量都被控制在按每个相应节段所设定的允许范围内，因此，在显示同一节段内的视频时，能够防止视听环境发生较大变化。

(第20结构)

在视听环境控制装置中，所述节段特征量是属于相应节段的各帧的帧特征量的代表值(代表帧的图像特征量)；所述控制单元用所述代表值以及预先已定的阈值数据，设定属于相应节段的各帧的帧特征量的允许范围；所述控制单元按照使属于所述节段的各帧的帧特征量处于所述允许范围内的方式，进行所述校正处理。

根据上述结构，视听环境控制装置根据帧特征量的代表值即节段特征量以及预先已定的阈值数据，设定对各帧特征量所能允许的变动范围即允许范围。视听环境控制装置对各帧的帧特征量进行校正处理，并生成处于所设定的允许范围内的校正后特征量。然后，使用该校正处理后的特征量来控制视听环境设备。所有用于控制视听环境设备的校正后特征量(最终特征量)都被控制在按每个相应节段所设定的允许范围内，因此，在显示同一节段内的视频时，能够防止视听环境发生较大变化。因此，即使有节段特征量不具有可规定允许范围的宽广度，也能够设定允许范围，从而能够防止视听环境设备的驱动强度发生激烈变动。由此，在显示同一节段内的视频时，能够在不破坏视听气氛的前提下控制视听环境。

另外，由于能够通过改变阈值数据来指定期望的允许范围，因此能够从用户侧来改变允许范围。

(第21结构)

在视听环境控制装置中，所述记述数据还包含用以指定所述控制单元进行所述校正处理的对象节段的指定数据(控制信息)；所述控制单元在所示指定数据所指定的节段内，进行校正处理。

根据上述结构，视听环境控制装置检测指定数据，且仅在指定数据所指定的节段内进行对帧特征量的校正处理。因此，对于无需对每帧作校正处理的节段、或内容提供者不希望对每帧作校正处理的节段，能够在不进行校正处理的情况下进行视听环境设备的控制。

(第22结构)

在视听环境控制装置中，所述参照信息是用以对被所述控制单元提取所述节段特征量的所述帧内的区域进行规定的区域信息。

根据上述结构，能够规定出所述帧内的区域，从而能够从记录在该区域的视频信息中提取节段特征量。因此，与使用帧全体的视频信息的情况相比，处理的数据量较小，从而能够更快地执行控制处理。

(第23结构)

在视听环境控制装置中，所述帧特征量是与所述帧的明度及色彩的其中至少一方相关的颜色信息。

根据上述结构，视听环境控制装置能够使用帧的明度以及色彩的其中至少一方的信息来控制视听环境设备。由此，能够恰当地控制视听环境的亮度、色调、色温，从而能够向用户提供与视听的影音相配的视听环境。

(第24结构)

在视听环境控制装置中，所述接收单元还接收音频数据；所述帧特征量是与输出的帧对应的所述音频数据的音响信息。

根据上述结构，视听环境控制装置能够使用音响信息来控制视听环境设备。由此，视听环境控制装置能够恰当地控制视听环境中的气流以及振动，从而能够向用户提供与视听的影音相配的视听环境。

(第25结构)

数据发送装置把由多个节段构成的视频数据发送给用以控制视听环境设备的视听环境控制装置。该数据发送装置向所述视环境控制装置发送包含了节段特征量以及参照信息的其中至少一方的记述数据、或用以识别所述记述数据的识别数据，其中，所述节段特征量代表了所述多个节段各自所拥有的各帧的特征量即帧特征量，所述参照信息被用于从所述多个节段的各个中提取节段特征量。

根据上述结构，数据发送装置向视听环境控制装置发送由多个节段构成的视频数据，且发送包含了节段特征量以及参照信息的其中至少一方的记述数据、或用以识别该记述数据的识别数据。节段特征量代表了多个节段各自所拥有的各帧的帧特征量。参照信息是用于从多个节段的各个中提取节段特征量的信息。

因此，数据发送装置向视听环境控制装置发送数据后，视听环境控制装置能够使用按每个节段所规定的节段信息来控制视听环境设备。由此，与仅使用从输出至显示装置的帧中提取的特征量时相比，能够对视听环境设备进行与节段的内容相对应的控制。从而，能够以视频的每一节段为单位来恰当地控制视听环境设备，因此能够对应视频制作者所意图的拍摄场景气氛或场面设定来控制视听环境设备。由此，能够向用户提供可获得高临场感的视听环境。

(第26结构)

数据发送装置具备附加单元(数据多重化部)，且将通过该附加单元所生成的数据发送给所述视听环境控制装置；所述附加单元以所述节段为单位，将所述记述数据或所述识别数据附加给所述视频数据。

根据上述结构，数据发送装置能够将记述数据附加给视频数据，由此将附加后所生成的数据发送给视听环境控制装置。

在视听环境设备的控制中，主要以场面状况呈固定的场景(scene)为单位来进行控制，但有时也以拍摄状况呈固定的场面为单位来进行控制。另外，有时也期望以帧为单位来进行精细的控制。对于因视频数据的内容而需要经常对视听环境设备进行固定控制的视频部分，以该视频部分为单位来分割出节段，这样便能够抑制所要附加的数据量的增加，从而能够有效地对记述数据或识别数据进行记述。

(第27结构)

在数据发送装置中，所述节段特征量表示了属于相应节段的各帧的帧特征量的允许范围。

根据上述结构，数据发送装置将数据发送给视听环境控制装置后，视听环境控制装置能够根据各帧的帧特征量，生成处于节段特征量所示允许范围内的数据。视听环境控制装置能够使用该生成的数据来控制视听环境设备。所有用于控制视听环境设备的数据都被控制在按每个相应节段而设定的允许范围内，因此在显示同一节段内的视频时，能够防止视听环境发生较大变化。

(第28结构)

在数据发送装置中，所述节段特征量是属于相应节段的各帧的帧特征量的代表值。

根据上述结构，数据发送装置将数据发送给视听环境控制装置后，视听环境控制装置能够使用帧特征量的代表值以及预先已定的阈值数据，设定各帧的帧特征量的允许范围。视听环境控制装置能够根据各帧的帧特征量，生成处在所设定的允许范围内的数据。视听环境控制装置能够使用该生成的数据来控制视听环境设备。所有用于控制视听环境设备的数据都被控制在按每个相应节段而设定的允许范围内，所以在显示同一节段内的视频时能够防止视听环境发生较大变化。因此，即使有节段特征量不具有可规定允许范围的宽广度，也能够设定允许范围，从而能够防止视听环境设备的驱动强度发生激烈变动。由此，在显示同一节段内的视频时，能够在不破坏视听气氛的前提下控制视听环境。

另外，由于能够通过改变阈值数据来指定期望的允许范围，因此能够从用户侧来改变允许范围。

(第29结构)

在数据发送装置中，所述记述数据还含有用以对作为处理对象的节段进行指定的指定数据，所述处理是指：在所述视听环境控制装置中，使用所述节段特征量来对所述帧特征量所进行的处理。

根据上述结构，数据发送装置将数据发送给视听环境控制装置后，视听环境控制装置能够仅在指定数据所指定的节段内进行对帧特征量的校正处理。因此，对于无需对每帧作校正处理的节段、或内容提供者不希望对每帧作校正处理的节段，能够在不进行校正处理的情况下进行视听环境设备的控制。

(第30结构)

在数据发送装置中，所述参照信息是用于对被所述控制单元提取所述节段特征量的所述帧内的区域进行规定的区域信息。

根据上述结构，数据发送装置将数据发送给视听环境控制装置后，所述视频环境控制装置规定出所述帧内的区域，从而能够从记录在所述区域的视频信息中提取节段特征量。因此，与使用帧全体的视频信息的情况相比，处理的数据量较小，从而能够更快地执行控制处理。

(第31结构)

在数据发送装置中，所述帧特征量是与所述帧的明度及色彩的其中至少一方相关的颜色信息。

根据上述结构，数据发送装置将数据发送给视听环境控制装置后，视听环境控制装置能够使用帧的明度以及色彩的其中至少一方的信息来控制视听环境设备。由此，能够恰当地控制视听环境的亮度、色调、色温，从而能够向用户提供与视听影音相配的视听环境。

(第32结构)

在数据发送装置中，所述帧特征量是与音响相关的音响信息。

根据上述结构，数据发送装置将数据发送给视听环境控制装置后，视听环境控制装置能够使用音响信息来控制视听环境设备。由此，视听环境控制装置能够恰当地控制视听环境中的气流以及振动，从而能够向用户提供与视听影音相配的视听环境。

(第33结构)

视听环境控制系统具备本发明的视听环境控制装置、用以显示所述视频数据的显示装置、与所述视频显示装置设置在同一视听环境内的视听环境设备。

(第34结构)

视听环境控制系统具备本发明的视听环境控制装置、用以显示所述视频数据的显示装置、用以重放所述音频数据的音频重放装置、与所述视频显示装置及所示音频重放装置设置在同一视听环境内的视听环境设备。

(第35结构)

视听环境控制方法包含：接收步骤，由视听环境控制装置来接收由多个节段构成的视频数据；控制步骤，由视听环境控制装置来控制视听环境设备；在控制步骤中，根据帧的特征量即帧特征量以及该帧所属的节段的特征量即节段特征量，决定在向显示装置输出所述视频数据的各帧时的、针对所述视听环境设备的控制内容；在所述接收步骤中，还接收包含了所述多个节段各自的节段特征量和参照信息的其中至少一方的记述数据，其中，所述视听环境控制装置为了从所述多个节段的各个中提取节段特征量而参照所述参照信息。

通过以上的结构，能够实现与本发明的视听环境控制装置相同的效果。

(第36结构)

数据发送方法用以向控制视听环境设备的视听环境控制装置发送由多个节段构成的视频数据。在该数据发送方法中，向所述视听环境控制装置发送包含了节段特征量以及参照信息的其中至少一方的记述数据、或用以识别所述记述数据的识别数据，其中，所述节段特征量代表了所述多个节段各自所拥有的各帧的特征量即帧特征量，所述参照信息被用于从所述多个节段的各个中提取节段特征量。

通过以上的结构，能够实现与本发明的数据发送装置相同的效果。

(第37结构)

数据发送方法用以向控制视听环境设备的视听环境控制装置发送由多个节段构成的视频数据。该数据发送方法包含：附加步骤，以每一节段为单位，将包含了节段特征量以及参照信息的其中至少一方的记述数据、或用以识别所述记述数据的识别数据，附加给所述视频数据，其中，所述节段特征量代表了所述多个节段各自所拥有的各帧的特征量即帧特征量，所述参照信息被用于从所述多个节段的各个中提取节段特征量；发送步骤，发送通过所述附加步骤所生成的数据。

(第38结构)

数据发送方法用于在显示由多个节段构成的视频数据时，向控制视听环境设备的视听环境控制装置发送数据。在该数据发送方法中，接收来自外部的请求后，以节段为单位，发送包含了节段特征量以及参照信息的其中至少一方的记述数据，其中，所述节段特征量代表了所述多个节段各自所拥有的各帧的帧特征量，所述参照信息被用于从所述多个节段的各个中提取节段特征量。

〔工业上的利用可能性〕

本发明能够较好地运用在对用户的视听环境进行控制的视听环境控制系统中。

Claims (36)

1.一种视听环境控制装置，

根据由1个以上的帧构成的视频数据或音频数据的特征量，对视听环境设备进行控制，

该视听环境控制装置的特征在于，具备：

接收单元，接收参照信息，其中，所述参照信息用以表示计算所述视频数据或音频数据的特征量时的计算区域；

计算单元，计算所述参照信息所表示的计算区域中的视频数据或音频数据的特征量。

2.根据权利要求1所述的视听环境控制装置，其特征在于：

所述参照信息用以表示计算所述视频数据的特征量时的画面区域。

3.根据权利要求1所述的视听环境控制装置，其特征在于：

所述参照信息用以表示计算所述音频数据的特征量时的频域。

4.一种视听环境控制装置，

根据由1个以上的帧构成的视频数据或音频数据的特征量，对视听环境设备进行控制，

该视听环境控制装置的特征在于，具备：

接收单元，接收运算指定信息，其中，所述运算指定信息用以表示计算所述视频数据或音频数据的特征量时的计算方法；

计算单元，根据所述运算指定信息所表示的计算方法，计算视频数据或音频数据的特征量。

5.根据权利要求4所述的视听环境控制装置，其特征在于：

所述运算指定信息用以指定计算作为所述视频数据的特征量的、预定画面区域内的平均色。

6.根据权利要求4所述的视听环境控制装置，其特征在于：

所述运算指定信息用以指定计算作为所述视频数据的特征量的、预定画面区域内的高亮度区域色。

7.根据权利要求4所述的视听环境控制装置，其特征在于：

所述运算指定信息用以指定计算作为所述视频数据的特征量的、与预定画面区域内的相关色温相对应的颜色。

8.根据权利要求4所述的视听环境控制装置，其特征在于：

所述运算指定信息用以指定计算作为所述视频数据的特征量的、与预定画面区域内的记忆色相对应的颜色。

9.一种视听环境控制装置，

根据由1个以上的帧构成的视频数据或音频数据的特征量，对视听环境设备进行控制，

该视听环境控制装置的特征在于，具备：

接收单元，接收校正信息，其中，所述校正信息用以表示计算所述视频数据或音频数据的特征量时的允许范围；

计算单元，在所述校正信息所表示的允许范围之内，计算视频数据或音频数据的特征量。

10.根据权利要求9所述的视听环境控制装置，其特征在于：

所述校正信息用以表示与作为所述视频数据的特征量而被计算出的明度及色彩的其中至少一方相关的允许范围。

11.根据权利要求9所述的视听环境控制装置，其特征在于：

所述校正信息用以表示与作为所述音频数据的特征量而被计算出的频率及声压级的其中至少一方相关的允许范围。

12.一种视听环境控制装置，

根据从外部接收的控制基准数据，对视听环境设备进行控制，

该视听环境控制装置的特征在于，具备：

计算单元，计算从外部接收的视频数据或音频数据的特征量；

校正单元，使用所述视频数据或音频数据的特征量，对所述控制基准数据进行校正。

13.根据权利要求12所述的视听环境控制装置，其特征在于：

所述控制基准数据以节段为单位被设定，其中，所述节段是用于构成所述视频数据或音频数据的帧的集合。

14.根据权利要求12或13所述的视听环境控制装置，其特征在于：

所述控制基准数据是与明度及色彩的其中至少一方相关的颜色基准信息。

15.根据权利要求12或13所述的视听环境控制装置，其特征在于：

所述控制基准数据是与频率及声压级的其中至少一方相关的音响基准信息。

16.一种数据发送装置，

对视听环境控制装置发送数据，所述视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，

该数据发送装置的特征在于：

具备用于发送参照信息的发送单元，其中，所述参照信息用以表示计算所述视频数据或音频数据的特征量时的计算区域。

17.根据权利要求16所述的数据发送装置，其特征在于：

所述参照信息用以表示计算所述视频数据的特征量时的画面区域。

18.根据权利要求16所述的数据发送装置，其特征在于：

所述参照信息用以表示计算所述音频数据的特征量时的频域。

19.一种数据发送装置，

对视听环境控制装置发送数据，所述视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，

该数据发送装置的特征在于：

具备用于发送运算指定信息的发送单元，其中，所述运算指定信息用以表示计算所述视频数据或音频数据的特征量时的计算方法。

20.根据权利要求19所述的数据发送装置，其特征在于：

所述运算指定信息用以指定计算作为所述视频数据的特征量的、预定画面区域内的平均色。

21.根据权利要求19所述的数据发送装置，其特征在于：

所述运算指定信息用以指定计算作为所述视频数据的特征量的、预定画面区域内的高亮度区域色。

22.根据权利要求19所述的数据发送装置，其特征在于：

所述运算指定信息用以指定计算作为所述视频数据的特征量的、与预定画面区域内的相关色温相对应的颜色。

23.根据权利要求19所述的数据发送装置，其特征在于：

所述运算指定信息用以指定计算作为所述视频数据的特征量的、与预定画面区域内的记忆色相对应的颜色。

24.一种数据发送装置，

对视听环境控制装置发送数据，所述视听环境控制装置根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，

该数据发送装置的特征在于：

具备用于发送校正信息的发送单元，其中，所述校正信息用以表示计算所述视频数据或音频数据的特征量时的允许范围。

25.根据权利要求24所述的数据发送装置，其特征在于：

所述校正信息用以表示与作为所述视频数据的特征量而被计算出的明度及色彩的其中至少一方相关的允许范围。

26.根据权利要求24所述的数据发送装置，其特征在于：

所述校正信息用以表示与作为所述音频数据的特征量而被计算出的频率及声压级的其中至少一方相关的允许范围。

27.一种数据发送装置，

向视听环境控制装置发送用以控制视听环境设备的控制基准数据，

该数据发送装置的特征在于：

所述控制基准数据以节段为单位被设定，其中，所述节段是用于构成视频数据或音频数据的帧的集合。

28.根据权利要求27所述的数据发送装置，其特征在于：

所述控制基准数据是与明度及色彩的其中至少一方相关的颜色基准信息。

29.根据权利要求28所述的数据发送装置，其特征在于：

所述控制基准数据是与频率及声压级的其中至少一方相关的音响基准信息。

30.一种视听环境控制系统，其特征在于具备：

权利要求1至15中任意1项所述的视听环境控制装置；

用以显示所述视频数据的显示装置；

与所述显示装置设置在同一视听环境内的视听环境设备。

31.一种视听环境控制方法，

根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，

该视听环境控制方法的特征在于，包含：

接收步骤，接收参照信息，其中，所述参照信息用以表示计算所述视频数据或音频数据的特征量时的计算区域；

计算步骤，计算所述参照信息所表示的计算区域中的视频数据或音频数据的特征量。

32.一种视听环境控制方法，

根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，

该视听环境控制方法的特征在于，包含：

接收步骤，接收运算指定信息，其中，所述运算指定信息用以表示计算所述视频数据或音频数据的特征量时的计算方法；

计算步骤，根据所述运算指定信息所表示的计算方法，计算视频数据或音频数据的特征量。

33.一种视听环境控制方法，

根据由1个以上的帧构成的视频数据或音频数据的特征量来对视听环境设备进行控制，

该视听环境控制方法的特征在于，包含：

接收步骤，接收校正信息，其中，所述校正信息用以表示计算所述视频数据或音频数据的特征量时的允许范围；

计算步骤，在所述校正信息所表示的允许范围之内，计算视频数据或音频数据的特征量。

34.一种视听环境控制方法，

根据从外部接收的控制基准数据来对视听环境设备进行控制，

该视听环境控制方法的特征在于，包含：

计算步骤，计算从外部接收的视频数据或音频数据的特征量；

校正步骤，使用所述视频数据或音频数据的特征量，对所述控制基准数据进行校正。

35.一种视听环境控制程序，其特征在于：

使权利要求1至15中任意1项所述的视听环境控制装置运作，使计算机发挥所述的各单元的功能。

36.一种计算机可读取的记录介质，其特征在于：

记录有权利要求35所述的控制程序。

Images