CN101427578A - 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统、及视听环境控制方法 - Google Patents

数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统、及视听环境控制方法 Download PDF

Info

Publication number
CN101427578A
CN101427578A CNA2007800142640A CN200780014264A CN101427578A CN 101427578 A CN101427578 A CN 101427578A CN A2007800142640 A CNA2007800142640 A CN A2007800142640A CN 200780014264 A CN200780014264 A CN 200780014264A CN 101427578 A CN101427578 A CN 101427578A
Authority
CN
China
Prior art keywords
illumination
data
shooting
light
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800142640A
Other languages
English (en)
Inventor
岩波琢也
山本健一郎
吉田育弘
吉井隆司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101427578A publication Critical patent/CN101427578A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供与显示影像在摄像时的照明状况相应的、能够实现最佳的视听环境的照明控制的视听环境控制系统。数据发送装置设置将表示影像数据的各场景摄像时的照明状况的摄像照明数据多路复用为所述影像数据的数据多路复用部、及调制将摄像照明数据多路复用的影像数据并将其发送的发送部而构成。进行接收的数据接收装置设置从影像数据分离摄像照明数据的数据分离部(22)、根据该摄像照明数据控制照明装置(27)的照明光的CPU(23)、及照明控制数据生成部(24)。

Description

数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统、及视听环境控制方法
技术领域
本发明涉及在影像显示装置显示影像时，能够适应该影像的摄像场景的气氛和场面的设定、并能够对影像显示装置的周围的照明光线进行控制的数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统、及视听环境控制方法。
背景技术
在例如利用电视接收机那样的影像显示装置进行影像显示的情况下、或利用投影装置投影显示影像那样的情况下，通过将其周围的照明光线调整得适合显示影像，赋予提高临场感等视听演出效果的技术已经是公知的。
在例如日本专利特开平2—158094号公报中，揭示了根据彩色电视的显示影像的色信号(RGB)与辉度信号(Y)，对每帧计算出光源三原色的混光照度比，与影像连动进行调光控制的光色可变型照明装置。该光色可变型照明装置从彩色电视的显示影像取出色信号(RGB)和辉度信号(Y)，根据该色信号和辉度信号，计算出使用于光源的三色光(红色、绿色、蓝色光线)的合适的调光照度比，根据该照度比设定三色光的照度，将三色光混合作为照明光输出。
再有，在例如日本专利特开平2—253503号公报中揭示了将电视影像分割为多个，通过检测对应的分割部分的平均色调，以此控制分割部分周围的照明的影像演出照明装置。该影像演出照明装置具备对彩色电视设置场所的周围进行照明的照明部，将彩色电视上显示的影像分割成多个，检测与照明部照明的部分相对应的影像的分割部分的平均色调，根据该检测出的色调对照明部进行控制。
进一步在例如日本专利特开平3—184203号公报中揭示了如下方法，不是单纯地求出影像显示装置的整个画面的平均色度和平均辉度，而是考虑将从影像显示装置的画面上放映的影像中去掉人的面孔等肤色部分的像素后剩余的部分作为背景部，只取出该背景部的各像素的RGB信号及辉度信号来求出平均色度和平均辉度，并控制照明，使得影像显示装置的背面的墙面的色度和辉度与整个画面或除人的肤色以外的背景部的平均色度和平均辉度相同。
发明内容
通常，影像的场景根据例如影像制作者(剧作家或导演等)的意图，作为基于一连串的场面设定的一个片段的影像，在适当设定的照明状况下摄制。因而，为了增加收看影像时的临场感和气氛，最好是对视听空间照射与显示影像的场景摄像时的照明状况相应的照明光。
但是，在上述已有的视听环境控制装置中，由于检测应显示的影像信号中每一帧(画面)的特征量(色信号和辉度信号)、来控制照明光，因此根据显示影像内容生成适合该影像的场景状况的照明光是困难的。例如，受影像信号中包含的被摄像人物的服装或被摄体的背景中的人造物体等的影响，用不合适的颜色的光线对周围进行照明时，不能再现每一场景的气氛，或不能维持每一场景的临场感。即，大大偏离各场景摄像时所使用的照明状况的视听环境照明反而会破坏临场感。
另外，上述已有技术中，照明光相应于影像信号的每一帧辉度和色调的变化而变化，特别是在帧之间的辉度和色调变化的程度较大等的情况下，照明光线变化复杂，会产生使观看者感到由闪烁造成的异样感的问题。进一步在摄像时的照明状况没有变化的1个场景的显示中，照明光线相应于每一帧的辉度和色调的变化而发生变动反而影响每一场景的气氛，因此是不理想的。
图1是说明上述已有技术的照明控制的存在问题的一个例子的说明图，其表示连续的动态图像的一部分。图1(A)所示的例子中，制成在设定晴天白天室外的场面下所摄像的影像的场景。该场景由摄像机不切换地利用一连串的摄像操作进行摄像所得到的影像构成。在该例子中，摄像了滑雪者从摄像机上方向摄像机附近滑下来的影像。滑雪者穿红色的衣服，天空是晴天。
即，该影像场景如图1(B)所示，是在冬日白天晴天的太阳光(自然光)下摄像的，且是在下述照明状况下摄像的，即该太阳光是主光，该主光的照明光源的性质是点光(点光源)，水平方向的照明光的入射方向是顺光，垂直方向的照明光的入射方向是顶光，照明强度为强，照明色温为约6000K。
而且该场景的影像，其初期的帧的背景的蓝色天空的区域大，随着滑雪者滑下来接近摄像机，滑雪者的红色衣服的区域慢慢变大起来。即，随着场景内的影像的行进，构成各帧的颜色的比例发生变化。
在这样的情况下，使用每一帧的色度和辉度对照明光进行控制时，从蓝色较强的照明光向红色照明光变化。即，尽管是上述照明状况下摄像的影像，由于生成、照射不考虑该摄像时的照明状况的照明光，反而破坏该场景的气氛，给观看者带来异样感。另外，如果在一个场面设定(气氛)连续的一个片段的场景内改变照明光的色调，还是会破坏该场景的气氛，给观看者带来异样感。
图2是用于说明上述已有技术的照明控制的存在问题的另一例子的说明图。图2(A)所示的例子中，制成在月夜的室外这样的场面设定的情况下摄像的影像的场景。该场景由摄像操作不同的3个镜头(1、2、3)构成。镜头1中，摄像机用长镜头摄像作为对象的亡灵。然后，切换到镜头2时，用近景摄像来摄像该亡灵。镜头3再度返回镜头1的摄像机位置。即使摄像操作不同，这些镜头也是作为气氛连续的一个片段的场景而有意构成的。
在该场景的摄像中，如图2(B)所示，采用照明光源的性质为面光(面光源)、水平方向的照明光的入射方向为顺光、垂直方向的照明光的入射方向为顶光、照明强度为普通、照明色温为约7000K的主光(上段)；照明光源的性质为面光(面光源)、水平方向的光的入射方向为伦布兰特(Rembrandt)光(左)、垂直方向的光的入射方向为脚光、照明光线强度为弱、照明色温为约7000K的辅助光(fill light)(中段)；及照明光源的性质为点光(点光源)、水平方向的光的入射方向为侧光(右)、垂直方向的光的入射方向为顺光、照明强度为稍弱、照明色温为约5000K的背景光(touch light)(下段)。
在这样的情况下，镜头1中，月夜的比较暗的影像连续，因此按照这些影像的各帧的辉度和色度控制照明光时，得到比较暗的照明光。然后镜头1切换到镜头2时，用向上镜头(up shot)摄像的亡灵成为比较明亮的影像。这时利用上述已有技术对每帧控制照明光时，镜头切换时照明光的控制有很大变化，成为明亮的照明光。然后，切换到镜头3时，重新变成与镜头1相同的暗照明光。
即，尽管是在上述照明状况下摄像的一连串影像，由于生成、照射不考虑该摄像时的照明状况的照明光，反而影响该场景的气氛，给观看者带来异样感。另外，在一个场面设定(气氛)连续的一个片段的场景内使照明光或暗或明，还是会影响该场景的气氛，给观看者带来异样感。
本发明是鉴于上述问题而完成的，其目的在于，提供与显示影像在摄像时的照明相应的、能够实现最佳的视听环境的照明控制的数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统、及视听环境控制方法。
本申请的第1发明，是发送由1个以上的场景构成的影像数据的数据发送装置，其中，将表示所述影像数据的各场景摄像时的照明状况的摄像照明数据附加于所述影像数据进行发送。
本申请的第2发明中，以所述影像数据的场景为单位附加所述摄像照明数据。
本申请的第3发明中，以所述影像数据的镜头为单位附加所述摄像照明数据。
本申请的第4发明中，以所述影像数据的帧为单位附加所述摄像照明数据。
本申请的第5发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光型的信息。
本申请的第6发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的性质的信息。
本申请的第7发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的方向的信息。
本申请的第8发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的强度的信息。
本申请的第9发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的色度的信息。
本申请的第10发明，是一种数据发送装置，它是接收来自外部的请求、将表示构成影像数据的各场景摄像时的照明状况的摄像照明数据进行发送的数据发送装置，其中，将所述摄像照明数据在构成所述影像数据的各场景的开始时刻一起发送。
本申请的第11发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光型的信息。
本申请的第12发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的性质的信息。
本申请的第13发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的方向的信息。
本申请的第14发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的强度的信息。
本申请的第15发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的色度的信息。
本申请的第16发明中，具备将应在显示装置显示的影像数据和表示构成该影像数据的各场景摄像时的照明状况的摄像照明数据进行接收的接收手段、及根据所述摄像照明数据对在所述显示装置周边设置的照明装置的照明光进行控制的控制手段。
本申请的第17发明中，所述控制手段以所述影像数据的场景为单位切换控制所述照明装置的照明光线。
本申请的第18发明中，所述控制手段不仅使用所述摄像照明数据、还使用所述影像数据的特征量对所述照明装置的照明光进行控制。
本申请的第19发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光型的信息。
本申请的第20发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的性质的信息。
本申请的第21发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的方向的信息。
本申请的第22发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的强度的信息。
本申请的第23发明中，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光的色度的信息。
本申请的第24发明，是一种视听环境控制系统，其中，具备视听环境控制装置、及利用该视听环境控制装置控制视听环境照明光线的照明装置。
本申请的第25发明，是一种数据发送方法，它是发送由1个以上的场景构成的影像数据的数据发送方法，其中，将表示所述影像数据的各场景摄像时的照明状况的摄像照明数据附加于所述影像数据进行发送。
本申请的第26发明，是一种数据发送方法，它是接收来自外部的请求将表示构成影像数据的各场景摄像时的照明状况的摄像照明数据的数据进行发送的发送方法，其中，将所述摄像照明数据在构成所述影像数据的各场景的开始时刻一起发送。
本申请的第27发明，其中，将应在显示装置显示的影像数据和表示构成该影像数据的各场景摄像时的照明状况的摄像照明数据进行接收，根据所述摄像照明数据对在所述显示装置周边设置的照明装置的照明光进行控制。
根据本发明，能够实现与影像摄像时的照明状况相应的最佳的视听环境。
附图说明
图1是用于说明已有技术的照明变动的问题的一个例子的说明图。
图2是用于说明已有技术的照明变动的问题的另一个例子的说明图。
图3是表示本发明的第1实施方式的视听环境控制系统的影像发送装置的要部的概要构成的方框图。
图4是表示本发明的第1实施方式的视听环境控制系统的影像发送装置的输出位流的例子的说明图。
图5是本发明第1实施方式的视听环境控制系统的摄像照明数据的一个例子的说明图。
图6是用于说明摄像照明光线的水平方向与垂直方向的区分的说明图。
图7是用于说明影像的构成要素的说明图。
图8是表示本发明的第1实施方式所涉及的视听环境控制系统的影像接收装置的要部的概要构成的方框图。
图9是表示本发明的第1实施方式所涉及的视听环境控制系统的视听环境空间的例子的说明图。
图10是表示本发明的第1实施方式所涉及的视听环境控制系统的控制数据的一个例子的说明图。
图11是表示本发明的第1实施方式所涉及的视听环境控制系统的照明光线的颜色再现范围的说明图。
图12是表示本发明的第1实施方式所涉及的视听环境控制系统的照明光方向信息与对应的照明装置ID的关系的例子的说明图。
图13是表示与图1所示的影像场景对应的摄像照明数据的说明图。
图14是表示本发明的第1实施方式所涉及的视听环境控制系统中、根据图11所示的摄像照明数据生成的照明控制数据的说明图。
图15是表示本发明的第1实施方式所涉及的视听环境控制系统中、根据图14所示的照明控制数据实现的视听环境空间的说明图。
图16是表示与图2所示的影像场景对应的摄像照明数据的说明图。
图17是表示本发明的第1实施方式所涉及的视听环境控制系统中、根据图16所示的摄像照明数据生成的照明控制数据的说明图。
图18是表示本发明的第1实施方式所涉及的视听环境控制系统中、根据图17所示的照明控制数据所实现的视听环境空间的说明图。
图19是表示本发明的第2实施方式所涉及的视听环境控制系统的影像接收装置的要部的概要构成的方框图。
图20是表示图19的照明控制数据生成部的方框图。
图21是表示本发明的第2实施方式所涉及的视听环境控制系统的照明光的颜色再现范围的说明图。
图22是表示本发明的第3实施方式所涉及的视听环境控制系统的外部服务器装置的要部的概要构成的方框图。
图23是表示本发明的第3实施方式所涉及的视听环境控制系统的摄像照明数据存储列表的一个例子的说明图。
图24是表示本发明的第3实施方式所涉及的视听环境控制系统的摄像照明数据存储列表的一个例子的说明图。
图25是表示本发明的第3实施方式所涉及的视听环境控制系统的摄像照明数据存储列表的一个例子的说明图。
图26是表示本发明的第3实施方式所涉及的视听环境控制系统的摄像照明数据存储列表的一个例子的说明图。
图27是表示本发明的第3实施方式所涉及的视听环境控制系统的影像接收装置的要部的概要构成的方框图。
图28是表示本发明的第4实施方式所涉及的视听环境控制系统的影像接收装置的要部的概要构成的方框图。
图29是表示图28中的照明控制数据生成部的方框图。
具体实施方式
图3是说明本发明的第1实施方式所涉及的视听环境控制系统用的表示影像发送装置(数据发送装置)的要部的概要构成的方框图，本实施方式中的影像发送装置，如图3所示，具备将作为影像数据、声音数据、附加信息提供的各摄像照明数据分割成传输流数据包(transport stream packet；TSP)形式并多路复用的数据多路复用部1；及对多路复用部1的输出数据附加纠错符号等之后再实施调制、然后作为发送数据发送到传输路径上的发送部2。图4是表示用MPEG2(Moving Picture Experts Group 2：移动图像专家组2)—系统(Systems)所规定的传输流数据包(TSP)的构成概要的说明图，11为写入TSP的数据内容即由其它的MPEG2系统所规定的信息的数据包头(header)，12为扩展数据包头(adaptation field：适配区域)即能够写入发送者所决定的信息的部分，13为由影像、声音等数据构成的有效载荷。本实施方式中，例如，可使其构成为用有效载荷13传输影像数据及声音数据，用扩展数据包头(adaptation field：适配区域)12传输作为附加信息的摄像照明数据等。此外，也可使得对影像数据、声音数据、摄像照明数据的各自不同的数据流进行多路复用来传输。
此处，参照图5，对于表示影像数据的各场景的摄像时的照明状况的摄像照明数据进行详细说明。本实施方式中，作为摄像照明数据，具有：表示各场景的摄像中所使用的照明的光型的光型信息；表示各场景的摄像中所使用的照明光源的性质的照明性质信息；表示各场景的摄像中所使用的照明的光线的入射方向(水平方向)的照明光方向(水平方向)信息；表示各场景的摄像中所使用的照明的光线的入射方向(垂直方向)的照明光方向(垂直方向)信息；表示各场景的摄像中所使用的照明的光线的强度的照明强度信息；表示各场景的摄像中所使用的照明的光线的色度的照明色温信息。这些信息的任一信息都是对推测各场景的摄像时的照明环境、利用照明光表演出各场景的气氛及临场感有用的信息。以下对各自的信息进行说明。
首先，作为一般常使用的摄像照明的光型，已知主光、辅助光(checklight：补光)、背景光、基础光。主光是由主光源照射的、在该场面设定上的光线中作为中心的光，例如在白天室外的地点相当于普通太阳光线。辅助光(补光)是由辅助光源照射的、消除影子等、照亮被摄体及增加光泽的光，例如在白天的室外的地点利用反光板反射太阳光、照射暗处的光即为该光。
另外，背景光是用于将被摄体与背景分离、给予立体感的光，另外，是从斜后方照射的对用于表现阴暗有效的光。基础光是用于平均照亮整体、缓和强烈对比的光。
由于通常组合使用1种以上的光型而进行摄像，因此通过与每种光型的照明状况相应地进行后述的视听环境照明控制，可提高显示影像场景的临场感。因而，本实施方式中，作为光型信息，摄像照明数据中含有表示各影像场景的摄像时的照明光属于主光/辅助光(补光)/背景光/基础光的任意一种中哪种的2位的写入。
再有，按每种光型决定所使用的照明光源的性质。作为通常摄像时的照明光源的性质，例如有点光(点光源)、及面光(面光源)。点光(点光源)是光的方向性清楚的照明，是清晰显示影子的照明。另一方面，面光(面光源)是用于对整个空间整体得到均匀亮度的照明，是影子模糊而不强烈表现明暗的照明。
由于通常按每种光型决定所使用的照明光源的性质，因此通过与该照明光源的性质相应地进行后述的视听环境照明控制，可提高显示影像场景的临场感。例如，再现点光(点光源)的照明光时，可减小视听环境照明装置的照明范围，再现面光(面光源)的照明光时，可扩大视听环境照明装置的照明范围。
因而，本实施方式中，作为照明性质信息，摄像照明数据中含有表示各影像场景的摄像时所使用的照明光源的性质属于点光(点光源)/面光(面光源)的任意一种中哪种的1位的写入。
再进一步，由于按每种光型决定照明光的方向，通过与该照明光的方向相应地进行后述的视听环境照明控制，可提高显示影像场景的临场感。即，通过独立控制在影像显示装置的上下左右配置的多个照明装置，可细致地再现影像摄像时的摄像照明环境。
图6中，O表示被摄体，C表示摄像机。此处，作为照明光的水平方向的区分，如图6(A)所示，分为顺光、侧光(左、右)、逆光、轮廓光(左、右)、伦布兰特光(左、右)。顺光是最有效地得到亮度的来自正面的光。侧光是虽可强调立体感但强烈表现阴影、以强烈对比得到强烈的印象的光。逆光是可产生浮现轮廓的阴影效果的、并带有奇幻效果的来自后方的光。轮廓光是用于强调立体感及表现毛发细节的半逆光性的方向的光。伦布兰特光是最佳地表现面部特征、可使其显得美观的45度方向的光。
再有，作为照明光的垂直方向的区分，如图6(B)所示，分为顺光、逆光、顶光、脚光、伦布兰特光。顺光是最有效地得到亮度的来自正面的光。逆光是可产生浮现轮廓的阴影效果的、并带有奇幻效果的来自后方的光。顶光是与其说使人物显得美观、不如说是用于特征性的影像表现等的来自被摄体的大约正上方的光。脚光是作为特殊效果目的使用的来自被摄体的前下方的光。伦布兰特光是最佳地表现面部特征、可使其显得美观的45度方向的光。
因而，本实施方式中，作为照明光方向(水平方向)信息，摄像照明数据中含有表示各影像场景的摄像时的照明光的入射方向(水平方向)属于顺光/侧光(左)/侧光(右)/逆光/轮廓光(左)/轮廓光(右)/伦布兰特光(左)/伦布兰特光(右)的任意一种中哪种的3位的写入。另外，作为照明光方向(垂直方向)信息，摄像照明数据中含有表示各影像场景的摄像时的照明光的入射方向(垂直方向)属于顺光/逆光/顶光/伦布兰特光的任意一种中哪种的3位的写入。
再有，由于按每种光型决定照明光的强度及色度，因此通过与该照明光的强度及色度相应地进行后述的视听环境照明控制，可提高显示影像场景的临场感。此处，作为照明强度信息，摄像照明数据中含有表示各影像场景的摄像时的照明的光的强度属于非常弱/弱/稍弱/普通/稍强/强/非常强的任意一种中哪种的3位的写入。另外，作为照明色温信息，摄像照明数据中含有表示影像场景的摄像时的照明的光的色温(K)属于1000/2000/3000/4000/5000/6000/7000/8000/9000/10000/11000/12000/13000/14000/15000/25000的任意一种中哪种的4位的写入。
此外，摄像照明数据中包含的各种信息明显不限于上述信息。例如，也可预先写入照明器具类别(钠灯/汞灯/LED(发光二极管)/荧光灯/蜡烛/…/金属卤化物灯等)信息或颜色转换滤光镜(conversion filter)类别信息，求出此后摄像时的照明光的色温，来代替直接表示摄像照明光的色温的照明色温信息。另外，不限于摄像照明光的色温，当然也可写入直接表示色度的信息。
再有，上述摄像照明数据是根据台本(也称作剧本或脚本)来制成的，可利用影像摄像现场所使用的布光规划等生成该摄像照明数据，此时，可省去制作新的摄像照明数据的工作。
图7是用于说明影像的构成要素的说明图，以下参照图7对包含场景及镜头的影像的构成进行说明。构成连续的动态图像的影像数据如图7所示，可分成3层(layer)结构来考虑。构成影像(Video)的第1层(#1)是帧(Frame)。帧是物理上的层，是指单独的2维图像。帧通常以每秒30帧的速率来得到。第2层(#2)是镜头(Shot)。镜头是由单独的摄像机所摄像的帧列。然后，第3层(#3)是场景(Scene)。场景是具有故事上的关系的镜头列。
此处，能够以影像数据的帧为单位或以镜头为单位或以场景为单位附加上述的摄像照明数据。最低限度地以场景为单位附加摄像照明数据时，可高效地实现后述的视听环境照明的控制，而以帧为单位附加摄像照明数据时，可更细致地对视听环境照明进行控制。例如，也可按照影像制作者(剧作家或导演等)的意图，只对特定的帧(切换场景时的帧等)附加摄像照明数据。
再有，通过以各镜头为单位附加摄像照明数据，例如，即使对于同一场景内含有室内和室外的镜头，也可实现合适的视听环境照明控制。除此之外，也可构成使其以影像数据的随机存取的单位所对应的GOP(Group ofPicture：图像群)等为单位附加摄像照明数据。
接着，对接收由上述影像发送装置送出的广播数据、将影像·声音进行显示·播放、并且控制此时的视听环境照明的影像接收装置(数据接收装置)进行说明。
图8是表示本发明的第1实施方式所涉及的视听环境控制系统的影像接收装置的要部的概要构成的方框图，本实施方式中的影像接收装置如图8所示，具备：接收并解调由传输线路输入的广播数据、并且进行纠错的接收部21；从接收部21的输出数据中、对输出至影像显示装置25的影像数据、输出至声音播放装置26的声音数据、及作为附加信息的摄像照明数据分别进行分离·提取的数据分离部22；接收由数据分离部22分离的摄像照明数据、将与相应于构成前述影像数据的各场景的场面设定(气氛)的照明相关的控制数据进行输出的CPU(中央处理器)23；将与来自CPU23的输出控制数据相对应的照明控制数据(RGB数据)向照明视听环境空间的照明装置27输出的照明控制数据生成部24。
此处，照明装置27设置在影像显示装置25的周围，可由发射具有预定的色调的例如RGB的三原色的光的LED构成。但是，照明装置27只要是可控制影像显示装置25的周围环境的照明色及亮度的构成即可，不限于上述那样的发射预定颜色的光的LED的组合，也可由白色LED和滤色镜构成，或者也可采用白色电灯泡或荧光管与滤色镜的组合或彩色灯。另外，可以设置1个以上的照明装置27。
本实施方式中，如图9所示，在设置影像显示装置25的视听环境空间设置可分别独立控制的62个(ID1～ID62)的照明装置27。对各自的照明装置给予ID，此处，ID1～ID8的照明装置作为从上方照射影像显示装置25的左侧墙壁的照明装置，ID9～ID18的照明装置作为从上方照射影像显示装置25的后侧墙壁的照明装置，ID19～ID26的照明装置作为从上方照射影像显示装置25的右侧墙壁的照明装置，ID27～ID34的照明装置作为从下方照射影像显示装置25的左侧墙壁的照明装置，ID35～ID44的照明装置作为从下方照射影像显示装置25的后侧墙壁的照明装置，ID45～ID52的照明装置作为从下方照射影像显示装置25的右侧墙壁的照明装置，ID53～ID62的照明装置作为照射影像显示装置25的天花板的照明装置，来设置62个照明装置。
CPU23从与图5一起说明的摄像照明数据中，对每一ID的各照明装置决定、通过利用照明装置27的视听环境照明应再现各场景的摄像时的照明环境的、照明光的强度及色温(黑体轨迹上的一点)，将其作为控制数据向照明控制数据生成部24输出。本实施方式中，根据摄像照明数据中所包含的各种信息，在每一ID的各照明装置生成例如如图10(A)所示、以7个层次表示照明强度的控制数据，并且生成如图10(B)所示、以16个层次表示照明色温的控制数据。此外，CPU23将与每种光型的照明状况相关的信息进行相加，生成应再现摄像时的照明环境的、每个ID的各照明装置的控制数据。
此处，黑体是指吸收所有能量的理想化的物体，温度上升时该黑体发出的光的颜色如红→黄→白进行变化。将此时的绝对温度称为色温。将该色温和颜色轨迹(黑体轨迹)在xy色度图上进行表示时，成为如图11那样。光源的颜色不在黑体轨迹上时，将不完全一致但最接近的黑体的温度称为「相关色温」。一般将相关色温和距黑体轨迹的偏差(Δuv)一起表示。
如图10(C)所示，照明控制数据生成部24生成与来自CPU23的控制数据(强度、色温)相对应的RGB数据，并向照明装置27输出。即，通过将每个ID的各照明装置的RGB数据向对应的ID的照明装置输出，可实现与显示影像的摄像时的照明状况相对应的最佳的视听环境的照明控制。即，CPU23中预先存储与各照明装置的设置位置(对应于影像显示装置的显示画面的相对位置)相关的信息，使用该位置信息和摄像照明数据，生成应再现摄像时的照明环境的对应于各照明装置的控制数据。
例如，照明性质信息为点光(点光源)时，利用以位于该照射光的入射方向的ID的照明装置为中心的N个照明装置，照射预定的强度及色温的照射光。另外，照明性质信息为面光(面光源)时，利用包括位于该照射光的入射方向的ID的照明装置的较大范围的M(M》N)个照明装置，照射预定的强度及色温的照射光。
另外，如图12所示为例如摄像照明光的入射方向与对应的照明装置ID的关系例。即，图12(A)中，水平方向的照明光的方向为顺光、垂直方向的照明光的方向为脚光以外的情况中，为再现该照明光，使用ID9～ID18的照明装置。另外，水平方向的照明光的方向为侧光(左)、垂直方向的照明光的方向为脚光以外的情况中，为再现该照明光，使用ID1～ID8的照明装置；水平方向的照明光的方向为侧光(右)、垂直方向的照明光的方向为脚光以外的情况中，为再现该照明光，使用ID19～ID26的照明装置。
进一步地，水平方向的照明光的方向为逆光、垂直方向的照明光的方向为脚光以外的情况中，为再现该照明光，使用ID5～ID22的照明装置；水平方向的照明光的方向为轮廓光(左)、垂直方向的照明光的方向为脚光以外的情况中，为再现该照明光，使用ID9～ID13的照明装置；水平方向的照明光的方向为轮廓光(右)、垂直方向的照明光的方向为脚光以外的情况中，为再现该照明光，使用ID14～ID18的照明装置。
再有，水平方向的照明光的方向为伦布兰特光(左)、垂直方向的照明光的方向为脚光以外的情况中，为再现该照明光，使用ID5～ID11的照明装置；水平方向的照明光的方向为伦布兰特光(右)、垂直方向的照明光的方向为脚光以外的情况中，为再现该照明光，使用ID16～ID22的照明装置。
另外，水平方向的照明光的方向为顺光、垂直方向的照明光的方向为脚光的情况中，为再现该照明光，如图12(B)所示，使用ID35～ID44的照明装置；水平方向的照明光的方向为侧光(左)、垂直方向的照明光的方向为脚光的情况中，为再现该照明光，使用ID27～ID34的照明装置。水平方向的照明光的方向为侧光(右)、垂直方向的照明光的方向为脚光的情况中，为再现该照明光，使用ID45～ID52的照明装置。
进一步地，水平方向的照明光的方向为逆光、垂直方向的照明光的方向为脚光的情况中，为再现该照明光，使用ID31～ID48的照明装置；水平方向的照明光的方向为轮廓光(左)、垂直方向的照明光的方向为脚光的情况中，为再现该照明光，使用ID35～ID39的照明装置；水平方向的照明光的方向为轮廓光(右)、垂直方向的照明光的方向为脚光的情况中，为再现该照明光，使用ID40～ID44的照明装置。
再有，水平方向的照明光的方向为伦布兰特光(左)、垂直方向的照明光的方向为脚光的情况中，为再现该照明光，使用ID31～ID37的照明装置；水平方向的照明光的方向为伦布兰特光(右)、垂直方向的照明光的方向为脚光的情况中，为再现该照明光，使用ID42～ID48的照明装置。
另外，与水平方向的照明光的方向无关、垂直光的照明光的方向为顶光的情况中，如图12(C)所示，为再现该照明光，使用ID53～ID62的照明装置。这样，通过根据摄像照明数据、独立控制配置于影像显示装置25的上下左右的多个照明装置，可极其细致地再现摄像现场的照明状况、并增加影像视听时的临场感。
接着，参照图13说明与摄像照明数据相应的具体的照明控制例。图13表示与图1中一起说明的影像场景相对应的摄像照明数据，该影像场景是只在照明光源的性质为点光(点光源)、水平方向的照明光的入射方向为顺光、垂直方向的照明光的入射方向为顶光、照明强度为强、照明色温为约6000K的主光(太阳光)的照明状况下所摄像的情况。
CPU23根据摄像照明数据，生成控制照明装置27的控制数据，使得利用从上方照射影像显示装置25的后侧墙壁的ID9～ID18的照明装置、及照射影像显示装置25的天花板的ID53～ID62的照明装置，照射照明强度为强、照明色温为约6000K(图11的xy色度图上、(b)点所示)的照明光。
照明控制数据生成部24接收来自CPU23的控制数据，输出如图14所示的照明控制数据(RGB数据)。由此，如图15所示，从照射装置ID9～ID18及ID53～ID62照射光线，利用合适的照射光照射影像显示装置25的后侧墙壁及天花板，可在视听空间再现上述的显示影像场景的摄像时的照明环境，能够增加影像视听时的临场感。
另外，图16表示与图2中一起说明的影像场景相对应的摄像照明数据，该影像场景是在照明光源的性质为面光(面光源)、水平方向的照明光的入射方向为顺光、垂直方向的照明光的入射方向为顶光、照明强度为普通、照明色温为约7000K的主光(上段)；照明光源的性质为面光(面光源)、水平方向的光的入射方向为伦布兰特光(左)、垂直方向的光的入射方向为脚光、照明强度为弱、照明色温为约7000K的辅助光(中段)；及照明光源的性质为点光(点光源)、水平方向的光的入射方向为侧光(右)、垂直方向的光的入射方向为顺光、照明强度为稍弱、照明色温为约5000K的背景光(下段)的照明状况下所摄像的情况。
CPU23根据该摄像照明数据，生成控制照明装置27的控制数据，使得利用从上方照射影像显示装置25的后侧墙壁的ID9～ID18的照明装置、及照射影像显示装置25的天花板的ID53～ID62的照明装置，照射照明强度为普通、照明色温为约7000K(图11的xy色度图上、(c)点所示)的照明光；利用从上方照射影像显示装置25的右侧墙壁的ID19～ID26的照明装置，照射照明强度为弱、照明色温为约7000K(图11的xy色度图上、(c)点所示)的照明光；并且利用从下方照射影像显示装置25的左侧墙壁的ID31～ID37的照明装置，照射照明强度为稍弱、照明色温为约5000K(图11的xy色度图上、(a)点所示)的照明光。
照明控制数据生成部24接收来自CPU23的控制数据，输出如图17所示的照明控制数据(RGB数据)。由此，如图18所示，利用合适的照射光照射影像显示装置25的天花板、后侧墙壁及左右侧的墙壁，可在视听空间再现上述的显示影像场景的摄像时的照明环境，能够增加影像视听时的临场感。
如上所述，本实施方式中，可从与影像数据一起作为摄像照明数据输入的各种信息内容中，求出应适当地再现各场景的摄像时的照明状况(气氛)的照明控制数据，从而控制照明装置27的照明光。因而，可实现不受影像内容影响的、自然无异样感的视听环境照明，可增加影像视听时的临场感。
此外，本实施方式中，由于发送接收与各场景的摄像时照明状况相关的摄像照明数据，因此可进行与多种视听环境空间相适应的视听环境照明控制。即，通过预先将照明装置的数量或配置状况等与视听空间/照明装置相关的信息输入至CPU23，可由接收的摄像照明数据生成与每个影像视听空间相对应的合适的控制数据。
另外，只有1个照明装置或不可独立控制多个照明装置的情况中，例如，可只使用与主光相关的信息，进行视听环境照明的控制。这样，通过根据视听空间/照明装置适当选择/加工接收的摄像照明数据、来控制视听环境照明，可实现最佳的影像视听空间。此时，对于摄像照明数据，若将与主光、辅助光、背景光、基础光各自相关的照明状况信息作为具有层次结构的数据结构发送接收，可容易地选择/加工需要的信息。
进一步地，上述本发明的第1实施方式中，对只使用广播数据中所包含的摄像照明数据、来控制视听环境照明的情况进行说明，但为了实现更合适的视听环境照明的控制，也可为不仅使用摄像照明数据、还使用影像数据及/或声音数据、来控制视听环境照明的构成。对此，以下作为本发明的第2实施方式进行说明。
以下，对本发明的视听环境控制系统的第2实施方式与图19至图21一起进行详细说明，但对与上述第1实施方式相同的部分附加相同的标号，并省略其说明。此处，图19是表示本实施方式的视听环境控制系统的影像接收装置的要部的概要构成的方框图，图20是表示图19的照明控制数据生成部的方框图，图21是表示本实施方式的视听环境控制系统的照明光的颜色再现范围的说明图。
本实施方式中的影像发送装置(数据发送装置)与图3中一起说明的第1实施方式的影像发送装置相同，此处省略其说明。
本实施方式中的影像发送装置(数据发送装置)如图19所示，具备：接收并解调由传输线路输入的广播数据、并且进行纠错的接收部21；从接收部21的输出数据中、对输出至影像显示装置25的影像数据和TC(时间代码)、输出至声音播放装置26的声音数据和TC(时间代码)、及作为附加信息的摄像照明数据分别进行分离·提取的数据分离部22；接收由数据分离部22分离的摄像照明数据、将与构成前述影像数据的各场景的摄影时的照明状况相对应的控制数据进行输出的CPU33；将与来自CPU33的控制数据相对应的照明控制数据(RGB数据)向照明视听环境空间的照明装置27输出的照明控制数据生成部34；及对影像数据、声音数据、控制数据照明延迟与控制数据生成部34的处理时间相同的时间并输出的延迟产生部35、36、37。
此处，本实施方式的CPU33根据摄像照明数据，对每个ID的各照明装置求出照明光的强度及色温(黑体轨迹上的一点)，决定表示包含该色温的预定的颜色范围的信息(图21的xy色度图上、表示用点划线所示的范围的函数)，将这些信息作为控制数据输出。然后，在照明控制数据生成部34，进行修正以使根据影像数据、声音数据所求出的场面(气氛)推测结果在根据摄像照明数据所求出的颜色范围内，并输出照明控制数据(RGB数据)。
此外，时间代码(TC)是用于表示影像数据、声音数据各自的播放时间信息所附加的信息，例如，由表示影像数据的时(h)：分(m)：秒(s)：帧(f)的信息构成。
本实施方式的照明控制数据生成部34如图20所示，具备：根据摄像照明数据、检测场景区间的开始点(TC)、结束点(TC)的场景区间检测部41；根据从场景区间的开始点TC通过预定时间的影像数据及声音数据、推测摄像现场的照明状态及场面设定(气氛)的场面(气氛)推测部42；及根据场面(气氛)推测部42所推测的结果和CPU33所输出的控制数据、输出控制照明装置27的照明控制数据的照明控制部43。
对于场面(气氛)推测部42的摄像时的周围光的状态的推测方法，可采用以公知的技术为首的各种技术。此外，这里，为推测各场景的场面(气氛)，不仅使用影像数据的特征量，还使用声音数据的特征量，这是为了进一步提高场面(气氛)的推测精度，也可只从影像数据的特征量推测场景的场面(气氛)。
另外，作为影像数据的特征量，例如如上述已有例，也可原封不动使用画面的预定区域中的色信号、辉度信号，也可由这些信号求出影像摄像时的周围光的色温来使用。进一步地，也可将这些信号作为影像数据的特征量可切换输出地来构成。另外，作为声音数据的特征量，可使用音量、声音频率等。
该场面(气氛)推测部42根据影像数据、声音数据的特征量，推测摄像时的周围光的颜色、亮度，而此处所推测的周围光的颜色在由摄像照明数据所求出的颜色范围外时，由照明控制部43进行修正，从而可得到适合于各场景的摄像时的照明状况的照明控制数据。
例如，由场面(气氛)推测部42推测的周围光的颜色的结果为图21的xy色度图上的(A)点、由CPU33所输出的控制数据所示出的照明色温表示为图21的xy色度图上的(a)点时，照明控制部43求出连接xy色度图上的(A)点和(a)点的直线、与表示以(a)点为中心的颜色范围的函数(图21的xy色度图上、表示成用点划线所示的椭圆形的函数)的交点(A′)，将其作为视听环境照明光的颜色。
同样地，由场面(气氛)推测部42推测的周围光的颜色的结果为图21的xy色度图上的(B)点、由CPU33所输出的控制数据所示出的照明色温表示为图21的xy色度图上的(c)点时，照明控制部43求出连接xy色度图上的(B)点和(c)点的直线、与表示以(c)点为中心的颜色范围的函数(图21的xy色度图上、表示成用点划线所示的椭圆形的函数)的交点(B′)，将其作为视听环境照明光的颜色。
另外，对于由场面(气氛)推测部42推测的周围光的亮度的结果，根据由CPU33所输出的控制数据所示出的照明强度进行适当修正。此外，由场面(气氛)推测部42推测的周围光的结果在利用摄像照明数据所求出的预定的照明范围内时，将由场面(气氛)推测部42推测的周围光的结果原封不动作为照明控制数据向照明装置27输出。
另外，此处，在xy色度图上，从连接由场面(气氛)推测部42推测的结果和由CPU33所输出的控制数据所示出的照明色温的直线、与表示由CPU33所输出的控制数据所示出的颜色范围的函数的交点，求出向照明装置27输出的照明控制数据，但显然不限于此。例如，在xy色度图上，也可从距离由场面(气氛)推测部42推测的结果最小的预定的颜色范围内的点、或与由场面(气氛)推测部42推测的结果的色差ΔE最小的预定的颜色范围内的点中，求出照明控制数据。
另外，也可单纯地将由场面(气氛)推测部42推测的结果和由CPU33所输出的控制数据所示出的照明色温及照明强度的平均值或加权平均值、作为输出至照明装置27的照明控制数据。此外，上述的照明控制数据在每个ID的照明装置生成是不言而喻的。
如上所述，本实施方式中，由于其构成为使用摄像照明数据和影像数据及/或声音数据来控制视听环境照明，因此即使对于只是从摄像照明数据难以推测的照明环境，通过使用根据影像数据及/或声音数据的特征量的场面(气氛)的推测结果，也可推测出更准确的照明环境，从而可进行更合适的照明控制，并且能够抑制因根据影像数据及/或声音数据的特征量的场面(气氛)的推测错误，而进行破坏临场感或气氛的照明控制的情况发生，从而总是可实现最佳的视听环境。
另外，根据本实施方式，由于其构成为设置根据摄像照明数据检测场景区间的场景区间检测部41、并以场景为单位对照明控制数据进行切换控制，因此可防止在同一场景内视听环境照明剧烈变化从而破环临场感的情况。
另外，本实施方式中，根据摄像照明数据，决定表示包含照明光的色温的预定的颜色范围的信息(图21的xy色度图上、表示用点划线所示的范围的函数)，但该预定的颜色范围的大小也可由用户任意可变地设定。即，由于将预定的颜色范围设定得较大时、得到再现画面范围更大的效果；将预定的颜色范围设定得较小时、得到更能再现摄像时的照明环境的效果，因此根据用户重视任意哪一种的照明效果，能够可变地设定由摄像照明数据所求出的颜色范围的大小。
进一步地，由于希望取为再现画面范围更大的效果和再现摄像时的照明环境的效果的哪一种、是根据影像显示装置25所显示的影像内容而不同的，因此可根据该影像内容的类别(例如体裁)的判别结果，来可变地设定由摄像照明数据所求出的预定的颜色范围的大小。
此外，上述本发明的第1、第2实施方式中，对于将摄像照明数据多路复用地附加至广播数据来发送的情况进行说明，不将摄像照明数据附加在广播数据时，通过利用外部服务器装置发送接收与显示的图像数据相对应的摄像照明数据，可实现与影像的摄像照明状况相应的最佳的视听环境。对此，以下进行说明。
以下，对本发明的视听环境控制系统的第3实施方式与图22至图27一起进行详细说明，对与上述第1实施方式相同的部分附加相同标号，并省略其说明。此处，图22是表示本实施方式的视听环境控制系统的外部服务器装置的要部的概要构成的方框图，图23至图26是表示本实施方式的视听环境控制系统的摄像照明数据存储列表的一个例子的说明图，图27是表示本实施方式的视听环境控制系统的影像接收装置的要部的概要构成的方框图。
本实施方式中的外部服务器装置(数据发送装置)如图22所示，具备：从影像接收装置(数据接收装置)侧接收与特定的影像数据(内容)相关的摄像照明数据的发送请求的接收部51；存储每个影像数据(内容)的摄像照明数据的数据存储部52；将接收发送请求的摄像照明数据发送至请求地址的影像接收装置(数据接收装置)的发送部53。
此处，将存储在本实施方式的数据存储部52的摄像照明数据如图23至图26所示，与各影像场景的场景编号、场景开始时间代码相对应地附加并以列表形式写入，将与接收了发送请求的影像数据(节目内容)相对应的摄像照明数据、和构成该影像数据的各场景的场景编号和场景开始TC(时间代码)一起、利用发送部53发送至请求地址的影像接收装置。
此外，这里，为对应于多种视听环境空间，预先准备如图23所示的只写入与主光相关的信息的数据列表；如图24所示的写入与主光及辅助光相关的信息的数据列表；如图25所示的写入与主光、辅助光及背景光相关的信息的数据列表；及如图26所示的写入与主光、辅助光、背景光及基础光相关的信息的数据列表的4种摄像照明数据列表，根据来自影像接收装置的发送请求，将这些摄像照明数据列表的任一个发送至影像接收装置。
然而，也可只预先准备如图26所示的写入与主光、辅助光、背景光及基础光相关的信息的数据列表，根据来自影像接收装置的发送请求，只对需要的数据进行选择/加工，从而发送至影像接收装置。
接着，对接收由上述外部服务器装置送出的摄像照明数据、并控制视听环境照明的影像接收装置(数据接收装置)进行说明。本实施方式中的影像接收装置如图27所示，接收并解调由传输线路输入的广播数据、并且进行纠错的接收部61；从接收部61的输出数据中、对输出至影像显示装置25的影像数据、输出至声音播放装置26的声音数据分别进行分离·提取的数据分离部62；将与显示的影像数据(内容)相对应的影像照明数据的发送请求通过通信网络向外部服务器装置(数据发送装置)送出的发送部65；及将已接收前述发送请求的摄像照明数据、通过通信网络由外部服务器装置接收的接收部66。
另外，该影像接收装置具备：将在前述接收部66接收的摄像照明数据进行存储、将与影像数据的各场景的显示时间同步地、由该影像场景的摄像照明数据求出的与每个ID的各照明装置的照明强度及色温相关的控制数据进行输出的CPU63；将与来自CPU63的输出控制数据相应的照明控制数据(RGB数据)输出至照明视听环境空间的照明装置27的照明控制数据生成部24。
即，CPU63对由外部服务器装置接收并存储于内部的摄像照明数据存储列表的各场景的开始时间代码、和在影像显示装置25所显示的影像数据的时间代码进行比较，读出与这些时间代码一致的时刻相对应的摄像照明数据，由该摄像照明数据输出适合于显示影像场景的场面设定(气氛)的控制数据。
由此，即使不在广播数据附加摄像照明数据时，由于由外部服务器装置也可得到与显示影像数据(节目内容)相对应的摄像照明数据，可根据该摄像照明数据生成照明控制数据，而且可利用简单的构成使影像场景的显示切换时间与视听环境照明的切换时间同步，因此可实现与影像的摄像时照明状况相应的最佳的视听环境。
此外，上述本发明的第3实施方式中，对只使用由外部服务器装置接收的摄像照明数据、来控制视听环境照明进行说明，为实现更合适的视听环境照明控制，也可使其构成为不仅使用摄像照明数据、还使用影像数据及/或声音数据来控制视听环境照明。对此，作为本发明的第4实施方式以下进行说明。
以下，对本发明的视听环境控制系统的第4实施方式与图28及图29一起进行详细说明，对与上述第2、第3实施方式相同的部分附加相同标号，并省略其说明。此处图28是表示本实施方式的视听环境控制系统的影像接收装置的要部的概要构成的方框图，图29是表示图28中的照明控制数据生成部的方框图。
本实施方式中的外部服务器装置(数据发送装置)与图22中上述的第3实施方式的服务器装置相同，在此省略其说明。
本实施方式中的影像接收装置(数据接收装置)如图28所示，接收并解调由传输线路输入的广播数据的接收部61；从接收部61的输出数据中、对输出至影像显示装置25的影像数据、输出至声音播放装置26的声音数据分别进行分离·提取的数据分离部62；将与显示的影像数据(内容)相对应的影像照明数据的发送请求通过通信网络向外部服务器装置(数据发送装置)送出的发送部65；及将已接收前述发送请求的摄像照明数据、通过通信网络由外部服务器装置接收的接收部66。
另外，该影像接收装置具备：将在前述接收部66接收的摄像照明数据进行存储、将与影像数据的各场景的输出时间同步地、由该影像场景的摄像照明数据求出的与每个ID的各照明装置的照明强度、色温及颜色范围相关的控制数据及场景开始点时间代码进行输出的CPU73；将与来自CPU73的输出控制数据相应的照明控制数据(RGB数据)输出至照明视听环境空间的照明装置27的照明控制数据生成部74；及对影像数据、声音数据、控制数据延迟与照明控制数据生成部74的处理时间相同的时间并输出的延迟产生部35、36、37。
此处，本实施方式的CPU73根据摄像照明数据，对每个ID的各照明装置求出照明光的强度及色温(黑体轨迹上的一点)，决定表示包含该色温的预定的颜色范围的信息(图21的xy色度图上、表示用点划线所示的范围的函数)，将这些信息作为控制数据输出。然后，在照明控制数据生成部74，进行修正以使根据影像数据、声音数据所求出的场面(气氛)推测结果在根据摄像照明数据所求出的颜色范围内，并输出照明控制数据(RGB数据)。
本实施方式的照明控制数据生成部74如图29所示，具备：根据来自CPU73的从场景开始点TC通过预定时间的影像数据及声音数据、推测摄像现场的照明状态及场面设定(气氛)的场面(气氛)推测部82；及由场面(气氛)推测部82所推测的结果和CPU73所输出的控制数据、输出控制照明装置27的照明控制数据的照明控制部43。
该场面(气氛)推测部82根据影像数据、声音数据的特征量，推测摄像时的周围光的颜色、亮度，但此处所推测的周围光的颜色在由摄像照明数据所求出的颜色范围外时，由照明控制部43进行修正，从而可得到适合于各场景的摄像时的照明状况的照明控制数据。
如上所述，本实施方式中，不在广播数据附加摄像照明数据时，由于其构成为由外部服务器装置得到与显示影像数据(节目内容)相对应的摄像照明数据，使用该摄像照明数据和影像数据及/或声音数据，来控制视听环境照明，因此可进行照明控制，该照明控制考虑不仅根据摄像照明数据的、还根据影像数据及/或声音数据的特征量的场面(气氛)的推测结果，并且能够抑制因根据影像数据及/或声音数据的特征量的场面(气氛)的推测错误，而进行破坏临场感或气氛的照明控制的情况发生，从而总是可实现最佳的视听环境。
另外，本实施方式中，由于其构成为根据摄像照明数据存储列表的场景开始时间代码，以场景为单位对照明控制数据进行切换控制，因此可防止在同一场景内视听环境照明剧烈变化从而破环临场感的情况。
另外，本实施方式中，根据摄像照明数据，决定表示包含照明光的色温的预定的颜色范围的信息(图21的xy色度图上、表示用点划线所示的范围的函数)，但该预定的颜色范围的大小也可由用户任意可变地设定。即，由于将预定的颜色范围设定得较大时、得到再现画面范围更大的效果；将预定的颜色范围设定得较小时、得到更能再现摄像时的照明环境的效果，因此根据用户重视任意哪一种的照明效果，能够可变地设定由摄像照明数据所求出的颜色范围的大小。
进一步地，由于希望取为再现画面范围更大的效果和再现摄像时的照明环境的效果的哪一种、是根据影像显示装置25所显示的影像内容而不同的，因此可根据该影像内容的类别(例如体裁)的判别结果，来可变地设定由摄像照明数据所求出的预定的颜色范围的大小。
此外，本发明的视听环境控制装置、方法、及视听环境控制系统，在不脱离上述本发明的主旨的范围内，可由各种实施方式来实现。例如，当然也可使其构成为，也可在影像显示装置内设置视听环境控制装置，根据输入影像数据所包含的各种信息，来控制外部的照明设备。
另外，上述摄像照明数据不限于从广播数据分离·取得的情况或从外部服务器装置取得的情况，例如，显示由外部设备(DVD播放器或蓝光光盘播放器)所播放的影像数据时，也可为读出媒体介质内所附加的摄像照明数据并使用该摄像照明数据。

Claims (27)

1.一种数据发送装置，它是发送由1个以上的场景构成的影像数据的数据发送装置，其特征在于，
将表示所述影像数据的各场景的摄像时的照明状况的摄像照明数据附加于所述影像数据进行发送。
2.如权利要求1所述的数据发送装置，其特征在于，以所述影像数据的场景为单位附加所述摄像照明数据。
3.如权利要求1所述的数据发送装置，其特征在于，以所述影像数据的镜头为单位附加所述摄像照明数据。
4.如权利要求1所述的数据发送装置，其特征在于，以所述影像数据的帧为单位附加所述摄像照明数据。
5.如权利要求1至4的任一项所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光型的信息。
6.如权利要求1至5的任一项所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的性质的信息。
7.如权利要求1至6的任一项所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的方向的信息。
8.如权利要求1至7的任一项所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的强度的信息。
9.如权利要求1至8的任一项所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的色度的信息。
10.一种数据发送装置，它是接收来自外部的请求、将表示构成影像数据的各场景的摄像时的照明状况的摄像照明数据进行发送的数据发送装置，其特征在于，
将所述摄像照明数据在构成所述影像数据的各场景的开始时刻一起发送。
11.如权利要求10所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光型的信息。
12.如权利要求10或11所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的性质的信息。
13.如权利要求10至12的任一项所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的方向的信息。
14.如权利要求10至13的任一项所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的强度的信息。
15.如权利要求10至14的任一项所述的数据发送装置，其特征在于，
所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的色度的信息。
16.一种视听环境控制装置，其特征在于，具备：
将应在显示装置显示的影像数据、和表示构成该影像数据的各场景的摄像时的照明状况的摄像照明数据进行接收的接收手段；以及
根据所述摄像照明数据、对在所述显示装置周边设置的照明装置的照明光进行控制的控制手段。
17.如权利要求16所述的视听环境控制装置，其特征在于，
所述控制手段以所述影像数据的场景为单位切换控制所述照明装置的照明光线。
18.如权利要求16或17所述的视听环境控制装置，其特征在于，
所述控制手段不仅使用所述摄像照明数据、还使用所述影像数据的特征量，对所述照明装置的照明光进行控制。
19.如权利要求16至18的任一项所述的视听环境控制装置，其特征在于，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光型的信息。
20.如权利要求16至19的任一项所述的视听环境控制装置，其特征在于，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的性质的信息。
21.如权利要求16至20的任一项所述的视听环境控制装置，其特征在于，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的方向的信息。
22.如权利要求16至21的任一项所述的视听环境控制装置，其特征在于，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的强度的信息。
23.如权利要求16至22的任一项所述的视听环境控制装置，其特征在于，所述摄像照明数据至少包含表示使用于各场景的摄像的照明的光线的色度的信息。
24.一种视听环境控制系统，其特征在于，具备：
权利要求16至23的任一项所述的视听环境控制装置；以及
利用该视听环境控制装置控制视听环境照明光线的照明装置。
25.一种数据发送方法，它是发送由1个以上的场景构成的影像数据的数据发送方法，其特征在于，
将表示所述影像数据的各场景的摄像时的照明状况的摄像照明数据附加于所述影像数据进行发送。
26.一种数据发送方法，它是接收来自外部的请求、将表示构成影像数据的各场景的摄像时的照明状况的摄像照明数据进行发送的数据发送方法，其特征在于，
将所述摄像照明数据在构成所述影像数据的各场景的开始时刻一起发送。
27.一种视听环境控制方法，其特征在于，
将应在显示装置显示的影像数据、和表示构成该影像数据的各场景的摄像时的照明状况的摄像照明数据进行接收，
根据所述摄像照明数据，对在所述显示装置周边设置的照明装置的照明光进行控制。
CNA2007800142640A 2006-04-21 2007-04-06 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统、及视听环境控制方法 Pending CN101427578A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP117346/2006 2006-04-21
JP2006117346 2006-04-21

Publications (1)

Publication Number Publication Date
CN101427578A true CN101427578A (zh) 2009-05-06

Family

ID=38624914

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800142640A Pending CN101427578A (zh) 2006-04-21 2007-04-06 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统、及视听环境控制方法

Country Status (5)

Country Link
US (1) US20090109340A1 (zh)
EP (1) EP2018062A4 (zh)
JP (1) JP4950988B2 (zh)
CN (1) CN101427578A (zh)
WO (1) WO2007123008A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959932A (zh) * 2010-06-30 2013-03-06 皇家飞利浦电子股份有限公司 捕获氛围的方法和装置
CN104798444A (zh) * 2012-11-27 2015-07-22 皇家飞利浦有限公司 用于基于从舞台表演导出的数据创建气氛照明效果的方法
CN107787581A (zh) * 2015-06-09 2018-03-09 微软技术许可有限责任公司 描述用于视频回放的参考观看环境的标定照明条件的元数据
CN109219208A (zh) * 2017-05-26 2019-01-15 酷码科技股份有限公司 灯具控制系统及灯具控制方法
WO2019127317A1 (zh) * 2017-12-27 2019-07-04 深圳迈睿智能科技有限公司 灯具的控制方法和控制系统以及电子设备
CN113347754A (zh) * 2021-08-05 2021-09-03 杭州米芯微电子有限公司 一种用户可编程的led灯光控制方法及系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008068698A1 (en) 2006-12-08 2008-06-12 Koninklijke Philips Electronics N.V. Ambient lighting
JP4948548B2 (ja) * 2006-12-28 2012-06-06 シャープ株式会社 送信装置、視聴環境制御装置、及び視聴環境制御システム
JP5226361B2 (ja) * 2008-04-09 2013-07-03 キヤノン株式会社 放送受信装置、放送受信方法
KR101078641B1 (ko) * 2008-07-14 2011-11-01 명지대학교 산학협력단 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법
KR20110042067A (ko) * 2008-07-15 2011-04-22 샤프 가부시키가이샤 데이터 송신 장치, 데이터 수신 장치, 데이터 송신 방법, 데이터 수신 방법 및 시청 환경 제어 방법
BRPI0916465A2 (pt) * 2008-07-15 2018-02-06 Sharp Kk aparelho para transmissão de dados, método para transmissão de dados, aparelho para controle de ambiente audiovisual, sistema de controle de ambiente audiovisual e método de controle ambiente audiovisual
CN102292725A (zh) * 2009-01-27 2011-12-21 夏普株式会社 感官效果信息的数据结构、感官效果信息输出装置、感官效果信息输出方法、感官效果信息生成装置、控制装置、系统、程序以及记录介质
JP5442643B2 (ja) * 2009-01-27 2014-03-12 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
EP2419184A1 (en) * 2009-04-15 2012-02-22 Koninklijke Philips Electronics N.V. Methods and systems for adapting a user environment
CN102656950B (zh) * 2009-12-17 2015-06-17 皇家飞利浦电子股份有限公司 氛围影院照明系统
US8928811B2 (en) 2012-10-17 2015-01-06 Sony Corporation Methods and systems for generating ambient light effects based on video content
US20140104497A1 (en) * 2012-10-17 2014-04-17 Adam Li Video files including ambient light effects
US8928812B2 (en) 2012-10-17 2015-01-06 Sony Corporation Ambient light effects based on video via home automation
JP6462990B2 (ja) * 2014-03-07 2019-01-30 キヤノン株式会社 画像処理装置およびその方法
EP3062519A1 (en) * 2015-02-27 2016-08-31 Novabase Digital TV Technologies GmbH Ambient surround information system for a media presentation
US10453173B2 (en) * 2015-07-24 2019-10-22 Robert Bosch Gmbh Panel transform
EP3331325A1 (en) 2016-11-30 2018-06-06 Thomson Licensing Method and apparatus for creating, distributing and dynamically reproducing room illumination effects
CN112913331B (zh) * 2018-11-01 2024-04-16 昕诺飞控股有限公司 根据视频和音频权重而基于视频和音频信息来确定光效果
JP7406169B2 (ja) 2020-06-11 2023-12-27 日本電信電話株式会社 同期制御装置、同期制御方法、および、同期制御プログラム
FR3111724B1 (fr) * 2020-06-18 2022-11-04 Cgr Cinemas Méthodes pour la production d’effets d’immersion visuelle pour un contenu audiovisuel
CN113050915B (zh) * 2021-03-31 2023-12-26 联想(北京)有限公司 一种电子设备及处理方法
US11553577B2 (en) * 2021-04-30 2023-01-10 Shenzhen Linklite Smart Lighting Co., Ltd System and method for achieving synchronized audio and image control of lighting

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0812793B2 (ja) 1988-12-12 1996-02-07 松下電器産業株式会社 光色可変形照明装置
JPH02253503A (ja) 1989-03-28 1990-10-12 Matsushita Electric Works Ltd 映像演出照明装置
JPH0815004B2 (ja) 1989-12-14 1996-02-14 松下電器産業株式会社 光色可変形照明装置
US6611297B1 (en) * 1998-04-13 2003-08-26 Matsushita Electric Industrial Co., Ltd. Illumination control method and illumination device
US20050174473A1 (en) * 1999-11-18 2005-08-11 Color Kinetics, Inc. Photography methods and systems
WO2002068777A1 (en) * 2001-02-26 2002-09-06 Worldstage, Llc Integrated, adaptable theater, club and multiplex
GB0111431D0 (en) * 2001-05-11 2001-07-04 Koninkl Philips Electronics Nv A real-world representation system and language
EP1499406A1 (en) * 2002-04-22 2005-01-26 Intellocity USA, Inc. Method and apparatus for data receiver and controller
ATE410888T1 (de) * 2002-07-04 2008-10-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur steuerung von umgebungslicht und lichteinheit
JP4373329B2 (ja) * 2002-07-15 2009-11-25 ノキア コーポレイション ビデオ・シーケンス内のエラーを隠蔽する方法
US8243004B2 (en) * 2003-03-10 2012-08-14 Fergason Patent Properties, Llc Apparatus and method for preparing, storing, transmitting and displaying images
WO2005069640A1 (en) * 2004-01-06 2005-07-28 Koninklijke Philips Electronics, N.V. Ambient light script command encoding
JP2005229153A (ja) * 2004-02-10 2005-08-25 Sony Corp 調光システムおよび調光方法、配信装置および配信方法、受信装置および受信方法、記録装置および記録方法、ならびに、再生装置および再生方法
JP4439322B2 (ja) * 2004-04-23 2010-03-24 シャープ株式会社 高臨場感再生装置及び方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959932A (zh) * 2010-06-30 2013-03-06 皇家飞利浦电子股份有限公司 捕获氛围的方法和装置
CN104798444A (zh) * 2012-11-27 2015-07-22 皇家飞利浦有限公司 用于基于从舞台表演导出的数据创建气氛照明效果的方法
US10076017B2 (en) 2012-11-27 2018-09-11 Philips Lighting Holding B.V. Method for creating ambience lighting effect based on data derived from stage performance
CN107787581A (zh) * 2015-06-09 2018-03-09 微软技术许可有限责任公司 描述用于视频回放的参考观看环境的标定照明条件的元数据
CN109219208A (zh) * 2017-05-26 2019-01-15 酷码科技股份有限公司 灯具控制系统及灯具控制方法
CN109219208B (zh) * 2017-05-26 2020-08-28 酷码科技股份有限公司 灯具控制系统及灯具控制方法
WO2019127317A1 (zh) * 2017-12-27 2019-07-04 深圳迈睿智能科技有限公司 灯具的控制方法和控制系统以及电子设备
CN113347754A (zh) * 2021-08-05 2021-09-03 杭州米芯微电子有限公司 一种用户可编程的led灯光控制方法及系统

Also Published As

Publication number Publication date
US20090109340A1 (en) 2009-04-30
WO2007123008A1 (ja) 2007-11-01
EP2018062A1 (en) 2009-01-21
EP2018062A4 (en) 2010-08-04
JP4950988B2 (ja) 2012-06-13
JPWO2007123008A1 (ja) 2009-09-03

Similar Documents

Publication Publication Date Title
CN101427578A (zh) 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统、及视听环境控制方法
JP4698609B2 (ja) 周囲光スクリプト・コマンドのコード化
US7180529B2 (en) Immersive image viewing system and method
JP5058157B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
CN100584037C (zh) 从通过未渲染颜色空间映射的视频内容中导出的环境光的无闪烁自适应阈值处理方法
JP7496890B2 (ja) 遠隔地演出システム及び遠隔地演出方法
JP4950990B2 (ja) 映像送信装置及び方法、視聴環境制御装置及び方法
EP1379082B1 (en) Display apparatus
EP2926626B1 (en) Method for creating ambience lighting effect based on data derived from stage performance
WO2007052395A1 (ja) 視聴環境制御システム
KR102247264B1 (ko) 공연연출시스템
JP7372991B2 (ja) 公演演出システム及びその制御方法
JP2009081822A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2003086384A (ja) 照明サービスを提供する方法、照明装置、記録媒体および再生装置
JP4789592B2 (ja) 視聴環境制御装置及び視聴環境制御方法
JP2009036801A (ja) 視聴環境制御装置および視聴環境制御方法
KR102494134B1 (ko) 공연연출시스템 및 그 방법
JP2009081482A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
KR20210049753A (ko) 공연연출시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090506