JP2005310630A - Highly on-the-scene presence reproducing device and method - Google Patents

Highly on-the-scene presence reproducing device and method Download PDF

Info

Publication number
JP2005310630A
JP2005310630A JP2004127983A JP2004127983A JP2005310630A JP 2005310630 A JP2005310630 A JP 2005310630A JP 2004127983 A JP2004127983 A JP 2004127983A JP 2004127983 A JP2004127983 A JP 2004127983A JP 2005310630 A JP2005310630 A JP 2005310630A
Authority
JP
Japan
Prior art keywords
illumination
data
additional information
unit
reproducing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004127983A
Other languages
Japanese (ja)
Other versions
JP4439322B2 (en
JP2005310630A5 (en
Inventor
Yoji Yamamoto
洋司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2004127983A priority Critical patent/JP4439322B2/en
Publication of JP2005310630A publication Critical patent/JP2005310630A/en
Publication of JP2005310630A5 publication Critical patent/JP2005310630A5/ja
Application granted granted Critical
Publication of JP4439322B2 publication Critical patent/JP4439322B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Television Systems (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve on-the-scene presence by presuming lighting data for reproducing photographing environment at the time of photographing by an additional information included in the broadcast data and by reflecting the presumed lighting data into the viewing and listening environment, in viewing and listening the broadcast data. <P>SOLUTION: The highly on-the-scene presence reproducing device 10 comprises a receiving part 11 for receiving broadcast data including an image signal and an additional information (photographing place, photographing date and time, weather information etc.), a data dividing part 12 for dividing the received broadcast data into the image signal and the additional information, a lighting presumption part 13 which presumes lighting data for reproducing the photographing environment of the broadcast data from the divided additional information, and a viewing and listening environment control part 14 which controls the viewing and listening environment based on the lighting data presumed. The viewing and listening environment control part 14 adjusts the color temperature of the lighting part 15 based on the lighting data so that the viewing and listening environment is realized same as the photographing environment of the broadcast data. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、高臨場感再生装置及び方法、より詳細には、放送データに含まれる付加情報によって視聴環境を制御して臨場感を向上させる技術に関する。   The present invention relates to a high-realistic reproduction apparatus and method, and more particularly, to a technique for improving a sense of presence by controlling a viewing environment using additional information included in broadcast data.

照明光を制御して高臨場感を演出するための技術に関し、以下のような従来例がある。
例えば、特許文献１には、映像中の肌色以外の背景領域からＲＧＢ値と輝度値の平均値を求め、それを部屋全体の照明光とする技術が記載されている。
特許文献２には、映像から照度、色相、配光および方向にあわせて部屋全体もしくは部分的に照明光を調整する技術が記載されている。
特許文献３には、映像をいくつかの領域に区分し、それぞれのＲＧＢ値の平均値を求め、区分された領域に対応した照明光をそれぞれ制御する技術が記載されている。
特開平３−１８４２０３号公報 特開２０００−１７３７８３号公報 特開２００１−３４３９００号公報 There are the following conventional examples relating to a technique for producing a high sense of presence by controlling illumination light.
For example, Patent Document 1 describes a technique in which an average value of RGB values and luminance values is obtained from a background region other than a skin color in an image and used as illumination light for the entire room.
Patent Document 2 describes a technique for adjusting illumination light from a video in accordance with the illuminance, hue, light distribution, and direction of the entire room or part of the room.
Japanese Patent Application Laid-Open No. 2004-228561 describes a technique of dividing an image into several regions, obtaining an average value of the respective RGB values, and controlling illumination light corresponding to the divided regions.
JP-A-3-184203 JP 2000-173783 A JP 2001-343900 A

しかしながら、上記特許文献１に記載の発明では、肌色以外を背景領域とし、そのＲＧＢ値と輝度値の平均値を照明光としているが、例えば、晴れた日の砂浜の映像の場合、理想的には晴れた空の色を照明で再現できればよいのだが、現実には空と砂浜のＲＧＢ値と輝度値の平均値となり空の色を再現することはできず、背景領域がほぼ一色の場合のみしか理想的に動作しない。   However, in the invention described in Patent Document 1, a background area other than the skin color is used, and the average value of the RGB value and the luminance value is used as illumination light. It is only necessary to reproduce the color of the clear sky with illumination, but in reality it is the average of the RGB values and luminance values of the sky and the sandy beach, and the sky color cannot be reproduced, only when the background area is almost one color Only works ideally.

また、上記特許文献２に記載の発明では、映像から照度、色相、配光および方向を求めて、それを照明光としているが、撮影時における撮影環境を再現しているのとは異なり、映像中の色を画面外に拡張しているだけに過ぎない。
さらに、上記特許文献３に記載の発明では、映像をいくつかの領域に区分し、それぞれのＲＧＢ値の平均値を求め、区分された領域に対応した照明光としているが、これも、上記特許文献２と同じく、撮影時における撮影環境を再現しているのとは異なり、映像中の色を画面外に拡張しているだけに過ぎない。 In the invention described in Patent Document 2, the illuminance, hue, light distribution, and direction are obtained from the image and used as illumination light. Unlike the reproduction of the shooting environment at the time of shooting, the image It just extends the color inside the screen.
Further, in the invention described in Patent Document 3, an image is divided into several regions, and an average value of each RGB value is obtained to obtain illumination light corresponding to the divided regions. Unlike Document 2, in which the shooting environment at the time of shooting is reproduced, the color in the video is merely extended outside the screen.

本発明は、上述のごとき実情に鑑みてなされたものであり、放送データの視聴時において、その放送データに含まれる付加情報（撮影場所、撮影日時、天気情報など）から、撮影時の撮影環境を再現するための照明データを推定し、推定した照明データを視聴環境に反映させて臨場感を向上させることができる高臨場感再生装置及び方法を提供すること、を目的としてなされたものである。   The present invention has been made in view of the above circumstances, and at the time of viewing broadcast data, from the additional information (shooting location, shooting date, weather information, etc.) included in the broadcast data, the shooting environment at the time of shooting. The present invention has been made for the purpose of providing a highly realistic reproduction apparatus and method capable of estimating the illumination data for reproducing the image and reflecting the estimated illumination data in the viewing environment to improve the sense of reality. .

本発明は、上記課題を解決するために、以下の技術手段を構成する。
本発明の第１の技術手段は、映像信号と付加情報を含む放送データを受信する受信部と、該受信した放送データを映像信号と付加情報に分割するデータ分割部と、該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定部と、該推定された照明データに基づいて視聴環境を制御する視聴環境制御部とを備え、該視聴環境制御部によって照明器具を制御できるようにしたことを特徴としたものである。 In order to solve the above problems, the present invention comprises the following technical means.
The first technical means of the present invention includes a receiving unit that receives broadcast data including a video signal and additional information, a data dividing unit that divides the received broadcast data into a video signal and additional information, and the divided additional information. An illumination estimation unit that estimates illumination data for reproducing the shooting environment of the broadcast data, and a viewing environment control unit that controls the viewing environment based on the estimated illumination data, the viewing environment control unit It is characterized in that the lighting fixture can be controlled.

第２の技術手段は、第１の技術手段において、前記付加情報から推定される照明データを格納した推定データベース部を備え、前記照明推定部は、前記データ分割部によって分割した付加情報から前記推定データベース部を検索することにより、前記放送データの撮影環境を再現するための照明データを取得することを特徴としたものである。   A second technical means includes an estimation database unit that stores illumination data estimated from the additional information in the first technical means, and the illumination estimation unit is configured to estimate the estimation from the additional information divided by the data dividing unit. Illumination data for reproducing the shooting environment of the broadcast data is acquired by searching a database unit.

第３の技術手段は、第１又は第２の技術手段において、前記照明推定部は、前記付加情報に含まれる字幕情報から照明データを推定することを特徴としたものである。   According to a third technical means, in the first or second technical means, the illumination estimation unit estimates illumination data from caption information included in the additional information.

第４の技術手段は、第１又は第２の技術手段において、前記照明推定部は、前記付加情報に含まれる撮影場所情報から照明データを推定することを特徴としたものである。   According to a fourth technical means, in the first or second technical means, the illumination estimation unit estimates illumination data from shooting location information included in the additional information.

第５の技術手段は、第１又は第２の技術手段において、前記照明推定部は、前記付加情報に含まれる撮影日時情報から照明データを推定することを特徴としたものである。   According to a fifth technical means, in the first or second technical means, the illumination estimation unit estimates illumination data from photographing date / time information included in the additional information.

第６の技術手段は、第１又は第２の技術手段において、前記照明推定部は、前記付加情報に含まれる天気情報から照明データを推定することを特徴としたものである。   According to a sixth technical means, in the first or second technical means, the illumination estimation unit estimates illumination data from weather information included in the additional information.

第７の技術手段は、映像信号と付加情報を含む放送データを受信する受信ステップと、該受信した放送データを映像信号と付加情報に分割するデータ分割ステップと、該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定ステップと、該推定された照明データに基づいて視聴環境を制御する視聴環境制御ステップとを有することを特徴としたものである。   The seventh technical means includes a reception step of receiving broadcast data including a video signal and additional information, a data division step of dividing the received broadcast data into a video signal and additional information, and the broadcast from the divided additional information. It is characterized by having an illumination estimation step for estimating illumination data for reproducing the photographing environment of data, and a viewing environment control step for controlling the viewing environment based on the estimated illumination data.

第８の技術手段は、第７の技術手段において、前記付加情報から推定される照明データを推定データベース部に格納して有し、前記照明推定ステップにおいて、前記データ分割ステップによって分割した付加情報から前記推定データベース部を検索することにより、前記放送データの撮影環境を再現するための照明データを取得することを特徴としたものである。   The eighth technical means has the illumination data estimated from the additional information stored in the estimation database unit in the seventh technical means, and from the additional information divided by the data dividing step in the illumination estimating step. Illumination data for reproducing the shooting environment of the broadcast data is acquired by searching the estimation database unit.

第９の技術手段は、第７又は第８の技術手段において、前記照明推定ステップにおいて、前記付加情報に含まれる字幕情報から照明データを推定することを特徴としたものである。   A ninth technical means is the seventh or eighth technical means, wherein in the illumination estimation step, illumination data is estimated from subtitle information included in the additional information.

第１０の技術手段は、第７又は第８の技術手段において、前記照明推定ステップにおいて、前記付加情報に含まれる撮影場所情報から照明データを推定することを特徴としたものである。   According to a tenth technical means, in the seventh or eighth technical means, the illumination estimation step estimates the illumination data from the shooting location information included in the additional information.

第１１の技術手段は、第７又は第８の技術手段において、前記照明推定ステップにおいて、前記付加情報に含まれる撮影日時情報から照明データを推定することを特徴としたものである。   The eleventh technical means is characterized in that, in the seventh or eighth technical means, the illumination data is estimated from the photographing date / time information included in the additional information in the illumination estimation step.

第１２の技術手段は、第７又は第８の技術手段において、前記照明推定ステップにおいて、前記付加情報に含まれる天気情報から照明データを推定することを特徴としたものである。   The twelfth technical means is characterized in that, in the seventh or eighth technical means, the illumination data is estimated from the weather information included in the additional information in the illumination estimation step.

放送データの視聴時において、その放送データに含まれる付加情報（撮影場所、撮影日時、天気情報など）から、撮影時の撮影環境を再現するための照明データを推定し、推定した照明データを視聴環境に反映させることができるため、放送データの視聴時に臨場感を向上させることができる。   When viewing broadcast data, estimate the illumination data to reproduce the shooting environment at the time of shooting from the additional information (shooting location, shooting date, weather information, etc.) included in the broadcast data, and watch the estimated lighting data Since it can be reflected in the environment, it is possible to improve the presence when viewing broadcast data.

以下、本発明の実施形態を添付された図面を参照して具体的に説明する。なお、実施形態を説明する全図において、同様の機能を有する部分には、同じ符号を付け、その繰り返しの説明は省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that in all drawings illustrating the embodiment, portions having similar functions are denoted by the same reference numerals, and repetitive description thereof is omitted.

（第１の実施形態）
図１は、本発明の一実施形態に係る高臨場感再生装置の構成例を示すブロック図で、図中、１０は高臨場感再生装置（以下、単に再生装置という）で、該再生装置１０は、放送局から映像信号と付加情報を含む放送データを受信する受信部１１、受信した放送データを映像信号と付加情報に分割するデータ分割部１２、分割した付加情報から上記放送データの撮影環境を再現するための照明状況（照明データ）を推定する照明推定部１３、推定された照明状況をもとに視聴環境を制御する視聴環境制御部１４、視聴環境制御部１４により制御される照明部（照明器具）１５、上記分割した映像信号を表示するディスプレイ部１６を備えている。 (First embodiment)
FIG. 1 is a block diagram showing an example of the configuration of a highly realistic playback apparatus according to an embodiment of the present invention. In the figure, reference numeral 10 denotes a high realistic playback apparatus (hereinafter simply referred to as a playback apparatus). Includes a receiving unit 11 that receives broadcast data including a video signal and additional information from a broadcasting station, a data dividing unit 12 that divides the received broadcast data into a video signal and additional information, and an imaging environment for the broadcast data from the divided additional information. Illumination estimation unit 13 for estimating the illumination situation (illumination data) for reproducing the image, viewing environment control unit 14 for controlling the viewing environment based on the estimated illumination situation, and illumination unit controlled by the viewing environment control unit 14 (Lighting fixture) 15 and a display unit 16 for displaying the divided video signal.

放送局から送られてくる放送データには通常の映像信号と付加情報とが含まれている。この放送データを受信部１１で受信する。受信部１１で受信した放送データは、データ分割部１２に送られる。データ分割部１２にて放送データは、映像信号と付加情報に分割される。映像信号はそのままディスプレイ部１６に送られて表示される。付加情報は照明推定部１３に送られる。照明推定部１３では、付加情報を元に適切な照明データを演算によって求める。照明データは視聴環境制御部１４に送られる。視聴環境制御部１４では、与えられた照明データを元にして、照明部１５の色温度、照度を制御する。   Broadcast data sent from a broadcast station includes a normal video signal and additional information. The broadcast data is received by the receiving unit 11. Broadcast data received by the receiving unit 11 is sent to the data dividing unit 12. Broadcast data is divided by the data dividing unit 12 into a video signal and additional information. The video signal is sent to the display unit 16 as it is and displayed. The additional information is sent to the illumination estimation unit 13. The illumination estimation unit 13 obtains appropriate illumination data by calculation based on the additional information. The illumination data is sent to the viewing environment control unit 14. The viewing environment control unit 14 controls the color temperature and illuminance of the illumination unit 15 based on the given illumination data.

ここで、上記色温度とは、ある色を放つ光源に含まれる、青紫光と赤色光の相対的な強さを表す数値であり、その定義は、その光と同じ色の光を完全黒体が放射する時の黒体の温度である。単位はK(ケルビン)が用いられ、色温度の場合には温度記号は付けないことが多い。この色温度は赤、白、青の順で高くなる。   Here, the color temperature is a numerical value representing the relative intensity of blue-violet light and red light contained in a light source that emits a certain color, and its definition is that a light of the same color as that light is a completely black body. Is the temperature of the black body when radiates. The unit is K (Kelvin). In the case of color temperature, the temperature symbol is often not added. This color temperature increases in the order of red, white, and blue.

図２は、本発明が適用される高臨場感再生方法の一例を説明するためのフロー図である。尚、本例は、図１に示す再生装置１０に基づいて、付加情報として撮影場所情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し（ステップＳ１）、データ分割部１２にて映像信号と付加情報である撮影場所情報に分割し、撮影場所情報を取り出す（ステップＳ２）。取り出した撮影場所情報は照明推定部１３で行われる演算に使用される。 FIG. 2 is a flowchart for explaining an example of a high-realistic reproduction method to which the present invention is applied. In this example, a case where shooting location information is sent as additional information based on the playback apparatus 10 shown in FIG. 1 will be described.
First, the playback device 10 receives broadcast data at the receiving unit 11 (step S1), and the data dividing unit 12 divides the video signal and shooting location information as additional information, and takes out shooting location information (step S2). . The taken shooting location information is used for calculations performed by the illumination estimation unit 13.

照明推定部１３は、撮影場所の緯度が所定値よりも高いか低いかを判定し（ステップＳ３）、撮影場所の緯度が所定値よりも高い場合（図中、高い場合）、照明部１５の色温度を低くするように照明データを設定する（ステップＳ４）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を低くするように調整する（ステップＳ６）。また、上記ステップＳ３において、撮影場所の緯度が所定値よりも低い場合（図中、低い場合）、照明部１５の色温度を高くするように照明データを設定する（ステップＳ５）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を高くするように調整する（ステップＳ６）。   The illumination estimation unit 13 determines whether the latitude of the shooting location is higher or lower than a predetermined value (step S3). If the latitude of the shooting location is higher than the predetermined value (in the drawing, higher), the illumination estimation unit 13 Illumination data is set so as to lower the color temperature (step S4). This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 to be lowered (step S6). In step S3, if the latitude of the shooting location is lower than the predetermined value (in the figure, lower), the illumination data is set so as to increase the color temperature of the illumination unit 15 (step S5). This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 to be high (step S6).

図２に示すフローの別の実施形態として、図１に示す再生装置１０に基づいて、付加情報として撮影日時情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し、データ分割部１２にて映像信号と付加情報である撮影日時情報に分割し、撮影日時情報を取り出す。取り出した撮影日時情報は照明推定部１３で行われる演算に使用される。 As another embodiment of the flow shown in FIG. 2, a case will be described in which shooting date / time information is sent as additional information based on the playback apparatus 10 shown in FIG.
First, the playback apparatus 10 receives broadcast data at the receiving unit 11, and divides the data into a video signal and shooting date / time information as additional information at the data dividing unit 12, and extracts shooting date / time information. The taken shooting date / time information is used for the calculation performed by the illumination estimation unit 13.

照明推定部１３は、例えば、撮影日時の時間が昼に近いときは、照明部１５の色温度を高くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を高くするように調整する。また、撮影日時の時間が太陽が昇っている間で朝夕に近いときは、照明部１５の色温度を低くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を低くするように調整する。さらに、撮影日時の時間が夜のときは、照明部１５の照度を低くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の照度を低くするように調整する。   For example, the illumination estimation unit 13 sets the illumination data so that the color temperature of the illumination unit 15 is increased when the shooting date and time is close to noon. This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 to be high. In addition, when the shooting date and time is close to morning and evening while the sun is rising, the illumination data is set so that the color temperature of the illumination unit 15 is lowered. This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 to be low. Further, when the shooting date and time is night, the illumination data is set so that the illuminance of the illumination unit 15 is lowered. This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the illuminance of the illumination unit 15 to be low.

また、撮影日時の日付が夏に近いときは、照明推定部１３は、照明部１５の色温度を高くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を高くするように調整する。また、撮影日時の日付が冬に近いときは、照明部１５の色温度を低くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を低くするように調整する。   In addition, when the date of the shooting date is close to summer, the illumination estimation unit 13 sets the illumination data so that the color temperature of the illumination unit 15 is increased. This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 to be high. In addition, when the shooting date is close to winter, the illumination data is set so that the color temperature of the illumination unit 15 is lowered. This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 to be low.

さらに、図２に示すフローの別の実施形態として、図１に示す再生装置１０に基づいて、付加情報として天気情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し、データ分割部１２にて映像信号と付加情報である天気情報に分割し、天気情報を取り出す。取り出した天気情報は照明推定部１３で行われる演算に使用される。 Furthermore, as another embodiment of the flow shown in FIG. 2, a case where weather information is sent as additional information based on the playback device 10 shown in FIG. 1 will be described.
First, the playback device 10 receives broadcast data at the receiving unit 11, divides the data into a video signal and weather information as additional information at the data dividing unit 12, and extracts the weather information. The extracted weather information is used for calculations performed by the illumination estimation unit 13.

照明推定部１３は、天気が曇りに近いときは、照明部１５の色温度を高くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を高くするように調整する。この天気情報の場合、天気が快晴、曇り、晴れの順に色温度を低くするように照明データを設定する。曇りの場合には照度が低くなるように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を低くするように調整する。この際、曇りの場合には、視聴環境制御部１４は照明部１５の照度を低くするように調整する。   The illumination estimation unit 13 sets the illumination data so as to increase the color temperature of the illumination unit 15 when the weather is nearly cloudy. This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 to be high. In the case of this weather information, the illumination data is set so that the color temperature is lowered in the order of clear weather, cloudy weather, and clear weather. When it is cloudy, the illumination data is set so that the illuminance decreases. This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 to be low. At this time, when it is cloudy, the viewing environment control unit 14 adjusts the illuminance of the illumination unit 15 to be low.

図３は、本発明が適用される高臨場感再生方法の他の例を説明するためのフロー図である。尚、本例は、図１に示す再生装置１０に基づいて、付加情報として字幕情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し（ステップＳ１１）、データ分割部１２にて映像信号と付加情報である字幕情報に分割し、字幕情報を取り出す（ステップＳ１２）。取り出した字幕情報は照明推定部１３に送られ、照明推定部１３は送られた字幕情報からキーワード抽出を行う（ステップＳ１３）。 FIG. 3 is a flowchart for explaining another example of the high presence reproduction method to which the present invention is applied. In this example, a case where caption information is sent as additional information based on the playback apparatus 10 shown in FIG. 1 will be described.
First, the reproduction apparatus 10 receives broadcast data at the receiving unit 11 (step S11), and the data dividing unit 12 divides the data into subtitle information that is additional information, and extracts subtitle information (step S12). The extracted caption information is sent to the illumination estimation unit 13, and the illumination estimation unit 13 performs keyword extraction from the sent caption information (step S13).

照明推定部１３は、上記ステップＳ１３において、例えば、撮影が行われた場所、撮影が行われた時間、撮影が行われた日付、撮影が行われたときの天気に関するキーワードを抽出する。照明推定部１３は、抽出したキーワードを判定し（ステップＳ１４）、そのキーワードが撮影場所の場合（図中、撮影場所の場合）、撮影場所にあわせて照明部１５の色温度を適切に調整するための照明データを設定する（ステップＳ１５）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明データを元に照明部１５の色温度を調整する（ステップＳ１８）。   In step S13, the illumination estimation unit 13 extracts, for example, keywords related to the place where the image was taken, the time when the image was taken, the date when the image was taken, and the weather when the image was taken. The illumination estimating unit 13 determines the extracted keyword (step S14), and when the keyword is a shooting location (in the case of the shooting location in the figure), the color temperature of the illumination unit 15 is appropriately adjusted according to the shooting location. Illumination data for setting is set (step S15). This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 based on the illumination data (step S18).

また、上記ステップＳ１４において、抽出したキーワードが撮影日時の場合（図中、撮影日時の場合）、撮影日時にあわせて照明部１５の色温度を適切に調整するための照明データを設定する（ステップＳ１６）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明データを元に照明部１５の色温度を調整する（ステップＳ１８）。   In step S14, if the extracted keyword is the shooting date and time (in the figure, the shooting date and time), illumination data for appropriately adjusting the color temperature of the illumination unit 15 is set according to the shooting date and time (step S14). S16). This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 based on the illumination data (step S18).

さらに、上記ステップＳ１４において、抽出したキーワードが天気情報の場合（図中、天気情報の場合）、天気情報にあわせて照明部１５の色温度を適切に調整するための照明データを設定する（ステップＳ１７）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明データを元に照明部１５の色温度を調整する（ステップＳ１８）。   Furthermore, if the extracted keyword is weather information (in the case of weather information in the figure) in step S14, illumination data for appropriately adjusting the color temperature of the illumination unit 15 is set according to the weather information (step S14). S17). This illumination data is sent to the viewing environment control unit 14, and the viewing environment control unit 14 adjusts the color temperature of the illumination unit 15 based on the illumination data (step S18).

本実施形態によれば、放送データの視聴時において、放送データに含まれる付与情報（撮影場所情報、撮影日時情報、天気情報など）から適切な照明データを推定し、推定した照明データにより照明器具を制御することにより、撮影時の撮影環境を再現することができるため、視聴環境の臨場感を向上させることができる。   According to the present embodiment, when viewing broadcast data, appropriate illumination data is estimated from provision information (shooting location information, shooting date / time information, weather information, etc.) included in the broadcast data, and the lighting apparatus is estimated based on the estimated lighting data. By controlling, the shooting environment at the time of shooting can be reproduced, so that the realism of the viewing environment can be improved.

（第２の実施形態）
図４は、本発明の他の実施形態に係る高臨場感再生装置の構成例を示すブロック図で、再生装置１０は、受信部１１、データ分割部１２、照明推定部１３、視聴環境制御部１４、照明部１５、ディスプレイ部１６に加え、さらに、付加情報（撮影場所、撮影日時、天気情報など）から推定される照明データを格納した推定データベース部１７を備えている。 (Second Embodiment)
FIG. 4 is a block diagram illustrating a configuration example of a highly realistic reproduction apparatus according to another embodiment of the present invention. The reproduction apparatus 10 includes a reception unit 11, a data division unit 12, an illumination estimation unit 13, and a viewing environment control unit. 14. In addition to the illumination unit 15 and the display unit 16, an estimation database unit 17 that stores illumination data estimated from additional information (such as a shooting location, shooting date / time, and weather information) is provided.

図５は、推定データベース部１７に格納されているデータの一例を示す図である。
推定データベース部１７には、照明推定部１３で検索・参照されるための撮影場所、撮影日時、天気情報などの各付加情報の値から推定される照明データが格納されている。例えば、撮影場所の照明データの場合、緯度をいくつかのグループに分けている。例えば、緯度ごとに高い、中間、低いの３つにグループ分けした場合、高いは色温度を低く、中間は色温度をそのまま、低いは色温度を高くするための照明データが格納されている。 FIG. 5 is a diagram illustrating an example of data stored in the estimation database unit 17.
The estimation database unit 17 stores illumination data estimated from the values of additional information such as a shooting location, shooting date and time, and weather information to be searched and referenced by the lighting estimation unit 13. For example, in the case of illumination data at a shooting location, the latitude is divided into several groups. For example, when grouping into three groups of high, medium, and low for each latitude, illumination data for storing a high color temperature is stored in the middle, and the illumination data for storing the color temperature as it is in the middle is stored.

また、撮影日時の照明データの場合、時間、季節をいくつかのグループに分けている。例えば、時間ごとに日の出、日没、昼、夜の４つにグループ分けした場合、日の出は色温度を低く、日没は色温度を低く、昼は色温度を高く、夜は照度を低くするための照明データが格納されている。また、季節ごとに春、夏、秋、冬の４つにグループ分けした場合、春は色温度をそのままに、夏は色温度を高く、秋は色温度をそのままに、冬は色温度を低くするための照明データが格納されている。   In addition, in the case of lighting data of shooting date and time, time and season are divided into several groups. For example, if you divide into 4 groups of sunrise, sunset, daytime, and night by time, sunrise will have a lower color temperature, sunset will have a lower color temperature, daytime will have a higher color temperature, and night will have a lower illuminance. Lighting data is stored. In addition, if the seasons are grouped into spring, summer, autumn, and winter, the color temperature remains the same in spring, the color temperature is higher in summer, the color temperature is lower in autumn, and the color temperature is lower in winter. Illumination data to be stored is stored.

また、天気情報の照明データの場合、天気をいくつかのグループに分けている。例えば、天気を快晴、曇り、晴天、雨の４つにグループ分けした場合、快晴は色温度を高く、曇りは色温度をやや高く、晴天は色温度をそのままに、雨は照度を低くするための照明データが格納されている。   In the case of weather information lighting data, the weather is divided into several groups. For example, when the weather is divided into four groups: clear, cloudy, clear sky, and rain, clear weather has a higher color temperature, cloudy has a slightly higher color temperature, clear weather has the same color temperature, and rain has a lower illuminance. Lighting data is stored.

図６は、本発明が適用される高臨場感再生方法の他の例を説明するためのフロー図である。尚、本例は、図４に示す再生装置１０に基づいて、付加情報として撮影場所情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し（ステップＳ２１）、データ分割部１２にて映像信号と付加情報である撮影場所情報に分割し、撮影場所情報を取り出す（ステップＳ２２）。取り出した撮影場所情報は照明推定部１３に送られる。また、映像信号はそのままディスプレイ部１６に送られて表示される。 FIG. 6 is a flowchart for explaining another example of the high presence reproduction method to which the present invention is applied. In this example, a case where shooting location information is sent as additional information based on the playback apparatus 10 shown in FIG. 4 will be described.
First, the playback device 10 receives broadcast data at the receiving unit 11 (step S21), and the data dividing unit 12 divides the video signal and shooting location information as additional information, and takes out shooting location information (step S22). . The taken shooting location information is sent to the illumination estimation unit 13. The video signal is sent to the display unit 16 as it is and displayed.

照明推定部１３は、送られてきた撮影場所情報を元に推定データベース部１７を検索・参照し（ステップＳ２３）、照明部１５の色温度を適切に調整するための照明データを取得する（ステップＳ２４）。取得した照明データは視聴環境制御部１４に送られる。視聴環境制御部１４では、与えられた照明データを元にして、照明部１５の色温度、照度を調整する（ステップＳ２５）。   The illumination estimation unit 13 searches and refers to the estimation database unit 17 based on the received shooting location information (step S23), and acquires illumination data for appropriately adjusting the color temperature of the illumination unit 15 (step S23). S24). The acquired illumination data is sent to the viewing environment control unit 14. The viewing environment control unit 14 adjusts the color temperature and illuminance of the illumination unit 15 based on the given illumination data (step S25).

本実施形態によれば、放送データの視聴時において、放送データに含まれる付与情報（撮影場所情報、撮影日時情報、天気情報など）から適切な照明データを推定し、推定した照明データにより照明器具を制御することにより、撮影時の撮影環境を再現することができるため、視聴環境の臨場感を向上させることができる。さらに、第１の実施形態の構成に比べ、推定データベース部を備えることで、演算処理が省かれ、照明推定部の負荷が軽減される。   According to the present embodiment, when viewing broadcast data, appropriate illumination data is estimated from provision information (shooting location information, shooting date / time information, weather information, etc.) included in the broadcast data, and the lighting apparatus is estimated based on the estimated lighting data. By controlling, the shooting environment at the time of shooting can be reproduced, so that the realism of the viewing environment can be improved. Furthermore, compared with the structure of 1st Embodiment, by providing an estimation database part, a calculation process is abbreviate | omitted and the load of an illumination estimation part is reduced.

本発明の一実施形態に係る高臨場感再生装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the highly realistic reproduction | regeneration apparatus which concerns on one Embodiment of this invention. 本発明が適用される高臨場感再生方法の一例を説明するためのフロー図である。It is a flowchart for demonstrating an example of the highly realistic reproduction | regeneration method to which this invention is applied. 本発明が適用される高臨場感再生方法の他の例を説明するためのフロー図である。It is a flowchart for demonstrating the other example of the highly realistic reproduction | regeneration method to which this invention is applied. 本発明の他の実施形態に係る高臨場感再生装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the highly realistic reproduction | regeneration apparatus which concerns on other embodiment of this invention. 推定データベース部に格納されているデータの一例を示す図である。It is a figure which shows an example of the data stored in the estimation database part. 本発明が適用される高臨場感再生方法の他の例を説明するためのフロー図である。It is a flowchart for demonstrating the other example of the highly realistic reproduction | regeneration method to which this invention is applied.

符号の説明Explanation of symbols

１０…高臨場感再生装置（再生装置）、１１…受信部、１２…データ分割部、１２…照明推定部、１４…視聴環境制御部、１５…照明部（照明器具）、１６…ディスプレイ部、１７…推定データベース部。 DESCRIPTION OF SYMBOLS 10 ... High presence reproduction apparatus (reproduction | regeneration apparatus), 11 ... Reception part, 12 ... Data division part, 12 ... Illumination estimation part, 14 ... Viewing environment control part, 15 ... Illumination part (lighting fixture), 16 ... Display part, 17 ... Estimated database part.

Claims (12)

映像信号と付加情報を含む放送データを受信する受信部と、該受信した放送データを映像信号と付加情報に分割するデータ分割部と、該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定部と、該推定された照明データに基づいて視聴環境を制御する視聴環境制御部とを備え、該視聴環境制御部によって照明器具を制御できるようにしたことを特徴とする高臨場感再生装置。   A receiving unit that receives broadcast data including a video signal and additional information, a data dividing unit that divides the received broadcast data into a video signal and additional information, and reproducing the shooting environment of the broadcast data from the divided additional information An illumination estimation unit that estimates illumination data for the image and a viewing environment control unit that controls the viewing environment based on the estimated illumination data, and the viewing environment control unit can control the lighting fixture. A highly realistic reproduction device. 請求項１に記載の高臨場感再生装置において、前記付加情報から推定される照明データを格納した推定データベース部を備え、前記照明推定部は、前記データ分割部によって分割した付加情報から前記推定データベース部を検索することにより、前記放送データの撮影環境を再現するための照明データを取得することを特徴とする高臨場感再生装置。   The high presence reproduction apparatus according to claim 1, further comprising: an estimation database unit storing illumination data estimated from the additional information, wherein the illumination estimation unit uses the estimation database from the additional information divided by the data dividing unit. A high presence reproduction apparatus characterized by acquiring illumination data for reproducing the shooting environment of the broadcast data by searching for a part. 請求項１又は２に記載の高臨場感再生装置において、前記照明推定部は、前記付加情報に含まれる字幕情報から照明データを推定することを特徴とする高臨場感再生装置。   The high presence reproduction apparatus according to claim 1, wherein the illumination estimation unit estimates illumination data from subtitle information included in the additional information. 請求項１又は２に記載の高臨場感再生装置において、前記照明推定部は、前記付加情報に含まれる撮影場所情報から照明データを推定することを特徴とする高臨場感再生装置。   The high presence reproduction device according to claim 1, wherein the illumination estimation unit estimates illumination data from shooting location information included in the additional information. 請求項１又は２に記載の高臨場感再生装置において、前記照明推定部は、前記付加情報に含まれる撮影日時情報から照明データを推定することを特徴とする高臨場感再生装置。   The high presence reproduction apparatus according to claim 1, wherein the illumination estimation unit estimates illumination data from shooting date / time information included in the additional information. 請求項１又は２に記載の高臨場感再生装置において、前記照明推定部は、前記付加情報に含まれる天気情報から照明データを推定することを特徴とする高臨場感再生装置。   The high presence reproduction apparatus according to claim 1, wherein the illumination estimation unit estimates illumination data from weather information included in the additional information. 映像信号と付加情報を含む放送データを受信する受信ステップと、該受信した放送データを映像信号と付加情報に分割するデータ分割ステップと、該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定ステップと、該推定された照明データに基づいて視聴環境を制御する視聴環境制御ステップとを有することを特徴とする高臨場感再生方法。   A reception step of receiving broadcast data including a video signal and additional information, a data division step of dividing the received broadcast data into a video signal and additional information, and reproducing the shooting environment of the broadcast data from the divided additional information And a viewing environment control step for controlling the viewing environment based on the estimated lighting data. 前記付加情報から推定される照明データを推定データベース部に格納して有し、前記照明推定ステップにおいて、前記データ分割ステップによって分割した付加情報から前記推定データベース部を検索することにより、前記放送データの撮影環境を再現するための照明データを取得することを特徴とする請求項７に記載の高臨場感再生方法。   Illumination data estimated from the additional information is stored in an estimation database unit, and in the illumination estimation step, by searching the estimation database unit from the additional information divided by the data division step, the broadcast data 8. The method of reproducing a high sense of presence according to claim 7, wherein illumination data for reproducing a shooting environment is acquired. 前記照明推定ステップにおいて、前記付加情報に含まれる字幕情報から照明データを推定することを特徴とする請求項７又は８に記載の高臨場感再生方法。   9. The method of reproducing a high sense of presence according to claim 7 or 8, wherein, in the illumination estimation step, illumination data is estimated from caption information included in the additional information. 前記照明推定ステップにおいて、前記付加情報に含まれる撮影場所情報から照明データを推定することを特徴とする請求項７又は８に記載の高臨場感再生方法。   9. The method of reproducing a high sense of presence according to claim 7, wherein in the illumination estimation step, illumination data is estimated from shooting location information included in the additional information. 前記照明推定ステップにおいて、前記付加情報に含まれる撮影日時情報から照明データを推定することを特徴とする請求項７又は８に記載の高臨場感再生方法。   9. The method of reproducing a high sense of presence according to claim 7, wherein in the illumination estimation step, illumination data is estimated from shooting date / time information included in the additional information. 前記照明推定ステップにおいて、前記付加情報に含まれる天気情報から照明データを推定することを特徴とする請求項７又は８に記載の高臨場感再生方法。   9. The method of reproducing a high sense of presence according to claim 7 or 8, wherein, in the illumination estimation step, illumination data is estimated from weather information included in the additional information.
JP2004127983A 2004-04-23 2004-04-23 High presence reproduction apparatus and method Expired - Fee Related JP4439322B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004127983A JP4439322B2 (en) 2004-04-23 2004-04-23 High presence reproduction apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004127983A JP4439322B2 (en) 2004-04-23 2004-04-23 High presence reproduction apparatus and method

Publications (3)

Publication Number Publication Date
JP2005310630A true JP2005310630A (en) 2005-11-04
JP2005310630A5 JP2005310630A5 (en) 2006-08-10
JP4439322B2 JP4439322B2 (en) 2010-03-24

Family

ID=35439143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004127983A Expired - Fee Related JP4439322B2 (en) 2004-04-23 2004-04-23 High presence reproduction apparatus and method

Country Status (1)

Country Link
JP (1) JP4439322B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007122987A1 (en) * 2006-04-19 2007-11-01 Sharp Kabushiki Kaisha Data transmitting device, data transmitting method, audiovisual environment control device, audiovisual environment control system and audiovisual environment control method
WO2007123008A1 (en) * 2006-04-21 2007-11-01 Sharp Kabushiki Kaisha Data transmission device, data transmission method, audio-visual environment control device, audio-visual environment control system, and audio-visual environment control method
WO2007145064A1 (en) * 2006-06-13 2007-12-21 Sharp Kabushiki Kaisha Data transmitting device, data transmitting method, audio-visual environment control device, audio-visual environment control system, and audio-visual environment control method
JP2009535676A (en) * 2006-03-31 2009-10-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Control ambient lighting from categories of video data
JPWO2008084677A1 (en) * 2006-12-28 2010-04-30 シャープ株式会社 Transmission device, viewing environment control device, and viewing environment control system
CN109152171A (en) * 2018-08-30 2019-01-04 广州视源电子科技股份有限公司 Control method, device, readable storage medium storing program for executing and the control system of light

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009535676A (en) * 2006-03-31 2009-10-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Control ambient lighting from categories of video data
WO2007122987A1 (en) * 2006-04-19 2007-11-01 Sharp Kabushiki Kaisha Data transmitting device, data transmitting method, audiovisual environment control device, audiovisual environment control system and audiovisual environment control method
JP5058157B2 (en) * 2006-04-19 2012-10-24 シャープ株式会社 Data transmission device, data transmission method, viewing environment control device, viewing environment control system, and viewing environment control method
WO2007123008A1 (en) * 2006-04-21 2007-11-01 Sharp Kabushiki Kaisha Data transmission device, data transmission method, audio-visual environment control device, audio-visual environment control system, and audio-visual environment control method
JP4950988B2 (en) * 2006-04-21 2012-06-13 シャープ株式会社 Data transmission device, data transmission method, viewing environment control device, viewing environment control system, and viewing environment control method
WO2007145064A1 (en) * 2006-06-13 2007-12-21 Sharp Kabushiki Kaisha Data transmitting device, data transmitting method, audio-visual environment control device, audio-visual environment control system, and audio-visual environment control method
CN101467452A (en) * 2006-06-13 2009-06-24 夏普株式会社 Data transmitting device, data transmitting method, audio-visual environment control device, audio-visual environment control system, and audio-visual environment control method
JP4950990B2 (en) * 2006-06-13 2012-06-13 シャープ株式会社 Video transmission apparatus and method, viewing environment control apparatus and method
JPWO2008084677A1 (en) * 2006-12-28 2010-04-30 シャープ株式会社 Transmission device, viewing environment control device, and viewing environment control system
CN109152171A (en) * 2018-08-30 2019-01-04 广州视源电子科技股份有限公司 Control method, device, readable storage medium storing program for executing and the control system of light

Also Published As

Publication number Publication date
JP4439322B2 (en) 2010-03-24

Similar Documents

Publication Publication Date Title
JP6700322B2 (en) Improved HDR image encoding and decoding method and apparatus
US10481677B2 (en) Display apparatus and display method
JP5958538B2 (en) COLOR CONTROL METHOD, COMMUNICATION DEVICE, COMPUTER-READABLE PROGRAM, AND STORAGE MEDIUM
RU2609760C2 (en) Improved image encoding apparatus and methods
JP5058157B2 (en) Data transmission device, data transmission method, viewing environment control device, viewing environment control system, and viewing environment control method
KR102130667B1 (en) Electronic display with environmental adaptation of location-based display characteristics
JP6137113B2 (en) Display device, display method, and program
CN103004213A (en) Tone and gamut mapping methods and apparatus
CN103493487A (en) Apparatuses and methods for HDR image encoding and decoding
JP2008083289A (en) Imaging display apparatus, and imaging display method
JP4439322B2 (en) High presence reproduction apparatus and method
US11445127B2 (en) Leveraging HDR sensors for handling mixed illumination auto white balance
CN106782367B (en) Liquid crystal-spliced screen shows method and system
CN111489673A (en) Display device and display method thereof
JP2009081822A (en) Data transmission device and method, and view environment control apparatus, system and method
US20040174326A1 (en) Illumination service providing method, illumination apparatus, recording medium, and reproduction apparartus
JP4789592B2 (en) Viewing environment control device and viewing environment control method
JP2010250140A (en) Video signal processor and video signal processing program
CN115861502A (en) Weather rendering method and device in virtual environment, storage medium and electronic equipment
JP2009239323A (en) Video signal processor
JPH0549034A (en) Electronic picture device
EP3896952A1 (en) Perceptually improved color display in image sequences on physical displays
JP7507353B2 (en) Image display system and image display method
JP2009272943A (en) Image processing device, image processing method, and program
JP2003189324A (en) White balance adjustment method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060623

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100105

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees