JP2009060542A - データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 - Google Patents

Abstract

【課題】 所定のセグメント単位でカメラワークデータを送信することにより、送信側のデータ容量や受信機側の演算量を抑制しつつ最適な視聴環境の照明制御を実現する。
【解決手段】 データ送信装置は、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータを、セグメント単位で前記映像データに付加して送信する。一方、データ受信装置は、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割したセグメント単位で前記映像データに付加された、撮影時におけるカメラワーク状況を示すカメラワークデータを受信する受信手段と、前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを備える。
【選択図】 図１０

Description

本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法に関するものである。

例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。

例えば特許文献１には、カラーテレビの表示映像の色信号（ＲＧＢ）と輝度信号（Ｙ）とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号（ＲＧＢ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。

また、例えば特許文献２には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。

さらに、例えば特許文献３には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のＲＧＢ信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
特開平２−１５８０９４号公報 特開平２−２５３５０３号公報 特開平３−１８４２０３号公報

上述した従来の視聴環境制御装置では、表示すべき映像信号における１フレーム（画面）毎の特徴量（色信号及び輝度信号）を検出し、照明光を制御しているため、表示映像内容によっては該映像の場（雰囲気）に即した照明光を生成することが困難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持することができない。すなわち、映像シーンの撮影時における照明状況から大きく逸脱した視聴環境照明は却って臨場感を損なうことになる。

上記特許文献３のものは、肌色部分の画素を取り除いた残りの部分を背景部として、この背景部の各画素の特徴量（色信号及び輝度信号）に基づき、視聴環境空間の照明光を制御しているが、例えば背景部に地面や建築物が多く占める映像の場合、この影響を受けて不適切な色の照明光を周囲に照射してしまうことになるので、却って臨場感や雰囲気を損なってしまうことになる。すなわち、表示映像の撮影時における照明状況（雰囲気）を映像信号から推定するには、肌色部分の画素を取り除くだけでは不十分であり、撮影時における照明状況（雰囲気）を表わす背景画素のみを適切に抽出して用いる必要がある。

また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、撮影時の照明状況に変化のない１つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。

図１７は上記従来の技術による照明制御の問題点の一例を説明するための図であり、連続する動画像の一部を示すものである。図１７に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。

すなわち、この映像シーンは、カメラポジション、アングル、被写体の数、カメラの動き、カメラレンズ種別のそれぞれは、ローポジ、ローアングル、ワンショット（１Ｓ）、フィックス、標準レンズという一定のカメラワーク状況により撮影されたものである。

そして、このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。すなわち、被写体サイズは、フレームＡ〜Ｄがログショットで、フレームＥがフルフィギュアとなっている。

このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。

図１８は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図１８に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がバストショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。

すなわち、このシーンの撮影に用いられているカメラワーク状況は、カメラポジション、アングル、カメラの動き、カメラレンズ種別のそれぞれが、目高、水平アングル、フィックス、標準レンズで、被写体のサイズ、数が、フレームＡ〜Ｂ（ショット１）及びフレームＥ〜Ｆ（ショット３）はロングショット、ツーショット（２Ｓ）、フレームＣ〜Ｄ（ショット２）はバストショット、ワンショット（１Ｓ）である。

このような場合、ショット１では、月夜の比較的暗い映像が連続しているので、これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、バストショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。

すなわち、一定の照明状況の下で撮影された一連の映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。

図１９は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図１９に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなるが、ズーム撮影により被写体（前景）である茶色い犬がロングジョットからアップショットへ序々に変化している。

すなわち、このシーンの撮影に用いられているカメラワーク状況は、カメラポジション、アングル、被写体の数、カメラの動きのそれぞれが、ハイポジ、ハイアングル、ワンショット（１Ｓ）、ズームで、被写体サイズが、フレームＡ〜Ｂはロングショット、フレームＣはフルフィギュア、フレームＤはバストショット、フレームＥはアップショット、カメラレンズ種別が、フレームＡは標準レンズ、フレームＢ以降は望遠レンズである。

これらの映像の各フレームの輝度や色度に従って照明光を制御すると、緑色が強い照明光から茶色い照明光に変化していくことになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。

図２０は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図２０に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなるが、ズーム撮影により被写体（前景）である桃色の服を着た人物がロングジョットからバストショットへ序々に変化している。

すなわち、このシーンの撮影に用いられているカメラワーク状況は、カメラポジション、アングル、被写体の数、カメラの動きのそれぞれが、目高、水平アングル、ワンショット（１Ｓ）、ズームで、被写体サイズが、フレームＡ〜Ｂはロングショット、フレームＣはフルフィギュア、フレームＤはウエストショット、フレームＥはアップショット、カメラレンズ種別が、フレームＡは標準レンズ、フレームＢ以降は望遠レンズである。

これらの映像の各フレームの輝度や色度に従って照明光を制御すると、青色が強い照明光から桃色の照明光に変化していくことになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。

図２１は上記従来の技術による照明制御の問題点の他の例を説明するための図である。図２１に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなるが、カメラレンズを切り替えて撮影することにより、被写体（前景）である桃色の服を着た人物がロングジョットからバストショットに変化している。

すなわち、このシーンの撮影に用いられているカメラワーク状況は、カメラポジション、アングル、被写体の数、カメラの動きのそれぞれが、目高、水平アングル、ワンショット（１Ｓ）、フィックスで、被写体サイズが、フレームＡ〜Ｃはロングショット、フレームＤ〜Ｅはバストショット、カメラレンズ種別が、フレームＡ〜Ｃは標準レンズ、フレームＤ以降は望遠レンズである。

これらの映像の各フレームの輝度や色度に従って照明光を制御すると、青色が強い照明光から突然、桃色の照明光に変化することになる。すなわち、一定の自然光照明の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。

したがって、視聴環境の照明制御を行う際には、表示映像の撮影時カメラワーク情報は重要なパラメータになってくる。ここで、通常のカメラワークの切り替えタイミングは、単一のカメラにより撮影されたフレーム列であるショット単位で行われることが多い。そのため、必ずしもフレーム単位でのカメラワークデータが必要なわけではなく、ショット単位でのカメラワークデータからでも十分臨場感の高い環境を実現させることが可能である。よって、データ送信の観点から考えると、フレーム単位でのカメラワークデータ送信よりもショットなどの任意のセグメント単位でのカメラワークデータ送信の方が望まれる。

例えば、１つのショットを同じカメラワークで撮影した場合において、カメラワークデータをフレーム単位で送る場合は、そのショットに含まれるフレームの数だけ同じカメラワークデータを送信する必要がある。つまり、送信側においては、同じデータを重複して送信することになり、送信データ量が大きくなってしまうことになる。

また、受信機側においても、フレーム単位で演算処理などを行う必要が出てきてしまうため、負担が大きくなる。

本発明は、上記課題に鑑みてなされたものであり、所定のセグメント単位でカメラワークデータを送信することにより、送信側のデータ容量や受信機側の演算量を抑制しつつ最適な視聴環境の照明制御を実現することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供することを目的とする。

本願の第１の発明は、１以上のフレームから構成される映像データを送信するデータ送信装置において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータを、セグメント単位で前記映像データに付加して送信することを特徴とする。

本願の第２の発明は、１以上のフレームから構成される映像データを送信するデータ送信装置において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータを、セグメント単位で付加する場合と、フレーム単位で付加する場合とを識別する識別情報と、前記識別情報に応じた前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータとを、前記映像データに付加して送信することを特徴とする。

本願の第３の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影時におけるカメラポジションを表わす情報を含むことを特徴とする。

本願の第４の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影時におけるカメラアングルを表わす情報を含むことを特徴とする。

本願の第５の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影時における被写体のサイズを表わす情報を含むことを特徴とする。

本願の第６の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影時における被写体の数を表わす情報を含むことを特徴とする。

本願の第７の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影時におけるカメラの動きを表わす情報を含むことを特徴とする。

本願の第８の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする。

本願の第９の発明は、外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送信装置であって、前記カメラワークデータを、セグメント単位で前記映像データを構成する各セグメントの開始タイミングとともに送信することを特徴とする。

本願の第１０の発明は、外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送信装置であって、前記カメラワークデータを、セグメント単位で付加する場合と、フレーム単位で付加する場合とを識別する識別情報と、前記カメラワークデータを、前記識別情報に応じた単位で前記識別情報に応じた開始タイミングとともに送信することを特徴とする。

本願の第１１の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影時におけるカメラポジションを表わす情報を含むことを特徴とする。

本願の第１２の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影時におけるカメラアングルを表わす情報を含むことを特徴とする。

本願の第１３の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影時における被写体のサイズを表わす情報を含むことを特徴とする。

本願の第１４の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影時における被写体の数を表わす情報を含むことを特徴とする。

本願の第１５の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラの動きを表わす情報を含むことを特徴とする。

本願の第１６の発明は、前記データ送信装置において、前記カメラワークデータは、少なくとも撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする。

本願の第１７の発明は、表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を制御する視聴環境制御装置であって、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割したセグメント単位で前記映像データに付加された、撮影時におけるカメラワーク状況を示すカメラワークデータを受信する受信手段と、前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする。

本願の第１８の発明は、表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を制御する視聴環境制御装置であって、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割したセグメント単位で前記映像データに付加された、撮影時におけるカメラワーク状況を示すカメラワークデータがセグメント単位で付加されている場合と、フレーム単位で付加されている場合とを識別する識別情報と、該識別情報に応じた撮影時におけるカメラワーク状況を示すカメラワークデータとを受信する受信手段と、前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする。

本願の第１９の発明は、前記視聴環境制御装置において、前記カメラワークデータは、少なくとも撮影時におけるカメラポジションを表わす情報を含むことを特徴とする。

本願の第２０の発明は、前記視聴環境制御装置において、前記カメラワークデータは、少なくとも撮影時におけるカメラアングルを表わす情報を含むことを特徴とする。

本願の第２１の発明は、前記視聴環境制御装置において、前記カメラワークデータは、少なくとも撮影時における被写体のサイズを表わす情報を含むことを特徴とする。

本願の第２２の発明は、前記視聴環境制御装置において、前記カメラワークデータは、少なくとも各フレームの撮影時における被写体の数を表わす情報を含むことを特徴とする。

本願の第２３の発明は、前記視聴環境制御装置において、前記カメラワークデータは、少なくとも撮影時におけるカメラの動きを表わす情報を含むことを特徴とする。

本願の第２４の発明は、前記視聴環境制御装置において、前記カメラワークデータは、少なくとも撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする。

本願の第２５の発明は、前記視聴環境制御装置において、前記制御手段は、前記カメラワークデータに応じて、前記映像データの特徴量を検出する対象フレームを制限することを特徴とする。

本願の第２６の発明は、前記視聴環境制御装置において、前記制御手段は、前記カメラワークデータに応じて、前記映像データの特徴量を検出する画面領域を制限することを特徴とする。

本願の第２７の発明は、視聴環境制御システムにおいて、前記視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする。

本願の第２８の発明は、１以上のフレームから構成される映像データを送信するデータ送信方法において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータを、セグメント単位で前記映像データに付加して送信することを特徴とする。

本願の第２９の発明は、１以上のフレームから構成される映像データを送信するデータ送信方法において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータを、セグメント単位で付加する場合と、フレーム単位で付加する場合とを識別する識別情報と、前記識別情報に応じた前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータとを、前記映像データに付加して送信することを特徴とする。

本願の第３０の発明は、外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送信方法であって、前記カメラワークデータを、セグメント単位で前記映像データを構成する各セグメントの開始タイミングとともに送信することを特徴とする。

本願の第３１の発明は、外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送信方法であって、前記カメラワークデータを、セグメント単位で付加する場合と、フレーム単位で付加する場合とを識別する識別情報と、前記カメラワークデータを、前記識別情報に応じた単位で前記識別情報に応じた開始タイミングとともに送信することを特徴とする。

本願の第３２の発明は、表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を制御する視聴環境制御方法であって、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割したセグメント単位で前記映像データに付加された、撮影時におけるカメラワーク状況を示すカメラワークデータを受信する受信手段と、前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする。

本願の第３３の発明は、表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を制御する視聴環境制御方法であって、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割したセグメント単位で前記映像データに付加された、撮影時におけるカメラワーク状況を示すカメラワークデータがセグメント単位で付加されている場合と、フレーム単位で付加されている場合とを識別する識別情報と、該識別情報に応じた撮影時におけるカメラワーク状況を示すカメラワークデータとを受信する受信手段と、前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする。

本発明によれば、照明制御に係るデータ量を抑制しつつ映像の撮影時における場（雰囲気）に応じた最適な視聴環境を実現することが可能となる。

＜第１の実施形態＞
以下、本発明の視聴環境制御システムの第１実施形態について、図１乃至図１２とともに詳細に説明する。ここで、図１は本実施形態の視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図、図２は本実施形態の視聴環境制御システムにおける映像送信装置が映像データや音声データに付加して出力する付加データを示す説明図、図３は本実施形態の視聴環境制御システムにおけるカメラワークデータの一例を示す説明図、図４はカメラポジション及びカメラアングルを説明するための図、図５は被写体サイズを説明するための図、図６は被写体数を説明するための図、図７は映像の構成要素を説明するための図である。

また、図８は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図、図９は本実施形態の視聴環境制御システムにおける照明制御データ生成部の構成を示すブロック図、図１０は本実施形態の視聴環境制御システムにおけるポジション及びアングルによって決まる場（雰囲気）推定対象領域例を示す説明図、図１１は本実施形態の視聴環境制御システムにおける被写体サイズ及び被写体数によって決まる場（雰囲気）推定対象領域例を示す説明図、図１２は本実施形態の視聴環境制御システムにおける照明制御データ生成部の動作を示すフローチャートである。

本実施形態における映像送信装置（データ送信装置）は、図１に示すように、映像データ、音声データ、カメラワークデータなどの付加データを多重するデータ多重部１と、データ多重部１の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送データとして伝送路に送出する送信部２とを備えている。また、放送データの出力については、図２に示すように、ＭＰＥＧ２（Moving Picture Experts Group 2）−Systemsで規定されたトランスポートストリームパケット（ＴＳＰ）を利用し、例えば映像データ及び音声データをペイロード１３で伝送し、カメラワークデータなどの付加データを拡張ヘッダ（アダプテーション・フィールド）１２で伝送するようにすればよい。また、付加データをペイロード１３に埋め込んで伝送するようにしてもよい。尚、映像データ、音声データ、付加データのそれぞれの異なるデータストリームを多重して伝送するようにしてもよい。

図３は映像データや音声データに付加する付加データを示す図である。付加データには、セグメント区切り情報およびカメラワーク情報があり、これらの付加データを基に視聴環境照明を適切に制御することが可能になる。セグメント区切り情報は、映像製作者等が意図する映像の区切り（例えば、ショット）のことで、映像製作者等によって任意に設定されるものであり、図４に示すように、各セグメントの開始時刻情報（ｈ:時間、ｍ：分、ｓ：秒、ｆ：フレーム）とセグメントの時間的長さを示す区間情報で表される。

照明制御においては主に場面の状況が一定となるシーン単位での制御が多いが、撮影の状況が一定となるショット単位で制御することも少なからずある。また、時にはフレーム単位でのきめ細やかな制御が望ましい場合も存在することから、映像データの内容によって照明を一定に制御すべきことが多い単位でセグメントを区切ることにより、付加するデータ量の増加を抑制して、効率的に付加データを記述することができる。

次に、映像データの任意のセグメント（例えば、ショット）の撮影時におけるカメラワーク状況を示すカメラワークデータについて、図５とともに詳細に説明する。本実施形態では、カメラワークデータとして、任意のセグメント（例えば、ショット）の撮影時におけるカメラポジションを表わすポジション情報、任意のセグメント（例えば、ショット）の撮影時におけるカメラアングルを表わすアングル情報、任意のセグメント（例えば、ショット）の撮影時における被写体のサイズを表わす被写体サイズ情報、任意のセグメント（例えば、ショット）の撮影時における被写体の数を表わす被写体数情報、任意のセグメント（例えば、ショット）の撮影時におけるカメラの動きを表わすカメラの動き情報、任意のセグメント（例えば、ショット）の撮影に用いられたカメラレンズの種別を表わすレンズ種別情報を有している。これらの情報はいずれも、任意のセグメント（例えば、ショット）の撮影時における照明環境を推定し、各シーンの雰囲気や臨場感を照明光によって演出するために有用な情報である。以下、それぞれの情報について説明する。

まず、映像撮影時のカメラのポジションとして、ハイポジション（ハイポジ）、目高、ローポジション（ローポジ）に分類される。図６（ａ）に示すように、ハイポジは、後述するロングショットに活用されることが多いポジションで、広大な広がりを表現したり、人垣越しなどで用いられる高い位置である。目高は、通常のポジションであり、被写体の目の高さの位置である。ローポジは、子供の目線などの低い位置である。

屋外撮影の場合、撮影画面内における水平線（地平線）の高さは、ハイポジでは低く、ローポジでは高い位置になる傾向があるため、映像撮影時におけるカメラポジションに適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、ポジション情報として、任意のセグメント（例えば、ショット）の撮影時におけるカメラポジションが、ハイポジ／目高／ローポジのいずれに属するかを示す２ビットの記述を、カメラワークデータの中に含有している。

また、映像撮影時のカメラのアングルとして、ハイアングル（俯瞰）、水平アングル（目線）、ローアングル（あおり）に分類される。図６（ｂ）に示すように、ハイアングルは、下方を見下ろす角度での撮影方法であり、全体の客観的な状況説明などで用いられる。水平アングルは、カメラを水平方向に向けた、自然で標準的なアングルである。ローアングルは、上方を見上げる角度での撮影方法であり、威圧的、優位、勝利などを表現する際に用いられる。

屋外撮影の場合、撮影画面内における水平線（地平線）の高さは、ハイアングルでは高く、ローアングルでは低い位置になる傾向があるため、映像撮影時におけるカメラアングルに適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、アングル情報として、各映像フレームの撮影時におけるカメラアングルが、ハイアングル（俯瞰）／水平アングル（目線）／ローアングル（あおり）のいずれに属するかを示す２ビットの記述を、カメラワークデータの中に含有している。

さらに、映像撮影時の被写体サイズ（画面サイズとも称す）として、ロングショット、フルフィギュア、ニーショット、ウエストショット、バストショット、アップショット、クローズアップショット、ビッグクローズアップショットに分類される。図７に示すように、ロングショット（Ｌ.Ｓ.）は、スタジオ風景や野外の広角ショットであり、全体の位置関係や、ストーリーの始まりと終わりに用いられることが多い。フルフィギュア（Ｆ.Ｆ.）は、撮影画面内に被写体の全身（立ったときの足先から頭までの全身像、座ったときの全身像）を納めたサイズとなる。ニーショット（Ｋ.Ｓ.）は、撮影画面内に被写体の膝上から頭までを入れたサイズとなる。

ウエストショット（Ｗ.Ｓ.）は、撮影画面内に被写体の腰か腰上から頭までを入れた半身像のサイズとなり、ニュース、話し手の基本的ショットに用いられ、テロップを入れ易いのが特徴である。バストショット（Ｂ.Ｓ.）は、撮影画面内に被写体の胸か胸上から頭までを入れた上半身のサイズとなり、これは人物像で最も多く使われるサイズである。アップショット（Ｕ.Ｓ.）は、被写体の表情、盛り上げを表現するショットである。クローズアップショット（Ｃ.Ｕ.）は、アップを強調するショットであり、被写体の頭（髪の毛）が切れる程度のサイズとなる。ビッグクローズアップショット（Ｂ.Ｃ.Ｕ.）は、クローズアップを強調する際に用いられる。

このように、映像撮影時の被写体サイズ（画面サイズ）によって、背景の領域面積は変わるので、映像撮影時における被写体サイズ（画面サイズ）に適応して、映像特徴量を検出するフレームを制限したり、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、被写体サイズ情報として、各映像フレームの撮影時における被写体のサイズが、ロングショット／フルフィギュア／ニーショット／ウエストショット／バストショット／アップショット／クローズアップショット／ビッグクローズアップショットのいずれに属するかを示す３ビットの記述を、カメラワークデータの中に含有している。

また、映像撮影時の被写体の数として、ワンショット（１Ｓ）、ツーショット（２Ｓ）、スリーショット（３Ｓ）、グループショット（ＧＳ）、風景（背景）のみに分類される。図８に示すように、ワンショットは前景となる被写体が１人（１つ）のみ、ツーショットは前景となる被写体が２人（２つ）、スリーショットは前景となる被写体が３人（３つ）、グループショットは前景となる被写体が４以上の多数である場合のショットである。

このように、映像撮影時の被写体数によって、背景の領域面積は変わるので、映像撮影時における被写体数に適応して、映像特徴量を検出する画面領域を制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、被写体数情報として、任意のセグメント（例えば、ショット）の撮影時における被写体の数が、ワンショット（１Ｓ）／ツーショット（２Ｓ）／スリーショット（３Ｓ）／グループショット（ＧＳ）／風景（背景）のみのいずれに属するかを示す３ビットの記述を、カメラワークデータの中に含有している。

さらに、映像撮影時のカメラの動きとして、フィックス、パン、チルト（ティルト）、ロール、ズーム、ドリー、フォローに分類される。フィックスは、画角を変えるズーム操作などは行わないで、カメラ位置も動かさない撮影方法である。パンは、カメラを水平方向に振って、周囲を見せる撮影方法であり、状況説明や左右のものの位置関係を見せたいときなどに使用される。チルト（ティルト）は、カメラを垂直方向に振る撮影方法であり、下から上（上から下）に向かって撮ったり、木の幹に沿って上に振っていき、枝や葉を撮るようなときに利用される。

ロールは、カメラを回転させる撮影方法、ズームは、ズームレンズによって大写しや広いサイズにする撮影方法である。ドリーは、カメラ自体が動きながら撮影する手法、フォローは、走る人や乗り物など移動する被写体を撮る場合に、被写体の動きを追いかけながら撮影する手法である。

このように、映像撮影時のカメラの動きによって、背景の領域面積や特徴量が変わるので、映像撮影時におけるカメラの動きに適応して、映像特徴量を検出するフレームを制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、カメラの動き情報として、各映像フレームの撮影時におけるカメラの動きが、フィックス／パン／チルト（ティルト）／ロール／ズーム／ドリー／フォローのいずれに属するかを示す３ビットの記述を、カメラワークデータの中に含有している。

また、映像撮影時に用いられるレンズワークとして、標準レンズ、広角レンズ、望遠レンズ、マクロレンズに分類される。標準レンズは、人間の視野に近く、自然な遠近感の撮影が可能なレンズである。広角レンズは、画角が広く、広い範囲を撮影することが可能なレンズであり、風景や集合写真の撮影などによく利用される。望遠レンズは、遠くの被写体を引き寄せて大きく撮影することが可能なレンズであり、実際に近づけないスポーツのワンシーン、ポートレイトの撮影などによく利用される。マクロレンズは、接近撮影が可能なレンズであり、草花や昆虫のクローズアップ撮影に適している。

このように、映像撮影時のレンズワークによって、背景の領域面積が変わるので、映像撮影時におけるカメラの動きに適応して、映像特徴量を検出するフレームを制限し、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、レンズ種別情報として、任意のセグメント（例えば、ショット）の撮影時に用いられたカメラレンズの種別が、標準レンズ／広角レンズ／望遠レンズ／マクロレンズのいずれに属するかを示す２ビットの記述を、カメラワークデータの中に含有している。

尚、カメラワークデータに含まれる各種情報は上述したものに限定されず、もっと詳細な情報を追加するなどしてもよいことは明らかである。また、上述したカメラワークデータは、台本（シナリオもしくは脚本とも呼ぶ）に基づいて作成され、映像撮影現場で用いられるカメラワークプログラムなどを利用して生成することができ、この場合、新たにカメラワークデータを作成する作業を省くことが可能となる。

また、上気カメラワークデータは、上述の説明では、２ビットもしくは３ビットの記述で表すこととしたが、もちろんこれらに限られなくてもよく、例えば、各カメラワークデータの各項目中の選択数が増えた場合には、それに応じてビット数を増やしてもよく、さらに、テキストデータのような方式で記述してもよい。

ところで、シーンやショットを含む映像の構成について、図９を参照して説明する。連続する動画像を構成する映像データは、図９に示すように、３層（レイヤ）構成に分けて考えることができる。映像(Ｖｉｄｅｏ)を構成する第１レイヤは、フレーム（Ｆｒａｍｅ）である。フレームは物理的なレイヤであり、単一の２次元画像を指す。フレームは、通常、毎秒３０フレームのレートで得られる。第２レイヤはショット（Ｓｈｏｔ）である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第３レイヤがシーン（Ｓｃｅｎｅ）である。シーンはストーリー的なつながりを有するショット列である。

次に、上記映像送信装置より送出された放送データを受信して、映像・音声を表示・再生するとともに、そのときの視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。

本実施形態における映像受信装置は、図１０に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部２１と、受信部２１の出力データから、映像表示装置２５に出力する映像データ、ＴＣ（タイムコード）、音声再生装置２６に出力する音声データ、ＴＣ（タイムコード）、付加データのそれぞれを分離・抽出するデータ分離部２２と、データ分離部２２で分離された付加データを受けて、照明制御データ生成部２４に対する制御データを出力するＣＰＵ２３と、ＣＰＵ２３からの制御データに応じて、前記映像データ／音声データの特徴量を検出し、この検出結果に基づいた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部２４と、照明制御データ生成部２４における処理時間分だけ映像データ、音声データを遅延して出力するディレイ発生部２８，２９とを備えている。

ここで、本実施形態のＣＰＵ２３は、付加データに基づき、照明制御データ生成部２４にて映像データの特徴量を検出する対象の映像フレーム（セグメント内の最初（先頭）のフレーム）及び画面領域を制御する制御データを出力する。

尚、タイムコードは、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。

また、照明装置２７は、映像表示装置２５の周囲に設置されて、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置２７は、映像表示装置２５の周囲環境の照明色及び明るさを制御できるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置２７は１個以上設置されていればよい。

次に、本実施形態における照明制御データ生成部２４の具体的構成について説明する。照明制御データ生成部２４では、映像データ、音声データおよび付加データから撮影現場の照明状態や場面設定（雰囲気）を推定し、その推定結果に従って照明装置２７を制御するための照明制御データを出力する。ここでは、撮影時の場（雰囲気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場（雰囲気）の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場（雰囲気）を推定するようにしてもよい。

また、映像データの特徴量としては、例えば上述した従来例のように、画面の所定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。

さらに、本実施形態では、データ分離部２２から送られる付加データ中のセグメント区切り情報で指定されるセグメントの中では視聴環境照明光の色及び強度を略一定に保持し、この特徴量に応じた照明制御データ（ＲＧＢデータ）を、次のセグメントに切り替わるまで出力するように構成している。

ここで、上記セグメント中で、映像データの特徴量を検出する際に用いるフレームは、該セグメントの最初（先頭）のフレームである。また、その画面領域は、ＣＰＵ２３からの制御データによって決められる。

そしてまた、映像特徴量の検出対象とすべき画面領域は、データ分離部２２から送られる付加データ中のカメラワーク情報によって異なる。例えば、図１１に示すように、当該フレームの撮影時におけるカメラポジションとアングルとによって、撮影時の周囲光の色、明るさを推定するのに適した画面領域（図１１中、斜線部分で示す）が決まる。すなわち、撮影時の周囲光の色、明るさを推定するのに適した画面領域は通常、画面上部の領域であるが、この画面上部の領域の大きさを規定する水平ラインがカメラポジションとアングルとによって決められる。

また、図１２に示すように、当該フレームの撮影時における被写体サイズと数とによっても、撮影時の周囲光の色、明るさを推定するのに適した画面領域（図１２中、斜線部分で示す）が決まる。すなわち、撮影時の周囲光の色、明るさを推定するのに適した画面領域は、前景となる被写体を除いた領域が望ましく、この被写体が位置する可能性が高く、映像特徴量の検出対象領域から除外すべき領域が、被写体サイズと数とによって決められる。尚、被写体の数が背景のみの場合は、全画面領域を映像特徴量の検出対象とする。

従って、本実施形態では、ポジション、アングル、被写体サイズ、被写体像の各カメラワーク情報に基づいて、映像特徴量を検出する対象領域を制限している。具体的には、ポジション及びアングルによって決まる図１１の斜線領域と、被写体サイズ及び被写体像によって決まる図１２の斜線領域との論理積によって求められる画面領域の映像データのみを用いて、映像特徴量を検出することとしている。

本実施形態においては、上述のとおり、セグメント内の最初（先頭）のフレームの映像データ及び音声データの特徴量に基づいて照明制御データを生成し、この照明制御データを次のセグメントが検出されるまで出力するので、映像製作者側が意図する任意のセグメント単位（例えば、ショット単位）で視聴環境照明光の色、強度を切り替えて、同一セグメント内では視聴環境照明光の色、強度を略一定に保持することができる。

また、上記データ分離部２２で分離された映像データ、音声データは、上記照明制御データ生成部２４での処理にかかる時間分だけ、ディレイ発生部２８，２９で遅延された上で、映像表示装置２５、音声再生装置２６により再生されるので、映像／音声の再生タイミングに合わせて、視聴環境照明光の色、強度を適切に制御することができる。

上記のように、本実施形態においては、映像データとともにカメラワークデータとして入力された各種情報内容を利用して、各セグメントの撮影時における照明状況（雰囲気）を適切に再現すべく照明制御データを求め、照明装置２７の照明光を制御することが可能である。従って、前景部（被写体）などの映像内容の影響を受けることなく、自然で違和感のない視聴環境照明を実現することができ、映像視聴時の臨場感を増大させることが可能となる。また、映像製作者側が意図する任意のセグメント単位（例えば、ショット単位）で照明制御データを切替制御する構成としているので、同じセグメント内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止することができる。

また、本実施形態においては、所定のセグメント単位でカメラワークデータを送信することにより、送信側のデータ容量や受信機側の演算量を抑制しつつ最適な視聴環境照明の制御を実現することができる。

尚、図１１，図１２に示した画面領域パターンは適宜設定することができる。また、この画面領域パターンから求められた場（雰囲気）推定画面領域内における映像データのヒストグラム分布（度数分布）を検出し、分布割合の高い映像データのみから映像特徴量を検出して場（雰囲気）推定を行うことにより、場（雰囲気）推定の精度を向上することができる。

また、本実施形態においては、各セグメントの撮影時におけるカメラワーク状況に関するカメラワークデータを送受信するようにしているので、このカメラワークデータを用いて所望のセグメントを検索したり編集するなど、視聴環境照明の制御以外にも様々な機能を実現することが可能となる。

例えば、カメラポジションが目高、アングルが水平アングル、被写体サイズ（画面サイズ）がロングショット、カメラの動きがフィックス、レンズ種別が標準レンズを用いて撮影されたセグメントを選択・抽出することにより、代表的な映像場面（キーフレーム、キーショット）を集めたインデックスを作成することが可能となる。

さらに、上記本発明の第１の実施形態においては、映像製作者等の意図する任意のセグメント単位で照明制御を行う場合について説明したが、映像によっては、複数のフレームで構成される任意のセグメント単位での照明制御だけでは効果的な照明制御が出来ない場合がある。例えば、同一ショット内においてズームやパン等のカメラワークが変化する場合である。このような場合、視聴環境照明制御としては、カメラワークが変化するのに応じて照明制御を行うことで臨場感を高めることができる。しかしながら、上記第１の実施形態のような複数のフレームで構成されるセグメント単位での照明制御では対応できず、フレーム単位での視聴環境照明制御が必要になる。このような場合においても適切に照明制御が行えるものとして、以下に、本発明の視聴環境制御システムの第２実施形態として説明する。

＜第２の実施形態＞
以下、本発明の視聴環境制御システムの第２実施形態について詳細に説明する。上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。

本実施形態の視聴環境制御システムにおける映像送信装置および視聴環境制御装置（データ受信装置）のブロック図は前記第１の実施形態と同様である。以下に、本実施形態の特徴的部分について説明する。

図１３は第２の実施形態に係る映像データや音声データに付加する付加データを示す図である。本実施形態の付加データは、ほぼ第１の実施形態と同じだが付加データ項目中のカメラワーク情報がもつ情報が異なる。本実施形態では、カメラワークデータ（ポジション、アングル、被写体サイズ、被写体数、カメラの動き、レンズワーク）に加え、付加状態識別フラグをもっている。ここで、付加状態識別フラグとは、各セグメントにおいて、カメラワークデータをセグメント単位で付加する場合と、フレーム単位で付加する場合とを識別する識別情報のことであり、送信形式としては例えば、１ビット（０：セグメント単位での付加、１：フレーム単位での付加）の識別子を付与すればよい。この付加状態識別フラグを照明制御データ情報として送信することにより、カメラワークデータを用いた照明制御をセグメント単位で行わせるか、フレーム単位で行わせるかを、送信側（映像製作者側）の意図に応じて切り換えることが可能になる。ここで、フレーム単位で照明制御をさせたい場合には、送信側から送るカメラワークデータは、セグメント内に含まれる全てのフレームごとに付加され、送信される。従って、上記の例で挙げた同一ショット内においてズームやパン等のカメラワークが変化する場合等においては、フレーム単位での照明制御を指示する付加状態識別フラグを該当するセグメントに付加し、１セグメント期間中に照明制御を変えたくない場合は、セグメント単位での照明制御を指示する付加状態識別フラグを該当するセグメントに付加すればよい。

以上のように、カメラワーク情報に付加状態識別フラグを付加して送信することにより、照明制御に係るデータ量を抑制しつつ、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて、視聴環境の照明光をさらに精度よく制御することが可能になる。

次に、本実施形態の視聴環境制御装置（データ受信装置）について説明する。ほぼ、先述の第１の実施形態と同じだが、ＣＰＵ２３及び照明制御データ生成部２４で行う処理が異なる。

本実施形態のＣＰＵ２３は、付加データとして送られるセグメント区切り情報及びカメラワーク情報に基づき、照明制御データ生成部２４に制御データを送る。カメラワーク情報に含まれる付加状態識別フラグがセグメント単位での照明制御を指示する場合は、第１の実施形態で説明したのと同様に、照明制御データ生成部２４にて映像データの特徴量を検出する対象の映像フレームをセグメントの最初（先頭）のフレームとする制御データ及び画面領域を制御する制御データを照明制御データ生成部２４へ出力する。

次に、カメラワーク情報に含まれる付加状態識別フラグがフレーム単位での照明制御を指示する場合は、セグメント区切り情報により定められるセグメント期間に含まれる全てのフレームに対応する画面領域を制御する制御データを連続的に照明制御データ生成部２４へ出力する。

次に、本実施形態の照明制御データ生成部２４は、ＣＰＵ２３より送られる前記制御データに応じて、照明装置２７へ出力する照明制御データは、セグメント単位もしくはフレーム単位で生成され、映像データや音声データの出力タイミングと同期させて照明装置２７へ出力される。照明制御データ生成部２４での照明制御データの生成処理の詳細は、第１の実施形態の処理と同様であるので説明は省略する。

以上のように、付加状態識別フラグに応じて照明制御をセグメント単位で行うか、フレーム単位で行うかを選択できるようにすることで、セグメント内でカメラワークを変えた場合においても適切に照明制御できるとともに、セグメント内でカメラワークが一定であるような場合には、送信側のデータ容量や受信機側の演算量を抑制しつつ最適な視聴環境照明の制御を実現することができる。

さらに、上記本発明の第１の実施形態および第２の実施形態においては、付加データが放送データに多重付加されて送信される場合について説明したが、放送データに付加データが付加されていない場合、表示する映像データに対応する付加データを外部サーバ装置等より送受信することによって、映像の撮影時カメラワークに応じた最適な視聴環境を実現することが可能となる。これについて、以下に説明する。

＜第３の実施形態＞
以下、本発明の視聴環境制御システムの第３実施形態について、図１４乃至図１６とともに詳細に説明するが、上記第１の実施形態および第２の実施形態と同一部分には同一符号を付し、その説明は省略する。ここで、図１４は本実施形態の視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図、図１５は本実施形態の視聴環境制御システムにおけるカメラワーク情報格納テーブルの一例を示す説明図、図１６は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。

本実施形態における外部サーバ装置（データ送信装置）は、図１４に示すように、映像受信装置（データ受信装置）側から特定の映像データ（コンテンツ）に関するカメラワーク情報の送信要求を受信する受信部４１と、映像データ（コンテンツ）毎のカメラワーク情報とセグメント区切り情報を格納しているデータ格納部４２と、送信要求を受けたカメラワーク情報とセグメント区切り情報を要求元の映像受信装置（データ受信装置）へ送信する送信部４３とを備えている。

ここで、本実施形態のデータ格納部４２に格納されているカメラワーク情報データは、図１５に示すように、映像製作者等が意図する任意のセグメント（例えば、ショット）の開始タイムコード（セグメント区切り情報）に対応付けてテーブル形式に記述されており、送信要求を受けた映像データ（番組コンテンツ）に対応するカメラワーク情報を、映像製作者等が意図する任意のセグメント（例えば、ショット）のセグメント区切り情報とともに、送信部４３より要求元の映像受信装置へ送信する。

尚、ここで、カメラワークデータは各セグメントで１つでもよいし（本発明の第１の実施形態に対応）、カメラワーク情報に付加状態識別フラグが含まれる場合には、セグメント単位でカメラワークデータを送るか、フレーム単位でカメラワークデータを送るかを選択させてもよい（本発明の第２の実施形態に対応）。

次に、上記外部サーバ装置より送出されたカメラワーク情報とセグメント区切り情報を受けて、視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。本実施形態における映像受信装置は、図１６に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部５１と、受信部５１の出力データから、映像表示装置２５に出力する映像データ、音声再生装置２６に出力する音声データのそれぞれを分離・抽出するデータ分離部５２と、表示する映像データ（コンテンツ）に対応した付加データの送信要求を、通信ネットワークを介して外部サーバ装置（データ送信装置）に送出する送信部５４と、前記送信要求したカメラワーク情報を、通信ネットワークを介して外部サーバ装置より受信する受信部５５とを備えている。

また、前記受信部５５で受信したカメラワーク情報とセグメント区切り情報を記憶し、映像データのＴＣ（タイムコード）に同期して、対応するフレームのカメラワークデータから求められた制御データを出力するＣＰＵ５３と、ＣＰＵ５３からの出力制御データに応じて決められる制御単位（セグメント単位なのかフレーム単位なのか）及び画面領域の映像特徴量に応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部２４とを備えている。

すなわち、ＣＰＵ５３は、外部サーバ装置より受信して内部に記憶しているカメラワーク情報格納テーブルの各セグメント区切り情報と、データ分離部５２で分離された映像データのタイムコードとを比較し、これらが一致した時に対応するカメラワーク情報を読み出し、このカメラワーク情報から表示映像シーンの場（雰囲気）推定に適応したフレーム及び画面領域を制限するための制御データを生成し、出力することができる。

これによって、放送データにカメラワーク情報及びセグメント区切り情報が付加されていない場合であっても、表示映像データ（番組コンテンツ）に対応するカメラワーク情報及びセグメント区切り情報を外部サーバ装置より入手し、このカメラワーク情報を用いて照明制御データを生成することでき、しかも簡単な構成で映像シーンの表示切替わりタイミングと視聴環境照明の切替えタイミングとを同期させることができるので、映像の撮影時カメラワーク状況に応じた最適な視聴環境を実現することが可能となる。

尚、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、環境照明制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。

また、上述したカメラワーク情報及びセグメント区切り情報は、放送データから分離・取得する場合や、外部サーバ装置から取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、メディア媒体内に付加されたカメラワーク情報及びセグメント区切り情報を読み出して、これを用いるようにしてもよい。

本発明の第１実施形態に係る視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図である。 本発明の第１実施形態に係る視聴環境制御システムにおける映像送信装置の出力ビットストリーム例を示す説明図である。 本発明の第１実施形態に係る付加データを示す図である。 本発明のセグメント区切り情報を示す図である。 本発明の第１実施形態に係る視聴環境制御システムにおけるカメラワークデータの一例を示す説明図である。 カメラポジション及びカメラアングルを説明するための説明図である。 被写体サイズ（画面サイズ）を説明するための説明図である。 被写体数を説明するための説明図である。 映像の構成要素を説明するための説明図である。 本発明の第１実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。 本発明の第１実施形態に係る視聴環境制御システムにおけるポジション及びアングルによって決まる場（雰囲気）推定対象領域の一例を示す説明図である。 本発明の第１実施形態に係る視聴環境制御システムにおける被写体サイズ及び被写体数によって決まる場（雰囲気）推定対象領域の一例を示す説明図である。 本発明の第２実施形態に係る付加データを示す図である。 本発明の第３実施形態に係る視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図である。 本発明の第３実施形態に係る視聴環境制御システムにおけるカメラワーク情報格納テーブルの一例を示す説明図である。 本発明の第３実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。 従来技術による照明変動の問題点の一例を説明するための図である。 従来技術による照明変動の問題点の他の例を説明するための図である。 従来技術による照明変動の問題点の他の例を説明するための図である。 従来技術による照明変動の問題点の他の例を説明するための図である。 従来技術による照明変動の問題点の他の例を説明するための図である。

符号の説明

１…データ多重部
２…送信部
２１、５１…受信部
２２、５２…データ分離部
２３、５３…ＣＰＵ
２４…照明制御データ生成部
２５…映像表示装置
２６…音声再生装置
２７…照明装置
２８、２９…ディレイ発生部
４１…受信部
４２…データ格納部
４３…送信部
５４…送信部
５５…受信部

Claims (33)

1. １以上のフレームから構成される映像データを送信するデータ送信装置において、
   前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、
   前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータを、セグメント単位で前記映像データに付加して送信することを特徴とするデータ送信装置。
2. １以上のフレームから構成される映像データを送信するデータ送信装置において、
   前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、
   前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータを、セグメント単位で付加する場合と、フレーム単位で付加する場合とを識別する識別情報と、
   前記識別情報に応じた前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータとを、前記映像データに付加して送信することを特徴とするデータ送信装置。
3. 前記請求項１又は２に記載のデータ送信装置において、
   前記カメラワークデータは、少なくとも撮影時におけるカメラポジションを表わす情報を含むことを特徴とするデータ送信装置。
4. 前記請求項１乃至３に記載のデータ送信装置において、
   前記カメラワークデータは、少なくとも撮影時におけるカメラアングルを表わす情報を含むことを特徴とするデータ送信装置。
5. 前記請求項１乃至４のいずれかに記載のデータ送信装置において、
   前記カメラワークデータは、少なくとも撮影時における被写体のサイズを表わす情報を含むことを特徴とするデータ送信装置。
6. 前記請求項１乃至５のいずれかに記載のデータ送信装置において、
   前記カメラワークデータは、少なくとも撮影時における被写体の数を表わす情報を含むことを特徴とするデータ送信装置。
7. 前記請求項１乃至６のいずれかに記載のデータ送信装置において、
   前記カメラワークデータは、少なくとも撮影時におけるカメラの動きを表わす情報を含むことを特徴とするデータ送信装置。
8. 前記請求項１乃至７のいずれかに記載のデータ送信装置において、
   前記カメラワークデータは、少なくとも撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とするデータ送信装置。
9. 外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送信装置であって、
   前記カメラワークデータを、セグメント単位で前記映像データを構成する各セグメントの開始タイミングとともに送信することを特徴とするデータ送信装置。
10. 外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送信装置であって、
    前記カメラワークデータを、セグメント単位で付加する場合と、フレーム単位で付加する場合とを識別する識別情報と、
    前記カメラワークデータを、前記識別情報に応じた単位で前記識別情報に応じた開始タイミングとともに送信することを特徴とするデータ送信装置。
11. 前記請求項９又は１０に記載のデータ送信装置において、
    前記カメラワークデータは、少なくとも撮影時におけるカメラポジションを表わす情報を含むことを特徴とするデータ送信装置。
12. 前記請求項９乃至１１に記載のデータ送信装置において、
    前記カメラワークデータは、少なくとも撮影時におけるカメラアングルを表わす情報を含むことを特徴とするデータ送信装置。
13. 前記請求項９乃至１２のいずれかに記載のデータ送信装置において、
    前記カメラワークデータは、少なくとも撮影時における被写体のサイズを表わす情報を含むことを特徴とするデータ送信装置。
14. 前記請求項９乃至１３のいずれかに記載のデータ送信装置において、
    前記カメラワークデータは、少なくとも撮影時における被写体の数を表わす情報を含むことを特徴とするデータ送信装置。
15. 前記請求項９乃至１４のいずれかに記載のデータ送信装置において、
    前記カメラワークデータは、少なくとも各フレームの撮影時におけるカメラの動きを表わす情報を含むことを特徴とするデータ送信装置。
16. 前記請求項９乃至１５のいずれかに記載のデータ送信装置において、
    前記カメラワークデータは、少なくとも撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とするデータ送信装置。
17. 表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を制御する視聴環境制御装置であって、
    前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割したセグメント単位で前記映像データに付加された、撮影時におけるカメラワーク状況を示すカメラワークデータを受信する受信手段と、
    前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
18. 表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を制御する視聴環境制御装置であって、
    前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割したセグメント単位で前記映像データに付加された、撮影時におけるカメラワーク状況を示すカメラワークデータがセグメント単位で付加されている場合と、フレーム単位で付加されている場合とを識別する識別情報と、該識別情報に応じた撮影時におけるカメラワーク状況を示すカメラワークデータとを受信する受信手段と、
    前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
19. 前記請求項１７又は１８のいずれかに記載の視聴環境制御装置において、
    前記カメラワークデータは、少なくとも撮影時におけるカメラポジションを表わす情報を含むことを特徴とする視聴環境制御装置。
20. 前記請求項１７乃至１９のいずれかに記載の視聴環境制御装置において、
    前記カメラワークデータは、少なくとも撮影時におけるカメラアングルを表わす情報を含むことを特徴とする視聴環境制御装置。
21. 前記請求項１７乃至２０に記載の視聴環境制御装置において、
    前記カメラワークデータは、少なくとも撮影時における被写体のサイズを表わす情報を含むことを特徴とする視聴環境制御装置。
22. 前記請求項１７乃至２１のいずれかに記載の視聴環境制御装置において、
    前記カメラワークデータは、少なくとも各フレームの撮影時における被写体の数を表わす情報を含むことを特徴とする視聴環境制御装置。
23. 前記請求項１７乃至２２のいずれかに記載の視聴環境制御装置において、
    前記カメラワークデータは、少なくとも撮影時におけるカメラの動きを表わす情報を含むことを特徴とする視聴環境制御装置。
24. 前記請求項１７乃至２３のいずれかに記載の視聴環境制御装置において、
    前記カメラワークデータは、少なくとも撮影に用いられたカメラレンズの種別を表わす情報を含むことを特徴とする視聴環境制御装置。
25. 前記請求項１７乃至２４のいずれかに記載の視聴環境制御装置において、
    前記制御手段は、前記カメラワークデータに応じて、前記映像データの特徴量を検出する対象フレームを制限することを特徴とする視聴環境制御装置。
26. 前記請求項１７乃至２５のいずれかに記載の視聴環境制御装置において、
    前記制御手段は、前記カメラワークデータに応じて、前記映像データの特徴量を検出する画面領域を制限することを特徴とする視聴環境制御装置。
27. 前記請求項１７乃至２６のいずれかに記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
28. １以上のフレームから構成される映像データを送信するデータ送信方法において、
    前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、
    前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータを、セグメント単位で前記映像データに付加して送信することを特徴とするデータ送信方法。
29. １以上のフレームから構成される映像データを送信するデータ送信方法において、
    前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、
    前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータを、セグメント単位で付加する場合と、フレーム単位で付加する場合とを識別する識別情報と、
    前記識別情報に応じた前記映像データの撮影時におけるカメラワーク状況を示すカメラワークデータとを、前記映像データに付加して送信することを特徴とするデータ送信方法。
30. 外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送信方法であって、
    前記カメラワークデータを、セグメント単位で前記映像データを構成する各セグメントの開始タイミングとともに送信することを特徴とするデータ送信方法。
31. 外部からの要求を受けて、映像データを構成する各フレームの撮影時におけるカメラワーク状況を示すカメラワークデータを送信するデータ送信方法であって、
    前記カメラワークデータを、セグメント単位で付加する場合と、フレーム単位で付加する場合とを識別する識別情報と、
    前記カメラワークデータを、前記識別情報に応じた単位で前記識別情報に応じた開始タイミングとともに送信することを特徴とするデータ送信方法。
32. 表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を制御する視聴環境制御方法であって、
    前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割したセグメント単位で前記映像データに付加された、撮影時におけるカメラワーク状況を示すカメラワークデータを受信する受信手段と、
    前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御方法。
33. 表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を制御する視聴環境制御方法であって、
    前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割したセグメント単位で前記映像データに付加された、撮影時におけるカメラワーク状況を示すカメラワークデータがセグメント単位で付加されている場合と、フレーム単位で付加されている場合とを識別する識別情報と、該識別情報に応じた撮影時におけるカメラワーク状況を示すカメラワークデータとを受信する受信手段と、
    前記カメラワークデータに応じて、前記照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御方法。