JP2019145939A - 映像表示システム、映像表示方法および制御装置 - Google Patents

Abstract

【課題】参加型の観戦を促進できる。【解決手段】映像表示システム１は、遠隔地で行われるイベントの観戦に用いるシステムである。映像表示システム１は、表示装置２と、撮影装置３と、制御装置４とを備える。表示装置２は、第１映像５ａを表示する。第１映像５ａは、遠隔地で行われているイベントに関する映像である。撮影装置３は、観戦者３ａが保持する映像を撮影可能な装置である。観戦者３ａは、表示装置２で第１映像５ａを観戦する観戦者である。制御装置４は、撮影装置３によって撮影された第２映像５ｂを取得して表示装置２が表示するように制御する。【選択図】図１

Description

本発明は、映像表示システム、映像表示方法、および制御装置に関する。

スポーツ競技やコンサートなどのイベントを、当該イベントが開催されている場所以外のスタジアムや街頭などにある大型の表示装置を利用して観戦・観覧を行うパブリックビューイングが知られている。

特開２００４−３３６１７５号公報

パブリックビューイングは、遠隔地で撮影された映像による観戦となるため受動的な観戦となってしまい、盛り上がりに欠けてしまう場合がある。
本発明は、この点に鑑みてなされたものであり、参加型の観戦を促進可能な映像表示システム、映像表示方法および制御装置を提供することを目的とする。

上記課題を解決するために、映像表示システムを提供する。映像表示システムは、表示装置と、撮影装置と、制御装置とを備える。表示装置は、遠隔地で行われているイベントに関する第１映像を表示する。撮影装置は、表示装置で第１映像を観戦する観戦者が保持する、映像を撮影可能な装置である。制御装置は、撮影装置で撮影された第２映像を取得して表示装置が表示するよう制御する。

映像表示システム、映像表示方法および制御装置によれば、参加型の観戦を促進できる。

第一実施形態における映像表示システムの構成例を示す図である。 第二実施形態におけるパブリックビューイングシステムの構成例を示す図である。 第二実施形態におけるパブリックビューイング会場の一例を示す図である。 第二実施形態における表示制御装置のハードウェア構成例を示す図である。 第二実施形態における振分装置、評価装置、表示制御装置の機能ブロックを示す図である。 第二実施形態における映像振分処理のフローチャートを示す図である。 第二実施形態における映像評価処理のフローチャートを示す図である。 第二実施形態における観戦音評価処理の一例を示す図である。 第二実施形態における観戦領域決定処理のフローチャートを示す図である。 第二実施形態における表示装置の表示レイアウトの一例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。
［第一実施形態］
第一実施形態について図１を用いて説明する。図１は、第一実施形態における映像表示システムの構成例を示す図である。

映像表示システム１は、遠隔地で行われるイベントの観戦に用いるシステムである。映像表示システム１は、パブリックビューイングで用いられる。映像表示システム１は、表示装置２と、撮影装置３と、制御装置４とを備える。

表示装置２は、第１映像５ａを表示する。第１映像５ａは、遠隔地で行われているイベントに関する映像である。イベントとしては、たとえば、スポーツ競技やコンサートなどがある。

撮影装置３は、観戦者３ａが保持する映像を撮影可能な装置である。観戦者３ａは、表示装置２で第１映像５ａを観戦する観戦者である。すなわち、観戦者３ａは、イベント開催地から遠隔地でイベントを観戦する観戦者である。

制御装置４は、撮影装置３によって撮影された第２映像５ｂを取得して表示装置２が表示するように制御する。
以上が第一実施形態における映像表示システム１である。このように映像表示システム１は、表示装置２を介して遠隔地で行われているイベントに関する第１映像５ａを観戦者３ａに表示することに加え、観戦者３ａが保持する撮影装置３によって撮影された第２映像５ｂを表示装置２に表示するため、イベント開催地の遠隔地でイベントを観戦する観戦者３ａが撮影により表示（パブリックビューイング）に参加する機会を提供する。これにより、観戦者３ａが受動的に観戦することを抑止し、参加型の観戦を促進できる。

さらには、観戦者３ａが撮影した第２映像５ｂを表示装置２に表示することで、遠隔地で行われているイベントの映像に加え、観戦地における映像を表示することとなるので、イベント開催地から遠隔地である観戦地における観戦の盛り上がりや活性化を促進できる。また、定点に配置された撮影装置ではなく観戦者３ａが保持する撮影装置３で撮影された第２映像５ｂを表示するため、定点に配置された撮影装置では撮影できないような様々な視点からの映像を表示するため、迫力や臨場感のある映像を表示できる。

また、映像表示システム１は、観戦地における観戦者３ａが観戦している様子の映像を流せば、観戦地における観戦者３ａに臨場感や一体感を与えることができる。
［第二実施形態］
次に第二実施形態として、第一実施形態の映像表示システムについてより具体的に説明する。図２は、第二実施形態におけるパブリックビューイングシステムの構成例を示す図である。

パブリックビューイングシステム１０は、パブリックビューイングの実行に用いられるシステムである。以下では、特にパブリックビューイング対象をスポーツ競技として説明する。

パブリックビューイングシステム１０では、スポーツ競技の映像（イベント映像（第１映像５ａ））の他、パブリックビューイング会場において観戦者が撮影した観戦者による観戦の様子の映像（パブリックビューイング会場の映像（第２映像５ｂ））を表示装置に表示するシステムである。

パブリックビューイングシステム１０は、配信装置２０と、表示装置３０と、可搬型端末４０と、制御システム５０と、を含む。配信装置２０と、表示装置３０と、可搬型端末４０と、制御システム５０とは、ネットワーク６０を介して互いに接続する。

配信装置２０は、パブリックビューイングの対象であるスポーツ競技の映像（以下、イベント映像）を配信する装置である。配信装置２０は、たとえば、パブリックビューイングの対象であるスポーツ競技が開催されている場所に設けられている。

表示装置３０は、パブリックビューイングでスポーツ競技のイベントを観戦する観戦者の観戦・観覧用の装置であり、パブリックビューイングが行われる会場に設けられている。表示装置３０は、第一実施形態における表示装置２に相当する。

ここでパブリックビューイングの会場について図３を用いて説明する。図３は、第二実施形態におけるパブリックビューイング会場の一例を示す図である。
パブリックビューイング会場７０は、表示装置３０と、表示装置３０が表示する映像を観戦可能な複数の観戦領域７１とを有する。

観戦領域７１は、観戦者７２が観戦する領域である。観戦領域７１は、たとえば、応援するチーム毎などで分けられている。一般に、観戦領域７１によって、観戦状況（盛り上がり）方が異なる。

観戦領域７１は、パブリックビューイングシステム１０で表示装置３０に観戦者が撮影した映像（以下、撮影映像）を表示する際の表示単位である。すなわち、パブリックビューイングシステム１０では、複数の観戦領域のうちからいずれかの観戦領域を選出し、当該選出した観戦領域で撮影された撮影映像を表示装置３０に表示する。

各観戦領域７１には、観戦領域において観戦する観戦者の観戦音（歓声）を取得可能に図示しないマイクが１以上設けられている。また、各観戦領域７１には、観戦領域において観戦する観戦者が撮影した撮影映像を制御システム５０に良好に送信できるよう図示しない通信用アンテナが１以上設けられている。

以上がパブリックビューイング会場の一例である。図２に戻ってパブリックビューイングシステム１０を構成する各装置についての説明を継続する。
可搬型端末４０は、観戦者が保持する映像を撮影可能な（撮影機能を備えた）端末である。可搬型端末４０は、第一実施形態における撮影装置３に相当する。

可搬型端末４０としては、たとえば、スマートフォン、携帯電話、タブレット端末などがある。可搬型端末４０は、現在位置を取得可能に構成されている。たとえば、可搬型端末４０は、ＧＰＳ（Global Positioning System）受信機を内蔵しており、ＧＰＳ衛星の電波を受信することで現在位置を取得可能に構成されている。可搬型端末４０は、撮影した映像に、ＧＰＳ情報やユーザーネームを対応付けたデータを制御システム５０に送信する。

なお、可搬型端末４０は、ＧＰＳ情報に代わって観戦者が入力した観戦領域の情報（たとえば、観戦領域に一意に割り振られた識別情報）を送信してもよい。
制御システム５０は、表示装置３０が表示する映像（イベント映像、撮影映像）を制御する。制御システム５０は、配信装置２０が配信するイベント映像を表示装置３０が表示するよう制御する。また、制御システム５０は、可搬型端末４０で撮影された撮影映像を表示装置３０が表示するよう制御する。制御システム５０は、第一実施形態における制御装置４に相当する。

制御システム５０は、振分装置１５０と、観戦領域毎に設けられた評価装置２５０（１台のみ図示）と、表示制御装置３５０とを含んで構成される。
振分装置１５０は、可搬型端末４０で撮影された撮影映像を取得して、取得した撮影映像を撮影映像が撮影された観戦領域に対応する評価装置２５０に振り分ける（送信する）。

評価装置２５０は、観戦領域の数だけ設けられている（各観戦領域に対して１台ずつ設けられている）。評価装置２５０は、観戦領域で撮影された撮影映像の映像品質の評価を行う。評価装置２５０は、たとえば、観戦領域で撮影された撮影映像の評価結果に基づいて、表示に適さない撮影映像や用途（パブリックビューイング会場において観戦者が観戦している様子を撮影した映像でない）に適さない撮影映像の排除や、表示の優先順位を決定する。

表示制御装置３５０は、表示装置３０による映像の表示を制御する。表示制御装置３５０は、配信装置２０が配信したイベント映像を表示装置３０が表示するよう制御する。また表示制御装置３５０は、可搬型端末４０で撮影された撮影映像を表示装置３０が表示するよう制御する。

より具体的には、表示制御装置３５０は、各観戦領域における観戦音の評価結果に基づいた撮影タイミング（撮影時）における各観戦領域における観戦者の活性化（盛り上がり）度合いの評価に基づいて、複数の観戦領域のうちから撮影映像の表示対象となる観戦領域を選出し、選出した観戦領域で撮影された撮影映像を表示装置３０が表示するよう制御する。

これによれば、表示制御装置３５０は、活性化している観戦領域で撮影された撮影映像を表示装置３０が表示するようできる。すなわち、表示制御装置３５０は、迫力のある観戦の様子を表示制御装置３５０に表示して、観戦者に迫力や臨場感のある映像を提供できる。

以上が第二実施形態におけるパブリックビューイングシステム１０の概要である。次に、表示制御装置３５０のハードウェア構成について図４を用いて説明する。図４は、第二実施形態における表示制御装置のハードウェアの構成例を示す図である。

表示制御装置３５０は、プロセッサ３５１によって装置全体が制御されている。プロセッサ３５１には、バス３５９を介してＲＡＭ（Random Access Memory）３５２と複数の周辺機器が接続されている。プロセッサ３５１は、マルチプロセッサであってもよい。プロセッサ３５１は、たとえばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＰＬＤ（Programmable Logic Device）である。またプロセッサ３５１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ３５２は、表示制御装置３５０の主記憶装置として使用される。ＲＡＭ３５２には、プロセッサ３５１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ３５２には、プロセッサ３５１による処理に必要な各種データが格納される。

バス３５９に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）３５３、グラフィック処理装置３５４、入出力インタフェース３５５、光学ドライブ装置３５６、機器接続インタフェース３５７およびネットワークインタフェース３５８がある。

ＨＤＤ３５３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ３５３は、表示制御装置３５０の補助記憶装置として使用される。ＨＤＤ３５３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。

グラフィック処理装置３５４には、ディスプレイ３５４ａが接続されている。グラフィック処理装置３５４は、プロセッサ３５１からの命令に従って、画像をディスプレイ３５４ａの画面に表示させる。ディスプレイ３５４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。

入出力インタフェース３５５には、キーボード３５５ａとマウス３５５ｂとが接続されている。入出力インタフェース３５５は、キーボード３５５ａとマウス３５５ｂから送られてくる信号をプロセッサ３５１に送信する。

なお、マウス３５５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。なお、入出力装置としては、キーボード３５５ａとマウス３５５ｂに加え、スコアボード入力用の専用操作盤などを備えていてもよい。

光学ドライブ装置３５６は、レーザ光などを利用して、光ディスク３５６ａに記録されたデータの読み取りを行う。光ディスク３５６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク３５６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Re Writable）などがある。

機器接続インタフェース３５７は、表示制御装置３５０に周辺機器を接続するための通信インタフェースである。たとえば機器接続インタフェース３５７には、メモリ装置３５７ａやメモリリーダライタ３５７ｂを接続することができる。メモリ装置３５７ａは、機器接続インタフェース３５７との通信機能を搭載した記録媒体である。メモリリーダライタ３５７ｂは、メモリカード３５７ｃへのデータの書き込み、またはメモリカード３５７ｃからのデータの読み出しを行う装置である。メモリカード３５７ｃは、カード型の記録媒体である。

ネットワークインタフェース３５８は、ネットワーク６０に接続されている。ネットワークインタフェース３５８は、ネットワーク６０を介して、各種装置との間でデータの送受信を行う。

以上のようなハードウェア構成によって、第二実施形態の処理機能を実現することができる。なお、第一実施形態に示した制御装置４や振分装置１５０や評価装置２５０の処理機能についても図４に示した表示制御装置３５０と同様のハードウェア構成により実現することができる。

次に制御システム５０を構成する振分装置１５０、評価装置２５０、および表示制御装置３５０の機能について図５を用いて説明する。図５は、第二実施形態における振分装置、評価装置、表示制御装置の機能ブロックを示す図である。

振分装置１５０は、振分部１５０ａと、通信制御部１５０ｂとを備える。
振分部１５０ａは、可搬型端末４０から取得した撮影映像を、撮影映像が撮影された観戦領域に対応する（の撮影映像の処理を担当する）評価装置２５０に振り分ける。より具体的には、振分部１５０ａは、可搬型端末４０から取得した撮影映像を取得すると、取得した撮影映像と対応付けられているＧＰＳ情報（位置情報）に基づいて撮影映像が撮影された観戦領域を特定し、特定した観戦領域に対応する評価装置２５０に撮影映像を振り分ける。

通信制御部１５０ｂは、通信に関する処理を実行する。通信制御部１５０ｂは、各評価装置２５０や、可搬型端末４０との間でのデータのやり取りを制御する。
評価装置２５０は、映像評価部２５０ａと、通信制御部２５０ｂとを備える。

映像評価部２５０ａは、可搬型端末４０で撮影された撮影映像の映像品質を評価し、評価基準に満たない撮影映像（表示に適さない撮影映像や用途（パブリックビューイング会場において観戦者が観戦している様子を撮影した映像でない）に適さない撮影映像）を表示候補から除外する。また、映像評価部２５０ａは、映像品質の評価結果に基づいて撮影映像の表示優先順位を決定する。撮影映像の映像品質の評価については後で図７を用いて詳細に説明する。なお、映像評価部２５０ａは、表示優先順位に基づいて表示する撮影映像を決定してもよい。

通信制御部２５０ｂは、通信に関する処理を実行する。通信制御部２５０ｂは、振分装置１５０や、表示制御装置３５０との間でのデータのやり取りを制御する。
表示制御装置３５０は、領域評価部３５０ａと、表示制御部３５０ｂと、通信制御部３５０ｃとを備える。

領域評価部３５０ａは、各観戦領域に配置されたマイクから各観戦領域における観戦音を取得して評価し、評価結果に基づいていずれの観戦領域で撮影された撮影映像を表示するか決定する（映像表示対象の観戦領域を選出する）。領域評価部３５０ａは、各観戦領域における観戦音に基づいて、観戦者が盛り上がっている観戦領域を検出し、検出した映像表示対象の観戦領域として選出する。

具体的には、領域評価部３５０ａは、映像撮影タイミング以前の観戦音から各観戦領域の基準観戦音を取得し、現在の（映像撮影タイミングの）各観戦領域の観戦音と、基準観戦音との比較に基づいて、基準観戦音からの変動量が大きい観戦領域を観戦者が盛り上がっている観戦領域として検出する。このように基準観戦音を基準として基準観戦音からの変動量により観戦領域を検出することで、当該映像撮影タイミングに盛り上がった（活性化した）観戦領域を検出できる。

なお、各観戦領域における観戦音における観戦音は、マイクからの取得に限らない。撮影映像に含まれる観戦音に基づいて（たとえば、結合して）観戦領域における観戦音を取得してもよい。

なお、領域評価部３５０ａが、映像表示対象の観戦領域として選出する観戦領域は１つに限らない。たとえば、領域評価部３５０ａは、１以上の観戦領域を、表示優先順位をつけて映像表示対象の観戦領域として選出してもよい。観戦領域の観戦音の評価については後で図８を用いて詳細に説明する。

表示制御部３５０ｂは、表示装置３０が表示する映像を制御する。表示制御部３５０ｂは、配信装置２０が配信したイベント映像と、領域評価部３５０ａが選出した映像表示対象の観戦領域で撮影された撮影映像とに基づいて表示装置３０が表示する映像を生成し、生成した映像を表示制御部３５０ｂに送信する。

なお、領域評価部３５０ａが選出した映像表示対象の観戦領域で撮影された撮影映像を、常時、画面の一部に表示するようにしてもよいし、所定のタイミング（たとえば、ハーフタイム等のタイミング）でのみ表示するようにしてもよい。なお、撮影映像を表示する場合には、撮影映像の撮影者のユーザーネーム等を併せて表示するようにしてもよい。

次に振分装置１５０による撮影映像の評価装置２５０への振り分けについて図６を用いて説明する。図６は、第二実施形態における映像振分処理のフローチャートを示す図である。

映像振分処理は、振分装置１５０で行われる処理である。映像振分処理は、可搬型端末４０から送信された撮影映像それぞれについて行われる処理である。
［ステップＳ１］振分部１５０ａは、可搬型端末４０から取得した撮影映像と対応付けられたＧＰＳ情報を取得する。

［ステップＳ２］振分部１５０ａは、ＧＰＳ情報に基づいて撮影映像が撮影された観戦領域（撮影領域）を特定する。振分部１５０ａは、たとえば、各観戦領域それぞれに対応するＧＰＳ情報を予めテーブル化しておき、当該テーブルと取得したＧＰＳ情報とを照合することで観戦領域を特定する。

［ステップＳ３］振分部１５０ａは、特定した観戦領域の撮影映像の処理を担当する評価装置２５０に、撮影映像を振り分ける（送信する）。
以上が第二実施形態における映像振分処理の一例である。次に評価装置２５０による撮影映像の評価について図７を用いて説明する。図７は、第二実施形態における映像評価処理のフローチャートを示す図である。

映像評価処理は、評価装置２５０で行われる処理である。評価装置２５０は、対応する観戦領域で撮影された撮影映像それぞれに対して映像評価処理を行う。
［ステップＳ１１］映像評価部２５０ａは、受信した各撮影映像について明・暗部の比率（コントラスト比率）を評価する。撮影映像の明暗部の比率の評価は、表示に適さない映像品質の撮影映像を検出するために行う評価の一例である。

映像評価部２５０ａは、撮影映像が予め設定した明・暗部の比率（コントラスト比率）の条件を満たしているか否かを評価する。たとえば、映像評価部２５０ａは、画面全体が明暗比率の閾値を満たさない真っ暗な撮影映像（明暗差がない撮影映像）である場合に、明・暗部の比率（コントラスト比率）の条件を満たしていないと評価し、明暗比率の高い撮影映像であるほど高く評価する。

［ステップＳ１２］映像評価部２５０ａは、撮影映像に映りこんでいる被写体（観戦者数）を評価する。撮影映像に映りこんでいる被写体の評価は、用途に適さない（表示目的に合わない）撮影映像を検出するために行う評価の一例である。なお、第二実施形態におけるパブリックビューイングシステム１０では、撮影映像によりパブリックビューイング会場における観戦者による観戦の様子を表示することを目的としているため、被写体として観戦者の数を評価する。

映像評価部２５０ａは、撮影映像に観戦者が多く映っているほど高く評価し、撮影映像に観戦者が全く映っていない場合には被写体の条件を満たしていないと評価する。たとえば、映像評価部２５０ａは、顔認証技術を用いることで観戦者数を特定する。

［ステップＳ１３］映像評価部２５０ａは、撮影映像のブレを評価する。撮影映像のブレの評価は、表示に適さない映像品質の撮影映像を検出するために行う評価の一例である。

映像評価部２５０ａは、撮影映像中に生じているブレを検出し、ブレの大きさが閾値以上である場合に、ブレの条件を満たしていないと評価し、ブレの大きさが小さい撮影映像であるほど高く評価する。

［ステップＳ１４］映像評価部２５０ａは、ステップＳ１１〜Ｓ１３の評価結果に基づいていずれかの条件を満たしていない撮影映像を表示候補から除外する。
［ステップＳ１５］映像評価部２５０ａは、ステップＳ１１〜Ｓ１３の評価結果（総合した評価結果）に基づいて各撮影映像の表示優先順位を決定する。映像評価部２５０ａは、評価結果が良い撮影映像ほど表示優先順位が高くなるよう決定する。

［ステップＳ１６］映像評価部２５０ａは、条件を満たしている撮影映像と、決定した表示優先順位についての情報とを表示制御装置３５０に送信する。
以上が第二実施形態における映像評価処理の一例である。このような映像評価処理によれば、表示や用途に適さない撮影映像が表示装置３０に表示されてしまうことを抑止できる。なお、撮影映像の評価は一例であってこれに限らない。映像評価部２５０ａは、さらなる評価内容を追加してもよいし、評価内容を減らしてもよい。また、用途に応じて評価内容を変更してもよい。

また、映像評価部２５０ａは、受信した撮影映像の数が所定数に満たない場合には、評価内容を一部減らし、表示制御装置３５０に送信する撮影映像を一定数確保できるようにしてもよい。

また、映像評価部２５０ａは、受信した撮影映像の数に応じて各評価で満たすべき最低条件（閾値）を変更してもよい。たとえば、映像評価部２５０ａは、受信した撮影映像の数が多い場合には、各評価で満たすべき最低条件（閾値）をより高い基準に変更し、より表示や用途に適さない撮影映像が表示装置３０に表示されてしまうことを抑止してもよい。

次に各観戦領域の観戦音の（歓声）評価について図８を用いて説明する。図８は、第二実施形態における観戦音評価処理の一例を示す図である。
観戦音評価処理は、領域評価部３５０ａで行われる処理である。領域評価部３５０ａは、各観戦領域について観戦音評価処理を行う。

［ステップＳ２１］領域評価部３５０ａは、観戦領域における基準観戦音を取得し、基準観戦音を周波数成分（帯域幅）毎に細分化し、周波数成分毎の音圧を特定する。
領域評価部３５０ａは、現在以前（撮影タイミング以前）の所定時間の間における観戦領域の観戦音に基づいて基準観戦音を取得する。領域評価部３５０ａは、基準観戦音を所定周波数成分毎に細分化して分析し、所定周波数成分それぞれの音圧（ｄｂ）を特定する。

たとえば、領域評価部３５０ａは、人が発するとされる声の周波数帯域（たとえば、１００Ｈｚ〜２０００Ｈｚ）内を所定周波数成分（たとえば、１００Ｈｚ）単位で細分化し、各所定周波数成分における音圧を特定する。このように人が発するとされる声の周波数帯域内のみを分析対象とすることで、不要な音成分を分析対象から除外できる。

［ステップＳ２２］領域評価部３５０ａは、現在（撮影タイミング）の観戦領域における観戦音を取得し、観戦音を周波数成分毎に細分化し、周波数成分毎の音圧を特定する。
領域評価部３５０ａは、基準観戦音と同様に観戦音を周波数成分毎に細分化し、所定周波数成分それぞれの音圧を特定する。

［ステップＳ２３］領域評価部３５０ａは、基準観戦音の周波数成分毎の音圧と、観戦音の周波数成分毎の音圧とに基づいて、各周波数成分における観戦音の基準観戦音の音圧からの変動値を算出する。

［ステップＳ２４］領域評価部３５０ａは、各周波数成分の変動値に基づいて観戦音の音圧が基準観戦音の音圧を超過している周波数成分の数を特定する。なお、領域評価部３５０ａは、基準観戦音の音圧を所定値超過している周波数成分の数を特定するようにして、微差を除外するようにしてもよい。

［ステップＳ２５］領域評価部３５０ａは、各周波数成分の変動値に基づいて分析対象範囲（１００Ｈｚ〜２０００Ｈｚ）内における変動値の合計値を特定する。
以上が第二実施形態における観戦音評価処理の一例である。次に領域評価部３５０ａによる撮影映像の表示対象となる観戦領域を決定する処理について図９を用いて説明する。図９は、第二実施形態における観戦領域決定処理のフローチャートを示す図である。

観戦領域決定処理は、領域評価部３５０ａによって行われる処理である。
［ステップＳ３１］領域評価部３５０ａは、ステップＳ２４で算出した観戦音の音圧が基準観戦音の音圧を超過している周波数成分の数に基づいて、各観戦領域を評価（相対的に評価）する。

領域評価部３５０ａは、たとえば、最も超過している周波数成分の数が多い観戦領域に１点を付与し、周波数成分の数が少なくなるにつれて大きな点数を付与する。
［ステップＳ３２］領域評価部３５０ａは、ステップＳ２５で算出した観戦音の分析対象範囲内における変動値の合計値に基づいて、各観戦領域を評価（相対的に評価）する。領域評価部３５０ａは、たとえば、変動値の合計値が最も大きい観戦領域に１を付与し、変動値の合計値の値が小さくなるにつれて大きな点数を付与する。

［ステップＳ３３］領域評価部３５０ａは、ステップＳ３１とステップＳ３２における評価結果に基づいて撮影映像の表示対象となる観戦領域を決定（選出）する。なお、領域評価部３５０ａは、１以上の観戦領域を、表示優先順位をつけて映像表示対象の観戦領域として決定（選出）してもよい。

領域評価部３５０ａは、たとえば、ステップＳ３１とステップＳ３２で付与された点数の合計値の最も小さい観戦領域を撮影映像の表示対象となる観戦領域と決定する。なお、上記観戦領域の決定方法は一例であってこれに限らない。

たとえば、領域評価部３５０ａは、観戦音の音圧が基準観戦音の音圧を超過している周波数成分の数が最も多い観戦領域のうち、最も音圧の変動値の合計値が大きい観戦領域を撮影映像の表示対象となる観戦領域としてもよい。

また、所定周波数成分毎に重要度を設定し評価に重みづけを行ってもよい。たとえば、イベントが子供向けのイベントである場合には、子供が発する声の想定する周波数成分をより重要度を高くして評価することで、イベント内容や表示目的に沿って優先的に撮影映像の表示対象とする観戦領域を決定できる。

以上が第二実施形態における領域優先順位決定処理である。一般に、一人の人間が歓声等により発する音の周波数成分は限られている。したがって、観戦音の音圧が基準観戦音の音圧を超過している周波数成分の数が多い観戦領域は、基準観戦音よりも大きい音圧を出している発生源（人）が多い観戦領域であると考えられる。そのため、観戦音の音圧が基準観戦音の音圧を超過している周波数成分の数が多い観戦領域を高く評価することで、一部の人だけが盛り上がっている観戦領域よりも多くの人が盛り上がっている観戦領域（基準観戦音よりも大きい音圧を出している発生源が多い観戦領域（観戦領域全体で盛り上がっている））を優先的に撮影映像の表示対象とすることができる。これによれば、パブリックビューイングシステム１０は、より迫力や臨場感や一体感を与える撮影映像（観戦している様子）を表示させることができる。

また、領域評価部３５０ａは、観戦音の音圧の基準観戦音の音圧からの変動値の合計値が大きい観戦領域を高く評価することで、撮影タイミングでより活性化した観戦領域を優先的に撮影映像の表示対象とすることができる。これによれば、パブリックビューイングシステム１０は、より迫力や臨場感や一体感を与える撮影映像（観戦している様子）を表示させることができる。

次に表示レイアウトの一例について説明する。図１０は、第二実施形態における表示装置の表示レイアウトの一例を示す図である。
図１０（１）に示す表示画面４００は、イベント映像表示部４０１と、１０個の撮影映像表示部４０２で構成された表示画面である。たとえば、表示画面４００は、競技進行中の画面の一例である。

イベント映像表示部４０１は、配信装置２０が配信したイベント映像を表示する表示領域である。撮影映像表示部４０２は、撮影映像の表示対象として決定した観戦領域で撮影された撮影映像を表示する表示領域である。

図１０（２）に示す表示画面４１０は、第１の撮影映像表示部４１１と、第１の撮影映像表示部４１１よりも小さい１０個の第２の撮影映像表示部４１２で構成された表示画面である。たとえば、表示画面４１０は、競技停止中（ハーフタイム中）の画面の一例であり、そのためイベント映像を表示する領域が除かれている。

第１の撮影映像表示部４１１は、たとえば、撮影映像の表示対象として決定した観戦領域で撮影された撮影映像のうち最も表示優先順位の高い撮影映像を表示する表示領域である。第２の撮影映像表示部４１２は、たとえば、撮影映像の表示対象として決定した観戦領域で撮影された撮影映像のうち最も表示優先順位の高い撮影映像以外の撮影映像を表示する表示領域である。

図１０（３）に示す表示画面４２０は、２８個の撮影映像表示部４０２で構成された表示画面である。たとえば、表示画面４１０は、競技停止中（ハーフタイム中）の画面の一例であり、そのためイベント映像を表示する領域が除かれている。

以上が、表示レイアウトの一例である。なお、上記表示レイアウトは一例であってこれに限らない。なお、表示画面に表示される撮影映像は、たとえば、優先順位に従って一定時間毎に順番に切り替えて表示される。

このようにパブリックビューイングシステム１０は、表示装置３０を介して遠隔地で行われているイベント映像を観戦者に表示することに加え、観戦者が保持する可搬型端末４０によって撮影された撮影映像を表示装置３０に表示するため、イベント開催地の遠隔地でイベントを観戦する観戦者が撮影により表示（パブリックビューイング）に参加する機会を提供する。これにより、観戦者が受動的に観戦することを抑止し、参加型の観戦を促進できる。

さらには、観戦者が撮影した撮影映像を表示装置３０に表示することで、遠隔地で行われているイベントの映像に加え、観戦地における映像を表示することとなるので、イベント開催地から遠隔地である観戦地における観戦の盛り上がりや活性化を促進できる。また、定点に配置された撮影装置ではなく観戦者が保持する可搬型端末４０で撮影された撮影映像を表示するため、定点に配置された撮影装置では撮影できないような様々な視点からの映像を表示するため、迫力や臨場感のある映像を表示できる。

また、パブリックビューイングシステム１０は、観戦地における観戦者による観戦の様子の撮影映像を表示させるため、観戦地において観戦している観戦者に臨場感や一体感を与えることができる。

なお、表示装置３０の表示に併せて出力させる音声は、パブリックビューイングの対象である映像（配信装置２０）の音声であってもよいし、可搬型端末４０によって撮影された映像に含まれる音声や、各観戦領域のマイクから取得した音声などであってもよい。また、表示装置３０の表示に併せて出力させる音声は、それぞれの音声を結合した音声であってもよい。

なお、パブリックビューイングの対象であるイベント映像だけを表示装置３０に表示させている場合に、可搬型端末４０によって撮影された撮影映像に含まれる観戦音や、各観戦領域のマイクから取得した観戦音などを用いてもよい。

パブリックビューイングシステム１０は、観戦音をイベント映像に併せて出力することでより、遠隔の観戦地であるパブリックビューイング会場で観戦している観戦者に臨場感や一体感を与えることができる。

なお、撮影映像の優先順位の決定を映像品質に基づいて行ったがこれに限らない。たとえば、観戦領域と同様に、撮影映像に含まれる観戦音に基づいて優先順位を決定してもよい。

なお、制御システム５０は、振分装置１５０と、評価装置２５０と、表示制御装置３５０とで構成されると説明したがこれに限らない。たとえば、制御システム５０の各装置の機能を１台の装置によって実現してもよい。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。たとえば、実施形態に示される全構成要素を適宜組み合わせてもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能である。

１ 映像表示システム
２ 表示装置
３ 撮影装置
３ａ 観戦者
４ 制御装置
５ａ 第１映像
５ｂ 第２映像

Claims (10)

1. 遠隔地で行われているイベントに関する第１映像を表示する表示装置と、
   前記表示装置で前記第１映像を観戦する観戦者が保持する、映像を撮影可能な撮影装置と、
   前記撮影装置で撮影された第２映像を取得して前記表示装置が表示するよう制御する制御装置と、を備える
   映像表示システム。
2. 前記表示装置は、
   複数の観戦領域から観戦可能に映像を表示し、
   前記制御装置は、
   撮影された前記観戦領域を特定可能に前記第２映像を取得し、前記観戦領域それぞれにおける前記第２映像の撮影タイミングにおける観戦音を取得して、前記観戦音に基づいて前記観戦領域のうちいずれかの前記観戦領域を選出し、選出した前記観戦領域において撮影された前記第２映像を前記表示装置が表示するよう制御する、
   請求項１に記載の映像表示システム。
3. 前記制御装置は、
   前記第２映像の映像品質を評価し、前記映像品質の評価結果に基づいて前記表示装置が表示する前記第２映像を選出する、
   請求項１に記載の映像表示システム。
4. 前記制御装置は、
   前記映像品質の評価結果に基づいて前記表示装置に表示する前記第２映像の優先順位を決定する、
   請求項３に記載の映像表示システム。
5. 前記制御装置は、
   前記第２映像の撮影タイミング以前の前記観戦音に基づいて前記観戦領域それぞれの基準観戦音を取得し、
   前記第２映像の撮影タイミングにおける前記観戦音の、前記基準観戦音からの変化態様に基づいて前記観戦領域を選出する、
   請求項２に記載の映像表示システム。
6. 前記制御装置は、
   前記観戦音と前記基準観戦音それぞれを所定周波数成分毎に音圧を特定し、所定周波数成分毎の音圧の比較に基づいて、前記観戦領域を選出する、
   請求項５に記載の映像表示システム。
7. 前記制御装置は、
   前記基準観戦音の音圧よりも前記観戦音の音圧が大きい所定周波数成分の数に基づいて、前記観戦領域を選出する、
   請求項６に記載の映像表示システム。
8. 前記制御装置は、
   所定周波数成分それぞれにおける前記観戦音の音圧の前記基準観戦音の音圧からの変動値を合計した合計値に基づいて、前記観戦領域を選出する、
   請求項６に記載の映像表示システム。
9. 表示装置が、
   遠隔地で行われているイベントに関する第１映像を表示し、
   制御装置が、
   前記表示装置で前記第１映像を観戦する観戦者が保持する、映像を撮影可能な撮影装置で撮影された第２映像を取得して前記表示装置が表示するよう制御する、
   映像表示方法。
10. 遠隔地で行われているイベントに関する第１映像を表示する表示装置で前記第１映像を観戦する観戦者が保持する、映像を撮影可能な撮影装置から第２映像を取得し、前記表示装置が前記第２映像を表示するよう制御する制御部を備える、
    制御装置。

Images