JP2009272970A - スポーツ映像送出装置 - Google Patents

スポーツ映像送出装置 Download PDF

Info

Publication number
JP2009272970A
JP2009272970A JP2008122917A JP2008122917A JP2009272970A JP 2009272970 A JP2009272970 A JP 2009272970A JP 2008122917 A JP2008122917 A JP 2008122917A JP 2008122917 A JP2008122917 A JP 2008122917A JP 2009272970 A JP2009272970 A JP 2009272970A
Authority
JP
Japan
Prior art keywords
sports
camera
recording
video
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008122917A
Other languages
English (en)
Other versions
JP4934094B2 (ja
Inventor
Toshihiko Misu
俊彦 三須
Masaki Takahashi
正樹 高橋
Masato Fujii
真人 藤井
Nobuyuki Yagi
伸行 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2008122917A priority Critical patent/JP4934094B2/ja
Publication of JP2009272970A publication Critical patent/JP2009272970A/ja
Application granted granted Critical
Publication of JP4934094B2 publication Critical patent/JP4934094B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】本発明は、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出できるスポーツ番組制作装置を提供する。
【解決手段】スポーツ番組制作装置1は、放送用カメラ2と、スポーツ状況映像を撮影するセンサカメラ3と、スポーツ映像が視聴者に与える関心度を演算する関心度演算手段5と、スポーツで予め設定したイベントが発生したことを検出し、イベントに応じたイベント情報を生成するイベント検出手段6と、視聴者が関心を持つスポーツ映像の録画を指示する録画制御信号を生成する録画制御手段7と、視聴者が関心を持つスポーツ映像に切り替えを指示する送出制御手段8と、録画再生手段9と、録画切替手段10と、送出切替手段11と、メタデータ記録手段12と、を備える。
【選択図】図1

Description

本発明は、複数の放送用カメラが撮影するスポーツ映像を送出するスポーツ映像送出装置に関する。
従来、スポーツ番組の制作は、複数の映像系統、複数の音声系統を、オペレータがスイッチャによって切り替えて、必要に応じて収録機を操作して行われていた。このとき、試合の状況、観客の盛り上がり等のスポーツの状況などに応じて、ふさわしいと思われる映像を選択し、試合が視聴者の興味をひくような状況でない場合、得点シーン等のリプレイや過去の名場面を挿入することが行われていた。
ここで、スイッチングワーク(スイッチャの切り替え)を人手によらず行う発明として、音声情報に基づいて話者の判定と発言内容の同定を行い、スイッチングの切り替えタイミングを考慮するものが知られている(例えば、特許文献1参照)。
特開平2005−295431号公報
しかし、従来のスポーツ番組の制作では、スイッチングワークをオペレータが行っているため、人的コストを要するほか、オペレータがスポーツのルールと放送番組上の演出に精通する必要があった。
また、特許文献1に記載された発明は、音声情報を用いているため、対談番組や情報番組など人物の発言が演出には直結する番組に適しているものの、選手の位置関係が演出を左右するスポーツ番組に不向きであった。
そこで、本発明は、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出できるスポーツ映像送出装置を提供することを目的とする。
前記した課題を解決するため、請求項1に記載のスポーツ映像送出装置は、複数のカメラが撮影したスポーツ映像を用いるスポーツ映像送出装置において、状況判定用カメラと、関心度演算手段と、イベント検出手段と、録画制御手段と、録画手段と、送出制御手段と、送出手段と、を備える構成とした。
かかる構成において、スポーツ映像送出装置は、状況判定用カメラによって、被写体として、スポーツの選手、用具若しくは観客又はスポーツが行われる競技場の環境の何れか1以上を含むスポーツ状況映像を、撮影する。つまり、状況判定用カメラは、放送用のカメラが撮影するスポーツ映像とは別に、選手の動きや位置、コートやボールその他のスポーツの用具の位置、観客の身振り手振り、競技場の天候等のスポーツの状況を含むスポーツ状況映像を撮影する。
また、スポーツ映像送出装置は、関心度演算手段によって、スポーツ状況映像の画像特徴量を演算し、この画像特徴量を、スポーツ映像が視聴者に与える関心度として出力する。これによって、スポーツ映像送出装置は、カメラが撮影しているスポーツ映像が、視聴者に関心を与えるか否かを表すことができる。
また、スポーツ映像送出装置は、イベント検出手段によって、スポーツ状況映像に含まれる被写体同士の位置関係を検出し、被写体同士の位置関係が予め設定されたパターンに一致する場合、スポーツで予め設定したイベントが発生したと判定して、このイベントを示すイベント情報を生成する。これによって、スポーツ映像送出装置は、カメラが撮影しているスポーツ映像から、視聴者に関心を与えるイベントを検出できる。
また、スポーツ映像送出装置は、録画制御手段によって、イベント情報と、複数のカメラ毎の撮影アングルを含むカメラパラメータとに基づいて、複数のカメラのうち、イベント毎に応じて予め設定された最適撮影アングルに最も近い撮影アングルのカメラを判定し、関心度が所定の閾値以上の場合、判定したカメラが撮影するスポーツ用映像の録画を指示する録画制御信号を生成する。そして、スポーツ映像送出装置は、録画手段によって、録画制御信号に基づいて、このカメラが撮影するスポーツ映像を録画する。これによって、スポーツ映像送出装置は、複数のカメラが撮影するスポーツ映像のうち、視聴者に関心を与えるイベントのシーンを録画できる。
また、スポーツ映像送出装置は、送出制御手段によって、イベント情報と、カメラパラメータとに基づいて、複数のカメラのうち、最適撮影アングルに最も近い撮影アングルのカメラを判定し、関心度が所定の閾値以上の場合、このカメラが撮影するスポーツ用映像の送出を指示し、関心度が所定の閾値未満の場合、録画手段が録画したスポーツ映像の送出を指示する送出制御信号を生成する。
そして、スポーツ映像送出装置は、送出手段によって、送出制御信号に基づいて、カメラが撮影したスポーツ映像、又は、録画手段が録画したスポーツ映像を送出する。これによって、スポーツ映像送出装置は、カメラが撮影するスポーツ映像又は録画手段が録画したスポーツ映像のうち、視聴者に関心を与えるイベントのシーンを送出する。
請求項2に記載のスポーツ映像送出装置は、請求項1に記載のスポーツ映像送出装置において、被写体が発生させる音であるスポーツ状況音が入力される状況判定用マイクをさらに備え、関心度演算手段は、スポーツ状況音の大きさを関心度として出力し、イベント検出手段は、イベントに応じて予め設定された音パターンがスポーツ状況音に含まれるか検出し、音パターンがスポーツ状況音に含まれる場合、スポーツでイベントが発生したと判定して、このイベントを示すイベント情報を生成することを特徴とする。
かかる構成において、スポーツ映像送出装置は、スポーツ状況映像に加え、選手の掛け声、観客の歓声、ボールの打撃音等のスポーツ状況音を用いて、視聴者に関心を与えるイベントのシーンを判定する。
請求項3に記載のスポーツ映像送出装置は、請求項1又は請求項2に記載のスポーツ映像送出装置において、イベント情報と、カメラパラメータとに基づいて、複数のカメラ毎にスポーツ映像を撮影する設定撮影アングルを演算し、設定撮影アングルを示す撮影指示情報を生成する撮影指示情報生成手段と、撮影指示生成手段が生成した撮影指示情報を表示し、複数のカメラのオペレータに設定撮影アングルを指示する撮影指示表示手段と、をさらに備えることを特徴とする。
かかる構成において、スポーツ映像送出装置は、イベントに応じて最適な設定撮影アングルをカメラのオペレータに指示する。
請求項4に記載のスポーツ映像送出装置は、請求項1又は請求項2に記載のスポーツ映像送出装置において、イベント情報と、カメラパラメータとに基づいて、複数のカメラ毎にスポーツ映像を撮影する設定撮影アングルを演算し、設定撮影アングルを示す撮影制御情報を生成する撮影制御情報生成手段と、撮影制御情報生成手段が生成した撮影制御情報に基づいて、複数のカメラをそれぞれ駆動するカメラ駆動手段と、をさらに備えることを特徴とする。
かかる構成において、スポーツ映像送出装置は、イベントに応じて最適な設定撮影アングルにカメラを駆動する。
請求項5に記載のスポーツ映像送出装置は、請求項1から請求項4のいずれか一項に記載のスポーツ映像送出装置において、送出制御信号と出制御信号を生成した時刻とを含むメタデータ、及び、現在スポーツ映像を送出しているカメラ及び録画手段と次に送出可能なカメラ及び録画手段との対応関係を予め設定した次送出候補情報、を記録するメタデータ記録手段をさらに備え、送出制御手段は、メタデータに含まれる最新時刻の送出制御信号から現在スポーツ映像を送出しているカメラ又は録画手段を判定し、次送出候補情報に基づいて、判定したカメラ又は録画手段の次に送出可能なカメラ又は録画手段のスポーツ映像の送出を指示する送出制御信号を生成することを特徴とする。
かかる構成において、スポーツ映像送出装置は、メタデータから取得できるカメラの切替履歴と、最適なスイッチングワークを設定した次送出候補情報とに基づいて、送出制御信号を生成する。
請求項6に記載のスポーツ映像送出装置は、請求項1から請求項5のいずれか一項に記載のスポーツ映像送出装置において、イベント検出手段は、スポーツ状況映像の平均輝度を演算し、平均輝度が所定の閾値以上の場合、スポーツでイベントが発生したと判定することを特徴とする。
かかる構成において、スポーツ映像送出装置は、スポーツ映像の平均輝度から、スポーツにおける天候をイベントとして判定できる。
本発明に係るスポーツ映像送出装置によれば、以下のような優れた効果を奏する。
請求項1に記載の発明によれば、スポーツ映像送出装置は、カメラが撮影するスポーツ映像又は録画手段が録画したスポーツ映像のうち、視聴者に関心を与えるイベントのシーンを送出するため、退屈なシーンを送出することが少なく、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出でき、人的コストを低減できる。
請求項2に記載の発明によれば、スポーツ状況映像に加え、スポーツ状況音を用いて、視聴者に関心を与えるイベントのシーンを判定するため、スポーツ映像に含まれるイベントのシーンの割合が向上し、視聴者の関心をより高くできる。
請求項3に記載の発明によれば、イベントに応じて最適な設定撮影アングルをカメラのオペレータに指示するため、オペレータが、演出が効果的なスポーツ映像を撮影し易くなり、視聴者の関心をより高くできる。
請求項4に記載の発明によれば、イベントに応じて最適な設定撮影アングルにカメラを駆動するため、演出が効果的なスポーツ映像を人手によらずに送出でき人的コストをより低減すると共に、視聴者の関心をより高くできる。
請求項5に記載の発明によれば、メタデータから取得できるカメラの切替履歴と、最適なスイッチングワークを設定した次送出候補情報とに基づいて、送出制御信号を生成する。
ため、演出が効果的なスポーツ映像を人手によらずに送出できる。
請求項6に記載の発明によれば、スポーツにおける天候をイベントとして判定できるため、スポーツ映像に含まれるイベントのシーンの割合が向上し、視聴者の関心をより高くできる。
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。
(第1実施形態)
[スポーツ番組制作装置の構成]
図1を参照して、本発明の第1実施形態に係るスポーツ番組制作装置の構成について説明する。図1は、本発明の第1実施形態に係るスポーツ番組制作装置のブロック図である。図1に示すように、スポーツ番組制作装置(スポーツ映像送出装置)1は、3台の放送用カメラ(カメラ)2と、センサカメラ(状況判定用カメラ)3と、センサマイク4(状況判定用マイク)と、関心度演算手段5と、イベント検出手段6と、録画制御手段7と、送出制御手段8と、録画再生手段(録画手段)9と、録画切替手段10と、送出切替手段11(送出手段)と、メタデータ記録手段12と、を備える。なお、スポーツ番組制作装置1が、請求項に記載のスポーツ映像送出装置に相当する。
放送用カメラ(カメラ)2は、サッカー、野球、バレーボール、ラグビー、ゴルフ等のスポーツ映像を撮影するものである。また、放送用カメラ2は、撮影アングルを測定して出力する角度センサを有し、この撮影アングルを含むカメラパラメータを出力する。なお、放送用カメラ2が、請求項に記載のカメラに相当する。
図1では、3台の放送用カメラ2が隣接するように図示されているが、様々な方向からスポーツ映像を撮影するため、放送用カメラ2は、異なる場所に配置されることが一般的である。また、図1では、放送用カメラ2は、3台としたが、2台以上であれば制限されない(不図示)。
ここで、放送用カメラ2としては、例えば、HDTV(High Definition TeleVision)用のカメラ、又は、SDTV(Standard Definition TeleVision)用のカメラがある。
センサカメラ(状況判定用カメラ)3は、被写体として、スポーツの選手、用具若しくは観客又はスポーツが行われる競技場の環境の何れか1以上を含むスポーツ状況映像を撮影するものである。ここで、センサカメラ3は、後記する関心度演算手段5が関心度を演算し及びイベント検出手段6がイベントを検出するために設置された、例えば、光学カメラである。なお、センサカメラ3が、請求項に記載の状況判定用カメラに相当する。
また、センサカメラ3は、固定され又は可動し、センサカメラ3によって捉えられた映像の画面内の各位置が、実世界における位置に対応するように、センサカメラ3の位置、姿勢及びレンズ等のセンサカメラ3のパラメータが較正されている。また、このセンサカメラ3のパラメータは、焦点距離又は画角を含んでも良い。また、センサカメラ3は、カラー映像など多波長の動画像を撮影しても、モノクロ映像を撮影しても良い。さらに、センサカメラ3は、赤外線や紫外線等の不可視光領域の波長帯を撮影しても良い。
図1では、センサカメラ3は、1台としたが、2台以上としても良い(不図示)。ここで、センサカメラ3として2台以上のカメラを用いる場合、同種のカメラのみによって構成しても良く、異種のカメラを混在させても良い。さらに、センサカメラ3として2台以上のカメラを用いる場合、各カメラの撮影する実空間を互いにずらすことで実空間の広い範囲を撮影(モザイキング)しても良く、各カメラを空間的に離して配置することで実空間の判定の場所を撮影(ステレオ)しても良い。
センサマイク(状況判定用マイク)4は、後記する関心度演算手段5が関心度を演算し及びイベント検出手段6がイベントを検出するために設置された、被写体が発生させる音であるスポーツ状況音が入力されるマイクである。また、センサマイク4は、1台以上であればその台数は制限されず、センサカメラ3の近傍に配置しても良い。ここで、センサマイク4としては、例えば、ワイヤレスマイク、コンデンサマイク、センサカメラ3が内蔵する内蔵マイク等のマイクがある。なお、センサマイク4が、請求項に記載の状況判定用マイクに相当する。
関心度演算手段5は、センサカメラ3が撮影したスポーツ状況映像の画像特徴量を演算し、この画像特徴量を、スポーツ映像が視聴者に与える関心度として出力するものである。この関心度は、例えば、スポーツ映像の内容が、視聴者にとって面白いか否かを示す指標である。
ここで、競技場にいる観客は、得点シーン、反則シーン、選手が素晴らしいプレイをしたシーン、選手が面白いプレイをしたシーン等では興奮して、応援歌を歌ったり、声援をあげたり、踊ったりと動きが活発になる傾向がある。そこで、関心度演算手段5は、例えば、スポーツ状況映像の選手がいる領域(例えば、コート)をマスクして、観客がいる領域のみを抽出し、この観客がいる領域の画像特徴量を関心度とする。
具体的には、関心度演算手段5は、観客がいる領域について、輝度値、色度値等の画素値の時間変化(例えば、フレーム間差分等)の大きさ(例えば、絶対値)の平均を算出する(以下、フレーム間差分の絶対値平均)。観客の動きが激しい場合、前記したフレーム間差分の絶対値平均の値が大きくなる傾向にあることから、関心度演算手段5は、このフレーム間差分の絶対値平均を関心度とすることができる。なお、関心度演算手段5は、前後するフレーム間での動きベクトルや前後するフレーム間の差分から画像特徴量を演算し、これを関心度として出力しても良い。
また、関心度演算手段5は、センサマイク4に入力されるスポーツ状況音の大きさを関心度として出力しても良い。前記したように、観客は、得点シーン、反則シーン、選手が素晴らしいプレイをしたシーン、選手が面白いプレイをしたシーン等では、応援歌を歌ったり、声援をあげたりして、騒がしくなる。従って、関心度演算手段5は、センサマイク4に入力されるスポーツ状況音の大きさ(音圧)に比例した値を、関心度として出力しても良い。
イベント検出手段6は、センサカメラ3が撮影したスポーツ状況映像に含まれる被写体同士の位置関係を検出し、被写体同士の位置関係が予め設定されたパターンに一致する場合、スポーツで予め設定したイベントが発生したと判定して、イベントを示すイベント情報を生成するものである。具体的には、イベント検出手段6は、各選手(被写体)の領域を切り出し、各選手の配置が予め設定されたパターン(フォーメーション)と一致する場に、そのパターンに応じたイベント情報を出力する。
例えば、イベント検出手段6は、サッカーにおいて、スポーツ状況映像から、2チームのユニフォームの色領域とセンターラインとを検出して各チームの選手とする。そして、イベント検出手段6は、センターラインを境に、一方のチームのユニフォームを着た選手がコートの一方の半面に集中的に存在し、他方のチームのユニフォームを着た選手がコートの他方の半面に集中した場合に、「キックオフ」をイベント情報として出力する。また、同様に、イベント検出手段6は、サッカーにおいて、コーナーアークやタッチライン付近における選手の有無を判定することで、「コーナーキック」や「スローイン」をイベント情報として出力する。さらに、イベント検出手段6として、特開2006−285878号公報に記載された発明を用いても良い。
また、イベント検出手段6は、イベントに応じて予め設定された音パターンが、センサマイク4に入力されるスポーツ状況音に含まれるか検出し、音パターンがスポーツ状況音に含まれる場合、イベントがスポーツで発生したと判定して、イベントに応じたイベント情報を生成する。例えば、ゴルフ番組の場合、いくつかのショット音を予め音パターンとして登録しておき、イベント検出手段6は、センサマイク4に入力されるスポーツ状況音が、ショット音に該当するか否かを判断する。そして、スポーツ状況音が、ショット音に該当する場合、イベント検出手段6は、「ショット」をイベント情報として出力する。このように、ゴルフ等の観客が静かにスポーツを観賞する場合でも、イベント検出手段6は、イベント情報を出力できる。
また、イベント検出手段6は、センサカメラ3が撮影したスポーツ状況映像の平均輝度を演算し、この平均輝度が所定の閾値以上の場合、スポーツでイベントが発生したと判定する。例えば、イベント検出手段6は、この平均輝度が閾値以上の場合「晴れ」をイベント情報として出力し、閾値未満の場合「晴れ以外」をイベント情報として出力する。
また、イベント検出手段6は、「晴れ以外」を出力する代わりに、「雨」及び「雨以外」をイベント情報として出力しても良い。例えば、イベント「晴れ」を示す閾値(第1閾値)未満で「雨」を示す第2閾値をさらに設定する。そして、イベント検出手段6は、この平均輝度が、第1閾値未満で第2閾値以上の場合、「雨以外」をイベント情報として出力し、第2閾値未満の場合「雨」をイベント情報として出力する。なお、第1閾値及び第2閾値は、任意に設定できる。
録画制御手段7は、イベント検出手段6が生成したイベント情報と、複数の放送用カメラ2毎の撮影アングルを含むカメラパラメータとに基づいて、複数の放送用カメラ2のうち、イベント毎に応じて予め設定された最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、関心度演算手段5が演算した関心度が所定の閾値以上の場合、この放送用カメラ2が撮影するスポーツ用映像の録画を指示する録画制御信号を生成するものである。なお、録画制御手段7の詳細は、後記する。
ここで、録画制御信号は、例えば、録画再生手段9に、再生、録画、停止、早送り、巻き戻し及び頭出しの指令を含む。さらに、録画制御信号は、録画切替手段10に、複数の放送用カメラ2が撮影するスポーツ映像の何れを録画させるかの指令を含む。
送出制御手段8は、イベント検出手段6が生成したイベント情報と、カメラパラメータとに基づいて、複数の放送用カメラ2のうち、最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、関心度演算手段5が演算した関心度が所定の閾値以上の場合、この放送用カメラ2が撮影するスポーツ用映像の送出を指示し、関心度が所定の閾値未満の場合、録画再生手段9が録画したスポーツ映像の送出を指示する送出制御信号を生成するものである。なお、送出制御手段8の詳細は、後記する。
録画再生手段9は、録画制御手段7が生成した録画制御信号に基づいて、録画切替手段10からのスポーツ映像を録画するものである。また、録画再生手段9は、録画したスポーツ映像を再生しても良い。録画再生手段9としては、例えば、ビデオテープレコーダ、ビデオディスクレコーダがある。また、録画再生手段9は、個体メモリに映像信号を記録し、これを再生しても良い。
録画切替手段10は、複数の放送用カメラ2を切り替えて、複数の放送用カメラ2から入力されるスポーツ映像のうち、録画制御手段7が生成した録画制御信号が示すスポーツ映像を録画再生手段9に出力するものである。なお、録画切替手段10は、後記する送出切替手段11と一体化したマトリクススイッチャとしても良い(不図示)。
送出切替手段(送出手段)11は、送出制御手段8が生成した送出制御信号に基づいて、放送用カメラ2が撮影するスポーツ映像、又は、録画再生手段9が録画したスポーツ映像を送出するものである。なお、送出切替手段11が請求項に記載の送出手段に相当する。
メタデータ記録手段12は、関心度演算手段5が演算した関心度、イベント検出手段6が生成したイベント情報、録画制御手段7が生成した録画制御信号、送出制御手段8が生成する送出制御信号、及び、放送用カメラ2の撮影アングルのうちの何れか1以上を含むメタデータを記録する。
また、メタデータ記録手段12は、スポーツ映像の撮影時刻を含むメタデータを記録しても良い。このとき、メタデータ記録手段12は、送出制御手段8が要求する時刻のメタデータを読み出し、送出制御手段8に出力する。また、メタデータ記録手段12は、そのイベントにおける最適撮影アングルが予め設定されたテーブル、後記する時刻と太陽の方向との関係を示すテーブル、後記する次切替候補情報、及び、被写体同士の位置関係を示すパターンを予め記録しても良い。
以下、図2を参照し、メタデータ記録手段が記録するメタデータについて説明する(適宜図1参照)。図2は、図1のメタデータ記録手段が記録するメタデータのデータ構造を示す図である。
図2に示すように、メタデータは、「時刻」、「種別」、及び、「値」の3項目を有するレコードを1行以上有する。ここで、「時刻」は、そのレコードに格納された録画制御信号、関心度、イベント情報又は送出制御信号を生成した時刻を示す。また、「種別」は、そのレコードが格納する情報又は信号の種別を示す。例えば、「種別」が制御であれば録画制御信号を示し、「種別」が関心度であれば関心度を示し、「種別」がイベントであればイベント情報を示し、「種別」が切替であれば送出制御信号を示す。つまり、メタデータは、送出制御信号等の履歴を示す履歴情報である。
また、「値」は、そのレコードが格納する情報又は信号の種別に応じた値又は内容を示す。例えば、「種別」が制御であれば、「値」は、録画制御信号の内容、例えば、再生、録画、停止、早送り又は巻き戻しを示す。また、例えば、「種別」が関心度であれば、「値」は、関心度の値(例えば、75.2)を示し、「種別」がイベントであれば、「値」は、イベント情報の内容(たとえば、キックオフ)を示し、「種別」が切替であれば、「値」は、送出制御信号の内容、例えば、送出するスポーツ映像を撮影しているカメラの識別子(例えば、カメラ3)を示す。なお、メタデータは図3に示すものに制限されず、例えば、メタデータをXML形式とし、「時刻」、「種別」、及び「値」の3項目をそれぞれ固有のタグで囲んで表記しても良い。
<録画制御手段の詳細:録画に用いる放送用カメラの判定例>
以下、図1に戻り、録画制御手段の詳細について説明を続ける。
録画制御手段7は、録画に用いる放送用カメラ2の判定と、録画再生手段9の制御とを行う。まず、録画に用いる放送用カメラ2の判定について、説明する。
まず、録画制御手段7は、イベント検出手段6からイベント情報が入力された場合、放送用カメラ2の角度センサにより測定された撮影アングルを含むカメラパラメータを取得する。そして、録画制御手段7は、イベント情報が示すイベントに応じて、そのイベントにおける最適撮影アングルを取得する。続いて、録画制御手段7は、この最適撮影アングルと、各放送用カメラ2の撮影アングルとを比較し、両撮影アングルが最も近くなる放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
例えば、サッカーにおいて、「左奥コーナーでのコーナーキック」というイベント情報が入力された場合、録画制御手段7は、左奥コーナーから左ゴールエリア付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
一方、「キックオフ」というイベント情報が入力された場合、録画制御手段7は、センターサークル付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
また、例えば、「晴れ」というイベント情報が入力された場合、録画制御手段7は、太陽の方向以外を最適撮影アングルとし、この最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。この場合、時刻と太陽の方向との関係を示すテーブル(例えば、午前6時〜午前10時までは東向き、午前10時〜午後3時までは南向き、午後3時〜午後6時までは西向き)から、録画制御手段7は、録画時刻における太陽の方向を判定できる。これによって、録画制御手段7は、録画したスポーツ映像で逆光を防止できる。なお、「晴れ以外」というイベント情報が入力された場合、録画制御手段7は、太陽に向いている放送用カメラ2が撮影するスポーツ映像の録画を指示する録画制御信号を生成しても良い。
また、例えば、イベント情報が「雨以外」から「雨」に変化した場合、録画制御手段7は、空を含む(上方向を向いた)最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。これによって、録画制御手段7は、雨の降り出しを演出したスポーツ映像を録画できる。
また、録画制御手段7は、イベント検出手段6から入力されたイベント情報と、放送用カメラ2の撮影アングルと、送出制御手段8から入力された送出制御信号に基づいて、録画制御信号を生成しても良い。この場合、録画制御手段7は、イベント情報から、そのイベントにおける最適撮影アングルを取得する。続いて、録画制御手段7は、送出制御手段8から入力された送出制御信号から、送出に用いられていない放送用カメラ2をすべて判定する。最後に、録画制御手段7は、最適撮影アングルと、送出に用いられていない放送用カメラ2の撮影アングルとを比較し、両撮影アングルが最も近くなる放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
<録画制御手段の詳細:録画再生手段の制御の第1例>
次に、録画再生手段の制御の第1例について、説明する。具体的には、録画制御手段7は、関心度に応じて録画制御信号を生成し、後記する録画再生手段9に録画、再生、早送り、巻き戻し又は停止を指示する。
例えば、録画制御手段7は、関心度が閾値T(例えば、スポーツ状況音の音圧が120dB)以上の場合、録画再生手段9に録画を指示する録画制御信号を生成する。
また、例えば、録画制御手段7は、関心度が、閾値T以上となった後に閾値T(例えば、スポーツ状況音の音圧が110dB)以下となるか又は閾値T以上のまま一定時間を経過した場合、録画再生手段9に巻き戻しを指示する録画制御信号、又は、先の録画時の映像の先頭の頭出しを指示する録画制御信号を生成する。
また、例えば、録画制御手段7は、巻き戻しが終了し、かつ、関心度が所定の閾値T(例えば、スポーツ状況音の音圧が100dB)以下の場合、録画再生手段9に再生を指示する録画制御信号を生成する。なお、閾値T,T,Tは、式(1)を満たす。
式(1)T≧T≧T
このとき、録画制御手段7は、録画再生手段9を録画状態にする録画制御信号を生成してからの一定時間、録画制御信号を生成せずに、録画再生手段9が録画状態と停止状態とを短時間で繰り返すことを防ぐことが好ましい。この一定時間は、5秒という固定値であっても、ジョグダイヤル等の入力手段からの操作によって、1秒以上60秒以下の範囲で可変としても良い。
<録画制御手段の詳細:録画再生手段の制御の第2例>
次に、録画再生手段の制御の第2例について、説明する。この第2例では、録画制御手段7は、送出制御手段8に連携して録画制御信号を生成する。
例えば、録画制御手段7は、関心度が閾値T以上、かつ、送出制御手段8から入力された送出制御信号が、録画再生手段9に録画されたスポーツ映像を選択していない場合、録画再生手段9に録画を指示する録画制御信号を生成する。
また、例えば、録画制御手段7は、関心度が、閾値T以上となった後に閾値T以下となるか又は閾値T以上のまま一定時間を経過した場合、録画再生手段9に巻き戻しを指示する録画制御信号、又は、先の録画時の映像の先頭の頭出しを指示する録画制御信号を生成する。
また、例えば、画制御手段7は、巻き戻しが終了し、送出制御手段8から入力された送出制御信号が、録画再生手段9に録画されたスポーツ映像を選択し、かつ、関心度が閾値Tc以下の場合、録画再生手段9に再生を指示する録画制御信号を生成する。
ここで、録画制御手段7は、所定の待ち時間後に録画再生手段9に録画されたスポーツ映像を選択することを指示する送出制御信号を送出制御手段8に出力しても良い。例えば、録画制御手段7は、録画再生手段9としてビデオテープレコーダを使用する場合、プリロール時間を待ち時間とすることができる。さらに、録画制御手段7は、録画再生手段9が、磁気ディスクや光ディスクに記録された映像を再生する場合、ディスクのシークタイムと復号化に要する時間との和を待ち時間としても良い。このような送出制御信号を用いれば、録画再生手段9への指令後に生じ得る遅延の影響を避け、再生開始直後の不安定な映像信号が送出されることを防ぐことができる。
また、録画制御手段7は、送出制御手段8から入力された送出制御信号に基づいて、動作を変化させても良い。例えば、送出制御信号がある放送用カメラ2を示す場合、録画制御手段7は、送出制御信号が示す放送用カメラ2以外の放送用カメラ2を示す録画制御信号を生成する。これによって、スポーツ番組制作装置1は、まだ放送されていない放送用カメラ2のスポーツ映像をリプレイ映像として送出できる。さらに、録画制御手段7は、送出制御信号が示す放送用カメラ2と同じ放送用カメラ2を示す録画制御信号を生成しても良い。この場合、スポーツ番組制作装置1は、既に放送されたスポーツ映像を繰り返す形式でのリプレイ映像を送出できる。
<送出制御手段の詳細>
送出制御手段8の詳細について、説明する。
具体的には、送出制御手段8は、イベント検出手段6からイベント情報が入力された場合、放送用カメラ2の角度センサにより測定された撮影アングルを含むカメラパラメータを取得する。そして、送出制御手段8は、イベント情報が示すイベントに応じて、そのイベントにおける最適撮影アングルを取得する。続いて、送出制御手段8は、この最適撮影アングルと、各放送用カメラ2の撮影アングルとを比較し、両撮影アングルが最も近くなる放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。
例えば、サッカーにおいて、「左奥コーナーでのコーナーキック」というイベント情報が入力された場合、送出制御手段8は、左奥コーナーから左ゴールエリア付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。
一方、「キックオフ」というイベント情報が入力された場合、送出制御手段8は、センターサークル付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。
また、例えば、「晴れ」というイベント情報が入力された場合、送出制御手段8は、太陽の方向以外を最適撮影アングルとして、この最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。この場合、時刻と太陽の方向との関係を示すテーブルから、送出制御手段8は、送出時刻における太陽の方向を判定できる。これによって、送出制御手段8は、送出するスポーツ映像で逆光を防止できる。なお、「晴れ以外」というイベント情報が入力された場合、送出制御手段8は、太陽に向いている放送用カメラ2が撮影するスポーツ映像の送出を指示する送出制御信号を生成しても良い。
また、例えば、イベント情報が「雨以外」から「雨」に変化した場合、送出制御手段8は、空(上方向を向いた)を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、この放送用カメラ2が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。これによって、送出制御手段8は、雨の降り出しを演出したスポーツ映像を送出できる。
このとき、送出制御手段8は、関心度が閥値より低く、かつ、録画制御信号が録画状態にない場合、放送用カメラ2ではなく、録画再生手段9のスポーツ映像を送出すると判定しても良い。これによって、スポーツ番組制作装置1は、現在の試合展開がつまらなく、かつ、録画再生手段9が録画中でない場合、過去の収録映像のリプレイを送出して、スポーツ映像の間延びを防ぐことができ、視聴者の関心が高くなる。
また、送出制御手段8は、メタデータ記録手段12に対して、読み出すメタデータの時刻と種別との一方、又は、時刻と種別との両方を出力しても良い。このとき、指定された種別で、かつ、指定された時刻に近接するメタデータがあれば、メタデータ記録手段12は、これを読み出して送出制御手段8に出力する。例えば、送出制御手段8は、現在時刻から一定時間(例えば、5分)の送出制御信号のメタデータを、メタデータ記録手段12に対して要求して、このメタデータを取得する。そして、送出制御手段8は、取得したメタデータに含まれる最新時刻の送出制御信号から現在スポーツ映像を送出している放送用カメラ2又は録画再生手段9を判定する。さらに、送出制御手段8は、次切替候補情報に基づいて、判定した放送用カメラ2又は録画再生手段9の次に送出可能な放送用カメラ2又は録画再生手段9のスポーツ映像の送出を指示する送出制御信号を生成する。
以下、図3を参照し、本発明における次切替候補情報について説明する(適宜図1参照)。図3は、本発明における次切替候補情報のデータ構造を示す図である。なお、次切替候補情報が、請求項に記載の次送出候補情報に相当する。
図3に示すように、次切替候補情報は、現在スポーツ映像を送出している放送用カメラ2及び録画再生手段9と次に送出可能な放送用カメラ2及び録画再生手段9との対応関係を予め設定したものである。ここで、次切替候補情報は、「現在の切替状態」と「次の切替状態」との2項目を有する。なお、図3では、1台目の放送用カメラ2をカメラ1、2台目の放送用カメラ2をカメラ2、3台目の放送用カメラ2をカメラ3、及び、録画再生手段9を録画再生手段とする。
「現在の切替状態」は、送出切替手段11が現在送出している放送用カメラ2又は録画再生手段9を示す。例えば、次切替候補情報の上から1行目レコードは、送出切替手段11が1台目の放送用カメラ2(カメラ1)のスポーツ映像を送出していることを示す。また、「次の切替状態」は、次に送出可能な他の放送用カメラ2及び録画再生手段9を示す。例えば、次切替候補情報の上から1行目レコードは、1台目の放送用カメラ2のスポーツ映像を現在送出している場合、1〜3台目の放送用カメラ2(カメラ1〜カメラ3)及び録画再生手段9(録画再生手段)の何れかが次に送出可能なことを示す。
図2のメタデータを例にすると、送出制御手段8は、このメタデータから最新時刻の送出制御情報、つまり、「種別」が切替のレコードを取得する。ここでは、送出制御手段8は、「種別」が切替で、かつ、「時刻」が19:02:09:15のレコードを参照し、3台目の放送用カメラ2(カメラ3)のスポーツ映像を現在送出している判定する。そして、送出制御手段8は、図3の次切替候補情報で、「現在の切替状態」が3台目の放送用カメラ2(カメラ3)となっているレコードを参照し、次にイベント情報が入力された場合、「次の切替状態」に定義された、1台目の放送用カメラ2(カメラ1)、2台目の放送用カメラ2(カメラ2)又は録画再生手段9(録画再生手段)のスポーツ映像の送出を指示する送出制御信号を生成する。
[スポーツ番組制作装置の動作]
以下、図4を参照して、本発明の第1実施形態に係るスポーツ番組制作装置の動作について説明する(適宜図1参照)。図4は、図1のスポーツ番組制作装置の動作を示すフローチャートである。なお、図4では、放送用カメラ2及びセンサカメラがスポーツ撮影を行っていることとする。
まず、スポーツ番組制作装置1は、関心度演算手段5によって、センサカメラ3が撮影したスポーツ状況映像の画像特徴量を演算し、この画像特徴量を、スポーツ映像が視聴者に与える関心度として出力する(ステップS1)。また、スポーツ番組制作装置1は、イベント検出手段6によって、スポーツ状況映像に含まれる被写体同士の位置関係を検出し、被写体同士の位置関係が予め設定されたパターンに一致する場合、スポーツで予め設定したイベントが発生したと判定して、このイベントを示すイベント情報を生成する(ステップS2)。
ステップS2に続いて、スポーツ番組制作装置1は、録画制御手段7によって、イベント検出手段6が生成したイベント情報と、複数の放送用カメラ2毎の撮影アングルを含むカメラパラメータとに基づいて、複数の放送用カメラ2のうち、イベント毎に応じて予め設定された最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、関心度演算手段5が演算した関心度が所定の閾値以上の場合、この放送用カメラ2が撮影するスポーツ用映像の録画を指示する録画制御信号を生成する(ステップS3)。
ステップS3に続いて、スポーツ番組制作装置1は、録画切替手段10によって、録画制御手段7が生成した録画制御信号に基づいて、放送用カメラ2から入力される複数のスポーツ映像の何れを録画再生手段9に出力するか切り替える(ステップS4)。また、スポーツ番組制作装置1は、録画再生手段9によって、録画制御手段7が生成した録画制御信号に基づいて、録画切替手段10から出力されるスポーツ映像を録画する(ステップS5)。
ステップS5に続いて、スポーツ番組制作装置1は、送出制御手段8によって、イベント検出手段6が生成したイベント情報と、カメラパラメータとに基づいて、複数の放送用カメラ2のうち、最適撮影アングルに最も近い撮影アングルの放送用カメラ2を判定し、関心度演算手段5が演算した関心度が所定の閾値以上の場合、この放送用カメラ2が撮影するスポーツ用映像の送出を指示し、関心度が所定の閾値未満の場合、録画再生手段9が録画したスポーツ映像の送出を指示する送出制御信号を生成する(ステップS6)。
ステップS6に続いて、スポーツ番組制作装置1は、送出切替手段11によって、送出制御手段8が生成した送出制御信号に基づいて、放送用カメラ2が撮影するスポーツ映像、又は、録画再生手段9が録画したスポーツ映像を送出する(ステップS7)。これによって、スポーツ番組制作装置1は、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出できる。
(第2実施形態)
[スポーツ番組制作装置の構成]
図5を参照して、本発明の第2実施形態に係るスポーツ番組制作装置の構成について説明する。図5は、本発明の第2実施形態に係るスポーツ番組制作装置のブロック図である。図5に示すように、スポーツ番組制作装置1Bは、3台の放送用カメラ(カメラ)2と、センサカメラ(状況判定用カメラ)3と、関心度演算手段5と、イベント検出手段6と、録画制御手段7と、送出制御手段8と、録画再生手段(録画手段)9と、録画切替手段10と、送出切替手段(送出手段)11と、メタデータ記録手段12と、撮影指示情報生成手段13と、撮影指示表示手段14と、を備える。
撮影指示情報生成手段13は、イベント検出手段6が生成したイベント情報と、カメラパラメータとに基づいて、複数の放送用カメラ2毎に設定撮影アングルを演算し、設定撮影アングルを示す撮影指示情報を生成するものである。この場合、放送用カメラ2は、オペレータ(カメラマン)が撮影する有人のカメラである。
例えば、撮影指示情報生成手段13は、前記した最適撮影アングルを取得する。続いて、撮影指示情報生成手段13は、各放送用カメラ2のカメラパラメータの値と、最適撮影アングルとを比較し、その差分が最も小さい放送用カメラ2を判定する。例えば、撮影指示情報生成手段13は、パン角の差分と、チルト角の差分から、各放送用カメラ2の光軸方向と、最適撮影アングルの光軸方向とのなす角を求め、そのなす角が最も小さい放送用カメラ2がいずれであるかを判定する。
次に、撮影指示情報生成手段13は、最適撮影アングルと、放送用カメラ2の角度センサが測定する影アングルとのパン角、チルト角、及び焦点距離の差を符号付きで演算し、撮影指示情報を生成する。ここで、パン角の差をΔθ、チルト角の差をΔφ、焦点距離の差をΔfとおく。ここで、最適撮影アングルやカメラワークを予め設定(ルールベース)しておくことで、撮影指示情報生成手段13は、各放送用カメラ2のパン角、チルト角及び焦点距離の最適な値、並びに、必要に応じてパン、チルト及びズーム操作の最適な速度を求めることができる。
なお、撮影指示情報生成手段13は、イベント検出手段6からのイベント情報のほか、関心度演算手段5からの関心度を考慮しても良い。この場合、撮影指示情報生成手段13は、例えば、関心度が既定の閾値以下の場合、撮影指示情報の表示を指示しなくとも良い。
撮影指示表示手段14は、撮影指示生成手段13が生成した撮影指示情報を表示し、複数の放送用カメラ2のオペレータに設定撮影アングルを指示するものである。撮影指示表示手段14は、例えば、LCD(液晶ディスプレイ)、CRT(Cathode Ray Tube)、PDP(プラズマディスプレイパネル)、LED(Light Emission Diode)ディスプレイ、EL(Electro Luminescence)ディスプレイ等を用いることができる。さらに、撮影指示表示手段14は、視覚的な表示による指示ではなく、音声や振動で指示を行え、これらを組み合わせた指示を行っても良い。
例えば、撮影指示表示手段14は、複数の放送用カメラ2で一つの表示デバイスである場合(不図示)、いずれの放送用カメラ2に対しての指示であるかを明示したかたちで、設定撮影アングルを表示する。この場合、撮影指示表示手段14は、例えば、「カメラ3、左パン10度、チルトアップ5度、ズームイン」のような表示を行う。一方、撮影指示表示手段14は、放送用カメラ2毎の表示デバイスである場合、放送用カメラ2毎に設定撮影アングルを表示する。この場合、撮影指示表示手段14は、例えば、「右パン20度、チルトダウン10度、ズームアウト」といった表示を行う。
これによって、スポーツ番組制作装置1Bは、イベントに応じて最適な設定撮影アングルをカメラのオペレータに指示するため、オペレータが、演出が効果的なスポーツ映像を撮影し易くなり、視聴者の関心をより高くできる。
(第3実施形態)
[スポーツ番組制作装置の構成]
図6を参照して、本発明の第3実施形態に係るスポーツ番組制作装置の構成について説明する。図6は、本発明の第3実施形態に係るスポーツ番組制作装置のブロック図である。
図6に示すように、スポーツ番組制作装置1Cは、3台の放送用カメラ(カメラ)2と、センサカメラ(状況判定用カメラ)3と、関心度演算手段5と、イベント検出手段6と、録画制御手段7と、送出制御手段8と、録画再生手段(録画手段)9と、録画切替手段10と、送出切替手段(送出手段)11と、メタデータ記録手段12と、撮影制御情報生成手段15と、を備える。
放送用カメラ2は、雲台に搭載され、撮影アングルを自在に変更できると共に、カメラ駆動手段2aを内蔵する。また、カメラ駆動手段2aは、後記する撮影制御情報生成手段15が生成した撮影制御情報に基づいて、複数の放送用カメラ2をそれぞれ駆動するものである。例えば、カメラ駆動手段2aは、各放送用カメラ2に対し、パン角、チルト角、焦点距離(ズーム)、焦点位置(フォーカス)の何れか1以上を駆動するためのアクチュエータである。
この場合、カメラ駆動手段2aは、例えば、任意の回転型アクチュエータやリニアアクチュエータによることができる。また、カメラ駆動手段2aとして、例えば、誘導モータ、直流モータ、同期モータ、ステッピングモータ、超音波モータ、ソレノイド等の電気的に可動な任意のアクチュエータを使用可能である。さらに、カメラ駆動手段2aは、アクチュエータに付随して、その回転角や変位量を測定するためのセンサを設け、位置や速度情報をフィードバックすることで、正確な回転角や変位量の位置決めが可能なように構成しても良い。なお、カメラ駆動手段2aの制御の方法は任意であるが、例えば、PID(比例,積分,微分)制御を用いることができる。
撮影制御情報生成手段15は、イベント検出手段6が生成したイベント情報と、複数の放送用カメラ2毎に設定撮影アングルを演算し、設定撮影アングルを示す撮影制御情報を生成するものである。
例えば、撮影制御情報生成手段15は、前記した最適撮影アングルを取得する。続いて、撮影制御情報生成手段15は、各放送用カメラ2からのカメラパラメータの値と、最適撮影アングルとを比較し、その差分が最も小さい放送用カメラ2を判定する。例えば、撮影制御情報生成手段15は、パン角の差分と、チルト角の差分から、各放送用カメラ2の光軸方向と、最適撮影アングルの光軸方向とのなす角を求め、そのなす角が最も小さい放送用カメラ2がいずれであるかを判定する。
次に、撮影制御情報生成手段15は、最適な設定撮影アングルと、放送用カメラ2の角度センサが測定した撮影アングルとのパン角、チルト角、及び焦点距離の差を符号付きで演算し、撮影制御情報を生成する。ここで、パン角の差をΔθ、チルト角の差をΔφ、焦点距離の差をΔfとおく。そして、撮影制御情報生成手段15は、カメラ駆動手段2aに対し、これらの差分がすべて0となる撮影制御情報を生成する。ここで、各イベントに対し、最適撮影アングルやカメラワークを予め設定(ルールベース)しておくことで、各放送用カメラ2のパン角、チルト角及び焦点距離の最適な値、並びに、必要に応じてパン、チルト及びズーム操作の最適な速度を求めることができる。
なお、撮影制御情報生成手段15は、イベント検出手段6からのイベント情報のほか、関心度演算手段5からの関心度を考慮しても良い。この場合、撮影制御情報生成手段15は、関心度が閥値以下の場合、カメラ駆動手段2aに静止を指示する撮影制御情報を生成しても良い。
これによって、スポーツ番組制作装置1Cは、イベントに応じて最適な設定撮影アングルにカメラを駆動するため、演出が効果的なスポーツ映像を人手によらずに送出でき人的コストをより低減すると共に、視聴者の関心をより高くできる。
本発明の第1実施形態に係るスポーツ番組制作装置のブロック図である。 図1のメタデータ記録手段が記録するメタデータのデータ構造を示す図である。 本発明における次切替候補情報のデータ構造を示す図である。 図1のスポーツ番組制作装置の動作を示すフローチャートである。 本発明の第2実施形態に係るスポーツ番組制作装置のブロック図である。 本発明の第3実施形態に係るスポーツ番組制作装置のブロック図である。
符号の説明
1 スポーツ番組制作装置(スポーツ映像送出装置)
1B スポーツ番組制作装置(スポーツ映像送出装置)
1C スポーツ番組制作装置(スポーツ映像送出装置)
2 放送用カメラ(カメラ)
2a カメラ駆動手段
3 センサカメラ(状況判定用カメラ)
4 センサマイク(状況判定用マイク)
5 関心度演算手段
6 イベント検出手段
7 録画制御手段
8 送出制御手段
9 録画再生手段(録画手段)
10 録画切替手段
11 送出切替手段(送出手段)
12 メタデータ記録手段
13 撮影指示情報生成手段
14 撮影指示表示手段
15 撮影制御情報生成手段

Claims (6)

  1. 複数のカメラが撮影したスポーツ映像を用いるスポーツ映像送出装置において、
    被写体として、スポーツの選手、用具若しくは観客又は前記スポーツが行われる競技場の環境の何れか1以上を含むスポーツ状況映像を、撮影する状況判定用カメラと、
    前記スポーツ状況映像の画像特徴量を演算し、当該画像特徴量を前記スポーツ映像が視聴者に与える関心度として出力する関心度演算手段と、
    前記スポーツ状況映像に含まれる前記被写体同士の位置関係を検出し、前記被写体同士の位置関係が予め設定されたパターンに一致する場合、前記スポーツで予め設定したイベントが発生したと判定して、当該イベントを示すイベント情報を生成するイベント検出手段と、
    前記イベント情報と、複数の前記カメラ毎の撮影アングルを含むカメラパラメータとに基づいて、複数の前記カメラのうち、前記イベント毎に応じて予め設定された最適撮影アングルに最も近い前記撮影アングルの前記カメラを判定し、前記関心度が所定の閾値以上の場合、当該カメラが撮影するスポーツ用映像の録画を指示する録画制御信号を生成する録画制御手段と、
    前記録画制御信号に基づいて、前記スポーツ映像を録画する録画手段と、
    前記イベント情報と、前記カメラパラメータとに基づいて、複数の前記カメラのうち、前記最適撮影アングルに最も近い前記撮影アングルの前記カメラを判定し、前記関心度が所定の閾値以上の場合、当該カメラが撮影するスポーツ用映像の送出を指示し、前記関心度が所定の閾値未満の場合、前記録画手段が録画したスポーツ映像の送出を指示する送出制御信号を生成する送出制御手段と、
    前記送出制御信号に基づいて、前記カメラが撮影したスポーツ映像、又は、前記録画手段が録画したスポーツ映像を送出する送出手段と、
    を備えることを特徴とするスポーツ映像送出装置。
  2. 前記被写体が発生させる音であるスポーツ状況音が入力される状況判定用マイクをさらに備え、
    前記関心度演算手段は、前記スポーツ状況音の大きさを前記関心度として出力し、
    前記イベント検出手段は、前記イベントに応じて予め設定された音パターンが前記スポーツ状況音に含まれるか検出し、前記音パターンが前記スポーツ状況音に含まれる場合、前記スポーツで前記イベントが発生したと判定して、当該イベントを示す前記イベント情報を生成することを特徴とする請求項1に記載のスポーツ映像送出装置。
  3. 前記イベント情報と、前記カメラパラメータとに基づいて、複数の前記カメラ毎に前記スポーツ映像を撮影する設定撮影アングルを演算し、当該設定撮影アングルを示す撮影指示情報を生成する撮影指示情報生成手段と、
    前記撮影指示生成手段が生成した撮影指示情報を表示し、複数の前記カメラのオペレータに前記設定撮影アングルを指示する撮影指示表示手段と、
    をさらに備えることを特徴とする請求項1又は請求項2に記載のスポーツ映像送出装置。
  4. 前記イベント情報と、前記カメラパラメータとに基づいて、複数の前記カメラ毎に前記スポーツ映像を撮影する設定撮影アングルを演算し、当該設定撮影アングルを示す撮影制御情報を生成する撮影制御情報生成手段と、
    前記撮影制御情報生成手段が生成した撮影制御情報に基づいて、複数の前記カメラをそれぞれ駆動するカメラ駆動手段と、
    をさらに備えることを特徴とする請求項1又は請求項2に記載のスポーツ映像送出装置。
  5. 前記送出制御信号と当該送出制御信号を生成した時刻とを含むメタデータ、及び、現在前記スポーツ映像を送出している前記カメラ及び前記録画手段と次に送出可能な前記カメラ及び前記録画手段との対応関係を予め設定した次送出候補情報、を記録するメタデータ記録手段をさらに備え、
    前記送出制御手段は、前記メタデータに含まれる最新時刻の前記送出制御信号から現在前記スポーツ映像を送出している前記カメラ又は前記録画手段を判定し、前記次送出候補情報に基づいて、判定した当該カメラ又は当該録画手段の次に送出可能な前記カメラ又は前記録画手段のスポーツ映像の送出を指示する前記送出制御信号を生成することを特徴とする請求項1から請求項4のいずれか一項に記載のスポーツ映像送出装置。
  6. 前記イベント検出手段は、前記スポーツ状況映像の平均輝度を演算し、前記平均輝度が所定の閾値以上の場合、前記スポーツで前記イベントが発生したと判定することを特徴とする請求項1から請求項5のいずれか一項に記載のスポーツ映像送出装置。
JP2008122917A 2008-05-09 2008-05-09 スポーツ映像送出装置 Expired - Fee Related JP4934094B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008122917A JP4934094B2 (ja) 2008-05-09 2008-05-09 スポーツ映像送出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008122917A JP4934094B2 (ja) 2008-05-09 2008-05-09 スポーツ映像送出装置

Publications (2)

Publication Number Publication Date
JP2009272970A true JP2009272970A (ja) 2009-11-19
JP4934094B2 JP4934094B2 (ja) 2012-05-16

Family

ID=41439111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008122917A Expired - Fee Related JP4934094B2 (ja) 2008-05-09 2008-05-09 スポーツ映像送出装置

Country Status (1)

Country Link
JP (1) JP4934094B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016139898A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
JP2017055175A (ja) * 2015-09-07 2017-03-16 キヤノン株式会社 画像処理装置
KR101737587B1 (ko) * 2014-12-03 2017-05-19 유한회사 천지인기획 스포츠 경기 관리 장치 및 방법
JP2017513385A (ja) * 2014-04-03 2017-05-25 ピクセルロット エルティーディー.Pixellot Ltd. 自動的にテレビ番組を制作する方法及びシステム
JP2017188715A (ja) * 2016-04-01 2017-10-12 富士通フロンテック株式会社 映像表示システム及び映像表示方法
US10281979B2 (en) 2014-08-21 2019-05-07 Canon Kabushiki Kaisha Information processing system, information processing method, and storage medium
JP2021087186A (ja) * 2019-11-29 2021-06-03 富士通株式会社 映像生成プログラム、映像生成方法及び映像生成システム
WO2022249555A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像出力装置、画像出力方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143451A (ja) * 1999-11-17 2001-05-25 Nippon Hoso Kyokai <Nhk> 自動インデックス発生装置ならびにインデックス付与装置
JP2002236913A (ja) * 2001-02-07 2002-08-23 Nippon Hoso Kyokai <Nhk> 自動人物特定装置
JP2005229550A (ja) * 2004-02-16 2005-08-25 Tokai Univ 放送番組制作装置
JP2005295431A (ja) * 2004-04-05 2005-10-20 Nippon Hoso Kyokai <Nhk> 番組生成システム、コマンド生成装置、及び番組生成プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143451A (ja) * 1999-11-17 2001-05-25 Nippon Hoso Kyokai <Nhk> 自動インデックス発生装置ならびにインデックス付与装置
JP2002236913A (ja) * 2001-02-07 2002-08-23 Nippon Hoso Kyokai <Nhk> 自動人物特定装置
JP2005229550A (ja) * 2004-02-16 2005-08-25 Tokai Univ 放送番組制作装置
JP2005295431A (ja) * 2004-04-05 2005-10-20 Nippon Hoso Kyokai <Nhk> 番組生成システム、コマンド生成装置、及び番組生成プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017513385A (ja) * 2014-04-03 2017-05-25 ピクセルロット エルティーディー.Pixellot Ltd. 自動的にテレビ番組を制作する方法及びシステム
JP7123523B2 (ja) 2014-04-03 2022-08-23 ピクセルロット エルティーディー. 自動的にテレビ番組を制作する方法及びシステム
US10281979B2 (en) 2014-08-21 2019-05-07 Canon Kabushiki Kaisha Information processing system, information processing method, and storage medium
KR101737587B1 (ko) * 2014-12-03 2017-05-19 유한회사 천지인기획 스포츠 경기 관리 장치 및 방법
WO2016139898A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
US10362266B2 (en) 2015-03-05 2019-07-23 Sony Corporation Video processing apparatus, video processing system, and video processing method
JP2017055175A (ja) * 2015-09-07 2017-03-16 キヤノン株式会社 画像処理装置
JP2017188715A (ja) * 2016-04-01 2017-10-12 富士通フロンテック株式会社 映像表示システム及び映像表示方法
JP2021087186A (ja) * 2019-11-29 2021-06-03 富士通株式会社 映像生成プログラム、映像生成方法及び映像生成システム
JP7384008B2 (ja) 2019-11-29 2023-11-21 富士通株式会社 映像生成プログラム、映像生成方法及び映像生成システム
WO2022249555A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像出力装置、画像出力方法、およびプログラム

Also Published As

Publication number Publication date
JP4934094B2 (ja) 2012-05-16

Similar Documents

Publication Publication Date Title
JP4934094B2 (ja) スポーツ映像送出装置
US10721439B1 (en) Systems and methods for directing content generation using a first-person point-of-view device
CN108886583B (zh) 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放,ptz,视频功能的系统和方法
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
US8279296B2 (en) Information processing apparatus, image-capturing system, reproduction control method, recording control method, and program
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
JP6267961B2 (ja) 映像提供方法および送信装置
US9185361B2 (en) Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
US8670047B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US8291328B2 (en) System and method for synchronizing a real-time performance with a virtual object
JP2018509016A (ja) 放送において目標を追跡及びタグ付けするためのシステム及び方法
WO1995007590A1 (fr) Processeur d&#39;images variant dans le temps et dispositif d&#39;affichage
JP2019505111A (ja) 複数のメディアストリームの処理
JP4986886B2 (ja) 撮像装置、画像再生装置、撮影制御方法及び画像再生方法
KR101561346B1 (ko) 재생 제어 장치, 재생 제어 방법 및 기록 매체
CN110771175A (zh) 视频播放速度的控制方法、装置及运动相机
WO2001028309A2 (en) Method and system for comparing multiple images utilizing a navigable array of cameras
JP2011010276A (ja) 画像再生装置及び撮像装置
JP6777141B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
WO2010061791A1 (ja) 映像制御装置およびそれを備えた撮像装置、表示装置
JP2003046842A (ja) 仮想シーン撮影方法及びその装置
JP2006311145A (ja) 撮像装置、再生装置、制御方法、およびプログラム
WO2023127430A1 (ja) 情報処理装置、画像処理方法、プログラム
KR20190107501A (ko) 멀티미디어 콘텐츠 처리를 위한 장치 및 제어방법
JP2019096950A (ja) 撮像装置、撮像方法及び撮像プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees