JP2011101165A - 連動撮影システム - Google Patents

Abstract

【課題】 主カメラに連動して同一被写体を撮影するだけでは番組効果を高めるに不十分である。本発明は主カメラに連動して主カメラと異なる目線の映像を自動的に撮影することを可能にした連動撮影システムを提供する。
【解決手段】 主カメラは主たる被写体の位置情報、色情報、大きさ情報を算出して出力する手段を備え、複数の従カメラ雲台は、主カメラからの主たる被写体の位置情報、主カメラとの相対位置情報及び従カメラ雲台の撮影している映像内容から、主カメラが撮影する主たる被写体とは異なる被写体であることを条件として被写体を決定する手段を備え、決定された被写体が撮影画像の中央付近となるよう制御されることを特徴としている。
【選択図】 図１

Description

本発明は、複数のカメラを用いた撮影システムに関し、特に連動させてカメラ雲台装置を制御して撮影するシステムに関するものである。

スポーツ中継などの動画番組制作においては、複数のカメラを使って様々なアングルから撮影を行い、番組効果を高める手法が用いられる。この場合、通常は各カメラにそれぞれカメラマンを配して撮影するため、多くのカメラマンが必要となる。また、これら複数のカメラで同時に撮影した映像素材は、時間的にその一部を利用されるだけで、その多くは編集時にカットされるため、人的には効率的な撮影とはいえない。そこで特許文献１では、親カメラでターゲットとする被写体をマニュアル操作で撮影し、このときのカメラの方向、レンズの焦点距離、ズーム量から被写体の位置を求め、この位置に基づき、他のカメラを連動させ同じ被写体を異なる方向から撮影することによって省力化を図る連動撮影システムが開示されている。

特開２００３−３４８４２８号公報

上記特許文献１に開示されている連動撮影システムによれば、複数のカメラで特定の被写体を異なる角度から追尾して撮影することができるので番組制作の省力化に貢献することが可能である。しかしながら、前記連動撮影システムは、カメラマンが捉えている１被写体を他の角度から撮っているに過ぎず、従属する連動カメラ雲台はカメラマンのカメラワークに依存するため、番組効果を高めるに十分なシステムとは言えない。そこで本発明は、異なる目線の映像を自動的に撮影することを可能にした連動撮影システムを提供することによって、さらなる番組効果の高い撮影の実現を目的とするものである。

ここで異なる目線とは、１被写体を異なる角度から撮ることではなく、例えば格闘技中継における自国選手に対する相手国選手を中心とする目線や、サッカー中継におけるフォワード選手に対するディフェダー選手を中心とする相手目線のことを意味するものである。

上記目的を達成するために、本発明は、主とするカメラが撮影する被写体の位置情報を基に複数の従カメラ雲台が連動して撮影するシステムにおいて、主カメラは主たる被写体の位置情報、色情報、大きさ情報を算出して出力する手段を備え、従カメラ雲台は、主カメラからの主たる被写体の位置情報、主カメラとの相対位置情報及び従カメラ雲台の撮影している映像内容から、主カメラが撮影する主たる被写体とは異なる被写体であることを条件として被写体を決定する手段を備え、当該決定された被写体が撮影画像の中央付近に映るようカメラ雲台が制御されることを特徴としている。

本発明によれば、主カメラとは異なる目線の映像を複数の従カメラ雲台が自動的に撮影するため、主カメラのカメラマンは、主観的な映像を撮ることに専念すれば良く、人的な省力化に貢献するばかりではなく、カメラマンの精神的負担も軽減することができる。また、従カメラ雲台の映像から、相手目線中心の番組制作も可能であり、表現力の高い番組編集を容易に実現することができる。

本発明の連動撮影システムの被写体とカメラの関係を示したシステム図である。 実施例１における主カメラの回路構成の概略図である。 実施例１及び実施例２におけるカメラ雲台動作を示すフロー図である。 実施例１における主カメラの被写体説明図である。 実施例１における従カメラ雲台２の回路構成の概略図である。 実施例１における従カメラ雲台２の被写体選択のための説明図である。 実施例１における色情報による被写体選択のための説明図である。 実施例１における従カメラ雲台２の撮影画面例である。 実施例３におけるカメラ雲台配置図である。 実施例３及び実施例４における第二の従カメラ雲台４の回路構成概略図である。

以下に、本発明の好ましい実施形態例を添付の図面に基づいて詳細に説明する。

図１は、本発明の特徴をよく表す連動撮影システムの被写体とカメラの関係を示したシステム図である。説明を容易にするため従カメラ雲台は１台としている。図１において、１はカメラマンが操作する主カメラ、２は主カメラに連動して動作する従カメラ雲台、３はカメラマンが操作する主カメラ１が撮影するサッカー中継の映像例である。ここでカメラマンは、Ａチーム選手を主たる被写体として追うカメラワークを行っている。図２は、主カメラ１の回路構成の概略を示したもの、図３は本発明の連動撮影システムのカメラ動作を示すフローチャートである。

本発明に係る連動撮影動作のうち、主カメラ１の設定動作から説明する。

まずカメラマンは、Ａチームの選手を主たる被写体とすべく適当な画角で主カメラの画面中央に対象選手を撮影する。撮影した映像は、主カメラ１のレンズ１８を通し、撮像素子１２に結像した後、ＧＢＲ信号処理回路１３でＧ（緑），Ｂ（青），Ｒ（赤）各色に分解されてデジタル色信号として出力される。これら色信号は画像信号処理回路１４に入力され、ＧＢＲデータを輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）に変換し、映像信号としてフォーマット化処理されて出力されるとともにメモリ１６に出力される。

主カメラ１は主たる被写体を選択するスイッチ１１を備えており、カメラマンは、Ａチーム選手の上半身を中央に撮影した状態（図１−３）でスイッチ１１を押し被写体を決定する（図３−Ｓ１）。スイッチ１１が押されたとき、スイッチ１１からの選択信号を受けた演算処理回路（ＣＰＵ）１５は、画面中央の例えば水平８画素×垂直８画素ブロックのデジタル色信号を抽出して一旦メモリ１６に書き込む指令を画像信号処理回路１４とメモリ１６に対して出力する。ＣＰＵ １５では、ブロック内のデジタル色信号の平均値を求める演算を行い、その結果を被写体の主要色Ｃ１と決定し、その値を保持する。ここで主要色Ｃ１とは、ＹＣｂＣｒ各８ｂｉｔ程度の情報量で表されるデジタル値である。次に主要色Ｃ１と同じ色の画素群を抽出する。画像信号処理回路１４から得られるデジタル色信号と決定した主要色データとを映像フレーム周期で比較し、同系色の画素群を被写体と決定する。本例ではＡチーム選手のユニフォームが被写体ａとして抽出される。

次にＣＰＵ １５では、被写体ａの大きさと中心を算出する。簡単には、図４に示すようにユニフォームとして検出した方形エリアを被写体ａの大きさＬ１（ｎ画素×ｍ画素）とし、方形エリアの対角線の交点（ｘ，ｙ）を被写体ａの中心して求める。ここで画素群の決定には、主要色データ値±１６のように許容範囲を設けて同系色とすることや、近傍に点在する主要色データを一つの動体と見なす処理、物体の中心を計算する手法など、物体抽出に関し当然用いられる技術は、公知技術であり、本発明の特許として特に求める範囲ではないので詳細は省略する。

このようにしてＡチーム選手のユニフォーム中心が主カメラ１の撮影対象の中心と決定される。このときのレンズ１８のズーム・フォーカス位置情報から、被写体ａまでの距離ＤをＣＰＵ １５で算出し、主カメラ１の水平・垂直基準に対するパン回転角度θ、チルト回転角度φ（図２）や被写体ａの大きさ情報Ｌ１と色情報Ｃ１とともに通信端子１７から外部にフレーム周期で出力する（図３−Ｓ２）。

ここで、主カメラ１を操作するカメラマンは、常に決定した被写体中心を画面の中心に捕らえた映像を撮り続ける訳ではないので、被写体ａの移動またはカメラマンのカメラワークに応じて主カメラ１のパン・チルト方向と被写体ａの方向には誤差が生ずる。この誤差は従カメラ雲台２の追尾性能で吸収可能であるが、ＣＰＵ １５で誤差補正を行うことで追尾のダイナミックレンジの改善が期待できる。ＣＰＵ １５において画面中心と被写体中心の画面上の差とレンズ１８の位置データから求められる画角情報から、被写体ａが画面中央にあると想定した位置情報に前述したパン回転角度θ、チルト回転角度φを補正してそれぞれθ´、φ´として出力することで、より好適な追尾が可能になる。

図５は、従カメラ雲台２の回路構成の概略図である。

従カメラ雲台２は、通信端子２７に入力される主カメラ１の被写体大きさ情報Ｌ１、主要色Ｃ１、被写体までの距離Ｄ及びカメラの位置情報θ´、φ´を受信する。従カメラ雲台２のＣＰＵ ２５は、主カメラ１との距離ｄと受信情報Ｌ１、θ´、φ´を基に従カメラ雲台２が被写体ａを捕らえるためにパン・チルト位置と被写体との距離を算出して、従カメラ雲台２のパン・チルト駆動部２９及びレンズ２８のズーム・フォーカスを制御する（図３−Ｓ３）。

なお、距離ｄは、予め測定して従カメラ雲台２の距離設定スイッチ２１から入力するか、従カメラ雲台２で主カメラ１を撮影して従カメラ雲台２のレンズ２８のズーム・フォーカス位置データから算出してＣＰＵ ２５で保持しておく。

このようにして、従カメラ雲台２は主カメラ１で選択した被写体ａを画面に捕らえることになるが、主カメラ１の位置データ、特にレンズ位置から算出した距離データには誤差が含まれることがあり、この場合、被写体ａが画面中心にならない。そこで、ＣＰＵ２５は色情報Ｃ１の被写体ａが画面中心に且つ大きさ情報Ｌ１と同等の大きさで撮影されるようパン・チルト駆動部２９及びレンズ２８を微調整する。このときの誤差分は、補正値としてＣＰＵ２５に保持する。その後はパン・チルト駆動部２９は常時補正された信号で制御される（図３−Ｓ４）。

次に従カメラ雲台２が撮影する被写体ｂを選択する動作を図３及び図６を用いて説明する。

従カメラ雲台２では被写体ａを画面中心に捕らえた後、その近傍に被写体ｂを抽出するサーチエリアを設定する。例えば被写体ａの大きさ基準で被写体ａを中心に４ｎ×２ｍのサーチエリアを設定し、エリア内で検索する。エリア内の物体を被写体ｂと決定するための条件は、大きさが被写体ａの大きさ情報Ｌ１とほぼ等しく、色情報Ｃ１と異なるものを選択する。具体的には、図７に示すように被写体ａの主要色情報Ｃ１（Ｙ１，Ｃｂ１，Ｃｒ１）と色差Ｃｂ，Ｃｒ及び輝度Ｙの分布距離が離れた画素の塊（デジタル色信号値が近いものの集合）を被写体ｂの主要色Ｃ２（Ｙ２，Ｃｂ２，Ｃｒ２）と決定する（図３−Ｓ５）。ここでは説明の簡素化のためにＹ，Ｃｂ，Ｃｒを直交軸で表現しているが、補色関係を明確にするような補正を行うことや、ＧＢＲデータの位相・輝度によるベクトル値比較で相関をみるなど色物体を検索する方法は多数開示されており、置き換えて実施することは本発明の思想の範囲内である。

被写体ｂが決定した後、主カメラ１と同様の手順で従カメラ雲台２のＣＰＵ ２５は、被写体ｂの大きさＬ２及び中心を算出して被写体ｂの主要色Ｃ２とともに保持する。さらにＣＰＵ ２５は、被写体ｂの中心が画面中央に映るように従カメラ雲台２のパン・チルト駆動部２９に指令を与え、被写体ｂの大きさＬ２がＬ１と同程度になるようレンズ２８に対し指令を与え制御する。

以上、説明した手順によれば、従カメラ雲台２は、被写体ａの近くにあるＢチームの選手を探索して自動的に追尾し、図８に示すように画面中央に撮影するよう制御されるため、主カメラ１とは異なる視線の番組制作を容易に実現可能となる。また、主カメラ１はカメラマンにより操作されることとして説明してきたが、単に基準となるカメラの意味であって主カメラ１がパン・チルト雲台に搭載され、遠隔で操作される場合も当然含まれる。

また、主カメラ１と従カメラ雲台２間の通信は通信形式や有線・無線を問わず、また、主要色の決定方法やデータの転送周期によって限定されないのは言うまでもない。

上記実施例１の異なるチームの選手の探索において、格闘技のように画角がほぼ一定のカメラワークのときには問題ないが、サッカーのように動きの激しいスポーツ中継では被写体ａが相手選手のいないスペースに抜け出し、画面内に一人になる場合も想定される。この場合、従カメラ雲台２は被写体ａを画面中心に捕らえ、被写体ｂとなる他チームの選手を探索するが、前記被写体条件に合致せず適当な被写体が見つからないときは被写体ａを追尾した映像になる（図３−Ｓ５→Ｓ４）。この場合、主カメラ１との連動動作が破綻することはないが、さらに好適には積極的に被写体ｂを捕らえる動きをとってもよい。

図３のフローチャートのＳ５において、被写体ｂを確定できないときの第二の方式を説明する。

この場合、まず、従カメラ雲台２のＣＰＵ ２５は、被写体ａを画面中心に捕らえつつ、実施例１で説明した４ｎ×２ｍの被写体サーチ枠を広げて探索を試みるよう動作する（図３−Ｓ１０）。ここで、被写体ｂを確定することができれば、被写体ｂ中心の撮影動作を行うことができるが、画面内に被写体ｂとなる物体が見つからない場合は、探索域レンズ２８に対し、ワイドに引くよう動作指令を出し、画角を変えて被写体の探索を行う（図３−Ｓ１１）。このときＣＰＵ ２５は、被写体ａの大きさＬ１の値を画角情報から求められる比率で縮尺して得たＬ１´で被写体ａの追尾条件を変更し、さらにＬ１´と同程度の大きさを探すよう探索条件を再設定する。従カメラ雲台２は、ワイドに引いた状態で被写体ｂを探索・決定する動作を行い、被写体ｂ確定後は、実施例１と同様に被写体ｂを画面中心に捕らえた撮影を行うよう動作する。さらにＣＰＵ ２５は、被写体ａが画面内に収まることを条件として、カメラマンが主カメラ１で撮影している画角に近づけるよう徐々にレンズ２８を制御する（図３−Ｓ１２）。

以上、説明したＳ１０以降の手順によれば、従カメラ雲台２は、被写体ｂを中央に捕らえ、カメラマンが主カメラ１で撮影するカメラワークに近い画角で追尾するよう制御されるので、被写体ｂ中心視線の番組素材を自動的に取得できるので、番組制作の省力化と番組品質の向上に貢献する。

これまでの例は、従カメラを１台として説明してきたが、従カメラ雲台が複数あっても本発明の適用は可能である。図１のシステムに第二の従カメラ雲台４を追加したシステムについて図９を用いて説明する。

第二の従カメラ雲台４は主カメラ１と従カメラ雲台２０と通信する端子４７を備えている。ここで主カメラ１の通信端子１７と従カメラ雲台２０の通信端子２７０は、双方向で通信する機能を備える。

基本モードでは、第二の従カメラ雲台４は従カメラ雲台２と同様に主カメラ１から主カメラ１の被写体大きさ情報Ｌ１、主要色Ｃ１、被写体までの距離Ｄ及びカメラの位置情報θ´、φ´を受信し、被写体ｂを画面中央に捕らえるように動作する。さらに映像多様性を向上させるため、従カメラ雲台４はモード設定手段となるスイッチ群４９を備えている。ここでモードとは、
従カメラ雲台２と同じＢチームの被写体ｂを異なるアングルから追尾撮影するモード
従カメラ雲台２と同じＢチームの選手であって被写体ｂと異なる被写体を追尾するモード
主カメラ１と同じ被写体ａを異なるアングルから追尾撮影するモード
主カメラ１と同じＡチームの選手であって被写体ａと異なる被写体を追尾するモード
である。

第二の従カメラ雲台４が被写体を識別して上記モード動作するために従カメラ雲台２０は、従カメラ雲台２の構成に加え、主カメラが出力しているように現在撮影している被写体ｂまでの距離及びカメラの位置情報を通信回線に出力する機能をＣＰＵに備える。

第二の従カメラ雲台４が、従カメラ雲台２に従属する（２）のモード設定の場合は、第二の従カメラ雲台４は、従カメラ雲台２０との距離を求め若しくは入力し、通信回線から主カメラ及び従カメラ雲台２０の被写体情報、位置情報を基に新たな被写体を選択して追尾撮影する。

（１）のモードは従カメラ雲台２と同じ動作であり、（３），（４）のモードは主カメラ１の被写体情報、カメラ位置情報を通信により取得することで実現できる。

このように動作モードを備えることで、第二の従カメラ雲台４は、主カメラ１または従カメラ雲台２０に従属し、異なるアングルまたは異なる被写体を追尾撮影することになるので人手を増やすことなく、多数の番組素材を得ることができ、多様な番組編集が可能になる。

以上、従カメラ雲台を２台にして説明を行ったが、本発明は台数を限定したものではなく、さらに従カメラ雲台が増えても、カメラ雲台間で通信ができれば、他の従カメラ雲台の撮影被写体を特定できる。従カメラ雲台に優先順位を設定する手段たるスイッチ群４９を設けることで、下位従カメラは、上位従カメラと異なる被写体を撮影することになり、さらに撮影映像の多様化を図ることができる。

実施例３で説明したように複数の従カメラ雲台を備えた連動撮影が可能な場合、より多様な素材を撮影するために動きベクトルを被写体決定条件に加える手段たるスイッチ群４９を備えることは有効である。対戦系スポーツは攻守があり、例えばボールに向かって左右から迫る、あるいは向き合って戦うといったように、通常その動きベクトルの方向は異なることが多く、同チームであっても異なる方向の動きをしている選手を捕らえた方が映像としては有益である。動きベクトルの検出方法など公知技術の説明は省略するが、従カメラ雲台の被写体決定条件として動きベクトル利用を有効にするか否かで異なる被写体を捕らえるよう従カメラ雲台が動作することが期待できる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ 主カメラ
２，２０ 従カメラ雲台
３ 主カメラの撮影映像
４ 第二の従カメラ雲台
１１ 主カメラの被写体選択スイッチ
１２，２２ 撮像素子
１３，２３ ＧＢＲ信号処理回路
１４，２４ 画像信号処理回路
１５，２５ 演算処理回路（ＣＰＵ）
１６，２６ メモリ
１７，２７，４７ 通信端子
１８，２８ レンズ
２９ パン・チルト駆動部
４９ 動作モード、優先順位、検出方法設定用スイッチ群

Claims (11)

1. 主カメラが撮影する被写体の位置情報を基に複数の従カメラ雲台が連動して撮影するシステムであって、主カメラは主たる被写体の位置情報、色情報、大きさ情報を算出して出力する手段を備え、従カメラ雲台は、主カメラからの主たる被写体の位置情報、主カメラとの相対位置情報及び従カメラ雲台の撮影している映像内容から、主カメラが撮影する主たる被写体とは異なる被写体であることを条件として被写体を決定する手段を備え、該決定された被写体が撮影画像の中央付近となるよう制御されることを特徴とする連動撮影システム。
2. 請求項１に記載の主カメラが撮影する被写体の位置情報は、現在の主カメラのパン・チルト角度とレンズのズーム・フォーカス位置と画面内の被写体位置から演算し、被写体が画面の中央にあると想定した位置情報であることを特徴とする請求項１に記載の連動撮影システム。
3. 請求項１に記載の主カメラが撮影する被写体の大きさ情報は、同じ動きベクトルを持つ画素で且つ同色の画素の集まりから、形状・外形を認識することで求め、その形状の中心を被写体の位置とすることを特徴とする請求項１または２に記載の連動撮影システム。
4. 請求項１に記載の従カメラ雲台が撮影対象とする被写体は、主カメラの主たる被写体の大きさ情報、位置情報、色情報及び動きベクトル情報のうち少なくとも一つ以上の情報を基に決定されることを特徴とする請求項１から３のいずれかに記載の連動撮影システム。
5. 請求項４に記載の従カメラ雲台が撮影対象とする被写体の決定方法は、主たる被写体の近傍にあり、同程度の大きさであって、主たる被写体の色とは異なる物体を決定条件として被写体と選定することを特徴とする請求項１または４のいずれかに記載の連動撮影システム。
6. 請求項４に記載の従カメラ雲台における被写体の決定方法は、請求項５に記載の決定条件を優先とし、動きベクトルが異なることを決定条件加える選択手段を従カメラ雲台に備えることを特徴とする請求項１または４のいずれかに記載の連動撮影システム。
7. 請求項４に記載の従カメラ雲台が撮影対象とする被写体の決定手法において、主カメラからの被写体情報を基に従カメラにおいて主カメラの主たる被写体を画面中央に撮影し、主カメラからの被写体位置情報との誤差を記憶し、主カメラからの被写体情報を補正して用いることを特徴とする請求項１から６のいずれかに記載の連動撮影システム。
8. 従カメラ雲台は、主カメラの主たる被写体を画面内に収め、且つ請求項１に記載の主たる被写体とは異なる被写体を画面の中央付近となるよう雲台のパン、チルト及びカメラレンズのズーム、フォーカスが制御されることを特徴とする請求項１から７のいずれかに記載の連動撮影システム。
9. 従カメラ雲台の撮影中心となる被写体は、主カメラからの主たる被写体の大きさ情報を基に画面上、同程度の大きさとなるようカメラレンズのズーム、フォーカスが制御されることを特徴とする請求項１から８のいずれかに記載の連動撮影システム。
10. 請求項５若しくは請求項６に記載の決定条件に合致せず、従カメラ雲台の画面中央となる被写体が決定できない場合は、主カメラが撮影する主たる被写体を画面の中央に撮影し、広角画面となるようズーム制御し、決定条件を満たす被写体を探索するよう従カメラ雲台が制御されることを特徴とする請求項１から９のいずれかに記載の連動撮影システム。
11. 従カメラ雲台が２以上ある場合、従カメラに優先順位を付け、下位従カメラは、上位従カメラとは異なる被写体を撮影することを特徴とする請求項１から１０のいずれかに記載の連動撮影システム。

Images