JP2016111608A - カメラシステム及び撮像方法 - Google Patents

Abstract

【課題】事象予測に基づいてタイミング良く、望ましい解像度の静止画を撮影することができるカメラシステム及び撮像方法を提供する。【解決手段】カメラシステム１は、撮影した映像または画像に基づいて事象発生のタイミングを予測し、予測したタイミングに合わせてシャッター制御信号を送信する第１の撮像装置１０と、シャッター制御信号を受信し、第１の撮像装置とは異なるズーム倍率で被写体を静止画撮影する第２の撮像装置２０とを備える。【選択図】図１

Description

本発明はカメラシステム及び撮像方法に関する。

カメラでスポーツなどの撮影を行う際に、撮影者はある特定の瞬間を撮影することを目的としていることが多い。例えば、野球であればバッターがボールを打つ瞬間、ランニングやモーターレースなどであればゴールする瞬間が挙げることができる。このような特定の瞬間を撮影するためには、撮影者に「その瞬間をあらかじめ予測してシャッターボタンを押す」という技能が必要とされる。

このような状況に鑑みて、特許文献１には、撮影者が技能を習得せずとも特定のイベントを撮影することができる技術が開示されている。その実現方法は、実際に目的イベントが発生するよりも前に画像処理技術（コンピュータビジョンなどを含む）を用いてイベント発生のタイミングを予測し、カメラ自身が自動的に目的イベントに合わせて撮影を行うものである。

特開２００５−１７６２７４号公報

しかしながら、特許文献１によるアプローチは、１台のカメラを用いてイベント予測と撮影とを行っている。このため、イベントに関連する物体の動きをイベント発生前から撮影し続ける必要があり、当該カメラは実際のイベント発生時の被写体よりも広角に設定する必要がある。つまり、当該カメラでは被写体にズームして高解像度で撮影することが難しい。

例えば、被写体がバッターの場合には、バッターだけにズームインした撮影ではこのアプローチは実現不可能であり、カメラはボールを打つ瞬間の予測に必要なだけのボールの軌跡が得られる程度に広角な範囲を撮影する必要がある。
また、被写体がゴールを通過する自動車の場合には、カメラはゴールのエリアだけではなく、ゴールする瞬間の予測に必要な自動車の軌跡や速度が得られる程度にゴール手前のエリアも含めた広角な範囲を撮影をする必要がある。

このため、最終的に撮影される画像は、被写体だけにズームインして撮影した画像よりも低解像度になってしまうという問題がある。
本発明は、このような問題を解決するためになされたものであり、事象予測に基づいてタイミング良く、望ましい解像度の静止画を撮影するカメラシステム及び撮像方法を提供することを目的とする。

本発明に係るカメラシステムは、撮影した映像または画像に基づいて事象発生のタイミングを予測し、予測したタイミングに合わせてシャッター制御信号を送信する第１の撮像装置と、シャッター制御信号を受信し、第１の撮像装置とは異なるズーム倍率で被写体を静止画撮影する第２の撮像装置とを備えるものである。
この構成により、事象予測に基づいてタイミング良く、望ましい解像度の静止画を撮影することができる。

また、本発明に係る撮像方法は、第１の撮像装置が、撮影した映像または画像に基づいて事象発生のタイミングを予測し、予測したタイミングに合わせてシャッター制御信号を送信するステップと、第２の撮像装置が、シャッター制御信号を受信し、第１の撮像装置とは異なるズーム倍率で被写体を静止画撮影するステップとを有するものである。
この構成により、事象予測に基づいてタイミング良く、望ましい解像度の静止画を撮影することができる。

本発明により、事象予測に基づいてタイミング良く、望ましい解像度の静止画を撮影するカメラシステム及び撮像方法を提供することができる。

実施の形態１に係るカメラシステム１の概略構成を示す図である。 実施の形態１に係るイベントとカメラシステム１の各カメラの画角との関係を説明するための図である。 実施の形態１に係る撮像方法の処理手順を示すフローチャートである。

（実施の形態１）
以下、図面を参照して本実施の形態１に係るカメラシステム及び撮像方法について説明する。
本実施の形態１に係るカメラシステム及び撮像方法は、事象発生予測と被写体撮影とを２つのカメラで別々に行い、それらを連動させて、静止画撮影をするシャッタータイミングの制御を行うものである。

例えば、事象発生予測用の広角カメラと、被写体撮影用の狭角カメラとを連動することで、狭角カメラの画角の範囲内または範囲外での動きに基づいて、狭角カメラのシャッタータイミングを制御するものである。

まず、本実施の形態１に係るカメラシステムの構成について説明する。
図１は、本実施の形態１に係るカメラシステム１の概略構成を示す図である。
カメラシステム１は、予測カメラ１０、撮影カメラ２０、ケーブル３０などを備えている。

予測カメラ１０は、広角カメラであって、撮影した映像または画像に画像認識などの演算処理を行ってイベント（事象）が発生するタイミングを予測し、予測したタイミングに合わせて撮影カメラ２０に向けてシャッター制御信号を送信する。予測カメラ１０がタイミングを予測するときに用いる技術は既存のものであって良く、ここでは説明を省略する。

撮影カメラ２０は、ズーム比を変更可能な望遠・狭角カメラであって、予測カメラ１０からのシャッター制御信号を受信して、予測カメラ１０よりも大きなズーム倍率で、被写体であるイベントを静止画で撮影する。

ケーブル３０は、予測カメラ１０と撮影カメラ２０とを接続し、シャッター制御信号を含む各種の信号を伝達するものである。なお、本実施の形態１に係るカメラシステム１では、ケーブル３０のような有線に代えて、無線を用いて各種信号を伝達しても良い。

本実施の形態１に係るカメラシステム１では、予測カメラ１０と撮影カメラ２０とがあり、予測するカメラと撮影するカメラとが分離されているので、予測、撮影時の各種の自由度が高くなる。

つぎに、本実施の形態１に係るカメラシステム１の動作について具体例を用いて説明する。
図２は、本実施の形態１に係るイベントとカメラシステム１の各カメラ１０、２０の画角との関係を説明するための図である。
ここでのイベントはバッターがボールを打つことである。

予測カメラ１０は、その画角４０内でバッターと飛来するボールとを撮影し、ボールの軌跡を演算により求め、バッターがボールを打つタイミングを予測する。そして、予測カメラ１０は、シャッタータイミングを決定し、当該タイミングに合せてシャッター制御信号を発行する。

このとき、ボールの動きは撮影カメラ２０の画角５０の範囲外にある。
撮影カメラ２０は、ズームしてその画角５０内にバッターを捉えており、シャッター制御信号を受信したときに、バッターを高解像度で撮影する。

このように、本実施の形態１に係るカメラシステム及び撮像方法では、ボールの軌跡からバッターがボールを打つタイミングを予測して、ボールを打つ瞬間のバッターを高解像度、高倍率で撮影することができる。

つぎに、本実施の形態１に係る撮像方法について説明する。
図３は、本実施の形態１に係る撮像方法の処理手順を示すフローチャートである。
まず、カメラシステム１が処理を開始すると、予測カメラ１０が広角で映像（動画）または画像（静止画）を撮影し、これに画像処理などの各種演算を行い、バッターがボールを打つ、ランナーがゴールするなどのイベントが発生するタイミングを予測する（ステップＳ１０）。

そして、予測カメラ１０は、予測したタイミングに合わせてシャッター制御信号を送信する（ステップＳ２０）。
また、撮影カメラ２０が当該シャッター制御信号を受信する（ステップＳ３０）。

そして、撮影カメラ２０がシャッター制御信号を受信したタイミングで高倍率、高解像度の静止画を撮影し（ステップＳ４０）、処理を終了する。
本実施の形態１に係るカメラシステム及び撮像方法は、イベント予測をしながら被写体へ適切にズームインをすることが可能であり、より高解像度な画像を撮影することが可能となる。

なお、本実施の形態１に係るカメラシステムまたは撮像方法では、予測カメラ１０と撮影カメラ２０とが同じ被写体を撮影している必要はない。つまり、イベント予測をするための被写体と、静止画撮影の被写体とは同じものでなくても良い。例えば、予測カメラ１０が外野フライを捕球する外野手を撮影して、撮影カメラ２０がタッチアップを開始するランナーを撮影しても良い。

また、本実施の形態１に係るカメラシステムまたは撮像方法では、必ずしも被写体の「位置」に基づいて、イベントのタイミングを予測する必要はない。つまり、被写体のポーズ、映像中の何かしらの色、明るさの状態など（それぞれ、変化する場合、変化しない場合を含む）に基づいて、イベントを予測しても良い。
例えば、予測カメラがモーターレースの信号機の信号の変化を撮影して、スタートのタイミングを予測することが考えられる。

また、本実施の形態１に係るカメラシステムまたは撮像方法では、予測カメラ１０と撮影カメラ２０とは同一モデルである必要がない。このため、予測カメラ１０と撮影カメラ２０とで異なる特徴（性能）を有するようにすれば、いろいろな状況にも対応することができる。例えば、

・予測カメラに低解像度だがフレームレートが高いカメラを用いることで、より高速な移動物体に対応する。具体的には、１０００ｆｐｓ程度の高速撮影ができる予測カメラの予測結果を用いて、高解像度の撮影カメラでミルククラウンを撮影する、

・予測カメラにより広角なカメラを用いることで、より広範囲な事象に基づくイベントの予測を可能にする、
・予測カメラに赤外カメラを用いることで、暗部で起きている事象に基づくイベント予測を可能にする

などのように、撮影カメラ２０に搭載し得ない機能、性能によるイベント予測の拡張性を求めても良い。
また、本実施の形態１に係るカメラシステムまたは撮像方法では、予測カメラ１０は広角が必須の構成ではなく、例えば、上述したように高速度で低解像度のものであっても良い。

また、本実施の形態１に係るカメラシステムまたは撮像方法では、広角カメラでイベントを予測し、狭角カメラで静止画撮影したが、狭角カメラでイベントを予測し、広角カメラで静止画撮影するようにしても良い。

以上、説明したように、本実施の形態１に係るカメラシステム１は、撮影した映像または画像に基づいて事象発生のタイミングを予測し、予測したタイミングに合わせてシャッター制御信号を送信する第１の撮像装置１０と、シャッター制御信号を受信し、第１の撮像装置とは異なるズーム倍率で被写体を静止画撮影する第２の撮像装置２０とを備えるものである。

（実施の形態２）
本実施の形態２に係るカメラシステム及び撮像方法は、撮影カメラが制御信号を受信して撮影を開始してから実際に露光を開始するまでのタイムラグを考慮してシャッター制御信号を発行するものである。

本実施の形態２に係るカメラシステムの構成は、実施の形態１に係るカメラシステム１のものと同様であり、説明は省略する。
本実施の形態２に係るカメラシステムでは、予測カメラ１０と撮影カメラ２０との接続時のネゴシエーションにおいて、撮影カメラ２０側の内部仕様や設定に合わせて「制御信号を受信してから実際の露光開始までにどの程度の時間がかかるか」というタイムラグ情報を撮影カメラ２０から予測カメラ１０に予め伝達しておく。

そして、予測カメラ１０は、イベント発生の予測ができた後に、イベント予測タイミングから当該タイムラグを差し引いたタイミングで撮影命令（シャッター制御信号）を発行する。
このため、本実施の形態２に係るカメラシステムによれば、よりタイミング良く静止画を撮影することができる。

以上、説明したように、本実施の形態２に係るカメラシステム１は、第２の撮像装置２０は、シャッター制御信号を受信して撮影を開始する時間と露光を開始する時間とのタイムラグを計算し、タイムラグを静止画撮影前に第１の撮像装置１０へ伝達し、第１の撮像装置１０は、予測したタイミングよりもタイムラグ分だけ早くシャッター制御信号を送信するものである。

（実施の形態３）
本実施の形態３に係るカメラシステム及び撮像方法は、予測カメラが撮影カメラに対して「シャッター制御信号の受信からどの程度遅れて撮影を開始するべきか」という時間差情報も送信し、撮影カメラはシャッター制御信号を受信したときに時間差情報に基づいて撮影を遅らせるものである。

本実施の形態３に係るカメラシステムの構成も、実施の形態１に係るカメラシステム１のものと同様であり、説明は省略する。
本実施の形態３に係るカメラシステム１では、予測カメラ１０が撮影カメラ２０に対して、シャッター制御信号の受信からどの程度遅れて撮影を開始するべきか、すなわち、受信から撮影開始までの時間差情報を伝達する。

例えば、ユーザが何かしらの理由によりイベント発生後の静止画を撮影したいような場合に、このような設定をすることができる。
なお、本実施の形態３に係るカメラシステム１では、予測カメラ１０がイベント発生の予測をした直後に、シャッター制御信号と共にイベント予測タイミングまでの残り時間を撮影カメラ２０へ伝達し、撮影カメラ２０は、シャッター制御信号を受信した後に、当該残り時間から露光開始までの内部処理の時間を差し引いた時間が経過したときに、シャッター制御を開始しても良い。

例えば、カメラシステム１などに制約があって、予測カメラ１０がイベント発生時にシャッター制御信号を送信できない場合に、このような設定にすれば良い。
以上、説明したように、本実施の形態３に係るカメラシステム１は、第１の撮像装置１０は、シャッター制御信号と共に、シャッター制御信号を受信してから静止画撮影を開始するまでの時間差を示す時間差情報を送信し、第２の撮像装置２０は、時間差情報を受信し、受信の時間と時間差情報とに基づいて、静止画撮影を開始するものである。

１ カメラシステム
１０ 予測カメラ
２０ 撮影カメラ
３０ ケーブル

Claims (4)

1. 撮影した映像または画像に基づいて事象発生のタイミングを予測し、前記予測したタイミングに合わせてシャッター制御信号を送信する第１の撮像装置と、
   前記シャッター制御信号を受信し、前記第１の撮像装置とは異なるズーム倍率で被写体を静止画撮影する第２の撮像装置と
   を備えるカメラシステム。
2. 前記第２の撮像装置は、
   前記シャッター制御信号を受信して撮影を開始する時間と露光を開始する時間とのタイムラグを計算し、前記タイムラグを前記静止画撮影前に前記第１の撮像装置へ伝達し、
   前記第１の撮像装置は、
   前記予測したタイミングよりも前記タイムラグ分だけ早く前記シャッター制御信号を送信する
   請求項１記載のカメラシステム。
3. 前記第１の撮像装置は、
   前記シャッター制御信号と共に、前記シャッター制御信号を受信してから前記静止画撮影を開始するまでの時間差を示す時間差情報を送信し、
   前記第２の撮像装置は、
   前記時間差情報を受信し、
   前記受信の時間と前記時間差情報とに基づいて、前記静止画撮影を開始する
   請求項１または請求項２記載のカメラシステム。
4. 第１の撮像装置が、撮影した映像または画像に基づいて事象発生のタイミングを予測し、前記予測したタイミングに合わせてシャッター制御信号を送信するステップと、
   第２の撮像装置が、前記シャッター制御信号を受信し、前記第１の撮像装置とは異なるズーム倍率で被写体を静止画撮影するステップと
   を有する撮像方法。

Images