JP2021029035A - システム、制御装置、撮影装置、それらの動作方法およびプログラム - Google Patents

Abstract

【課題】防振処理で処理できない振動が撮影装置に生じた場合に、仮想視点画像の画質低下を軽減する。【解決手段】各撮影装置１００の振動を検出する振動検出部１０２と、振動検出部１０２により許容範囲を超えた振動が検出された撮影装置１００の画角を、許容範囲を超えた振動が検出されていない場合の画角よりも大きくする制御部１０１とを備える。【選択図】 図３

Description

本発明は、システム、制御装置、撮影装置、それらの動作方法およびプログラムに関する。

観客の応援や強風によって、スタジアムに設置したカメラ（撮影装置）が振動することがある。カメラが既定値以上に振動した場合、生成される仮想視点画像の画質が低下する。特に、望遠で撮影している場合は、カメラ本体のわずかな動きによって撮影中の像が大きく動いてしまう。そのための対策として、ブレを防止する防振処理機能が取り入れられつつある。そして、一般にカメラに用いられる防振処理機能は、手ブレを振動ジヤイロ等の角速度検出系で角速度として検出し、検出されたブレの方向及びブレ量に基づいて画像処理で補正するものである。

特開２０１７−２１１８２８号公報

しかしながら、このような防振処理機能で制振できる範囲は限定される。例えば、数１０〜数１００画素の範囲である。観客の応援や強風の大きさによっては、振動によるブレを補正しきれないことも起こりうる。その場合、仮想視点画像を生成する際に、仮想視点画像の画質が低下することがある。

本発明は、上記の課題に鑑みてなされたものであり、防振処理で処理できない振動が撮影装置に生じた場合に、仮想視点画像の画質低下を軽減することを目的とする。

上記の目的を達成する本発明に係るシステムは、
複数の撮影装置の撮影により取得される画像に基づいて仮想視点画像を生成するシステムであって、
撮影装置の振動を検出する検出手段と、
前記検出手段により許容範囲を超えた振動が検出された撮影装置の画角を、前記検出手段により許容範囲を超えた振動が検出されていない場合の当該撮影装置の画角よりも大きくする制御手段と、
を備えることを特徴とする。

本発明によれば、防振処理で処理できない振動が撮影装置に生じた場合に、仮想視点画像の画質低下を軽減することができる。

本実施形態に係る仮想視点画像生成システムのスタジアムへの設置例を示す図。 （ａ）本実施形態に係る制御装置の機能構成の一例を示す図、（ｂ）本実施形態に係る制御装置のハードウェア構成の一例を示す図。 実施形態１に係る制御装置が実施する処理の手順を示すフローチャート 実施形態２に係る制御装置が実施する処理の手順を示すフローチャート

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（実施形態１）
本実施形態では、防振処理機能でブレを補正しきれないほど大きく振動している撮影装置があった場合、その撮影装置のレンズの焦点距離を変更する（すなわち、撮影装置の画角を変更する）例を説明する。

＜システム構成＞
図１は、実施形態１に係る仮想視点画像生成システムがスタジアムに設置された例を示す図である。図１において、撮影装置を接続するデイジーチェーン１７０は一系統に接続されている。仮想視点画像生成システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向きを示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

仮想視点画像生成システムは、撮像領域を複数の方向から撮像する複数の撮像装置を有する。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。

仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

図１において、１００Ａ１、１００Ａ２、１００Ａ３、１００Ａ４、１００Ｂ１、１００Ｂ２、１００Ｂ３、および１００Ｂ４は撮影装置である。撮影装置１００Ａ１〜１００Ａ４が撮影装置グループＡを形成し、撮影装置１００Ｂ１〜１００Ｂ４が撮影装置グループＢを形成している。なお、各撮影装置グループを形成する撮影装置の数は図示の例に限定されない。点Ａ、点Ｂは競技エリア内の注視点である。そして、５００は、撮影装置グループＡの撮影装置１００Ａ１の撮影領域である。５０１は、撮影装置グループＡにおける撮影装置１００Ａ１の焦点距離を短くした場合の撮影領域である。それぞれの撮影装置グループＡおよび撮影装置グループＢは、およそ競技エリア（例えばコート）の半分をカバーするように、それぞれの注視点Ａの撮影対象領域および注視点Ｂの撮影対象領域を撮影するように設置されている。

なお、説明を分かりやすくするため、複数の撮影装置をグループに分けるとして説明するが、複数の撮影装置をグループ分けして管理をしてもよいし、グループ分けして管理をしなくてもよい。また、グループに分類されない撮影装置があってもよい。また、同一のグループに属する複数の撮影装置が、同一の注視点に向けられる例を説明するが、それに限られない。同一のグループに属する複数の撮影装置が、互いに異なる注視点に向けられていてもよい。

例えば、撮影装置グループＡの各撮影装置から取得した撮影画像を用いて、注視点Ａの撮影対象領域における仮想視点画像を生成することができる。同様に、撮影装置グループＢの各撮影装置から取得した撮影画像を用いて、注視点Ｂの撮影対象領域における仮想視点画像を生成することができる。また、撮影装置グループは一例であり、必ずしも２つのグループに分ける必要はない。全撮影装置を１つのグループとしてもよいし、３つ以上のグループに分けてもよい。

＜構成＞
図２（ａ）は、本実施形態に係る制御装置の機能構成の一例を示す図である。仮想視点画像生成システムは、撮影装置を制御する制御システムである。制御システムは、撮影装置１００と制御装置２００とを含んで構成される。

撮影装置１００は、レンズ系と撮像素子が一体化されており、図示していないが、フォーカスレンズやズームレンズ、光学防振用のシフトレンズ等のレンズ群が各レンズの位置センサ等と共にレンズユニットとして組み込まれている。

制御装置２００は、撮影装置１００と接続され、各撮影装置１００を制御可能である。制御装置２００は、制御部１０１及び振動検出部１０２を少なくとも備えており、本実施形態では防振処理部１０３及び画像処理部１０４をさらに備えている。

制御部１０１は、撮影装置１００のズームレンズの焦点距離を制御して、レンズを広角に（撮影装置１００の画角を大きく）したり、望遠に（撮影装置１００の画角を小さく）したり、初期設定値に戻したりする。また、振動検出部１０２の検出結果に基づいて、撮影装置１００の振動が、防振処理部１０３により補正できる許容範囲内であるか否かを判定する。例えば、検出された振動値が既定値以上の値である場合に許容範囲外であると判定することができる。

振動検出部１０２は、撮影装置１００の振動を検出する。例えば、撮影画像の振動を検出してもよい。或いは、ジャイロセンサ等のセンサから取得した情報を用いて振動を検出してもよい。防振処理部１０３は、撮影装置１００の振動によるブレを補正する。ブレの補正処理としては、振動検出部１０２の出力に応じて撮影装置１００内のシフトレンズを動作させることにより光学防振を行ってもよい。或いは、振動検出部１０２の出力に応じて画像処理部１０４における信号処理において電子防振を行ってもよい。

画像処理部１０４は、撮影装置１００の撮像素子から出力された電気信号に対して信号処理を施して画像信号として出力する。また、撮影装置１００から取得した各画像を用いて仮想視点画像を生成する。

なお、図示の例では、制御装置２００が各処理部を備える例を説明したが、これらの処理部は撮影装置１００が備えていてもよい。また、制御装置２００が一部の処理部を備え、撮影装置１００が残りの処理部を備える構成であってもよい。例えば、撮影装置１００が制御部１０１及び振動検出部１０２を備え、制御装置２００が防振処理部１０３及び画像処理部１０４を備える構成であってもよい。また、撮影装置１００が制御部１０１、振動検出部１０２及び防振処理部１０３を備え、制御装置２００画像処理部１０４を備える構成であってもよい。

撮影装置１００が振動検出部１０２を備える場合、自装置の振動を検出する。制御装置２００が振動検出部１０２を備える場合、各撮影装置１００で検出された振動情報を取得することにより各撮影装置１００の振動を検出する。

図２（ｂ）は、本実施形態に係る制御装置のハードウェア構成の一例を示す図である。制御装置２００のハードウェア構成について、図２（ｂ）を用いて説明する。なお、撮影装置１００のハードウェア構成も、以下で説明する制御装置２００の構成と同様であるが、操作部や表示部は備えていなくてもよい。制御装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて制御装置２００の全体を制御することで、制御装置２００の各機能を実現する。なお、制御装置２００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが制御装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示することができる。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。

通信Ｉ／Ｆ２１７は、制御装置２００の外部の装置との通信に用いられる。例えば、制御装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。制御装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、制御装置２００の各部をつないで情報を伝達する。

本実施形態では表示部２１５と操作部２１６が制御装置２００の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が制御装置２００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。

＜処理＞
続いて、図３のフローチャートを参照して、本実施形態に係る制御装置が実施する処理の手順を説明する。

Ｓ３０１０において、制御部１０１は、振動検出部１０２により検出された撮影装置１００の振動が許容範囲外であるか否かを判定する。例えば振動値が既定値以上の値である場合に許容範囲外であると判定することができる。撮影装置１００の振動が許容範囲内である場合、処理を終了する。撮影装置１００の振動が許容範囲外である場合、防振処理部１０３の処理ではブレを補正できないため、Ｓ３０２０へ進む。振動が許容範囲外である場合には、画質の低い撮影画像から仮想視点画像が生成されることになるため、仮想視点画像の画質も低下してしまうことになる。

Ｓ３０２０において、制御部１０１は、撮影装置１００の振動の画質への影響が許容範囲内に収まるように、撮影装置１００の画角を大きくする（すなわち、ズームレンズの焦点距離を短くする（広角にする）ように制御する。例えば、撮影装置１００の振動の画質への影響が無くなるまで、すなわち防振処理部１０３で補正可能になるまで撮影装置１００の画角を大きくする（撮影装置１００のズームレンズの焦点距離を短くする（広角にする））。広角側で撮影する場合、撮影装置１００の振動が画像における被写体のブレに与える影響が小さくなるため、ブレの量を既定値未満に抑えることが可能となる。従って、品質を維持した撮影画像から仮想視点画像を生成できるため、仮想視点画像の画質低下を軽減することができる。以上で図３の処理が終了する。

以上説明したように、本実施形態では、撮影装置の振動が許容範囲外である場合、すなわち、防振処理で処理しきれないほどの振動である場合に、撮影装置１００の画角を大きくする、すなわちズームレンズの焦点距離を短くする（広角にする）ように制御する。これにより、画質への振動の影響を低減することができるため、各撮影装置の撮影画像から生成される仮想視点画像の画質低下を軽減することができる。

（実施形態２）
実施形態２では、撮影装置のレンズを広角にした後、撮影装置の振動の影響がなくなった場合に、撮影装置のレンズの焦点距離を初期設定値に戻したり（すなわち撮影装置の画角を初期設定値に戻したり）、振動の影響を吸収できる範囲で撮影装置のレンズを広角から望遠にしたりする（すなわち画角を小さくする）例を説明する。

システム構成及び装置構成については実施形態１と同様であるため、説明を省略する。

＜処理＞
続いて、図４のフローチャートを参照して、本実施形態に係る制御装置が実施する処理の手順を説明する。なお、Ｓ３０１０、Ｓ３０２０における処理は実施形態１で説明した処理と同じであるため説明を省略する。なお、Ｓ３０１０で撮影装置１００の振動が許容範囲内である場合は、Ｓ４０１０へ進む。

Ｓ４０１０において、制御部１０１は、撮影装置１００の画角が初期設定値よりも大きいか否か、すなわち撮影装置１００のレンズの焦点距離が初期設定値よりも広角になっているか否かを判定する。撮影装置１００の画角が初期設定値よりも大きい場合、Ｓ４０２０へ進む一方、撮影装置１００の画角が初期設定値よりも大きくない場合、処理を終了する。

Ｓ４０２０において、制御部１０１は、撮影装置１００の画角を初期設定値に戻しても（すなわち、撮影装置１００のレンズの焦点距離を初期設定値に戻しても）、振動の影響が許容範囲内であるか否かを判定する。ここでいう振動の影響とは、振動が撮影画像の画質に与える影響であり、画角が大きいほど小さくなり、画角が小さいほど大きくなる。例えば、振動の大きさが許容範囲内に収まるかどうかを判定することによって、画角（焦点距離）を初期設定値に戻すかどうかを判定することができる。振動の影響が許容範囲内に収まると判定された場合、Ｓ４０３０へ進む。一方、振動の影響が許容範囲内に収まらなくなると判定された場合、Ｓ４０４０へ進む。

Ｓ４０３０において、制御部１０１は、撮影装置１００の画角を初期設定値に戻す（すなわち、撮影装置１００のレンズの焦点距離を初期設定値に戻す）。これにより、初期設定時の高品質な画像を撮影できるようになる。高品質な撮影画像から仮想視点画像を生成することができるため、仮想視点画像の画質を向上することができる。

Ｓ４０４０において、制御部１０１は、振動の影響が許容範囲内に収まる範囲で撮影装置１００の画角を小さくする（すなわち、撮影装置１００のレンズを望遠に戻す。これにより、撮影装置１００のレンズを広角にした場合よりも高品質な画像を撮影できる。そして、その高品質な撮影画像から仮想視点画像を生成することができるため、仮想視点画像の画質を向上することができる。以上で図４の処理が終了する。当該一連の処理が繰り返し実行される。

以上説明したように、本実施形態によれば、撮影装置１００のレンズを広角にした後、撮影装置１００の振動の影響が許容範囲内となった場合に、撮影装置１００の画角を初期設定値に戻す（すなわち、撮影装置１００のレンズの焦点距離を初期設定値に戻す）。或いは、振動の影響を吸収できる範囲で、すなわち振動の影響が許容範囲内となる範囲で撮影装置１００の画角を小さくする（すなわち、撮影装置１００のレンズを望遠に戻す）。なお、撮影装置１００の画角を大きくした後、画角を大きくした撮影装置１０１において振動検出部１０２により許容範囲を超えた振動が検出されない場合、撮影装置１０１の画角を小さくするようにしてもよい。これにより、より高品質な画像を撮影できる。従って、より高品質な撮影画像から仮想視点画像を生成することができるため、仮想視点画像の画質を向上することができる。

なお、上述した各実施形態で説明した制御装置２００が実施する処理の一部又は全部を、撮影装置１００が実施するように構成してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

１００：撮影装置、２００：制御装置、１０１：制御部、１０２：振動検出部、１０３：防振処理部、１０４：画像処理部

Claims (11)

1. 複数の撮影装置の撮影により取得される画像に基づいて仮想視点画像を生成するシステムであって、
   撮影装置の振動を検出する検出手段と、
   前記検出手段により許容範囲を超えた振動が検出された撮影装置の画角を、前記検出手段により許容範囲を超えた振動が検出されていない場合の当該撮影装置の画角よりも大きくする制御手段と、
   を備えることを特徴とするシステム。
2. 前記制御手段は、前記撮影装置の画角を大きくした後、当該撮影装置において前記検出手段により許容範囲を超えた振動が検出されない場合、前記撮影装置の画角を設定値に戻すことを特徴とする請求項１に記載のシステム。
3. 前記制御手段は、前記撮影装置のレンズを広角にした後、当該撮影装置の画角を設定値に戻すと画像への影響が許容範囲内である場合に、前記撮影装置の画角を設定値に戻すことを特徴とする請求項１又は２に記載のシステム。
4. 前記制御手段は、前記撮影装置のレンズを広角にした後、当該撮影装置の画角を設定値に戻すと画像への振動の影響が許容範囲を超える場合に、前記影響が許容範囲内となる範囲で前記撮影装置の画角を小さくすることを特徴とする請求項１乃至３の何れか１項に記載のシステム。
5. 前記制御手段は、前記撮影装置の画角を大きくした後、当該撮影装置において前記検出手段により許容範囲を超えた振動が検出されない場合、前記撮影装置の画角を小さくすることを特徴とする請求項１又は２に記載のシステム。
6. 撮影装置と接続された制御装置であって、
   撮影装置の振動を検出する検出手段と、
   前記検出手段により許容範囲を超えた振動が検出された撮影装置の画角を、前記検出手段により許容範囲を超えた振動が検出されていない場合の当該撮影装置の画角よりも大きくする制御手段と、
   を備えることを特徴とする制御装置。
7. 撮影装置であって、
   前記撮影装置の振動を検出する検出手段と、
   前記検出手段により許容範囲を超えた振動が検出された場合、前記撮影装置の画角を、前記検出手段により許容範囲を超えた振動が検出されていない場合の画角よりも大きくする制御手段と、
   を備えることを特徴とする撮影装置。
8. 複数の撮影装置の撮影により取得される画像に基づいて仮想視点画像を生成するシステムの動作方法であって、
   撮影装置の振動を検出する検出工程と、
   前記検出工程により許容範囲を超えた振動が検出された撮影装置の画角を、前記検出工程により許容範囲を超えた振動が検出されていない場合の当該撮影装置の画角よりも大きくする制御工程と、
   を有することを特徴とするシステムの動作方法。
9. 撮影装置と接続された制御装置の動作方法であって、
   撮影装置の振動を検出する検出工程と、
   前記検出工程により許容範囲を超えた振動が検出された撮影装置の画角を、前記検出工程により許容範囲を超えた振動が検出されていない場合の当該撮影装置の画角よりも大きくする制御工程と、
   を有することを特徴とする制御装置の動作方法。
10. 撮影装置の動作方法であって、
    前記撮影装置の振動を検出する検出工程と、
    前記検出工程により許容範囲を超えた振動が検出された場合、前記撮影装置の画角を、前記検出工程により許容範囲を超えた振動が検出されていない場合の画角よりも大きくする制御工程と、
    を有することを特徴とする撮影装置の動作方法。
11. 請求項９又は１０に記載の動作方法をコンピュータに実行させるためのプログラム。

Images