JP2017050684A - 制御装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】複数のカメラで構成される全方位カメラなどにおいて、複数のカメラの画角を制御する制御装置、制御方法、およびプログラムを提供すること。【解決手段】本発明に係る制御装置は、中心位置からそれぞれ異なる方位に向けて配置される複数のカメラの画角を制御する。制御装置は、複数のカメラのうち少なくとも１つのカメラに対応する画角を第１の画角に変更する変更手段と、第１の画角を用いて、複数のカメラのうち、少なくとも１つのカメラとは異なる他のカメラに対応する第２の画角を導出する導出手段と、複数のカメラを、第１の画角および第２の画角を用いて撮像させる撮像制御手段とを備える。【選択図】図１０

Description

本発明は、複数のカメラで構成される全方位カメラなどにおいて、複数のカメラの画角を制御する制御装置、制御方法、およびプログラムに関する。

複数のカメラが撮像した画像を合成する手法が従来技術として知られている。さらに、広視野角画像に含まれる被写体の一部を高精細に撮像する手法として、複数のカメラが広視野角に撮像しつつ、複数のカメラとは異なる別個のカメラが、広視野角画像に含まれる被写体の一部を高精細に撮像する手法も知られている（特許文献１）。

特開２０１０−２１３２４９号公報

しかしながら、特許文献１に記載の撮像装置は、広視野角画像を撮像する複数のカメラと、被写体の一部を高精度に撮像するカメラとが別個に設けられていたため、高精細に撮像された被写体の一部を含む広視野角画像を取得することができなかった。さらに、広視野角画像を撮像する複数のカメラのうち一部のカメラが、光学ズームによって被写体を高精細に撮像しようとすると、当該一部のカメラの画角が狭まり、撮像できない撮像不可範囲が発生してしまう場合があった。

本発明に係る制御装置は、中心位置からそれぞれ異なる方位に向けて配置される複数のカメラの画角を制御する制御装置において、前記複数のカメラのうち少なくとも１つのカメラに対応する画角を第１の画角に変更する変更手段と、前記第１の画角を用いて、前記複数のカメラのうち、前記少なくとも１つのカメラとは異なる他のカメラに対応する第２の画角を導出する導出手段と、前記複数のカメラを、前記第１の画角および前記第２の画角を用いて撮像させる撮像制御手段とを備えることを特徴とする。

本発明の制御装置によれば、撮像不可範囲の発生を抑制しつつ、複数のカメラの画角を制御することができる。

実施形態における全方位カメラの構成を示す模式図である。 従来技術における全方位カメラの画角調整を示す模式図である。 実施形態におけるカメラおよびＰＣの内部構成を示すブロック図である。 実施形態における画角導出処理の内容を示すフローチャートである。 実施形態における画像変換処理の内容を示すフローチャートである。 実施形態における画像合成処理の内容を示すフローチャートである。 実施形態における２つの撮像画像の一例を示す模式図である。 実施形態における２つの合成画像の一例を示す模式図である。 実施形態においる重み係数αの変化の一例を示す模式図である。 実施形態における合成画像の具体例を示す模式図である。 実施形態２におけるカメラおよびＰＣの内部構成を示すブロック図である。 実施形態２における画角導出処理の内容を示すフローチャートである。 実施形態２における被写体とカメラとの位置関係の一例を示す模式図である。 実施形態３における画角導出処理の内容を示すフローチャートである。 実施形態３における被写体とカメラとの位置関係の一例を示す模式図である。 実施形態４における画角導出処理の内容を示すフローチャートである。 実施形態４における被写体とカメラとの位置関係の一例を示す模式図である。 実施形態４における被写体とカメラとの位置関係の一例を示す模式図である。

以下、本発明の実施形態について、図面を参照して説明する。以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［実施形態１］
図１は、本実施形態における全方位カメラ１の構成を示す模式図である。本実施形態における全方位カメラ１は、複数のカメラ１００と、ＰＣ２００とによって構成され、複数のカメラ１００における同じ中心位置からそれぞれ異なる方位に向けて配置される。複数のカメラ１００と、ＰＣ２００とが協働して実行する処理内容について以下説明する。本実施形態において、全方位カメラ１は、全方位カメラ１を構成する複数のカメラ１００が同期して撮像を行い、ＰＣ２００が撮像された画像に対して画像処理を行うことにより、１枚の広視野角画像を生成する。ここで、複数のカメラ１００のうち、注目する被写体を捕捉しているカメラをメインカメラと記し、メインカメラ以外のカメラを従属カメラと記す。また、複数のカメラ１００を水平方向だけではなく、垂直方向にも拡張することで、天球状の広視野角画像を生成することもできるが、本実施形態では説明の簡略化のため省略し、水平方向３６０度のパノラマ画像を広視野角画像と呼称する。

図２は、従来技術における全方位カメラの画角調整を示す模式図である。以下、図２を参照して高精細に撮像された被写体の一部を含む広視野角画像を取得するために、必要な画角制御について検討する。図２（ｂ）は、全方位カメラを構成するカメラ１００が、光学ズームによりカメラ１００の画角が狭まった例を示す模式図である。カメラ１００は、通常倍率で被写体を撮像している状態（図２（ａ））から、光学ズームによって被写体を高精細に撮像する（図２（ｂ））。このとき、カメラ１００の画角が狭まるため、カメラ１００の撮像範囲と、カメラ１００に隣接するカメラ１００’の撮像範囲とが、重畳しない撮像不可範囲が生じてしまう。このように、被写体を高精細に撮像しようとすると、被写体を撮像するカメラの画角が狭まり、複数のカメラによって撮像された画像から広視野角画像を生成できなくなる場合がある。

＜カメラ１００およびＰＣ２００の内部構成＞
図３は、本実施形態におけるカメラ１００およびＰＣ２００の内部構成を示すブロック図である。まず、カメラ１００の内部構成について図３を参照して説明する。図１で示された通り、本実施形態のカメラは複数台から構成され、特に説明が無い限り各カメラ１００は同一構成であるものとする。

光学部１０１は、被写体からの光をセンサ１０２に集光するためのレンズと、レンズを移動させてフォーカス合わせやズーミングを行うための駆動装置と、シャッタ機構と、アイリス機構などとを具備している。このような光学部１０１を構成する各機構は、制御部１０７からの制御信号に基づいて駆動される。センサ１０２は、タイミング信号発生部１０３から出力されるタイミング信号応じて駆動し、被写体からの入射光を電気信号に変換する。タイミング信号発生部１０３は、制御部１０７の制御下でタイミング信号を出力する。Ａ／Ｄ変換回路１０４は、センサ１０２から出力された電気信号に対して、Ａ／Ｄ変換を施しデジタル画像信号を出力する。画像処理回路１０５は、Ａ／Ｄ変換回路１０４から出力された画像信号に対して、デモザイキング処理、ホワイトバランス処理、色補正処理、ＡＦ処理、ＡＥ処理などのカメラ信号処理のすべてまたは一部の処理を施す。エンコーダ／デコーダ１０６は、画像処理回路１０５から出力された画像信号に対して、ＪＰＥＧ方式等の静止画・動画データフォーマットで圧縮符号化処理を施す。また、制御部１０７から供給された静止画・動画の符号化データに対して伸長復号化処理を施す。

制御部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成されるマイクロコントローラであり、ＲＯＭに記憶されたプログラムが実行されることにより、カメラ１００の各部を統括制御する。入力部１０８は、例えば、シャッタレリーズボタンなどの各種操作インターフェースにより構成され、ユーザによる入力操作に応じた制御信号を制御部１０７に出力する。グラフィックＩ／Ｆ１０９は、制御部１０７から供給された画像信号から、表示部１１０に表示させるための画像信号を生成し、生成した画像信号を表示部１１０に供給する。表示部１１０は、例えば、液晶ディスプレイであり、グラフィックＩ／Ｆ１０９から供給された画像信号を画像に変換して表示する。たとえば、表示部１１０は、撮像前のカメラスルー画像やメモリカード等に記録された画像などを表示する。Ｒ／Ｗ１１１には、カメラ１００の撮像により生成された画像データなどが記録される記録媒体として、可搬型のフラッシュメモリからなるメモリカードが着脱可能に接続される。Ｒ／Ｗ１１１は、制御部１０７から供給されたデータや、記憶部１１２から読み出したデータをメモリカードに書き込み、また、メモリカードから読み出したデータを制御部１０７に出力する。なお、メモリカード以外の記録媒体として、他に、書き込み可能な光ディスクやＨＤＤなどが用いられてもよい。出力Ｉ／Ｆ１１３は、例えばＵＳＢ、ＨＤＭＩ（登録商標）、ＨＤ−ＳＤＩなどの接続端子であり、メモリカードに記録された画像データをＰＣなどの外部機器に送信する。

次に、図３を参照して、ＰＣ２００の内部構成について説明する。図１で示された通り、本実施形態のＰＣ２００は、複数のカメラ１００と相互に通信可能に接続されている。このようなＰＣ２００は、ＰＣ２００と通信可能に接続された複数のカメラ１００を制御する制御装置を構成する。

画角導出部２０１は、複数のカメラ１００のうち、少なくとも１つのカメラ１００の画角が変更されることに応じて、その他のカメラ１００についての画角導出処理を行う。具体的な処理方法については後述する。画像取得部２０２は、複数のカメラ１００から撮像画像を取得し、ＲＡＭ２０６などの記憶領域に一時的に格納する。画像変換部２０３は、画角導出部２０１から供給される、複数のカメラ１００それぞれに対応する画角と、画像取得部２０２によって格納された撮像画像とに基づいて、撮像画像の変換処理を行う。具体的な処理方法については後述する。画像合成部２０４は、画像変換部２０３から供給される、変換処理後の撮像画像を合成し、広視野角画像を生成する。広視野角画像の生成の具体的な処理方法については後述する。

ＣＰＵ２０５は、以下に述べる各部を統括的に制御する。ＲＯＭ２０６は、ＣＰＵ２０５で実行される制御プログラムやテーブルなどを格納する領域である。ＲＡＭ２０７は、ＣＰＵ２０５のメインメモリおよびワークエリアとして機能する。バス２０８は、各種データのデータ転送経路であり、例えば画像合成部２０４によって処理された画像データはこのバス２０８を介してＰＣ２００と外部接続される所定の表示部へ送信される。入力部２０９は、シャッタレリーズボタンや、各種操作指示の入力を受け付けるためのボタン、タッチパネルなどにより構成され、ユーザがこれら入力部２０９のボタンなどを操作することにより、ＰＣ２００からカメラ１００に操作を指示することができる。

＜全方位カメラ１における撮像の基本動作＞
ここで、上記説明した全方位カメラ１における撮像の基本動作について説明する。全方位カメラ１は、ＰＣ２００の入力部２０９を介して、カメラ１００の光学部１０１の画角の調整を受け付ける。これにより、ユーザは、撮像前に被写体がより高精細に撮像できるよう光学部１０１の画角を変更することができる。なお、カメラ１００の光学部１０１の調整は、カメラ１００の入力部１０８を介して受け付けてもよい。

次に、全方位カメラ１は、ＰＣ２００の入力部２０９を介して、複数のカメラの中から、メインカメラの指定を受け付ける。ユーザは、メインカメラの指定を受け付けた状態で、ＰＣ２００の入力部２０９のシャッタレリーズボタンを半押しする。ＰＣ２００の入力部２０９のシャッタリレーズボタンが半押しされることに応じて、各カメラの制御部１０７は、現在のメインカメラの画角をＰＣ２００に送信する。

次に、各カメラの制御部１０７は、ＰＣ２００で導出された画角を受信し、光学部１０１がＰＣ２００から受信した画角となるように、光学部１０１を制御する。各カメラの制御部１０７による具体的な画角制御の処理方法については後述する。各カメラの制御部１０７によって、光学部１０１の画角が変更制御された後、ユーザによってシャッタレリーズボタンが押下されることに応じて、各カメラの制御部１０７は、撮像画像をＰＣ２００へ送信する。

＜画角導出方法＞
図４は、本実施形態において、従属カメラの画角を導出する処理内容を示すフローチャートである。図４のフローチャートを参照し、被写体を高精細で撮像しつつ広視野角画像を生成するために、ＰＣ２００が従属カメラの画角を導出する処理内容について説明する。なお、図４に示されるフローチャートによる処理は、ＲＯＭ２０６に格納されたプログラムコードがＲＡＭ２０７に展開され、ＣＰＵ２０５によって実行される。

Ｓ４０１において、画角導出部２０１は、複数のカメラ１００を構成する全カメラから各カメラのＩＤであるカメラＩＤと、各カメラに対応する画角とを、カメラＩＤと画角が対応付けられた形式で取得する。

Ｓ４０２において、画角導出部２０１は、注目する被写体を捕捉しているメインカメラのカメラＩＤを取得する。具体的には、画角導出部２０１は、ＰＣ２００の入力部２０９を介して、ユーザから指定を受け付けたカメラのカメラＩＤを、メインカメラのカメラＩＤとして取得する。

Ｓ４０３において、画角導出部２０１は、従属カメラの画角を導出する。本実施形態において、画角導出部２０１は、従属カメラのカメラＩＤに対応する画角を、当該カメラ１００で設定可能な最大画角に設定する。そして、画角導出部２０１は、各従属カメラのカメラＩＤで特定されるカメラ１００に対して、対応する画角を出力する。このように、各従属カメラのカメラＩＤで特定されるカメラ１００に対して、対応する画角を出力する画角導出部２０１は、カメラ１００を対応する画角で撮像させる撮像制御手段であるといえる。なお、本実施形態において、メインカメラの指定をユーザから受け付ける実施例を説明したが（Ｓ４０２）、これに限るものではない。例えば、Ｓ４０１で取得された各カメラの画角のうち、最も狭い画角のカメラをメインカメラと自動的に判定することにより、メインカメラを指定する実施例としてもよい。

＜カメラ１００の画角制御処理＞
カメラ１００の制御部１０７は、ＰＣ２００からカメラＩＤに対応する画角を受信すると、受信した画角と同じになるように光学部１０１を制御する。

＜撮像画像の変換処理＞
図５は、本実施形態において、複数のカメラ１００のうち、画角が異なるカメラによって撮像された撮像画像に対する変換処理の内容を示すフローチャートである。以下、図５のフローチャートを参照して、画角が異なるカメラによって撮像された撮像画像に対する変換処理の内容について説明する。なお、図５に示されるフローチャートによる処理は、ＲＯＭ２０６に格納されたプログラムコードがＲＡＭ２０７に展開され、ＣＰＵ２０５によって実行される。

Ｓ５０１において、画像取得部２０２は、全方位カメラ１を構成する全カメラから、各カメラＩＤと、各カメラＩＤに対応するカメラによって撮像された撮像画像とを取得する。

Ｓ５０２において、画像変換部２０３は、画角導出部２０１から、各カメラＩＤと、各カメラＩＤによって特定される画角とを取得する。

Ｓ５０３において、画像変換部２０３は、あるカメラＩＤに対応するカメラの画角θと、メインカメラの画角θmとを比較判定する。画角θとメインカメラの画角θmとが等しい場合（Ｓ５０３：ＹＥＳ）、Ｓ５０５に移行する。一方、画角θとメインカメラの画角θmとが等しくない場合（Ｓ５０３：ＮＯ）、Ｓ５０４に移行する。

Ｓ５０４において、画像変換部２０３は、カメラＩＤに対応する撮像画像に対して変換処理を施す。本実施形態において、画像変換部２０３は、カメラＩＤに対応する撮像画像に対して拡大縮小処理を施す。拡大縮小処理における拡大縮小率Ｓは、下記の式から算出することができる。

なお、撮像画像に対する拡大縮小処理の方法は、線形補間方式、ニアレストネイバー方式など、公知の方法で良い。

Ｓ５０５において、画像変換部２０３は、全てのカメラＩＤに対応する画角と、メインカメラの画角θmとの比較判定を行ったかを判定する。未処理のカメラＩＤがある場合（Ｓ５０５：ＮＯ）、次のカメラＩＤに対応する画角の比較判定を行うため、Ｓ５０３に移行する。全てのカメラＩＤに対応する画角の比較判定処理が終了している場合（Ｓ５０５：ＹＥＳ）、図５のフローチャート処理を終了する。

＜画像合成処理＞
図６は、本実施形態において、Ｓ５０４で拡大縮小処理が施された複数の画像に対する合成処理の内容を示すフローチャートである。以下、図６のフローチャートを参照して、Ｓ５０４で変換処理が施された複数の画像に対する合成処理の内容について説明する。なお、図６に示されるフローチャートによる処理は、ＲＯＭ２０６に格納されたプログラムコードがＲＡＭ２０７に展開され、ＣＰＵ２０５によって実行される。

Ｓ６０１において、画像合成部２０４は、画像変換部２０３で拡大縮小処理が施された全画像に対して、固有の画像ＩＤを割り振る。例えば、画像がＮ枚あるとすると、Ｉ１、Ｉ２、Ｉ３、・・・、ＩＮというように、各画像が識別可能な画像ＩＤが割り振られる。

Ｓ６０２において、画像合成部２０４は、Ｓ６０１で画像ＩＤを付与した画像群から２つの画像を選択する。ここで、Ｓ６０２で選択される２つの画像の一例を、図７の画像Ｉｎと画像Ｉｍに示す。

Ｓ６０３において、画像合成部２０４は、Ｓ６０２で選択した２つの画像ＩｎとＩｍとの画素数の大小を判定する。本実施形態では、図７に示される通り、画像Ｉｎの方が画像Ｉｍよりも大きい画素数を有しているものとして説明する。

Ｓ６０４において、画像合成部２０４は、画像Ｉｎと画像Ｉｍとの間でパターンマッチング処理を行う。ここで行うパターンマッチング処理は公知の手法を適用することができる。

例えば、上記数式で表されるように、まずある座標(x,y)における画像の類似度R_SSD(x,y)を算出する。ここでu,vは画像Ｉｍ内の座標を示し、hn,wnは画像Ｉｎの垂直画素数と、水平画素数とをそれぞれ示す。同様にhm,wmは画像Ｉｍの垂直画素数と、水平画素数とをそれぞれ示す。画像合成部２０４は、画像Ｉｎの座標(x,y)を変えて画像Ｉｍとの類似領域を画像Ｉｎ全体にわたって探索し、最小の値を類似度R_SSDとして算出する。また、探索の結果、最小の値に対応する座標を(xp,yp)としてＲＡＭ２０６に格納する。

Ｓ６０５において、画像合成部２０４は、画像Ｉｎと画像Ｉｍとがマッチングする領域が重なるように合成処理を行う。ここで、Ｓ６０５で画像Ｉｎと画像Ｉｍとが合成された合成画像の一例を図８に示す。本実施形態において、例えば、図８における画像Ｉｎと画像Ｉｍとのマッチングに際して、画像合成部２０４は下記の式を用いてＳ６０５の合成処理を行うことができる。

ここでＩ’は画像Ｉｎと画像Ｉｍとが合成された後の画像を、αは０から１までの範囲内における重み係数を示す。図８の破線上における重み係数αの変化を図９に示す。

前述の通り、画像Ｉｍは画像Ｉｎと比較してより高精細な画像である。図９に示される通り、重み係数αは、画像Ｉｍの領域において合成画像Ｉ’が高精細な画像となるように変化する。すなわち、重み係数αは、画像Ｉｎ領域内においてα＝１となり、画像Ｉｎと画像Ｉｍとが重なる所定領域においてαが漸減し、画像Ｉｍ領域内においてα＝０となるように変化する。

Ｓ６０６において、画像合成部２０４は、Ｓ６０５で合成した合成画像Ｉ’に新たな画像ＩＤを付与する。例えば、画像ＩＤの最大がＮのとき、合成画像Ｉ’はＩＮ＋１などの画像ＩＤが付与される。

Ｓ６０７において、画像合成部２０４は、全ての画像が合成され、１枚の合成画像が生成されているかを判定する。１枚の合成画像が生成されている場合（Ｓ６０７：Ｙｅｓ）、Ｓ６０５で合成された合成画像を表示部等に出力し、図６のフローチャートの処理を終了する。１枚の合成画像が生成されていない場合（Ｓ６０７：Ｎｏ）、再びＳ６０２に移行し、前回Ｓ６０２で選択した２つの画像ＩＤと異なる画像ＩＤを選択し、再びＳ６０３以降の処理を実行する。

図１０（ａ）は、本実施形態において、全方位カメラ１を構成する全カメラの画角が等しいときに生成される合成画像の具体例を示す模式図である。図１０（ａ）において、３つの撮像画像から生成される合成画像１０１０が示され、画角１０１２はメインカメラの画角を、画角１０１１、１０１３はそれぞれ従属カメラの画角を示している。全カメラの画角が等しいとき、全撮像画像はそれぞれ等しい画素数によって構成され、本例ではそれぞれ等しい画素数の３つの画像が合成され、合成画像１０１０が生成される。

図１０（ｂ）は、本実施形態において、メインカメラが被写体をズームし、被写体を高精細に撮像した場合に生成される合成画像の具体例を示す模式図である。図１０（ｂ）において、３つの撮像画像から生成される合成画像１０２０が示され、画角１０２２はメインカメラの画角を、画角１０２１、１０２３はそれぞれ従属カメラの画角を示している。前述の説明の通り、全方位カメラ１を構成する複数のカメラ１００のうち、あるカメラが被写体をズームすると、注目する被写体を撮像するメインカメラの画角が狭まる一方で、従属カメラの画角が最大化する。次いで、従属カメラの撮像画像に対して所定の拡大率が適用される（Ｓ５０４）。その結果、高解像度で画素数の少ない１つの撮像画像（Ｉｍ）と、低解像度で画素数の多い２つの撮像画像（Ｉｎ）とが合成され、図１０（ｂ）に示される合成画像１０２０が生成される。

また、本実施形態では、高精細で撮像された撮像画像の領域がより精細となるように合成処理が行われたが、単純に２つの画像の画素値の平均に基づいて合成画像を生成してもよい。さらに、前述した通り、本実施形態では水平３６０度のパノラマ画像を広視野角画像としているが、水平方向のみならず垂直方向にも図４〜図６の画像処理を拡張することにより、天球上の広視野角画像を生成することもできる。

以上説明した通り、実施形態における全方位カメラ１は、複数のカメラの画角を制御することにより、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を取得することができる。

［実施形態２］
実施形態１では、メインカメラが被写体をズームした場合に、従属カメラの画角が最大となるように制御される実施例について説明した。しかし、従属カメラの画角が過度に大きくなり、生成される広視野角画像において、メインカメラで撮像された部分と周辺カメラで撮像された部分とで精細さに大きな差が生じてしまう場合がある。そこで、本実施形態では、メインカメラから被写体までの距離に応じて、従属カメラの画角を制御することにより、被写体を高精細に撮像しつつ、広視野角画像全体としても高精細な画像を生成する方法について説明する。なお、実施形態１と共通する部分については説明を簡略化ないし省略し、本実施形態に特有な点を中心に以下説明する。

＜カメラ１００およびＰＣ２００の内部構成＞
図１１は、本実施形態におけるカメラ１００およびＰＣ２００の内部構成を示すブロック図である。光学部１０１から入力部２０９までの構成は実施形態１と同一であるため説明を省略する。

位置姿勢情報保持部２１０は、全方位カメラ１を構成する複数のカメラ１００それぞれが、どのような位置および姿勢で全方位カメラ１に配置されているかを特定する位置姿勢情報を保持する。本実施形態において、位置姿勢情報は、各カメラ１００の相対位置を示すxyz３次元座標空間における座標情報と、各カメラ１００の相対的な配置向きを示すxyz３次元座標空間における回転座標情報とからなり、例えばＲＯＭ２０６などから読み出される。

＜画角導出方法＞
図１２は、本実施形態において、従属カメラの画角を導出する処理内容を示すフローチャートである。図１２のフローチャートを参照し、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を生成するために、ＰＣ２００が従属カメラの好適な画角を導出する処理内容について説明する。なお、図１２に示されるフローチャートによる処理は、ＲＯＭ２０６に格納されたプログラムコードがＲＡＭ２０７に展開され、ＣＰＵ２０５によって実行される。

Ｓ１２０１からＳ１２０２の処理は、実施形態１のＳ４０１からＳ４０２の処理と同一であるため説明を省略する。Ｓ１２０３において、画角導出部２０１は、位置姿勢情報保持部２１０から全カメラの位置姿勢情報を取得する。ここで、位置姿勢情報とは、前述の通り全方位カメラ１における各カメラ１００の相対位置を示す座標情報と、各カメラ１００の相対的な配置向きを示す回転座標情報とによって表される。

Ｓ１２０４において、画角導出部２０１は、メインカメラから被写体までの距離を取得する。具体的な距離の取得方法は公知の手法を用いることができ、例えばメインカメラでのＡＦの結果から距離取得を行っても良いし、複数台のカメラが被写体を撮像して三角測量によって被写体までの距離取得を行っても良い。

Ｓ１２０５において、画角導出部２０１は従属カメラの画角を導出する。ここで、カメラが所定の円周上に配置されている場合（図１）において、被写体、メインカメラ、および従属カメラの位置関係を図１３に示す。図１３において、メインカメラｍから被写体ｏｂｊまでのy軸方向の距離をＤ、メインカメラｍの画角をθm、従属カメラaの画角をθaとする。さらに、メインカメラｍの光軸に対して垂直且つ全方位カメラ１の接地面（以下「接地面」と記す）に水平な軸をx軸、光軸方向をy軸、光軸に垂直且つ接地面に垂直な軸をz軸とする。また、xyz３次元空間座標におけるメインカメラｍの座標を(xm,ym,zm)とし、従属カメラaの座標を(xm+xa,ym-ya,zm)とする。そして、xyz３次元空間座標におけるメインカメラｍの回転座標（x,y,z軸を中心としたそれぞれの回転角度）を(0,0,0)とし、従属カメラaの回転座標を(0,0,φ)とする。このとき、従属カメラaの画角θaは下記の式を満たすような値として導出される。

なお、Thは閾値であって、本実施形態では、メインカメラｍが捕捉する被写体ｏｂｊと、従属カメラａが捕捉する被写体ｏｂｊとを、どれくらいの範囲で重畳させるかを決定するための閾値である。そして、画角導出部２０１は、Ｓ１２０５で導出した画角を従属カメラに出力する。従属カメラの制御部１０７は、光学部１０１が受信した画角となるように制御する。

以上説明した通り、本実施形態における全方位カメラ１は、被写体との距離に応じて、従属カメラの画角を制御することにより、被写体を高精細に撮像しつつ、広視野角画像全体としても高精細な画像を生成することができる。また、従属カメラａの画角θaは上記数式を演算することにより導出されたが、メインカメラの画角θmと、メインカメラと被写体との距離Ｄとに基づくものであれば、画角θaを導出するための数式は上記に限られるものではない。例えば、メインカメラｍによって撮像されている被写体ｏｂｊが、従属カメラaの撮像範囲に入るまで、従属カメラａの画角θaを拡大する処理を数式化したものを用いても良い。

［実施形態３］
実施形態１〜２では、被写体が静止している前提で、全方位カメラ１を構成する複数のカメラの画角制御を行う実施例について説明した。本実施形態では、全方位カメラ１を構成する複数のカメラが、移動する被写体を撮影する場合に、画角制御を行う実施例について説明する。本実施形態における全方位カメラ１によれば、複数のカメラが移動する被写体を捕捉することができるので、上記移動する被写体を動画として撮像することができる。なお、実施形態１〜２と共通する部分については説明を簡略化ないし省略し、本実施形態に特有な点を中心に以下説明する。

＜画角導出方法＞
図１４は、本実施形態において、従属カメラの画角を導出する処理内容を示すフローチャートである。図１４のフローチャートを参照し、被写体を高精細で撮像しつつ、移動する被写体を含む広視野角画像を生成するために、ＰＣ２００が従属カメラの画角を導出する処理内容について説明する。なお、図１４に示されるフローチャートによる処理は、ＲＯＭ２０６に格納されたプログラムコードがＲＡＭ２０７に展開され、ＣＰＵ２０５によって実行される。

Ｓ１４０１からＳ１４０３の処理は、実施形態２のＳ１２０１からＳ１２０３の処理と同一であるため説明を省略する。

Ｓ１４０４において、画角導出部２０１は、メインカメラと、メインカメラが捕捉している被写体との相対位置を取得する。具体的な位置取得方法は公知の手法を用いることができ、例えばメインカメラから被写体に対して位置測定用の赤外線レーザーを照射し、被写体からの反射を受信することにより位置を取得することができる。ここで、カメラが所定の円周上に配置されている場合（図１）において、被写体、メインカメラ、および従属カメラの位置関係を図１５に示す。図１５において、メインカメラｍから被写体ｏｂｊまでのy軸方向の距離をＤ、メインカメラｍの光軸からx軸方向の距離をｌ、メインカメラｍの画角をθm、従属カメラaの画角をθaとする。

Ｓ１４０５において、画角導出部２０１は、被写体ｏｂｊの位置を判定する。例えば、被写体ｏｂｊとメインカメラｍとの相対的な位置関係が、図１５に示される位置関係にあるとする。このとき、画角θmは下記の式から導出することができる。

上記数式で算出されたθmが、所定の閾値以下と判定された場合（Ｓ１４０５：ＹＥＳ）、すなわち、メインカメラｍが画角θmで被写体ｏｂｊを捕捉していると判定された場合、Ｓ１４０６に移行する。一方、θmが、所定の閾値よりも大きいと判定された場合（Ｓ１４０５：Ｎｏ）、すなわち、メインカメラｍが捕捉していた被写体ｏｂｊが、メインカメラｍが画角θmで捕捉可能な範囲を超えたと判定された場合、Ｓ１４０７に移行する。本実施形態では、Ｓ１４０５において、メインカメラｍの画角θmを所定の閾値を用いて判定したが、所定の閾値と比較判定する値はこれに限られない。例えば、メインカメラの光軸と、全方位カメラ１の中心と被写体ｏｂｊの位置と、が形成する角度を、所定の閾値と比較判定してもよい。

Ｓ１４０６において、画角導出部２０１は従属カメラａの画角θaを導出する。実施形態２と同様に、メインカメラｍの光軸に対して垂直且つ接地面に水平な軸をx軸、光軸方向をy軸、光軸に垂直且つ接地面に垂直な軸をz軸とする。また、メインカメラｍの座標を(xm,ym,zm)とし、従属カメラaの座標を(xm+xa,ym-ya,zm)とする。そして、xyz３次元空間座標におけるメインカメラｍの回転座標を(0,0,0)とし、従属カメラａの回転座標を(0,0,φ)とする。このとき、従属カメラaの画角θaは下記の式を満たすような値として導出される。

なお、Thは閾値であって、本実施形態では、メインカメラｍが捕捉する被写体ｏｂｊと、従属カメラａが捕捉する被写体ｏｂｊとを、どれくらいの範囲で重畳させるかを決定するための閾値である。そして、画角導出部２０１は、Ｓ１４０６で導出した画角を従属カメラに出力する。従属カメラの制御部１０７は、光学部１０１が受信した画角となるように制御する。

一方、θmが、所定の閾値よりも大きいと判定された場合（Ｓ１４０５：Ｎｏ）、Ｓ１４０７において、画角導出部２０１はメインカメラを変更する。Ｓ１４０７において、Ｓ１４０４で取得した被写体の位置に基づいて、メインカメラに隣接していて且つ、被写体と最も距離が近い従属カメラがメインカメラに変更される。以下の実施例では、従属カメラａをメインカメラａ、メインカメラｍを従属カメラｍとして説明を行う。

Ｓ１４０８において、画角導出部２０１は、メインカメラaの画角を導出する。メインカメラaの画角θaは下記の式から導出することができる。

Ｓ１４０９において、画角導出部２０１は、従属カメラｍの画角θmを導出する。従属カメラｍの画角θmは下記の式から導出することができる。

なお、Ｄ’はメインカメラaから被写体まで光軸と並行方向の距離を、ｌ’はメインカメラaの光軸から被写体ｏｂｊへの垂直方向の距離を示す。また、実施形態１〜２と同様に、なお、Thは閾値であって、本実施形態では、メインカメラａが捕捉する被写体ｏｂｊと、従属カメラｍが捕捉する被写体ｏｂｊとを、どれくらいの範囲で重畳させるかを決定するための閾値である。そして、画角導出部２０１は、Ｓ１４０９で導出した画角を従属カメラに出力する。従属カメラの制御部１０７は、光学部１０１が受信した画角となるように制御する。

以上説明した通り、本実施形態における全方位カメラ１は、実施形態１〜２と同様に、従属カメラの画角を制御することにより、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を生成することができる。さらに、本実施形態の全方位カメラ１は、被写体の位置に応じて、被写体を捕捉するメインカメラと従属カメラとを切り替る。このため、被写体が移動している前提であっても、メインカメラと従属カメラとを切り替えることにより被写体を捕捉し、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を生成することができる。

［実施形態４］
実施形態１〜３では、被写体が単体であることが前提で、全方位カメラ１を構成する複数のカメラの画角制御を行う実施例について説明した。本実施形態では、複数の被写体が存在し、複数のメインカメラがそれぞれ異なる被写体を撮像する場合における画角制御について説明する。なお、実施形態１〜３と共通する部分については説明を簡略化ないし省略し、本実施形態に特有な点を中心に以下説明する。

＜画角導出方法＞
図１６は、本実施形態において、従属カメラおよびメインカメラの画角を導出する処理内容を示すフローチャートである。図１６のフローチャートを参照し、複数のメインカメラがそれぞれ異なる被写体を高精細で撮像しつつ、広視野角画像を生成するために、ＰＣ２００が従属カメラおよびメインカメラの画角を導出する処理内容について説明する。なお、図１６に示されるフローチャートによる処理は、ＲＯＭ２０６に格納されたプログラムコードがＲＡＭ２０７に展開され、ＣＰＵ２０５によって実行される。

Ｓ１６０１〜１６０２の処理は、実施形態２のＳ１２０１〜Ｓ１２０２の処理と同一であるため説明を省略する。

Ｓ１６０３において、画角導出部２０１は、メインカメラのカメラＩＤ全てを取得したかを判定する。メインカメラのカメラＩＤ全てを取得している場合（Ｓ１６０３：ＹＥＳ）、Ｓ１６０４に移行する。一方、メインカメラのカメラＩＤ全てを取得していない場合（Ｓ１６０３：ＮＯ）、再びＳ１６０２に戻り、取得可能なメインカメラのカメラＩＤを検索する。

Ｓ１６０４の処理は、実施形態２のＳ１２０３の処理と同一であるため説明を省略する。

Ｓ１６０５において、画角導出部２０１は、各メインカメラから各メインカメラが捕捉しているそれぞれ異なる被写体までの距離を取得する。メインカメラから被写体までの距離の取得方法は、実施形態２のＳ１２０４の処理と同一であるため説明を省略する。

Ｓ１６０６において、画角導出部２０１は、Ｓ１６０５で取得した距離の中から最短距離を選択する。図１７に示される例では、メインカメラｍから被写体ｏｂｊ１までの距離Ｄｍと、メインカメラｂから被写体ｏｂｊ２までの距離Ｄｂとを比較する。本例では距離Ｄｂの方が短いので、Ｄｂが最短距離に選択される。

Ｓ１６０７において、画角導出部２０１は、隣接するメインカメラのカメラＩＤが存在しているかを判定する。Ｓ１６０７の処理は、例えば図１７に示されるように、それぞれ異なる被写体を捕捉しているメインカメラであって、全方位カメラ１において隣接して配置されているメインカメラ郡が存在するかを判定するための処理である。例えば、画角導出部２０１は、Ｓ１６０２で取得したメインカメラのカメラＩＤを、カメラＩＤの番号が若い順に選択する。次いで、選択したメインカメラのカメラＩＤと隣接するカメラＩＤが、メインカメラに指定されているカメラＩＤであるかを判定することにより実行される。隣接するメインカメラのカメラＩＤが存在していない場合（Ｓ１６０７：ＮＯ）、Ｓ１６０８に移行する。一方、隣接するメインカメラのカメラＩＤが存在している場合（Ｓ１６０７：ＹＥＳ）、Ｓ１６１０に移行する。

Ｓ１６０８において、画角導出部２０１は、メインカメラｍとメインカメラｂとの間にある従属カメラａの画角を導出する。ここで、カメラが所定の円周上に配置されている場合（図１）において、被写体、およびメインカメラの位置関係を図１７に示す。図１７に示される通り、メインカメラ同士が隣接しておらず、メインカメラとメインカメラとの間に従属カメラが配置されているとする。

２台のメインカメラをそれぞれメインカメラｍ、メインカメラｂとし、メインカメラｍとメインカメラｂとの間に配置される１台の従属カメラを従属カメラａとする。例えば、メインカメラｍの画角をθm、メインカメラｂの画角をθb、従属カメラａの画角をθaとする。さらに、メインカメラｍの光軸に対して垂直且つ接地面に水平な軸をx軸、光軸方向をy軸、光軸に垂直且つ接地面に垂直な軸をz軸とする。また、メインカメラｍの座標を(xm,ym,zm)、従属カメラａの座標を(xm+xa,ym-ya,zm)、メインカメラｂの座標を(xm+xb,ym-yb,zm)とする。そして、xyz３次元空間座標におけるメインカメラｍの回転座標を(0,0,0)、従属カメラaの回転座標を(0,0,φ)、メインカメラbの回転座標を(0,0,φ’)とする。このとき、メインカメラｍとメインカメラｂが被写体をズームしつつ、広視野角画像を生成できるように、従属カメラａの画角θaを下記の式を用いて算出する。

なお、Thは閾値であって、本実施形態では、メインカメラｂが捕捉する被写体ｏｂｊ２と、従属カメラａが捕捉する被写体ｏｂｊ２とを、どれくらいの範囲で重畳させるかを決定するための閾値である。そして、画角導出部２０１は、Ｓ１６０８で導出した画角を従属カメラに出力する。従属カメラの制御部１０７は、光学部１０１が受信した画角となるように制御する。

Ｓ１６０９において、画角導出部２０１は、メインカメラの画角を導出する。実施形態１において、メインカメラの画角は、ＰＣ２００の入力部２０９を介して設定される態様について説明した。そのため、Ｓ１６０９において、被写体ｏｂｊ１を捕捉するメインカメラの画角θmと、被写体ｏｂｊ２を捕捉するメインカメラの画角θbとは、それぞれ別個の画角が設定されている場合がある。本実施形態では、被写体を最短距離で捕捉するメインカメラの画角を、Ｓ１６０２で取得した全てのカメラＩＤに対応するメインカメラの画角として設定する。図１７に示される例では、画角導出部２０１は、θm＝θbとなるように、全方位カメラ１におけるメインカメラの画角を設定する。

上記説明の通り、画角導出部２０１は、メインカメラから被写体までの最短距離である距離Ｄｂを参照して、従属カメラａの画角θａを導出している。これは、メインカメラから被写体までの距離が短ければ短いほど、当該メインカメラに隣接する従属カメラの画角が広く設定される必要があるからである。図１７の例では、従属カメラａの画角θａは、最短距離である距離Ｄｂに基づいて導出されているため、従属カメラａはメインカメラｍが捕捉する被写体ｏｂｊ１と、メインカメラｂが捕捉する被写体ｏｂｊ２との双方を捕捉することができる。このため、本実施形態の全方位カメラ１は、画像を欠落することなく、広視野角画像を生成することができる。また、本実施形態の撮像画像に対する拡大縮小処理（Ｓ５０４）において、Ｓ１６０８で導出された従属カメラの画角（θa）と、Ｓ１６０９で設定されたメインカメラの画角（θb）と、から拡大縮小率Ｓが算出される。そして、画角導出部２０１は、Ｓ１６０８〜Ｓ１６０９で導出した画角をメインカメラおよび従属カメラに出力する。メインカメラおよび従属カメラの制御部１０７は、光学部１０１が受信した画角となるように制御する。

一方、隣接するメインカメラのカメラＩＤが存在している場合（Ｓ１６０７：ＹＥＳ）、Ｓ１６１０において、画角導出部２０１は、メインカメラの画角を導出する。ここで、カメラが所定の円周上に配置されている場合（図１）において、被写体、およびメインカメラの位置関係を図１８に示す。例えば、図１８に示されるように、メインカメラが２台互いに隣接して配置されているとする。２台のメインカメラそれぞれをメインカメラｍ、メインカメラａとし、メインカメラｍの画角をθm、メインカメラａの画角をθaとし、メインカメラｍから被写体ｏｂｊ１までの距離をＤｍ、メインカメラａから被写体ｏｂｊ２までの距離をＤａとする。さらに、メインカメラｍの光軸に対して垂直且つ接地面に水平な軸をx軸、光軸方向をy軸、光軸に垂直且つ接地面に垂直な軸をz軸とする。また、xyz３次元空間座標におけるメインカメラｍの座標を(xm,ym,zm)とし、メインカメラaの座標を(xm+xa,ym-ya,zm)とする。同様に、xyz３次元空間座標におけるメインカメラｍの回転座標を(0,0,0)とし、メインカメラaの回転座標を(0,0,φ)とする。画角導出部２０１は、メインカメラｍとメインカメラａとが互いに隣接しているとき、各被写体の解像度が同程度となるように、下記の式を満たす画角θm、θaを導出する。

なお、上記説明では、それぞれ異なる被写体ｏｂｊ１、ｏｂｊ２を捕捉するメインカメラｍ、ａの画角θm、θaをそれぞれ導出する態様について説明した。本実施形態の全方位カメラ１において、３つ以上メインカメラが隣接する態様であっても良いし、隣接するメインカメラ郡が２以上存在する態様であっても良い。あるいはまた、Ｓ１６０９と同様に、画角導出部２０１は、θm＝θbとなるように、全方位カメラ１におけるメインカメラの画角を設定してもよい。

Ｓ１６１１において、画角導出部２０１は、全方位カメラ１においてメインカメラｍとメインカメラａと共に配置される従属カメラの画角を導出する。Ｓ１６１１の処理は、本実施形態のＳ１６０８の処理と同一であるため説明を省略する。Ｓ１６０８の処理と同様にＳ１６１１においても、従属カメラの画角は、メインカメラと被写体との最短距離を参照して導出される。また、本実施形態の撮像画像に対する拡大縮小処理（Ｓ５０４）においても、被写体を最短距離で捕捉するメインカメラの画角と、Ｓ１６１１で導出された従属カメラの画角と、から拡大縮小率Ｓが算出される。そして、画角導出部２０１は、Ｓ１６１０〜Ｓ１６１１で導出した画角をメインカメラおよび従属カメラに出力する。メインカメラおよび従属カメラの制御部１０７は、光学部１０１が受信した画角となるように制御する。

以上説明した通り、本実施形態における全方位カメラ１は、複数のメインカメラがそれぞれ異なる被写体を撮像する場合であっても、撮像不可範囲の発生を抑制しつつ、高精細に撮像された被写体の一部を含む広視野角画像を生成することができる。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００・・カメラ
１０１・・光学部
１０７・・制御部
２００・・ＰＣ（制御装置）
２０１・・画角導出部
２０２・・画像取得部
２０３・・画像変換部
２０４・・画像合成部

Claims (11)

1. 中心位置からそれぞれ異なる方位に向けて配置される複数のカメラの画角を制御する制御装置において、
   前記複数のカメラのうち少なくとも１つのカメラに対応する画角を第１の画角に変更する変更手段と、
   前記第１の画角を用いて、前記複数のカメラのうち、前記少なくとも１つのカメラとは異なる他のカメラに対応する第２の画角を導出する導出手段と、
   前記複数のカメラを、前記第１の画角および前記第２の画角を用いて撮像させる撮像制御手段とを備えること
   を特徴とする制御装置。
2. 前記第２の画角は、前記複数のカメラのうち前記他のカメラで設定可能な最大画角であること
   を特徴とする請求項１に記載の制御装置。
3. 前記複数のカメラそれぞれの位置および姿勢を特定する位置姿勢情報を保持する保持手段と、
   前記少なくとも１つの前記カメラは、注目する被写体を捕捉するメインカメラであり、前記メインカメラから前記被写体までの距離を取得する距離取得手段とをさらに備え、
   前記導出手段は、
   前記メインカメラの前記第１の画角と、前記保持手段から読み出した前記位置姿勢情報と、前記メインカメラから前記被写体までの前記距離とに基づいて、前記メインカメラに隣接する従属カメラの前記第２の画角を導出すること
   を特徴とする請求項１に記載の制御装置。
4. 前記導出手段は、
   前記メインカメラが前記第１の画角で捕捉する前記被写体と、前記従属カメラが前記第２の画角で捕捉する前記被写体とが、所定の範囲で重畳するように前記第２の画角を導出すること
   を特徴とする請求項３に記載の制御装置。
5. 前記メインカメラと前記被写体との相対位置を取得する位置取得手段と、
   前記メインカメラが捕捉していた前記被写体が、前記メインカメラが前記第１の画角で捕捉可能な範囲を超えた場合、前記メインカメラに隣接していて且つ前記被写体に最も近い位置にある前記従属カメラを、前記メインカメラに変更する変更手段とをさらに備え、
   前記導出手段は、
   前記保持手段から読み出した前記位置姿勢情報と、変更された前記メインカメラと前記被写体との前記相対位置とに基づいて、変更された前記メインカメラの前記第１の画角を導出し、
   変更された前記メインカメラの前記第１の画角と、前記保持手段から読み出した前記位置姿勢情報と、変更された前記メインカメラから前記被写体までの前記距離とに基づいて、変更された前記メインカメラに隣接する前記従属カメラの前記第２の画角を導出すること
   を特徴とする請求項３または４に記載の制御装置。
6. 前記距離取得手段は、
   複数の前記メインカメラから、複数の前記メインカメラが捕捉するそれぞれの前記被写体までの複数の前記距離を取得し、
   取得した複数の前記距離の中から最短距離を選択する選択手段をさらに備え、
   前記導出手段は、
   前記被写体を前記最短距離で捕捉する前記メインカメラの前記第１の画角を、他の前記メインカメラの前記第１の画角に設定し、
   前記メインカメラの前記第１の画角と、前記保持手段から読み出した前記位置姿勢情報と、選択した前記最短距離とに基づいて、前記従属カメラの前記第２の画角を導出すること
   を特徴とする請求項３または４に記載の制御装置。
7. 決定した前記第１の画角で撮像された１または複数の前記画像と、導出した前記第２の画角で撮像された１または複数の前記画像とを取得し、取得した前記画像群から広視野角画像を生成する生成手段を備えたこと
   を特徴とする請求項１から６のいずれか１項に記載の制御装置。
8. 前記生成手段は、
   導出した前記第２の画角で撮像された１または複数の前記画像を、前記第１の画角と前記第２の画角とによって特定される拡大縮小率に応じて変換する変換手段と、
   前記第１の画角で撮像された１または複数の前記画像と、変換された１または複数の前記画像とを合成する合成手段とをさらに備えたこと
   を特徴とする請求項７に記載の制御装置。
9. 請求項１から請求項８のいずれか１項に記載の制御装置から前記画角を受信し、受信した前記画角に基づいて光学部の画角を制御することを特徴とするカメラ。
10. 中心位置からそれぞれ異なる方位に向けて配置される複数のカメラの画角を制御する制御方法において、
    前記複数のカメラのうち少なくとも１つのカメラに対応する画角を第１の画角に変更する変更ステップと、
    前記第１の画角を用いて、前記複数のカメラのうち、前記少なくとも１つのカメラとは異なる他のカメラに対応する第２の画角を導出する導出ステップと、
    前記複数のカメラを、前記第１の画角および前記第２の画角を用いて撮像させる撮像制御ステップとを備えること
    を特徴とする制御方法。
11. コンピュータを、請求項１乃至請求項８のいずれか１項に記載の制御装置として機能させるためのプログラム。