JP2023005022A - 撮影システム、撮影方法及びプログラム - Google Patents

Abstract

【課題】被写体からの死角領域又は視認領域の少なくともいずれかを容易に算出可能な撮影システム、撮影方法及びプログラムを提供すること。【解決手段】一実施の形態にかかる撮影システムＳ１は、被写体を撮影する撮影部１１と、撮影部１１が撮影した画像を用いて、被写体の視野角情報を取得する画角取得部１２６（視野角取得部）と、画像を用いて、被写体の位置情報及び姿勢情報と、被写体の視野領域内に存在する物体の位置情報とを取得するカメラ位置／姿勢取得部１２７（被写体情報取得部）と、被写体の視野角情報、位置情報及び姿勢情報と、視野領域内に存在する物体の位置情報とに基づいて、被写体が把握できない死角領域、又は、死角領域を視野領域から除いた領域である視認領域の少なくともいずれかを算出する画像生成部１２８（領域算出部）を備える。【選択図】図１Ｂ

Description

本発明は撮影システム、撮影方法及びプログラムに関する。

カメラに関する各種の制御を実行する技術が開発されている。

例えば、特許文献１には、任意の交換レンズがカメラ本体に取り付けられた場合でも、カメラがその交換レンズの型番情報を用いて、ネットワークを介して交換レンズの消費電力情報を取得する技術が開示されている。これにより、カメラの消費電力が、電源の供給可能電力を超えないようにしている。

特開２０１７－１３９６８９号公報

カメラが所定の空間を撮影するような場合に、カメラが撮影する範囲を把握するためには、実際にカメラで撮影を行い、その撮影された映像を解析する必要があった。さらに、カメラを設ける場所や、カメラが設けられる台数によっては、撮影に手間がかかるという問題があった。

本発明は、被写体からの死角領域又は視認領域の少なくともいずれかを容易に算出可能な撮影システム、撮影方法及びプログラムを提供することを目的とする。

本発明の一態様に係る撮影システムは、被写体を撮影する撮影部と、前記撮影部が撮影した画像を用いて、前記被写体の視野角情報を取得する視野角取得部と、前記画像を用いて、前記被写体の位置情報及び姿勢情報と、前記被写体の視野領域内に存在する物体の位置情報とを取得する被写体情報取得部と、前記被写体の視野角情報、位置情報及び姿勢情報と、前記視野領域内に存在する物体の位置情報とに基づいて、前記被写体が把握できない死角領域、又は、前記死角領域を前記視野領域から除いた領域である視認領域の少なくともいずれかを算出する領域算出部を備える。

本発明の一態様に係る撮影方法は、被写体を撮影する撮影ステップと、前記被写体が撮影された画像を用いて、前記被写体の視野角情報を取得する視野角取得ステップと、前記画像を用いて、前記被写体の位置情報及び姿勢情報と、前記被写体の視野領域内に存在する物体の位置情報とを取得する被写体情報取得ステップと、前記被写体の視野角情報、位置情報及び姿勢情報と、前記視野領域内に存在する物体の位置情報とに基づいて、前記被写体が把握できない死角領域、又は、前記死角領域を前記視野領域から除いた領域である視認領域の少なくともいずれかを算出する領域算出ステップを撮影システムが実行するものである。

本発明の一態様に係るプログラムは、被写体を撮影する撮影ステップと、前記被写体が撮影された画像を用いて、前記被写体の視野角情報を取得する視野角取得ステップと、前記画像を用いて、前記被写体の位置情報及び姿勢情報と、前記被写体の視野領域内に存在する物体の位置情報とを取得する被写体情報取得ステップと、前記被写体の視野角情報、位置情報及び姿勢情報と、前記視野領域内に存在する物体の位置情報とに基づいて、前記被写体が把握できない死角領域、又は、前記死角領域を前記視野領域から除いた領域である視認領域の少なくともいずれかを算出する領域算出ステップをコンピュータに実行させるものである。

本発明により、被写体からの死角領域又は視認領域の少なくともいずれかを容易に算出可能な撮影システム、撮影方法及びプログラムを提供することができる。

実施の形態１にかかる撮影システムの構成例を示すブロック図である。 実施の形態１にかかる制御部の構成例を示すブロック図である。 実施の形態１にかかる対象カメラの視錐台を例示した模式図である。 実施の形態１にかかるカメラ特定部が実行する処理の一例を示したフローチャートである。 実施の形態１にかかるカメラ特定部が実行する処理の一例を示したフローチャートである。 実施の形態１にかかるレンズ特定部が実行する処理の一例を示したフローチャートである。 実施の形態１にかかるレンズ特定部が実行する処理の一例を示したフローチャートである。 実施の形態１にかかる撮影システムが実行する全体処理の一例を示したフローチャートである。 実施の形態１にかかる撮影システムが実行する全体処理の一例を示したフローチャートである。 実施の形態１にかかる撮影システムが実行する全体処理の一例を示したフローチャートである。 実施の形態２にかかる複数の対象カメラの視錐台を例示した模式図である。 実施の形態２にかかる撮影システムが実行する全体処理の一例を示したフローチャートである。 実施の形態２にかかる撮影システムが実行する全体処理の一例を示したフローチャートである。 実施の形態２にかかる撮影システムが実行する全体処理の一例を示したフローチャートである。 実施の形態３にかかる撮影システムの構成例を示すブロック図である。 実施の形態４にかかる撮影システムの構成例を示すブロック図である。 実施の形態４にかかる制御部の構成例を示すブロック図である。

実施の形態１
以下、図面を参照して本発明の実施の形態１について説明する。この実施の形態では、撮影部にて撮影した画像を用いて、画像中に存在するカメラの死角領域又は撮影可能領域の少なくともいずれかを算出し、その領域の情報を、撮影部が撮影した画像にバーチャル画像として重畳し、表示可能とする撮影システムについて開示する。なお、撮影システムが撮影対象とする「カメラ」は、通常のカメラ筐体を有するカメラだけではなく、スマートフォンやタブレット端末といった、カメラ機能を搭載した任意の電子機器や、カメラ機能を搭載したロボットも含む。また、カメラは、可視光だけでなく、赤外光など、可視光以外の光を用いて撮影をするものであっても良い。

なお、以降の説明において「画角」は、画像中のカメラが光を捉えることができる角度を示す。また、「撮影領域」は、カメラが把握できない領域（死角領域）がない場合にカメラが撮影する領域を示すのに対し、「撮影可能領域」は、カメラから見たときに、撮影領域から死角領域を除いた領域を示す。

また、撮影システムは、後述の通り、カメラだけでない一般的な被写体に関しても、特有の処理を実行することができる。このような一般的な被写体に関して、被写体が光を捉えることができる角度を「視野角」と表記し、被写体から見て死角領域がない場合に被写体が見ることができる領域を「視野領域」と表記する。また、被写体から見たときに、視野領域から死角領域を除いた領域を「視認領域」と表記する。「視野角」、「視野領域」及び「視認領域」は、それぞれ、「画角」、「撮影領域」及び「撮影可能領域」の上位概念としての表記である。

図１Ａは、撮影システムＳ１の概念的な構成例を示すブロック図である。撮影システムＳ１は、撮影部１１、制御部１２、カメラＤＢ（Database）１３、レンズＤＢ１４及び表示部１５を備える。撮影システムＳ１は、単一のコンピュータで構成された集中型のシステムであっても良いし、複数のコンピュータで構成された分散型のシステムであっても良い。以下、撮影システムＳ１の各構成要素について説明する。

撮影部１１は、現実の画像を撮影し、撮影した画像のデータを制御部１２に出力する。撮影部１１は、例えば１又は複数の撮像素子を含んで構成されている。また、撮影部１１で撮影され、以下の処理に用いられる画像は、１又は複数の画像である。撮影部１１は、例えば連続的に撮影を行うことで、複数の画像を撮影する。連続的に撮影を行う場合、各撮像画像を通して、対象カメラの位置は動かないままとなる。なお、撮影部１１は、撮影部１１と対象カメラ又は物体との距離が計測可能な、ステレオ方式のデプスカメラ（３Ｄカメラ）として機能する。

制御部１２は、撮影部１１が撮影した画像、カメラＤＢ１３及びレンズＤＢ１４に格納されたデータを用いて、撮影画像中に存在するカメラ（以下、対象カメラとも記載）の死角領域又は撮影可能領域の少なくともいずれかを算出し、算出した情報をバーチャル画像として表示部１５に表示させる。なお、実施の形態１では、対象カメラは１台とする。

図１Ｂは、制御部１２のブロック図である。制御部１２は、メモリ１２１、Ｉ／Ｏ（Input/Output）部１２２及び情報処理部１２３を有する。

メモリ１２１は、揮発性メモリや不揮発性メモリ、またはそれらの組み合わせで構成される。メモリ１２１は、１個に限られず、複数設けられてもよい。なお、揮発性メモリは、例えば、ＤＲＡＭ (Dynamic Random Access Memory)、ＳＲＡＭ (Static Random Access Memory)等のＲＡＭ (Random Access Memory)であってもよい。不揮発性メモリは、例えば、ＰＲＯＭ (Programmable ROM)、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)、Ｆｌａｓｈ Ｍｅｍｏｒｙ であってもよい。

メモリ１２１は、１以上の命令を格納するために使用される。ここで、１以上の命令は、ソフトウェアモジュール群としてメモリ１２１に格納される。情報処理部１２３は、１以上の命令をメモリ１２１から読み出して実行することで、以下の処理を行うことができる。

Ｉ／Ｏ部１２２は、制御部１２の外部と情報の入出力を実行するハードウェアインタフェースである。この実施形態では、制御部１２は撮影部１１、カメラＤＢ１３、レンズＤＢ１４及び表示部１５に接続されており、これらとＩ／Ｏ部１２２を介して情報の入出力を適宜行う。

情報処理部１２３は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）など任意のプロセッサ等で構成される。なお、メモリ１２１は、情報処理部１２３の外部に設けられるものに加えて、情報処理部１２３に内蔵されているものを含んでもよい。

情報処理部１２３は、メモリ１２１からソフトウェア（コンピュータプログラム）を読み出して実行することで、カメラ特定部１２４、レンズ特定部１２５、画角取得部１２６、カメラ位置／姿勢取得部１２７及び画像生成部１２８等の機能を実現する。以下、これらの各機能について説明する。

カメラ特定部１２４は、撮影部１１が撮影した画像を取得し、その画像内に存在する対象カメラのカメラ筐体のパラメータを特定する。カメラ特定部１２４は、撮影された画像に写っているカメラ筐体の固有情報をキーとして、カメラＤＢ１３を参照することにより、カメラ筐体を特定する。この固有情報は、ここではカメラ筐体の型番情報、又は対象カメラの筐体形状の少なくともいずれかであるが、これらに限らない。

そして、カメラ特定部１２４は、そのカメラ筐体に関してカメラＤＢ１３に格納されているパラメータを取得し、特定する。このカメラ筐体のパラメータは、この例ではカメラ筐体の撮像素子情報、レンズ取り付け面の情報及び撮像素子の距離情報といった、レンズではない、カメラ本体の性能を示すパラメータである。ただし、対象カメラの画角を特定するためのパラメータであれば、カメラ筐体のパラメータは、この例に限られない。

レンズ特定部１２５は、撮影部１１が撮影した画像を取得し、その画像内に存在する対象カメラに装着されたレンズ（以下、対象レンズとも記載）のパラメータを特定する。レンズ特定部１２５は、撮影された画像に写っている対象レンズの固有情報をキーとして、レンズＤＢ１４を参照することにより、レンズを特定する。この固有情報は、ここではレンズの型番情報、又はレンズの形状の少なくともいずれかであるが、これらに限らない。

そして、レンズ特定部１２５は、そのレンズに関してレンズＤＢ１４に格納されている仕様情報を取得する。取得する仕様情報は、レンズの取り得る焦点距離の範囲や、ズームの可否に関する情報といったレンズの情報である。レンズ特定部１２５は、取得したレンズ性能の仕様情報を参照することにより、レンズの焦点距離及びレンズのズームの可否を特定する。特定対象のレンズにおいてズームが不可能な場合には、レンズの焦点距離は特定の値となっており、レンズ特定部１２５はその値を取得することで撮影時の対象レンズの焦点距離を特定する。

一方、対象レンズにおいてズームが可能な場合には、レンズ特定部１２５は、対象レンズに関して、ズーム状態を特定するための仕様情報（この例では、レンズの形状情報及びズームリングの状態に関する情報）をレンズＤＢ１４から取得する。ズームが可能な場合には、レンズの焦点距離は所定の範囲の値となっており、レンズを特定しただけでは焦点距離を一意に特定できない。そのため、レンズ特定部１２５は、撮影画像中に写った実際の対象レンズの状態と、ズーム状態を特定するための仕様情報を比較して、撮影時の対象レンズのズーム状態を判定する。これにより、レンズ特定部１２５は、撮影時の対象レンズの焦点距離を、所定の範囲内の値から一意に特定する。撮影画像中には、例えば、対象レンズの形状及びそのズームリングの状態が写っており、レンズ特定部１２５は、撮影画像におけるレンズの側面部の画像を解析することによって、この状態の情報を取得する。

以上のようにして、レンズ特定部１２５は、撮影時のレンズの焦点距離を特定する。ただし、対象カメラの画角を特定するためのパラメータであれば、レンズ特定部１２５が特定するのは、撮影時のレンズの焦点距離に限らない。

画角取得部１２６は、カメラ特定部１２４が特定したカメラ筐体のパラメータ、及びレンズ特定部１２５が特定した撮影時のレンズの焦点距離を用いることにより、撮影部１１で撮影された対象カメラの撮影時における画角を算出し、取得する。なお、画角は、例えば水平、垂直、対角のうち１つ以上の任意の種類に関する画角であっても良い。この例では、画角取得部１２６は上述の全ての画角を算出することにより、対象カメラの視錐台（四角錐台）を算出する。

カメラ位置／姿勢取得部１２７（被写体情報取得部）は、撮影部１１が撮影した画像を用いて、撮影画像に映る対象カメラの座標（位置）及び姿勢の情報を取得する。これにより、カメラ位置／姿勢取得部１２７は、撮影時に対象カメラがどの位置にあり、どの方向を向いているかを特定することができる。さらに、カメラ位置／姿勢取得部１２７は、画像に映った物体の輪郭の座標（位置情報）を特定することもできる。

画像生成部１２８（領域算出部）は、画角取得部１２６が算出した対象カメラの視錐台の情報と、カメラ位置／姿勢取得部１２７が取得した対象カメラの座標及び姿勢の情報と、対象カメラの視野領域内に存在する物体（障害物）の位置情報とを統合して、対象カメラにおける撮影領域を算出する。

図２は、対象カメラの視錐台をその側面から例示した模式図である。図２において、対象カメラＣの視錐台は、対象カメラＣの撮像素子から無限遠まで延びたものであり、その視錐台の範囲内に障害物Ｏが存在する。障害物Ｏがない場合、視錐台で定められる対象カメラＣの撮像領域Ａに対し、対象カメラＣの座標及び姿勢の情報を適用させることにより、対象カメラＣの実空間内での撮像領域Ａを確定させることができる。

しかしながら、図２の実空間内に障害物Ｏ（例えば対象カメラＣの被写体）が存在するため、対象カメラＣから見て障害物Ｏの後方に、対象カメラＣにとって死角となる領域Ｂが存在する。そのため、画像生成部１２８は、撮影画像中の対象カメラＣの撮影領域Ａにおける障害物Ｏの存在を検出することにより、障害物Ｏに由来する対象カメラＣからの撮影領域Ａ内の死角領域Ｂ、又は、その死角領域Ｂを撮影領域Ａから除いた領域である撮影可能領域Ｄの少なくともいずれかを算出する。そして、画像生成部１２８は、算出した死角領域Ｂ又は撮影可能領域Ｄの少なくともいずれかの情報を、撮影された画像に重畳した重畳画像を生成する。なお、画像生成部１２８は重畳画像を生成するとしたが、これに限定されず、算出した死角領域Ｂ又は撮影可能領域Ｄの少なくともいずれかの情報を画像として生成してもよい。

なお、カメラ特定部１２４及びレンズ特定部１２５は、公知の画像の解析処理を実行することにより、カメラ筐体又はレンズについて、その有無の判定や、型番情報又は形状の特定をすることができる。レンズ特定部１２５は、公知の画像の解析処理を実行することで、レンズのズーム状態を特定することもできる。カメラ位置／姿勢取得部１２７や画像生成部１２８も、同様に、公知の解析処理を用いることで、対象カメラの座標及び姿勢を算出したり、障害物の存在を検出して死角領域又は撮影可能領域を算出したりすることができる。解析処理には、例えば、深層学習等のＡＩ（Artificial Intelligence）技術を用いることができる。

また、これらの制御部１２の各要素は、ネットワークによって接続された複数のコンピュータ等で実現されても良い。さらに、各要素が実行するいずれかの算出処理は、撮影システムＳ１とは別のコンピュータで実行され、制御部１２はその実行結果を取得するように構成されても良い。

図１Ａに戻り、説明を続ける。カメラＤＢ１３は、複数のカメラについて、カメラ筐体の型番情報、筐体形状及びカメラ筐体のパラメータが関連付けて格納されている。カメラＤＢ１３には、筐体の形状及び姿勢を判別するために、筐体の特徴を示す特徴点が格納されている。さらに、カメラＤＢ１３には、具体的なカメラが特定できない場合の汎用的なパラメータも格納されている。カメラ特定部１２４は、カメラＤＢ１３にアクセスし、上述の通り、パラメータ情報を取得する。

レンズＤＢ１４は、複数のレンズについて、レンズの型番情報、形状及び仕様情報が関連付けて格納されている。レンズＤＢ１４には、レンズの形状及び姿勢を判別するために、レンズの特徴を示す特徴点が格納されている。仕様情報は、上述の通り、レンズの取り得る焦点距離の範囲や、ズームの可否に関する情報といったレンズの情報である。ズームが可能な場合には、仕様情報として、ズーム状態を特定するための仕様情報がさらに含まれる。さらに、レンズＤＢ１４には、具体的なレンズが特定できない場合の汎用的なパラメータも格納されている。レンズ特定部１２５は、レンズＤＢ１４にアクセスし、上述の通り、パラメータ情報を取得する。

なお、カメラＤＢ１３及びレンズＤＢ１４は、ネットワークを経由して制御部１２と接続されていても良い。例えば、カメラＤＢ１３及びレンズＤＢ１４は、いわゆるクラウド型のデータベースであっても良く、具体的にはカメラＤＢ１３及びレンズＤＢ１４はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であってもよい。また、対象カメラがレンズ一体型カメラ等の種類であるような場合には、カメラ筐体のパラメータとレンズのパラメータが制御部１２の１回のアクセスでまとめて取得できるように、カメラＤＢ１３及びレンズＤＢ１４が同一のデータベースとして構築されても良い。

表示部１５は、画像生成部１２８で生成された重畳画像を表示するディスプレイ、ＡＲ（Augmented Reality）グラス等のインタフェースである。例えば、表示部１５がＡＲグラスであり、ユーザがＡＲグラスを装着した状態で撮影部１１がそのユーザの視認する方向を撮影している場合に、ユーザは、ＡＲグラスによって重畳画像を見ることができる。また、別の例として、ユーザは、透過可能に構成されたＡＲグラスを介して現実の空間を見ても良い。この場合、表示部１５は、上述の重畳画像において重畳された領域の位置に対応するＡＲグラス上の位置に、死角領域又は撮影可能領域の少なくともいずれかを示す仮想的な像を映し出すことができる。このようにして、表示部１５は、カメラで撮影することのできる範囲、又は撮影することができない範囲の少なくともいずれかを視覚的に強調させてユーザに表示させることができる。なお、表示部１５は、画像生成部１２８で生成された重畳画像を表示するとしたがこれに限定されず、死角領域Ｂ又は撮影可能領域Ｄの少なくともいずれかの情報を画像として表示すればよい。

また、撮影システムＳ１には、ユーザからの入力を受け付けるボタン、タッチパネル等の入力部が設けられていても良い。ユーザは、入力部から、上述の対象カメラからの死角領域又は撮影可能領域のうちのどれか１つ又は両方を表示させるかという点について入力する。画像生成部１２８は、その入力に基づいて、上述の対象カメラからの死角領域、撮影可能領域について、算出する対象を決定し、少なくともいずれかを算出する。そして、画像生成部１２８は、算出した死角領域又は撮影可能領域の少なくともいずれかの情報を、撮影された画像に重畳した重畳画像を生成する。表示部１５は、その重畳画像を表示する。また、ユーザは、入力部から、対象カメラの姿勢に関する情報を入力しても良い。

図３Ａ、３Ｂは、カメラ特定部１２４がカメラＤＢ１３を参照して対象カメラの筐体を特定する処理の一例を示したフローチャートである。以下、図３Ａ、３Ｂを参照して、カメラ特定部１２４の処理の詳細を説明する。

まず、カメラ特定部１２４は、撮影部１１が撮影した画像を取得する（ステップＳ１１）。次に、カメラ特定部１２４は、撮影画像内にカメラがあるか否かを判定する（ステップＳ１２）。撮影画像内にカメラがない場合（ステップＳ１２のＮｏ）、カメラ特定部１２４は処理を終了し、次に撮影画像を取得するまで待機する。

撮影画像内にカメラがある場合（ステップＳ１２のＹｅｓ）、カメラ特定部１２４は、撮影画像内に文字情報としてそのカメラの型番情報が写っているか否か、すなわち型番情報が判別可能か否かを判定する（ステップＳ１３）。型番情報が判別可能でない場合（ステップＳ１３のＮｏ）、カメラ特定部１２４は、撮影画像から、撮影画像に写っているカメラ筐体の形状を取得する（ステップＳ１４）。そして、カメラ特定部１２４は、その形状をキーとしてカメラＤＢ１３で参照することにより、その形状に該当するカメラ筐体がカメラＤＢ１３に存在するか否かを判定する（ステップＳ１５）。例えば、カメラ特定部１２４は、撮影画像に写っているカメラ筐体の特徴点と、カメラＤＢ１３に格納された各筐体の特徴点とを比較することにより、ステップＳ１５の判定を実行することができる。

型番情報が判別可能である場合（ステップＳ１３のＹｅｓ）、又は取得したカメラ筐体の形状がカメラＤＢ１３に存在する場合（ステップＳ１５のＹｅｓ）、カメラ特定部１２４は、カメラＤＢ１３に存在するカメラ筐体に関連付けられたパラメータをカメラ情報として取得する（ステップＳ１６）。カメラ特定部１２４は、このようにして処理を終了する。

取得したカメラ筐体の形状がカメラＤＢ１３に存在しない場合（ステップＳ１５のＮｏ）、カメラ特定部１２４は、カメラ筐体に関する汎用的なパラメータをカメラ情報としてカメラＤＢ１３から取得する（ステップＳ１７）。カメラ特定部１２４は、このようにして処理を終了する。

なお、カメラＤＢ１３には、カメラ筐体の大きさ、形状、構造の少なくともいずれかに関して、カメラ筐体が複数の種類に概略的に分けられ、それらの種類毎に、汎用的なパラメータが設定されていても良い。例えば、カメラＤＢ１３には、デジタルカメラ、一眼レフカメラ、ミラーレスカメラ、スマートフォンといったカメラの種類が設定され、それぞれの種類毎に汎用的なパラメータが設定されていても良い。これにより、カメラ特定部１２４は、カメラの具体的な機種が特定できない場合でも、撮影画像中にあるカメラ筐体の大きさ、形状、構造の少なくともいずれかと、カメラＤＢ１３に記憶されたそのようなファクターとを比較することで、実際のカメラ筐体のパラメータと比較的近いパラメータをカメラ情報として取得することができる。そのため、後述の撮影可能領域の算出がより精度良く実行される。

また、撮影システムＳ１は、上述の汎用的なパラメータを制御部１２側の記憶部（例えばメモリ１２１）に事前に格納しておいても良い。カメラＤＢ１３へのアクセスができない等、何らかの理由でカメラ特定部１２４による上述の処理ができない場合に、カメラ特定部１２４は、記憶部にアクセスし、上述と同様の処理を実行することで、格納された汎用的なパラメータをカメラ情報として取得しても良い。汎用的なパラメータは、１種類でも良いし、上述の通り、カメラ筐体の種類毎に汎用的なパラメータが設定されていても良い。

図４Ａ、４Ｂは、レンズ特定部１２５がレンズＤＢ１４を参照して対象カメラのレンズ（以下、対象レンズとも記載）を特定する処理の一例を示したフローチャートである。以下、図４Ａ、４Ｂを参照して、レンズ特定部１２５の処理の詳細を説明する。

まず、レンズ特定部１２５は、撮影部１１が撮影した画像を取得する（ステップＳ２１）。次に、レンズ特定部１２５は、撮影画像内にレンズがあるか否かを判定する（ステップＳ２２）。撮影画像内にレンズがない場合（ステップＳ２２のＮｏ）、レンズ特定部１２５は処理を終了し、次に撮影画像を取得するまで待機する。

撮影画像内にレンズがある場合（ステップＳ２２のＹｅｓ）、レンズ特定部１２５は、撮影画像内に文字情報としてその対象レンズの型番情報が写っているか否か、すなわち型番情報が判別可能か否かを判定する（ステップＳ２３）。型番情報が判別可能でない場合（ステップＳ２３のＮｏ）、レンズ特定部１２５は、撮影画像から、撮影画像に写っているレンズの形状を取得する（ステップＳ２４）。そして、レンズ特定部１２５は、その形状をキーとしてレンズＤＢ１４で参照することにより、その形状に該当するレンズがレンズＤＢ１４に存在するか否かを判定する（ステップＳ２５）。例えば、レンズ特定部１２５は、撮影画像に写っているレンズの形状における特徴点と、カメラＤＢ１３に格納された各レンズの形状における特徴点とを比較することにより、ステップＳ２５の判定を実行することができる。

型番情報が判別可能である場合（ステップＳ２３のＹｅｓ）、又は取得したレンズの形状がレンズＤＢ１４に存在する場合（ステップＳ２５のＹｅｓ）、レンズ特定部１２５は、レンズＤＢ１４に存在するレンズに関連付けられたレンズ性能の仕様情報をレンズ情報として取得する（ステップＳ２６）。そして、レンズ特定部１２５は、取得した仕様情報に基づいて、対象レンズがズーム可能であるか否かを判定する（ステップＳ２７）。

対象レンズがズーム可能である場合（ステップＳ２７のＹｅｓ）、レンズ特定部１２５は、取得したレンズ性能の仕様情報と、画像として撮影された実際のレンズの状態とを比較することにより、撮影時のズーム状態を判定する（ステップＳ２８）。レンズ特定部１２５は、判定された撮影時のズーム状態に基づいて、撮影時のレンズの焦点距離を特定する（ステップＳ２９）。この詳細は上述の通りである。対象レンズがズーム不可である場合（ステップＳ２７のＮｏ）、レンズ特定部１２５は、取得したレンズ性能の仕様情報に含まれるレンズの焦点距離を、レンズの焦点距離として特定する（ステップＳ２９）。

なお、取得したレンズの形状がレンズＤＢ１４に存在しない場合（ステップＳ２５のＮｏ）、レンズ特定部１２５は、レンズＤＢ１４から汎用的なパラメータをレンズ情報として取得する（ステップＳ３０）。この処理により、レンズ特定部１２５は、レンズの焦点距離を特定する。レンズ特定部１２５は、このようにして処理を終了する。

レンズＤＢ１４には、レンズの大きさ、形状、構造の少なくともいずれかに関して、レンズが複数の種類に概略的に分けられ、それらの種類毎に、汎用的なパラメータが設定されていても良い。例えば、レンズＤＢ１４には、ズームレンズ、単焦点レンズ、標準レンズ、広角レンズ、望遠レンズといったレンズの種類（属性）が設定され、それぞれの種類に応じた汎用的なパラメータが設定されていても良い。なお、レンズの種類として、標準ズームレンズ、広角ズームレンズ、高倍率ズームレンズといった複数の属性が組み合わされたものが設定されても良い。これにより、レンズ特定部１２５は、レンズの具体的な種類が特定できない場合でも、撮影画像中にあるレンズの大きさ、形状、構造の少なくともいずれかと、カメラＤＢ１３に記憶されたそのようなファクターとを比較することで、実際のレンズのパラメータと比較的近いパラメータをレンズ情報として取得することができる。そのため、後述の撮影可能領域の算出がより精度良く実行される。

また、撮影システムＳ１は、上述の汎用的なパラメータを制御部１２側の記憶部（例えばメモリ１２１）に事前に格納しておいても良い。レンズＤＢ１４へのアクセスができない等、何らかの理由でレンズ特定部１２５による上述の処理ができない場合に、カメラ特定部１２４は、記憶部にアクセスし、上述と同様の処理を実行することで、格納された汎用的なパラメータをカメラ情報として取得しても良い。汎用的なパラメータは、１種類でも良いし、上述の通り、レンズの種類毎に汎用的なパラメータが設定されていても良い。

なお、図３Ａに示したステップＳ１３の判定処理とＳ１５の判定処理は、順番が逆に実行されても良い。同様に、図４Ａに示したステップＳ２３の判定処理とＳ２５の判定処理についても、順番が逆に実行されても良い。

図５Ａ～５Ｃは、撮影システムＳ１が実行する全体処理の一例を示したフローチャートであり、以下、図５Ａ～５Ｃを参照して、撮影システムＳ１の全体処理を説明する。

まず、撮影部１１は、対象カメラが写った画像を撮影する（ステップＳ３１）。次に、カメラ特定部１２４は、撮影部１１が撮影した画像を取得することにより、対象カメラのカメラ筐体に関するパラメータをカメラ情報として取得する（ステップＳ３２）。このステップＳ３２の処理の詳細は、図３Ａ、３Ｂに記載した通りである。また、レンズ特定部１２５は、撮影部１１が撮影した画像を取得することにより、対象レンズに関する焦点距離の情報をレンズ情報として取得する（ステップＳ３３）。このステップＳ３３の処理の詳細は、図４Ａ、４Ｂに記載した通りである。

なお、ステップＳ３２、３３の処理は、いずれが先に実行されても良いし、両方が並行して実行されても良い。また、ステップＳ３２、Ｓ３３の少なくともいずれかに関して、所望の情報が取得できない場合には、撮影システムＳ１は、撮影画像中に撮影可能なカメラがないと判定して、以降の処理を中止しても良い。

画角取得部１２６は、カメラ特定部１２４が特定したカメラ筐体のパラメータ、及びレンズ特定部１２５が特定した撮影時のレンズの焦点距離を用いることにより、対象カメラの撮影時における画角を算出することにより、対象カメラの視錐台を算出する（ステップＳ３４）。

撮影システムＳ１において、撮影部１１の座標及び姿勢は予め固定された状態にあり、その座標及び姿勢の情報、及び座標系に関する情報は、メモリ１２１に格納されている。カメラ位置／姿勢取得部１２７は、その情報を読み出して取得する（ステップＳ３５）。

カメラ位置／姿勢取得部１２７は、ステップＳ３５で取得した撮影部１１の座標及び姿勢状態（撮影方向）と、対象カメラが写った画像の奥行き情報を用いて、対象カメラの座標を取得する（ステップＳ３６）。この対象カメラの座標と撮影部１１の座標は、同じ座標系中の座標である。なお、レンズ特定部１２５が対象レンズを特定していた場合（つまり、対象レンズの型番情報が判別可能である場合、又は取得した対象レンズの形状がレンズＤＢ１４に存在する場合）、カメラ位置／姿勢取得部１２７は、特定したレンズの中心の座標を対象カメラの座標と設定しても良い。レンズ特定部１２５が対象レンズを特定していなかった場合には、カメラ位置／姿勢取得部１２７は、撮影部１１と最も近接した対象カメラの部分の座標を、対象カメラの座標と設定しても良い。

カメラ位置／姿勢取得部１２７は、カメラ特定部１２４が特定したカメラ筐体、及びレンズ特定部１２５が特定したレンズのそれぞれの形状情報の特徴点を、カメラＤＢ１３、レンズＤＢ１４からそれぞれ取得する。そして、カメラ位置／姿勢取得部１２７は、取得したカメラ筐体及びレンズの特徴点と、撮影画像に映る対象カメラの特徴点とを比較することで、撮影画像に映る対象カメラの姿勢情報を取得する（ステップＳ３７）。なお、カメラＤＢ１３、レンズＤＢ１４の少なくともいずれかから形状情報の特徴点を取得できない場合、カメラ位置／姿勢取得部１２７は、ステップＳ３７において、撮影システムＳ１の入力部から取得した対象カメラの姿勢情報を取得する。なお、ステップＳ３７の処理、ステップＳ３２～Ｓ３４の処理、及びステップＳ３５～Ｓ３６の処理は、いずれが先に実行されても良いし、これらの処理のいずれかが並行して実行されても良い。

画像生成部１２８は、ステップＳ３４で算出された対象カメラの視錐台の情報と、ステップＳ３６、Ｓ３７でそれぞれ取得された対象カメラの座標及び姿勢の情報を統合して、対象カメラにおける撮影領域を算出する（ステップＳ３８）。

カメラ位置／姿勢取得部１２７は、撮影部１１が撮影した画像から、対象カメラの撮影領域内にある物体（障害物）の輪郭を抽出する（ステップＳ３９）。カメラ位置／姿勢取得部１２７は、例えば、撮影映像におけるエッジを検出し、そのエッジによって領域を分割することにより、物体の輪郭を抽出する。この輪郭抽出には、公知の技術を適用することができる。このようにして、カメラ位置／姿勢取得部１２７は、撮影画像中の対象カメラの撮影領域における障害物の存在を検出する。

カメラ位置／姿勢取得部１２７は、ステップＳ３５で取得した撮影部１１の座標及び姿勢の情報と、対象カメラが写った画像の奥行き情報を用いて、ステップＳ３９で抽出した物体の輪郭の座標（位置情報）を特定する（ステップＳ４０）。その後、画像生成部１２８は、特定した物体の輪郭の座標と、対象カメラの座標（例えば、対象カメラのレンズの中心の座標）とを通る直線を、特定した物体の輪郭が全て通るように連続的に引く。画像生成部１２８は、対象カメラから見て物体後方の直線で囲まれた領域を、その物体（障害物）に由来する対象カメラからの撮影領域内の死角領域と判定する（ステップＳ４１）。画像生成部１２８は、ステップＳ４１で判定された死角領域を撮影領域から除いた領域である撮影可能領域をさらに算出する（ステップＳ４２）。そして、画像生成部１２８は、算出した死角領域及び撮影可能領域の情報を、撮影された画像に重畳した重畳画像を生成する（ステップＳ４３）。画像生成部１２８は、生成した重畳画像を表示部１５に出力し、表示部１５は、重畳画像を表示する（ステップＳ４４）。

昨今、高速なＣＰＵ（Central Processing Unit）や高精細な画面表示技術、小型で軽量なバッテリー等の技術の進化のほか、無線ネットワーク環境の普及・広帯域化に伴い、情報機器が大きく進化している。そのような情報機器として、代表例であるスマートフォンだけでなく、いわゆるウエラブルデバイスも普及してきた。そのようなウエラブルデバイスとして、眼鏡タイプのＨＭＤ（ヘッドマウントディスプレイ）を用いて仮想現実世界を視認する情報機器が数多く開発されている。

本発明にかかる撮影システムＳ１は、例えばそのような情報機器として適用可能である。具体的な処理としては、画角取得部１２６がカメラの画角（視錐台）情報を取得し、カメラ位置／姿勢取得部１２７がカメラの位置情報及び姿勢情報、さらに物体の輪郭の座標を取得し、画像生成部１２８がこれらの情報に基づいて死角領域又は撮影可能領域の少なくともいずれかを算出して、その領域の情報が強調された重畳画像を生成する。このとき、撮影システムＳ１で対象カメラを撮影するだけで、カメラ特定部１２４及びレンズ特定部１２５は、それぞれ撮影画像からカメラ筐体及び装着レンズの情報を取得することができる。そのため、ユーザがカメラに関する情報（例えば型番情報）を入力する必要がなく、撮影システムＳ１は、カメラの死角領域や視認領域を容易に可視化させることができる。

ユーザにとっては、撮影システムＳ１によってカメラの死角領域や視認領域が仮想現実世界上で分かりやすく提示されるため、様々な用途に撮影システムＳ１を適用することができる。例えば、撮影システムＳ１は、撮影画像を３Ｄ（Dimension）モデルに変換するフォトグラメトリの用途や、ある空間（例えば部屋）に監視カメラを設けた場合に、防犯上の目的で、その監視カメラの死角領域を探す用途に対して適用可能である。

実施の形態２
実施の形態１では、被写体としてカメラが１台設けられている例を説明したが、被写体としてのカメラは複数台設けられていても良い。実施の形態２では、このような場合において撮影システムＳ１が実行する処理について説明する。なお、撮影システムＳ１の構成は、図１Ａ、１Ｂに示した通りである。また、撮影システムＳ１の各部が実行する処理については、実施の形態１と異なる点を概略的に記載し、その他の処理の詳細については実施の形態１と同じであるため、記載を省略している。

カメラ特定部１２４は、撮影部１１が撮影した画像を取得し、その画像内に存在する複数の対象カメラ毎に、カメラ筐体のパラメータを特定する。カメラ特定部１２４は、撮影された画像に写っている各カメラ筐体の固有情報をキーとして、カメラＤＢ１３を参照することにより、それぞれのカメラ筐体を特定する。そして、カメラ特定部１２４は、各カメラ筐体に関して、カメラＤＢ１３に格納されているパラメータを取得し、特定する。

レンズ特定部１２５は、撮影部１１が撮影した画像を取得し、その画像内に存在する複数の対象カメラ毎に、装着されたレンズのパラメータを特定する。レンズ特定部１２５は、撮影された画像に写っている各レンズの固有情報をキーとして、レンズＤＢ１４を参照することにより、各レンズを特定する。

そして、レンズ特定部１２５は、各レンズに関してレンズＤＢ１４に格納されている仕様情報を取得する。ズームが不可能な対象レンズについては、レンズの焦点距離は特定の値となっており、レンズ特定部１２５はその値を取得することで撮影時のレンズの焦点距離を特定する。一方、ズームが可能な対象レンズについては、レンズ特定部１２５は、対象レンズに関して、ズーム状態を特定するための仕様情報をレンズＤＢ１４から取得する。この仕様情報に含まれるレンズの焦点距離は所定の範囲の値となっており、レンズ特定部１２５は、撮影時のレンズのズーム状態を判定することにより、撮影時のレンズの焦点距離を、所定の範囲内の値から一意に特定する。以上のようにして、レンズ特定部１２５は、撮影時の各レンズの焦点距離を特定する。

画角取得部１２６は、カメラ特定部１２４が特定した各カメラ筐体のパラメータ、及びレンズ特定部１２５が特定した撮影時の各レンズの焦点距離を用いることにより、撮影部１１で撮影された各対象カメラの撮影時における画角を算出することで、各対象カメラの視錐台を算出する。

カメラ位置／姿勢取得部１２７は、撮影部１１が撮影した画像を用いて、撮影画像に映る各対象カメラの座標及び姿勢の情報を取得する。これにより、カメラ位置／姿勢取得部１２７は、撮影時に各対象カメラがどの位置にあり、どの方向を向いているかを特定することができる。さらに、カメラ位置／姿勢取得部１２７は、対象カメラ毎の視野領域内に存在する物体の位置情報も取得する。

画像生成部１２８は、画角取得部１２６が算出した各対象カメラの視錐台（四角錐台）の情報と、カメラ位置／姿勢取得部１２７で取得した各対象カメラの座標及び姿勢の情報と、対象カメラ毎の視野領域内に存在する物体（障害物）の位置情報とを統合して、複数の対象カメラ毎における撮影領域を算出する。

図６は、対象カメラが２台ある場合に、それぞれの視錐台をその側面から例示した模式図である。図６において、対象カメラＣ１の撮像領域（視錐台）はＡ１で表され、対象カメラＣ２の撮像領域（視錐台）はＡ２で表される。撮像領域Ａ１、Ａ２は、図２における撮像領域Ａと同様の領域である。

ここで、図６の実空間内に障害物Ｏが存在するため、対象カメラＣ１、Ｃ２から見て、それぞれ死角となる領域が存在することになる。対象カメラＣ１、Ｃ２は、互いの死角領域をある程度カバーするように撮影領域Ａ１、Ａ２が設定されているが、それでも両方のカメラから死角となる領域Ｂ１２が存在する。カメラ位置／姿勢取得部１２７が、撮影領域Ａ１、Ａ２における障害物Ｏの存在を検出することにより、画像生成部１２８は、各撮影領域における死角領域を算出する。そして、画像生成部１２８は、対象カメラＣ１、Ｃ２毎の撮影可能領域、対象カメラＣ１、Ｃ２の撮影可能領域が重畳する領域Ａ１２、対象カメラＣ１、Ｃ２のうち１個の対象カメラだけが撮影可能な領域、又は全ての対象カメラＣ１、Ｃ２から死角となる領域Ｂ１２の４種類の領域のうち、少なくともいずれかを算出する。画像生成部１２８は、算出した領域の情報を、撮影された画像に重畳した重畳画像を生成する。なお、対象カメラＣ１、Ｃ２毎の撮影可能領域については、画像生成部１２８は、各カメラの撮影可能領域を合算した領域を１つの領域として重畳画像に表示させても良いし、撮影可能領域がカメラ毎に（例えば色分け等により）識別可能なように重畳画像に表示させても良い。

なお、画像生成部１２８が上述の４種類の領域のうちいずれを算出し、表示させるかは、ユーザが目的とするニーズを画像生成部１２８が判断することにより、切り替えることができる。例えば、画像生成部１２８は、撮像画像中に被写体としてのカメラが所定の閾値以上（例えば３台以上）撮影画像にあるか否かを判定しても良い。撮像画像中にカメラが所定の閾値以上存在する場合には、ユーザがそのような多数のカメラを配備した動機付けとして、防犯上等の理由から、カメラからの死角をなくすようにカメラを設けていることが想定される。そのため、画像生成部１２８はこの場合に、全てのカメラから死角となる領域（図６における領域Ｂ１２）を少なくとも算出し、表示部１５に表示させる。

別の例として、画像生成部１２８は、撮像画像における各カメラの撮影領域（図６における撮影領域Ａ１、Ａ２）を合算した領域が、所定の閾値以上、又は、撮像画像の全体領域中で所定の割合以上となる少なくともいずれかの場合に、全てのカメラから死角となる領域を少なくとも算出し、表示部１５に表示させても良い。

また、撮影システムＳ１には、ユーザからの入力を受け付けるボタン、タッチパネル等の入力部が設けられていても良い。ユーザは、入力部から、上述の４種類の領域のうちで表示させる１又は複数の領域について入力する。画像生成部１２８は、その入力に基づいて、上述の４種類の領域について、算出する対象を決定し、少なくともいずれかを算出する。そして、画像生成部１２８は、算出した領域の情報を、撮影された画像に重畳した重畳画像を生成する。表示部１５は、その重畳画像を表示する。

図７Ａ、７Ｂは、撮影システムＳ１が実行する全体処理の一例を示したフローチャートであり、以下、図７Ａ、７Ｂを参照して、撮影システムＳ１の全体処理を説明する。なお、図５Ａ～５Ｃの説明において既に示した点については、適宜説明を省略する。

まず、撮影部１１は、対象カメラが写った画像を撮影する（ステップＳ５１）。次に、カメラ特定部１２４は、撮影部１１が撮影した画像を取得することにより、各対象カメラのカメラ筐体に関するパラメータをカメラ情報として取得する（ステップＳ５２）。また、レンズ特定部１２５は、撮影部１１が撮影した画像を取得することにより、各対象レンズに関する焦点距離の情報をレンズ情報として取得する（ステップＳ５３）。

画角取得部１２６は、各対象カメラについて、カメラ特定部１２４が特定したカメラ筐体のパラメータ、及びレンズ特定部１２５が特定した撮影時のレンズの焦点距離を用いることにより、各対象カメラの撮影時における画角を算出する。これにより、画角取得部１２６は、各対象カメラの視錐台を算出する（ステップＳ５４）。

カメラ位置／姿勢取得部１２７は、座標系に関する情報、及び、画像毎の撮影部１１の座標及び姿勢の情報をメモリ１２１から読み出して取得する（ステップＳ５５）。カメラ位置／姿勢取得部１２７は、ステップＳ５５で取得した撮影部１１の座標及び姿勢状態（撮影方向）と、対象カメラが写った画像の奥行き情報を用いて、各対象カメラの座標を取得する（ステップＳ５６）。

カメラ位置／姿勢取得部１２７は、撮影画像に映る各対象カメラの姿勢情報を、取得した各カメラ筐体及び各レンズの特徴点と、撮影画像に映る各対象カメラの特徴点とを比較することで、取得する（ステップＳ５７）。

画像生成部１２８は、ステップＳ５４で算出された各対象カメラの視錐台の情報と、ステップＳ５６、Ｓ５７でそれぞれ取得された各対象カメラの座標及び姿勢の情報を統合して、各対象カメラにおける撮影領域を算出する（ステップＳ５８）。

カメラ位置／姿勢取得部１２７は、撮影部１１が撮影した画像から、各対象カメラの撮影領域内にある物体（障害物）の輪郭を抽出する（ステップＳ５９）。カメラ位置／姿勢取得部１２７は、ステップＳ５５で取得した撮影部１１の座標及び姿勢の情報と、各対象カメラが写った画像の奥行き情報を用いて、物体の輪郭の座標（位置情報）を特定する（ステップＳ６０）。

画像生成部１２８は、特定された物体の輪郭の座標と、各対象カメラの座標（例えば、対象カメラのレンズの中心の座標）とを通る直線を、特定した物体の輪郭が全て通るように連続的に引く。画像生成部１２８は、各対象カメラから見て物体後方の直線で囲まれた領域を、その物体（障害物）に由来する各対象カメラからの撮影領域内の死角領域と判定する（ステップＳ６１）。画像生成部１２８は、ステップＳ６１の判定結果を用いることにより、全ての対象カメラから死角となる領域を特定し、その領域を重畳した画像を生成する（ステップＳ６２）。なお、算出及び表示対象となる領域は、対象カメラ毎の撮影可能領域、２台以上の対象カメラの撮影可能領域が重畳する領域、複数の対象カメラのうち１台の対象カメラだけが撮影可能な領域の少なくともいずれかであっても良い。または、算出及び表示対象となる領域には、これらの領域のうちの少なくともいずれかと、全ての対象カメラから死角となる領域が含まれていても良い。画像生成部１２８は、生成した重畳画像を表示部１５に出力し、表示部１５は、重畳画像を表示する（ステップＳ６３）。

以上に示したように、撮影システムＳ１の画像生成部１２８は、撮像画像に写った複数の対象カメラについて、対象カメラ毎の撮影可能領域、対象カメラの撮影可能領域が重畳する領域、いずれか１の対象カメラのみが撮影可能な領域、又は全ての対象カメラからの死角領域の少なくともいずれかを算出することができる。そして、算出した領域の情報を画像に重畳した重畳画像を生成し、表示部１５に表示させることができる。したがって、撮影システムＳ１によって各カメラの死角領域や視認領域を容易に可視化させることができる。

実施の形態３
撮影システムは、異なる場所又は異なる向きの少なくともいずれかから被写体としてのカメラを複数枚撮影することにより、より正確かつ立体的に対象カメラの撮影領域を特定し、その撮影領域に基づいて三次元的な重畳画像を生成しても良い。

図８は、撮影システムＳ２の概念的な構成例を示すブロック図である。撮影システムＳ２は、撮影システムＳ１に対して、撮影情報取得部１６をさらに備える。また、撮影システムＳ２は、異なる場所又は異なる向きの少なくともいずれかから被写体としてのカメラを複数枚撮影するための構成として、撮影部１１を複数（１１Ａ、１１Ｂ）備える。撮影部１１Ａ、１１Ｂは、同じ被写体を、異なる場所又は異なる向きの少なくともいずれかから撮影するものである。

撮影情報取得部１６は、撮影部１１が複数の異なる場所から被写体としてのカメラを撮影した場合に、撮影部１１が各々の撮影時に実空間上のどの位置にあるかを示す撮影位置情報と、各々の撮影時にどのような姿勢状態をとっているかを示す撮影姿勢情報を取得する。撮影位置情報は、例えば３次元直行座標系における撮影部１１の座標位置、速度、加速度、又は速度の向きの少なくともいずれかを示す値が含まれる。なお、速度の向きや姿勢の変化はヨー、ピッチ、ロールとして表現されても良い。撮影姿勢情報は、クオータニオンを用いて表現されても良い。撮影情報取得部１６は、例えばＧＰＳ（Global Positioning System）等の衛星測位システムを用いて、撮影位置情報を取得しても良い。

制御部１２の各部は、撮影部１１が複数枚撮影した撮像画像の各々について、実施の形態２と同様の処理を実行することにより、複数の対象カメラ毎における撮影領域を算出する。ここで、各撮像画像を通して、複数の対象カメラは動いていないため、重畳画像として各対象カメラの位置が固定された画像が生成される。なお、ステップＳ３５において、カメラ位置／姿勢取得部１２７は、撮影情報取得部１６から撮影位置情報及び撮影姿勢情報を取得する。

なお、制御部１２のカメラ特定部１２４～カメラ位置／姿勢取得部１２７の各部は、異なる撮像画像において写っている複数の対象カメラについて、その位置及び形状の少なくともいずれかを比較することにより、各対象カメラが同じカメラを示しているか、又は異なるカメラを示しているかを判定しても良い。この判定結果に基づいて、画像生成部１２８は、対象カメラが空間上において撮影画像上の位置と同じ位置に配置された重畳画像を生成することができる。

画像生成部１２８は、対象カメラ毎の撮影可能領域、対象カメラの撮影可能領域が重畳する領域、複数の対象カメラのうち１個の対象カメラだけが撮影可能な領域、又は全ての対象カメラからの死角領域の４種類の領域のうち、少なくともいずれかを算出する。画像生成部１２８は、算出した領域の情報を、撮影された画像に重畳した重畳画像を生成する。そして、画像生成部１２８は、算出した領域の情報を、複数の撮影画像を結合することで三次元的に表現された画像に対して重畳することで、三次元の重畳画像を生成する。表示部１５は、その重畳画像をＶＲ（Virtual Reality）又はＡＲ（Augmented Reality）の少なくともいずれかの形式で表示する。この重畳画像は、撮影部１１と対象カメラ又は物体との距離が反映された状態で、ユーザに表示される。

以上に示したように、画像生成部１２８は、撮影情報取得部１６が取得した撮影位置情報及び撮影姿勢情報を用いて、三次元的に重畳画像を生成することができる。換言すれば、撮影システムＳ２は、連続的に撮影された複数の画像から、空間内にある複数の対象カメラを特定し、特定された対象カメラに関する情報を結合して、より立体的な情報としてユーザに提示することが可能となる。

なお、制御部１２の各部は、撮影部１１が複数枚撮影した撮像画像の各々について、実施の形態１と同様の処理を実行することにより、１台の対象カメラにおける撮影領域を算出しても良い。その後、画像生成部１２８は、撮影画像中の対象カメラの撮影領域内の死角領域、又は、その死角領域を撮影領域から除いた領域である撮影可能領域の少なくともいずれかを算出する。そして、画像生成部１２８は、算出した領域の情報を、複数の撮影画像を結合することで三次元的に表現された画像に対して重畳することで、三次元の重畳画像を生成する。画像生成部１２８は、生成した重畳画像を表示部１５に出力し、表示部１５は、重畳画像を表示する。このようにしても、撮影システムＳ２は、領域を算出し重畳画像を生成することができる。

特に、撮影システムＳ２は、図５ＢのステップＳ３９の処理（輪郭の抽出）を実行する際に、対象カメラから見た物体の輪郭を特定するのに必要な特徴点を抽出する必要がある。このとき、撮影システムＳ２が複数の撮影部１１を備えて、異なる場所又は異なる向きから物体を撮影することにより、対象カメラから見た物体の輪郭を全て撮影することができる。なお、一度の撮影で必要な特徴点を全て抽出することができなかった場合には、さらに異なる場所又は異なる向きから物体を撮影することにより、対象カメラから見た物体の輪郭を全て撮影するようにする。

ただし、撮影システムＳ２は、撮影部１１を１個のみ有し、異なる場所又は異なる向きの少なくともいずれかから、撮影部１１が被写体としてのカメラを複数枚撮影するようにしても良い。このようにして、上述の物体を特定するための必要な特徴点を撮影システムＳ２で撮影することにより、撮影システムＳ２は、領域を算出し重畳画像を生成することができる。

実施の形態４
実施の形態１～３に記載の撮影システムは、仮想現実世界で見えないものを可視化する技術として、被写体であるカメラについての死角領域や撮影可能領域を可視化した映像を生成した。しかしながら、被写体として、カメラ以外のものが対象であっても良く、例えば、人間を被写体とすることも可能である。

図９Ａは、実施の形態３にかかる撮影システムＳ３の概念的な構成例を示すブロック図である。撮影システムＳ３は、撮影部３１、制御部３２、人物属性ＤＢ（Database）３３及び表示部３４を備える。以下、実施の形態１と同じ点については、適宜説明を省略する。

撮影部３１は、撮影部１１と同様、１又は複数枚の画像を撮影し、撮影した画像のデータを制御部３２に出力する。

制御部３２は、撮影部３１が撮影した画像、人物属性ＤＢ３３に格納されたデータを用いて、撮影画像中に存在する人物（以下、対象人物とも記載）の死角領域又は視野領域の少なくともいずれかを算出し、算出した情報をバーチャル画像として表示部３４に表示させる。

図９Ｂは、制御部３２のブロック図である。制御部３２は、メモリ３２１、Ｉ／Ｏ部３２２及び情報処理部３２３を有する。メモリ３２１及びＩ／Ｏ部３２２は、実施の形態１に係るメモリ１２１及びＩ／Ｏ部１２２と同じ処理を実行するため、説明を省略する。

情報処理部３２３は、実施の形態１と同様、任意のプロセッサ等で構成されるものであり、メモリ３２１からソフトウェア（コンピュータプログラム）を読み出して実行することで、視野角取得部３２４、人物位置／姿勢取得部３２５及び画像生成部３２６等の機能を実現する。以下、これらの各機能について説明する。

視野角取得部３２４は、撮影部１１が撮影した画像を取得し、画像を解析して、その画像内に存在する人物（以下、対象人物）について、対象人物の視野角を決定する属性を示す情報を撮影画像から抽出する。この情報は、例えば対象人物の顔の造形、年齢等といったものである。この画像解析には、ＡＩ等の公知技術を用いることができる。そして、視野角取得部３２４は、その情報をキーとして、人物属性ＤＢ３３を参照することにより、対象人物の視野角を取得する。この例では、視野角取得部３２４は水平、垂直及び対角の各方向の視野角を取得することにより、対象人物の視円錐（カメラの視錐台に相当）の情報を取得する。

人物位置／姿勢取得部３２５は、撮影部３１が撮影した画像を用いて、撮影された画像における対象人物の座標（位置情報）、及び対象人物の姿勢を算出する。これにより、人物位置／姿勢取得部３２５は、撮影時に対象人物がどの位置にあり、どの方向を向いているかを特定することができる。特に、人物位置／姿勢取得部３２５は、対象人物における視野領域を算出するため、位置情報として、対象人物の目の位置を算出する。さらに、人物位置／姿勢取得部３２５は、画像に映った物体の輪郭の座標（位置情報）を特定することもできる。

画像生成部３２６は、視野角取得部３２４が算出した対象人物の視円錐の情報と、人物位置／姿勢取得部３２５で取得した対象人物の座標及び姿勢の情報と、対象人物の視野領域内に存在する物体（障害物）の位置情報とを統合して、対象人物における視野領域を算出する。そして、人物位置／姿勢取得部３２５は、対象人物の視野領域における障害物の存在を検出することにより、画像生成部３２６は、障害物に由来する対象人物からの視野領域内の死角領域、又は、その死角領域を視野領域から除いた領域である視認領域の少なくともいずれかを算出する。そして、画像生成部３２６は、算出した領域の情報を、撮影された画像に重畳した重畳画像を生成する。この詳細は、実施の形態１に記載の通りである。画像生成部３２６は、表示部３４にその重畳画像を出力する。

図９Ａに戻り、説明を続ける。人物属性ＤＢ３３は、人物の属性を示す情報に、人物の視野角の情報が関連付けて格納されている。視野角取得部３２４は、人物属性ＤＢ３３にアクセスし、上述の通り、視野角の情報を取得する。表示部３４は、表示部１５と同様の表示部であり、説明を省略する。

以上のようにして、撮影システムＳ３は、人物の死角領域や視認領域を容易に可視化させることができる。また、この撮影システムＳ３は、実施の形態２に関しても同様に適用することができる。この場合、画像生成部３２６は、撮像画像に写った複数の対象人物について、対象人物毎の視認領域、対象人物の視認領域が重畳する領域、いずれか１の対象人物のみの視認領域、又は全ての対象人物からの死角領域の少なくともいずれかを算出することができる。同様に、撮影システムＳ３は、実施の形態３に関しても同様に適用することによって、三次元の重畳画像を生成することもできる。なお、撮影システムＳ３は、人間以外の動物にも適用可能である。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、撮影システムが撮影した画像において、カメラと人物が混在して写っていた場合、撮影システムは、各カメラの死角領域や撮影可能領域と、各人物の死角領域や視認領域について、上記実施の形態と同様にして算出し、重畳画像に表示させても良い。また、ユーザは、カメラ又は人物といった被写体が複数撮影された場合、各被写体について、領域の算出及び重畳画像への表示の対象とするか否かを、入力部を介して指定しても良い。撮影システムは、領域の算出及び重畳画像への表示の対象に指定された１又は複数の被写体について、上記実施の形態と同様の処理を実行し、重畳画像において強調された領域の表示を行う。

以上に説明したように、上述の実施形態における撮影システムが有する１又は複数のプロセッサは、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。この処理により、各実施の形態に記載された処理が実現できる。

プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disk（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。また、プログラムは、例えばアプリケーションとしての形態をとることもできる。

以上、実施の形態を参照して本発明を説明したが、本発明は上記によって限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

Ｓ１、Ｓ２、Ｓ３ 撮影システム
１１ 撮影部 １２ 制御部
１３ カメラＤＢ １４ レンズＤＢ
１５ 表示部 １６ 撮影情報取得部
１２１ メモリ １２２ Ｉ／Ｏ部
１２３ 情報処理部 １２４ カメラ特定部
１２５ レンズ特定部 １２６ 画角取得部
１２７ カメラ位置／姿勢取得部 １２８ 画像生成部
３１ 撮影部 ３２ 制御部
３３ 人物属性ＤＢ ３４ 表示部
３２１ メモリ ３２２ Ｉ／Ｏ部
３２３ 情報処理部 ３２４ 視野角取得部
３２５ 人物位置／姿勢取得部 ３２６ 画像生成部

Claims (4)

1. 被写体を撮影する撮影部と、
   前記撮影部が撮影した画像を用いて、前記被写体の視野角情報を取得する視野角取得部と、
   前記画像を用いて、前記被写体の位置情報及び姿勢情報と、前記被写体の視野領域内に存在する物体の位置情報とを取得する被写体情報取得部と、
   前記被写体の視野角情報、位置情報及び姿勢情報と、前記視野領域内に存在する物体の位置情報とに基づいて、前記被写体が把握できない死角領域、又は、前記死角領域を前記視野領域から除いた領域である視認領域の少なくともいずれかを算出する領域算出部と、を備える
   撮影システム。
2. 前記撮影部は、複数の前記被写体を撮影し、
   前記視野角取得部は、前記撮影部が撮影した画像を用いて、前記複数の被写体毎の視野角情報を取得し、
   前記被写体情報取得部は、前記画像を用いて前記複数の被写体毎の位置情報及び姿勢情報と、前記被写体毎の視野領域内に存在する物体の位置情報とを取得し、
   前記領域算出部は、前記複数の被写体毎の視野角情報、位置情報及び姿勢情報と、前記被写体毎の視野領域内に存在する物体の位置情報とに基づいて、被写体毎の前記視認領域、被写体の前記視認領域が重畳する領域、いずれか１の被写体のみが視認可能な領域、又は全ての被写体からの前記死角領域の少なくともいずれかを算出する、
   請求項１に記載の撮影システム。
3. 被写体を撮影する撮影ステップと、
   前記被写体が撮影された画像を用いて、前記被写体の視野角情報を取得する視野角取得ステップと、
   前記画像を用いて、前記被写体の位置情報及び姿勢情報と、前記被写体の視野領域内に存在する物体の位置情報とを取得する被写体情報取得ステップと、
   前記被写体の視野角情報、位置情報及び姿勢情報と、前記視野領域内に存在する物体の位置情報とに基づいて、前記被写体が把握できない死角領域、又は、前記死角領域を前記視野領域から除いた領域である視認領域の少なくともいずれかを算出する領域算出ステップと、
   を撮影システムが実行する撮影方法。
4. 被写体を撮影する撮影ステップと、
   前記被写体が撮影された画像を用いて、前記被写体の視野角情報を取得する視野角取得ステップと、
   前記画像を用いて、前記被写体の位置情報及び姿勢情報と、前記被写体の視野領域内に存在する物体の位置情報とを取得する被写体情報取得ステップと、
   前記被写体の視野角情報、位置情報及び姿勢情報と、前記視野領域内に存在する物体の位置情報とに基づいて、前記被写体が把握できない死角領域、又は、前記死角領域を前記視野領域から除いた領域である視認領域の少なくともいずれかを算出する領域算出ステップと、
   をコンピュータに実行させるプログラム。

Images