JP2017069911A - 撮像システム、構図設定装置、及び構図設定プログラム - Google Patents

Abstract

【課題】処理を複雑化させることなく被写体とその周辺の物体を含む構図を効率的に設定する。
【解決手段】この構図設定装置２は、被写体を撮像する撮像装置１の緯度及び経度によって表される撮像位置と撮像装置１の光学系の撮像角度とを特定する環境情報を取得する環境情報取得部２１と、撮像装置１の周辺の空間に存在する物体の形状及び位置を示す仮想空間情報を取得する仮想空間情報取得部２２と、撮像の条件を示す撮像設定情報と環境情報と仮想空間情報とに基づいて、被写体の画像情報の画角外の像を仮想的に表現した仮想画像情報を生成する仮想画像生成部２３と、画像情報と仮想画像情報とに基づいて、画像情報内の物体の像の配置が適した構図となるように撮像装置１によって撮像するための撮像角度を示す構図設定情報を決定する構図推薦部２４とを備える。
【選択図】図１

Description

本発明は、被写体を撮像するための撮像システム、構図設定装置、及び構図設定プログラムに関するものである。

従来から、最適な構図で被写体を撮影することができるような撮像装置が知られている。例えば、下記特許文献１には、カメラを用いてパノラマ画像を生成し、そのパノラマ画像から抽出領域を切り取ることができる装置が記載されている。また、下記特許文献２には、撮影レンズをズーム側に駆動させて撮影方向を変更しながら画像情報を取り込み、その画像情報を基に最適な参照構図を検索する撮像装置が記載されている。また、下記特許文献３には、撮影した被写体の画像データと、被写体を所望の構図で撮影するために参照される画像データとの差分を用いて、所望の構図を得るのに必要な情報を求める撮像装置が記載されている。

特開２００１−１２６０７０号公報 特開２００９−２１２８０４号公報 特開２０１２−１５１７５８号公報

しかしながら、上述した従来の装置においては、撮影対象の被写体とその周辺の物体とを含む構図を決定するためには、予め撮影対象の被写体とその周辺の物体の画像とを予め取得しておく必要があり、処理が煩雑である。その結果、被写体を撮像する際にシャッターチャンスを逃す場合もある。

そこで、本発明は、かかる課題に鑑みて為されたものであり、処理を複雑化させることなく被写体とその周辺の物体を含む構図を効率的に設定することが可能な撮像システム、構図設定装置、及び構図設定プログラムを提供することを目的とする。

上記課題を解決するため、本発明の一形態に係る撮像システムは、画像の撮像の条件を設定する撮像設定手段と、撮像設定手段によって設定された撮像の条件を示す撮像設定情報に基づいて被写体を撮像して、被写体の画像情報を取得する撮像手段と、撮像手段を含む撮像装置の緯度及び経度によって表される撮像位置と撮像装置の光学系の角度によって表される撮像角度とを特定する環境情報を取得する環境情報取得手段と、撮像装置の周辺の空間に存在する物体の形状及び位置を示す仮想空間情報を取得する仮想空間情報取得手段と、撮像設定情報と環境情報と仮想空間情報とに基づいて、画像情報の画角外の像を仮想的に表現した仮想画像情報を少なくとも生成する仮想画像生成手段と、画像情報と仮想画像情報とに基づいて、画像情報内の物体の像の配置が適した構図となるように撮像装置によって撮像するための撮像角度を示す構図設定情報を決定する構図設定手段と、画像情報と構図設定情報とを少なくとも出力する情報出力手段と、を備える。

或いは、本発明の他の形態にかかる構図設定装置は、被写体を撮像する撮像手段を含む撮像装置の緯度及び経度によって表される撮像位置と撮像装置の光学系の角度によって表される撮像角度とを特定する環境情報を取得する環境情報取得手段と、撮像装置の周辺の空間に存在する物体の形状及び位置を示す仮想空間情報を取得する仮想空間情報取得手段と、撮像手段による撮像の条件を示す撮像設定情報と、環境情報と、仮想空間情報とに基づいて、撮像手段によって得られた被写体の画像情報の画角外の像を仮想的に表現した仮想画像情報を少なくとも生成する仮想画像生成手段と、画像情報と仮想画像情報とに基づいて、画像情報内の物体の像の配置が適した構図となるように撮像装置によって撮像するための撮像角度を示す構図設定情報を決定する構図設定手段と、を備える。

或いは、本発明の他の形態にかかる構図設定プログラムは、コンピュータを、被写体を撮像する撮像手段を含む撮像装置の緯度及び経度によって表される撮像位置と撮像装置の光学系の角度によって表される撮像角度とを特定する環境情報を取得する環境情報取得手段、撮像装置の周辺の空間に存在する物体の形状及び位置を示す仮想空間情報を取得する仮想空間情報取得手段、撮像手段による撮像の条件を示す撮像設定情報と、環境情報と、仮想空間情報とに基づいて、撮像手段によって得られた被写体の画像情報の画角外の像を仮想的に表現した仮想画像情報を少なくとも生成する仮想画像生成手段、及び画像情報と仮想画像情報とに基づいて、画像情報内の物体の像の配置が適した構図となるように撮像装置によって撮像するための撮像角度を示す構図設定情報を決定する構図設定手段、として機能させる。

このような撮像システム、構図設定装置、あるいは構図設定プログラムのいずれかによれば、被写体を撮像する撮像装置の位置、及びその撮像装置の光学系の角度と、撮像装置による被写体の撮像の条件と、撮像装置の周辺の空間の仮想空間の情報とを基に、撮像された画像情報の画角外の像を含む仮想画像情報が生成され、それらの画像情報及び仮想画像情報を利用して適した構図を撮像するための構図設定情報が決定される。これにより、被写体を撮像する際に余分な画像を撮像することなく適した構図を判断できる。その結果、処理を複雑化させることなく被写体とその周辺の物体を含む構図を効率的に設定することができる。

仮想画像生成手段は、画像情報の画角を拡張した範囲を特定し、当該範囲に含まれる物体の三次元形状を仮想空間情報から特定し、三次元形状を二次元画像に変換して仮想画像情報を生成する、ことが好ましい。こうすれば、画像情報の画角外の像を含む仮想画像情報を、実際に撮像された画像に近い画像として簡単に得ることができる。

また、仮想空間情報は、物体の色及び質感を示す情報を含み、仮想画像生成手段は、仮想画像情報を画角外の像の色及び質感を表現した情報として生成し、構図設定手段は、仮想画像情報によって表現された色及び質感を考慮して構図を判断する、ことも好ましい。かかる構成を採れば、物体の色及び質感をも考慮して構図を判断するため、より適した構図を設定するための情報を得ることができる。

さらに、仮想画像生成手段は、画像情報に表現された色及び質感を基に画角外の像の色及び質感を推定し、推定した像の色及び質感を反映した仮想画像情報を生成する、ことも好ましい。この場合、画角外の物体の色及び質感を含む仮想画像情報を、処理を複雑化させることなく簡単に得ることができる。

またさらに、環境情報は、時刻に関する情報を含み、仮想画像生成手段は、環境情報を基に時刻毎の複数の仮想画像情報を予測して生成し、構図設定手段は、複数の仮想画像情報を基に、構図と構図が得られる時刻とを判断し、構図及び時刻を基に構図設定情報を決定する、ことも好ましい。こうすれば、時刻によって物体の位置、色、質感等が変化する場合であっても、それらの変化に対応して適した構図を得るための情報を、効率的に得ることができる。

本発明によれば、処理を複雑化させることなく被写体とその周辺の物体を含む構図を効率的に決定することができる。

本発明の好適な一実施形態にかかる撮像システムの概略構成図である。 図１の撮像装置のハードウェア構成を示すブロック図である。 図１の構図設定装置のハードウェア構成を示すブロック図である。 図１の撮像設定部１１によって撮像設定情報格納部１５に格納された撮像設定情報のデータ構成の一例を示す図である。 （ａ）は、図１の環境情報格納部２５に格納される環境情報のデータ構成の一例を示す図であり、（ｂ）は、（ａ）の環境情報によって表される撮像位置及び水平面に沿った撮像角度を示す概念図である。 仮想空間情報格納部２６に格納されている情報のデータ構成の一例を示す図であり、（ａ）は、頂点位置情報のデータ構成を示す図、（ｂ）は、メッシュ情報のデータ構成を示す図である。 図６の仮想空間情報によって表される物体の位置及び形状を仮想的に示す図である。 図１の仮想画像生成部２３による画角の計算及び画角外の空間の特定のイメージを示す概念図である。 図１の仮想画像生成部２３によって生成された仮想画像情報のイメージを示す図である。 構図推薦部２４によって判断された構図設定情報のデータ構成の一例を示す図である。 図１の構図推薦部２４による構図のスコアの判断のイメージを示す概念図である。 図１の構図推薦部２４による構図のスコアの判断のイメージを示す概念図である。 撮像システム１０１による構図設定処理の動作を示すフローチャートである。 図１の画像表示部１３による情報出力例を示す図である。 図１の画像表示部１３による情報出力例を示す図である。 図１の画像表示部１３による情報出力例を示す図である。 図１の画像表示部１３による情報出力例を示す図である。 本発明の一実施形態にかかる構図設定プログラムの構成を示す図である。 本発明の変形例によって取得された画像情報及び仮想画像情報の一例を示す図である。 本発明の別の変形例によって取得された画像情報及び仮想画像情報の一例を示す図である。 本発明の別の変形例によって取得された仮想画像情報の一例を示す図である。

以下、図面とともに本発明による撮像システムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１は、本発明の好適な一実施形態にかかる撮像システム１０１の概略構成図である。図１に示す撮像システム１０１は、人物、動物、山、海、湖、建物等の被写体とその周辺に位置する物体の画像を得るための複数の情報処理装置を備える情報処理システムであり、撮像装置１と構図設定装置２とを含んで構成されている。なお、図１の撮像システム１０１は、２つの装置によって構成されているが、単体の情報処理装置によって構成されていてもよいし、２以上の装置によって機能を分割されて構成されていてもよい。

撮像装置１は、被写体を撮像することが可能なスマートフォン、タブレット端末、携帯電話端末等に代表される携帯型端末装置であり、構図設定装置２は、撮像装置１によって得られた画像情報等の各種データを処理するサーバ装置であり、撮像装置１と構図設定装置２とは、図示しない移動体通信ネットワーク、無線通信ネットワーク等の通信ネットワークを介して、互いにデータを送受信可能に構成されている。この撮像装置１は、撮像機能を有するカメラを内蔵する携帯型の装置であればよく、例えば、デジタルカメラ装置、ビデオカメラ装置であってもよい。

図２は、撮像装置１のハードウェア構成を示すブロック図である。同図に示すように、撮像装置１は、物理的には、ＣＰＵ２０１、主記憶装置であるＲＡＭ２０２及びＲＯＭ２０３、入力キー、タッチセンサ等の入力デバイスである入力装置２０４、タッチパネルディスプレイ、液晶ディスプレイ等の出力装置２０５、データ送受信デバイスである通信モジュール２０６、カメラモジュール２０７、半導体メモリ等の補助記憶装置２０８、などを含むコンピュータシステム（情報処理プロセッサ）として構成されている。図１における撮像装置１の各機能は、図２に示されるＣＰＵ２０１、ＲＡＭ２０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ２０１の制御のもとで入力装置２０４、出力装置２０５、通信モジュール２０６、及びカメラモジュール２０７を動作させるとともに、ＲＡＭ２０２や補助記憶装置２０８におけるデータの読み出し及び書き込みを行うことで実現される。

図３は、構図設定装置２のハードウェア構成を示すブロック図である。同図に示すように、構図設定装置２は、物理的には、ＣＰＵ３０１、主記憶装置であるＲＡＭ３０２及びＲＯＭ３０３、キーボード、マウス等の入力デバイスである入力装置３０４、ディスプレイ等の出力装置３０５、データ送受信デバイスである通信モジュール３０６、半導体メモリ等の補助記憶装置３０８、などを含むコンピュータシステム（情報処理プロセッサ）として構成されている。図１における構図設定装置２の各機能は、図３に示されるＣＰＵ３０１、ＲＡＭ３０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ３０１の制御のもとで入力装置３０４、出力装置３０５、及び通信モジュール３０６を動作させるとともに、ＲＡＭ３０２や補助記憶装置３０８におけるデータの読み出し及び書き込みを行うことで実現される。

以下、図１に戻って、撮像装置１の構成について詳述する。撮像装置１は、機能的な構成要素として、撮像設定部（撮像設定手段）１１、画像取得部（撮像手段）１２、画像表示部（情報出力手段）１３、センサ群１４、撮像設定情報格納部１５、及び画像情報格納部１６を含んで構成される。

画像取得部１２は、カメラモジュール２０７（図２）によって実現され、撮像設定部１１によって設定された撮像の条件を示す撮像設定情報に基づいて被写体を撮像して、被写体の画像情報を取得する。詳細には、画像取得部１２は、レンズ、光学素子等の複数の光学系の部品と、それらを駆動制御する複数の制御系の回路と、受光素子によって取得された画像を表す電気信号をデジタル信号である画像信号に変換する信号処理系の回路部とを含んでいる。画像取得部１２は、取得した被写体の画像信号を含む画像情報を画像情報格納部１６に格納する。取得する画像情報は、動画像の情報であってもよいし、静止画像の情報であってもよい。

撮像設定部１１は、画像取得部１２による画像の撮像の条件を設定する。例えば、撮像設定部１１は、レンズの焦点距離、絞りの開度、シャッターによる露光時間、受光素子のＩＳＯ感度、及び受光素子の受光面の縦横の幅等を含む撮像設定情報を設定し、設定した撮像設定情報を撮像設定情報格納部１５に格納する。この撮像設定情報の設定は、撮像装置１のユーザによる入力を受け付けることによって行われてもよいし、撮像装置１によって自動で行われてもよい。図４には、撮像設定部１１によって撮像設定情報格納部１５に格納された撮像設定情報のデータ構成の一例を示している。このように、撮像設定情報には、レンズの焦点距離を示す“焦点距離：50mm”と、レンズのピント合わせの設定値を示す“ピント：10m”と、絞りの開度を示す“絞り：F4”と、シャッターによる露光時間を示す“露光時間：1/200”と、受光素子のISO感度を示す“ISO感度：200”と、受光素子の受光面の縦横の幅を示す“受光素子の高さ：24mm”及び“受光素子の幅：36mm”とが含まれている。上記撮像設定情報のうち、「焦点距離」は、レンズと受光素子との距離を示し、「ピント」は、レンズと被写体とのピントが合った状態の距離を示す。撮像設定情報格納部１５に格納された撮像設定情報は、画像取得部１２による撮像のタイミングで、その都度画像取得部１２によって参照される。

画像表示部１３は、出力装置２０５（図２）によって実現され、画像取得部１２によって得られ画像情報格納部１６に格納された画像情報を可視化して出力する。また、画像表示部１３は、画像情報に加えて、構図設定装置２から送信される構図設定情報を併せて可視化して出力する（詳細は後述する）。この画像表示部１３は、撮像装置１の表面に設けられる液晶ディスプレイ等の表示装置によって実現されてもよいし、撮像装置１のファインダー内部に設けられる液晶ディスプレイ等の表示装置によって実現されてもよい。

センサ群１４は、ＧＰＳ（Global Positioning System）センサ、ジャイロセンサ、加速度センサ、磁気センサ等を含み、画像取得部１２による撮像位置である撮像装置１の経度及び緯度と、画像取得部１２に含まれる光学系の配位角度である撮像角度とを検出する。センサ群１４は、撮像角度として、受光面の中心からレンズの中心に向けて伸びる光学系の光軸の水平方向の角度を示す方位角と、その光軸の鉛直方向の上下の傾きを示す仰俯角と、光学素子の受光面の光軸周りの回転角とを検出可能に構成される。ここで、センサ群１４は撮像装置１の外部に設けられていてもよく、撮像装置１がセンサ群１４と通信することによって経度、緯度、及び撮像角度の情報を取得するようにしてもよい。

次に、構図設定装置２の構成について詳述する。構図設定装置２は、機能的な構成要素として、環境情報取得部（環境情報取得手段）２１、仮想空間情報取得部（仮想空間情報取得手段）２２、仮想画像生成部（仮想画像生成手段）２３、構図推薦部（構図設定手段）２４、環境情報格納部２５、仮想空間情報格納部２６、仮想画像情報格納部２７、及び構図設定情報格納部２８を含んで構成される。

環境情報取得部２１は、撮像装置１のセンサ群１４から、撮像装置１の緯度及び経度と撮像装置１の撮像角度とを特定する情報を含む環境情報を取得し、取得した環境情報を環境情報格納部２５に格納する。図５（ａ）には、環境情報格納部２５に格納される環境情報のデータ構成の一例を示し、図５（ｂ）には、図５（ａ）の環境情報によって表される撮像位置及び水平面に沿った撮像角度を示している。図５（ａ）に示すように、環境情報には、撮像装置１による撮像位置を表す“緯度：35.011”及び“経度：139.015”と、撮像装置１の撮像角度を表す“方位角：270度”、“仰俯角：+10度”、及び“回転角：０度”とが含まれる。この“方位角”は、北の方向を“０度”とした東回りの角度を示し、“仰俯角”は、水平方向を“０度”として、上方向を正の角度で、下方向を負の角度で表し、“回転角”は、受光面の横方向が水平方向に沿った状態を“０度”として受光面の時計周りの傾きの角度を表している。この場合は、図５（ｂ）に示すように、撮像位置を起点Ｓ_１として水平面に沿った西の方向Ｄ_１に光軸が向くように撮像装置１の光学系が設定されていることを示している。

図１に戻って、仮想空間情報取得部２２は、撮像装置１の周辺の空間に存在する物体の形状及び位置を示す仮想空間情報を取得する。すなわち、仮想空間情報は仮想空間情報格納部２６に予め格納されており、仮想空間情報取得部２２は、仮想空間情報格納部２６を参照することにより仮想空間情報を取得する。なお、この仮想空間情報格納部２６は、構図設定装置２の外部の装置に設けられていてもよく、仮想空間情報取得部２２は、外部の装置と通信することによって仮想空間情報を取得してもよい。さらに、仮想空間情報取得部２２は、環境情報格納部２５を参照して撮像装置１の位置を特定し、その位置の近傍の位置に存在する物体に関する仮想空間情報のみ抽出して取得してもよいし、仮想空間情報格納部２６に格納されている全ての情報を取得してもよい。

図６には、仮想空間情報格納部２６に格納されている仮想空間情報のデータ構成の一例を示しており、（ａ）は、物体の頂点の位置を示す頂点位置情報を示し、（ｂ）は、複数の頂点によって構成される物体の面を示すメッシュ情報を示している。そして、図７には、図６の仮想空間情報によって表される物体の位置及び形状を仮想的に示している。ここでは、仮想空間情報によって表される物体として山等を含む地表面が想定されている。この頂点位置情報によって地表面の頂点の位置が表され、メッシュ情報によって３つの頂点を結ぶ平面が地表面を近似した面として表される。例えば、図６（ａ）の例によれば、頂点位置情報には、頂点を識別する情報“頂点インデックス：１”と、頂点の位置及び標高を示す情報である“経度：35.010”、“経度：139.010”、及び“標高：100”とが対応付けられている。また、図６（ｂ）の例によれば、メッシュ情報には、メッシュにより分割された地表面を識別する“メッシュインデックス：１”と、そのメッシュの３つの頂点を“頂点インデックス”により特定する情報“｛1,2,4｝”とが対応付けられている。このメッシュ情報によれば、図７に示すように、“頂点インデックス：１”により識別される頂点と、“頂点インデックス：２”により識別される頂点と、“頂点インデックス：４”により識別される頂点とで囲まれる三角形の平面が、“メッシュインデックス：１”によって特定される１つの分割された地表面であることが表される。図７においては、各黒丸が頂点の位置を示し、その頂点の傍に“頂点インデックス”の値と“標高”の値が示されており、３つの頂点で囲まれたメッシュの内側に“メッシュインデックス”の値が示されている。このように、“メッシュインデックス：１”、“メッシュインデックス：２”、“メッシュインデックス：３”、…によって特定される複数の平面の組み合わせによって地表面が表され、複数のメッシュが互いに隣接し、かつ、重ならないように、メッシュ情報が設定される。

なお、図６に示す仮想空間情報は、物体としての地表面の位置及び形状を表す情報であるが、その他の海、湖、建物等の物体の位置及び形状を表す情報であってもよい。

再び図１に戻って、仮想画像生成部２３は、撮像設定情報格納部１５に格納されている撮像設定情報と、環境情報格納部２５に格納されている環境情報と、仮想空間情報取得部２２によって取得された仮想空間情報とを基に、撮像装置１によって取得された画像情報の画角外の像を仮想的に表現した仮想画像情報を生成する。詳細には、仮想空間情報取得部２２は、まず、環境情報を参照することにより撮像装置１の撮像位置（緯度、経度）を取得するとともに、撮像装置１の位置する標高を算出する。この標高は、撮像位置における地表面の標高に予め設定された撮像装置１のユーザの身長の値を加算することにより求められてもよいし、環境情報に含まれるＧＰＳセンサ等の位置センサによって得られる標高を参照することによって得られてもよい。撮像位置における地表面の標高は、仮想空間情報を用いてメッシュの頂点間の標高を近似計算することによって得られる。

そして、仮想画像生成部２３は、撮像設定情報に含まれる焦点距離及び受光素子の縦横の幅を参照しながら、撮像装置１によって画像情報に記録されうる空間の画角を算出する。さらに、仮想画像生成部２３は、算出した画角と環境情報に記録された方位角、仰俯角、及び回転角とに基づいて、画像情報に記録され得ない空間、すなわち画角外に位置する空間を対象として、その空間に含まれる物体の形状を表す３次元モデルを２次元平面にレンダリングすることにより、仮想画像情報を生成する。この３次元モデルは、仮想空間情報取得部２２によって取得された仮想空間情報から抽出される。この際、仮想画像生成部２３は、撮像設定情報に含まれるピントや絞りの値を用いて、仮想画像情報において画像のボケ具合を再現してもよい。仮想画像生成部２３は、生成した仮想画像情報を仮想画像情報格納部２７に格納する。

図８には、仮想画像生成部２３による画角の計算及び画角外の空間の特定のイメージを示し、図９には、仮想画像生成部２３によって生成された仮想画像情報のイメージを示している。図８に示すように、仮想画像生成部２３は、３次元空間内において、撮像装置１の撮像位置（緯度及び経度）で表される緯線Ｌ_１及び経線Ｌ_２の交点を撮像装置１の位置Ｐ_１として特定し、その位置Ｐ_１を鉛直方向にユーザＵの身長ほどずらした位置を最終的な撮像装置１の受光面の中心位置Ｐ_２として算出する。そして、仮想画像生成部２３は、撮像設定情報及び環境情報を参照することにより、画像情報の画角の範囲ＡＲ_１を四角錐状の範囲として計算する。この範囲ＡＲ_１内に含まれる物体が撮像装置１によって画像情報に写されることとなる。さらに、仮想画像生成部２３は、画角の範囲ＡＲ_１を、中心位置Ｐ_２から撮像角度で特定される方向に焦点距離だけ離れた焦点面ＳＦ_１上で２次元的に所定幅だけ拡張した範囲に、拡張画角の範囲ＡＲ_２を設定し、その２つの範囲ＡＲ_１，ＡＲ_２で挟まれる２次元空間内の範囲を画像情報の画角外の範囲として特定する。その上で、仮想画像生成部２３は、特定した画角外の範囲に含まれる物体の形状を示すメッシュ情報を仮想空間情報から抽出し、抽出した物体のメッシュ情報で示される３次元モデルデータ（３次元形状データ）を焦点面ＳＦ_１上の２次元平面画像に投影変換することにより、画像情報の画角外の画像である仮想画像情報を生成する。この３次元モデルデータから２次元平面画像への変換は、「透視投影変換」の手法（例えば、インターネットＵＲＬ：“http://ocw.nagoya-u.jp/files/34/CS7.pdf”を参照。）が用いられる。例えば、図９に示すように、被写体として月が選択されて画像情報ＧＲ_１がいったん取得されていた場合に、その画像情報の画角が拡大された上で仮想空間情報から山の表面の３次元モデルデータが抽出されることにより、画角外の山の画像が仮想画像情報ＧＲ_２として得られる。ここでは、メッシュ情報から２次元平面画像を生成する際には、折れ線で表現される２次元平面画像を曲線近似して滑らかな曲線の画像に修正してもよい。

再び図１に戻って、構図推薦部２４は、画像情報格納部１６に格納された画像情報と、その画像情報を対象に生成されて仮想画像情報格納部２７に格納された仮想画像情報とを参照して、画像情報内の被写体を含む物体の像の配置が適した構図となるように撮像装置１によって撮像するための構図設定情報を決定する。すなわち、構図推薦部２４は、適した構図を、画像情報に仮想画像情報を重畳した重畳画像における、水平線、垂直線、物体の配置、物体の形状、物体の種類の認識結果、及び視覚的顕著性（Saliency Map）等に基づいて決定する。詳細には、構図推薦部２４は、重畳画像を対象に視覚的顕著性を計算し、その計算結果から視覚的顕著性の高い領域を重畳画像中の被写体（主題）として検出する。この視覚的顕著性は画像領域に対する人の興味の度合いを表したものであり、エッジ、色などの画像の特徴を組み合わせることで計算される（例えば、インターネットＵＲＬ：“http://www.ite.or.jp/data/a_j_keyword/data/FILE-20120103132039.pdf”を参照。）。さらに、構図推薦部２４は、被写体が検出された重畳画像を対象にして、適した構図を得るために、画像情報において撮像される画角を方位角、仰俯角、回転角に関してそれぞれどの程度動かす必要があるか、及び、画像情報に対応する焦点面を設定する焦点距離をいくつに設定すべきかについて判断する。そして、構図推薦部２４は、判断した方位角、仰俯角、及び回転角のそれぞれの変更量と焦点距離の設定値とを含む構図設定情報を構図設定情報格納部２８に格納する。図１０には、構図推薦部２４によって判断された構図設定情報のデータ構成の一例を示す。このように、構図設定情報格納部２８に格納される構図設定情報には、方位角の変更量を示す“方位角シフト量：−１０度”、仰俯角の変更量を示す“仰俯角シフト量：−５度”、回転角の変更量を示す“回転角シフト量：−３度”、及び焦点距離の設定値を示す“焦点距離：５０ｍｍ”が含まれる。この例では、適した構図を得るためには、撮像装置１の光学系の光軸を、方位角“−１０度”、仰俯角“−５度”でシフトさせ、撮像装置１の受光面を“−３度”回転させ、撮像装置１の焦点距離を“５０ｍｍ”に設定する必要があることを示している。

ここで、構図推薦部２４は、重畳画像を対象に適した構図を決める際には、構図の良し悪しを評価するスコアを計算し、よりスコアの高い構図を決定する。図１１及び図１２には、構図推薦部２４による構図のスコアの判断のイメージを示している。それぞれの図において、（ａ）は、スコアが高い構図を示し、（ｂ）は、スコアが低い構図を示している。図１１に示すように、構図推薦部２４は、画角内を縦横方向に三分割した際の交点を設定し、被写体がそれらの交点に配置された構図をよりスコアの高い構図と判断する。図１１（ａ）に示す構図は、一般に「三分割構図」と呼ばれ、画像のバランスが良く安定感が得られる構図である。また、図１２に示すように、構図推薦部２４は、重畳画像から被写体の境界線を抽出し、それらの境界線が水平又は垂直に近づくように適した構図を決定する。このような構図は、山の尾根、海の水平線、建物の壁面の境界等が、画像のフレーム内において水平又は垂直となるため、安定感が得られやすい。

なお、構図推薦部２４は、複数の構図パターン（三分割構図、三角構図、対角線構図等）の中からどの構図の評価基準を基に構図設定情報を決定するかは、ユーザによって手動で選択されてもよいし、複数の構図パターンを基準にスコアを計算して最も高いスコアが得られた構図の評価基準を選択してもよい。また、現在得られている重畳画像に最も近い構図の評価基準を選択してもよい。さらには、複数の構図パターンのスコアを算出し、それらのスコアを重み付け加算して最も高いスコアが得られた構図を基に構図設定情報を決定してもよい。

次に、撮像システム１０１の動作手順について説明する。図１３は、撮像システム１０１による構図設定処理の動作を示すフローチャートである。

最初に、撮像装置１が起動されると、撮像設定部１１によって、ユーザによる手動設定が受け付けられることにより、または撮像装置１の自動設定により、撮像設定情報が設定される（ステップＳ１）。次に、ユーザの操作を契機にして、画像取得部１２によって画像情報が取得され画像情報格納部１６に格納される（ステップＳ２）。

その後、撮像装置１において仮想画像生成機能がオンにされているか否かが判定される（ステップＳ３）。判定の結果、仮想画像生成機能がオンにされていると判断された場合（ステップＳ３；ＹＥＳ）、構図設定装置２に仮想画像情報の生成要求が通知される。それに応じて、環境情報取得部２１により撮像装置１から環境情報が取得される（ステップＳ４）。次に、仮想空間情報取得部２２により、撮像装置１の周辺の空間に存在する物体に関する仮想空間情報が取得される（ステップＳ５）。さらに、仮想画像生成部２３により、仮想画像情報が生成されて仮想画像情報格納部２７に格納される（ステップＳ６）。その後、撮像装置１において、撮像装置１のユーザが構図推薦機能をオンに設定しているか否かが判定される（ステップＳ７）。判定の結果、構図推薦機能がオフに設定されている場合には（ステップＳ７；ＮＯ）、画像表示部１３により、撮像設定情報と、画像情報と仮想画像情報とが重畳された重畳画像とが可視化して出力される（ステップＳ９）。一方、構図推薦機能がオンに設定されている場合には（ステップＳ７；ＹＥＳ）、構図推薦部２４により、画像情報及び仮想画像情報を用いて、適した構図を得るための構図設定情報が決定される（ステップＳ８）。そして、画像表示部１３により、撮像設定情報と、画像情報と仮想画像情報とが重畳された重畳画像と、構図設定情報とが可視化して出力される（ステップＳ９）。

ステップＳ３の判定において仮想画像生成機能がオフにされていると判断された場合（ステップＳ３；ＮＯ）、処理がステップＳ７に遷移され、撮像装置１のユーザが構図推薦機能をオンに設定しているか否かが判定される。判定の結果、構図推薦機能がオフに設定されている場合には（ステップＳ７；ＮＯ）、画像表示部１３により、撮像設定情報と、画像情報のみとが可視化して出力される（ステップＳ９）。構図推薦機能がオンに設定されている場合には（ステップＳ７；ＹＥＳ）、構図推薦部２４により、画像情報のみを用いて、適した構図を得るための構図設定情報が決定される（ステップＳ８）。例えば、画像情報よりも高さ及び幅が縮小された部分領域を適した構図として得るための構図設定情報が決定される。そして、画像表示部１３により、撮像設定情報と、画像情報と、構図設定情報とが可視化して出力される（ステップＳ９）。

その後、撮像装置１において、ユーザの指示を受け付けることにより、画像情報の取得及び格納が実行される（ステップＳ１０）。このとき、格納される画像情報は仮想画像情報を含んだ重畳画像であってもよいし、仮想画像情報を含まない画像情報であってもよい。さらに、撮像装置１において、ユーザから撮像処理の終了を受け付けたか否かが判定され（ステップＳ１１）、撮像処理の終了を受け付けなかった場合は（ステップＳ１１；ＮＯ）、ステップＳ１からの処理が繰り返され、撮像処理の終了を受け付けた場合は（ステップＳ１１；ＹＥＳ）、構図設定処理の動作を終了する。

以下、上記ステップＳ９における画像表示部１３による情報出力例について、図１４〜図１８を参照しながら説明する。

図１４には、画像表示部１３により表示装置の画面上に表示された画像情報と仮想画像情報とが重畳された重畳画像ＧＲ_３の例を示している。この重畳画像ＧＲ_３中には、現在撮像装置１に設定されている撮像設定情報を示す文字ＣＨ_１が表示されるとともに、撮像装置１での撮像により取得された画像情報の画角の範囲ＡＲ_３が点線で表示され、適した構図を得るために変更すべき画角の範囲ＡＲ_４も併せて表示される。これにより、画角をシフトするように撮像装置１のユーザをガイドすることが可能となる。また、図１５に示すように、画像表示部１３により、重畳画像ＧＲ_３上には、適した構図を得るための方位角の変更量、仰俯角の変更量、回転角の変更量、及び焦点距離の変更前後の設定値等の構図設定情報を示す文字情報ＣＨ_２、又は矢印等の記号が併せて出力されてもよい。これにより、適した構図を得るように実際の撮像角度や焦点距離等の撮像条件を変更するように撮像装置１のユーザをガイドすることが可能となる。

また、図１６に示すように、画像表示部１３により、構図設定情報に基づいて、重畳画像ＧＲ_３中に、適した構図を得るための撮像方向の変更や焦点距離の変更を促すための文字情報ＣＨ_３が、併せて出力されてもよい。また、図１７に示すように、撮像装置１においては、画像表示部１３による重畳画像の出力時に、構図設定情報に基づいて、撮像装置１に設けられたスピーカー等の音声出力デバイスを用いて、適した構図を得るための撮像方向の変更や焦点距離の変更を促すための音声メッセージＶＯ_１が出力されてもよい。このようにしても、適した構図を得るように実際の撮像角度や焦点距離等の撮影条件を変更するように撮像装置１のユーザをガイドすることが可能となる。

なお、撮像システム１０１においては、画像表示部１３により構図設定情報が出力された後、方位角、仰俯角、及び回転角の調整は、撮像装置１のユーザによって手動で行われてもよいし、撮像装置１に自動調整機能が具備された雲台等を取り付けて、自動調整機能を利用して自動で行われてもよい。同様に、画像表示部１３により構図設定情報が出力された後、焦点距離の調整は、撮像装置１のユーザによって手動で行われてもよいし、撮像装置１に焦点距離の自動調整機能を有するズームレンズを設けて、焦点距離の自動調整機能を利用して自動で行われてもよい。

次に、図１８を参照して、コンピュータを上記構図設定装置２として機能させるための構図設定プログラムを説明する。

構図設定プログラムＰＲ１は、メインモジュールＰＲ１０、環境情報取得モジュールＰＲ１５、仮想空間情報取得モジュールＰＲ１６、仮想画像生成モジュールＰＲ１７、及び構図推薦モジュールＰＲ１８を備えている。

メインモジュールＰＲ１０は、構図設定処理を統括的に制御する部分である。環境情報取得モジュールＰＲ１５、仮想空間情報取得モジュールＰＲ１６、仮想画像生成モジュールＰＲ１７、及び構図推薦モジュールＰＲ１８を実行することにより実現される機能は、それぞれ、構図設定装置２の環境情報取得部２１、仮想空間情報取得部２２、仮想画像生成部２３、及び構図推薦部２４の機能と同様である。

構図設定プログラムＰＲ１は、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記録媒体または半導体メモリによって提供される。また、構図設定プログラムＰＲ１は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されてもよい。

以上説明した撮像システム１０１によれば、被写体を撮像する撮像装置１の位置、及びその撮像装置１の光学系の撮像角度と、撮像装置１による被写体の撮像の条件と、撮像装置１の周辺の空間の仮想空間の情報とを基に、撮像された画像情報の画角外の像を含む仮想画像情報が生成され、それらの画像情報及び仮想画像情報を利用して適した構図を撮像するための構図設定情報が決定される。これにより、被写体を撮像する際に余分な画像を撮像することなく適した構図を判断できる。その結果、処理を複雑化させることなく被写体とその周辺の物体を含む構図を効率的に設定することができる。その結果、ユーザが被写体を撮像する際にシャッターチャンスを逃すことが少なくなるとともに、適した構図で被写体を撮像するように促すことができる。

また、仮想画像情報の生成は、画像情報の画角を拡張した範囲を特定し、当該範囲に含まれる物体の三次元形状を二次元画像に変換することにより行われる。このようにすることで、画像情報の画角外の像を含む仮想画像情報を、実際に撮像された画像に近い画像として簡単に得ることができる。

なお、本発明は、上述した実施形態に限定されるものではない。

例えば、撮像装置１の画像表示部１３は、図１９に示すような画像情報を出力するように動作してもよい。すなわち、図１９に示すように、画像表示部１３は、画像取得部１２によって取得された画像情報が構図推薦部２４によって決定された構図に一致したタイミングで、重畳画像ＧＲ_４中に表示される画像情報の画角の範囲ＡＲ_４を強調表示するように動作してもよい。また、撮像装置１は、画像取得部１２によって取得された画像情報が構図推薦部２４によって決定された構図に一致したタイミングで、音声出力デバイスを用いて音声を出力するように動作してもよいし、撮像装置１が振動素子を備えている場合にはそのタイミングで撮像装置１を振動させるように動作してもよい。さらには、撮像装置１は、画像取得部１２によって取得された画像情報が構図推薦部２４によって決定された構図に一致したタイミングで、撮像および画像情報の記録を自動で行うように動作してもよい。

また、本発明の変形例においては、写実的に再現された仮想画像情報に基づいて適した構図を決定してもよい。すなわち、この変形例にかかる構図設定装置２においては、仮想空間情報格納部２６に格納する仮想空間情報に、物体の表面の色と物体の面の質感を表す情報を含んでいる。また、仮想画像生成部２３は、それらの情報を基に、物体の色と物体の質感とを表現した仮想画像情報を生成する。そして、構図推薦部２４は、画像情報と写実的に再現された仮想画像情報を考慮して適した構図を決定する。例えば、一般には暗い色よりは鮮やかな色のほうが視覚的に好まれる傾向にあるため、構図推薦部２４は、鮮やかな色を多く含むように適した構図を決定する。また、構図推薦部２４は、視覚的顕著性を計算する際には色及び質感の情報を考慮して計算することもできる。図２０には、本変形例によって取得された画像情報ＧＲ_５及び仮想画像情報ＧＲ_６の一例を示す。このように、仮想画像情報ＧＲ_６においては、実際の画像のような山肌の色と木々の質感が表現されている。本変形例によれば、物体の色及び質感をも考慮して構図を判断するため、より簡単に適した構図を設定するための情報を得ることができる。

また、別の変形例においては、画像情報に含まれる色及び質感を表現する情報を基に、画像情報の画角外の色及び質感を推定し、推定した色及び質感を反映した仮想画像情報が生成されてもよい。この変形例にかかる構図設定装置２においては、仮想画像生成部２３は、画像情報に含まれる色及び質感の情報を基に仮想画像情報における色と質感を推定することにより、仮想画像情報を生成する。具体的には、仮想画像生成部２３は、画像情報に含まれる物体と仮想画像情報に含まれる物体との繋がりを判定し、互いに繋がっている物体間で画像情報における色及び質感を仮想画像情報における色及び質感に対して適用（コピー）する。また、仮想画像生成部２３は、仮想画像情報中に独立して存在している物体に関しては、類似した形状の物体を仮想画像情報中から探索し、探索された物体の色及び質感を該当する物体に対して適用する。このような変形例によれば、仮想空間情報に色及び質感の情報を含んでいない場合であっても、色合いや質感を考慮して簡単に適した構図を設定するための情報を得ることが可能となる。

また、別の変形例においては、環境情報取得部２１が取得する環境情報に時刻に関する情報が含まれ、仮想画像生成部２３が環境情報を基に複数の時刻毎の仮想画像情報を生成し、構図推薦部２４が複数の仮想画像情報を基に適した構図とその構図が得られる時刻とを判断してもよい。すなわち、本変形例において、環境情報取得部２１は、現在時刻に関する時刻情報と現在時刻の前後の天気の変化を示す天気予報情報とを含む環境情報を取得する。また、仮想画像生成部２３は、時刻を現在時刻から変化させながらその時刻における天気の情報を参照することにより、物体の位置の変化と色及び質感の変化とを反映させた複数時刻における仮想画像情報を生成する。このとき、例えば、仮想画像生成部２３は、仮想画像情報に月が含まれる場合には、月の位置を複数の時刻でシミュレーションすることで仮想画像情報を生成する。さらに、構図推薦部２４は、画像情報と写実的に表現されかつ時間変化を反映した複数の仮想画像情報とを基に、適した構図とそれが得られる時刻を決定する。詳細には、構図推薦部２４は、それぞれの仮想画像情報を対象に構図パターンに対する近さを評価するスコアを計算し、最も高いスコアを有する仮想画像情報と、その仮想画像情報に対応する時刻とを特定する。そして、構図推薦部２４は、特定した仮想画像情報と画像情報とを組み合わせた重畳画像を対象にして、適した構図を決定する。さらに、画像表示部１３によって、構図推薦部２４が適した構図の決定に用いた重畳画像と、適した構図を得るための時刻とが出力される。図２１には、本変形例によって取得された仮想画像情報の一例を示し、（ａ）は、時刻“１９：００：００”における仮想画像情報ＧＲ_７のイメージを示し、（ｂ）は、時刻“２０：００：００”における仮想画像情報ＧＲ_８のイメージを示し、（ｃ）は、時刻“２１：００：００”における仮想画像情報ＧＲ_９のイメージを示す。それぞれの仮想画像情報には時刻と天候の変化を反映した仮想風景が表現され、点線に示すように、それぞれの仮想画像情報において適した構図を得るための画角が計算される。このような３つの時刻における仮想画像情報が得られた後、仮想画像情報ＧＲ_７，ＧＲ_８，ＧＲ_９に対して計算された構図パターンに関するスコアが、それぞれ、１００点満点で“４０点”、“９０点”、“８０点”であった場合は、最もスコアの高い仮想画像情報ＧＲ_８を用いて適した構図を得るための撮像設定情報が得られる。本変形例によれば、昼夜の明るさ、影の影響、影の濃度、朝焼け、夕焼け、月、太陽、星等の天体の位置、天候の変化、季節の変化、桜の開花、紅葉等の様々な時間的変化の要因を考慮して、簡単に最適な構図を設定するための情報を得ることができる。

１…撮像装置、２…構図設定装置、１１…撮像設定部（撮像設定手段）、１２…画像取得部（撮像手段）、１３…画像表示部（情報出力手段）、２１…環境情報取得部（環境情報取得手段）、２２…仮想空間情報取得部（仮想空間情報取得手段）、２３…仮想画像生成部（仮想画像生成手段）、２４…構図推薦部（構図設定手段）、１０１…撮像システム、ＰＲ１…構図設定プログラム、ＰＲ１５…環境情報取得モジュール、ＰＲ１６…仮想空間情報取得モジュール、ＰＲ１７…仮想画像生成モジュール、ＰＲ１８…構図推薦モジュール、Ｕ…ユーザ。

Claims (7)

1. 画像の撮像の条件を設定する撮像設定手段と、
   前記撮像設定手段によって設定された撮像の条件を示す撮像設定情報に基づいて被写体を撮像して、前記被写体の画像情報を取得する撮像手段と、
   前記撮像手段を含む撮像装置の緯度及び経度によって表される撮像位置と前記撮像装置の光学系の角度によって表される撮像角度とを特定する環境情報を取得する環境情報取得手段と、
   前記撮像装置の周辺の空間に存在する物体の形状及び位置を示す仮想空間情報を取得する仮想空間情報取得手段と、
   前記撮像設定情報と前記環境情報と前記仮想空間情報とに基づいて、前記画像情報の画角外の像を仮想的に表現した仮想画像情報を少なくとも生成する仮想画像生成手段と、
   前記画像情報と前記仮想画像情報とに基づいて、前記画像情報内の物体の像の配置が適した構図となるように前記撮像装置によって撮像するための前記撮像角度を示す構図設定情報を決定する構図設定手段と、
   前記画像情報と前記構図設定情報とを少なくとも出力する情報出力手段と、
   を備える撮像システム。
2. 前記仮想画像生成手段は、前記画像情報の画角を拡張した範囲を特定し、当該範囲に含まれる物体の三次元形状を前記仮想空間情報から特定し、前記三次元形状を二次元画像に変換して前記仮想画像情報を生成する、
   請求項１記載の撮像システム。
3. 前記仮想空間情報は、前記物体の色及び質感を示す情報を含み、
   前記仮想画像生成手段は、前記仮想画像情報を前記画角外の像の色及び質感を表現した情報として生成し、
   前記構図設定手段は、前記仮想画像情報によって表現された色及び質感を考慮して前記構図を判断する、
   請求項１又は２に記載の撮像システム。
4. 前記仮想画像生成手段は、前記画像情報に表現された色及び質感を基に前記画角外の像の色及び質感を推定し、推定した前記像の色及び質感を反映した前記仮想画像情報を生成する、
   請求項１又は２に記載の撮像システム。
5. 前記環境情報は、時刻に関する情報を含み、
   仮想画像生成手段は、前記環境情報を基に時刻毎の複数の仮想画像情報を予測して生成し、
   前記構図設定手段は、前記複数の仮想画像情報を基に、前記構図と前記構図が得られる時刻とを判断し、前記構図及び前記時刻を基に構図設定情報を決定する、
   請求項１〜４のいずれか１項に記載の撮像システム。
6. 被写体を撮像する撮像手段を含む撮像装置の緯度及び経度によって表される撮像位置と前記撮像装置の光学系の角度によって表される撮像角度とを特定する環境情報を取得する環境情報取得手段と、
   前記撮像装置の周辺の空間に存在する物体の形状及び位置を示す仮想空間情報を取得する仮想空間情報取得手段と、
   前記撮像手段による撮像の条件を示す撮像設定情報と、前記環境情報と、前記仮想空間情報とに基づいて、前記撮像手段によって得られた被写体の画像情報の画角外の像を仮想的に表現した仮想画像情報を少なくとも生成する仮想画像生成手段と、
   前記画像情報と前記仮想画像情報とに基づいて、前記画像情報内の物体の像の配置が適した構図となるように前記撮像装置によって撮像するための前記撮像角度を示す構図設定情報を決定する構図設定手段と、
   を備える構図設定装置。
7. コンピュータを、
   被写体を撮像する撮像手段を含む撮像装置の緯度及び経度によって表される撮像位置と前記撮像装置の光学系の角度によって表される撮像角度とを特定する環境情報を取得する環境情報取得手段、
   前記撮像装置の周辺の空間に存在する物体の形状及び位置を示す仮想空間情報を取得する仮想空間情報取得手段、
   前記撮像手段による撮像の条件を示す撮像設定情報と、前記環境情報と、前記仮想空間情報とに基づいて、前記撮像手段によって得られた被写体の画像情報の画角外の像を仮想的に表現した仮想画像情報を少なくとも生成する仮想画像生成手段、及び
   前記画像情報と前記仮想画像情報とに基づいて、前記画像情報内の物体の像の配置が適した構図となるように前記撮像装置によって撮像するための前記撮像角度を示す構図設定情報を決定する構図設定手段、
   として機能させる構図設定プログラム。

Images