JP2005286379A - 撮影補助システム及び撮影補助方法 - Google Patents

Abstract

【課題】多様な撮影シーンであっても、また、多様な撮影装置を用いても、失敗なく撮影することができる撮影補助システム及び撮影補助方法を提供する。
【解決手段】情報処理装置２０は、撮影装置１０から、種々の撮影シーンの画像データと、撮影情報（撮影位置、撮影方向及び撮影時刻）を取得し、画像ＤＢに蓄積する。蓄積されている画像データの中から基準画質に満たない画像を抽出し、理想的な画像とのずれを集計し解析する。解析結果に基づいて、再度そのシーンを撮影するときには基準画質と同等又は以上の画像が得られるように、撮影時の撮影装置１０の動作を制御させる制御情報を生成する。該当シーンを撮影するとき、制御情報に従って撮影装置１０を動作させる。
【選択図】図１

Description

本発明は、最適な画質で所定のシーンを撮影させるための撮影補助システム及び撮影補助方法に関する。

撮影した画像の管理や修正を容易に行なうことができることから、デジタルカメラやデジタルビデオカメラなどのデジタル画像撮影装置が広く普及している。これら画像撮影装置の性能も向上しており、撮影時に自動的に焦点を合わせるＡＦ（Auto Focus）機能や、自動的に露出を調整するＡＥ（Auto Exposure）機能を備えるデジタルカメラやデジタルビデオカメラは、もはや常識となっており、カメラ撮影に不慣れな人でも比較的簡単な操作で高画質の画像を撮影することができるようになっている。

また、シャッタスピードと絞り値との組み合わせが異なる複数の露出プログラムを内蔵し、撮影環境、撮影対象（被写体や被写体の状態）、ユーザの好み等に応じて、適正な露出プログラムをユーザが選択、或いはカメラが自動的に選択することができるカメラも知られている。更には、このような露出プログラムをＩＣカードなどの記録媒体に記録しておき、ユーザの好みや用途等に応じた露出プログラムを適宜カメラに転送できるカメラも知られている。

しかし、このような露出プログラムに基づいて撮影を行なうカメラにおいては、カメラに搭載されるＣＰＵの処理能力の制限から、ユーザの希望に応じた画像処理のような、より高度な処理を行うことができないという問題があった。

そこで、本発明者は、このような問題を解決するために、カメラの機能や性能を大幅に向上して、被写体や撮影シーン等に応じたより高度なカメラの制御、画像合成や画像補正等、各種の処理を行うことを可能にする画像処理方法及び装置、カメラ並びに撮影システムを提案した（特許文献１参照）。

特開２００１−２７５０３１号公報

特許文献１における撮影システムでは、撮影画像や、カメラのＡＥ、ＡＦ、撮影倍率等のカメラ制御情報を、プリントサービス業者や、画像蓄積サービス業者のサーバに伝送し、サーバ側でカメラ制御情報を決定し、そのカメラ制御情報をカメラ側に返送している。ここで、プリントサービス業者又は画像蓄積サービス業者側では、撮影された画像を解析し、それを基準にして標準的なカメラ制御情報を生成している。

ところで、特許文献１に開示されている撮影システムにおいては、撮影画像に対して標準的なカメラ制御情報を生成し、そのカメラ制御情報に基づいてカメラの制御を行なった場合に、ある機種のカメラで撮影したときは最適な画像が得られたとしても、他方の機種のカメラで撮影したときには意図しない画像が得られてしまう恐れがある。また、同一の機種のカメラを用いて、同一のシーンを撮影した場合であっても、そのシーンの被写体の状態や撮影時の周囲の状況によって、異なる画質の画像が得られる場合がある。それゆえ、多様なシーンごとに、又は、多様なカメラ機種ごとに、最適な画質の画像が得られるようにすることができれば便利である。
また、特許文献１の撮影システムにおいては、シーンごとに情報処理装置と通信を行なうものであり、伝送容量が大きく、かつ、通信料金が低額であることを前提としたものである。

本発明は、このような実情に鑑みてなされたものであり、本発明の目的は、多様なシーンであっても、また、多様なカメラ機種であっても、撮影の失敗を低減し、常に最適な画像で撮影されるようにすることができる撮影補助方法及び撮影補助システムを提供することにある。

上記課題を解決するために、本発明の第１の態様は、所定のシーンを撮影するための撮影手段と、前記撮影手段に設けられ、前記シーンを撮影したときの撮影日時、撮影位置及び撮影方向が含まれる撮影情報を取得する撮影情報取得手段と、前記撮影手段の撮影により得られた撮影画像の画像データ及びその撮影画像の撮影情報を取得する画像データ取得手段と、前記撮影画像の基準画質を特定するための基準画像パラメータと、その基準画像パラメータに対応する前記撮影画像の画像特徴量とに基づいて前記撮影画像が基準画質以上か否かを判別する判別手段と、前記判別手段により判別された結果に基づいて前記画像データを前記撮影情報と前記画像パラメータとに関連付けて記録領域に記録する記録手段と、前記記録領域に記録されている複数の画像データの中から前記基準画質に満たない撮影画像の画像データを抽出し、抽出された画像データに対応する撮影画像が前記基準画質と同等又はそれ以上になるような撮影条件を特定し、前記撮影手段を用いて前記撮影画像に該当するシーンを撮影する際に前記撮影条件となるように前記撮影装置を制御させるための制御情報を生成する制御情報生成手段とを有する撮影補助システムを提供する。

本発明の撮影補助システムにおいては、前記基準画質に満たない撮影画像の複数の画像データについて、前記基準画像パラメータと、当該画像パラメータに対応する画像データの画像特徴量とを比較して、基準画質と画像データとの画質のずれを集計し、その集計結果に基づいて、その画質のずれが補正されるように前記制御情報を生成することが好ましい。

また、本発明の撮影補助システムにおいては、前記基準画像パラメータが種々の被写体シーンごとにあらかじめ設定されており、更に、前記記録領域に地図情報及びイベント情報が記録されており、前記判別手段は、前記撮影情報と、前記地図情報及び前記イベント情報の少なくとも一方から、前記所定のシーンの被写体を同定し、あらかじめ設定されている前記画像パラメータから、前記同定された被写体シーンに該当する画像パラメータを抽出し、当該画像パラメータに基づいて、前記撮影画像が基準画像以上か否かを判断することが好ましい。

また、本発明の撮影補助システムは、更に、前記画像パラメータを、前記制御情報に基づいて撮影された撮影画像の画像データ及び画像情報に基づいて更新することが好ましい。

また、更に、前記撮影情報は、前記撮影手段の種類に関する情報を含み、前記制御情報生成手段は、前記撮影手段の種類ごとに前記制御情報を生成することが好ましい。

また、本発明において、前記画像データ取得手段は、電気通信回線、光通信回線及び記録媒体の少なくとも一種を介して前記画像データ及び前記撮影情報の取得を行なうことが好ましい。

また、前記画像パラメータは、濃度、色味及び鮮鋭度からなる群から選択された少なくとも１種を含むことが好ましい。

本発明の第２の態様は、撮影手段を用いて所定のシーンの被写体を撮影したときの撮影日時、撮影位置及び撮影方向が含まれる撮影情報と、前記撮影により得られる画像データとを取得し、前記撮影画像の基準画質を特定するための基準画像パラメータと、前記画像データとに基づいて前記その画像データに対応する撮影画像が基準画質以上か否かを判別し、前記判別結果に基づいて前記画像データを前記撮影情報と前記画像パラメータとに関連付けて記録領域に記録し、前記記録領域に記録されている複数の画像データの中から前記基準画質に満たない撮影画像の画像データを抽出し、抽出された画像データに対応する撮影画像が前記基準画質と同等又はそれ以上になるような撮影条件を特定して、前記撮影手段を用いて前記撮影画像に該当するシーンを撮影する際に前記撮影条件となるように前記撮影装置を制御させるための制御情報を生成し、前記制御情報に基づいて、前記撮影装置による前記撮影画像に該当するシーンの撮影を制御させる撮影補助方法を提供する。

本発明の撮影補助方法においては、更に、前記抽出された画像データに関連付けられている画像パラメータに基づいて前記撮影手段による撮影条件を解析し、この解析結果に基づいて前記撮影手段を制御させることが好ましい。

また、前記基準画像パラメータが種々の被写体シーンごとにあらかじめ設定されており、更に、前記記録領域に地図情報及びイベント情報が記録されており、前記撮影画像が基準画質以上か否かを判別は、前記撮影情報と、前記地図情報及び前記イベント情報の少なくとも一方から、前記所定のシーンの被写体を同定し、あらかじめ設定されている前記画像パラメータから、前記同定された被写体シーンに該当する画像パラメータを抽出し、当該画像パラメータに基づいて行うことが好ましい。

また、更に、前記画像パラメータを、前記制御情報に基づいて撮影された撮影画像の画像データ及び画像情報に基づいて更新することが好ましい。

また、更に、前記撮影情報は、前記撮影手段の種類に関する情報を含み、前記撮影手段の種類ごとに前記制御情報を生成することが好ましい。

また、電気通信回線、光通信回線及び記録媒体の少なくとも一種を介して前記画像データ及び前記撮影情報の取得を行なうことが好ましい。

また、前記画像パラメータが、濃度、色味及び鮮鋭度からなる群から選択された少なくとも１種を含むことが好ましい。

本発明の撮影補助システム及び撮影補助方法によれば、所定のシーンを撮影したときに得られる画像の中から、基準となる画質に満たない画像を抽出して解析し、再度そのシーンを撮影するときには基準画質以上の画像が得られるように、撮影時の撮影装置の動作を制御させる制御情報を生成することができるので、その制御情報による制御に従って撮影装置でその所定のシーンを撮影させることにより、基準画質以上の画像が得られ、撮影の失敗を低減させることができる。また、撮影装置の種類ごとに制御情報を設定しておくことにより、多様な撮影装置の種類にかかわらず基準画質以上の画像で、そのシーンの被写体を撮影させることができる。また、撮影情報に基づいて撮影された撮影画像に基づいて制御情報を更新することにより、常に最適な画像で撮影を行わせることができる。

また、撮影に不慣れなユーザであっても、情報処理装置によって生成される制御情報に従って撮影装置を動作させて撮影を行なわせることにより、良質な画質の画像を手軽に撮影させることができる。また、撮影条件の設定の難しい撮影ポイントや撮影シーンであっても、制御情報に従って撮影装置を動作させて撮影させることにより、その撮影ポイントまたは撮影シーンを良好な画質で撮影させることができる。

以下、本発明の撮影補助システム及び撮影補助方法について、添付の図面に示される好適な態様に基づいて詳細に説明する。

図１は、本発明の撮影補助システムの概略構成図である。図に示す撮影補助システム１００は、撮影装置１０と情報処理装置２０とから基本的に構成される。

撮影装置１０は、図１に示すように、ＣＣＤセンサ等のイメージセンサ１１と、イメージセンサ１１によって撮影された撮影画像を画像データとして画像記録媒体１８に記録するための画像記録部１２と、撮影画像を表示するモニタ１３と、カメラ全体の制御を行なうＣＰＵ１４と、通信網とデータ送受信を行なうための通信装置１５と、撮影した画像に関する撮影情報を取得するための撮影情報取得装置１６とを有する。

このような撮影装置１０としては、デジタルカメラやデジタルビデオカメラ、カメラ付き携帯電話機などを好適に用いることができ、ファインダとして機能するイメージセンサ１１及びモニタ１３を有し、イメージセンサ１１による撮影画像データの取得が可能であれば、画像記録媒体として写真フィルムを用い、これに画像を撮影するカメラであっても良い。

撮影装置１０は、後述する制御情報に基づいて、所定のシーンを撮影するときの撮影条件を制御することができる。制御情報によって制御される撮影条件としては、シャッタスピード、絞り、ストロボ強制発光、プリ発光、多重露出撮影、多重フォーカス、発光量を切り替えた２度撮り、撮影倍率などを例示することができる。

図１に示すように、撮影装置１０に設けられている撮影情報取得装置１６は、撮影位置検出装置１６ａと、撮影方向検出装置１６ｂと、撮影時刻検出装置１６ｃとを有する。撮影位置検出装置１６ａは、所定のシーンを撮影したときの撮影装置１０の位置（撮影位置情報）を検出するためのものであり、例えば、ＧＰＳ（Global Positioning System）受信機を用いて構成することができる。また、撮影方向検出装置１６ｂは、撮影手段１０で撮影する際の撮影方向、すなわち、撮影時の撮影手段１４の撮影レンズの向き（方位、更には仰角）を検出するためのものであり、例えば、撮影装置１０の所定の位置に設置される方位センサを用いて構成することができる。方位センサは、例えば地磁気を利用して方位を検出する方位センサや、ジャイロを用いて所定の軸回りの角速度を検出することで傾斜角を検出する方位センサなど、公知のセンサが利用可能である。また、撮影時刻検出装置１６ｃは、撮影時の時刻（撮影時刻情報）を検出するためのものであり、撮影装置１０に内蔵されているタイマなどから構成される。

これら撮影位置検出装置１６ａにより検出される撮影位置情報と、撮影方向検出装置１６ｂにより検出される撮影方向情報と、撮影時刻検出装置１６ｃにより検出される撮影時刻は、撮影情報として扱われ、撮影情報取得装置１６により取得された撮影情報は、撮影画像データと関連付けられて画像記録媒体１８に一旦記録されて、通信装置１５から情報処理装置２０のハードディスク装置（ＨＤＤ）３０に記録される。

上記撮影位置検出装置１６ａによる撮影位置情報の検出は、ＧＰＳ機能によって行われるものに限定されず、例えばＩＣタグ等の無線通信機器を用いて現在位置を検出する手段によって行われてもよく、公知の位置検出手段が利用可能である。

撮影装置１０と情報処理装置２０とは、撮影装置１０の通信装置１５と、情報処理装置２０の通信装置とによって通信網３２を介して接続され、互いに情報の転送を行うことができる。通信網３２は、公衆通信網であっても、専用通信網であっても良く、例えば、インターネットやコンピュータ通信ネットワーク、電話回線を利用する通信網、無線通信を利用する通信網、光通信を利用する通信網であり、有線であっても無線であっても、両方を併用するものであっても良い。また、カメラ側の通信部は少なくとも送信部である必要があり、装置側の通信部は、少なくとも受信部である必要があるが、いずれも双方向の送受信が可能な双方向通信手段（送受信手段）であることが好ましい。

撮影装置１０は、情報処理装置２０から提供される制御情報を、通信装置１５によって直接取得したり、画像記録媒体１８を介して取得することができ、取得した制御情報に基づいて、所定のシーンを撮影するときの撮影動作が制御される。

また、撮影装置２０は、ユーザ１２が所定のシーンの撮影を行っている最中は、常時撮影画像データ及び撮影情報を通信装置１５から情報処理装置２０に送信するようにしてもよい。この場合、撮影装置１０で撮影された画像データとこの画像データに対応する撮影情報は、情報処理装置２０に送信された後、互いに関連付けられてハードディスク装置３０の画像ＤＢ３０Ａに記録される。

また、画像データ及び撮影情報は、撮影装置１０によって画像記録媒体１８、例えばスマートメディア（登録商標）、コンパクトフラッシュ（登録商標）、メモリスティック（登録商標）等に一旦記録されて、メディアドライバ２８を介し、記録メディア３２からデータ処理装置２０の所定の記録領域に記録されるものであってもよい。

図１における情報処理装置２０は、ラボ店やサービスセンタ等に設置されるものであり、情報処理装置２０はワークステーション等のコンピュータから成り、同図に示すように、演算処理装置（ＣＰＵ）２２と、入出力ポート２４と、通信装置２６と、メディアドライバ２８と、ハードディスク装置（ＨＤＤ）３０とを有する。

演算処理装置２２は、図１に示すように、バス２４Ａを介して入出力ポート２４と接続されている。また、入出力ポート２４には、通信装置（例えばモデム又はルータ）２６と、メディアドライバ２８と、ハードディスク装置（ＨＤＤ）３０が各々接続されている。これにより、演算処理部２２は、通信装置２６、メディアドライブ２８、ハードディスク装置３０と相互にデータの送受を行うことができる。

ハードディスク装置（ＨＤＤ）３０には、画像データとその画像データと関連付けられた撮影情報とを記録しておく画像データベース（以下、画像ＤＢとする）３０Ａと、最適な画像パラメータを記録しておく画像パラメータデータベース（以下、画像パラメータＤＢとする）３０Ｂと、撮影装置１０の撮影動作を制御させるための制御情報を記録しておく制御情報データベース（以下、制御情報ＤＢとする）３０Ｃと、三次元地図情報を記録しておく地図情報データベース（以下、地図情報ＤＢとする）３０Ｄと、イベント情報を記録しておくイベント情報データベース（以下、イベント情報ＤＢとする）３０Ｅとを有する。

これらの各データベースは、それぞれ個別の情報記録媒体（ハードディスクなど）に記録されていてもよいし、それぞれが１つの情報記録媒体の複数の記録領域の１つ１つに対応するものであってもよい。なお、三次元地図情報やイベント情報は、情報処理装置２０のＨＤＤ３０内に記録されていなくてもよく、情報処理装置２０の外部に設けられるデータベースに記録されていてもよい。この場合は、その外部のデータベースが、情報処理装置２０と直接接続されているか、又はインターネットなどのネットワークを介して間接的に接続されていれば良く、情報処理装置２０が、そのデータベースにアクセスして所望の３次元地図情報又はイベント情報を検索し取得することができればよい。

上述したように、画像パラメータＤＢ３０Ｂには、基準画像を判別するために用いられる画像パラメータが記録されている。画像パラメータは、一定の基準以上の画質が得られるように、種々の被写体シーンごとに設定された最適画像パラメータである。最適画像パラメータは、濃度、色味、鮮鋭度などから構成され、同一の被写体について日時（例えば季節や時間帯）、撮影方向ごとに設定される。また、最適画像パラメータは、プロカメラマンや熟練者によって撮影された撮影画像から設定されても、プロカメラマンや熟練者の官能評価に基づいて設定されても良い。または、種々の被写体又は撮影シーンごとにＣＧ（computer graphics）を作成し、そのＣＧから最適な品質となるように熟練者が官能評価して設定しても良い。

制御情報ＤＢ３０Ｃは、撮影装置１０の撮影動作を制御するための制御情報が記録されており、シャッタスピード、絞り、ストロボ強制発光、プリ発光、多重露出撮影、多重フォーカス、発光量を切り替えた２度撮り、撮影倍率など、撮影装置１０の制御に関する制御情報が記録されている。このような制御情報は、撮影装置１０の種類（機種）又は性能ごとに関連付けられて設定されていてもよい。

制御情報ＤＢ３０Ｃに記録されている制御情報は、一般ユーザ向けに公開することができ、ユーザからの要求に応じて、適宜、情報処理装置２０に設けられている通信装置２６によって通信網を介して、又は、画像記録媒体１８を介してユーザが所有する撮影装置１０に転送される。

地図情報ＤＢ３０Ｄには、国内又は外国の主要都市などの撮影空間を含む３次元地図データであって、撮影空間範囲内に存在するビル、寺、神社などの建造物や、山、森林、海などの自然物、その他の構造物の高さや形状等も再現した３次元情報が記録されている。この地図情報ＤＢ３０Ｄに記録される地図情報は３次元情報であることに限らず、撮影空間範囲内の建造物や自然物の位置情報のみを再現した２次元の地図情報であっても構わない。

イベント情報ＤＢ３０Ｅには、様々なイベント内容情報（イベント名や、その他イベント内容を示す情報）がイベントの開催日時と関連付けられて記録されている。例えば、花火大会や、所定の地域で行われるお祭りなどのイベントに関する情報が記録されている。

演算処理装置２２は、各種の演算処理を行うことができ、撮影画像のシーンの同定処理、撮影画像が基準画質以上かを判別する基準画質判別処理、基準画質に満たない撮影画像の画質を補正する補正処理、補正処理の結果に基づいて撮影装置で撮影する際の撮影装置の制御情報を補正するための制御補正情報を生成する処理等を行うことができる。すなわち、演算処理装置２２は、本発明における、撮影画像が基準画質以上かを判別する判別手段と、基準画質に満たない撮影画像の画質を補正する補正処理、補正処理の結果に基づいて撮影装置で撮影する際の撮影装置の制御情報を補正するための制御補正情報を生成する制御情報生成手段としての機能を有している。ここでは、上記処理を演算処理装置２２で実行させているが、それぞれの処理ごとに別個の処理装置を情報処理装置２０に設け、それらの処理装置で独立に上記処理を実行し、その処理結果をそれぞれの処理装置で利用できるように構成してもよい。以下、演算処理装置２２の各処理について説明する。

撮影画像のシーンの同定処理では、演算処理装置２２は、画像ＤＢ３０Ａに記録されている画像データについて、その画像データに関連付けられている撮影情報と、地図情報ＤＢ３０Ｄの地図情報及びイベント情報ＤＢ３０Ｅのイベント情報の少なくとも一方に基づいて、画像データのシーンの被写体を同定する。例えば、地図情報ＤＢ３０Ｄに記録されている地図情報からシーンの被写体を同定する場合には、画像データのそれぞれに対応付けられた撮影情報から、撮影装置１０で撮影されることで得られる画像データのそれぞれのシーンに対応する実空間（撮影空間）での撮影シーン範囲を割出し、地図情報ＤＢ３０Ｄに記録されている３次元地図情報に基づいて、撮影シーン範囲内に存在するビルなどの建造物や、山や森林などの自然の構造物、山や森林や建造物の高さや形状の情報と、撮影シーン範囲の情報とを照合して、画像データの各シーンの被写体を同定する。

あるいは、画像ＤＢ３０Ａに記録され、画像データに関連付けられている撮影情報と、地図情報ＤＢに記録されている地図情報とを用いて、予想される撮影装置１０の位置を複数箇所検出し、各位置についてシミュレーションによって仮想視野の画像を生成し、撮影した画像の画像データとのパターンマッチングを行なうことによって撮影位置を特定し、更にその撮影位置についてシミュレーションによる仮想視野の画像に基づいて画像データの各シーンの被写体を同定してもよい。

また、イベント情報ＤＢ３０Ｅに記録されているイベント情報からシーンの被写体を同定する場合には、例えば、様々なイベント内容情報（イベント名や、その他イベント内容を示す情報）がイベントの開催日時と関連付けられて記録されているイベント情報ＤＢから、撮影情報（撮影位置情報、撮影方向情報及び撮影日時情報）に基づいてイベント情報を取得し、そのイベント情報の内容からシーンの被写体を同定する。

なお、画像データに関連付けられる撮影情報として、更に、各画像データのシーン毎のイベントの情報（各画像データのシーンに撮影されているイベントの内容の情報）などを含めてもよい。例えば、花火大会や、所定の地域で行われるお祭りに行った際に撮影したシーンの画像であることを示す情報などを撮影情報に含め、その画像データと関連付けて画像ＤＢ３０Ａに記録しておいてもよい。そして、被写体を同定する際に、撮影情報に含まれるイベント情報を、イベント情報データベースのイベント情報と照合して、イベント情報データベース内のイベント情報に関連付けられている被写体から、シーンの被写体を同定すればよい。

ここで、画像データの各シーンの被写体の同定には、被写体に設けられたＩＣタグを利用することもできる。この場合は、撮影装置１０に被写体のＩＣタグを検出するためのＩＣタグ検出装置を設けておき、撮影装置１０を用いて所定のシーンを撮影したときに、被写体が近距離であれば、被写体に設けられているＩＣタグを撮影装置１０で検出し、そのシーンの画像データと関連付けて、ＩＣタグ情報を前述の撮影情報に含めて画像記録媒体１８に記録する。このような構成にすれば、画像データから被写体を同定する際に、撮影情報のＩＣタグ情報を参照することにより被写体を容易に同定することが可能となる。

また、被写体を同定する処理において、画像データからシーンの主要な被写体が複数同定された場合には、同定した主要被写体に優先順位をつけてもよい。このような主要被写体の優先順位は、例えば、画像パラメータＤＢ３０Ｂに記録させておいて、記録されている優先順位に基づいて、同定された複数の被写体の優先順位を特定すればよい。

つぎに、撮影画像が基準画質以上かを判定する基準画質判定処理について説明する。この処理おいては、演算処理装置２２は、画像パラメータＤＢ３０Ｂに記録されている画像パラメータに基づいて、画像ＤＢに記録されている画像データが基準画質と同等又はそれ以上の画像（以下、便宜的に理想的画像という）かどうかを判別した後、基準画質以上の画像と、基準画質に満たない画像（以下、便宜的にＮＧ画像という）とに分類して、その画像データを画像ＤＢ３０Ａに記録させる。このような判別は演算処理装置２２で行なってもよいし、オペレータが、画像パラメータＤＢ３０Ｂに記録されている画像パラメータを利用して判断しても良い。

つぎに、基準画質に満たない撮影画像の画質を補正する補正処理について説明する。この処理においては、演算処理装置２２は、前述の基準画質判定処理によって分類された画像ＤＢ３０Ａに蓄積されているＮＧ画像の画像データを集計し、理想的画像の画像データとＮＧ画像の画像データとのずれを検出する。このずれの検出は、公知の方法を用いることができ、例えば、赤目検出や手ぶれ検出、ノイズ検出などの検出方法を用いることができる。また、このような検出は、自動で行なってもオペレータによって検出しても良い。

次いで、ＮＧ画像が理想的画像以上になるようにＮＧ画像の画像処理を行う。画像処理の方法としては公知の方法を用いることができ、例えば、赤目補正や手ぶれ補正、ノイズ補正などの方法を適用することができる。このとき、画像処理の内容、すなわち、ＮＧ画像と理想的画像とのずれをどのように補正したかの補正内容を、例えば、被写体シーンごとや撮影装置の種類ごとにデータベースに蓄積しておき、その補正内容に基づいて撮影時の撮影装置の制御を補正するための制御情報を作成する。こうして作成した制御情報を制御情報ＤＢ３０Ｃに記録させる。

ここで、撮影画像が理想的画像かどうかの判断には、画像パラメータＤＢ３０Ｂに被写体シーンごとに記録されている最適画像パラメータを用いる。すなわち、画像データのシーンに該当する最適な画像パラメータを画像パラメータＤＢ３０Ｂから取得し、その画像パラメータと、それに対応するＮＧ画像の画像特徴量とを比較して判断する。そして、理想的画像に対するＮＧ画像の画質のずれを検出し、そのずれの分布を集計し、解析する。解析方法としては、例えば、ＮＧ画像が、理想的画像と同等か、それ以上になるようにＮＧ画像データを補正し、その補正の内容（例えば濃度の補正や色味補正、シャープネス補正）を、画像ＤＢに記録されている各ＮＧ画像データについてそれぞれ集計し、被写体シーンごとに補正内容の分布を求める方法を用いることができる。そして、被写体シーンごとに補正内容を分析し、被写体シーンごとに、ＮＧ画像の画質を向上させるための画像補正情報を作成する。このような被写体シーンごとの画像補正情報は、例えば、画像データや撮影情報と関連付けられてＨＤＤ３０の所定の領域に蓄積される。また、被写体が人物被写体か構造物被写体かのシーン分類に応じて蓄積することもでき、そのシーン分類に基づいて、後述する制御情報を作成することもできる。

演算処理装置２２は、更に、上記補正処理による画像補正情報に基づいて撮影装置１０で撮影する際の撮影装置１０の制御を補正するための制御情報を生成することができる。例えば、被写体シーンごとに蓄積される補正情報から、撮影装置１０をどのように制御すれば、すなわち、撮影条件（絞り、ストロボ強制発光、プリ発光、その他特殊な発光パターン、シャッタスピード、２度撮り（発光量切り替え）、多重露出撮影、多重フォーカス、撮影倍率）をどのように設定すれば、理想的画像が得られるかを解析し、その結果に基づいて、その被写体シーンを撮影するときに撮影装置を制御させるための制御情報を作成する。

例えば、多数のユーザによって、そして、種々の撮影装置によって撮影された撮影画像が画像ＤＢ３０Ａに蓄積されている場合に、上記補正処理により、ある特定の被写体について種々の補正内容を集計し解析した結果、補正内容に偏りがあるときは、そのずれが補正されるように、撮影時の撮影装置１０の制御を補正するための制御情報を作成する。

一般に、ほとんどのユーザは、撮影モードとしてオートモードを用いて撮影していると考えられることから、上述の補正処理による補正内容の解析の結果は、撮影装置１０のオートモードの制御アルゴリズムが反映されているとみなすことができる。すなわち、解析結果には、特定の被写体（更には、特定の状況例えば撮影日時や撮影方向）について、オートモードで撮影したときには不具合になるケースが反映しているとみなすことができる。したがって、特定の被写体を、所定の撮影装置１０を用いてオートモードで撮影したときに撮影画像に不具合が発生するケースを、上述した一連の処理によって割り出すことができる。そして、そのような特定の被写体のシーンを再度撮影する際には、そのような不具合が発生しないように、撮影装置１０の動作を制御するための制御情報を作成する。

情報処理装置２０で作成される制御情報は、一般ユーザに公開される。ユーザは、例えば、電気通信回線又は記録媒体を介して所有する撮影装置にその制御情報を取り込み、カメラの制御をするための所定の領域にその制御情報を記録する。ユーザが所定のシーンを撮影するとき、撮影装置１０は、そのシーンが撮影制御の条件に該当するか否かを自動的にチェックし、該当すると判断した場合には、本来の制御アルゴリズムが制御情報によって補正されて、撮影がなされる。このとき、ユーザは、従来どおりオートモードを選択してそのシーンを撮影すればよい。こうして得られた撮影画像は、その品質が向上する。なお、所定のシーンが撮影制御の条件に該当するか否かの判断は、撮影装置で自動に判断させるか、ユーザによって判断させるか選択させるようにしてもよい。

また、撮影装置１０を用いて、あるシーンを撮影しようとしたときに、そのシーンが制御情報によって制御される条件に合致すると判断した場合に、その撮影装置１０の撮影者に、撮影の前に注意情報を告知しても良い。または、撮影後に、ＮＧ画像となっているかどうか、例えば、赤目や手ブレが発生していないかを確認させるために、撮影画像を撮影装置側で自動で顔認識して、撮影された顔部分をモニタに拡大表示させるようにしても良い。また、ＮＧ画像及びその対策画像（制御情報に従って撮影したときに撮影されるであろう画像）のサンプルを、撮影の前または撮影後に表示させても良い。この場合は、被写体ごとやエリア別に表示させることができる。

撮影装置１４による撮影の際には、撮影情報取得装置１６によって撮影装置１０の位置情報及び撮影方向情報が連続して取得されて、画像データと対応づけられて、画像データとともに画像ＤＢ３０Ａに記録される。情報処理装置２０では、これら画像データのそれぞれに対応付けられた撮影情報から、撮影装置１０で撮影されることで得られる画像データのそれぞれのシーンに対応する実空間（撮影空間）での撮影シーン範囲を割り出す。

なお、同定されたシーンの被写体に関する情報を、画像データに関連付けて画像ＤＢ３０Ａに記録しておいてもよい。

つぎに、本発明の撮影補助システム１００の動作について説明する。
多数の一般ユーザが、観光地やテーマパークなどに出向いて、撮影装置１０を用いて種々のシーンを撮影する。このとき、撮影装置１０に設けられている撮影情報取得装置１６によって撮影装置１０の位置情報及び撮影方向情報並びに撮影時刻（撮影情報）が連続して取得され、撮影した画像データと対応づけられて、画像データとともに画像記録媒体１８に記録される。

次いで、一般ユーザによって撮影された撮影画像の画像データとその画像データに関連する撮影情報が、撮影装置１０の通信装置１５から通信網を介して又は画像記録媒体１８を介して、情報処理装置２０に伝送される。情報処理装置２０は、この画像データと撮影情報を通信装置２６又はメディアドライブ２８から取得して、画像データと撮影情報を画像ＤＢ３０Ａに記録して蓄積する。

つぎに、画像ＤＢ３０Ａに蓄積されている画像データから、その画像データのシーンの被写体を、画像ＤＢ３０Ａに記録されている撮影情報と、地図情報ＤＢ３０Ｄに記録されている地図情報と、イベント情報ＤＢ３０Ｅに記録されているイベント情報とから同定する。そして、そのシーンに該当する最適な画像パラメータと、撮影画像の画像特徴量とを比較して、そのずれの分布を集計し解析する。又は画像処理やオペレータによる補正結果を用いて解析しても良い。

次いで、多数のユーザ分の画像データを集計し解析した結果、ずれ方に偏りがある場合は、そのずれを補正するように、そのシーンの撮影時の撮影装置１０の動作を制御させるための制御情報を作成する。そして、この制御情報を一般ユーザ向けに通信網３２又は画像記録媒体を介して公開する。

ここで、多数のユーザ分の画像データを集計し解析した結果（以下、単に集計結果という）と、その結果に基づいて作成する制御情報について具体的事例を用いて説明する。
例えば、１２時ごろに、城をバックに、城の正面側から撮影した撮影画像について集計した結果、逆光で人物の黒つぶれの多い撮影画像が多数得られたとする。この場合は、制御情報として、その撮影状況、すなわち、その撮影位置、撮影方向、撮影時刻に合致又は近い状況での撮影時にはストロボ強制発光モードになるように撮影装置を制御させる制御情報を作成する。または、撮影時の露出値が変更されるように、絞り又はシャッタスピードを調整するように撮影装置を制御させる制御情報を作成する。

また、場所がＸで被写体がＹのシーンを撮影した撮影画像について集計した結果、被写体本来の色味が出ていない撮影画像が多く得られたとする。この場合には、照明光の影響であると推定し、場所がＸで被写体がＹのシーンを撮影するときには、ストロボ強制発光モードになるように撮影装置を制御させる制御情報を作成する。

また、赤目補正、手振れ補正、ノイズ除去等の画像の修正（オートかマニュアルかを問わない）が発生した撮影画像について、その撮影時の状況を集計した結果、場所Ｘにおいて赤目が多いという結果が得られたとする。この場合は、場所Ｘの撮影においてはストロボのプレ発光モードになるように撮影装置１０を制御させる制御情報を作成する。

撮影装置１０の種類、すなわち、カメラの機種の情報を撮影情報として含ませることもできる。この場合は、撮影装置１０の種類、または撮影装置１０のレベル（例えば、カメラ付き携帯電話から一眼レフまでの性能レベル）ごとに、集計結果を分類し、その集計結果に基づいて、撮影装置１０の種類ごとに、撮影装置１０を制御させるための制御情報を作成することができる。この場合は、撮影装置１０の種類やその能力に応じた制御情報をユーザに提供することが望ましい。この場合、制御情報としては、絞り、ストロボ強制発光、プリ発光、その他特殊な発光パターン、シャッタスピード、２度撮り（発光量切替え）、多重露出撮影、多重フォーカス、撮影倍率等を用いることができる。例えば、カメラ付き携帯電話Ｚのカメラを用いて場所Ｘで撮影したときに鮮鋭度の低い画像が得られるという集計結果が得られたとする。この場合は、手振れの可能性が大きいものと判断して、カメラ付き携帯電話Ｚを用いて場所Ｘで撮影するときはシャッタ速度優先モードになるようにカメラ付き携帯電話Ｚを制御させる制御情報を作成する。

以上説明したように、本発明の撮影補助システム及び撮影補助方法では、個々の被写体及び撮影時の状況、例えば、撮影時刻や撮影位置、撮影方向、更には、撮影装置の種類ごとに、一定基準に満たない画質が得られるケースの多い事例を集計し、その集計結果に基づいて、その撮影条件ごとに、撮影装置１０を制御させるための制御情報を作成し、その制御情報を一般ユーザ向けに公開するので、ユーザは自己の所有する撮影装置をもって所定の撮影場所に撮影に出かけたときに、常に撮影状況に適した撮影モードで撮影を行うことができる。それゆえ、個々の被写体事例について撮影の失敗が低減される。

また、一般ユーザの撮影結果から、速やかに撮影装置を制御するための制御情報を作成し、作成した制御情報を一般ユーザにフィードバックすることができるので、ユーザは最新の撮影モードで撮影状況に適した撮影を行うことができる。

また、制御情報に従って撮影された撮影画像を、更に情報処理装置２０に伝送して処理して制御情報に反映させることにより、制御情報の精度が高められる。すなわち、より多様なシーンや、より多様な撮影装置の種類に対応した制御情報を生成することができるので、撮影失敗の事例を一層低減することが可能となる。

また、上記例では、ＮＧ画像を集計し解析することによって得られる結果に基づいて、撮影装置を制御させる制御情報を作成しているが、その結果を撮影後の画像処理に適用するための補正情報として利用しても良い。例えば、場所Ｘにおいて被写体Ｙを撮影したときに被写体本来の色味ではないという集計結果が得られたとする。この場合は、照明光の影響と判断し、撮影装置において、撮影画像を画像記録媒体に記録する際の記録制御情報として、画像データ記録時にオートホワイトバランス処理の補正を加えるような記録制御情報を作成してもよい。

また、情報処理装置２０の処理として、以下に説明するような処理を行うこともできる。
例えば、ユーザが所定の撮影場所での撮影を計画している場合に、ユーザが、その撮影場所に関する情報（撮影位置情報）と、撮影装置の種類に関する情報を含むユーザ情報を、情報処理装置２０に伝送したとする。情報処理装置２０は、取得したユーザ情報から、撮影装置１０の種類に関する情報を抽出し、画像ＤＢ３０Ａに撮影情報として記録されている撮影装置の種類に関する情報の中から、撮影装置１０の種類を同定する。

そして、ユーザ情報に含まれる撮影場所に関する情報に基づいて、制御情報ＤＢ３０Ｅから、その撮影装置１０を用いて撮影する場合に、その撮影位置及び方位において撮影失敗とならないように撮影装置１０を制御するための対策データ（制御情報）を検索する。情報処理装置２０は、検索結果と、そのユーザの所有する撮影装置１０に対応する制御情報が見つかった場合にはその制御情報を、ユーザの撮影装置１０に伝送する。

また、ＮＧ画像が得られるような撮影時例に関する情報（撮影位置、撮影方向、撮影日時など）と、そのようなＮＧ画像が得られないように撮影装置１０を制御するための制御情報とを、その撮影位置の近くに設置されたサーバ（情報処理装置）に伝送し蓄積するようにしても良い。例えば、サーバを、観光地やテーマパーク、イベント会場、公園等の施設に設置しておき、ユーザが撮影のためのその場所に出向いたときに、ユーザの所有する撮影装置に撮影事例に関する情報と制御情報を伝送するようにしても良い。あるいは、ユーザがその場所に出向いたときにサーバにアクセスして撮影事例に関する情報と制御情報を取得するようにしても良い。ユーザが、撮影装置１０を用いて、その撮影場所において撮影する際には、ＮＧ画像が撮影されないように制御情報によって撮影が制御され、最適な画像で撮影を行なうことができる。

ここで、伝送される撮影事例に関する情報や制御情報は、撮影装置１０に記録してもよいし、伝送される撮影事例や制御情報に基づいてリアルタイムで撮影装置１０が制御されるようにしてもよい。伝送される撮影事例に関する情報や制御情報に基づいてリアルタイムで撮影装置１０が制御されるようにすれば、撮影装置１０の記録容量が圧迫されることを回避することができる。また、その撮影位置における撮影事例に関する情報や制御情報は、その撮影場所に行けばいつも取得することができるので、ユーザがその撮影位置から離れた場合に削除するようにしても良い。

以上、本発明の撮影補助システム及び撮影補助方法について詳細に説明したが、本発明は上記実施の形態に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行なっても良いのはもちろんである。

例えば、上記実施の形態においては、多数のユーザによって撮影された複数の撮影画像の中からＮＧ画像を抽出し、そのＮＧ画像について解析し、その解析結果を用いて、撮影装置を制御するための制御情報を生成したが、ユーザが撮影した撮影画像の中から良好な画質の画像を集計し解析し、その解析結果を、例えば、基準画像かどうかを判断するための画像パラメータに反映させるように処理してもよい。

また、上記実施の形態では、図１に示したように、撮影装置１０に設けられている通信装置１５又は画像記録媒体１８を介して、情報処理装置２０とデータの送受信を行なう構成にしたが、撮影装置１０の画像データや撮影情報などを画像記録媒体を介して、或いは専用ケーブルなどを介してパーソナルコンピュータに転送し、パーソナルコンピュータから通信網３２を介して画像データや撮影情報の伝送を行なっても良い。また、パーソナルコンピュータにより情報処理装置から制御情報を取得し、取得した制御情報を撮影装置に転送するように構成しても良い。

本発明に従う撮影補助システムの概略構成図である。

符号の説明

１０ 撮影装置
１１ イメージセンサ
１２ 画像記録部
１３ モニタ
１４ ＣＰＵ
１５ 通信装置
１６ 撮影情報取得装置
１６ａ 撮影位置検出装置
１６ｂ 撮影方向検出装置
１６ｃ 撮影時刻検出装置
１８ 画像記録媒体
２０ 情報処理装置
２２ 演算処理装置
２４ 入出力ポート
２４Ａ バス
２６ 通信装置
２８ メディアドライブ
３０ ハードディスク装置
３０Ａ 画像データベース
３０Ｂ 画像パラメータデータベース
３０Ｃ 制御情報データベース
３０Ｄ 地図情報データベース
３０Ｅ イベント情報データベース
３２ 通信網
１００ 撮影補助システム

Claims (14)

1. 所定のシーンを撮影するための撮影手段と、
   前記撮影手段に設けられ、前記シーンを撮影したときの撮影日時、撮影位置及び撮影方向が含まれる撮影情報を取得する撮影情報取得手段と、
   前記撮影手段の撮影により得られた撮影画像の画像データ及びその撮影画像の撮影情報を取得する画像データ取得手段と、
   前記撮影画像の基準画質を特定するための基準画像パラメータと、その基準画像パラメータに対応する前記撮影画像の画像特徴量とに基づいて前記撮影画像が基準画質以上か否かを判別する判別手段と、
   前記判別手段により判別された結果に基づいて前記画像データを前記撮影情報と前記画像パラメータとに関連付けて記録領域に記録する記録手段と、
   前記記録領域に記録されている複数の画像データの中から前記基準画質に満たない撮影画像の画像データを抽出し、抽出された画像データに対応する撮影画像が前記基準画質と同等又はそれ以上になるような撮影条件を特定し、前記撮影手段を用いて前記撮影画像に該当するシーンを撮影する際に前記撮影条件となるように前記撮影装置を制御させるための制御情報を生成する制御情報生成手段とを有する撮影補助システム。
2. 前記基準画質に満たない撮影画像の複数の画像データについて、前記基準画像パラメータと、当該画像パラメータに対応する画像データの画像特徴量とを比較して、基準画質と画像データとの画質のずれを集計し、その集計結果に基づいて、その画質のずれが補正されるように前記制御情報を生成することを特徴とする請求項１に記載の撮影補助システム。
3. 前記基準画像パラメータが種々の被写体シーンごとにあらかじめ設定されており、
   更に、前記記録領域に地図情報及びイベント情報が記録されており、
   前記判別手段は、前記撮影情報と、前記地図情報及び前記イベント情報の少なくとも一方から、前記所定のシーンの被写体を同定し、あらかじめ設定されている前記画像パラメータから、前記同定された被写体シーンに該当する画像パラメータを抽出し、当該画像パラメータに基づいて、前記撮影画像が基準画像以上か否かを判断する請求項１又は２に記載の撮影補助システム。
4. 更に、前記画像パラメータを、前記制御情報に基づいて撮影された撮影画像の画像データ及び画像情報に基づいて更新する請求項１〜３のいずれか一項に記載の撮影補助システム。
5. 更に、前記撮影情報は、前記撮影手段の種類に関する情報を含み、前記制御情報生成手段は、前記撮影手段の種類ごとに前記制御情報を生成する請求項１〜４のいずれか一項に記載の撮影補助システム。
6. 前記画像データ取得手段は、電気通信回線、光通信回線及び記録媒体の少なくとも一種を介して前記画像データ及び前記撮影情報の取得を行なう請求項１〜５のいずれか一項に記載の撮影補助システム。
7. 前記画像パラメータが、濃度、色味及び鮮鋭度からなる群から選択された少なくとも１種を含む請求項１〜６のいずれか一項に記載の撮影補助システム。
8. 撮影手段を用いて所定のシーンの被写体を撮影したときの撮影日時、撮影位置及び撮影方向が含まれる撮影情報と、前記撮影により得られる画像データとを取得し、
   前記撮影画像の基準画質を特定するための基準画像パラメータと、前記画像データとに基づいて前記その画像データに対応する撮影画像が基準画質と同等又はそれ以上か否かを判別し、
   前記判別結果に基づいて前記画像データを前記撮影情報と前記画像パラメータとに関連付けて記録領域に記録し、
   前記記録領域に記録されている複数の画像データの中から前記基準画質に満たない撮影画像の画像データを抽出し、抽出された画像データに対応する撮影画像が前記基準画質以上になるような撮影条件を特定して、前記撮影手段を用いて前記撮影画像に該当するシーンを撮影する際に前記撮影条件となるように前記撮影装置を制御させるための制御情報を生成し、
   前記制御情報に基づいて、前記撮影装置による前記撮影画像に該当するシーンの撮影を制御させる撮影補助方法。
9. 更に、前記抽出された画像データに関連付けられている画像パラメータに基づいて前記撮影手段による撮影条件を解析し、この解析結果に基づいて前記撮影手段を制御させる請求項８に記載の撮影補助方法。
10. 前記基準画像パラメータが種々の被写体シーンごとにあらかじめ設定されており、
    更に、前記記録領域に地図情報及びイベント情報が記録されており、
    前記撮影画像が基準画質以上か否かの判別は、前記撮影情報と、前記地図情報及び前記イベント情報の少なくとも一方から、前記所定のシーンの被写体を同定し、あらかじめ設定されている前記画像パラメータから、前記同定された被写体シーンに該当する画像パラメータを抽出し、当該画像パラメータに基づいて行う請求項８又は９に記載の撮影補助方法。
11. 更に、前記画像パラメータを、前記制御情報に基づいて撮影された撮影画像の画像データ及び画像情報に基づいて更新する請求項８〜１０のいずれか一項に記載の撮影補助方法。
12. 更に、前記撮影情報は、前記撮影手段の種類に関する情報を含み、前記撮影手段の種類ごとに前記制御情報を生成する請求項８〜１１のいずれか一項に記載の撮影補助方法。
13. 電気通信回線、光通信回線及び記録媒体の少なくとも一種を介して前記画像データ及び前記撮影情報の取得を行なう請求項８〜１２のいずれか一項に記載の撮影補助方法。
14. 前記画像パラメータが、濃度、色味及び鮮鋭度からなる群から選択された少なくとも１種を含む請求項８〜１３のいずれか一項に記載の撮影補助方法。

Images