JP2014220622A - 撮影機器、撮影支援方法、表示装置及び表示方法 - Google Patents

Abstract

【課題】ユーザが意図する撮影を行うためのパラメータ設定を効果的に支援することができる。【解決手段】 撮影機器は、被写体を撮像し撮像画像を得る撮像部と、上記撮像画像を表示する表示部と、上記表示部に表示された撮像画像に調査領域を設定する部位判定部と、上記調査領域に関する画像及び設定の少なくとも一方を分析する分析部と、上記分析部の分析結果を用いてデータベースを参照することで、上記調査領域の画像の不具合の要因を求める検索部と、を具備する。【選択図】図１

Description

本発明は、タッチパネルを備えたものに好適な撮影機器、撮影支援方法、表示装置及び表示方法に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては表示部を有して、撮影画像を表示する機能を有するものもある。また、表示部にメニュー画面を表示して、撮影機器の操作を容易にしたものもある。更に操作性を向上させるために、表示パネルにタッチパネルを配置して、タッチパネルに対するタッチ操作によって撮影機器の操作が可能なものもある。

この種の撮影機器においては、各種撮影パラメータを自動的に最適値に設定するオートモードを備えるものがある。例えば、フォーカスを自動調整するオートフォーカス機能、色温度を最適値に設定する色温度自動調整機能等、種々のオートモードが採用されている。

また、多彩な映像表現を可能にするために、オートモードだけでなく、各種撮影パラメータの設定をマニュアルで行うマニュアルモードも採用されている。しかしながら、一般ユーザが、オートモード及びマニュアルモードによる全ての撮影パラメータの設定に関して熟知している訳ではなく、ユーザが意図した撮影が行われるとは限らない。

そこで、特許文献１においては、自動でモード選択する撮影機器が開示されている。

特開２０１０−２５２０７４号公報

しかしながら、特許文献１の提案を採用したとしても、撮像画像の全ての領域について、ユーザが希望する撮影を行うことは困難であり、オートモード又はマニュアルモードによる撮影パラメータの設定によっては、撮像画像の全て又は一部の領域についてユーザの意図しない撮影が行われてしまうことがあるという問題があった。

本発明は、ユーザが意図する撮影を行うためのパラメータ設定を効果的に支援することができる撮影機器、撮影支援方法、表示装置及び表示方法を提供することを目的とする。

本発明に係る撮影機器は、被写体を撮像し撮像画像を得る撮像部と、上記撮像画像を表示する表示部と、上記表示部に表示された撮像画像に調査領域を設定する部位判定部と、上記調査領域に関する画像及び設定の少なくとも一方を分析する分析部と、上記分析部の分析結果を用いてあらかじめ設けられたデータベースを参照することで、上記調査領域の画像の不具合の要因を求める検索部と、を具備する。
また、本発明に係る撮影支援方法は、被写体を撮像して撮像画像を得るステップと、上記撮像画像を表示するステップと、表示された上記撮像画像に調査領域を設定するステップと、上記調査領域に関する画像及び設定の少なくとも一方を分析して分析結果を得るステップと、上記分析結果を用いてあらかじめ設けられたデータベースを参照することで、上記調査領域の画像の不具合の要因を求めるステップと、を具備したものである。
また、本発明に係る表示装置は、画像を表示する表示部と、上記表示部に表示された撮像画像に調査領域を設定する部位判定部と、上記調査領域に関する画像及び設定の少なくとも一方を分析する分析部と、上記分析部の分析結果を用いてデータベースを参照することで、上記調査領域の画像の不具合の要因を求める検索部と、を具備する。
また、本発明に係る表示方法は、画像を表示する表示ステップと、上記表示部に表示された撮像画像に調査領域を設定する部位判定ステップと、上記調査領域に関する画像及び設定の少なくとも一方を分析する分析ステップと、上記分析部の分析結果を用いてデータベースを参照することで、上記調査領域の画像の不具合の要因を求める検索ステップと、を具備する。

本発明によれば、ユーザが意図する撮影を行うためのパラメータ設定を効果的に支援することができるという効果を有する。

本発明の一実施の形態に係る撮影機器を示すブロック図。 図２は失敗ＤＢ１９ａの内容を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するためのフローチャート。 撮像状態についての不満要因を求める手法を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するためのフローチャート。 撮像状態についての不満要因を求める手法を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するためのフローチャート。 撮像状態についての不満要因を求める手法を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するためのフローチャート。 撮像状態についての不満要因を求める手法を説明するための説明図。 撮像状態についての不満要因を求める手法を説明するための説明図。 カメラ制御を説明するためのフローチャート。 図１７中の意図判定処理を具体的に示すフローチャート。 ユーザによる調査領域の指定を説明するための説明図。 操作支援表示を示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は本発明の一実施の形態に係る撮影機器を示すブロック図である。本実施の形態は、ユーザが撮像画像に不満を感じるであろう画像の特徴や撮影パラメータの設定に関するデータベース（失敗データベース）を記録部等に設けることで、ユーザに画像の不具合の要因を提示可能にし、そして、ユーザが望ましいと考える撮像画像を得るための撮影パラメータ設定の仕方を効果的に支援することを可能にするものである。
被写体を撮影する際に、得られた画像の画質などが、見たもの、感じたものと撮影結果が異なる（不適切要因がある）ことは多いが、撮影機器における撮影パラメータは多く、どのような操作によって、どのような効果が得られるかを初心者がとっさに判断できないことがあり、誤った操作を行って、そのままになっていることがあっても、気がつかず、対策も分からない状況は多かった。

本実施の形態における撮影機器１は、本体部１０及び交換レンズ２０によって構成されている。本体部１０は、撮影機器１の主要な回路部分が収納されており、前面に交換レンズ２０が着脱自在に取り付けられている。

交換レンズ２０は、鏡筒２２内に、本体部１０の撮像部１２に被写体像を導く光路部２１を有している。光路部２１は、物体側から撮像部１２の撮像面（像面）に至る光軸上に図示しない複数のレンズが配置されて構成される。即ち、光路部２１中には、ピント合わせによりフォーカス（合焦）状態に設定するために可動されるフォーカスレンズ及びフォーカス状態で変倍するズームレンズを有する。また、光路部２１は、これらのレンズ及び絞りを駆動するピント制御部２１ａ、ズーム制御部２１ｂ及び絞り機構部２１ｃを有する。

ピント制御部２１ａ及びズーム制御部２１ｂは、駆動部２４に制御されて、これらのフォーカスレンズ及びズームレンズを制御するようになっている。また、絞り機構部２１ｃは、絞り制御部２５に制御されて、図示しない絞りを駆動する。絞りは、例えば、光路部２１の所定のレンズ相互間に配置される。

鏡筒２２には、ユーザによる撮影に関するパラメータ、例えば、ズームや絞りに関するパラメータの設定操作のために、操作リング２２ａが設けられている。操作検出部２７は、操作リング２２ａに対するユーザ操作を検出して検出結果を制御部２３に出力する。制御部２３は、マイコン等によって構成されており、操作検出部２７の検出結果と後述する本体部１０の信号処理及び制御部１１からの信号とに基づいて、各部を制御する。

制御部２３の駆動制御部２３ａは、操作検出部２７の検出結果と信号処理及び制御部１１の制御とに従って各種制御信号を発生する。例えば、駆動制御部２３ａは、フォーカス信号及びズーム信号を発生して、駆動部２４を制御する。また、駆動制御部２３ａは、絞り制御信号を発生して、絞り制御部２５を制御する。

駆動部２４は、フォーカス信号に基づいてピント制御部２１ａを駆動制御し、ズーム信号に基づいてズーム制御部２１ｂを駆動制御する。また、絞り制御部２５は、絞り制御信号に基づいて絞り機構部２１ｃを駆動制御する。

ピント制御部２１ａはレンズの位置に対応した信号をレンズ位置判定部２６に出力する。また、ズーム制御部２１ｂはズームレンズの位置（ズーム位置）に対応した信号をレンズ位置判定部２６に出力する。レンズ位置判定部２６は、ピント位置及びズーム位置を判定して判定結果を制御部２３に出力する。制御部２３は、ピント位置及びズーム位置の判定結果を用いて、回転操作や信号処理及び制御部１１からの制御信号に応じたピント位置及びズーム位置となるように、駆動部２４を制御する。

交換レンズ２０には、通信部２８が設けられている。また、本体部１０には通信部１３が設けられている。通信部２８は、所定の伝送路を介して本体部１０の通信部１３との間で情報の送受を行う。制御部２３は、本体部１０の通信部１３との間の通信が確立すると、記録部２９に格納したレンズ固有の情報及びズーム操作に関する情報、ピント位置、絞り状態等の情報をレンズ情報として通信部２８，１３によって本体部１０に送信させることができる。

なお、レンズ情報には、現在の焦点距離、Ｆ値等のテーブルが含まれており、更に、ズーム状態に応じた最短焦点距離、無限遠距離等のテーブルも含まれている。レンズ情報により、本体部１０は、交換レンズ２０がどのようなズーム機能を有しているか、ズームレンズの焦点距離範囲（倍率）、焦点距離、最短焦点距離、無限遠距離、明るさナンバー等を認識することができる。また、制御部２３は、操作検出部２７の検出結果の情報も本体部１０に送信するようになっている。

撮影機器１を構成する本体部１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部１２を有している。撮像部１２は、本体部１０の前面に設けられた交換レンズ２０からの被写体像を光電変換して撮影画像を得る。撮像部１２は、信号処理及び制御部１１によって駆動制御されて、撮像画像を出力する。なお、撮像部１２の撮像素子として、画像構成のための撮像用画素（通常画素）以外に、焦点検出用の画素（以下、ＡＦ画素という）が構成された撮像素子を採用してもよい。

信号処理及び制御部１１は、例えばＣＰＵ等によって構成されて撮影機器１の各部を制御する。信号処理及び制御部１１は、撮像部１２に撮像素子の駆動信号を出力すると共に、撮像部１２からの撮影画像を読み出す。信号処理及び制御部１１は、読み出した撮影画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。撮像部１２の出力には、ＡＦ画素からの画素信号も含まれていることもあり、この場合には、信号処理及び制御部１１は、ＡＦ画素の出力を用いてフォーカス制御のための演算を行うことができる。

本体部１０には、時計部１４及び操作判定部１５も配設されている。時計部１４は信号処理及び制御部１１が用いる時間情報を発生する。操作判定部１５は、本体部１０に設けられた図示しないレリーズボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部に対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部１１に出力するようになっている。信号処理及び制御部１１は、操作信号に基づいて、各部を制御する。

信号処理及び制御部１１は、撮像画像の記録及び再生に関する処理を行うことかできる。例えば、信号処理及び制御部１１は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部１９に与えて記録させることができる。記録部１９としては、例えばカードインターフェースを採用することができ、記録部１９はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。

本実施の形態において、記録部１９には、後述する失敗データベース（ＤＢ）１９ａが記録されるようになっている。また、記録部１９は、後述する不満要因を求めるための各種判定結果を保持するようになっている。また、記録部１９には、不満要因を解消するための操作支援に関する情報（操作支援情報）も記録されている。

信号処理及び制御部１１の表示制御部１１ａは表示に関する各種処理を実行する。表示制御部１１ａは、信号処理後の撮影画像を表示部１７及び接眼表示部１８に与えることができる。表示部１７及び接眼表示部１８は、ＬＣＤ等の表示画面を有しており、表示制御部１１ａから与えられた画像を表示する。また、表示制御部１１ａは、各種メニュー表示等を表示部１７及び接眼表示部１８の表示画面に表示させることもできるようになっている。

信号処理及び制御部１１は、記録部１９に記録されている撮像画像を読み出して伸張処理することができる。表示制御部１１ａは伸張処理された撮像画像を表示部１７や接眼表示部１８に与えることで、記録画像の再生が可能である。

表示部１７は、後述するように、撮像画像を表示する表示画面１７ｂ（図１９参照）を有している。また、表示画面１７ｂ上には、タッチパネル１７ａが設けられている。タッチパネル１７ａは、ユーザが指で指し示した表示画面１７ｂ上の位置に応じた操作信号を発生することができる。この操作信号は、信号処理及び制御部１１に供給される。これにより、信号処理及び制御部１１は、ユーザが表示画面１７ｂ上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部１７は、本体部１０の例えば背面の略全域を占めるように配設されており、撮影者は、撮影時に表示部１７の表示画面１７ｂ上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。

本体部１０には被写体検出部１６が設けられている。被写体検出部１６は、撮像画像に対する公知の手法によって、撮像画像から被写体検出処理を行う。例えば、被写体検出部１６は、顔の明るさの特徴をモデル化した複数の濃淡画像と撮影画像とを順次比較することで、人物の顔を検出することもできる。また、被写体検出部１６は、人物の顔だけでなく、人物の体全体を検出することも可能である。更に、被写体検出部１６は、例えばパターン判定により、ペットや特定の物体の被写体又はその一部等の領域を検出することも可能である。

本実施の形態においては、ユーザの撮影パラメータの設定を支援するために、信号処理及び制御部１１には、部位判定部１１ｂ、画像及び設定分析部（画像分析部）１１ｃ、検索部１１ｄ及び撮影支援部１１ｅが設けられている。なお、画像及び設定分析部（画像分析部）１１ｃは、画像のみを分析しても良いし、画像や画質に影響するピントや露出合わせの位置を含む設定、撮影パラメータの設定がどうなっているかを分析するものであっても良い。

部位判定部１１ｂは、被写体検出部１６と協働して、ユーザが指定した部位を判定する。例えば、ユーザが撮像画像中の特定の領域や被写体をタッチパネル１７ａのタッチ操作等によって指定すると、部位判定部１１ｂは、ユーザのタッチ位置に対応する撮像画像中の被写体の領域（以下、調査領域という）を判定して判定結果を出力する。なお、部位判定部１１ｂは、ユーザがタッチパネル１７ａに対するスライド操作等によって領域を指定した場合には、その領域を調査領域としてもよい。

画像及び設定分析部１１ｃと検索部１１ｄは、ユーザが撮像画像について不満を感じるであろう要因（以下、単に不満要因という）を推定する。画像及び設定分析部１１ｃは、部位判定部１１ｂが判定した調査領域について画像及び設定の分析を行い分析結果を得る。検索部１１ｄは、画像及び設定分析部１１ｃの分析結果に基づいて失敗データベース（ＤＢ）を検索することで、不満要因を求める。この失敗データベース（データベース）は、分析した画像の状態や位置などをもとに、その画像の特徴と論理的に関連するであろう撮影時の要因をカメラの操作や設定に置き換えたものの関係を、カメラの出荷時の工程での書き込みや、カメラがネットを介して通信した結果に従って、記録部に記録したものである。

失敗データベース１９ａは、不満要因として露出、色、ピント、ボケの４つの要因が設定されており、これらの要因を特定するための画像特徴に関する情報を記憶する。即ち、画像及び設定分析部１１ｃは、画像及び設定の分析によって、調査領域についての画像特徴を求め、求められた画像特徴に基づいて検索部１１ｄが失敗データベース１９ａを検索することで、画像にどのような不具合があるかを示す不満要因を求めるのである。前述のように、この失敗データベース（データベース）は、分析した画像の状態や位置などをもとに、その画像の特徴と論理的に関連するであろう撮影時の要因をカメラの操作や設定に置き換えたものの関係を、カメラの出荷時の工程での書き込みや、カメラがネットを介して通信した結果に従って、記録部に記録したものである。画像の特徴としては、光電変換結果のレベルやバランス、画素間、領域間の差異などを検出すればよく、これらは、人間が目視で測定することは困難だが、カメラ内の信号の分析からは容易である。もちろん、解像感やコントラストなど、より高度な判定を要因に加えても良い。この場合は、圧縮率や有効画素数や画素加算なども要因になる。コントラスト調整やガンマ変換など画像処理のかけかたなどもカメラの設定によって判定要素になりうる。これらの画像の特徴、画質などを、操作に置き換えて考えるのは経験や知識や、状況に応じての複雑な判断が必要であったが、このデータベースには、そのような知識による関連づけをあらかじめ、カメラが持っていて、ユーザに分かりやすくアドバイスが出せるようになっている。カメラ内での設定や演算や処理などは、一般には初心者のユーザには理解できないが、ユーザの操作に置き換えれば理解が容易になり、次のアクションが可能となる。このデータベースからユーザが指定した位置の画像の特徴をもとに、検索部が検索を行い、そこで求めた、失敗など不適切要因を解消するための操作支援情報に基づく操作支援表示を表示させる撮影支援部を持つことは大変有意義で、ユーザーフレンドリーな機器となる。

推定された不満要因の情報は撮影支援部１１ｅに与えられる。撮影支援部１１ｅは、検出された不満要因に応じて、その不満要因を除去するための情報をユーザに提供するようになっている。例えば、撮影支援部１１ｅは、記録部１９に記録されている情報を読み出して表示制御部１１ａに与えることにより、不満要因毎に適切な操作を支援するための操作支援表示を表示させるようにしてもよい。

図２は失敗ＤＢ１９ａの内容を説明するための説明図である。図２（ａ）は部分判定用データベースを示し、図２（ｂ）は全体判定用データベースを示している。図２（ａ），（ｂ）は、丸印によって不満要因を判定する画像特徴を示している。もちろん、解像感やコントラストなど、より高度な判定をこれも画像の特徴として要因に加えても良い。

図２は不満要因として露出、色、ピント、ブレを求めるものであり、判定する画像特徴として部分的な特徴と画像全体の特徴とに分けて記述されている。なお、画像特徴は、画像の分析によって得られる特徴だけでなく、撮影パラメータの設定によって得られる特徴も含む。図２の丸印は、分析の結果、各画像特徴の項目のいずれに該当する場合に不満要因とするかを示している。例えば、ブレに関しては、分析結果によって、動きベクトル、コントラスト、手ブレ補正のオンオフ及びシャッタースピードのうちのいずれか１つに不具合がある場合に、ぶれの不満要因があることを示す。

次に、図３乃至図１６を参照して、各不満要因の検出について説明する。図３、図７、図１１、図１４は撮像状態についての不満要因を求める手法を説明するためのフローチャートであり、図４乃至図６、図８乃至図１０、図１２、図１３、図１５、図１６はその説明図である。

図３は色に関する不満を検出する場合のフローチャートを示している。画像及び設定分析部１１ｃは、図３のステップＳ１において、調査領域について、撮像画像の成分であるＲＧＢのいずれかが飽和しているか否かを判定し、判定結果を記録部１９に記録する（ステップＳ２）。また、画像及び設定分析部１１ｃは、ステップＳ３において、調査領域について、撮像画像の成分であるＲＧＢのいずれかが閾値以下のレベルであるか否かを判定し、判定結果を記録部１９に記録する（ステップＳ４）。

図４及び図５は画像及び設定分析部１１ｃの色の不満に関する画像分析を説明するためのものである。図４（ａ）は撮像画像３１を示しており、撮像画像３１中には、花の画像３２及び人物の画像３３が写されていることを示している。撮像画像３１は表示部１７の表示画面１７ｂにスルー画表示される。図４（ｂ）は横軸に撮像画像３１の水平位置に対応する位置をとり、縦軸に撮像画像３１中の水平線Ａ上の画素の像レベルをとって、水平線Ａ上の各画素のＲ，Ｇ，Ｂ成分のレベルを示している。

図４（ｂ）の例では、像レベルは０〜２５５の段階的なレベルをとる。図４（ｂ）の例は、撮像画像３１中の花の画像３２の部分において、Ｒ成分のレベルが飽和していることを示している。画像及び設定分析部１１ｃは、図４（ｂ）の状態を検出すると、飽和しており不具合であるものとする判定結果を記録する。

また、図５は図４（ｂ）と同様の表示方法によって、撮像画像３１中の花の画像３２の部分において、Ｒ成分のレベルが不足しており、ノイズレベルになっていることを示している。画像及び設定分析部１１ｃは、図５の状態を検出すると、ＲＧＢ成分の何れかが不足しており不具合であるものとする判定結果を記録する。ノイズレベルは、ユーザによって許しうるレベルが変わる可能性があり、例えば、飽和レベルの１／１００などに閾値を設定して、これより低いかどうかという判定の仕方でも良い。これも画像の特徴、画素信号の特徴と言うことができる。

次のステップＳ５において、画像及び設定分析部１１ｃは、現在の色温度設定が自動設定による最適な色温度から比較的大きく異なるか否かを検出する。色温度の設定は、画像全体に影響を与える。画像及び設定分析部１１ｃは、例えば、ユーザによって設定された現在の色温度設定と自動設定により得られる最適な色温度設定との差が所定の閾値を超えているか否かを判定し、判定結果を記録部１９に記録する（ステップＳ６）
図６は色温度の設定を説明するための説明図である。図６の矢印は現在の色温度の設定値（設定色温度）と自動設定による最適な色温度（自動設定色基温度）とを示している。図６の例は、ユーザによる設定色温度が４０００Ｋであり、自動設定色温度が１２０００Ｋであることを示しており、この場合には、画像及び設定分析部１１ｃは、色温度設定が最適な色温度設定から大きくずれており不具合であると判定して、その判定結果を記録する。

図７は露出に関する不満を検出する場合のフローチャートを示している。画像及び設定分析部１１ｃは、図７のステップＳ１１において、調査領域について、撮像画像の輝度値が飽和しているか否かを判定し、判定結果を記録部１９に記録する（ステップＳ１２）。また、画像及び設定分析部１１ｃは、ステップＳ１３において、調査領域について、撮像画像の輝度値が閾値以下のレベルであるか否かを判定し、判定結果を記録部１９に記録する（ステップＳ１４）。

図８及び図９は画像及び設定分析部１１ｃの露出の不満に関する画像分析を説明するためのものである。図８（ａ），図９（ａ）は図４（ａ）と同様の撮像画像３１を示しており、図８（ｂ），図９（ｂ）は横軸に撮像画像３１の水平位置に対応する位置をとり、縦軸に撮像画像３１中の水平線Ａ上の像レベルをとって、水平線Ａ上の各画素の輝度レベルを示している。

図８（ｂ）の例では、像レベルは０〜２５５の段階的なレベルをとる。図８（ｂ）の例は、撮像画像３１中の花の画像３２の部分において、輝度レベルが飽和していることを示している。画像及び設定分析部１１ｃは、図８（ｂ）の状態を検出すると、調査領域について露出が多すぎて不具合であるものとする判定結果を記録する。

また、図９（ｂ）の例は、撮像画像３１中の花の画像３２の部分において、輝度レベルが不足していることを示している。画像及び設定分析部１１ｃは、図９（ｂ）の状態を検出すると、調査領域について露出が少なすぎて不具合であるものとする判定結果を記録する。

次のステップＳ１５において、画像及び設定分析部１１ｃは、ヒストグラム判定を行い判定結果を記録部１９に記録する（ステップＳ１６）。ヒストグラムは、画像全体の輝度分布を示すものであり、画像及び設定分析部１１ｃは、例えば、ヒストグラムに偏りが有るか否かを判定するのである。

図１０はヒストグラムを用いた画像全体の輝度判定を説明するための説明図であり、横軸に０〜２５５段階の輝度値をとり縦軸にピクセル数をとってヒストグラムを示している。図１０（ａ）は全体に暗過ぎる画像であることを示し、図１０（ｂ）は全体に明る過ぎる画像であることを示しており、これらの場合には不具合であることを示す判定結果が記録される。これら色温度などバランスやヒストグラムなど分布も画像の特徴と言うことができる。また、１１ｃは、こうして、単純に画質（画像の特徴）のみを見るのではなく、設定ポイントや、制御が行われたポイントや、ユーザの気にしたポイントの差異なども分析するので、単に画像分析部ではなく、画像及び設定分析部と記載した。例えば、画面内中央に露出を合わせる制御をした時には、それ以外には露出合わせ出来てないという判定をすることはあり得る。こうした判断はシンプルであるというメリットはあり、間違いではなく、ユーザに知らせるのは有意義であると言える。ちろん、画面内に顔があることを判定して、そこに露出や色を合わせるカメラでは、顔の部分とそれ以外という画像の特徴判定方法もある。

図１１はピントに関する不満を検出する場合のフローチャートを示している。画像及び設定分析部１１ｃは、図１１のステップＳ２１において、調査領域について、その周辺との比較によって、コントラストが所定の閾値よりも低いか否かを判定し、判定結果を記録部１９に記録する（ステップＳ２２）。また、画像及び設定分析部１１ｃは、ステップＳ２３において、位相差法によって求めたデフォーカス量である２像間距離が調査領域について所定の閾値よりも大きくなっているか否かを判定し、判定結果を記録部１９に記録する（ステップＳ２４）。

図１２及び図１３は画像及び設定分析部１１ｃのピントの不満に関する画像分析を説明するためのものである。図１２（ａ），図１３（ａ）は図４（ａ）と同様の撮像画像３１を示しており、図１２（ｂ）は横軸に撮像画像３１の水平位置に対応する位置をとり縦軸に撮像画像３１中の水平線Ａ上のコントラスト値をとって、水平線Ａ上におけるコントラストの変化を示し、図１３（ｂ）は横軸に撮像画像３１の水平位置に対応する位置をとり縦軸に撮像画像３１中の水平線Ａ上の２像間距離をとって、水平線Ａ上におけるピントずれの変化を示している。

図１２（ｂ）の例は、撮像画像３１中の花の画像３２の部分において、コントラストが閾値よりも低下していることを示している。画像及び設定分析部１１ｃは、図１２（ｂ）の状態を検出すると、コントラストが低下しており、調査領域についてピントが合っていないものとする不具合の判定結果を記録する。

また、図１３（ｂ）の例は、撮像画像３１中の花の画像３２の部分において、ピントがずれていることを示している。画像及び設定分析部１１ｃは、図１３（ｂ）の状態を検出すると、調査領域についてピントがずれているものとする不具合の判定結果を記録する。

次のステップＳ２５において、画像及び設定分析部１１ｃは、オートフォーカスによるフォーカス設定値との差の判定を行い判定結果を記録部１９に記録する（ステップＳ２６）。画像及び設定分析部１１ｃは、現在のフォーカス量とオートフォーカス設定値との差が所定の閾値よりも大きいか否かを判定し、大きい場合には画像全体としてピントがずれているものとして不具合の判定結果を記録部１９に記録する（ステップＳ２６）。このフォーカス量は、ピントを合わせる距離の差異やピント合わせ用レンズの停止位置の差異や、位相差ＡＦ時の位相差などを用いてもよい。また、レンズの特性や絞り値、被写体によって、この値は適宜変化しうるが、これを考慮した規定値を切り換えて利用したり、ユーザの設定が可能にしておいても良い。また、画面内のピント合わせポイントと判定ポイントの差異とか、設定に関する差異も考慮しても良い。画像及び設定分析部１１ｃは、こうして、単純に画質のみを見るのではなく、設定ポイントや、制御が行われたポイントや、ユーザの気にしたポイントの差異なども分析するので、単に画像分析部ではなく、画像及び設定分析部と記載した。例えば、画面内中央にピントを合わせる制御をした時には、周辺にはピント合わせ出来てないという判定をすることはシンプルで判定しやすく、一つのあり方で間違いではなく、ユーザに知らせるのは有意義であると言える。この場合は、ピント合わせ位置との位置差を画像の特徴として判定してもよい。もちろん、画面内に顔があることを判定して、そこにピント合わせするカメラでは、顔の部分とそれ以外という画像の特徴判定方法もある。

図１４はブレに関する不満を検出する場合のフローチャートを示している。画像及び設定分析部１１ｃは、図１４のステップＳ３１において、シャッタースピードが所定の閾値よりも長いか否かを判定し、判定結果を記録部１９に記録する（ステップＳ３２）。また、画像及び設定分析部１１ｃは、ステップＳ３３において、手ブレ補正機能がオフになっているか否かを判定し、判定結果を記録部１９に記録する（ステップＳ３４）。

更に、画像及び設定分析部１１ｃは、ステップＳ３５において、調査領域についての動きベクトルが所定の閾値よりも大きいか否かを判定し、判定結果を記録部１９に記録する（ステップＳ３６）。また、画像及び設定分析部１１ｃは、ステップＳ３７において、画像全体についての平均的な動きベクトルが所定の閾値よりも大きいか否かを判定し、判定結果を記録部１９に記録する（ステップＳ３８）。

図１５及び図１６は画像及び設定分析部１１ｃのぶれの不満に関する画像分析を説明するためのものである。図１５（ａ），図１６（ａ）は図４（ａ）と同様の撮像画像３１を示しており、図１５（ｂ），図１６（ｂ）は横軸に撮像画像３１の水平位置に対応する位置をとり、縦軸に撮像画像３１中の水平線Ａ上の像レベルをとって、水平線Ａ上における動きベクトルの変化を示している。

図１５（ｂ）の例では、撮像画像３１中の花の画像３２の部分において、動きベクトルが閾値よりも大きくなったことを示している。画像及び設定分析部１１ｃは、図１５（ｂ）の状態を検出すると、調査領域について、動きベクトルが大きく、ブレのある画像になっているものとする判定結果を記録する。

また、図１６（ｂ）の例は、撮像画像３１中の花の画像３２の部分及び人物の画像３３の部分において、動きベクトルが閾値よりも大きくなったことを示している。画像及び設定分析部１１ｃは、図１６（ｂ）の状態を検出すると、画像全体について、動きベクトルが大きく、ブレのある画像になっているものとする判定結果を記録する。この動きベクトルは、動画撮影などで使う厳密なものである必要はなく、二つの画像（コマ）間のコントラストの差異や変化を利用した値でも良い。さらに長い露出などでは像が流れるが、所定の方向に像の流れがあるかどうかを、分布の特徴から解析しても良い。例えば、ある方向に拡縮して、コントラストがあがるような場合は、ぶれたと考えることが出来、これも画像の特徴であり分析可能である。これは画面内の画像の変化方向の分析と言える。特に画像内一律なら、対象物の動きによる被写体ぶれではなく、ユーザが注意すべき手ぶれなどの可能性が高い。もちろん、これらを分離して判定しても良い。また、被写体や撮影条件によって、この値は適宜変化しうるが、これを考慮した規定値を切り換えて利用したり、ユーザの設定が可能にしておいても良い。例えば、閾値としては、数画素分、コントラスト位置がずれたかどうかで判定するなどで良い。流し撮りなどで意図的に背景をぶらす撮影もあるので、画面内の位置や撮影方法（機器に加えられた加速度などで判定）、背景判定、主被写体判定等に応じた判断を行っても良い。これらも画像の特徴、画像間の特徴と言うことができる。もちろん、画面内に顔があることを判定して、そこに対して撮影制御するカメラでは、顔の部分を検出し、それ以外を背景とするという画像の特徴判定方法もある。

なお、ステップＳ３７においては、画像全体のブレの検出に動きベクトルを用いる例について示したが、他の手法、例えばコントラスト判定を利用してもよい。例えば、水平方向にブレのある画像を水平の一方向に圧縮すると、当該画像部分のコントラストが増加することがある。この手法を利用して水平の一方向に画像を圧縮することで、画像全体のブレの検出を行うことができる。

次に、このように構成された実施の形態の動作について図１７乃至図２０を参照して説明する。図１７はカメラ制御を説明するためのフローチャートであり、図１８は図１７中の意図判定処理を具体的に示すフローチャートである。また、図１９はユーザによる調査領域の指定を説明するための説明図である。

撮影機器１の電源が投入されると、信号処理及び制御部１１は、図１７のステップＳ４１において、撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、信号処理及び制御部１１は、ステップＳ４２において、再生モードが指示されたか否かを判定する。再生モードが指示されると、信号処理及び制御部１１は、ステップＳ４３において、サムネイルの一覧表示を行う。サムネイル一覧を参照したユーザによる画像の選択が行われると、ステップＳ４４からステップＳ４５に処理を移行して、信号処理及び制御部１１は選択画像の再生を行う。再生が終了すると（ステップＳ４６）、ファイル一覧表示を繰り返す。ファイル選択が行われない場合には、ステップＳ４７において再生モードの終了を判定する。

一方、撮影モードが指示されると、信号処理及び制御部１１は、ステップＳ５１において、撮像部１２からの画像信号に基づいて、表示部１７に撮像画像（スルー画）をライブビュー表示させる。信号処理及び制御部１１は、ステップＳ５２において、各種撮影パラメータを設定し、ステップＳ５３において、撮像画像から動きベクトルを判定する。

ステップＳ５４では、撮影操作が行われたか否かが判定される。例えばレリーズボタン操作等によって静止画撮影が指示されると、信号処理及び制御部１１は、ステップＳ５５において撮影を行う。即ち、信号処理及び制御部１１は、撮像部１２からの撮像画像に信号処理を施して圧縮した後、記録部１９に与えて記録する。また、ステップＳ５５では、撮影と同時に、撮影パラメータについても記録部１９に記録される。更に、画像及び設定分析部１１ｃによって、各部の位相ＡＦデータ（２像間距離）や動きベクトルの記録も行われる（ステップＳ５６）。次に、信号処理及び制御部１１は、記録した撮像画像を表示部１７に与えてレックビュー表示させる（ステップＳ５７）。

本実施の形態においては、次のステップＳ５８において、ユーザの意図判定が行われる。図１８は図１７中の意図判定処理の一例を示しており、先ず、ステップＳ６１において、部位判定部１１ｂによる調査領域の判定が行われる。

図１９は表示画面１７ｂのレックビュー表示による撮像画像３１を示している。撮像画像３１中には、花の画像３２及び人物の画像３３が含まれる。いま、ユーザが花の画像３２について撮影結果に不満を持っているものとする。ユーザは不満の原因が自分では分からず、その解決法も分からない。この場合でも、本実施の形態は、ユーザが撮影結果に不満を持っている画像部分を指定することで、不満を与えている要因及びその解決方法を提示することができる。なお、ユーザは、不満を持っている画像部分とて画像全体を指定してもよい。

例えば、ユーザは、撮像画像３１中の不満を持っている画像部分をタッチ操作する。例えば、図１９に示すように、花の画像３２の部分をタッチする。部位判定部１１ｂは、ユーザのタッチ操作及び被写体検出部１６の検出結果を用いて、ユーザが花の画像３２の撮影結果に不満持っていることを検出し、花の画像部分を調査領域に設定する。

次に、画像及び設定分析部（画像分析部、画像の特徴分析部とも言える）１１ｃは、色についての不満検出（ステップＳ６２）、露出についての不満検出（ステップＳ６３）、ピントについての不満検出（ステップＳ６４）、ブレについての不満検出（ステップＳ６５）を順次実行する。ステップＳ６２〜Ｓ６５の処理には、例えば、図３、図７、図１１、図１４のフローが採用される。

検索部１１ｄは、ステップＳ６２〜Ｓ６５の不満検出処理の検出結果を用いて、失敗データベース１９ａを検索して、不満要因を推定する。例えば、図２に示す失敗データベース１９ａの例では、調査領域の輝度レベルの飽和又は不足、画像全体のヒストグラムの偏りの何れかが生じている場合には、ユーザの不満の要因が露出の不具合であるものと推定される。なお、不満要因は１つに限られない。

撮影支援部１１ｅは、検索部１１ｄによって検索された不満要因に応じて、その不満要因を除去するための情報をユーザに提供するようになっている。例えば、撮影支援部１１ｅは、表示制御部１１ａを制御して、適切な画像を得るための操作を支援する操作支援表示を表示させる。

図２０はこの場合の操作支援表示を示す説明図である。図２０（ａ）は不満要因表示を示している。撮影支援部１１ｅは、表示部１７の表示画面１７ｂ上に、不満要因を示す不満要因表示を表示する。図２０（ａ）の例では、要因表示部（要因アイコン）４１ａ〜４１ｄの表示の色の相違等によって、不満要因として考えられる色、露出、ピント及びブレのうちいずれの不満要因が検出されたかが示される。図２０（ａ）の例では、斜線にて示す色の相違によって、露出が不満要因とて検出されたことを示している。

ユーザは、不満要因を解消するための操作を知りたい場合には、解消したい不満要因を示す要因表示部４１ｂをタッチ操作する。これにより、撮影支援部１１ｅは、図２０（ｂ）に示す操作支援詳細表示（支援アイコン）４２ａ，４２ｂを表示する。図２０（ｂ）は露出に関する表示を示しており、操作支援詳細表示（支援アイコン）４２ａは、ユーザにプログラム（Ｐ）モードでの撮影を促すものであり、操作支援詳細表示（支援アイコン）４２ｂは、ユーザに露出補正をすることを促すものである。

なお、プログラムモードにおいては、例えば、ＩＳＯ、シャッタースピード、絞り等について、信号処理及び制御部１１による自動設定が行われる。ユーザが表示４２ａをタッチ操作することで、信号処理及び制御部１１プログラムモードを設定する。

また、操作支援詳細表示４２ｂには、露出補正のためのボタン表示４２ｃも表示されており、ユーザがボタン表示４２ｃの＋印又は−印をタッチすることで、信号処理及び制御部１１は露出を＋方向又は−方向に変化させる。

このように、ユーザが撮像画像についての不満の原因が分からず、その解決法も分からない場合でも、不満のある画像部分をタッチ操作することで、不満要因を表示し、更に、不満を解消するための設定方法を提示して、不満解消のための操作を簡単化することを可能にする。撮影機器の複雑な機能や、その機能を達成するためのメニューの操作方法等を覚えることなく、比較的簡単に、希望する撮影が可能となる。

なお、図２０（ｃ）はピントに関する表示を示している。操作支援詳細表示（支援アイコン）４３ａは、ユーザにオートフォーカス（ＡＦ）モードでの撮影を促すものであり、操作支援詳細表示（支援アイコン）４３ｂは、ユーザにマニュアルフォーカス（ＭＦ）モードでの撮影を促すものである。

また、図２０（ｄ）は色に関する表示を示している。操作支援詳細表示（支援アイコン）４４ａは、ユーザに露出補正を促すものであり、操作支援詳細表示（支援アイコン）４４ｂは、ユーザに色温度の設定を促すものである。また、図２０（ｅ）はブレに関する表示を示している。操作支援詳細表示（支援アイコン）４５ａは、ユーザに手ブレ補正の起動を促すものであり、操作支援詳細表示（支援アイコン）４５ｂは、ユーザにシャッタースピード優先の設定を促すものである。なお、図２０（ｅ）は斜線によって例えばグレー表示を示しており、既に手ブレ補正がオンになっており、ユーザが選択できないことを示している。

ユーザが、操作支援詳細表示（支援アイコン）４３ａ〜４５ａ，４３ｂ〜４５ｂをタッチ操作することで、信号処理及び制御部１１は、対応するモード等の設定が可能な状態に移行するようになっている。ユーザが意図的に本設定を行っている場合は、アイコンを指ではじくことで、指示の取捨選択やキャンセルが出来るようにしても良い。また、ユーザが慣れた操作である場合に、支援アイコンが出ると、画面が見えにくくなって煩わしい場合があるので、こうした工夫は重要である。何度もはじかれたアイコンは出てこないようにしても良く、必要な時のみ、スイッチ操作によって出てくるようにしても良い。

このように本撮実施の形態においては、ユーザが不満に感じるであろう不満要因を特定するための失敗データベースを用い、ユーザが指定した調査領域について、画像の特徴及び設定を分析すると共に失敗データベースを検索することで、不満要因を自動的に検出する。これにより、ユーザは、画像について不満を感じる要因を確実に認識することができる。更に、不満要因を解決するための操作支援表示によって、ユーザが希望する画像を得るための操作方法を提示し、簡単な操作で希望する撮像画像を得るための撮影を可能にする。

高性能の撮影機器では、撮影パラメータが比較的多く、様々な要因が影響することから、撮影した画像の失敗理由や対策は一般ユーザには理解しにくいが、本実施の形態を採用することにより、ユーザは、希望する画像を得るための正しい操作を簡単に認識することができる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよい。撮影機器でなくとも、このような工夫によって、ユーザが希望する画像を正確に観察できる観察装置、表示装置を提供することが可能となる。画像のような少なくとも二次元に分布した情報を扱う機器については、こうしたタッチなどの画面指定操作、位置指定操作など、調査領域設定は、非常にユーザにとって重要な項目である。もちろんタッチ判定以外にカーソル操作などでこれを代用しても良い。また、撮影機器でなくとも、撮影の失敗判定用の表示機器にも、こうした画像の特徴を判定して、ユーザに次回撮影時の示唆や教訓やアドバイスを与える技術は重要である。このとき、データベースは機器内にある必要はなく、ネットで外部のサーバ内の情報を検索できる構成にしても良い。このとき、カメラの機種、スマートフォンの機種ごとのデータベースにしても良い。ここで分析する画像ファイルには、カメラの設定情報が入っていれば、画像の特徴としてピントや露出の制御対象位置に関する設定情報を含ませる事も可能である。ここで画像の特徴と言うことができる項目は、信号レベルや信号のバランスや分布、画面内のパターン変化方向、画素時系列の差異などがある。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮影機器を実現することができる。

１…撮影機器、１０…本体部、１１…信号処理及び制御部、１１ａ…表示制御部、１１ｂ…部位判定部、１１ｃ…画像及び設定分析部、１１ｄ…検索部、１１ｅ…撮影支援部、１２…撮像部、１６…被写体検出部、１７…表示部、１７ａ…タッチパネル、２０…交換レンズ、２３…制御部。

Claims (9)

1. 被写体を撮像し撮像画像を得る撮像部と、
   上記撮像画像を表示する表示部と、
   上記表示部に表示された撮像画像に調査領域を設定する部位判定部と、
   上記調査領域に関する画像及び設定の少なくとも一方を分析する分析部と、
   上記分析部の分析結果を用いてあらかじめ設けられたデータベースを参照することで、上記調査領域の画像の不具合の要因を求める検索部と、
   を具備したことを特徴とする撮影機器。
2. 上記検索部が求めた要因を解消するための操作支援情報に基づく操作支援表示を表示させる撮影支援部
   を具備したことを特徴とする請求項１に記載の撮影機器。
3. 上記不具合の要因は、撮影パラメータの設定変更によって解消される画像の特徴である
   ことを特徴とする請求項１又は２に記載の撮影機器。
4. 上記部位判定部は、上記表示部に配設されたタッチパネルと、
   上記撮像画像中の被写体を検出する被写体検出部と
   を具備したことを特徴とする請求項１乃至３のいずれか１つに記載の撮影機器。
5. 上記撮影支援部は、上記操作支援表示に対する操作によって対応する撮影パラメータの設定画面を表示させる
   ことを特徴とする請求項２乃至４のいずれか１つに記載の撮影機器。
6. 上記画像の特徴は、撮影機器の撮影制御を行った画面内位置と、調査領域の差異の特徴である
   ことを特徴とする請求項３に記載の撮影機器。
7. 被写体を撮像して撮像画像を得るステップと、
   上記撮像画像を表示するステップと、
   表示された上記撮像画像に調査領域を設定するステップと、
   上記調査領域に関する画像及び設定の少なくとも一方を分析して分析結果を得るステップと、
   上記分析結果を用いてあらかじめ設けられたデータベースを参照することで、上記調査領域の画像の不具合の要因を求めるステップと、
   を具備したことを特徴とする撮影支援方法。
8. 画像を表示する表示部と、
   上記表示部に表示された撮像画像に調査領域を設定する部位判定部と、
   上記調査領域に関する画像及び設定の少なくとも一方を分析する分析部と、
   上記分析部の分析結果を用いてデータベースを参照することで、上記調査領域の画像の不具合の要因を求める検索部と、
   を具備したことを特徴とする表示装置。
9. 画像を表示する表示ステップと、
   上記表示部に表示された撮像画像に調査領域を設定する部位判定ステップと、
   上記調査領域に関する画像及び設定の少なくとも一方を分析する分析ステップと、
   上記分析部の分析結果を用いてデータベースを参照することで、上記調査領域の画像の不具合の要因を求める検索ステップと、
   を具備したことを特徴とする表示方法。

Images