JP2017184290A - デジタルカメラ - Google Patents

Abstract

【課題】ユーザの好みに合った撮影設定および／または画像処理設定の設定値を設定すること。
【解決手段】デジタルカメラ１００は、被写体像を撮像する撮像手段１０３と、撮像処理設定値を用いて撮像手段１０３による撮像処理を制御する撮像制御手段１０４と、撮像手段１０３により撮像された画像データに対し、画像処理設定値を用いて画像処理を行う画像処理手段１０４と、過去の撮像処理および／または画像処理における、撮影シーンの特徴量と、撮像処理設定値および／または画像処理設定値とが関連付けられたテーブルを記憶する記憶手段１０７と、現在の撮影における撮影シーンの特徴量を算出する特徴量算出手段１０４と、特徴量算出手段１０４により算出された撮影シーンの特徴量と、記憶手段１０７に記憶されたテーブルとに基づいて、撮像処理設定値および／または画像処理設定値を取得する設定値取得手段１０４と、を備える。
【選択図】図１

Description

本発明は、デジタルカメラに関する。

従来、撮影設定や画像処理設定などの設定値をユーザが自由に設定できるように構成したデジタルカメラが知られている。このようなデジタルカメラにおいて、過去の撮影で用いられた設定値を優先順位順に提示することで、ユーザが好みに合った設定値を簡単に設定できるようにした学習機能付きカメラが知られている（特許文献１参照）。

特許第４４００３１５号公報

ところで、撮影シーンによってユーザの嗜好は様々であることが考えられる。例えば、夕焼けを撮影するシーンの場合、夕焼けを赤く撮影したい人もいれば、暗く撮影したい人、または昼間のように撮影したい人もいると考えられる。また、ミックス光の撮影シーンの場合、蛍光灯に色を合わせて撮影したい人もいれば、電球に色を合わせて撮影したい人もいると考えられる。また、人物を撮影するシーンの場合、日陰にいる人物の顔に色を合わせたい人もいれば、日向にいる人物の顔に色を合わせたい人もいると考えられる。すなわち、撮影シーンによってユーザの好みに合った撮影設定や画像処理設定の設定値は異なることが考えられる。しかしながら、上記従来技術では、撮影シーンごとのユーザの好みについては考慮されていなかったので、必ずしもユーザの好みに合った設定値を設定できなかった。

本発明によるデジタルカメラは、被写体像を撮像する撮像部と、前記撮像部により撮像された画像データに対し、画像処理設定値を用いて画像処理を行う画像処理部と、過去の撮像処理および／または画像処理における、撮影シーンの特徴量と、撮像処理設定値および／または画像処理設定値とが関連付けられたテーブルを記憶する記憶部と、操作部材を介して、前記撮像部により撮像された画像データの項目に対して、段階的に評価データが入力されると、前記段階的な評価データに基づいて、画像処理設定値に変換する変換部と、前記変換部により変換された画像処理設定値と、前記画像処理設定値に対応する撮影シーンの特徴量とを、前記テーブルに登録する登録部を備える。

本発明によれば、ユーザの好みに合った撮影設定および／または画像処理設定の設定値を設定できる。

本発明の一実施の形態によるデジタルカメラの構成を説明する図である。 辞書データの一例を説明する図である。 撮影モード処理の流れを説明するフローチャートである。 再生モード処理の流れを説明するフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本実施の形態におけるデジタルカメラの一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、操作部材１０１と、撮像レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６、記憶装置１０７とを備えている。

操作部材１０１は、ユーザによって操作される種々の入力部材、例えば、メニューボタン、マルチセレクタ、電源スイッチ、シャッターボタンなどを含む。操作部材１０１は、ユーザによって操作されると、この操作に応じた操作信号を制御装置１０４へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットである。モニタ１０６は、デジタルカメラ１００の背面に設けられた液晶モニタであり、メニュー画面を表示したり、撮影画像を再生表示したりする。

撮像レンズ１０２は、被写体像を撮像素子１０３の撮像面に結像するように配置されている。撮像レンズ１０２は、図１では代表して１枚のレンズで表しているが、実際は複数の光学レンズから構成される。

撮像素子１０３は、例えばＣＭＯＳなどのイメージセンサであり、撮像レンズ１０２により結像した被写体像を撮像して、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、ＣＰＵおよびその他の周辺回路等により構成され、デジタルカメラ１００全体の制御を行う。記憶装置１０７には、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用されたりする。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

制御装置１０４は、撮影モードの場合、撮像素子１０３から出力された画像信号に対して所定の画像処理を行って画像データを生成し、例えばＪＰＥＧなどの所定の方式により圧縮処理を行って、メモリカードスロット１０５に挿入されたメモリカードに記録する。また、制御装置１０４は、再生モードの場合、メモリカードスロット１０５に挿入されているメモリカードに記録された画像を再生してモニタ１０６に表示させる。

ところで、デジタルカメラ１００は、画像の撮影処理で用いる撮影設定および撮影画像に対する画像処理で用いる画像処理設定（以下、まとめて撮影画像設定もと呼ぶ）の設定値（パラメータ）を、ユーザが所望に応じて変更できるよう構成されている。なお、撮影設定の設定項目としては、例えば、ミックス光の優先光源露出補正量、調光補正量、測光モード、ＩＳＯ感度、絞り値などが挙げられる。また、画像処理設定の設定項目としては、例えば、ホワイトバランス補正量、色かぶり具合、色再現、輪郭、ニー処理、ホワイトバランスモードなどが挙げられる。

本実施形態のデジタルカメラ１００は、ユーザが操作部材１０１を操作して撮影画像設定を変更すると、この変更内容を撮影シーンの特徴量と共に記録しておき、次回、似たような撮影シーンにおいて、その変更内容を撮影画像設定に反映する点に特徴があるので、以下、この点について詳しく説明する。

＜撮影画像設定の辞書データ＞
図２は、撮影画像設定の変更内容が記録される辞書データの一例を示す図である。なお、この辞書データは、記憶装置１０７に記憶される。辞書データには、ルックアップテーブルの形式で、撮影画像データに基づいて算出される撮影シーンの特徴量（以下、シーン特徴量と呼ぶ）と、撮影画像設定の変更情報とが関連付けられて登録される。シーン特徴量および撮影画像設定の変更情報の組み合わせには、一つずつインデックス番号が割り当てられる。

撮影画像設定の変更情報としては、ユーザによる撮影画像設定の変更内容を、撮影処理および画像処理で用いるパラメータに換算して登録する。なお、図２では、このパラメータが、所定の設定値に対する相対値、又はＡＷＢ（オートホワイトバランス）演算・ＡＥ（自動露出）演算などの算出値に対する相対値である例を示しているが、このパラメータは絶対値であってもよい。また、図２では、撮影画像設定の変更情報の一例として、赤成分の色残し補正量、青成分の色残し補正量、緑判定閾値、ニー処理、露出補正のパラメータを示しているが、この他、上述した撮影画像設定におけるパラメータの変更情報も登録してもよい。

また、図２では、シーン特徴量の一例として、ＡＷＢ演算による演算結果、ＡＷＢ演算の途中演算結果（光源の判定結果）、ＡＥ演算による演算結果を示しているが、この他、顔認識情報やＡＰＥＸ情報などもシーン特徴量として登録してもよい。

本実施形態のデジタルカメラ１００では、上記辞書データを用いてニューラルネットワークによる学習を行う。なお、ニューラルネットワークによる学習には、公知の方法を用いるものとする。このニューラルネットワークは、例えば、シーン特徴量を入力データとして、インデックス番号を出力データとする。制御装置１０４は、例えば、撮影画像設定が変更されて、上記辞書データに新たなシーン特徴量および撮影画像設定の変更情報を登録する際に、登録するシーン特徴量を教師ベクトルとし、そのシーン特徴量に割り当てられたインデックス番号を教師解として、ニューラルネットワークによる学習（ここでは教師あり学習）を実行する。

画像を撮影する際には、現在のシーン特徴量を算出してこのニューラルネットワークに入力する。ニューラルネットワークは、現在のシーン特徴量と最も類似するシーン特徴量を上記辞書データの中から検出し、検出したシーン特徴量に割り当てられたインデックス番号を出力する。このインデックス番号を上記辞書データと照合することで、現在のシーン特徴量と類似するシーン特徴量に関連付けられた撮影画像設定の変更情報が得られる。すなわち、以前に、現在の撮影シーンと似ている撮影シーンで撮影が行われたときの撮影画像設定の変更情報を求めることができる。

＜撮影モード処理＞
図３は、デジタルカメラ１００の撮影モードにおける処理（以下、撮影モード処理と呼ぶ）の流れを説明するフローチャートである。制御装置１０４は、操作部材１０１の不図示の電源スイッチがオン操作されると、電源をオンしてスルー画像の取得を開始すると共に、図３に例示する撮影モード処理を実行するプログラムを起動する。なお、スルー画像とは、撮影指示前に所定のフレームレートで撮像素子１０３により撮像されるモニタ用の画像である。

図３のステップＳ１において、制御装置１０４は、撮影画像設定に上記辞書を適用する辞書適用モードが設定されているか否かを判定する。辞書適用モードの設定は、撮影モード処理の前に予めユーザ操作によって行われてもよいし、撮影モード処理中にユーザ操作によって行われてもよい。制御装置１０４は、辞書適用モードが設定されている場合にはステップＳ１を肯定判定してステップＳ２へ進み、辞書適用モードが設定されていない場合にはステップＳ１を否定判定してステップＳ５へ進む。

ステップＳ２において、制御装置１０４は、撮像素子１０３により撮像されたスルー画像に基づいてシーン特徴量を算出して、ステップＳ３へ進む。

ステップＳ３において、制御装置１０４は、ステップＳ２で算出したシーン特徴量を入力データとし、上記辞書データのニューラルネットワークを用いて撮影画像設定の変更情報を取得する。すなわち、上記辞書データからステップＳ２で算出したシーン特徴量と最も類似するシーン特徴量を検出し、当該検出したシーン特徴量と関連付けられた撮影画像設定の変更情報を取得する。そして、制御装置１０４は、ステップＳ４へ進む。

ステップＳ４において、制御装置１０４は、ステップＳ３で取得した撮影画像設定の変更情報を、今回の撮影処理および画像処理に用いる撮影画像設定として適用する。これにより、以前に、今回の撮影シーンと似ている撮影シーンで撮影が行われたときの撮影画像設定を今回の撮影に反映することができる。また、制御装置１０４は、ステップＳ３で取得した変更情報を適用した撮影設定を用いてスルー画像を撮影し、このスルー画像に対して、ステップＳ３で取得した変更情報を適用した画像処理設定を用いた画像処理を施してモニタ１０６に表示する。さらに制御装置１０４は、この撮影画像設定の変更情報を例えばテキスト情報でモニタ１０６に表示する。これにより、撮影画像設定が現在の撮影シーンに応じてどのように設定されているかをユーザに提示することができる。そして、制御装置１０４は、ステップＳ６に進む。

一方、辞書適用モードではないことによりステップＳ１を否定判定して進むステップＳ５において、制御装置１０４は、既存の撮影画像設定を、今回の撮影処理および画像処理に用いる撮影画像設定として適用する。なお、既存の撮影画像設定とは、例えば、ＡＷＢ演算・ＡＥ演算などによる算出値を用いたり、予め決められたパラメータを用いたりする設定である。また、制御装置１０４は、既存の撮影設定を用いてスルー画像を撮影し、このスルー画像に対して、既存の画像処理設定を用いて画像処理を施してモニタ１０６に表示する。そして、制御装置１０４は、ステップＳ６に進む。

ステップＳ６において、制御装置１０４は、ユーザにより操作部材１０１を介して撮影画像設定の変更が指示された場合には、この指示に従って撮影画像設定を変更して、ステップＳ７へ進む。なお、操作部材１０１を介して撮影画像設定の変更が指示されない場合には、ステップＳ４またはステップＳ５で適用した撮影画像設定のままとする。

ステップＳ７において、制御装置１０４は、シャッターボタンの全押し操作が行われた場合には、現在の撮影設定を用いて撮影処理を行う。そして制御装置１０４は、撮影した画像に対して現在の画像処理設定を用いて画像処理を行って撮影画像データを生成し、メモリカードスロット１０５に挿入されたメモリカードに記録する。そして、制御装置１０４は、ステップＳ８へ進む。

ステップＳ８において、制御装置１０４は、撮影画像設定を上記辞書に登録する辞書登録モードが設定されているか否かを判定する。辞書登録モードの設定は、撮影モード処理の前に予めユーザ操作によって行われてもよいし、撮影モード処理中にユーザ操作によって行われてもよい。制御装置１０４は、辞書登録モードが設定されている場合にはステップＳ８を肯定判定してステップＳ９へ進み、辞書登録モードが設定されていない場合にはステップＳ８を否定判定して撮影モード処理を終了する。

ステップＳ９において、制御装置１０４は、ステップＳ６でユーザにより撮影画像設定の変更が行われた場合には、その変更内容をパラメータに換算して、ステップＳ１０へ進む。

ステップＳ１０において、制御装置１０４は、ステップＳ７で取得した撮影画像データに基づいてシーン特徴量を算出して、ステップＳ１１へ進む。

ステップＳ１１において、制御装置１０４は、ステップＳ９でパラメータに換算した撮影画像設定の変更情報とステップＳ１０で算出したシーン特徴量とを関連付けて、新たなインデックス番号を取得し、上記辞書データに登録する。また制御装置１０４は、この新たな撮影画像設定の変更情報およびシーン特徴量を用いて、上記ニューラルネットワークの学習を実行する。そして、制御装置１０４は、撮影モード処理を終了する。

＜再生モード処理＞
図４は、デジタルカメラ１００の再生モードにおける処理（以下、再生モード処理と呼ぶ）の流れを説明するフローチャートである。制御装置１０４は、例えば、画像の撮影が行われるとその直後に撮影画像を再生すると共に、図４に例示する再生モード処理を実行するプログラムを起動する。

図４のステップＳ２１において、制御装置１０４は、ユーザにより操作部材１０１を介して画像処理設定の変更が指示された場合には、この指示に従って変更した画像処理設定を用いて、再生中の撮影画像に対する画像処理を行う。そして制御装置１０４は、画像処理後の撮影画像を再生してモニタ１０６に表示させる。

またこのとき、制御装置１０４は、ユーザにより操作部材１０１を介して、撮影画像に対する主観評価が入力された場合には、入力された主観評価を撮影画像データに対して付加する。主観評価としては、例えば、☆マークの数によるレーティングなどが挙げられる。この場合、☆マークの数を最高５個として平均値を☆マーク３個とすると、ユーザは「青さを少し抑えた方がよかった」という主観評価を「青さ☆☆」として付加することなどができる。

このようにして画像処理設定の変更や主観評価の付加を行うと、制御装置１０４は、ステップＳ２２へ進む。

ステップＳ２２において、制御装置１０４は、辞書登録モードが設定されているか否かを判定する。制御装置１０４は、辞書登録モードが設定されている場合にはステップＳ２２を肯定判定してステップＳ２３へ進み、辞書登録モードが設定されていない場合にはステップＳ２２を否定判定して再生モード処理を終了する。

ステップＳ２３において、制御装置１０４は、ステップＳ２１でユーザにより画像処理設定の変更が行われた場合には、その変更内容をパラメータに換算する。また、制御装置１０４は、ステップＳ２１でユーザにより撮影画像に対する主観評価が入力された場合には、その主観評価をパラメータに換算する。例えば、上述した「青さ☆☆」という主観評価の場合には、ホワイトバランスの青ゲインを現行より５％下げるパラメータに換算する。そして、制御装置１０４は、ステップＳ２４へ進む。

ステップＳ２４において、制御装置１０４は、撮影画像データに基づいてシーン特徴量を算出して、ステップＳ２５へ進む。

ステップＳ２５において、制御装置１０４は、ステップＳ２３でパラメータに換算した画像処理設定の変更情報とステップＳ２４で算出したシーン特徴量とを紐づけて、新たなインデックス番号を取得し、上記辞書データに登録する。なお、ここで登録する画像処理設定の変更情報には、上記主観評価を換算したパラメータも含まれる。また制御装置１０４は、この新たな画像処理設定の変更情報およびシーン特徴量を用いて、上記ニューラルネットワークの学習を実行する。そして、制御装置１０４は、再生モード処理を終了する。

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１００は、被写体像を撮像する撮像素子１０３と、撮影設定のパラメータを用いて撮像素子１０３による撮像処理を制御する制御装置１０４と、撮像素子１０３により撮像された画像データに対し、画像処理設定のパラメータを用いて画像処理を行う制御装置１０４と、過去の撮像処理および画像処理における、シーン特徴量と撮影画像設定の変更情報とが関連付けられた辞書データを記憶する記憶装置１０７と、現在の撮影における、シーン特徴量を算出する制御装置１０４と、当該算出したシーン特徴量と記憶装置１０７に記憶された辞書データとに基づいて撮影画像設定の変更情報を取得する制御装置１０４と、を備える。これにより、以前に、現在の撮影シーンと似ている撮影シーンで撮影が行われたときの撮影画像設定の変更情報を取得できるので、ユーザの好みに合ったパラメータを撮影画像設定に設定できる。

（２）上記（１）のデジタルカメラ１００において、操作部材１０１を介して、撮影画像設定のパラメータが変更されると、撮影画像設定の変更情報と、当該撮影画像設定の変更情報に対応するシーン特徴量とを関連付けて、辞書データに登録する制御装置１０４をさらに備えるように構成した。これにより、撮影画像設定がユーザにより変更されるたびに辞書データが更新されるので、この辞書データに基づいて一段とユーザの好みに合ったパラメータを撮影画像設定に設定できる。

（３）上記（２）のデジタルカメラ１００において、操作部材１０１を介して、撮像素子１０３により撮像された画像データに対する主観評価データが入力されると、当該主観評価データを画像処理設定のパラメータに変換する制御装置１０４をさらに備え、制御装置１０４は、変換したパラメータと、当該パラメータに対応するシーン特徴量とを、辞書データに登録するように構成した。これにより、撮影後においてユーザが撮影画像に対して入力した主観評価を今後の画像処理設定に反映でき、一段とユーザの好みに合ったパラメータを画像処理設定に設定できる。

（４）上記（１）〜（３）のデジタルカメラ１００において、辞書データに登録されたシーン特徴量と撮影画像設定の変更情報とをニューラルネットワークを用いて学習する制御装置１０４をさらに備え、制御装置１０４は、撮影の際、この学習結果に基づいて撮影画像設定の変更情報を取得するように構成した。これにより、現在のシーン特徴量と類似するシーン特徴量を辞書データから簡易に検出することができる。

（５）上記（１）〜（４）のデジタルカメラ１００において、現在のシーン特徴量と上記辞書データに基づいて取得した撮影画像設定の変更情報を、撮影処理および画像処理で用いる撮影画像設定のパラメータとして決定する制御装置１０４をさらに備えるように構成した。これにより、ユーザにパラメータを変更する操作を行わせることなく、ユーザの好みに合ったパラメータを撮影画像設定に設定できる。

（６）上記（１）〜（５）のデジタルカメラ１００において、制御装置１０４は、現在のシーン特徴量と上記辞書データに基づいて取得した撮影画像設定の変更情報を示す情報を、モニタ１０６に表示させる制御装置１０４をさらに備えるように構成した。これにより、ユーザの好みに合った撮影画像設定のパラメータを、ユーザに提示することができる。

（変形例１）
上述した実施の形態では、シーン特徴量および撮影画像設定の変更情報の学習を、ニューラルネットワークを用いた教師あり学習によって行う例について説明した。しかしながら、例えば、ＳＯＭ（Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｍａｐｓ）などの教師なし学習のニューラルネットワークによって学習を行うようにしてもよい。ここで、逐次学習を行う場合には、ＳＯＭのＯｎｌｉｎｅ−Ｌｅａｒｎｉｎｇ方式が好適であるが、Ｂａｔｃｈ−Ｌｅａｒｎｉｎｇ方式を用いてもよいし、これらを併用してもよい。

（変形例２）
上記ステップＳ７の撮影処理において、撮影画像のシーン特徴量を撮影画像データのタグに書き込むようにしてもよい。この場合、ステップＳ１０またはＳ２４において（すなわちシーン特徴量および撮影画像設定の変更情報の組み合わせを辞書に登録する際）、シーン特徴量を撮影画像データのタグから読み出すようにすればよい。

（変形例３）
新たなシーン特徴量および撮影画像設定の変更情報の組み合わせを上記辞書に登録する際に、すでに登録されているシーン特徴量および撮影画像設定の変更情報の組み合わせとバッティングする場合（すなわちシーン特徴量が互いに同一または類似であるが撮影画像設定の変更情報が互いに異なる場合）には、モニタ１０６に「上書きしますか？」というメッセージを表示するようにしてもよい。この場合、制御装置１０４は、操作部材１０１を介して上書きするよう指示された場合には、新たなシーン特徴量および撮影画像設定の変更情報の組み合わせを上記辞書に上書き登録し、上書きしないよう指示された場合には、新たなシーン特徴量および撮影画像設定の変更情報の組み合わせの登録を中止する。

（変形例４）
上記実施の形態では、撮影設定および画像処理設定の両方の変更情報を記録して次の撮影の際に反映する例について説明したが、撮影設定および画像処理設定のいずれか一方の変更情報を記録して次の撮影の際に反映するようにしてもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。

１００…デジタルカメラ、１０１…操作部材、１０２…撮像レンズ、１０３…撮像素子、１０４…制御装置、１０５…メモリカードスロット、１０６…モニタ、１０７…記憶装置

Claims (1)

1. 被写体像を撮像する撮像部と、
   前記撮像部により撮像された画像データに対し、画像処理設定値を用いて画像処理を行う画像処理部と、
   過去の撮像処理および／または画像処理における、撮影シーンの特徴量と、撮像処理設定値および／または画像処理設定値とが関連付けられたテーブルを記憶する記憶部と、
   操作部材を介して、前記撮像部により撮像された画像データの項目に対して、段階的に評価データが入力されると、前記段階的な評価データに基づいて、画像処理設定値に変換する変換部と、
   前記変換部により変換された画像処理設定値と、前記画像処理設定値に対応する撮影シーンの特徴量とを、前記テーブルに登録する登録部を備えるデジタルカメラ。

Images