JP2019062562A - 撮像装置および電子機器 - Google Patents
撮像装置および電子機器 Download PDFInfo
- Publication number
- JP2019062562A JP2019062562A JP2018229426A JP2018229426A JP2019062562A JP 2019062562 A JP2019062562 A JP 2019062562A JP 2018229426 A JP2018229426 A JP 2018229426A JP 2018229426 A JP2018229426 A JP 2018229426A JP 2019062562 A JP2019062562 A JP 2019062562A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- state information
- control value
- imaging
- white balance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】表示装置の画面を撮像した後に表示装置の画面を含まない被写体を撮像したときに、適切なホワイトバランス制御値を得ることができる撮像装置及び電子機器を提供する。【解決手段】電子カメラ100において、撮像部と、ホワイトバランス制御値を算出する算出部と、撮像時における被写体の状態を示す状態情報を生成する第1情報生成部と、被写体の平面度に基づいて、表示装置の画面を含む特殊シーンか、画面を含まない非特殊シーンかを示すシーン情報を生成する第2情報生成部と、を備え、算出部は、第1の状態情報と、それよりも過去の撮像で得られた第2の状態情報との変化に応じて、第1の状態情報に基づいて得られた第1のホワイトバランス制御値と、第2の状態情報に対応して記憶されている第2のホワイトバランス制御値とを合成して、新たなホワイトバランス制御値を算出する。【選択図】図1
Description
本発明は、撮像装置および電子機器に関する。
従来から、被写体の状態情報の変化に応じて、過去の撮像時に適用されたホワイトバランス制御値と、最新の状態情報に基づくホワイトバランス制御値とを合成し、最新の画像に適用されるホワイトバランス制御値を算出する電子カメラが知られている。
しかし、過去の撮像時に適用されたホワイトバランス制御値を用いて、最新の画像に適用されるホワイトバランス制御値を算出する場合、例えば、電光掲示板等の表示装置の画面を撮像した後に表示装置の画面を含まない被写体を撮像すると、後の撮像時には同一の照明環境にも拘わらずホワイトバランスが崩れてしまう点で改善の余地があった。
一つの観点による撮像装置は、被写体の像を撮像して画像を生成する撮像部と、ホワイトバランス制御値を算出する算出部と、第1情報生成部と、第2情報生成部と、記憶部とを備える。第1情報生成部は、画像の撮像時における被写体の状態を示す状態情報を生成する。第2情報生成部は、被写体の平面度に基づいて、表示装置の画面の影響が生じうる特殊シーンか、特殊シーンよりも表示装置の画面の影響が小さい非特殊シーンかを示すシーン情報を生成する。記憶部は、状態情報、ホワイトバランス制御値およびシーン情報を撮像ごとに対応付けて記憶する。また、算出部は、第1の状態情報と、第1の状態情報よりも過去の撮像で得られた第2の状態情報との変化に応じて、第1の状態情報に基づいて得られた第1のホワイトバランス制御値と、第2の状態情報に対応して記憶されている第2のホワイトバランス制御値とを合成して、新たなホワイトバランス制御値を算出する。そして、算出部は、撮像するシーンが特殊シーンから非特殊シーンに変化するときには、特殊シーンに対応する第2の状態情報および第2のホワイトバランス制御値を用いずに、新たなホワイトバランス制御値を算出する。
別の観点による撮像装置は、被写体を撮像して画像を生成する撮像部と、算出部と、判定部とを備える。算出部は、第1の状態情報と、第1の状態情報取得時よりも過去の撮像で得られた第2の状態情報との変化に応じて、第1の状態情報に基づいて得られた第1のホワイトバランス制御値と、第2の状態情報に対応して記憶されている第2のホワイトバランス制御値とを合成して、ホワイトバランス制御値を算出する。判定部は、撮像部が撮像した画像に基づいて、第1シーンか、第1シーンよりも表示装置の画面に対する輝度の影響が小さい第2シーンかを判定する。判定部が、撮像するシーンが第1シーンから第2シーンに変化すると判定したときには、算出部は、第1シーンに対応する第2の状態情報および第2のホワイトバランス制御値を用いずに、ホワイトバランス制御値を算出する。
本件開示の撮像装置によれば、適切なホワイトバランス制御値を得ることができる。
図1は、本件開示の撮像装置の一例である一の実施形態の電子カメラの構成例を示す図である。
電子カメラ100は、撮像部11と、状態情報検出部12と、距離情報取得部13と、カメラマイコン14と、メディアインターフェース(I/F)15とを有する。ここで、撮像部11、状態情報検出部12、距離情報取得部13、メディアI/F15は、それぞれカメラマイコン14と接続されている。
撮像部11は、撮像光学系を介して入射された光束による被写体の結像を撮像(撮影)するモジュールである。例えば、撮像部11は、ズームレンズやフォーカスレンズを含む撮像光学系と、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やA/D変換処理などを施す信号処理回路とを含んでいる。なお、上記の撮像素子の画素には、例えば公知のベイヤ配列に従ってRGBのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像部11は、撮像時に例えばRGBのカラー画像を取得できる。
ここで、撮像部11は、ユーザの撮像指示に応じて、不揮発性の記憶媒体(26)への記録を伴う記録用の画像を撮影する。また、撮像部11は、撮影待機時において所定の時間間隔ごとに観測用の画像(スルー画像)を撮影する。スルー画像は、記録用の画像と比べて間引きにより解像度(画像サイズ)が低くなっている。時系列に取得されたスルー画像のデータは、例えば、カメラマイコン14等による各種の演算処理や、不図示の表示部でのライブビュー表示に使用される。
状態情報検出部12は、第1情報生成部の一例であって、画像の撮像時における被写体の状態を示す状態情報を生成する。状態情報検出部12は、例えば、被写体の色温度を検出する色温度検出部16と、被写体のコントラストを検出するコントラスト検出部17と、撮像範囲内における主要な色を定量的に示す色彩情報を検出する色彩検出部18と、被写体の輝度を検出する測光センサ19と、撮影時刻などを計測するタイマ20とを有している。なお、色温度検出部16、コントラスト検出部17、色彩検出部18、測光センサ19は、撮像部11のスルー画像を利用するものでもよく、撮像部11以外の撮像素子等から被写体の情報を得るものであってもよい。
距離情報取得部13は、撮像範囲の各位置での被写体の距離情報(電子カメラ100から被写体までの奥行き)を取得する。例えば、距離情報取得部13は、撮像範囲の各位置での被写体の距離情報として、AF(Auto Focus)制御で取得した焦点位置情報を取得する。
ここで、距離情報取得部13は、スルー画像を用いて公知のコントラスト検出により焦点位置情報を実行するものであってもよい。あるいは、距離情報取得部13は、公知の位相差検出方式により、瞳分割された被写体像の像ズレ量から焦点位置情報を取得するものであってもよい。位相差検出方式による場合、距離情報取得部13は、撮像光学系から入射する光束の一部を用いて、撮像部11から独立して焦点検出を行うモジュール(例えば、一眼レフ形式のカメラに実装される焦点検出モジュール)であってもよい。あるいは、距離情報取得部13として、撮像部11の撮像素子の撮像面に焦点検出用の受光素子を配置し、瞳分割された被写体の位相差の情報を撮像面で取得してもよい。
なお、距離情報は、レーザ測距装置、投影装置、二眼カメラを利用して取得したデプスマップから生成されるものであってもよい。
カメラマイコン14は、電子カメラ100の動作を統括的に制御するプロセッサである。例えば、カメラマイコン14は、撮像部11での画像の撮影制御、自動露出(Auto Exposure)制御、メディアI/F15での記録制御などを行う。また、カメラマイコン14は、平面度判定部21と、算出部22と、第1メモリ23と、第2メモリ24と、画像処理部25とを有している。
平面度判定部21は、距離情報取得部13から受けた距離情報を用いて、撮像範囲に含まれる被写体の平面度(被写体が同じ平面をなす度合い)を算出する。また、平面度判定部21は、被写体の平面度を用いて、撮像するシーンが表示装置の画面の影響が生じうる特殊シーンか、あるいは特殊シーンよりも表示装置の画面の影響が小さい非特殊シーンかを判定する。そして、平面度判定部21は、上記の判定結果に基づいて、撮像したシーンが特殊シーンまたは非特殊シーンであることを示すシーン情報を生成する。上記のシーン情報は、例えば、特殊シーンのときに「1」を示し、非特殊シーンのときに「0」を示す2値のフラグ情報である。なお、平面度判定部21は、第2情報生成部の一例である。
算出部22は、オートホワイトバランスがオンに設定されているときに、状態情報検出部12から状態情報を受けて、画像のホワイトバランス調整に適用されるホワイトバランス制御値(以下、WB制御値とも称する)を算出する。
ここで、一の実施形態での算出部22は、WB制御値を算出するときに、所定割合で過去のWB制御値を用いて新たなWB制御値を算出する。例えば、算出部22は、現在の状態情報(第1の状態情報)と、過去の撮像で得られた状態情報(第2の状態情報)との変化に応じて、第1の状態情報に基づく現在のWB制御値(第1のWB制御値)と第2の状態情報に基づく過去のWB制御値(第2のWB制御値)との合成比率を決定する。そして、算出部22は、上記の合成比率に基づいて、現在のWB制御値と過去のWB制御値とを合成して、最終的にホワイトバランス調整に適用される新たなWB制御値を算出する。
また、一の実施形態での算出部22は、撮像するシーンが特殊シーンから非特殊シーンに変化するときには、特殊シーンに対応する過去の状態情報および過去のWB制御値を用いずに、新たなホワイトバランス制御値を算出する(この点については動作例で詳述する)。
第1メモリ23は、記憶部の一例であって、オートホワイトバランスがオンに設定されているときに、記録用の画像の1回の撮像ごとに、状態情報、WB制御値およびシーン情報を対応付けて記憶する記憶媒体である。
図2は、第1メモリ23に記憶される状態情報、WB制御値およびシーン情報の対応関係の一例を示す図である。なお、第1メモリ23に記憶される情報は、算出部22が新たなWB制御値を算出するときに使用される。
図2の例では、過去の状態情報の各パラメータ(色温度、コントラスト、色彩情報、輝度、撮影時刻)と、過去のWB制御値(新たなWB制御値に相当するもの)と、過去のシーン情報のフラグとが、記録用の画像の撮像ごとに1行ずつ対応付けされている。図2では、m回の撮像で得られた状態情報、WB制御値およびシーン情報のm個分の組み合わせが、下にいくほど新しくなるように記録されている状態を示している(但し、mは正の整数)。また、図2では、簡単のため、状態情報およびWB制御値が格納されている状態を横線で示しており、実際には横線で示した箇所には状態情報およびWB制御値の値がそれぞれ格納される。
第2メモリ24は、カメラマイコン14が実行するプログラムや、現在のWB制御値と過去のWB制御値とを合成するときの合成比率を決定するテーブル情報を記憶する不揮発性のメモリである。
図3は、合成比率のテーブル情報の一例を示す図である。なお、合成比率のテーブル情報は、算出部22が新たなWB制御値を算出するときに使用される。図3のテーブル情報は、2つの状態情報におけるパラメータの変化量の組み合わせと、合成比率αの値とを対応付けて記憶している。合成比率αは0〜1の範囲をとり(0≦α≦1)、αの値が大きいほど新たなWB制御値において現在のWB制御値の重みが大きくなり、αの値が小さいほど新たなWB制御値において過去のWB制御値の重みが大きくなる。
例えば、図3では、2つの状態情報を比較して、「色温度の変化量0以上、コントラストの変化量0以上、色彩情報の変化量0以上、輝度の変化量24以上、経過時間0以上」の組み合わせのときに合成比率が1となる。同様に、「色温度の変化量0以上、コントラストの変化量0以上、色彩情報の変化量0以上、輝度の変化量0以上、経過時間10時間以上」の組み合わせのときに合成比率が1となる。同様に、「色温度の変化量30以上、コントラストの変化量が1以上2未満、色彩情報の変化量0以上1未満、輝度の変化量12以上、経過時間20秒以上」の組み合わせのときに合成比率が1となる。なお、合成比率が「0.8」、「0.6」、「0.4」、「0.2」、「0」となるパラメータの組み合わせは、図3に例示されており、その説明については省略する。
画像処理部25は、撮像された画像のデータに対して、色補間、階調変換、輪郭強調、ノイズ除去などの画像処理を施す。また、画像処理部25は、オートホワイトバランスがオンに設定されているときに、算出部22が算出した新たなWB制御値を用いて、新たに撮像された画像にホワイトバランス調整処理を施す。
メディアI/F15は、不揮発性の記憶媒体26を接続するためのコネクタを有している。そして、メディアI/F15は、コネクタに接続された記憶媒体26に対してデータの書き込み/読み込みを実行する。記憶媒体26は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。
次に、図4を参照しつつ、一の実施形態での電子カメラ100の動作例を説明する。図4では、電子カメラ100が、現在のWB制御値と過去のWB制御値とを合成して、新たなWB制御値を算出する動作例を示している。
ここで、図4の処理は、例えば、ユーザの記録用画像の撮像指示(例えばレリーズ釦の全押し操作)に応じて撮像部11が記録用の画像を撮像するときに、カメラマイコン14がプログラムを実行することで開始される。なお、図4の例では、オートホワイトバランスがオンに設定された状態であって、かつ過去の撮像で取得された状態情報、WB制御値およびシーン情報の組み合わせ(図2)が第1メモリ23に記憶されていることを前提として説明を行う。
ステップS101において、状態情報検出部12は、第1の状態情報として、撮像時における現在の状態情報(色温度、コントラスト、色彩情報、輝度、撮影時刻)を生成する。
ステップS102において、算出部22は、現在の状態情報(ステップS101で生成されたもの)を状態情報検出部12から受けるとともに、現在の状態情報に含まれる色温度を用いて公知の手法で現在のWB制御値(第1のWB制御値)を算出する。
例えば、ステップS102での算出部22は、JISZ8725の「光源の分布温度及び色温度・相関色温度の測定方法」に従ってRGBのデータをTC−Duv座標のデータに変換し、画像の無彩色部分を判定する。そして、座標変換後のデータが無彩色と判定された場合、算出部22は、TC−Duv座標から求まる相関色温度を所定の色温度−ホワイトバランスゲインの関係式に当てはめて、現在の状態情報から現在のWB制御値を演算すればよい。
ステップS103において、平面度判定部21は、距離情報取得部13から受けた距離情報を用いて、撮像範囲に含まれる被写体の平面度を算出する。
例えば、平面度判定部21は、撮像範囲においてそれぞれ距離情報の示す距離が同一である隣り合う標本点(距離情報を有する画素位置)をグループ化し、そのグループに含まれる標本点の数を被写体の平面度とする。このとき、平面度判定部21は、距離情報が無限遠の標本点は背景とみなして平面度の判定から除外してもよい。また、平面度判定部21は、距離情報が一定方向に一定量ずつ連続的に変化している場合に撮像面に対して傾きのある平面と判断し、上記の条件に合致する標本点をグループ化し、そのグループに含まれる標本点の数を被写体の平面度としてもよい。
図5(a)は撮像範囲の一例を示し、図5(b)は、図5(a)の画像に対応する距離情報の分布例を示す。図5(a)は、プロジェクタのスクリーン(表示装置の画面の一例)を背景としてギタリストが演奏をしている様子を示している。図5(a)のシーンでAFエリア(標本点)から距離情報を取得すると、図5(b)に示すようにスクリーンの部分での距離の値はほぼ一定となり、スクリーンの部分とギタリストの部分とで距離の値が相違する。そのため、距離情報を用いれば、スクリーンの部分と他の被写体(ギタリスト)を分離でき、かつスクリーンの部分に対応する標本点の数から被写体の平面度を求めることができる。
なお、平面度判定部21は、撮像範囲内の1つ以上の面の検出をより正確に行うために、RANSAC(RANdom SAmple Consensus)アルゴリズムによる面検出を実行してもよい。RANSACは、アウトライアー(異常値)に対して特に頑健なモデルの適合アルゴリズムである。RANSACアルゴリズムの簡潔な記述として、例えば、H. Cantzler (University of Edinburg)による論文”Random Sample Consensus (RANSAC)”に開示がある。また、RANSACアルゴリズムのより詳細な記述は、例えば、M. A. Fischler及びR. C. Bollesの”Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography”, Communications of ACM, 24(6): 381 - 395, 1981に開示がある。
また、平面度判定部21は、1つ以上の面の検出を行うため、カメラでの光の拡がりにより惹起されるレンジ誤差を補償してもよい。また、平面度判定部21は、例えば輝度又は距離情報にアウトライアーが少なすぎる画素のように、信頼性が低いレンジ情報を含む画素を平面度の判定対象から除外してもよい。
ステップS104において、平面度判定部21は、現在撮像するシーンが表示装置の画面の影響が生じうる特殊シーンか否かを判定する。
例えば、ステップS103で求めた平面度が閾値以上となる被写体が撮像範囲に含まれている(すなわち、同じ平面をなす被写体の大きさが閾値以上である)場合に、平面度判定部21は特殊シーンであると判定する。上記の閾値は、例えば、被写体の平面度が撮像範囲の大半を占める値(例えば撮像範囲内の標本点の50%以上)に設定される。
また、平面度判定部21は、平面度が閾値以上となる被写体のうち、被写体の無彩色部分の輝度値が閾値以上であるときに特殊シーンであると判定してもよい。
撮像するシーンが特殊シーンである場合(YES)には、ステップS105に処理が移行する。一方、撮像するシーンが特殊シーンではない場合(NO)には、平面度判定部21は、撮像するシーンが特殊シーンよりも表示装置の画面の影響が小さい非特殊シーンであると判定し、ステップS106に処理が移行する。
ステップS105において、平面度判定部21は、撮像したシーンが特殊シーンであることを示すシーン情報(シーン情報の「1」のフラグ)を生成する。その後、ステップS109に処理が移行する。
なお、ステップS105の場合、前回撮像したシーンが特殊シーンか非特殊シーンであるかに拘わらず、新たなWB制御値の算出のときに、前回の撮像で生成された状態情報およびWB制御値が使用される。
ステップS106において、平面度判定部21は、撮像したシーンが非特殊シーンであることを示すシーン情報(シーン情報の「0」のフラグ)を生成する。
ステップS107において、算出部22は、第1メモリ23に記憶されている前回撮像時のシーン情報を参照する。そして、算出部22は、前回の撮像したシーンが特殊シーンであるか否かを判定する。
前回の撮像したシーンが特殊シーンである場合(YES)には、ステップS108に処理が移行する。一方、前回の撮像したシーンが非特殊シーンである場合(NO)には、ステップS109に処理が移行する。
なお、ステップS107の否定判定の場合には、新たなWB制御値の算出のときに、前回の非特殊シーンでの撮像で生成された状態情報およびWB制御値が使用される。
ステップS108において、算出部22は、第1メモリ23に記憶されている過去の状態情報、過去のWB制御値、過去のシーン情報の組み合わせを参照する。そして、算出部22は、非特殊シーンを撮像した過去の状態情報および過去のWB制御値の組み合わせのうちで、最も新しい過去の状態情報および過去のWB制御値を、新たなWB制御値の算出のときに使用する。つまり、ステップS108の場合には、特殊シーンを撮像した過去の状態情報および過去のWB制御値が、第2の状態情報および第2のWB制御値として使用されることはない。
ステップS109において、算出部22は、第1の状態情報(ステップS101)と第2の状態情報(ステップS105、S107の否定判定、S108のいずれかで選択されたもの)と用いて、状態情報の各パラメータの変化度合いを算出する。
例えば、算出部22は、状態情報のパラメータの変化度合いとして、色温度の変化量、コントラストの変化量、色彩情報の変化量、輝度の変化量、経過時間をそれぞれ式(1)〜式(5)によって算出する。
色温度の変化量=|PK(1)-PK(0)| …(1)
コントラストの変化量=|PCN(1)-PCN(0)| …(2)
色彩情報の変化量=|PC(1)-PC(0)| …(3)
輝度の変化量=|PLA(1)-PLA(0)| …(4)
経過時間=|TIME(1)-TIME(0)| …(5)
上記の式(1)〜(5)において、PK(n)は色温度を示し、PCN(n)はコントラストを示し、PC(n)は色彩情報を示し、PLA(n)は輝度を示し、TIME(n)は撮影時刻を示す。また、nは第1の状態情報または第2の状態情報との対応を示す変数であり、n=0は第1の状態情報の値を示し、n=1は第2の状態情報の値を示す。
色温度の変化量=|PK(1)-PK(0)| …(1)
コントラストの変化量=|PCN(1)-PCN(0)| …(2)
色彩情報の変化量=|PC(1)-PC(0)| …(3)
輝度の変化量=|PLA(1)-PLA(0)| …(4)
経過時間=|TIME(1)-TIME(0)| …(5)
上記の式(1)〜(5)において、PK(n)は色温度を示し、PCN(n)はコントラストを示し、PC(n)は色彩情報を示し、PLA(n)は輝度を示し、TIME(n)は撮影時刻を示す。また、nは第1の状態情報または第2の状態情報との対応を示す変数であり、n=0は第1の状態情報の値を示し、n=1は第2の状態情報の値を示す。
色彩情報は、例えば、色相環の回転方向に沿って各色に1〜15の値が割り振られており、周期境界条件の適用により1と15とが連続的するものとして扱われる。また、色彩情報の値のうち8を上回るものについては補数へ変換される。したがって、色彩情報の変化量は、算出部22により0〜8で規格化された数となる。
同様に、色温度の変化量は、算出部22により0〜255で表される数値に規格化される。コントラストの変化量は、算出部22により0〜6で表される数値に規格化される。輝度の変化量は、算出部22により0〜255で表される数値に規格化される。
ステップS110において、算出部22は、第2メモリ24の合成比率のテーブル情報に、状態情報の各パラメータの変化度合い(ステップS109)を代入することで、合成比率αの値を決定する。
ステップS111において、算出部22は、合成比率αに基づいて、第1のWB制御値(ステップS102)と第2のWB制御値(ステップS105、S107の否定判定、S108のいずれかで選択されたもの)とを合成して、新たなWB制御値を算出する。例えば、算出部22は、式(6)により新たなWB制御値を算出する。
新たなWB制御値=第1のWB制御値×α+第2のWB制御値×(1−α) …(6)
ステップS112において、算出部22は、今回の撮像で得られた状態情報(ステップS101)と、シーン情報(ステップS105、S106)と、新たなWB制御値(ステップS111)との組み合わせを第1メモリ23に記録する。
新たなWB制御値=第1のWB制御値×α+第2のWB制御値×(1−α) …(6)
ステップS112において、算出部22は、今回の撮像で得られた状態情報(ステップS101)と、シーン情報(ステップS105、S106)と、新たなWB制御値(ステップS111)との組み合わせを第1メモリ23に記録する。
ステップS113において、画像処理部25は、新たなWB制御値を用いて、撮像された記録用の画像にホワイトバランス調整処理を施す。その後、ホワイトバランス調整の施された記録用の画像は、カメラマイコン14の制御によりメディアI/F15を介して記憶媒体26に記録される。以上で、図4の流れ図の説明を終了する。
以下、一の実施形態において、(A)非特殊シーンの被写体を連続して撮像する場合、(B)特殊シーンの被写体を連続して撮像する場合、(C)非特殊シーンの被写体を撮像した後、特殊シーンの被写体を撮像する場合、(D)特殊シーンの被写体を撮像した後、非特殊シーンの被写体を撮像する場合での電子カメラ100の動作をそれぞれ説明する。
(A)非特殊シーンの被写体を連続して撮像する場合
この場合、ステップS104およびステップS107で否定判定がなされる。ステップS109、S110では、算出部22は、第1の状態情報(今回撮像時の非特殊シーンでの状態情報)と第2の状態情報(前回撮像時の非特殊シーンでの状態情報)を用いて合成比率αを決定する。そして、ステップS111では、算出部22は、合成比率αに基づいて、第1の状態情報に基づく第1のWB制御値(ステップS102)と第2のWB制御値(前回撮像時の非特殊シーンでのWB制御値)とを合成して、新たなWB制御値を算出する。
この場合、ステップS104およびステップS107で否定判定がなされる。ステップS109、S110では、算出部22は、第1の状態情報(今回撮像時の非特殊シーンでの状態情報)と第2の状態情報(前回撮像時の非特殊シーンでの状態情報)を用いて合成比率αを決定する。そして、ステップS111では、算出部22は、合成比率αに基づいて、第1の状態情報に基づく第1のWB制御値(ステップS102)と第2のWB制御値(前回撮像時の非特殊シーンでのWB制御値)とを合成して、新たなWB制御値を算出する。
これにより、例えば、表示装置の画面の影響が小さい非特殊シーンにおいて、同様の照明条件で被写体を撮像した場合には、前回撮像時のWB制御値が新たなWB制御値にある程度反映される。したがって、同様の照明条件で被写体を撮像した複数の画像間で違和感の生じにくいホワイトバランス調整がなされる。
(B)特殊シーンの被写体を連続して撮像する場合
この場合、ステップS104で肯定判定がなされる。ステップS109、S110では、算出部22は、第1の状態情報(今回撮像時の特殊シーンでの状態情報)と第2の状態情報(前回撮像時の特殊シーンでの状態情報)を用いて合成比率αを決定する。そして、ステップS111では、算出部22は、合成比率αに基づいて、第1の状態情報に基づく第1のWB制御値(ステップS102)と第2のWB制御値(前回撮像時の特殊シーンでのWB制御値)とを合成して、新たなWB制御値を算出する。
この場合、ステップS104で肯定判定がなされる。ステップS109、S110では、算出部22は、第1の状態情報(今回撮像時の特殊シーンでの状態情報)と第2の状態情報(前回撮像時の特殊シーンでの状態情報)を用いて合成比率αを決定する。そして、ステップS111では、算出部22は、合成比率αに基づいて、第1の状態情報に基づく第1のWB制御値(ステップS102)と第2のWB制御値(前回撮像時の特殊シーンでのWB制御値)とを合成して、新たなWB制御値を算出する。
これにより、例えば、同様の照明条件で表示装置の画面を被写体として連続的に撮像した場合には、前回撮像時のWB制御値が新たなWB制御値にある程度反映される。したがって、同じ表示装置の画面を撮像した複数の画像間で違和感の生じにくいホワイトバランス調整がなされる。
(C)非特殊シーンの被写体を撮像した後、特殊シーンの被写体を撮像する場合
この場合、特殊シーンに切り替わったときの撮像では、ステップS104で肯定判定がなされる。ステップS109、S110では、算出部22は、第1の状態情報(今回撮像時の特殊シーンでの状態情報)と第2の状態情報(前回撮像時の非特殊シーンでの状態情報)を用いて合成比率αを決定する。そして、ステップS111では、算出部22は、合成比率αに基づいて、第1の状態情報に基づく第1のWB制御値(ステップS102)と第2のWB制御値(前回撮像時の非特殊シーンでのWB制御値)とを合成して、新たなWB制御値を算出する。
この場合、特殊シーンに切り替わったときの撮像では、ステップS104で肯定判定がなされる。ステップS109、S110では、算出部22は、第1の状態情報(今回撮像時の特殊シーンでの状態情報)と第2の状態情報(前回撮像時の非特殊シーンでの状態情報)を用いて合成比率αを決定する。そして、ステップS111では、算出部22は、合成比率αに基づいて、第1の状態情報に基づく第1のWB制御値(ステップS102)と第2のWB制御値(前回撮像時の非特殊シーンでのWB制御値)とを合成して、新たなWB制御値を算出する。
これにより、例えば、同様の照明条件で表示装置の画面以外を撮像した後に、表示装置の画面を撮像した場合には、前回撮像時のWB制御値が新たなWB制御値にある程度反映されうる。したがって、同様の照明条件で撮像した複数の画像間で違和感の生じにくいホワイトバランス調整がなされる。
(D)特殊シーンの被写体を撮像した後、非特殊シーンの被写体を撮像する場合
この場合、非特殊シーンに切り替わったときの撮像では、ステップS104で否定判定がなされ、ステップS107で肯定判定がなされる。ステップS108〜S110では、算出部22は、第1の状態情報(今回撮像時の非特殊シーンでの状態情報)と第2の状態情報(非特殊シーンを撮像した過去の状態情報のうち最新のもの)を用いて合成比率αを決定する。そして、ステップS111では、算出部22は、合成比率αに基づいて、第1の状態情報に基づく第1のWB制御値(ステップS102)と第2のWB制御値(非特殊シーンを撮像した過去のWB制御値のうち最新のもの)とを合成して、新たなWB制御値を算出する。
この場合、非特殊シーンに切り替わったときの撮像では、ステップS104で否定判定がなされ、ステップS107で肯定判定がなされる。ステップS108〜S110では、算出部22は、第1の状態情報(今回撮像時の非特殊シーンでの状態情報)と第2の状態情報(非特殊シーンを撮像した過去の状態情報のうち最新のもの)を用いて合成比率αを決定する。そして、ステップS111では、算出部22は、合成比率αに基づいて、第1の状態情報に基づく第1のWB制御値(ステップS102)と第2のWB制御値(非特殊シーンを撮像した過去のWB制御値のうち最新のもの)とを合成して、新たなWB制御値を算出する。
これにより、例えば、表示装置の画面を撮像した後に、表示装置の画面以外を撮像した場合には、特殊シーンに対応する前回撮像時のWB制御値を全く使用せずに、直近の非特殊シーンの状態情報およびWB制御値を用いて新たなWB制御値が算出される。したがって、非特殊シーンの被写体を撮像した画像に対してホワイトバランス調整を施すときに、直前に撮像した表示装置の画面の影響により不自然な色付きが生じることを抑制できる。
例えば、スポーツの撮影では、試合風景を撮影する途中で、試合経過の情報としてスコアボード(電光掲示板)の画面を撮影することもある。このとき、スコアボードの撮影後に再びスポーツの試合風景を撮影する場合においても、一の実施形態では、スコアボードの色温度に基づく不適切なホワイトバランス調整が抑制される。
<実施形態の補足事項>
(補足1):上記のステップS109で算出される状態情報のパラメータの変化度合い(色温度の変化量、コントラストの変化量、色彩情報の変化量、輝度の変化量)は、複数の第2の状態情報と第1の状態情報との間で算出された値を平均したものでもよい。同様に、上記のステップS111で使用する第2のWB制御値も、複数のWB制御値を平均したものであってもよい。
(補足1):上記のステップS109で算出される状態情報のパラメータの変化度合い(色温度の変化量、コントラストの変化量、色彩情報の変化量、輝度の変化量)は、複数の第2の状態情報と第1の状態情報との間で算出された値を平均したものでもよい。同様に、上記のステップS111で使用する第2のWB制御値も、複数のWB制御値を平均したものであってもよい。
(補足2):上記の実施形態において、カメラマイコン14は算出した新たなWB制御値でホワイトバランス調整を行うことなく、WB制御値を付帯情報として画像のデータに対応付けて記録するようにしてもよい。
(補足3):上記の実施形態において、被写体に照明光を照射する照明装置の発光の有無を示す発光情報を状態情報に含めてもよい。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
100…電子カメラ、11…撮像部、12…状態情報検出部、13…距離情報取得部、14…カメラマイコン、15…メディアI/F、16…色温度検出部、17…コントラスト検出部、18…色彩検出部、19…測光センサ、20…タイマ、21…平面度判定部、22…算出部、23…第1メモリ、24…第2メモリ、25…画像処理部、26…記憶媒体
Claims (7)
- 被写体の像を撮像して画像を生成する撮像部と、
ホワイトバランス制御値を算出する算出部と、
前記画像の撮像時における被写体の状態を示す状態情報を生成する第1情報生成部と、
被写体の平面度に基づいて、表示装置の画面の影響が生じうる特殊シーンか、前記特殊シーンよりも前記表示装置の画面の影響が小さい非特殊シーンかを示すシーン情報を生成する第2情報生成部と、
前記状態情報、前記ホワイトバランス制御値および前記シーン情報を撮像ごとに対応付けて記憶する記憶部と、を備え、
前記算出部は、
第1の状態情報と、前記第1の状態情報よりも過去の撮像で得られた第2の状態情報との変化に応じて、前記第1の状態情報に基づいて得られた第1のホワイトバランス制御値と、前記第2の状態情報に対応して記憶されている第2のホワイトバランス制御値とを合成して、新たなホワイトバランス制御値を算出し、
撮像するシーンが前記特殊シーンから前記非特殊シーンに変化するときには、前記特殊シーンに対応する前記第2の状態情報および前記第2のホワイトバランス制御値を用いずに、前記新たなホワイトバランス制御値を算出する撮像装置。 - 請求項1に記載の撮像装置において、
前記第2情報生成部は、同じ平面をなす被写体の大きさが閾値以上であるときに、前記特殊シーンと判定する撮像装置。 - 請求項1または請求項2に記載の撮像装置において、
前記第2情報生成部は、同じ平面をなす被写体の無彩色部分の輝度値が閾値以上のときに、前記特殊シーンと判定する撮像装置。 - 被写体を撮像して画像を生成する撮像部と、
第1の状態情報と、前記第1の状態情報の取得時よりも過去の撮像で得られた第2の状態情報との変化に応じて、前記第1の状態情報に基づいて得られた第1のホワイトバランス制御値と、前記第2の状態情報に対応して記憶されている第2のホワイトバランス制御値とを合成して、ホワイトバランス制御値を算出する算出部と、
前記撮像部が撮像した画像に基づいて、第1シーンか、前記第1シーンよりも表示装置の画面に対する輝度の影響が小さい第2シーンかを判定する判定部と、
前記判定部が、撮像するシーンが前記第1シーンから前記第2シーンに変化すると判定したときには、前記算出部は、前記第1シーンに対応する前記第2の状態情報および前記第2のホワイトバランス制御値を用いずに、新たなホワイトバランス制御値を算出する撮像装置。 - 請求項1から請求項4のいずれか1項に記載の撮像装置において、
前記新たなホワイトバランス制御値を用いて、前記第1の状態情報に対応して撮像された前記画像にホワイトバランス調整を施す画像処理部をさらに備える撮像装置。 - 被写体を撮像し、画像データを生成する撮像部と、
第1の状態情報と、前記第1の状態情報の取得時よりも過去の撮像の際に得られた第2の状態情報と、に基づいてホワイトバランス制御値を算出する算出部と、
被写体を撮像する撮像シーンの変化を検出し、検出結果に基づいて、前記第1の状態情報と前記第2の状態情報とに基づいて前記ホワイトバランス制御値を算出する制御と、前記第2の状態情報を用いずに前記第1の状態情報に基づいて前記ホワイトバランス制御値を算出する制御と、のいずれか一方の制御を行う制御部と、
を備える電子機器。 - 請求項6に記載の電子機器において、
前記制御部は、撮像するシーンが、第1シーンから、前記第1シーンよりも表示装置の画面に対する輝度の影響の小さい第2シーンに変化すると、前記第2の状態情報を用いずに前記ホワイトバランス制御値を算出する電子機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229426A JP2019062562A (ja) | 2018-12-06 | 2018-12-06 | 撮像装置および電子機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229426A JP2019062562A (ja) | 2018-12-06 | 2018-12-06 | 撮像装置および電子機器 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013248419A Division JP6446777B2 (ja) | 2013-11-29 | 2013-11-29 | 撮像装置および電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019062562A true JP2019062562A (ja) | 2019-04-18 |
Family
ID=66177776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018229426A Pending JP2019062562A (ja) | 2018-12-06 | 2018-12-06 | 撮像装置および電子機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019062562A (ja) |
-
2018
- 2018-12-06 JP JP2018229426A patent/JP2019062562A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6911192B2 (ja) | 画像処理方法、装置および機器 | |
JP5108093B2 (ja) | 撮像装置及び撮像方法 | |
JP2013515442A (ja) | 静止画像及びプレビュー画像を用いた高ダイナミックレンジ画像の生成 | |
US8294785B2 (en) | Method for adjusting photosensitiveness of digital camera | |
JP2012029014A (ja) | 画像処理装置及びその制御方法 | |
JP2010263423A (ja) | 画像処理方法および画像処理装置 | |
JP2010072619A (ja) | 露出演算装置およびカメラ | |
JP2006270135A (ja) | 電子的撮像装置における色再現補正装置 | |
JP2006229868A (ja) | 画像処理装置及び方法、動き検出装置及び方法 | |
US11808561B2 (en) | Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium | |
JP2010193002A (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2016144042A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015031743A (ja) | 露出制御装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2010154306A (ja) | 撮像制御装置、撮像制御プログラム及び撮像制御方法 | |
JP5246590B2 (ja) | 撮像装置、画像生成方法及びプログラム | |
JP2013168723A (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP2009088800A (ja) | カラー撮像装置 | |
JP5849515B2 (ja) | 露出演算装置およびカメラ | |
JP2019062562A (ja) | 撮像装置および電子機器 | |
JP6446777B2 (ja) | 撮像装置および電子機器 | |
JP2015041865A (ja) | 画像処理装置及び画像処理方法 | |
JP5747595B2 (ja) | 露出制御装置及びカメラ | |
JP6272006B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
US20240027589A1 (en) | Range finding device and control method therefor | |
JP5147912B2 (ja) | 画像処理方法、画像処理装置、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200623 |