JP2014116710A - 撮像装置、撮影条件設定方法、及びプログラム - Google Patents

Abstract

【課題】周辺環境の光源（色温度）をより正確に特定可能とし、ホワイトバランス調整等の画質調整を実施可能とする。
【解決手段】撮像装置は、撮影部３００と、第１の波長帯の光量を検出する第１の光検出部３０１と、第１の波長帯とは異なる第２の波長帯の光量を検出する第２の光検出部３０２と、第１の光検出部３０１の検出値と前記第２の光検出部３０２の検出値とに基づいて、撮影部３００の撮影条件を設定する設定部３０３とを備えている。
【選択図】図６

Description

本発明は、撮像装置、撮影条件設定方法、及びプログラムに関する。

携帯電話機や、スマートフォンなどは、表示部とは反対側の背面側に搭載されるメインカメラに加えて、自分撮り用として表示部側にもサブカメラを搭載している。一般的に、メインカメラには、高画素のイメージセンサが用いられており、サブカメラには、比較的低画素のイメージセンサが用いられている。また、メインカメラ側では、撮影した画像（静止画、動画）に対して、周辺環境の光源に基づくホワイトバランスや、色補間、γ補正などの画像処理を施すことで高画質での撮影を実現している。これに対して、サブカメラ側では、小型化・低コスト化のために、画質調整面での機能が制限されている。

例えば、特許文献１では、環境の明るさに応じて表示部の輝度を調整するために、表示部側、すなわちサブカメラ側に設けられた照度センサの検出値に基づき、周辺環境の照度変化が大きくなった場合に、サブカメラのオートホワイトバランスの機能を用いて周辺環境の色温度を特定し、表示部の画質調整を行う技術が提案されている。

特開２０１１−１６６４９１号公報

しかしながら、上述した特許文献１では、照度センサの検出値に基づいて、サブカメラのオートホワイトバランスの機能を用いて周辺環境の色温度を特定しているものの、１つの波長感度特性を有する照度センサだけの検出値では、周辺環境の光源（色温度）を正確に特定するのは難しいという問題がある。

このように、周辺環境の光源（色温度）を正確に特定することが難しいということは、特に、サブカメラにおいては、メインカメラに比べ、画質調整機能などの性能が低く抑えられているため、画質のベースとなるホワイトバランス調整等の画質調整を実施するのが難しいという問題がある。

そこで本発明は、周辺環境の光源（色温度）をより正確に特定することができ、ホワイトバランス調整等の画質調整を実施することができる撮像装置、撮影条件設定方法、及びプログラムを提供することを目的とする。

本発明の撮像装置は、撮影部と、第１の波長帯の光量を検出する第１の光検出部と、前記第１の波長帯とは異なる第２の波長帯の光量を検出する第２の光検出部と、前記第１の光検出部の検出値と前記第２の光検出部の検出値とに基づいて、前記撮影部の撮影条件を設定する設定部とを備えることを特徴とする撮像装置である。

本発明の撮影条件設定方法は、第１の波長帯の光量を検出する第１のステップと、前記第１の波長帯とは異なる第２の波長帯の光量を検出する第２のステップと、前記第１のステップで検出した検出値と前記第２のステップで検出した検出値とに基づいて、撮影部の撮影条件を設定する第３のステップとを含むことを特徴とする撮影条件設定方法である。

本発明のプログラムは、コンピュータに、第１の波長帯の光量を検出する第１の光検出機能、前記第１の波長帯とは異なる第２の波長帯の光量を検出する第２の光検出機能、前記第１の光検出機能で検出した検出値と前記第２の光検出機能で検出した検出値とに基づいて、撮影部の撮影条件を設定する設定機能を実行させることを特徴とするプログラムである。

この発明によれば、周辺環境の光源（色温度）をより正確に特定することができ、ホワイトバランス調整等の画質調整を実施することができる。

本実施形態による撮像装置としてスマートフォンの外観構成を示す斜視図である。 本実施形態によるスマートフォンの一部構成を示すブロック図である。 本実施形態による、照度センサ２０４と近接センサ２０５との波長感度特性を示す概念図である。 一般的な蛍光灯、白熱灯、太陽光のエネルギー分布を示す概念図である。 本実施形態による撮影条件設定方法を説明するためのフローチャートである。 付記１の構成を示すブロック図である。

以下、本発明の実施の形態を、図面を参照して説明する。

図１は、本実施形態による撮像装置としてスマートフォンの外観構成を示す斜視図である。図１において、筐体の前面には、液晶表示器や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示器などからなる表示部１０４が設けられている。表示部１０４には、タッチ操作を可能にするタッチパネル（図示略）が搭載されている。表示部１０４の上部には、サブカメラ１０１、センサ群１０２、レシーバー１０３が配置されている。また、表示部１０４の下部には、入力ハードキー１０５、マイク１０６が配置されている。

センサ群１０２は、照度センサ２０４、近接センサ２０５、及び赤外ＬＥＤ２０６からなる。照度センサ２０４、近接センサ２０５、及び赤外ＬＥＤ２０６は、パネル一部を光が透過できるような印刷技術で形成する必要があるため、一般に並んで実装されている。照度センサ２０４は、元々、液晶の明るさ調整を行なうためのセンサである。また、近接センサ２０５は、元々、タッチパネルの誤動作防止のためのセンサである。

照度センサ２０４と近接センサ２０５とは、サブカメラ１０１の近くに搭載されているため、サブカメラ１０１が撮影する環境と同じ環境光を測定している。照度センサ２０４と近接センサ２０５とは、光の波長（または周波数）での検出特性が異なる。そこで、本実施形態では、照度センサ２０４と近接センサ２０５とによる測定光量から、周辺環境の光源の種類を特定し、サブカメラ１０１のホワイトバランス調整のための色温度として用いる。

図２は、本実施形態によるスマートフォンの一部構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図２において、サブカメラ１０１は、イメージセンサ２０２と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２０３とからなる。イメージセンサ２０２は、静止画、または動画を撮影する。ＤＳＰ２０３は、イメージセンサ２０２で撮影された静止画データ、または動画データに対して画像処理（露光時間やホワイトバランス、その他の画像処理）を施してＣＰＵ２０７に出力する。

照度センサ２０４は、測定した照度データをＣＰＵ２０７に出力する。照度センサ２０４は、元々、上述したように液晶の明るさ調整を行なうためのセンサである。携帯電話機では、表示部１０４の表示の見やすさを向上させたり、表示部１０４の消費電力を低減したりするために、照度センサ２０４によって測定した照度データ（明るさ：可視光を含む広範囲の波長域）に基づいて、表示部の輝度を調整する。本実施形態では、照度センサ２０４により測定した照度データを、周辺環境の光源（色温度）を特定するための情報の１つとして用いる。

近接センサ２０５は、赤外ＬＥＤ２０８の発光制御を行い、対象物が近づくと、赤外ＬＥＤ２０８から発光された赤外光の反射光量を測定し、その測定値を装置ＣＰＵ２０７に出力する。近接センサ２０５は、元々、上述したようにタッチパネルの誤動作防止のためのセンサである。つまり、スマートフォンを耳に押しあてて通話するときに、ユーザの顔の頬等が表示部の画面上のタッチパネルに接触すると、誤動作する可能性がある。

そこで、携帯電話機が耳に押しあてられた際の、ユーザの顔の頬等で反射される赤外光の反射光が近接センサ２０５で検出されると、タッチパネルの感知機能を無効にすることで誤動作を防止する。本実施形態では、近接センサ２０５により測定した赤外光量を、周辺環境の光源（色温度）を特定するための情報の１つとして用いる。

光源判定部２０９は、照度センサ２０４による測定光量と、近接センサ２０５による測定光量とに基づいて、周辺環境の光源（色温度）を判定し、判定結果をホワイトバランス正誤判定部２０８に出力する。ホワイトバランス正誤判定部２０８は、特定した色温度と、ＤＳＰ２０３から読み出したホワイトバランス調整値（色温度）とが同じであるか（許容範囲内で同じであるか）否かを判定し、双方の色温度が（許容誤差範囲を超えて）異なる場合には（ステップＳ２８のＮＯ）、測定した色温度をＤＳＰ２０３にフィードバックする。ＤＳＰ２０３は、上記フィードバックされたホワイトバランス調整値（色温度）を用いて、サブカメラ１０１のホワイトバランス調整を実施する。

図３は、本実施形態による、照度センサ２０４と近接センサ２０５との波長感度特性を示す概念図である。照度センサ２０４は、可視光である３８０〜７５０ｎｍの波長範囲を含む１０００ｎｍ前後まで広い波長感度特性Ｌ１を有し、７００ｎｍ前後に感度のピークがある。また、近接センサ２０５は、組み合せられる赤外ＬＥＤ２０６の発光波長にも依存するが、一般的に、フィルタなどで可視光域の光を減衰させることで、８５０ｎｍ前後に感度ピークがくるような波長感度特性Ｌ２を有するように設計されている。

図４（ａ）、（ｂ）、（ｃ）は、各々、一般的な蛍光灯、白熱灯、太陽光のエネルギー分布を示す概念図である。蛍光灯は、ＲＧＢの３つの波長帯のエネルギー（光）が強い。白熱灯は、３００ｎｍ程度から高い波長になるにつれて、徐々にエネルギーが増える。太陽光は、可視光域の３８０〜７５０ｎｍの範囲のエネルギーが平均して高く、７００ｎｍ以上の赤外光のエネルギーもある。

そこで、光の波長（または周波数）での検出特性が異なる照度センサ２０４と近接センサ２０５と、元々の目的とは異なる使い方をすることで、環境の光源を特定することが可能となる。
（１）近接センサ２０５の赤外光量が殆どなく、照度センサ２０４の可視光量が多い場合には、光源は三波長蛍光灯であり、
（２）照度センサ２０４の可視光量よりも、近接センサ２０５の赤外光量が大きい場合には（可視光量と赤外光量との差分が所定値以上の場合）、光源は白熱灯であり、
（３）それ以外（可視光量と赤外光量との差分が所定値より小さい場合）は太陽光である、
と光源を特定することが可能である。

太陽光は、そのときの時刻によって色温度が異なるため、ここでは、蛍光灯、白熱灯以外を太陽光とした。また、白熱灯は暗く、太陽光は比較的明るいため、これに照度センサの可視光量の大きさ（明るさ）の情報も付加することでも光源判定の精度を上げることができる。

このように、本実施形態では、光の波長（または周波数）での検出特性が異なる照度センサ２０４と近接センサ２０５とを用いて、外部の光源（色温度）を特定し、サブカメラ１０１のホワイトバランスを実施する。このようにサブカメラ１０１のホワイトバランス調整を実施することで、サブカメラ１０１による撮影画像の画質を向上させることができる。また、既存のハードウエア構成をそのまま利用するので、ソフトウエアの変更だけで性能を向上させることが可能となる。

図５は、本実施形態による撮影条件設定方法を説明するためのフローチャートである。ＣＰＵ２０７の光源判定部２０９は、サブカメラ１０１を起動すると、照度センサ２０４の測定値を取得し（ステップＳ１０）、近接センサ２０５の測定値を取得する（ステップＳ１２）。次に、光源判定部２０９は、近接センサ２０５の赤外光量が閾値Ｔｈ以下（図３参照）であるか否かを判定する（ステップＳ１４）。なお、閾値Ｔｈは、７００ｎｍ以上の赤外光量が殆ど検出されない場合を検出するための閾値である。

そして、近接センサ２０５の赤外光量が閾値Ｔｈ以下である場合には（ステップＳ１４のＹＥＳ）、光源判定部２０９は、照度センサ２０４の可視光量が近接センサ２０５の赤外光量よりも大きいか否かを判定する（ステップＳ１６）。なお、ここでの判定は、照度センサ２０４の可視光量＞近接センサ２０５の赤外光量としてもよいが、現実的には、双方にある程度の差分があることが好ましい。ゆえに、実際には、照度センサ２０４の可視光量＞近接センサ２０５の赤外光量であり、かつ、照度センサ２０４の可視光量と近接センサ２０５の赤外光量との差分値が所定の差分値より大であることを判定条件とすることが好ましい。

そして、近接センサ２０５の赤外光量が閾値Ｔｈ以下で、かつ照度センサ２０４の可視光量が近接センサ２０５の赤外光量よりも大きい場合には（ステップＳ１６のＹＥＳ）、光源判定部２０９は、可視光域にピークを有する三波長蛍光灯（色温度：５０００Ｋ）であると特定する（ステップＳ１８）。

一方、近接センサ２０５の赤外光量が閾値Ｔｈより大きい場合（ステップＳ１４のＮＯ）、あるいは、照度センサ２０４の可視光量が近接センサ２０５の赤外光量よりも小さい場合には（ステップＳ１６のＮＯ）、光源判定部２０９は、近接センサ２０５の赤外光量と照度センサ２０４の可視光量との差分が所定値以上であるか否かを判定する（ステップＳ２０）。該所定値は、光源が白熱灯であるか太陽光であるかを識別するための閾値である。

そして、近接センサ２０５の赤外光量と照度センサ２０４の可視光量との差分が所定値以上である場合には（ステップＳ２０のＹＥＳ）、光源判定部２０９は、可視光域から赤外光域へとエネルギーレベルが上がっていく特性を有する白熱灯（色温度：３０００Ｋ）であると特定する（ステップＳ２２）。

また、近接センサ２０５の赤外光量と照度センサ２０４の可視光量との差分が所定値よりも小さい場合には（ステップＳ２０のＮＯ）、光源判定部２０９は、可視光域の３８０〜７５０ｎｍの範囲のエネルギーが平均して高く、７００ｎｍ以上の赤外光のエネルギーもある太陽光であると特定する（ステップＳ２４）。なお、太陽光の場合には、時刻によって色温度が異なるため、照度センサ２０４の可視光量（明るさ）に基づいて色温度を特定する。

上記ステップＳ１８、Ｓ２２、またはＳ２４で、光源（色温度）を特定すると、ＣＰＵ２０７のホワイトバランス正誤判定部２０８は、サブカメラ２０１のＤＳＰ２０３からホワイトバランス調整値（色温度）を読み出す（ステップＳ２６）。次に、ＣＰＵ２０７のホワイトバランス正誤判定部２０８は、上記ステップＳ１８、Ｓ２２、またはＳ２４で特定した色温度と、ＤＳＰ２０３から読み出したホワイトバランス調整値（色温度）とが同じであるか（許容範囲内で同じであるか）否かを判定する（ステップＳ２８）。

そして、双方の色温度が（許容誤差範囲内で）同じである場合には（ステップＳ２８のＹＥＳ）、ホワイトバランス正誤判定部２０８は、ＤＳＰ２０３のホワイトバランス調整値（色温度）を修正することなく、当該処理を終了する。この場合、ＤＳＰ２０３は、そのままのホワイトバランス調整値（色温度）を用いて、サブカメラ１０１のホワイトバランス調整を実施する。

一方、双方の色温度が（許容誤差範囲を超えて）異なる場合には（ステップＳ２８のＮＯ）、ホワイトバランス正誤判定部２０８は、測定した色温度をＤＳＰ２０３にフィードバックし、ＤＳＰ２０３のホワイトバランス調整値（色温度）を修正する（ステップＳ３０）。この場合、ＤＳＰ２０３は、修正されたホワイトバランス調整値（色温度）を用いて、サブカメラ１０１のホワイトバランス調整を実施する。

なお、上述した実施形態において、上記フローチャートを参照して説明した動作は、サブカメラ１０１で撮影される静止画／動画データの１フレーム毎に行うことが望ましいが、ＣＰＵ２０７の処理負荷や、消費電流の増加を配慮して、照度センサ２０４の照度データ（明るさ情報）が大きく変化した場合に行うことでも、サブカメラ１０１のホワイトバランス調整の効果を十分に得ることが可能である。

また、上述した実施形態では、サブカメラ１０１のホワイトバランス調整を実施する例として説明したが、これに限らず、照度センサ２０４と近接センサ２０５との測定光量に基づいて特定した周辺環境の光源（色温度）を、サブカメラ１０１でなく、図示しないメインカメラの画質調整に用いてもよい。例えメインカメラに既存のホワイトバランス（色バランス）調整機能がある場合でも、該既存のホワイトバランス調整機能の補正などに利用可能である。

また、本実施形態は、撮像装置として携帯電話機（スマートフォン）に適用した例であるが、本発明はこれに限定されるものではない。例えば、撮像機能を搭載した携帯型または据置型の装置として、ゲーム機、デジタルカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｉｓｔａｎｃｅ）、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、その他の電子機器等にも幅広く適用できる。

上述した実施形態によれば、可視光の波長帯の光量を検出する照度センサ２０４の検出値と、赤外光の波長帯の光量を検出する近接センサ２０５とに基づいて、サブカメラ１０１のホワイトバランス調整値を設定するようにしたので、周辺環境の光源（色温度）をより正確に特定することができ、ホワイトバランス調整等の画質調整を実施することができる。

また、上述した実施形態によれば、周辺環境の光源に基づいて、サブカメラ１０１のホワイトバランス調整値を設定するようにしたので、サブカメラ１０１に対してホワイトバランス調整等の画質調整を実施することができる。

また、本実施形態によれば、少なくとも可視光の波長帯域の光量を検出する照度センサ２０４と少なくとも赤外光の波長帯域の光量を検出する近接センサ２０５とを用いるようにしたので、周辺環境の光源（色温度）をより正確に特定することができる。

また、本実施形態によれば、表示部１０４の輝度を周辺環境の明るさに応じて調整すべく、周辺環境の照度を検出するために設けられた照度センサ２０４と、対象物の接近によるタッチパネルの誤動作を防止すべく、対象物からの赤外光を検出するために設けられた近接センサ２０５とを用いるようにしたので、部品を追加するなどのハードウエアの変更を伴うことなく、既存の部品、構成を用いて、周辺環境の光源（色温度）をより正確に特定することができ、特に、サブカメラ１０１のホワイトバランス調整を実施することができる。

以下、本発明の特徴を付記する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図６は、付記１の構成図である。なお、図６と図２との対応について説明する。図６に示す撮像部３００は、図２のサブカメラ１０１に相当し、図６の第１の光検出部３０１は、図２の照度センサ２０４に相当する。また、図６の第２の光検出部３０２は、図２の近接センサ２０５に相当し、図６の設定部３０３は、図２のホワイトバランス正誤判定部２０８に相当する。

この図に示すように、付記１記載の発明は、
撮影部３００と、
第１の波長帯の光量を検出する第１の光検出部３０１と、
前記第１の波長帯とは異なる第２の波長帯の光量を検出する第２の光検出部３０２と、
前記第１の光検出部３０１の検出値と前記第２の光検出部３０２の検出値とに基づいて、前記撮影部３００の撮影条件を設定する設定部３０３と
を備えることを特徴とする撮像装置である。

（付記２）
前記第１の光検出部の検出値と前記第２の光検出部の検出値とに基づいて、周辺環境の光源を判定する光源判定部を更に備え、前記設定部は、前記光源判定部によって判定された周辺環境の光源に基づいて、前記撮影部の撮影条件を設定することを特徴とする付記１に記載の撮像装置である。

（付記３）
前記設定部は、前記撮像部によって撮影された撮像データに対する画像処理調整値を設定することを特徴とする付記１または２に記載の撮像装置である。

（付記４）
前記設定部は、前記画像処理調整値として、前記撮像データに対するホワイトバランス調整値を設定することを特徴とする付記３に記載の撮像装置である。

（付記５）
前記撮像部は、自分撮り用のサブカメラであることを特徴とする付記１から４のいずれかに記載の撮像装置である。

（付記６）
前記第１の光検出部は、少なくとも可視光の波長帯域の光量を検出する照度センサであり、前記第２の光検出部は、少なくとも赤外光の波長帯域の光量を検出する近接センサであることを特徴とする付記１から５のいずれかに記載の撮像装置である。

（付記７）
タッチセンサを搭載した表示部を更に備え、前記第１の光検出部は、前記表示部の輝度を周辺環境の明るさに応じて調整すべく、周辺環境の照度を検出するために設けられた照度センサであり、前記第２の光検出部は、対象物の接近による前記タッチパネルの誤動作を防止すべく、前記対象物からの赤外光を検出するために設けられた近接センサであることを特徴とする付記１から５のいずれかに記載の撮像装置である。

（付記８）
第１の波長帯の光量を検出する第１のステップと、前記第１の波長帯とは異なる第２の波長帯の光量を検出する第２のステップと、前記第１のステップで検出した検出値と前記第２のステップで検出した検出値とに基づいて、撮影部の撮影条件を設定する第３のステップとを含むことを特徴とする撮影条件設定方法である。

（付記９）
コンピュータに、第１の波長帯の光量を検出する第１の光検出機能、前記第１の波長帯とは異なる第２の波長帯の光量を検出する第２の光検出機能、前記第１の光検出機能で検出した検出値と前記第２の光検出機能で検出した検出値とに基づいて、撮影部の撮影条件を設定する設定機能を実行させることを特徴とするプログラムである。

１０１ サブカメラ
１０２ センサ群
１０３ レシーバー
１０４ 表示部
１０５ 入力ハードキー
１０６ マイク
２０２ イメージセンサ
２０３ ＤＳＰ
２０４ 照度センサ
２０５ 近接センサ
２０６ 赤外ＬＥＤ
２０７ ＣＰＵ
２０８ ホワイトバランス正誤判定部
２０９ 光源判定部

Claims (9)

1. 撮影部と、
   第１の波長帯の光量を検出する第１の光検出部と、
   前記第１の波長帯とは異なる第２の波長帯の光量を検出する第２の光検出部と、
   前記第１の光検出部の検出値と前記第２の光検出部の検出値とに基づいて、前記撮影部の撮影条件を設定する設定部と
   を備えることを特徴とする撮像装置。
2. 前記第１の光検出部の検出値と前記第２の光検出部の検出値とに基づいて、周辺環境の光源を判定する光源判定部を更に備え、
   前記設定部は、前記光源判定部によって判定された周辺環境の光源に基づいて、前記撮影部の撮影条件を設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記設定部は、前記撮像部によって撮影された撮像データに対する画像処理調整値を設定する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記設定部は、前記画像処理調整値として、前記撮像データに対するホワイトバランス調整値を設定する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像部は、自分撮り用のサブカメラである
   ことを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. 前記第１の光検出部は、少なくとも可視光の波長帯域の光量を検出する照度センサであり、
   前記第２の光検出部は、少なくとも赤外光の波長帯域の光量を検出する近接センサである
   ことを特徴とする請求項１から５のいずれかに記載の撮像装置。
7. タッチセンサを搭載した表示部を更に備え、
   前記第１の光検出部は、前記表示部の輝度を周辺環境の明るさに応じて調整すべく、周辺環境の照度を検出するために設けられた照度センサであり、
   前記第２の光検出部は、対象物の接近による前記タッチパネルの誤動作を防止すべく、前記対象物からの赤外光を検出するために設けられた近接センサである
   ことを特徴とする請求項１から５のいずれかに記載の撮像装置。
8. 第１の波長帯の光量を検出する第１のステップと、
   前記第１の波長帯とは異なる第２の波長帯の光量を検出する第２のステップと、
   前記第１のステップで検出した検出値と前記第２のステップで検出した検出値とに基づいて、撮影部の撮影条件を設定する第３のステップと
   を含むことを特徴とする撮影条件設定方法。
9. コンピュータに、
   第１の波長帯の光量を検出する第１の光検出機能、
   前記第１の波長帯とは異なる第２の波長帯の光量を検出する第２の光検出機能、
   前記第１の光検出機能で検出した検出値と前記第２の光検出機能で検出した検出値とに基づいて、撮影部の撮影条件を設定する設定機能
   を実行させることを特徴とするプログラム。
   

Images