JP2014096000A5 - - Google Patents

Description

そこで、ライン間引き読み出しを用いて表示フレームレートを減らさずに実質の撮影枚数を減らすことで合成画像のフロアノイズを低減することも提案されている（例えば、特許文献３参照）。

上述したように、個別画像取得部７１は、カメラモジュール５０を制御して、被写体１２の画像を複数枚撮影させ、それらの画像に対応する画像データを取得する。図５の左側には、個別画像取得部７１により取得される画像データに対応する画像である個別画像１０１−１乃至個別画像１０１−５が表示されている。

あるいはまた、ユーザが可動照明１１による被写体の照射を中止したことが検出された場合、高品質画像生成処理が一時的に停止されるようにしてもよい。このようにすることで、例えば、被写体の照射が中止されてから、カメラ１３のボタンなどが押下されるまでに撮影された画像が累積的に加算されてしまうことを抑止することが可能となる。

図１１に示されるように、ゲインｋの値は、最大輝度がＹ０に達するまでの間は徐々に増加し、最大輝度がＹ０に達した後は１に固定される。

さらに、上述した実施の形態のそれぞれにおいて、例えば、画角に写り（映り）こんだ可動照明の一部、もしくはユーザの手（体の一部）などが画像処理によりキャンセルされるようにしてもよい。例えば、一般的な動体認識技術を用いて動体であると判別される部分を、環境光画像から抽出された部分と置き換えることで個別画像が修正され、累積的に加算されるようにしてもよい。あるいはまた、完成した高画質画像において、動体識別の結果影響ありとされる部分が環境光画像から抽出された部分と置換されるようにしてもよい。

（１）
第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、
前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、
前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部と
を備える画像処理装置。
（２）
予め前記被写体に光を照射している光源とは異なる光源としての照明装置が滅灯されているか否かを判定する滅灯検出部をさらに備え、
前記照明装置が滅灯されていると判定された場合、前記環境光画像が撮影される
（１）に記載の画像処理装置。
（３）
前記環境光画像が撮影された後の時間帯における撮影において、前記照明装置が点灯される
（２）に記載の画像処理装置。
（４）
前記照明装置を、ユーザが手に握って振ることができる
（３）に記載の画像処理装置。
（５）
前記累積画像生成部は、
前記照明装置が光を照射する方向を特定する情報に基づいて、前記第２の時間帯において撮影された前記被写体の画像を前記方向毎に分類して累積的に加算し、
高品質画像生成部は、
前記方向毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成する
（３）に記載の画像処理装置。
（６）
画像を表示する表示部をさらに備え、
前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示される
（５）に記載の画像処理装置。
（７）
前記累積画像生成部は、
前記前記第２の時間帯を、複数の短時間帯に分割し、前記第２の時間帯において撮影された前記被写体の画像を前記短時間帯毎に分類して累積的に加算し、
高品質画像生成部は、
前記短時間帯毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
画像を表示する表示部をさらに備え、
前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示される
（７）に記載の画像処理装置。
（９）
画像を表示する表示部をさらに備え、
前記第２の時間帯において、前記高品質画像が前記表示部に順次表示される
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記第２の時間帯の中での所定の時間が経過するまでの間、徐々に増加する
（９）に記載の画像処理装置。
（１１）
前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記累積画像の画素の輝度値の最大値が所定の値となるまでの間、徐々に増加する
（９）に記載の画像処理装置。
（１２）
前記累積画像において、前記第２の時間帯に撮影された画像１枚当たりの寄与率が所定の値より低下しないように、前記複数の画像の画素値のそれぞれに重み係数が乗じられて累積的に加算される
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記累積画像の画素値の変化に基づいて、被写体の表面における鏡面反射の発生を検出し、前記鏡面反射が含まれる画像の寄与率が低くなるように、前記重み係数の値が変更される
（１２）に記載の画像処理装置。
（１４）
画素値に所定の演算処理を施すことにより、前記第２の時間帯に取得される画像における前記被写体を照射する照明の色が変更される
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
環境光画像取得部が、第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得し、
累積画像生成部が、前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成し、
高品質画像生成部が、前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成するステップ
を含む画像処理方法。
（１６）
コンピュータを、
第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、
前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、
前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部とを備える画像処理装置として機能させる
プログラム。

Claims (16)

1. 第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、
   前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、
   前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部と
   を備える画像処理装置。
2. 予め前記被写体に光を照射している光源とは異なる光源としての照明装置が滅灯されているか否かを判定する滅灯検出部をさらに備え、
   前記照明装置が滅灯されていると判定された場合、前記環境光画像が撮影される
   請求項１に記載の画像処理装置。
3. 前記環境光画像が撮影された後の時間帯における撮影において、前記照明装置が点灯される
   請求項２に記載の画像処理装置。
4. 前記照明装置を、ユーザが手に握って振ることができる
   請求項３に記載の画像処理装置。
5. 前記累積画像生成部は、
   前記照明装置が光を照射する方向を特定する情報に基づいて、前記第２の時間帯において撮影された前記被写体の画像を前記方向毎に分類して累積的に加算し、
   高品質画像生成部は、
   前記方向毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成する
   請求項３に記載の画像処理装置。
6. 画像を表示する表示部をさらに備え、
   前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示される
   請求項５に記載の画像処理装置。
7. 前記累積画像生成部は、
   前記前記第２の時間帯を、複数の短時間帯に分割し、前記第２の時間帯において撮影された前記被写体の画像を前記短時間帯毎に分類して累積的に加算し、
   高品質画像生成部は、
   前記短時間帯毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成する
   請求項１乃至６のいずれかに記載の画像処理装置。
8. 画像を表示する表示部をさらに備え、
   前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示される
   請求項７に記載の画像処理装置。
9. 画像を表示する表示部をさらに備え、
   前記第２の時間帯において、前記高品質画像が前記表示部に順次表示される
   請求項１乃至８のいずれかに記載の画像処理装置。
10. 前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記第２の時間帯の中での所定の時間が経過するまでの間、徐々に増加する
    請求項９に記載の画像処理装置。
11. 前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記累積画像の画素の輝度値の最大値が所定の値となるまでの間、徐々に増加する
    請求項９に記載の画像処理装置。
12. 前記累積画像において、前記第２の時間帯に撮影された画像１枚当たりの寄与率が所定の値より低下しないように、前記複数の画像の画素値のそれぞれに重み係数が乗じられて累積的に加算される
    請求項１乃至１１のいずれかに記載の画像処理装置。
13. 前記累積画像の画素値の変化に基づいて、被写体の表面における鏡面反射の発生を検出し、前記鏡面反射が含まれる画像の寄与率が低くなるように、前記重み係数の値が変更される
    請求項１２に記載の画像処理装置。
14. 画素値に所定の演算処理を施すことにより、前記第２の時間帯に取得される画像における前記被写体を照射する照明の色が変更される
    請求項１乃至１３のいずれかに記載の画像処理装置。
15. 環境光画像取得部が、第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得し、
    累積画像生成部が、前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成し、
    高品質画像生成部が、前記累積画像を、前記露光時間の総和に基づいて正規化した画像
    の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成するステップ
    を含む画像処理方法。
16. コンピュータを、
    第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、
    前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、
    前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部とを備える画像処理装置として機能させる
    プログラム。