JP2017225011A - 傷画素補正システムおよび傷画素補正方法 - Google Patents

Abstract

【課題】被写体のエッジを表す画像部分の解像度の低下を抑える傷画素補正システムおよび傷画素補正方法を提供する。【解決手段】被写体像に含まれる白傷画素候補が検出される。白傷画素候補の周辺にある白傷周辺画素の輝度値が第１の輝度しきい値より高い場合には，白傷画素候補と白傷周辺画素との輝度レベル差が第２の輝度レベル差しきい値以上の場合に白傷画素候補が白傷画素と決定される。第２の輝度レベル差しきい値は，第１の輝度しきい値よりも大きいので，白傷周辺画素が明るい場合には，目立つような白傷画素候補が白傷画素とされ，目立たないような白傷画素候補は白傷画素とされない。画像の解像度の低下は，比較的高い輝度の部分において目立ってしまうが，比較的高い輝度の部分については比較的低い輝度の部分と比べて，白傷画素と決定される割合が少なくなるので，被写体のエッジを表す画像部分の解像度の低下が抑えられる。【選択図】図６

Description

この発明は，傷画素補正システムおよび傷画素補正方法に関する。

固体電子撮像素子を構成する光電変換素子自体に傷がある場合には，その光電変換素子の位置が記憶され，その位置に存在する光電変換素子から得られるべき画素が補正される。これに対して高感度撮影時などにランダムで発生する画素の欠損，画素レベルの低下などの傷画素については，傷画素の位置があらかじめ分からないために，周辺画素との輝度レベル差がしきい値以上ある画素を傷画素と見做して補正している。

画像処理においては，低輝度の画像の場合には大幅なノイズ低減処理を行い，高輝度の場合にはノイズ低減を抑制するものがある(特許文献１)。また，輝度信号のレベルにもとづいてノイズリダクションの深さを画素ごとに抑制するものもある(特許文献２)。

特開2010-193384号公報 特開2001-189878号公報

傷画素を補正する場合，被写体のエッジ部分の輝度レベル差が大きい場合には，そのエッジ部分を表す画素についても傷画素と見做されてしまうために，被写体のエッジを表す画像部分の解像度が低下してしまうことがある。文献１に記載の発明は，低輝度の画像の場合には大幅なノイズ低減処理を行い，高輝度の場合にはノイズ低減を抑制するものであり，文献２に記載の発明は，輝度信号のレベルにもとづいてノイズリダクションの深さを画素ごとに抑制するものであり，いずれも，傷補正が行われることにより生じる被写体のエッジを表す画像部分の解像度の低下を未然に防止することは考えられていない。

この発明は，傷補正を行っても被写体のエッジを表す画像部分の解像度の低下を未然に防止することを目的とする。

この発明による傷画素補正システムは，被写体像に含まれる白傷画素候補および黒傷画素候補の少なくとも一方の傷画素候補を検出する傷画素候補検出手段，白傷画素候補の周辺に存在する白傷周辺画素の輝度値が白傷画素決定用の第１の輝度しきい値より低い場合には，白傷画素候補と白傷周辺画素との輝度レベル差が白傷画素決定用の第１の輝度レベル差しきい値以上の場合に白傷画素候補を白傷と決定し，白傷画素候補の周辺に存在する白傷周辺画素の輝度値が白傷画素決定用の第１の輝度しきい値より高い場合には，白傷画素候補と白傷周辺画素との輝度レベル差が白傷画素決定用の第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値以上の場合に白傷画素候補を白傷と決定し，黒傷画素候補の周辺に存在する黒傷周辺画素の輝度値が黒傷画素決定用の第１の輝度しきい値より高い場合には，黒傷画素候補と黒傷周辺画素との輝度レベル差が黒傷画素決定用の第１の輝度レベル差しきい値以上の場合に黒傷画素候補を黒傷と決定し，かつ黒傷画素候補の周辺に存在する黒傷周辺画素の輝度値が黒傷画素決定用の第１の輝度しきい値より低い場合には，黒傷画素候補と黒傷周辺画素との輝度レベル差が黒傷画素決定用の第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値以上の場合に黒傷画素候補を黒傷と決定する傷画素決定手段，ならびに傷画素決定手段によって決定した白傷画素および黒傷画素の少なくとも一方を補正する傷画素補正手段を備えている。

この発明は，傷画素補正方法も提供している。すなわち，この方法は，傷画素候補検出手段が，被写体像に含まれる白傷画素候補および黒傷画素候補の少なくとも一方の傷画素候補を検出し，傷画素決定手段が，白傷画素候補の周辺に存在する白傷周辺画素の輝度値が白傷画素決定用の第１の輝度しきい値より低い場合には，白傷画素候補と白傷周辺画素との輝度レベル差が白傷画素決定用の第１の輝度レベル差しきい値以上の場合に白傷画素候補を白傷と決定し，白傷画素候補の周辺に存在する白傷周辺画素の輝度値が白傷画素決定用の第１の輝度しきい値より高い場合には，白傷画素候補と白傷周辺画素との輝度レベル差が白傷画素決定用の第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値以上の場合に白傷画素候補を白傷と決定し，黒傷画素候補の周辺に存在する黒傷周辺画素の輝度値が黒傷画素決定用の第１の輝度しきい値より高い場合には，黒傷画素候補と黒傷周辺画素との輝度レベル差が黒傷画素決定用の第１の輝度レベル差しきい値以上の場合に黒傷画素候補を黒傷と決定し，かつ黒傷画素候補の周辺に存在する黒傷周辺画素の輝度値が黒傷画素決定用の第１の輝度しきい値より低い場合には，黒傷画素候補と黒傷周辺画素との輝度レベル差が黒傷画素決定用の第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値以上の場合に黒傷画素候補を黒傷と決定し，傷画素補正手段が，傷画素決定手段によって決定した白傷画素および黒傷画素の少なくとも一方を補正する。

白傷画素決定用の第１の輝度しきい値以外に白傷画素決定用の輝度しきい値が規定されており，かつ規定されている白傷画素決定用の複数の輝度しきい値に対応して，輝度しきい値が大きくなるほど輝度レベル差しきい値が大きくなる複数の輝度レベル差しきい値が規定されている場合には，白傷画素候補と白傷周辺画素との輝度レベル差が，白傷画素決定用の複数の輝度しきい値のうち白傷画素候補の周辺に存在する白傷周辺画素の輝度値が超えた輝度しきい値に対応する輝度レベル差しきい値以上の場合に白傷画素候補を白傷と決定してもよい。黒傷画素決定用の第１の輝度しきい値以外に黒傷画素決定用の輝度しきい値が規定されており，かつ規定されている黒傷画素決定用複数の輝度しきい値に対応して，輝度しきい値が大きくなるほど輝度レベル差しきい値が小さくなる複数の輝度レベル差しきい値が規定されている場合には，黒傷画素候補と黒傷周辺画素との輝度レベル差が，黒傷画素決定用の複数の輝度しきい値のうち黒傷画素候補の周辺の第１の黒傷周辺画素の輝度値が超えた輝度しきい値に対応する輝度レベル差以上の場合に黒傷画素候補を黒傷と決定してもよい。

傷画素補正手段は，傷画素決定手段によって決定した白傷画素または黒傷画素の周辺に存在する補正元画素を用いて，白傷画素または黒傷画素を補正するものであり，白傷画素の周辺に存在する補正元画素の輝度値がしきい値より低い場合に用いられる補正元画素の範囲よりも白傷画素の周辺画素の輝度値がしきい値より高い場合に用いられる補正元画素の範囲の方が狭く，黒傷画素の周辺に存在する補正元画素の輝度値がしきい値より低い場合に用いられる補正元画素の範囲よりも黒傷画素の周辺画素の輝度値がしきい値より高い場合に用いられる補正元画素の範囲の方が狭いことが好ましい。

ＩＳＯ感度を設定するＩＳＯ感度設定手段，およびＩＳＯ感度設定手段によって設定されたＩＳＯ感度に応じて，被写体像を表す映像信号を増幅する増幅手段をさらに備えてもよい。この場合，傷画素決定手段は，ＩＳＯ感度がしきい値よりも高い場合よりも低い場合の方が，大きな輝度レベル差しきい値を用い，かつＩＳＯ感度がしきい値よりも低い場合よりも高い場合の方が，小さな輝度レベル差しきい値を用いることが好ましい。

被写体像が，複数色のカラー映像信号によって表されるカラーの被写体像の場合には，増幅率を規定するゲイン制御信号が与えられることにより，複数色のカラー映像信号を増幅してホワイト・バランス調整を行うホワイト・バランス調整回路をさらに備えてもよい。この場合，傷画素決定手段は，ホワイト・バランス調整回路における増幅率がしきい値よりも高い場合よりも低い場合の方が大きな輝度レベル差しきい値を用い，ホワイト・バランス調整回路における増幅率がしきい値よりも低い場合よりも高い場合の方が小さな輝度レベル差しきい値を用いることが好ましい。

被写体像は，赤色成分から成る赤色画素，緑色成分から成る緑色画素および青色成分から成る青色画素から構成されていてもよい。この場合，傷画素決定手段は，たとえば，白傷画素候補が緑色画素の場合よりも白傷画素候補が赤色画素または青色画素の場合の方が，小さな輝度レベル差しきい値を用いる処理，および黒傷画素候補が緑色画素の場合よりも黒傷画素候補が赤色画素または青色画素の場合の方が，小さな輝度レベル差しきい値を用いる処理の少なくとも一方の処理を行う。

被写体像を表す映像信号を，ガンマ補正曲線を用いてガンマ補正するガンマ補正回路をさらに備えてもよい。この場合，傷画素決定手段は，ガンマ補正回路によるガンマ補正後の映像信号の低輝度部が相対的に高くなる第１のガンマ補正曲線が用いられた場合には，第１のガンマ補正曲線よりもガンマ補正後の映像信号の低輝度部が相対的に低くなる第２のガンマ補正曲線が用いられた場合よりも小さな輝度レベル差しきい値を用い，かつガンマ補正回路によるガンマ補正後の映像信号の低輝度部が相対的に低くなる第２のガンマ補正曲線が用いられた場合には，第２のガンマ補正曲線よりもガンマ補正後の映像信号の低輝度部が相対的に高くなる第１のガンマ補正曲線が用いられた場合よりも大きな輝度レベル差しきい値を用いることが好ましい。

傷画素決定手段は，白傷画素候補が，被写体像の周縁よりも中心に近いほど大きな輝度レベル差しきい値を用いる処理，および黒傷画素候補が，被写体像の周縁よりも中心に近いほど大きな輝度レベル差しきい値を用いる処理の少なくとも一方の処理を行うものでもよい。

シャッタ・スピードを設定するシャッタ・スピード設定手段をさらに備えてもよい。この場合，被写体像は，シャッタ・スピード設定手段によって設定されたシャッタ・スピードで撮像されたものであり，傷画素決定手段は，シャッタ・スピードがしきい値よりも遅いほど小さな輝度レベル差しきい値を用い，かつシャッタ・スピードがしきい値よりも速いほど大きな輝度レベル差しきい値を用いることが好ましい。

被写体像に含まれる白傷画素候補および黒傷画素候補の少なくとも一方の傷画素候補が検出される。白傷画素候補の周辺に存在する白傷周辺画素の輝度値が第１のしきい値より高い場合には，その輝度値が低い場合に比べて，白傷画素候補が白傷としてあまり目立たない。白傷周辺画素の輝度値が第１の輝度しきい値より高い場合には，白傷画素候補と白傷周辺画素との輝度レベル差が第２の輝度レベル差しきい値以上の場合に白傷画素と決定される。第２の輝度レベル差しきい値は，第１の輝度レベル差しきい値よりも大きいので，白傷周辺画素が明るい場合には，比較的明るく目立つような白傷画素候補が白傷画素と決定され，比較的暗く目立たないような白傷画素候補は白傷画素と決定されない。画像の解像度の低下は，比較的高い輝度の部分において目立ってしまうが，比較的高い輝度の部分については比較的低い輝度の部分と比べて，白傷画素と決定される割合が少なくなるので，傷補正が少なくなり，被写体のエッジを表す画像部分の解像度の低下が未然に防止される。

また，黒傷画素候補の周辺に存在する黒傷周辺画素の輝度値が第１の輝度しきい値より低い場合には，その輝度値が高い場合に比べて，傷画素候補が黒傷としてあまり目立たない。黒傷周辺画素の輝度値が第１の輝度しきい値より低い場合には，黒傷画素候補と黒傷周辺画素との輝度レベル差が第２の輝度レベル差しきい値以上の場合に黒傷画素と決定される。第２の輝度レベル差しきい値は，第１の輝度レベル差しきい値よりも大きいので，黒傷周辺画素が暗い場合には，比較的暗く目立つような黒傷画素候補が黒傷画素と決定され，比較的暗く目立たないような黒傷画素候補は黒傷画素と決定されない。黒傷補正をしなければ目立つような黒傷画素候補について黒傷が補正される。

ディジタル・カメラの電気的構成を示すブロック図である。 画像処理装置の電気的構成を示すブロック図である。 画像の一部を示している。 傷画素候補と周辺画素とを示している。 白傷画素候補と白傷周辺画素とを示している。 白傷周辺画素の輝度しきい値と輝度レベル差しきい値との関係を示している。 黒傷画素候補と黒傷周辺画素とを示している。 黒傷周辺画素の輝度しきい値と輝度レベル差しきい値との関係を示している。 傷画素補正処理手順の一部を示すフローチャートである。 傷画素補正処理手順の一部を示すフローチャートである。 傷画素補正処理手順の一部を示すフローチャートである。 白傷周辺画素の輝度しきい値と輝度レベル差しきい値との関係を示している。 黒傷周辺画素の輝度しきい値と輝度レベル差しきい値との関係を示している。 傷画素補正処理手順の一部を示すフローチャートである。 傷画素補正処理手順の一部を示すフローチャートである。 傷画素と補正元画素との関係を示している。 傷画素補正処理手順を示すフローチャートである。 傷画素と補正元画素との関係を示している。 傷画素と補正元画素との関係を示している。 白傷周辺画素の輝度しきい値と輝度レベル差しきい値との関係を示している。 黒傷周辺画素の輝度しきい値と輝度レベル差しきい値との関係を示している。 輝度レベル差しきい値決定処理手順を示すフローチャートである。 輝度レベル差しきい値決定処理手順を示すフローチャートである。 輝度レベル差しきい値決定処理手順を示すフローチャートである。 輝度レベル差しきい値決定処理手順を示すフローチャートである。 ガンマ補正曲線を示している。 輝度レベル差しきい値決定処理手順を示すフローチャートである。 被写体像の一例である。 輝度レベル差しきい値決定処理手順を示すフローチャートである。 輝度レベル差しきい値決定処理手順を示すフローチャートである。 輝度レベル差しきい値決定処理手順を示すフローチャートである。 スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。

図１は，この発明の実施例を示すもので，ディジタル・カメラ１の電気的構成を示すブロック図である。

ディジタル・カメラ１の全体の動作は，制御装置16によって統括される。

ディジタル・カメラ１には，シャッタ・レリーズ・ボタン２，シャッタ・スピード設定スイッチ３，ＩＳＯ(International Organization for Standardization)感度設定スイッチ４，ホワイト・バランス調整設定スイッチ５およびガンマ補正曲線設定スイッチ６が含まれている。これらのボタン２，スイッチ３等からの出力信号は，制御装置16に入力する。また，制御装置16には，データ等を記憶するメモリ７も接続されている。

撮像レンズ８によって被写体像が撮像素子９の受光面上に結像すると，被写体像を表す映像信号が撮像素子９から出力する。撮像素子９から出力した映像信号はアナログ／ディジタル変換回路10においてディジタル画像データに変換される。変換されたディジタル画像データは，画像処理装置11に入力し，所定の画像処理が行われる。画像処理装置11における処理については詳しくは後述する。

画像処理装置11から出力したディジタル画像データは，表示制御回路12に入力する。表示制御回路12の制御のもとに，撮像した被写体像が表示装置13の表示画面に表示される。シャッタ・レリーズ・ボタン２が押されると，シャッタ・スピード設定スイッチ３によって設定されたシャッタ・スピードで被写体が撮像される。画像処理装置11から出力したディジタル画像データは記録制御回路14の制御のもとに，メモリ・カード15に記録される。

図２は，画像処理装置11の電気的構成を示すブロック図である。

画像処理装置11に入力したディジタル画像データは，静的傷補正回路21に入力する。撮像素子９を構成する多数のフォトダイオードのうち，欠陥のフォトダイオードがあることによって被写体像を構成する画素に欠損が生じる。このような欠損の画素を静的傷画素という。静的傷画素を補正する回路が静的傷補正回路21である。静的傷画素の位置はあらかじめ分かるので，その静的傷画素の回りの画素を用いて静的傷画素が補正される。

静的傷補正回路21において静的傷補正が行われたディジタル画像データは，動的傷画素候補検出回路22（傷画素候補検出手段）に入力する。動的傷画素(傷画素)は，静的傷画素と異なり，あらかじめ分かっている位置の画素が欠損することにより生じるのではなく，ランダムで画素の欠損が発生することにより生じる。動的傷画素(傷画素)とは，ランダムで欠損した画素をいう。動的傷画素候補検出回路22は，入力したディジタル画像データによって表される被写体像を構成する多数の画素のうち，ランダムで欠損した画素と考えられる動的傷画素候補を検出する回路である。動的傷画素には，白傷画素と黒傷画素とがある。白傷画素は周囲の画素よりも（極端に）レベルが高い画素であり，黒傷画素は周囲の画素よりも（極端に）レベルが低い画素である。白傷画素候補は白傷画素と考えられる画素であり，黒傷画素候補は黒傷画素と考えられる画素である。白傷画素候補および黒傷画素候補のいずれも，周囲の画素との輝度差レベルが，比較的低い所定のしきい値以上ある場合に，白傷画素候補および黒傷画素候補とされる。もちろん，他の方法により白傷画素候補および黒傷画素候補が検出されてもよい。

動的傷画素候補検出回路22において検出された傷画素候補の位置を表すデータおよびディジタル画像データは，動的傷画素決定回路23に入力する。動的傷画素決定回路23において，検出された傷画素候補の中から傷画素(白傷画素，黒傷画素)が決定される。動的傷画素決定回路23の処理については後述する。動的傷画素決定回路23において決定した傷画素の位置を表すデータおよびディジタル画像データは動的傷画素補正回路24に入力する。動的傷画素補正回路24において，決定した傷画素について補正が行われる。傷画素の補正が行われたディジタル画像データは，増幅回路25に入力する。

ＩＳＯ感度設定スイッチ４によって設定されたＩＳＯ感度に応じて，増幅回路25においてディジタル画像データが増幅させられる。増幅回路25から出力したディジタル画像データはホワイト・バランス調整回路26においてホワイト・バランス調整が行われる。ホワイト・バランス調整回路26におけるホワイト・バランス調整は，ディジタル画像データを，緑色画素を表すディジタル画像データ，青色画素を表すディジタル画像データおよび赤色画素を表すディジタル画像データに分け，ホワイト・バランス調整設定スイッチ５の設定に応じて，白色の被写体を撮像した場合に白色の被写体像を表すように，青色画素を表すディジタル画像データおよび赤色画素を表すディジタル画像データのそれぞれのレベルを調整するものである。ホワイト・バランス調整回路26から出力したディジタル画像データは，ガンマ補正回路27に入力する。

ガンマ補正回路27は，この実施例では二種類のガンマ補正曲線のうち，いずれかのガンマ補正曲線を設定可能な回路である。ガンマ補正曲線設定スイッチ６による設定により二種類のガンマ補正曲線のうち，いずれかのガンマ補正曲線がガンマ補正回路27に設定される。二種類以上のガンマ補正曲線が設定可能であってもよいし，あらかじめ定められた一種類のガンマ補正曲線のみにもとづいてガンマ補正が行われるようにしてもよい。ガンマ補正回路27から出力されるディジタル画像データが画像処理装置11から出力されるディジタル画像データとなる。

図３は，被写体像の一部を示している。

被写体像の一部は，多数の画素Ｐから構成されている。

多数の画素Ｐのうち，ハッチングで示されている画素Ｐｃが，動的傷画素候補検出回路22によって検出された傷画素候補(白傷画素候補，または黒傷画素候補)Ｐｃである。

被写体像のエッジ部分なども傷画素候補Ｐｃとして検出されてしまうことがあるので，検出された傷画素候補Ｐｃの総てを傷画素として見做して補正してしまうと，エッジ部分の解像度が低下してしまうことがある。この実施例では，検出された傷画素候補Ｐｃのうち，傷画素として目立つものについて補正が行われる。このために，傷画素候補Ｐｃの中から傷画素が決定される。

図４は，傷画素候補Ｐｃと周辺画素Ｐｓとを示している。

ハッチングで示されている傷画素候補Ｐｃの周辺に周辺画素Ｐｓが規定されている。図４においては，周辺画素Ｐｓは，傷画素候補Ｐｃの外側に接している８つの画素であるが，これらの８つの画素のすべてが周辺画素Ｐｓでなく，傷画素候補Ｐｃに接している複数の画素が傷周辺画素でもよい。また，これらの８つの周辺画素Ｐｓのさらに外側に接する画素も含めて周辺画素Ｐｓとしてもよい。

図５は，傷画素候補Ｐｃが白傷画素候補Ｐｃｗである場合における白傷画素候補Ｐｃｗと白傷周辺画素Ｐｓｗとを示している。

白傷画素は，本来，白ではない画素が白の画素として表されてしまうものをいい，黒色などの暗い画像部分の中にある場合に目立ってしまう。このために，図５においては，白傷画素候補Ｐｃｗは白塗りで示され，白傷周辺画素Ｐｓｗは黒塗りで示されている。白傷画素候補Ｐｃｗは，しきい値以上の明るさをもち，かつ白傷周辺画素Ｐｓｗの明るさがしきい値以下の明るさのものとなる

図５に示す白傷周辺画素Ｐｓｗは，白傷画素候補Ｐｃｗの外側に接している８つの画素であるが，白傷画素候補Ｐｃｗの周辺に存在すると考えられれば必ずしも白傷画素候補Ｐｃｗの外側に接していなくともよいし，８つ未満または８つよりも多くてもよい。

図６は，白傷周辺画素Ｐｓｗのしきい値と輝度レベル差との関係を示している。

図６における輝度レベル差は，白傷画素候補Ｐｃｗと白傷周辺画素Ｐｓｗとの輝度レベル差である。

白傷画素は，黒色などの暗い画像部分の中にある場合に目立ってしまうが，白色などの明るい画像部分の中にある場合には目立たない。また，被写体像のエッジが明るい画像部分にある場合に，そのエッジを誤って白傷画素と判定してしまい，白傷補正が行われてしまうと，解像度の低下が目立ってしまう。この実施例では，白傷周辺画素Ｐｓｗの輝度値（複数の白傷周辺画素Ｐｓｗが存在する場合には，例えば，それらの平均度値）が第１の輝度しきい値より低い場合には，第１の輝度レベル差しきい値が規定されており，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より高い場合には，第２の輝度レベル差しきい値が規定されている。第２の輝度レベル差しきい値は第１の輝度レベル差しきい値よりも大きい。白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値と等しい場合には，第１の輝度レベル差しきい値でもよいし，第２の輝度レベル差しきい値でもよい。

白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より高い場合には，白傷画素候補Ｐｃｗは比較的明るい画像部分の中にあると考えられるので，白傷画素候補Ｐｃｗを白傷画素と見做して画素補正をしなくとも，あまり目立たない。このために，白傷画素候補Ｐｃｗと白傷周辺画素Ｐｓｗとの輝度レベル差が比較的大きく，第２の輝度レベル差しきい値以上の場合に白傷画素候補Ｐｃｗが白傷画素と決定される。比較的明るい画像部分では傷補正があまり行われなくなるので，白傷画素の傷補正による解像度の低下が目立たなくなる。

これに対して，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より低い場合には，白傷画素候補Ｐｃｗは比較的暗い画像部分の中にあると考えられるので，白傷画素候補Ｐｃｗを白傷画素と見做して画素補正をしなければ，目立ってしまう。このために，第１の輝度レベル差しきい値以上であれば，白傷画素候補Ｐｃｗと白傷周辺画素Ｐｓｗとの輝度レベル差が比較的小さい場合であっても，白傷画素候補Ｐｃｗが白傷画素と決定される。白傷画素候補Ｐｃｗが白傷画素と決定される割合が高くなるが，白傷補正が行われても，比較的暗い画像部分では傷補正による解像度の低下が目立たなくなる。

図７は，傷画素候補Ｐｃが黒傷画素候補Ｐｃｂである場合における黒傷画素候補Ｐｃｂと黒傷周辺画素Ｐｓｂとを示している。

黒傷画素は，本来，黒ではない画素が黒の画素として表されてしまうものをいい，白色などの明るい画像部分の中にある場合に目立ってしまう。このために，図７においては，黒傷画素候補Ｐｃｂは黒塗りで示され，黒傷周辺画素Ｐｓｂは白塗りで示されている。黒傷画素候補Ｐｃｂは，しきい値以下の明るさをもち，かつ黒傷周辺画素Ｐｓｂの明るさがしきい値以上の明るさのものとなる。

図７に示す黒傷周辺画素Ｐｓｂは，黒傷画素候補Ｐｃｂの外側に接している８つの画素であるが，黒傷画素候補Ｐｃｂの周辺に存在すると考えられれば必ずしも黒傷画素候補Ｐｃｂの外側に接していなくともよいし，８つ未満または８つよりも多くてもよい。

図８は，黒傷周辺画素Ｐｓｂのしきい値と輝度レベル差との関係を示している。

図８における輝度レベル差は，黒傷画素候補Ｐｃｂと黒傷周辺画素Ｐｓｂとの輝度レベル差である。

黒傷画素は，白色などの明るい画像部分の中にある場合に目立ってしまうが，黒色などの暗い画像部分の中にある場合には目立たない。この実施例では，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より高い場合には，第１の輝度レベル差しきい値が規定されており，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より低い場合には，第２の輝度レベル差しきい値が規定されている。第２の輝度レベル差しきい値は第１の輝度レベル差しきい値よりも大きい。黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値の場合には，第１の輝度レベル差しきい値でもよいし，第２の輝度レベル差しきい値でもよい。

黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より高い場合には，黒傷画素候補Ｐｃｂは比較的明るい画像部分の中にあると考えられるので，黒傷画素候補Ｐｃｂを黒傷画素と見做して画素補正しなければ，目立ってしまう。このために，輝度レベル差が比較的低い第１の輝度レベル差しきい値以上の場合に黒傷画素候補Ｐｃｂが黒傷画素と決定される。

これに対して，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より低い場合には，黒傷画素候補Ｐｃｂは比較的暗い画像部分の中にあると考えられるので，黒傷画素候補Ｐｃｂを黒傷画素と見做して画素補正をしなくとも，あまり目立たない。このために，黒傷画素候補Ｐｃｂと黒傷周辺画素Ｐｓｂとの輝度レベル差が第２の輝度レベル差しきい値以上のように，比較的大きい場合に黒傷画素候補Ｐｃｂが黒傷画素と決定される。黒傷画素候補Ｐｃｂと黒傷周辺画素Ｐｓｂとの輝度レベル差が第２の輝度レベル差しきい値未満のように，黒傷画素候補Ｐｃｂがあまり目立たない場合には，黒傷画素候補Ｐｃｂは黒傷画素と決定されない。

図９から図11は，傷画素補正の処理手順を示すフローチャートである。

撮像素子９によって被写体が撮像され(ステップ31)，被写体像を表す映像信号が撮像素子９から出力する。撮像素子９から出力した映像信号は，アナログ／ディジタル変換回路10においてディジタル画像データに変換されて画像処理装置11に入力する。画像処理装置11に入力したディジタル画像データは，静的傷補正回路21において静的傷補正が行われて動的傷画素候補検出回路22に入力する(ステップ32)。

ディジタル画像データによって表される被写体像に含まれる白傷画素候補Ｐｃｗおよび黒傷画素候補Ｐｃｂが，動的傷画素候補検出回路22（傷画素候補検出手段）によって検出される(ステップ32)。白傷画素候補Ｐｃｗおよび黒傷画素候補Ｐｃｂのいずれか一方が検出されてもよい。たとえば，所定の輝度値以上の輝度値をもち，かつ隣接している画素との輝度差が所定のしきい値(白傷画素候補検出用しきい値)以上となる画素が白傷画素候補Ｐｃｗとなる。白傷画素候補検出用しきい値は，図６に示した第１の輝度レベル差しきい値よりもさらに小さいもので，比較的多くの白傷画素候補Ｐｃｗを見つけることができる。もっとも白傷画素候補検出用しきい値と図６に示した第１の輝度レベル差しきい値とが等しくともよい。また，たとえば，所定の輝度値以下の輝度値をもち，かつ隣接している画素との輝度差が所定のしきい値(黒傷画素候補検出用しきい値)以上となる画素が黒傷画素候補Ｐｃｂとなる。黒傷画素候補検出用しきい値は，図７に示した第１の輝度レベル差しきい値よりもさらに小さいもので，比較的多くの黒傷画素候補Ｐｃｂを見つけることができる。黒画素候補検出用しきい値と図８に示した第１の輝度レベル差しきい値とが等しくともよい。

白傷画素候補Ｐｃｗが見つかった場合には(ステップ33でＹＥＳ)，見つかった白傷画素候補Ｐｃｗの周辺に存在する白傷周辺画素Ｐｓｗの輝度値が動的傷画素決定回路23において算出される(ステップ34)。つづいて白傷画素候補Ｐｃｗの輝度値が算出され，算出された白傷画素候補Ｐｃｗの輝度値と白傷周辺画素Ｐｓｗの輝度値との差を表す輝度レベル差が動的傷画素決定回路23において算出される(ステップ35)。

白傷周辺画素Ｐｓｗの輝度値が白傷画素決定用の第１のしきい値より低い場合には(ステップ36でＹＥＳ)，白傷画素候補Ｐｃｗは比較的暗い画像部分にあり，白傷画素が比較的目立ってしまうと考えられる。このために，白傷画素候補Ｐｃｗが白傷画素かどうかを決定する輝度レベル差は，輝度レベル差が比較的小さくとも白傷画素と決定する第１の輝度レベル差しきい値が用いられる。輝度レベル差が第１の輝度レベル差しきい値以上であれば(ステップ37でＹＥＳ)，動的傷画素決定回路23（傷画素決定手段）によって白傷画素候補Ｐｃｗが白傷画素と決定される(ステップ38)。決定した白傷画素が動的傷画素補正回路24（傷画素補正手段）によって補正される(ステップ39)。たとえば，白傷周辺画素Ｐｓｗによって白傷画素が補間されることにより白傷画素が補正される。被写体像がカラー画像の場合には，白傷画素によって表される色と同色の白傷周辺画素Ｐｓｗによって白傷画素が補正されるのはいうまでもない。輝度レベル差が第１の輝度レベル差しきい値未満であれば(ステップ37でＮＯ)，白傷画素候補Ｐｃｗは白傷画素とは決定されない。

白傷周辺画素Ｐｓｗの輝度値が白傷画素決定用の第１の輝度しきい値以上の場合には(ステップ36でＮＯ)，白傷画素候補Ｐｃｗは比較的明るい画像部分にあり，白傷画素は比較的目立たないと考えられる。このために，白傷画素候補Ｐｃｗが白傷画素とは容易には決定されないように，白傷画素候補Ｐｃｗが白傷画素と決定されるために用いられる輝度レベル差しきい値は，第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値となる。輝度レベル差が第２の輝度レベル差しきい値以上であれば(ステップ40でＹＥＳ)，動的傷画素決定回路23によって白傷画素候補Ｐｃｗが白傷画素と決定される(ステップ38)。決定した白傷画素が動的傷画素補正回路24（傷画素補正手段）によって補正される(ステップ39)。たとえば，白傷周辺画素Ｐｓｗによって白傷画素が補間されることにより白傷画素が補正される。輝度レベル差が第２の輝度レベル差しきい値未満であれば(ステップ40でＮＯ)，白傷画素候補Ｐｃｗは白傷画素とは決定されない。

白傷画素候補Ｐｃｗではなかった場合には(ステップ33でＮＯ)，見つかった傷画素候補は黒傷画素候補Ｐｃｂと考えられ，黒傷画素候補Ｐｃｂの周辺に存在する黒傷周辺画素Ｐｓｂの輝度値が動的傷画素決定回路23において算出される(ステップ41)。つづいて黒傷画素候補Ｐｃｂの輝度値が算出され，算出された黒傷画素候補Ｐｃｂの輝度値と黒傷周辺画素Ｐｓｂの輝度値との差を表す輝度レベル差が動的傷画素決定回路23において算出される(ステップ42)。

黒傷周辺画素Ｐｓｂの輝度値が黒傷画素決定用の第１のしきい値より高い場合には(ステップ42でＹＥＳ)，黒傷画素候補Ｐｃｂは比較的明るい画像部分にあり，黒傷画素が比較的目立ってしまうと考えられる。このために，黒傷画素候補Ｐｃｂが黒傷画素かどうかを決定する輝度レベル差は，輝度レベル差が比較的小さくとも黒傷画素と決定する第１の輝度レベルしきい値となる。輝度レベル差が第１の輝度レベル差しきい値以上であれば(ステップ43でＹＥＳ)，動的傷画素決定回路23（傷画素決定手段）によって黒傷画素候補Ｐｃｂが黒傷画素と決定される(ステップ44)。決定した黒傷画素が動的傷画素補正回路24（傷画素補正手段）によって補正される(ステップ45)。たとえば，黒傷周辺画素Ｐｓｂによって黒傷画素が補間されることにより黒傷画素が補正される。被写体像がカラー画像の場合には，黒傷画素によって表される色と同色の黒傷周辺画素Ｐｓｂによって黒傷画素が補正されるのはいうまでもない。輝度レベル差が第１の輝度レベル差しきい値未満であれば(ステップ43でＮＯ)，黒傷画素候補Ｐｃｂは黒傷画素とは決定されない。白傷画素および黒傷画素の少なくとも一方を補正してもよい。

黒傷周辺画素Ｐｓｂの輝度値が黒傷画素決定用の第１のしきい値以下の場合には(ステップ42でＮＯ)，黒傷画素候補Ｐｃｂは比較的暗い画像部分にあり，黒傷画素は比較的目立たないと考えられる。このために，黒傷画素候補Ｐｃｂが黒傷画素とは容易には決定されないように，黒傷画素候補Ｐｃｂが黒傷画素と決定するために用いられる輝度レベル差しきい値は，第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値が用いられる。輝度レベル差が第２の輝度レベル差しきい値以上であれば(ステップ46でＹＥＳ)，動的傷画素決定回路23によって黒傷画素候補Ｐｃｂが黒傷画素と決定される(ステップ44)。決定した黒傷画素が動的傷画素補正回路24によって補正される(ステップ45)。たとえば，黒傷周辺画素Ｐｓｂによって黒傷画素が補間されることにより黒傷画素が補正される。輝度レベル差が第２の輝度レベル差しきい値未満であれば(ステップ46でＮＯ)，黒傷画素候補Ｐｃｂは黒傷画素とは決定されない。

明るい画像部分においては白傷画素と決定される割合が少なくなり，かつ暗い画像部分においては黒傷画素と決定される割合が少なくなる。これにより，白傷画素補正および黒傷画素補正が行われる割合が少なくなり，被写体像の解像度の低下が未然に防止される。特に，明るい画像部分においては，被写体像のエッジが白傷画素と誤認識されることがあり，白傷画素補正が行われてしまうことがあるが，この実施例では明るい画像部分においては白傷画素と決定される割合が少なくなるので，被写体像のエッジが白傷画素と誤認識されてしまうことが未然に防止でき，被写体像の解像度の低下を抑えることができる。

図12から図15は，変形例を示している。

図12は，白傷周辺画素Ｐｓｗの輝度値と輝度レベル差との関係を示すもので，図６に対応している。

図12における輝度レベル差も図６における輝度レベル差と同様に，白傷画素候補Ｐｃｗと白傷周辺画素Ｐｓｗとの輝度レベル差である。

図６に示すグラフでは，輝度しきい値は第１の輝度しきい値の一つのみが規定されており，輝度レベル差しきい値は第１の輝度レベル差しきい値および第２の輝度レベル差しきい値の二つが規定されている。これに対して，図12に示すグラフでは，輝度しきい値は第１の輝度しきい値および第２の輝度しきい値の二つが規定されており，輝度レベル差しきい値は第１の輝度レベル差しきい値，第２の輝度レベル差しきい値および第３の輝度レベル差しきい値の三つが規定されている。

図12においては，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より低い場合には第１の輝度レベル差しきい値が規定されており，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合には第２の輝度レベル差しきい値が規定されており，白傷周辺画素Ｐｓｗの輝度値が第２の輝度しきい値より高い場合には第３の輝度レベル差しきい値が規定されている。白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値と等しい場合には，第１の輝度レベル差しきい値でもよいし，第２の輝度レベル差しきい値でもよい。また，白傷周辺画素Ｐｓｗの輝度値が第２の輝度しきい値と等しい場合には，第２の輝度レベル差しきい値でもよいし，第３の輝度レベル差しきい値でもよい。

このように，白傷画素決定用の第１の輝度しきい値以外に白傷画素決定用の輝度しきい値(第２の輝度しきい値)が１または複数規定されており，かつ規定されている白傷画素決定用の複数の輝度しきい値に対応して，輝度しきい値が大きくなるほど輝度レベル差しきい値が大きくなる複数の輝度レベル差しきい値（第１の輝度レベル差しきい値〜第３の輝度レベル差しきい値）が規定されていてもよい。この場合には，白傷画素候補Ｐｃｗと白傷周辺画素Ｐｓｗとの輝度レベル差が，白傷画素決定用の複数の輝度しきい値(第１の輝度しきい値，第２の輝度しきい値)のうち白傷周辺画素Ｐｓｗの輝度値が超えた輝度しきい値に対応する輝度レベル差しきい値以上の場合に白傷画素候補Ｐｃｗが白傷と決定される。たとえば，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より低い場合には，輝度レベル差が第１の輝度レベル差しきい値以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合には，輝度レベル差が第２の輝度レベル差しきい値以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。さらに，輝度レベル差が第２の輝度レベル差しきい値より高い場合には，輝度レベル差が第３の輝度レベル差しきい値以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。

図13は，黒傷周辺画素Ｐｓｂのしきい値と輝度レベル差との関係を示すもので，図８に対応している。

図13における輝度レベル差も図８における輝度レベル差と同様に，黒傷画素候補Ｐｃｂと黒傷周辺画素Ｐｓｂとの輝度レベル差である。

図８に示すグラフでは，輝度しきい値は第１の輝度しきい値の一つのみが規定されており，輝度レベル差しきい値は第１の輝度レベル差しきい値および第２の輝度レベル差しきい値の二つが規定されている。これに対して，図13に示すグラフでは，輝度しきい値は第１の輝度しきい値および第２の輝度しきい値の二つが規定されており，輝度レベル差しきい値は第１の輝度レベル差しきい値，第２の輝度レベル差しきい値および第３の輝度レベル差しきい値の三つが規定されている。

図13においては，黒傷周辺画素Ｐｓｂの輝度値が第２のしきい値より高い場合には第１の輝度レベル差しきい値が規定されており，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合には第２の輝度レベル差しきい値が規定されており，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より低い場合には第３の輝度レベル差しきい値が規定されている。黒傷周辺画素Ｐｓｂの輝度値が第２の輝度しきい値と等しい場合には，第１の輝度レベル差しきい値でもよいし，第２の輝度レベル差しきい値でもよい。また，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値と等しい場合には，第２の輝度レベル差しきい値でもよいし，第３の輝度レベル差しきい値でもよい。

このように，黒傷画素決定用の第１の輝度しきい値以外に黒傷画素決定用の輝度しきい値(第２の輝度しきい値)が１または複数規定されており，かつ規定されている黒傷画素決定用の複数の輝度しきい値に対応して，輝度しきい値が大きくなるほど輝度レベル差しきい値が小さくなる複数の輝度レベル差しきい値（第１の輝度レベル差しきい値〜第３の輝度レベル差しきい値）が規定されていてもよい。この場合には，黒傷画素候補Ｐｃｂと黒傷周辺画素Ｐｓｂとの輝度レベル差が，黒傷画素決定用の複数の輝度しきい値(第１の輝度しきい値，第２の輝度しきい値)のうち黒傷周辺画素Ｐｓｂの輝度値が超えた輝度しきい値に対応する輝度レベル差以上の場合に黒傷画素候補Ｐｃｂが黒傷と決定される。たとえば，黒傷周辺画素Ｐｓｂの輝度値が第２の輝度しきい値より高い場合には，輝度レベル差が第１の輝度レベル差しきい値以上であれば，黒傷画素候補Ｐｃｂが黒傷と決定される。黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合には，輝度レベル差が第２の輝度レベル差しきい値以上であれば，黒傷画素候補Ｐｃｂが黒傷と決定される。さらに，輝度レベル差が第１の輝度レベル差しきい値より低い場合には，輝度レベル差が第３の輝度レベル差しきい値以上であれば，黒傷画素候補Ｐｃｂが黒傷と決定される。

図14および図15は，傷画素補正処理手順の一部を示すフローチャートである。図14は，図10のフローチャートに対応するもので，図９に示すステップ35の処理に続く処理を示している。図15は，図11のフローチャートに対応するもので，図９に示すステップ42の処理に続く処理を示している。

この変形例では，検出された傷画素候補Ｐｃが白傷画素候補Ｐｃｗの場合には(図９ステップ33でＹＥＳ)，白傷周辺画素Ｐｓｗの輝度値の算出(図９ステップ34)および白傷画素候補Ｐｃｗと白傷周辺画素Ｐｓｗとの輝度レベル差の算出(図９ステップ35)が行われると，白傷周辺画素Ｐｓｗの輝度値が白傷画素決定用の第１の輝度しきい値より低いかどうかが動的傷画素決定回路23によって判断される(図14ステップ51)。

白傷周辺画素Ｐｓｗの輝度値が白傷画素決定用の第１のしきい値より低い場合には(ステップ51でＹＥＳ)，白傷画素候補Ｐｃｗは比較的暗い画像部分にあり，白傷画素が比較的目立ってしまうと考えられる。このために，白傷画素候補Ｐｃｗが白傷画素かどうかを決定する輝度レベル差は，輝度レベル差が比較的小さくとも白傷画素と決定する第１の輝度レベル差しきい値が用いられる。輝度レベル差が第１の輝度レベル差しきい値以上であれば(ステップ52でＹＥＳ)，動的傷画素決定回路23によって白傷画素候補Ｐｃｗが白傷と決定される(ステップ53)。決定した白傷画素が動的傷画素補正回路24によって補正される(ステップ54)。輝度レベル差が第１の輝度レベル差しきい値未満であれば(ステップ52でＮＯ)，白傷画素候補Ｐｃｗは白傷画素とは決定されない。

白傷周辺画素Ｐｓｗの輝度値が白傷画素決定用の第１の輝度しきい値以上であり(ステップ51でＮＯ)，かつ白傷画素決定用の第２の輝度しきい値より低い場合には(ステップ55でＹＥＳ)，白傷画素候補Ｐｃｗは明るくも暗くもない中間的な明るさの画像部分にあると考えられる。このために，白傷画素候補Ｐｃｗが白傷画素と決定されるために用いられる輝度レベル差しきい値は，第１の輝度レベル差しきい値と第３の輝度レベル差しきい値との間の第２の輝度レベル差しきい値となる。輝度レベル差が第２の輝度レベル差しきい値以上であれば(ステップ56でＹＥＳ)，動的傷画素決定回路23によって白傷画素候補Ｐｃｗが白傷画素と決定される(ステップ53)。決定した白傷画素が動的傷画素補正回路24によって補正される(ステップ54)。輝度レベル差が第２の輝度レベル差しきい値未満であれば(ステップ56でＮＯ)，白傷画素候補Ｐｃｗは白傷画素とは決定されない。

白傷周辺画素Ｐｓｗの輝度値が白傷決定用の第２の輝度しきい値以上であれば(ステップ55でＮＯ)，白傷画素候補Ｐｃｗは比較的明るい画像部分に存在すると考えられる。きわめて目立つ白傷以外は補正する必要が無いと考えられ，輝度レベル差が第３の輝度レベル差しきい値以上の場合に(ステップ57でＹＥＳ)，白傷画素候補Ｐｃｗが白傷画素と決定される(ステップ53)。決定された白傷画素が補正される(ステップ54)。輝度レベル差が第３の輝度レベル差しきい値未満の場合には(ステップ57でＮＯ)，その白傷画素候補Ｐｃｗを補正しなくともあまり目立たないと考えられるので，白傷画素候補Ｐｃｗは白傷画素と決定されない。

また，検出された傷画素候補Ｐｃが黒傷画素候補Ｐｃｂの場合には(図９ステップ33でＮＯ)，黒傷周辺画素Ｐｓｂの輝度値の算出(図９ステップ41)および黒傷画素候補Ｐｃｂと黒傷周辺画素Ｐｓｂとの輝度レベル差の算出(図９ステップ42)が行われると，黒傷周辺画素Ｐｓｂの輝度値が黒傷画素決定用の第２の輝度しきい値より高いかどうかが動的傷画素決定回路23によって判断される(図15ステップ61)。

黒傷周辺画素Ｐｓｂの輝度値が黒傷画素決定用の第２のしきい値より高い場合には(ステップ61でＹＥＳ)，黒傷画素候補Ｐｃｂは比較的明るい画像部分にあり，黒傷画素が比較的目立ってしまうと考えられる。このために，黒傷画素候補Ｐｃｂが黒傷画素かどうかを決定する輝度レベル差は，輝度レベル差が比較的小さくとも黒傷画素と決定する第１の輝度レベル差しきい値が用いられる。輝度レベル差が第１の輝度レベル差しきい値以上であれば(ステップ62でＹＥＳ)，動的傷画素決定回路23によって黒傷画素候補Ｐｃｂが黒傷と決定される(ステップ63)。決定した黒傷画素が動的傷画素補正回路24によって補正される(ステップ64)。輝度レベル差が第１の輝度レベル差しきい値未満であれば(ステップ62でＮＯ)，黒傷画素候補Ｐｃｂは黒傷画素とは決定されない。

黒傷周辺画素Ｐｓｂの輝度値が黒傷画素決定用の第２の輝度しきい値以下であり(ステップ61でＮＯ)，かつ黒傷画素決定用の第１の輝度しきい値より高い場合には(ステップ65でＹＥＳ)，黒傷画素候補Ｐｃｂは明るくも暗くもない中間的な明るさの画像部分にあると考えられる。このために，黒傷画素候補Ｐｃｂが黒傷画素と決定されるために用いられる輝度レベル差しきい値は，第１の輝度レベル差しきい値と第３の輝度レベル差しきい値との間の第２の輝度レベル差しきい値が用いられる。輝度レベル差が第２の輝度レベル差しきい値より高ければ(ステップ66でＹＥＳ)，動的傷画素決定回路23によって黒傷画素候補Ｐｃｂが黒傷画素と決定される(ステップ63)。決定した黒傷画素が動的傷画素補正回路24によって補正される(ステップ64)。輝度レベル差が第２の輝度レベル差しきい値未満であれば(ステップ66でＮＯ)，黒傷画素候補Ｐｃｂは黒傷画素とは決定されない。

黒傷周辺画素Ｐｓｂの輝度値が黒傷決定用の第１の輝度しきい値以下であれば(ステップ65でＮＯ)，黒傷画素候補Ｐｃｂは比較的暗い画像部分に存在すると考えられる。きわめて目立つ黒傷以外は補正する必要が無いと考えられ，輝度レベル差が第３の輝度レベル差しきい値以上の場合に(ステップ67でＹＥＳ)，黒傷画素候補Ｐｃｂが黒傷画素と決定される(ステップ63)。決定された黒傷画素が補正される(ステップ64)。輝度レベル差が第３のレベル差しきい値未満の場合には(ステップ67でＮＯ)，その黒傷画素候補Ｐｃｂを補正しなくともあまり目立たないと考えられるので，黒傷画素候補Ｐｃｂは黒傷画素と決定されない。

このように複数の輝度しきい値が規定されていてもよいし，３つ以上の輝度レベル差しきい値が規定されていてもよい。

図16は，傷画素候補Ｐｃと周辺画素Ｐｓとの関係を示している。

図４に示す周辺画素Ｐｓは，傷画素候補Ｐｃの上下，左右および斜め方向に外接している９個の画素である。これに対して図16に示す周辺画素Ｐｓは，傷画素候補Ｐｃの上下，左右および斜め方向に外接している９つの画素のほかに，それらの９つの周辺画素Ｐｓに外接している16個の画素が含まれる。

これらの25個の周辺画素Ｐｓを用いて上述のように周辺画素（白傷周辺画素Ｐｓｗ，黒傷周辺画素Ｐｓｂ）の輝度値および輝度レベル差が算出されるようにしてもよい。

図17は，傷画素補正処理手順(図10ステップ39，図11ステップ45，図14ステップ54，図15ステップ64)を示すフローチャートである。

白傷画素または黒傷画素が決定すると，白傷画素または黒傷画素を補正するために用いられる補正元画素の輝度値が動的傷画素補正回路24によって算出される(ステップ70)。被写体像が白黒画像の場合，補正元画素と周辺画素（白傷周辺画素Ｐｓｗ，黒傷周辺画素Ｐｓｂ）Ｐｓとは同じでも異なってもよい。被写体像がカラー画像の場合も，補正される白傷画素または黒傷画素が表す色と同色の色の画素を用いれば補正元画素と周辺画素（白傷周辺画素Ｐｓｗ，黒傷周辺画素Ｐｓｂ）Ｐｓとは同じでも異なってもよい。補正元画素は，決定された傷画素(白傷画素，黒傷画素)の周辺に存在すればよく，その範囲はあらかじめ定められる。図４に示すように，傷画素候補Ｐｃが傷画素と決定されると，その傷画素候補Ｐｃに外接している９個の周辺画素Ｐｓが補正元画素として輝度値が算出される。また，図16に示すように，傷画素候補Ｐｃが傷画素と決定されると，その傷画素候補Ｐｃに外接している９個の周辺画素Ｐｓおよびこれらの９個の周辺画素Ｐｓに外接している16個の周辺画素Ｐｓの合計25個の周辺画素Ｐｓが補正元画素として輝度値が算出されてもよい。

白傷画素の補正の場合には(ステップ71でＹＥＳ)，算出された補正元画素の輝度値が，あらかじめ定められているしきい値より低い場合には(ステップ72でＹＥＳ)，補正対象の傷画素の周辺が比較的暗いことを意味している。暗い場合には解像度が低下してもあまり目立たないので，被写体が白黒画像の場合には，図16に示すように広い範囲にわたって配置されている25個の周辺画素Ｐｓが補正元画素とされ，それらの補正元画素を用いて動的傷画素補正回路24によって傷画素補正が行われる(ステップ73)。被写体像がカラー画像の場合には，図16に示すように25個の周辺画素Ｐｓのうち，補正する白傷画素の色と同色の周辺画素Ｐｓが補正元画素とされて傷画素補正が行われる。広い範囲の補正元画素を用いて傷画素補正が行われることにより，傷画素は，傷画素の周辺に存在する補正元画素の輝度値との差が少なくなり，白傷画素が目立たなくなる。

算出された補正元画素の輝度値が，あらかじめ定められているしきい値以上の場合には(ステップ72でＮＯ)，被写体像が白黒画像の場合には，図４に示すように狭い範囲にわたって範囲されている９個の周辺画素Ｐｓが補正元画素とされ，それらの補正元画素を用いて動的傷画素補正回路24によって傷画素補正が行われる(ステップ74)。被写体像がカラー画像の場合には，図４に示すように９個の周辺画素Ｐｓのうち，補正する白傷画素の色と同色の周辺画素Ｐｓが補正元画素とされて傷画素補正が行われる。狭い範囲の補正元画素を用いて傷画素補正が行われることにより，傷画素補正しても解像度の低下を抑えることができる。とくに，明るい画像部分については解像度の低下が目立つので，解像度の低下を防止することは有効な処理となる。

黒傷画素の補正の場合にも(ステップ71でＮＯ)，算出された補正元画素の輝度値が，あらかじめ定められているしきい値より低い場合には(ステップ75でＹＥＳ)，補正対象の傷画素の周辺が比較的暗いことを意味している。暗い場合には，解像度が低下してもあまり目立たないので，被写体が白黒画像の場合には，図16に示すように広い範囲にわたって配置されている25個の周辺画素Ｐｓが補正元画素とされ，それらの補正元画素を用いて動的傷画素補正回路24によって傷画素補正が行われる(ステップ76)。被写体像がカラー画像の場合には，図16に示すように25個の周辺画素Ｐｓのうち，補正する白傷画素の色と同色の周辺画素Ｐｓが補正元画素とされて傷画素補正が行われる。広い範囲の補正元画素を用いて傷画素補正が行われることにより，傷画素は，傷画素の周辺に存在する補正元画素の輝度値との差が少なくなり，黒傷画素が目立たなくなる。

算出された補正元画素の輝度値が，あらかじめ定められているしきい値以上の場合であって(ステップ75でＮＯ)，被写体像が白黒画像の場合には，図４に示すように狭い範囲にわたって範囲されている９個の周辺画素Ｐｓが補正元画素とされ，それらの補正元画素を用いて動的傷画素補正回路24によって傷画素補正が行われる(ステップ77)。被写体像がカラー画像の場合には，図４に示すように９個の周辺画素Ｐｓのうち，補正する白傷画素の色と同色の周辺画素Ｐｓが補正元画素とされて傷画素補正が行われる。

図18および図19は，傷画素候補Ｐｃと周辺画素Ｐｓとを示している。

図18および図19は，いずれも撮像素子９に形成されているカラー・フィルタの配列がベイヤ配列の場合のものであり，傷画素候補Ｐｃが緑色画素であった場合の一例である。 図18は，図４に示したように狭い範囲の周辺画素Ｐｓ（補正元画素）を示し，図19は，図16に示したように広い範囲の周辺画素Ｐｓ（補正元画素）を示している。

ベイヤ配列において傷画素候補Ｐｃが緑色であると，図18に示すように，傷画素候補Ｐｃの上下左右に外接する位置には緑色画素は存在せずに，傷画素候補Ｐｃの斜め方向に緑色画素が４個存在している。また，図19に示す周辺画素Ｐｓは，図18に示す４個の傷画素候補Ｐｃのほかに，さらに，これらの４個の傷画素候補Ｐｃの上下左右に外接する位置には緑色画素は存在せずに，傷画素候補の斜め方向に緑色画素が８個の合計12個存在している。このように，傷画素候補Ｐｃと同色の周辺画素Ｐｓが補正元画素とされてもよい。傷画素候補Ｐｃが緑色画素に限らず，青色画素または赤色画素の場合も同様である。

図20は，白傷周辺画素Ｐｓｗの輝度値と輝度レベル差との関係を示すもので，図12に対応している。

図20における輝度レベル差も図12における輝度レベル差と同様に，白傷画素候補Ｐｃｗと白傷周辺画素Ｐｓｗとの輝度レベル差である。

図20においては二種類のグラフＧ１およびＧ２が規定されている。グラフＧ１は，たとえば，ＩＳＯ感度が800相当に設定された場合に利用され，グラフＧ２は，たとえば，ＩＳＯ感度が1600相当に設定された場合に利用される。

グラフＧ１においては，図12に示すグラフと同様に，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より低い場合には第１の輝度レベル差しきい値が規定されており，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合には第２の輝度レベル差しきい値が規定されており，白傷周辺画素Ｐｓｗの輝度値が第２の輝度しきい値より高い場合には第３の輝度レベル差しきい値が規定されている。第２のグラフＧ２においては，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より低い場合には第４の輝度レベル差しきい値が規定されており，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合には第５の輝度レベル差しきい値が規定されており，白傷周辺画素Ｐｓｗの輝度値が第２の輝度しきい値より高い場合には第６の輝度レベル差しきい値が規定されている。第４の輝度レベルしきい値は第１の輝度レベルしきい値より低く，第５の輝度レベルしきい値は第１の輝度レベルしきい値と第３の輝度レベルしきい値との間であり，第６の輝度レベルしきい値は第２の輝度レベルしきい値と第３の輝度レベルしきい値との間である。

ＩＳＯ感度として800相当が設定された場合には，グラフＧ１が用いられて白傷画素候補Ｐｃｗが，白傷画素かどうかが決定される。上述したように，白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より低い場合に，輝度レベル差が第１の輝度レベル差以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合に，輝度レベル差が第２の輝度レベル差以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。白傷周辺画素Ｐｓｗの輝度値が第２の輝度しきい値より高い場合に，輝度レベル差が第３の輝度レベル差以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。

また，ＩＳＯ感度として1600相当が設定された場合には，グラフＧ２が用いられて白傷画素候補Ｐｃｗが，白傷画素かどうかが決定される。白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より低い場合には，輝度レベル差が第４の輝度レベル差以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。白傷周辺画素Ｐｓｗの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合に，輝度レベル差が第５の輝度レベル差以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。白傷周辺画素Ｐｓｗの輝度値が第２の輝度しきい値より高い場合に，輝度レベル差が第６の輝度レベル差以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。

設定されたＩＳＯ感度が高い方が，増幅回路25における増幅率が大きくなり，ノイズが目立ってしまう。このために，ＩＳＯ感度が高い方が白傷を目立たなくするために傷補正される割合を高くしている。白傷画素候補Ｐｃｗが白傷画素と決定されやすいように第４の輝度レベル差しきい値は第１の輝度レベル差しきい値よりも小さく，第５の輝度レベル差しきい値は第２の輝度レベル差しきい値よりも小さく，第６の輝度レベル差しきい値は第１の輝度レベル差しきい値よりも小さい。

図21は，黒傷周辺画素Ｐｓｂのしきい値と輝度レベル差との関係を示すもので，図13に対応している。

図21における輝度レベル差も図13における輝度レベル差と同様に，黒傷画素候補Ｐｃｂと黒傷周辺画素Ｐｓｂとの輝度レベル差である。

図21においては二種類のグラフＧ３およびＧ４が規定されている。グラフＧ３はＩＳＯ感度が800相当に設定された場合に利用され，グラフＧ４はＩＳＯ感度が1600相当に設定された場合に利用される。

グラフＧ３においては，図13に示すグラフと同様に，黒傷周辺画素Ｐｓｂの輝度値が第２の輝度しきい値より高い場合には第１の輝度レベル差しきい値が規定されており，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合には第２の輝度レベル差しきい値が規定されており，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より低い場合には第３の輝度レベル差しきい値が規定されている。グラフＧ４においては，黒傷周辺画素Ｐｓｂの輝度値が第２の輝度しきい値より高い場合には第４の輝度レベル差しきい値が規定されており，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合には第５の輝度レベル差しきい値が規定されており，黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より低い場合には第６の輝度レベル差しきい値が規定されている。第４の輝度レベルしきい値は第１の輝度レベルしきい値より低く，第５の輝度レベルしきい値は第１の輝度レベルしきい値と第３の輝度レベルしきい値との間であり，第６の輝度レベルしきい値は第２の輝度レベルしきい値と第３の輝度レベルしきい値との間である。

ＩＳＯ感度として800相当が設定された場合には，グラフＧ３が用いられて黒傷画素候補Ｐｃｂが，黒傷画素かどうかが決定される。上述したように，黒傷周辺画素Ｐｓｂの輝度値が第２の輝度しきい値より高い場合に，輝度レベル差が第１の輝度レベル差以上であれば，黒傷画素候補Ｐｃｂが黒傷と決定される。黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合に，輝度レベル差が第２の輝度レベル差以上であれば，黒傷画素候補Ｐｃｂが黒傷と決定される。黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より低い場合に，輝度レベル差が第３の輝度レベル差以上であれば，白傷画素候補Ｐｃｗが白傷と決定される。

また，ＩＳＯ感度として1600相当が設定された場合には，グラフＧ４が用いられて黒傷画素候補Ｐｃｂが，黒傷画素かどうかが決定される。黒傷周辺画素Ｐｓｂの輝度値が第２の輝度しきい値より高い場合には，輝度レベル差が第４の輝度レベル差以上であれば，黒傷画素候補Ｐｃｂが黒傷と決定される。黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より高く，かつ第２の輝度しきい値より低い場合に，輝度レベル差が第５の輝度レベル差以上であれば，黒傷画素候補Ｐｃｂが黒傷と決定される。黒傷周辺画素Ｐｓｂの輝度値が第１の輝度しきい値より低い場合に，輝度レベル差が第６の輝度レベル差以上であれば，黒傷画素候補Ｐｃｂが黒傷と決定される。

上述したのと同様に，設定されたＩＳＯ感度が高い方が，増幅回路25における増幅率が大きくなり，ノイズが目立ってしまう。このために，ＩＳＯ感度が高い方が黒傷を目立たなくするために傷補正される割合を高くしている。黒傷画素候補Ｐｃｂが黒傷画素と決定されやすいように第４の輝度レベル差しきい値は第１の輝度レベル差しきい値よりも小さく，第５の輝度レベル差しきい値は第２の輝度レベル差しきい値よりも小さく，第６の輝度レベル差しきい値は第１の輝度レベル差しきい値よりも小さい。

図22は，設定されたＩＳＯ感度に応じて輝度レベル差しきい値を決定する処理手順を示すフローチャートである。

ユーザによってＩＳＯ感度設定スイッチ４(ＩＳＯ感度設定手段)を用いてＩＳＯ感度が設定されると(ステップ80)，設定されたＩＳＯ感度に応じた増幅が行われるように増幅回路25(増幅手段)が設定される。設定されたＩＳＯ感度に応じて増幅回路25において，撮像素子９から出力された映像信号(ディジタル画像データ)が増幅される。白傷画素の決定を行うのかどうかが動的傷画素決定回路23において判断される(ステップ81)。

白傷画素の決定が行われる場合，設定されたＩＳＯ感度がしきい値より（たとえば，ＩＳＯ感度1200）低いかどうかが動的傷画素決定回路23において判断される(ステップ82)。設定されたＩＳＯ感度がしきい値より低い場合には(ステップ82でＹＥＳ)，図20に示すグラフＧ１の第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が制御装置16によって動的傷画素決定回路23に設定される(ステップ83)。設定されたＩＳＯ感度がしきい値以上の場合には(ステップ82でＮＯ)，図20に示すグラフＧ２の第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が動的傷画素決定回路23に設定される(ステップ84)。白傷画素決定用の輝度レベル差しきい値については，ＩＳＯ感度がしきい値よりも高い場合よりも低い場合の方が，大きな輝度レベル差しきい値が用いられ，かつＩＳＯ感度がしきい値よりも低い場合よりも高い場合の方が，小さな輝度レベル差しきい値が用いられることとなる。

黒傷画素の決定が行われる場合も(ステップ81でＮＯ)，設定されたＩＳＯ感度がしきい値より低いかどうかが動的傷画素決定回路23において判断される(ステップ85)。設定されたＩＳＯ感度がしきい値より低い場合には(ステップ85でＹＥＳ)，図21に示すグラフＧ３の第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が動的傷画素決定回路23に設定される(ステップ86)。設定されたＩＳＯ感度がしきい値以上の場合には(ステップ85でＮＯ)，図21に示すグラフＧ４の第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が動的傷画素決定回路23に設定される(ステップ87)。黒傷画素決定用の輝度レベル差しきい値についても，ＩＳＯ感度がしきい値よりも高い場合よりも低い場合の方が，大きな輝度レベル差しきい値が用いられ，かつＩＳＯ感度がしきい値よりも低い場合よりも高い場合の方が，小さな輝度レベル差しきい値が用いられることとなる。

図23は，設定されたホワイト・バランス調整回路26における増幅率に応じて輝度レベル差しきい値を決定する処理手順を示すフローチャートである。

被写体像が複数色のカラー映像信号によって表されるカラーの被写体像であり，ユーザによってホワイト・バランス調整回路26における増幅率が設定されると(ステップ90)，白傷画素の決定を行うのかどうかが動的傷画素決定回路23において判断される(ステップ91)。

白傷画素の決定が行われる場合，設定された増幅率がしきい値より低いかどうかが動的傷画素決定回路23において判断される(ステップ92)。設定された増幅率がしきい値より低い場合には(ステップ92でＹＥＳ)，増幅によるノイズの増加は少ない。ノイズが目立たないので，白傷画素補正が行われる割合が低くなるように，図20に示すグラフＧ１の第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が動的傷画素決定回路23に設定される(ステップ93)。設定された増幅率がしきい値以上の場合には(ステップ92でＮＯ)，増幅によるノイズの増加が多い。ノイズが目立つので，白傷画素補正が行われる割合が高くなるように，図20に示すグラフＧ２の第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が動的傷画素決定回路23に設定される(ステップ94)。白傷画素決定用の輝度レベル差しきい値については，ホワイト・バランス調整回路26における増幅率がしきい値よりも高い場合よりも低い場合の方が大きな輝度レベル差しきい値が用いられ，ホワイト・バランス調整回路26における増幅率がしきい値よりも低い場合よりも高い場合の方が小さな輝度レベル差しきい値が用いられることとなる。

黒傷画素の決定が行われる場合も(ステップ91でＮＯ)，設定された増幅率がしきい値より低いかどうかが動的傷画素決定回路23において判断される(ステップ95)。設定された増幅率がしきい値より低い場合には(ステップ95でＹＥＳ)，増幅によるノイズの増加は少ない。ノイズが目立たないので，黒傷補正が行われる割合が少なくなるように，図21に示すグラフＧ３の第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が動的傷画素決定回路23に設定される(ステップ96)。設定された増幅率がしきい値以上の場合には(ステップ95でＮＯ)，増幅によるノイズの増加は多い。ノイズが目立ってしまうので，黒傷補正が行われる割合が多くなるように，図21に示すグラフＧ４の第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が動的傷画素決定回路23に設定される(ステップ97)。黒傷画素決定用の輝度レベル差しきい値についても，ホワイト・バランス調整回路26における増幅率がしきい値よりも高い場合よりも低い場合の方が大きな輝度レベル差しきい値が用いられ，ホワイト・バランス調整回路26における増幅率がしきい値よりも低い場合よりも高い場合の方が小さな輝度レベル差しきい値が用いられることとなる。

図24は，白傷画素候補Ｐｃｗが緑色画素，赤色画素または青色画素のいずれかに応じて輝度レベル差しきい値を決定する処理手順を示すフローチャートである。

白傷画素候補Ｐｃｗが，緑色画素かどうかが動的傷画素決定回路23において検出される(ステップ101)。白傷画素候補Ｐｃｗが緑色画素か，赤色画素か，青色画素かは，撮像素子９に形成されているカラー・フィルタ配列と，撮像素子９から出力される映像信号の出力順序により分かる。白傷画素候補Ｐｃｗが緑色画素の場合には(ステップ101でＹＥＳ)，図20に示すグラフＧ１によって規定される第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ102)。白傷画素候補Ｐｃｗが赤色画素または青色画素の場合には(ステップ101でＮＯ，ステップ103でＹＥＳ)，図20に示すグラフＧ２によって規定される第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ104)。白傷画素候補Ｐｃｗが緑色画素，赤色画素または青色画素のいずれかであるかが決定できなかった場合には(ステップ103でＮＯ)，他の処理，たとえば，白傷画素候補Ｐｃｗの白傷周辺画素Ｐｓｗの輝度値に関わらず一定の輝度レベル差しきい値が輝度レベル差しきい値として決定されてもよいし，グラフＧ１によって規定される第１の輝度レベル差しきい値から第３の輝度レベル差しきい値として決定されてもよい。

白傷画素候補Ｐｃｗが緑色画素の場合，ホワイト・バランス調整回路26におけるホワイト・バランス調整は，緑色画素を表すディジタル画像データのレベルに，青色画素を表すディジタル画像データのレベルおよび赤色画素を表すディジタル画像データのレベルにそれぞれ合わせる処理である。通常は，青色画素を表すディジタル画像データおよび赤色画素を表すディジタル画像データのそれぞれのレベルを上げ，緑色画素を表すディジタル画像データのレベルに合わせる。ホワイト・バランス調整回路26において青色画素を表すディジタル画像データおよび赤色画素を表すディジタル画像データのそれぞれのレベルが上げられるので，ノイズが目立つ。白傷補正が行われる割合が多くなるように，白傷画素候補Ｐｃｗが青色画素または赤色画素の場合には白傷画素候補Ｐｃｗが緑色画素の場合に比べと輝度レベル差しきい値が低くされる。

このように，被写体像が赤色成分から成る赤色画素，緑色成分から成る緑色画素および青色成分から成る青色画素から構成される場合には，白傷画素候補Ｐｃｗが緑色画素の場合よりも白傷画素候補Ｐｃｗが赤色画素または青色画素の場合の方が，小さな輝度レベル差しきい値が用いられることとなる。

図25は，黒傷画素候補Ｐｃｂが緑色画素，赤色画素または青色のいずれかに応じて輝度レベル差しきい値を決定する処理手順を示すフローチャートである。

上述した白傷画素候補Ｐｃｗの場合と同様に，黒傷画素候補Ｐｃｂが，緑色画素かどうかが動的傷画素決定回路23において検出される(ステップ111)。白傷画素候補Ｐｃｗの場合と同様に，黒傷画素候補Ｐｃｂが緑色画素か，赤色画素か，青色画素かは，撮像素子９に形成されているカラー・フィルタ配列と，撮像素子９から出力される映像信号の出力順序により分かる。黒傷画素候補Ｐｃｂが緑色画素の場合には(ステップ111でＹＥＳ)，図21に示すグラフＧ３によって規定される第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ112)。黒傷画素候補Ｐｃｂが赤色画素または青色画素の場合には(ステップ111でＮＯ，ステップ113でＹＥＳ)，図21に示すグラフＧ４によって規定される第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が輝度レベル差しきい値として決定される。黒傷画素候補Ｐｃｂが緑色画素，赤色画素または青色画素のいずれかであるかが決定できなかった場合には(ステップ113でＮＯ)，他の処理，たとえば，黒傷画素候補Ｐｃｂの黒傷周辺画素Ｐｓｂの輝度値に関わらず一定の輝度レベル差しきい値が輝度レベル差しきい値として決定されてもよいし，グラフＧ３によって規定される第１の輝度レベル差しきい値から第３の輝度レベル差しきい値として決定されてもよい。

上述のように，ホワイト・バランス調整回路26において青色画素を表すディジタル画像データおよび赤色画素を表すディジタル画像データのそれぞれのレベルが上げられるので，ノイズがめだってしまう。黒傷画素候補Ｐｃｂが赤色画素または青色画素の場合には，傷補正される割合が多くなるように小さな第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が用いられる。

このように，被写体像が赤色成分から成る赤色画素，緑色成分から成る緑色画素および青色成分から成る青色画素から構成される場合には，黒傷画素候補Ｐｃｂが緑色画素の場合よりも黒傷画素候補Ｐｃｂが赤色画素または青色画素の場合の方が，小さな輝度レベル差しきい値が用いられることとなる。

図26は，ガンマ補正回路27に設定可能な２種類のガンマ補正曲線の一例である。

図26において，横軸がディジタル画像データの入力であり，縦軸がディジタル画像データの出力である。

第１のガンマ補正曲線(ガンマ１)は，ガンマ補正後のディジタル画像データ(映像信号)の低輝度部が相対的に高くなるものである。これに対して，第２のガンマ補正曲線(ガンマ２)は，ガンマ補正後のディジタル画像データ(映像信号)の低輝度部が，第１のガンマ補正曲線によるガンマ補正後のディジタル画像データよりも相対的に低くなるものである。

図27は，設定されたガンマ補正曲線に応じて輝度レベル差しきい値を決定する処理手順を示すフローチャートである。

ユーザによってガンマ補正曲線設定スイッチ６を用いて，図26に示す第１のガンマ補正曲線および第２のガンマ補正曲線のうち，いずれかのガンマ補正曲線がガンマ補正回路27に設定される(ステップ120)。黒傷画素ではなく，白傷画素の決定のために輝度レベル差しきい値が決定される場合には(ステップ121でＹＥＳ)，低輝度が相対的に高くなる第１のガンマ補正曲線が設定されたかどうかが制御装置16によって判断される(ステップ122)。第１のガンマ補正曲線が設定された場合には(ステップ122でＹＥＳ)，図20に示すグラフＧ２によって規定される第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ123)。第１のガンマ補正曲線が設定されていない場合には(ステップ122でＮＯ)，低輝度が相対的に低くなる第２のガンマ補正曲線が設定されたと制御装置16によって判断され，図20に示すグラフＧ１によって規定される第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ124)。

白傷画素の決定の場合には，低輝度が相対的に高くなる第１のガンマ補正曲線が設定された場合には輝度レベル差のしきい値が相対的に低い第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が用いられて白傷画素候補Ｐｃｗから白傷画素が決定される。ガンマ補正により低輝度が相対的に高くなると，ノイズが多くなるが，輝度レベル差のしきい値が相対的に低い第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が用いられて白傷画素候補Ｐｃｗから白傷画素が決定されるので，白傷画素と決定される割合が多くなり，多くの白傷画素が補正されることとなる。

このように，白傷画素決定用の輝度レベル差しきい値については，ガンマ補正回路27によるガンマ補正後のディジタル画像データ（映像信号）の低輝度部が相対的に高くなる第１のガンマ補正曲線が用いられた場合には，第１のガンマ補正曲線よりもガンマ補正後の映像信号の低輝度部が相対的に低くなる第２のガンマ補正曲線が用いられた場合よりも小さな輝度レベル差しきい値が用いられ，かつガンマ補正回路27によるガンマ補正後のディジタル画像データ（映像信号）の低輝度部が相対的に低くなる第２のガンマ補正曲線が用いられた場合には，第２のガンマ補正曲線よりもガンマ補正後のディジタル画像データ（映像信号）の低輝度部が相対的に高くなる第１のガンマ補正曲線が用いられた場合よりも大きな輝度レベル差しきい値が用いられる。

白傷画素ではなく，黒傷画素の決定のために輝度レベル差しきい値が決定される場合にも(ステップ121でＮＯ)，低輝度が相対的に高くなる第１のガンマ補正曲線が設定されたかどうかが制御装置16によって判断される(ステップ125)。第１のガンマ補正曲線が設定された場合には(ステップ125でＹＥＳ)，図21に示すグラフＧ４によって規定される第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ126)。第２のガンマ補正曲線が設定されていない場合には(ステップ125でＮＯ)，低輝度が相対的に高くなる第２のガンマ補正曲線が設定されたと制御装置16によって判断され，図21に示すグラフＧ３によって規定される第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ127)。

黒傷画素の決定の場合にも，低輝度が相対的に高くなる第１のガンマ補正曲線が設定された場合には輝度レベル差のしきい値が相対的に低い第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が用いられて黒傷画素候補Ｐｃｂから黒傷画素が決定される。ガンマ補正により低輝度が相対的に低くなると，黒傷が目立つことが多いが，輝度レベル差のしきい値が相対的に低い第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が用いられて黒傷画素候補Ｐｃｂから黒傷画素が決定されるので，黒傷画素と決定される割合が多くなり，目立ってしまう黒傷画素が補正されることとなる。

このように，黒傷画素決定用の輝度レベル差しきい値については，ガンマ補正回路27によるガンマ補正後の映像信号の低輝度部が相対的に高くなる第１のガンマ補正曲線が用いられた場合には，第１のガンマ補正曲線よりもガンマ補正後のディジタル画像データ（映像信号）の低輝度部が相対的に低くなる第２のガンマ補正曲線が用いられた場合よりも小さな輝度レベル差しきい値が用いられ，かつガンマ補正回路27によるガンマ補正後の映像信号の低輝度部が相対的に低くなる第２のガンマ補正曲線が用いられた場合には，第２のガンマ補正曲線よりもガンマ補正後の映像信号の低輝度部が相対的に高くなる第１のガンマ補正曲線が用いられた場合よりも大きな輝度レベル差しきい値が用いられる。

図27は，被写体像の一例である。

被写体像の中心Ｃに近い領域Ａ１と被写体像の中心Ｃから遠い領域Ａ２とが規定されている。領域Ａ１は矩形であるが，円形，その他の形状でもよい。

白傷画素候補Ｐｃｗまたは黒傷画素候補Ｐｃｂが領域Ａ１または領域Ａ２のいずれかに含まれているかに応じて輝度レベル差しきい値が決定される。

図29は，白傷画素候補Ｐｃｗについての輝度レベル差しきい値決定処理手順を示すフローチャートである。

検出された白傷画素候補Ｐｃｗが被写体像の中心Ｃに近い領域Ａ１に含まれていれば白傷画素候補Ｐｃｗが被写体像の中心Ｃに近いと考えられ，白傷画素候補Ｐｃｗが被写体像の中心Ｃから遠い領域Ａ２に含まれていれば白傷画素候補Ｐｃｗが被写体像の中心Ｃから遠いと考えられる。白傷画素候補Ｐｃｗが被写体像の中心に近い場合には(ステップ131でＹＥＳ)，図20のグラフＧ１によって規定される第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ132)。白傷画素候補Ｐｃｗが被写体像の中心から遠い場合には(ステップ131でＮＯ)，図20のグラフＧ２によって規定される第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ133)。中心Ｃから遠い被写体像の部分はシェーディング補正されることがあるので，そのシェーディング補正によりノイズが目立つ。白傷画素候補Ｐｃｗが中心Ｃから遠い場合には，白傷補正される割合が高くなりノイズを抑えることができる。

図30は，黒傷画素候補Ｐｃｂについての輝度レベル差しきい値決定処理手順を示すフローチャートである。

白傷画素候補Ｐｃｗと同様に，検出された黒傷画素候補Ｐｃｂが被写体像の中心Ｃに近い領域Ａ１に含まれていれば黒傷画素候補Ｐｃｂが被写体像の中心Ｃに近いと考えられ，黒傷画素候補Ｐｃｂが被写体像の中心Ｃから遠い領域Ａ２に含まれていれば黒傷画素候補Ｐｃｂが被写体像の中心Ｃから遠いと考えられる。黒傷画素候補Ｐｃｂが被写体像の中心に近い場合には(ステップ141でＹＥＳ)，図21のグラフＧ４によって規定される第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ142)。黒傷画素候補Ｐｃｂが被写体像の中心から遠い場合には(ステップ141でＮＯ)，図21のグラフＧ３によって規定される第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ144)。中心Ｃから遠い被写体像の部分はシェーディング補正されることがあるので，そのシェーディング補正によりノイズが目立つ。黒傷画素候補Ｐｃｂが中心Ｃから遠い場合には，黒傷補正される割合が高くなりノイズを抑えることができる。

図31は，設定されたシャッタ・スピードに応じて輝度レベル差しきい値を決定する処理手順を示すフローチャートである。

ユーザによってシャッタ・スピード設定スイッチ３を用いてシャッタ・スピードが設定される(ステップ150)。ユーザの設定ではなく，自動でシャッタ・スピードが設定されてもよい。

白傷画素の決定の場合であれば(ステップ151でＹＥＳ)，シャッタ・スピードが所定のしきい値よりも遅いかどうかが制御装置16によって判断される(ステップ152)。シャッタ・スピードがしきい値よりも遅い場合には(ステップ152でＹＥＳ)，暗電流の発生によりノイズが目立つ。ノイズを抑えるために白傷画素補正が行われる割合を高くする。このために，輝度レベル差しきい値が低くなるようにグラフＧ２の第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ153)。シャッタ・スピードが所定のしきい値以上であれば(ステップ152でＮＯ)，暗電流によるノイズは目立たない。白傷画素補正が行われる割合を低くする。このために，輝度レベル差しきい値が高くなるようにグラフＧ１の第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ154)。

このようにして，白画素決定用の輝度レベル差しきい値については，シャッタ・スピードがしきい値よりも遅いほど小さな輝度レベル差しきい値が用いられ，シャッタ・スピードがしきい値よりも速いほど大きな輝度レベル差しきい値が用いられる。

黒傷画素の決定の場合においても(ステップ151でＮＯ)，シャッタ・スピードが所定のしきい値よりも遅いかどうかが制御装置16によって判断される(ステップ155)。シャッタ・スピードがしきい値よりも遅い場合には(ステップ155でＹＥＳ)，暗電流の発生によりノイズが目立つ。ノイズを抑えるために黒傷画素補正が行われる割合を高くする。このために，輝度レベル差しきい値が低くなるようにグラフＧ４の第４の輝度レベル差しきい値から第６の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ156)。シャッタ・スピードが所定のしきい値以上であれば(ステップ155でＮＯ)，暗電流によるノイズは目立たない。黒傷画素補正が行われる割合を低くする。このために，輝度レベル差しきい値が高くなるようにグラフＧ３の第１の輝度レベル差しきい値から第３の輝度レベル差しきい値が輝度レベル差しきい値として決定される(ステップ157)。

このようにして，黒画素決定用の輝度レベル差しきい値については，シャッタ・スピードがしきい値よりも遅いほど小さな輝度レベル差しきい値が用いられ，シャッタ・スピードがしきい値よりも速いほど大きな輝度レベル差しきい値が用いられる。

この発明の実施例による撮像装置として，ディジタル・カメラ１について説明してきたが，撮像装置の構成はこれに限定されない。ディジタル・カメラ１以外の撮像装置としては，例えば，内蔵型又は外付け型のＰＣ（personal computer）用カメラ，または，以下に説明するような撮像機能を有する携帯端末装置とすることができる。

この発明の実施例による携帯端末装置としては，例えば，携帯電話機，スマートフォン，ＰＤＡ(Personal Digital Assistants)，携帯型ゲーム機などが挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。

図32は，撮像装置の一実施形態であるスマートフォン160の外観を示している。

スマートフォン160は，平板状の筐体161を有し，筐体161の一方の面に表示部としての表示パネル171と，入力部としての操作パネル172とが一体となった表示入力部170を備えている。また，筐体161には，操作部162，カメラ部163，スピーカ165およびマイクロフォン166が設けられている。筐体161の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図33は，図32に示すスマートフォン160の電気的構成を示すブロック図である。

スマートフォン160の主たる構成要素として，操作部162と，カメラ部163と，通話部167と，表示入力部170と，主制御部180と，外部入出力部181と，無線通信部182と，モーション・センサ部183と，電源部184と，ＧＰＳ(Global Positioning System)受信部185と，記憶部190とを備える。また，スマートフォン160の主たる機能として，基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部182は，主制御部180の指示にしたがって，移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイル・データ，電子メール・データなどの送受信や，ウェブ・データやストリーミング・データなどの受信を行う。

表示入力部170は，主制御部180の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチ・パネルであって，表示パネル171と，操作パネル172とを備える。

表示パネル171は，ＬＣＤ(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル172は，表示パネル171の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部180に出力する。次いで，主制御部180は，受信した検出信号に基づいて，表示パネル171上の操作位置（座標）を検出する。

図32に示すように，撮像装置の一実施形態として例示しているスマートフォン160の表示パネル171と操作パネル172とは一体となって表示入力部170を構成しているが，操作パネル172が表示パネル171を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル172は，表示パネル171外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル172は，表示パネル171に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル171に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

なお，表示領域の大きさと表示パネル171の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル172が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体161の大きさなどに応じて適宜設計されるものである。更にまた，操作部162で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

通話部167は，スピーカ165，マイクロフォン166を備え，マイクロフォン166を通じて入力されたユーザの音声を主制御部180にて処理可能な音声データに変換して主制御部180に出力したり，無線通信部182または外部入出力部181により受信された音声データを復号してスピーカ165から出力したりするものである。また，図32に示すように，例えば，スピーカ165を表示入力部170が設けられた面と同じ面に搭載し，マイクロフォン166を筐体161の側面に搭載することができる。

操作部162は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図32に示すように，操作部162は，スマートフォン160の筐体161の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部190は，主制御部180の制御プログラムや制御データ，アプリケーション・ソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ウェブ・ブラウジングによりダウンロードしたウェブ・データや，ダウンロードしたコンテンツ・データを記憶し，またストリーミング・データなどを一時的に記憶するものである。また，記憶部190は，スマートフォン160に内蔵の内部記憶部191とスマートフォン160から着脱自在な外部メモリ・スロットを有する外部記憶部192により構成される。なお，記憶部190を構成するそれぞれの内部記憶部191と外部記憶部192は，フラッシュ・メモリ・タイプ，ハード・ディスク・タイプ，マルチメディア・カード・マイクロ・タイプ，カード・タイプのメモリ（例えば，ＭｉｃｒｏＳＤ（Secure Digital）（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部181は，スマートフォン160に連結される全ての外部機器とのインターフェイスの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサル・シリアル・バス，IEEE（The Institute of Electrical and Electronics Engineers, Inc.）１３９４など），ネットワーク（例えば，インターネット，無線ＬＡＮ（Local Area Network），ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的または間接的に接続するためのものである。

スマートフォン160に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データ・ポート，カード・ソケットを介して接続されるメモリ・カード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナル・コンピュータ，有／無線接続されるＰＤＡ（Personal Digital Assistant），イヤフォンなどがある。外部入出力部181は，このような外部機器から伝送を受けたデータをスマートフォン160の内部の各構成要素に伝達することや，スマートフォン160の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部185は，主制御部180の指示にしたがって，ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し，受信した複数のＧＰＳ信号に基づく測位演算処理を実行し，当該スマートフォン160の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部185は，無線通信部182や外部入出力部181（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。

モーション・センサ部183は，例えば，３軸の加速度センサなどを備え，主制御部180の指示にしたがって，スマートフォン160の物理的な動きを検出する。スマートフォン160の物理的な動きを検出することにより，スマートフォン160の動く方向や加速度が検出される。係る検出結果は，主制御部180に出力されるものである。電源部184は，主制御部180の指示にしたがって，スマートフォン160の各部に，バッテリィ（図示略）に蓄えられる電力を供給するものである。

主制御部180は，マイクロ・プロセッサを備え，記憶部190が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン160の各部を統括して制御するものである。また，主制御部180は，無線通信部182を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

アプリケーション処理機能は，記憶部190が記憶するアプリケーション・ソフトウェアにしたがって主制御部180が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部181を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，ウェブ・ページを閲覧するウェブ・ブラウジング機能などがある。

また，主制御部180は，受信データやダウンロードしたストリーミング・データなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部170に表示する等の画像処理機能を備える。画像処理機能とは，主制御部180が，画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部170に表示する機能のことをいう。

さらに，主制御部180は，表示パネル171に対する表示制御と，操作部162，操作パネル172を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により，主制御部180は，アプリケーション・ソフトウェアを起動するためのアイコンや，スクロール・バーなどのソフトウェア・キーを表示したり，あるいは電子メールを作成するためのウィンドウを表示したりする。なお，スクロール・バーとは，表示パネル171の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェア・キーのことをいう。

また，操作検出制御の実行により，主制御部180は，操作部162を通じたユーザ操作を検出したり，操作パネル172を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロール・バーを通じた表示画像のスクロール要求を受け付ける。

さらに，操作検出制御の実行により主制御部180は，操作パネル172に対する操作位置が，表示パネル171に重なる重畳部分（表示領域）か，それ以外の表示パネル171に重ならない外縁部分（非表示領域）かを判定し，操作パネル172の感応領域や，ソフトウェア・キーの表示位置を制御するタッチ・パネル制御機能を備える。

また，主制御部180は，操作パネル172に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部163は，上述した撮像素子９を用いて電子撮影するディジタル・カメラである。また，カメラ部163は，主制御部180の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部190に記憶したり，外部入出力部181や無線通信部182を通じて出力したりすることができる。図32に示すスマートフォン160において，カメラ部163は表示入力部170と同じ面に搭載されているが，カメラ部163の搭載位置はこれに限らず，表示入力部170の背面に搭載されてもよいし，あるいは，複数のカメラ部163が搭載されてもよい。なお，複数のカメラ部163が搭載されている場合には，撮影に供するカメラ部163を切り替えて単独にて撮影したり，あるいは，複数のカメラ部163を同時に使用して撮影したりすることもできる。

また，カメラ部163はスマートフォン160の各種機能に利用することができる。例えば，表示パネル171にカメラ部163で取得した画像を表示することや，操作パネル172の操作入力のひとつとして，カメラ部163の画像を利用することができる。また，ＧＰＳ受信部185が位置を検出する際に，カメラ部163からの画像を参照して位置を検出することもできる。さらには，カメラ部163からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン160のカメラ部163の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部163からの画像をアプリケーション・ソフトウェア内で利用することもできる。

その他，静止画又は動画の画像データにＧＰＳ受信部185により取得した位置情報，マイクロフォン166により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーション・センサ部183により取得した姿勢情報等などを付加して記憶部190に記録したり，外部入出力部181や無線通信部182を通じて出力したりすることもできる。

撮像素子９を構成するフォトダイオードの欠損など静的傷補正回路21における処理の代わりに上述の処理を行うようにしてもよい。

上述の実施例においては，図20に示すように白傷画素の決定に利用されるグラフがグラフＧ１およびＧ２の二種類であり，図21に示すように黒傷画素の決定に利用されるグラフがグラフＧ３およびＧ４の二種類であるが，３種類以上のグラフを規定するようにしてもよい。たとえば，５種類のグラフを規定し，設定されたＩＳＯ感度，設定されたホワイト・バランス調整回路における増幅率，設定されたガンマ補正曲線および設定されたシャッタ・スピードに応じて，５種類のグラフのうち，いずれかのグラフを決定し，白傷または黒傷を決定する輝度レベル差しきい値を決定するようにしてもよい。たとえば，設定されたＩＳＯ感度，設定されたホワイト・バランス調整回路における増幅率，設定されたガンマ補正曲線および設定されたシャッタ・スピードのうち，すべてが小さな輝度レベル差しきい値を用いるような場合には，５種類のグラフのうちもっとも輝度レベル差しきい値が小さくなるようなグラフが用いられる。同様に，設定されたＩＳＯ感度，設定されたホワイト・バランス調整回路における増幅率，設定されたガンマ補正曲線および設定されたシャッタ・スピードのうち，４つが小さな輝度レベル差しきい値を用いるような場合，３つが小さな輝度レベル差しきい値を用いるような場合，２つが小さな輝度レベル差しきい値を用いるような場合，１つが小さな輝度レベル差しきい値を用いるような場合および１つも小さな輝度レベル差しきい値を用いない場合には，５種類のグラフのうち，二番目に輝度レベル差しきい値が小さくなるようなグラフ，三番目に輝度レベル差しきい値が小さくなるようなグラフ，四番目に輝度レベル差しきい値が小さくなるようなグラフおよび碁盤目に輝度レベル差しきい値が小さくなるようなグラフを用いて白傷補正または黒傷補正の決定処理が行われることとなろう。

１ ディジタル・カメラ，２ シャッタ・レリーズ・ボタン，３ シャッタ・スピード設定スイッチ，４ ＩＳＯ感度設定スイッチ，５ ホワイト・バランス調整設定スイッチ，６ ガンマ補正曲線設定スイッチ，７ メモリ，８ 撮像レンズ，９ 撮像素子，10 アナログ／ディジタル変換回路，11 画像処理装置，12 表示制御回路，13 表示装置，14 記録制御回路，15 メモリ・カード，16 制御装置，21 静的傷補正回路，22 動的傷画素候補検出回路，23 動的傷画素決定回路，24 動的傷画素補正回路，25 増幅回路，26 ホワイト・バランス調整回路，27 ガンマ補正回路，160 スマートフォン，161 筐体，162 操作部，163 カメラ部，165 スピーカ，166 マイクロフォン，167 通話部，170 表示入力部，171 表示パネル，172 操作パネル，180 主制御部，181 外部入出力部，182 無線通信部，183 センサ部，184 電源部，185 ＧＰＳ受信部，190 記憶部，191 内部記憶部，192 外部記憶部，Ａ１ 領域，Ａ２ 領域，Ｃ 中心，Ｇ１ グラフ，Ｇ２ グラフ，Ｇ３ グラフ，Ｇ４ グラフ，Ｐ 画素，Ｐｃ 傷画素候補，Ｐｃｂ 黒傷画素候補，Ｐｃｗ 白傷画素候補，Ｐｓ 周辺画素，Ｐｓｂ 黒傷周辺画素，Ｐｓｗ 白傷周辺画素，ＳＴ１−ＳＴｎ ＧＰＳ衛星

Claims (10)

1. 被写体像に含まれる白傷画素候補および黒傷画素候補の少なくとも一方の傷画素候補を検出する傷画素候補検出手段，
   上記白傷画素候補の周辺に存在する白傷周辺画素の輝度値が白傷画素決定用の第１の輝度しきい値より低い場合には，上記白傷画素候補と上記白傷周辺画素との輝度レベル差が白傷画素決定用の第１の輝度レベル差しきい値以上の場合に上記白傷画素候補を白傷と決定し，上記白傷画素候補の周辺に存在する白傷周辺画素の輝度値が白傷画素決定用の第１の輝度しきい値より高い場合には，上記白傷画素候補と上記白傷周辺画素との輝度レベル差が白傷画素決定用の第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値以上の場合に上記白傷画素候補を白傷と決定し，上記黒傷画素候補の周辺に存在する黒傷周辺画素の輝度値が黒傷画素決定用の第１の輝度しきい値より高い場合には，上記黒傷画素候補と上記黒傷周辺画素との輝度レベル差が黒傷画素決定用の第１の輝度レベル差しきい値以上の場合に上記黒傷画素候補を黒傷と決定し，かつ上記黒傷画素候補の周辺に存在する黒傷周辺画素の輝度値が黒傷画素決定用の第１の輝度しきい値より低い場合には，上記黒傷画素候補と上記黒傷周辺画素との輝度レベル差が黒傷画素決定用の第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値以上の場合に上記黒傷画素候補を黒傷と決定する傷画素決定手段，ならびに
   上記傷画素決定手段によって決定した白傷画素および黒傷画素の少なくとも一方を補正する傷画素補正手段，
   を備えた傷画素補正システム。
2. 白傷画素決定用の第１の輝度しきい値以外に白傷画素決定用の輝度しきい値が規定されており，かつ規定されている白傷画素決定用の複数の輝度しきい値に対応して，輝度しきい値が大きくなるほど輝度レベル差しきい値が大きくなる複数の輝度レベル差しきい値が規定されており，
   上記白傷画素候補と上記白傷周辺画素との輝度レベル差が，白傷画素決定用の複数の輝度しきい値のうち上記白傷画素候補の周辺に存在する白傷周辺画素の輝度値が超えた輝度しきい値に対応する輝度レベル差しきい値以上の場合に上記白傷画素候補を白傷と決定し，
   黒傷画素決定用の第１の輝度しきい値以外に黒傷画素決定用の輝度しきい値が規定されており，かつ規定されている黒傷画素決定用複数の輝度しきい値に対応して，輝度しきい値が大きくなるほど輝度レベル差しきい値が小さくなる複数の輝度レベル差しきい値が規定されており，
   上記黒傷画素候補と上記黒傷周辺画素との輝度レベル差が，黒傷画素決定用の複数の輝度しきい値のうち上記黒傷画素候補の周辺の第１の黒傷周辺画素の輝度値が超えた輝度しきい値に対応する輝度レベル差以上の場合に上記黒傷画素候補を黒傷と決定する，
   請求項１に記載の傷画素補正システム。
3. 上記傷画素補正手段は，
   上記傷画素決定手段によって決定した白傷画素または黒傷画素の周辺に存在する補正元画素を用いて，白傷画素または黒傷画素を補正するものであり，白傷画素の周辺に存在する補正元画素の輝度値がしきい値より低い場合に用いられる補正元画素の範囲よりも白傷画素の周辺画素の輝度値がしきい値より高い場合に用いられる補正元画素の範囲の方が狭く，黒傷画素の周辺に存在する補正元画素の輝度値がしきい値より低い場合に用いられる補正元画素の範囲よりも黒傷画素の周辺画素の輝度値がしきい値より高い場合に用いられる補正元画素の範囲の方が狭い，
   請求項１または２に記載の傷画素補正システム。
4. ＩＳＯ感度を設定するＩＳＯ感度設定手段，および
   上記ＩＳＯ感度設定手段によって設定されたＩＳＯ感度に応じて，上記被写体像を表す映像信号を増幅する増幅手段をさらに備え，
   上記傷画素決定手段は，
   ＩＳＯ感度がしきい値よりも高い場合よりも低い場合の方が，大きな輝度レベル差しきい値を用い，かつＩＳＯ感度がしきい値よりも低い場合よりも高い場合の方が，小さな輝度レベル差しきい値を用いる，
   請求項１から３のうち，いずれか一項に記載の傷画素補正システム。
5. 上記被写体像は，複数色のカラー映像信号によって表されるカラーの被写体像であり，
   増幅率を規定するゲイン制御信号が与えられることにより，上記複数色のカラー映像信号を増幅してホワイト・バランス調整を行うホワイト・バランス調整回路をさらに備え，
   上記傷画素決定手段は，
   上記ホワイト・バランス調整回路における増幅率がしきい値よりも高い場合よりも低い場合の方が大きな輝度レベル差しきい値を用い，上記ホワイト・バランス調整回路における増幅率がしきい値よりも低い場合よりも高い場合の方が小さな輝度レベル差しきい値を用いる，
   請求項１から３のうち，いずれか一項に記載の傷画素補正システム。
6. 被写体像は，赤色成分から成る赤色画素，緑色成分から成る緑色画素および青色成分から成る青色画素から構成され，
   上記傷画素決定手段は，
   白傷画素候補が緑色画素の場合よりも白傷画素候補が赤色画素または青色画素の場合の方が，小さな輝度レベル差しきい値を用いる処理，および黒傷画素候補が緑色画素の場合よりも黒傷画素候補が赤色画素または青色画素の場合の方が，小さな輝度レベル差しきい値を用いる処理の少なくとも一方の処理を行う，
   請求項１から３のうち，いずれか一項に記載の傷画素補正システム。
7. 上記被写体像を表す映像信号を，ガンマ補正曲線を用いてガンマ補正するガンマ補正回路をさらに備え，
   上記傷画素決定手段は，
   上記ガンマ補正回路によるガンマ補正後の映像信号の低輝度部が相対的に高くなる第１のガンマ補正曲線が用いられた場合には，第１のガンマ補正曲線よりもガンマ補正後の映像信号の低輝度部が相対的に低くなる第２のガンマ補正曲線が用いられた場合よりも小さな輝度レベル差しきい値を用い，かつ上記ガンマ補正回路によるガンマ補正後の映像信号の低輝度部が相対的に低くなる第２のガンマ補正曲線が用いられた場合には，第２のガンマ補正曲線よりもガンマ補正後の映像信号の低輝度部が相対的に高くなる第１のガンマ補正曲線が用いられた場合よりも大きな輝度レベル差しきい値を用いる，
   請求項１から３のうち，いずれか一項に記載の傷画素補正システム。
8. 上記傷画素決定手段は，
   上記白傷画素候補が，上記被写体像の周縁よりも中心に近いほど大きな輝度レベル差しきい値を用いる処理，および上記黒傷画素候補が，上記被写体像の周縁よりも中心に近いほど大きな輝度レベル差しきい値を用いる処理の少なくとも一方の処理を行う，
   請求項１から３のうち，いずれか一項に記載の傷画素補正システム。
9. シャッタ・スピードを設定するシャッタ・スピード設定手段をさらに備え，
   上記被写体像は，上記シャッタ・スピード設定手段によって設定されたシャッタ・スピードによって撮像されており，
   上記傷画素決定手段は，
   シャッタ・スピードがしきい値よりも遅いほど小さな輝度レベル差しきい値を用い，かつシャッタ・スピードがしきい値よりも速いほど大きな輝度レベル差しきい値を用いる，
   請求項１から３のうち，いずれか一項に記載の傷画素補正システム。
10. 傷画素候補検出手段が，被写体像に含まれる白傷画素候補および黒傷画素候補の少なくとも一方の傷画素候補を検出し，
    傷画素決定手段が，上記白傷画素候補の周辺に存在する白傷周辺画素の輝度値が白傷画素決定用の第１の輝度しきい値より低い場合には，上記白傷画素候補と上記白傷周辺画素との輝度レベル差が白傷画素決定用の第１の輝度レベル差しきい値以上の場合に上記白傷画素候補を白傷と決定し，上記白傷画素候補の周辺に存在する白傷周辺画素の輝度値が白傷画素決定用の第１の輝度しきい値より高い場合には，上記白傷画素候補と上記白傷周辺画素との輝度レベル差が白傷画素決定用の第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値以上の場合に上記白傷画素候補を白傷と決定し，上記黒傷画素候補の周辺に存在する黒傷周辺画素の輝度値が黒傷画素決定用の第１の輝度しきい値より高い場合には，上記黒傷画素候補と上記黒傷周辺画素との輝度レベル差が黒傷画素決定用の第１の輝度レベル差しきい値以上の場合に上記黒傷画素候補を黒傷と決定し，かつ上記黒傷画素候補の周辺に存在する黒傷周辺画素の輝度値が黒傷画素決定用の第１の輝度しきい値より低い場合には，上記黒傷画素候補と上記黒傷周辺画素との輝度レベル差が黒傷画素決定用の第１の輝度レベル差しきい値よりも大きい第２の輝度レベル差しきい値以上の場合に上記黒傷画素候補を黒傷と決定し，
    傷画素補正手段が，上記傷画素決定手段によって決定した白傷画素および黒傷画素の少なくとも一方を補正する，
    傷画素補正方法。

Images