JP2013239772A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】注目領域内の被写体の動きの変化を検出する装置であって、注目領域に対応する欠陥画素の出力信号を優先して補正することで誤検出を防止する画像処理装置を提供する。
【解決手段】画像処理装置が、撮像素子の欠陥画素の位置情報を取得し、撮像素子の出力信号から得られる画像中の注目領域を設定する。画像処理装置が、前記取得された欠陥画素の位置情報を用いて、前記設定された注目領域に含まれる前記欠陥画素から予め決められた個数分、補正対象として選択し、選択した前記欠陥画素の出力信号を補正し、補正された出力信号から得られる複数フレームの画像間において、注目領域に含まれる画素を比較して信号値の差分を検出することにより、注目領域内における被写体の動きの変化を検出する。
【選択図】図１

Description

本発明は、欠陥画素の出力信号を補正する画像処理装置及びその制御方法に関する。

監視画像に対して特定の領域を設け、その特定の領域内を被写体が通過、侵入などの動きが発生した場合に、画面の残りの領域よりも優先的かつ繊細に検知し、監視画像に変化が生じたことを通知する監視カメラシステムが提供されている。監視カメラシステムは、カメラから取得した映像をネットワークを経由して映像モニタに配信する。ユーザは、映像モニタを介してカメラから取得した映像を確認する。また、このシステムを使用するユーザは、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などを利用して監視画像に対し、特定の領域（以下注目領域と呼ぶ）を任意に設定して、注目領域における被写体の動きを特に注意深く監視することができる。監視カメラシステムは、犯罪、事件などを防ぐために用いられることが多く、システムの正確性が求められている。

一方、監視カメラにはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの多画素な撮像素子が用いられてきている。撮像素子には、半導体の製造過程において、フォトダイオードの暗電流や感度等の性能のバラツキが発生する。性能のバラツキによって受光量に応じた電荷を生成できない画素や出力が全く出ない画素などの欠陥画素が生じる。この欠陥画素の影響によって、撮像画像中に正常でない画素が発生してしまう。したがって、欠陥画素の発生は、監視カメラによる被写体の動きの変化の誤検出の原因となる。

撮像素子から得られる全画像領域について、欠落画素からの出力信号を補正する画像処理装置が提案されている。また、特許文献１は、欠陥画素補正領域を、ユーザ操作により設定された電子ズーム倍率に合わせて切り出された画像領域を変化させ、補正の対象とする画像領域の範囲を切り替える画像処理装置を開示している。また、特許文献２は、得られた画像を複数の領域に分割し、領域に発生する欠陥に対する補正の重要度を、領域情報に基づいて決定し、決定された補正の重要度に合わせた補正内容を用いて欠陥画素からの出力信号を補正する装置を開示している。

特開２００６−６０３０７号公報 特開２０１０−５０７３０号公報

複数フレーム間での注目領域内の画像の輝度の変化、例えば、現フレームと現フレームの１つ前のフレームとの間での注目領域内の画像の輝度の変化に基づいて、注目領域内の被写体の動きの変化を検出する監視カメラシステムが考えられる。しかし、この監視カメラシステムに、前述した、撮像素子から得られる全画像領域について、欠落画素からの出力信号を補正する画像処理装置を適用した場合、以下のような課題がある。すなわち、全画像領域に対して欠陥画素の補正を行っていく際には、欠陥画素の位置情報や信号レベルを記憶するメモリが不足するので、欠陥画素の信号レベルが小さいものは補正対象とならない。注目領域内において補正対象とならなかった欠陥画素が多いと、注目領域内の輝度が変化するので、監視カメラシステムは、被写体の動きの変化を誤検出してしまう。また、上述した特許文献１、特許文献２が開示するいずれの装置も、注目領域内の被写体の動きの変化を検出する監視カメラシステムではない。

また、欠陥画素の中には撮影条件（温度条件、露光時間、増幅率など）に依存せずにランダムに信号レベルが変化する第１欠陥画素と、撮影条件に依存するか否かに関わらず信号レベルが変化しない第２欠陥画素とが存在する。例えば、イメージセンサの製造工程でキズが生じることがある。

「白キズ」（第１欠陥画素）と呼ばれる欠陥画素は、画素の光入射面に形成されるカラーマイクロフィルタやマイクロレンズの欠損に起因して、入射光がなくても異常に強い暗電流を発生し、ランダムに信号レベルが変化する。「黒キズ」（第２欠陥画素）と呼ばれる欠陥画素は、画素の光入射面に付着する塵などに起因して画素への入射光が遮られ、画素の信号レベルが変化しない。監視カメラシステムにおいて、第１欠陥画素からの出力信号は、ランダムに信号レベルが変化するので、信号レベルが低くて補正されていなかった第１欠陥画素からの信号レベルが、あるフレームになると急激に大きくなって、誤検出の原因になる。したがって、第１欠陥画素からの出力信号を第２欠陥画素からの出力信号に優先して補正する必要がある。しかし、従来は、第１欠陥画素からの出力信号を第２欠陥画素からの出力信号に優先して補正し、補正結果を用いて被写体の動きの変化を検出する画像処理装置は提案されていない。

本発明は、上記の課題の少なくとも一つを解決するためになされたものである。本発明は、注目領域内の被写体の動きの変化を検出する装置であって、注目領域に対応する欠陥画素の出力信号を優先して補正することで誤検出を防止する画像処理装置の提供を目的とする。

本発明の一実施形態の画像処置装置は、撮像素子の欠陥画素の位置情報を取得する取得手段と、前記撮像素子の出力信号から得られる画像中の注目領域を設定する領域設定手段と、前記取得された欠陥画素の位置情報を用いて、前記設定された注目領域に含まれる前記欠陥画素から予め決められた個数分、補正対象として選択し、選択した前記欠陥画素の出力信号の補正処理を実行する補正手段と、前記補正処理後の前記撮像素子の出力信号から得られる複数フレームの画像間において、前記注目領域に含まれる画素を比較して信号値の差分を検出することにより、該注目領域内における被写体の動きの変化を検出する検出手段とを備える。

本発明の画像処理装置によれば、注目領域に対応する欠陥画素の出力信号を優先して補正することで、被写体の動きの変化の誤検出を防止することができる。

本発明の第一実施形態に係る画像処理装置の構成例を示す図である。 メタデータの一例を示す図である。 マッピング部の機能を説明する図である。 第一実施形態の処理を説明したフローチャートである。 第二実施形態の処理を説明したフローチャートである 注目領域の枠の大きさによる優先度設定の説明図である。 注目領域の感度による優先度設定の説明図である。 注目領域の枠の大きさによる優先度設定を説明した表である。 注目領域の感度による優先度設定を説明した表である。

＜第一実施形態＞
図１は、本発明の第一実施形態に係る画像処理装置の構成例を示す図である。図１に示す画像処理装置は、撮像光学系１、撮像素子２、Ａ／Ｄ変換器３、欠陥画素検出／補正回路部４、注目領域内変化検出部５、マッピング部６、メモリ７、画像出力部９を備える。また、画像処理装置は、ＰＣ等の外部装置とネットワークを介して通信することができる。

撮像素子２は、撮像光学系１から入射された入射光を電荷に変換する。Ａ／Ｄ変換器３は撮像素子２から電気信号を取得し、取得された電気信号をデジタル信号に変換する。欠陥画素検出部４ａは、欠陥画素を検出する。また、欠陥画素検出部４ａは、撮像素子２に対して光を入射させない環境を作り、光が入射していない状況で全画素分の信号レベルを算出して算出された信号レベルを基準信号レベルとする。

欠陥画素検出／補正回路部４は、欠陥画素検出部４ａと欠陥画素補正部４ｂとを備える。欠陥画素検出部４ａは、算出した基準信号レベルと異なる信号レベルを有する画素を異常がある欠陥画素とする。欠陥画素検出部４ａは、その欠陥画素の位置情報を記憶媒体、本明細書ではメモリ７に座標（Ｘ，Ｙ）として持たせる。すなわち、欠陥画素検出部４ａは、撮像素子の欠陥画素の位置情報を取得する取得手段として機能する。欠陥画素の位置情報は、撮影条件に依存せずランダムに信号レベルが変化する第１欠陥画素の情報と、信号レベルが変化しない第２欠陥画素の情報を含む。

欠陥画素補正部４ｂは、メモリの容量に限定がある場合は補正対象画素数の数だけ欠陥画素の出力信号の補正処理を実行する。具体的には、欠陥画素補正部４ｂは、欠陥画素と判定された画素の両隣の画素が出力する信号の平均を算出して、算出された平均値の信号と欠陥画素の信号とを置き換える。当然のことながら、平均値の算出は欠陥画素の両隣である必要は無く、上下方向の画素、斜め方向の画素またはそれらの組み合わせなど、任意の場所にある画素の信号レベルの平均値が算出されてよい。

ＰＣ操作部８は、注目領域の座標情報、注目領域の枠の幅や高さ、または感度情報等をユーザが指定するための操作部である。ＰＣ操作部８は、領域指定部８ａと感度指定部８ｂとを備える。ユーザが設定した注目領域は、領域指定部８ａを介して注目領域内変化検出部５に送信される。また、ユーザが設定した感度設定は、感度指定部８ｂを介して、各情報が注目領域内変化検出部５に送信される。

注目領域内変化検出部５は、注目領域内変化検出部５ａとメタデータ保持部５ｂとを備える。注目領域内変化検出部５ａは、ＰＣ操作部８が備える領域指定部８ａから指示を受け、画像中の一部の領域を指定して、注目領域として設定する。すなわち、注目領域内変化検出部５ａは、撮像素子２の出力信号から得られる画像中の注目領域を設定する領域設定手段として機能する。また、注目領域内変化検出部５ａは、以下の処理を実行する検出手段として機能する。注目領域内変化検出部５ａは、欠陥画素補正部４ｂによる補正処理後の撮像素子の出力信号から得られる複数フレームの画像間において、注目領域に含まれる画素を比較し、輝度の差分を検出する。注目領域内変化検出部５ａは、検出した輝度の差分が基準レベル（基準輝度レベル）を超える場合に被写体の動きの変化を検出する。

具体的には、注目領域内変化検出部５ａは、画像圧縮手法ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を用い、圧縮した画像から注目領域における前フレームと現フレームとの画像間での輝度の差分を検出する。このとき注目領域内変化検出部５ａは、画像を輝度（Ｙ）と色情報（Ｃｂ，Ｃｒ）に分離するＹＣｂＣｒ分離を行い、ＣｂＣｒ成分を間引いた状態で各画素の輝度の情報をみる。例えば、注目領域内変化検出部５ａは、前フレームと現フレームとの輝度の変化量を検出し、輝度の変化量が一定以上、すなわち基準となる輝度レベルを超えると被写体に動きが生じたと判断する。基準となる輝度レベル（基準輝度レベル）を小さい値に設定すると、輝度の変化がわずかな変化量であったとしても敏感に被写体の動きが検出される。このために、注目領域内変化検出部５ａは、ＰＣ操作部８が備える感度指定部８ｂからの指示を受けた場合は、注目領域内の被写体の動きの変化の検出に関する感度を基準輝度レベルに対応付けて設定する。すなわち、注目領域内変化検出部５ａは、各々の注目領域に対して、注目領域内変化検出部５ａによる被写体の動きの変化の検出に関する感度（検出感度）を設定する感度設定手段として機能する。設定される感度が高いほど、対応する基準輝度レベルは低い。注目領域内変化検出部５ａは、設定した注目領域に関する情報と、感度とをメタデータとしてメタデータ保持部５ｂに保持させる。なお、ここでは前フレームと現フレームとの輝度の変化量に基づいて被写体に動きが生じたか否かを判断したが、これに限られるものではない。色情報（Ｃｂ，Ｃｒ）の変化量や、輝度と色情報に分離する前のＲ（赤）、Ｇ（緑）およびＢ（青）からなるベイヤー配列の各色信号の変化量など、画素毎の信号値の変化量に基づいて被写体に動きが生じたか否かを判定する構成であればよい。

図２は、メタデータの一例を示す図である。メタデータ保持部５ｂは、注目領域内変化検出部５ａによって注目領域の位置が指定された場合に領域情報としてその枠の座標（Ｘ，Ｙ）情報を保持する。また、メタデータ保持部５ｂは、注目領域の大きさ（幅、高さ）の情報や感度（低〜高）情報も保持する。メタデータ保持部５ｂが、感度に対応する基準輝度レベルを保持するようにしてもよい。

図３は、マッピング部の機能を説明する図である。マッピング部６は、メタデータ保持部５ｂからメタデータを取得してメモリ７に記憶する。また、マッピング部６は、メモリ７から画面内の欠陥画素の位置情報を取得する。そして、マッピング部６は、メタデータに含まれる注目領域の座標情報と、欠陥画素の位置情報とに基づいて、注目領域に含まれる画素の中から補正対象とする欠陥画素を決定する。補正対象とする欠陥画素を最終的に決める処理をマッピング処理と記述する。マッピング処理によって、注目領域内の欠陥画素のみが補正対象とされるので、欠陥画素補正部４ｂが、出力信号レベルの低い欠陥画素も補正を行う。これにより、１つの画像中において、出力信号を補正する対象とする画素数が制限されている場合に、全画面内の欠陥画素を補正対象とした場合に比較して、より信号レベルの低い欠陥画素の補正を行っていくことが可能となる。その結果、被写体の動きの変化の誤検出を防止できる。

すなわち、マッピング部６および欠陥画素補正部４ｂは、以下の処理を実行する補正手段として機能する。この補正手段は、欠陥画素検出部４ａによって取得された欠陥画素の位置情報を用いて、注目領域に含まれる欠陥画素から予め決められた個数分、補正対象として選択し、選択した欠陥画素の出力信号の補正処理を実行する。

マッピング部６が、注目領域内の欠陥画素のキズの大きさに応じて欠陥画素に優先度を設定し、優先度の高い欠陥画素を優先して補正対象とするようにしてもよい。欠陥画素のキズの大きさは、出力信号のレベルが欠陥画素検出部４ａが欠陥画素の検出に用いる基準信号レベルから乖離している度合いである。図３中のハッチング部分は、注目領域であり、当該注目領域内の、番号が付けられた画素が欠陥画素である。各々の欠陥画素に付けられた番号は、欠陥画素のキズの大きさを示す。マッピング部６は、キズの大きさが大きい欠陥画素ほど高い優先度を設定する。これにより、注目領域内の欠陥画素の中から被写体の動きの変化の検出に影響が大きい欠陥画素を精度良く補正対象として選択することができる。

メモリ７（記憶媒体）は、欠陥画素検出部４ａが検出した欠陥画素の位置情報やメタデータを記憶する。当然のことながら、メモリ７が基準輝度レベルや欠陥画素のキズの大きさなど、必要に応じて各種情報を記憶することができる。画像出力部９は、上述した各構成部の処理によって生成された出力信号を画像として出力する。

以下、本発明の画像処理装置の制御方法を説明する。図４は、欠陥画素の出力信号の補正処理の例を説明するフローチャートである。まずＳ４０１で、撮像素子２は、撮像光学系から入射光を電荷に変換し、Ａ／Ｄ変換器３に渡す。Ａ／Ｄ変換器３が電気信号をデジタル信号に変換することで画像情報を取得する。欠陥画素検出部４ａは、Ｓ４０１で取得した画像情報を基に、欠陥画素の検出を行う（Ｓ４０２）。欠陥画素検出部４ａは、検出した欠陥画素の位置情報をメモリ７に座標（Ｘ，Ｙ）として記憶させる（Ｓ４０３）。

Ｓ４０４では、ユーザが、注目領域内変化検出機能を使用するか否か、すなわち、画像処理装置の動作モードとして検出モードを選択するかを決定する。検出モードは、注目領域内における被写体の動きの変化を検出する動作モードである。注目領域内変化検出部５ａは、検出モードを受付ける受付手段として機能し、ユーザが動作モードを選択した場合に注目領域を設定し、注目領域内における被写体の動きの変化を検出する。ユーザが、注目領域内変化検出機能を使用しない場合は、図３の左図に示すように、マッピング部６が画像の全画素領域に対してメモリ７の容量の限界までマッピング処理を行う（Ｓ４０８）。そして欠陥画素補正部４ｂは、マッピング部６がマッピング処理によって決定した補正対象の欠陥画素の出力信号を補正する（Ｓ４０９）。

ユーザが、注目領域内変化検出機能を使用する場合は、ユーザはＰＣ操作部８から、注目領域を設定する（Ｓ４０５）。本実施形態では、ユーザは、注目領域を１つ設定するものとする。Ｓ４０６で、ユーザが注目領域内変化検出機能の感度を設定する。そして、ＰＣ操作部８を介して注目領域の座標情報、大きさ情報および感度情報が、それぞれ領域指定部８ａおよび感度指定部８ｂから注目領域内変化検出部５ａに送信される。注目領域内変化検出部５ａは、受信した各種情報を基に、注目領域のメタデータを作成し、メタデータ保持部５ｂに保持させる（Ｓ４０７）。マッピング部６は、メタデータを基に欠陥画素検出データに照らし合わせて補正対象欠陥画素を決定（マッピング処理）する（Ｓ４０８）。Ｓ４０９で欠陥画素補正部４ｂは、マッピング部６によるがマッピング処理で補正対象とされた欠陥画素の出力信号を補正する。欠陥画素補正部４ｂが、キズの大きな欠陥画素を優先して補正するようにしてもよい。また、欠陥画素のキズの大きさが同等の場合、欠陥画素補正部４ｂは、第２欠陥画素よりも優先して第１欠陥画素を補正するようにしてもよい。当然のことながら、キズの大きさに依存せず、第１欠陥画素を優先して補正することも可能である。

以上、本実施形態の画像処理装置によれば、注目領域内の欠陥画素が他の画像領域の欠陥画素に優先して補正され、当該補正後の出力信号が被写体の動きの変化の検出に用いられるので、被写体の動きの変化の誤検出を防止することができる。注目領域内のみを補正対象とすることで、メモリを効率的に使用することが可能となる。

＜第二実施形態＞
本発明における第二実施形態について説明する。本実施の形態における画像処理装置の構成は、第一実施形態における画像処理装置の構成と同じである。第一実施形態では、画像中の一つの領域に注目をして、その注目領域における複数フレームの画像間での差分を検出することで、被写体の変化を検出した。第二実施形態では、ユーザが複数の注目領域を設定した場合を想定する。

図５は、第二実施形態における欠陥画素の出力信号の補正処理の例を説明するフローチャートである。まず、Ｓ５０１で、ユーザが、ＰＣ操作部８を介して画像処理装置の動作モードとして枠モードまたは感度モードのいずれかを選択する。枠モードは、注目領域を示す枠の大きさに応じて、欠陥画素の出力信号の補正に関する優先度を設定する動作モードである。感度モードは、感度の大きさに応じて優先度を設定する動作モードである。

ユーザが、枠モードを選択した場合は、注目領域内変化検出部５ａがユーザ操作により設定された複数の注目領域に関する情報を受け取り、各々の注目領域の枠の大きさを比較する（Ｓ５０２）。次に、注目領域内変化検出部５ａは、各々の注目領域に対して、注目領域を示す枠の大きさに従って、注目領域内の欠落画素の出力信号の補正に関する優先度を設定する（Ｓ５０３）。

メモリの容量により欠陥画素を補正できる個数に限界がある場合は、枠の面積比に応じた優先度の比率が設定される。注目領域内変化検出部５ａは、優先度の比率に従って欠陥画素補正の数を決定し、補正対象画素を決めていく（Ｓ５０４）。Ｓ５０２〜Ｓ５０４の処理により得られた注目領域内の情報をメタデータとしてまとめ、メタデータ保持部５ｂに保持させる（Ｓ５０５）。

次に、マッピング部６がメタデータを基にマッピング処理を行う（Ｓ５０６）。このマッピング処理において、マッピング部６は、設定された優先度が高い注目領域ほど注目領域内の補正対象となる欠落画素を多く選択する。そして、欠陥画素補正部４ｂは、マッピングされたデータを基に、領域内の補正対象画素の信号レベルを、補正対象画素の近傍の複数の画素の出力信号の平均値に置き換えることにより欠陥画素補正を行う（Ｓ５０７）。欠陥画素補正部４ｂは、選択した欠陥画素の出力信号を、該欠陥画素の両隣の画素の出力信号の平均値で補間するようにしてもよい。

例えば、図６に示すように、３つの注目領域が指定された場合には、注目領域内変化検出部５ａは、まず注目領域の枠の大きさの比較を行い、順位付けを行う。なお、ここでは欠陥画素の補正限界個数を２０００個とした場合を例にとる。注目領域内変化検出部５ａが注目領域の枠の面積比に応じて、各々の注目領域について、欠陥画素閾値を設定する。欠陥画素閾値は、注目領域内で補正対象として選択する欠陥画素数の上限値である。欠陥画素閾値は、指定された全ての欠陥画素閾値の合計が、画像処理装置が補正可能な欠陥画素数となるように設定される。本実施形態では、丸枠で１、２、３と設定されて、面積比が１：２：３＝１０：６：４となる場合を想定する。注目領域内変化検出部５ａは、面積比に応じて、欠陥画素の個数を、１：２：３＝１０００：６００：４００となるよう欠陥画素の閾値を設定する。図８は注目領域内変化検出部５ａが枠の面積比に従って設定した欠陥画素閾値を示す。

ユーザが感度モードを選択した場合、注目領域内変化検出部５ａは、ＰＣ操作部８から複数の注目領域の情報を取得し、取得した各々の情報に含まれる注目領域の感度情報を比較する（Ｓ５０８）。注目領域内変化検出部５ａは、注目領域の感度の大きさに応じて優先度の設定を行う（ステップＳ５０９）。具体的には、注目領域内変化検出部５ａは、感度が大きい注目領域ほど高い優先度を設定する。注目領域内変化検出部５ａは、設定した優先度に応じて補正対象となる欠陥画素を決定する（Ｓ５１０）。注目領域内変化検出部５ａは、Ｓ５０８〜Ｓ５１０の処理で決定した注目領域内の補正対象画素の情報をメタデータとしてまとめ、メタデータ保持部５ｂに保持させる（Ｓ５１１）。次にマッピング部６は、メタデータを基にマッピング処理を行う（Ｓ５０６）。欠陥画素補正部４ｂは、マッピングされた情報に基づいて注目領域内の補正対象画素の信号レベルを両隣の画素の信号レベルの平均値で補間することにより補正を行う（Ｓ５０７）。

図７は、感度情報による優先度設定の例を示す。図７に示すように、注目領域内変化検出部５ａは３つの注目領域が指定された場合に、感度情報の比較を行い、順位付けを行う。なお、ここでは欠陥画素の補正限界個数を２０００個とした場合を例にとる。注目領域内変化検出部５ａは、感度情報に応じて、各々の注目領域毎に、欠陥画素閾値を設定する。欠陥画素閾値は、注目領域内で補正対象として選択する欠陥画素数の上限値である。欠陥画素閾値は、指定された全ての欠陥画素閾値の合計が、画像処理装置が補正可能な欠陥画素数となるように設定される。今回は感度が高い、中、低いと設定されて、感度比が高い：中：低い＝１０：６：４の割合となる場合の補正対象とする。すなわち、注目領域内変化検出部５ａ高い：中：低い＝１０００：６００：４００となるよう欠陥画素の閾値を設定する。図９は、注目領域内変化検出部５ａが感度情報に従って設定した欠陥画素閾値を示す。

本実施形態によれば、注目領域内変化検出部５ａは、ユーザが複数の注目領域を設定した場合に、設定された各々の注目領域に対して、注目領域内の欠落画素の出力信号の補正に関する優先度を設定する優先度設定手段としても機能する。従って、複数の注目領域が設定された場合であっても、各注目領域に応じた欠陥画素の補正対象数を決定する。従って、注目領域における画像処理の精度を向上することが可能となる。なお、第一実施形態と同様に、欠陥画素補正部４ｂは、第２欠陥画素よりも優先して第１欠陥画素を補正するようにしてもよい。これにより、注目領域内における被写体の動きの変化の誤検出をさらに防止することができる。以上、本発明の実施形態を図に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

本実施形態では、監視カメラを例に取り上げて説明しているが、本発明では、監視カメラに限定するものではなく、画像をフレーム間で比較することが可能なビデオカメラやＰＣを用いて、画像を比較する場合に適用することも可能である。

また、本発明は、画像のフレーム間での差分を比較する場合と画像の処理範囲領域を制限する場合に使用される。例えば、被写体の動きを追従する機能や本来被写体が存在している所から急に被写体がなくなるものを検知する機能などに使用することが可能である。

４ａ 欠陥画素検出部
４ｂ 欠陥画素補正部
５ａ 注目領域内変化検出部
５ｂ メタデータ保持部
６ マッピング部

Claims (8)

1. 撮像素子の欠陥画素の位置情報を取得する取得手段と、
   前記撮像素子の出力信号から得られる画像中の注目領域を設定する領域設定手段と、
   前記取得された欠陥画素の位置情報を用いて、前記設定された注目領域に含まれる前記欠陥画素から予め決められた個数分、補正対象として選択し、選択した前記欠陥画素の出力信号の補正処理を実行する補正手段と、
   前記補正処理後の前記撮像素子の出力信号から得られる複数フレームの画像間において、前記注目領域に含まれる画素を比較して信号値の差分を検出することにより、該注目領域内における被写体の動きの変化を検出する検出手段とを備える
   ことを特徴とする画像処理装置。
2. 前記領域設定手段が複数の注目領域を設定した場合に、設定された各々の注目領域に対して、注目領域内の欠落画素の出力信号の補正に関する優先度を設定する優先度設定手段をさらに備え、
   前記補正手段は、前記設定された優先度が高い注目領域ほど注目領域内の前記補正対象となる欠落画素を多く選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 各々の前記注目領域の大きさを設定する手段を備え、
   前記優先度設定手段は、前記設定された大きさが大きい注目領域ほど高い優先度を設定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、前記検出される信号値の差分が基準レベルを超える場合に前記被写体の動きの変化を検出し、
   各々の前記注目領域に対して、前記検出手段による前記被写体の動きの変化の検出に関する感度であって、感度が高いほど前記基準レベルが低い、検出感度を設定する感度設定手段を備え、
   前記優先度設定手段は、前記設定された感度が大きい注目領域ほど高い優先度を設定する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記補正手段は、前記補正対象として選択した前記欠陥画素の出力信号を、該欠陥画素の近傍の複数の画素の出力信号の平均値に置き換える
   ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記欠陥画素は、撮影条件に依存することなくランダムに信号レベルが変化する第１欠陥画素と、前記信号レベルが変化しない第２欠陥画素とを含み、
   前記補正手段は、前記第２欠陥画素の出力信号よりも前記第１欠陥画素の出力信号を優先して前記注目領域に含まれる欠陥画素の出力信号を補正する
   ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 前記注目領域内における前記被写体の動きの変化を検出する動作モードである検出モードを受付ける受付手段を備え、
   前記領域設定手段は、前記検出モードを受付けた場合に、前記注目領域を設定し、
   前記検出手段は、前記検出モードを受付けた場合に、前記注目領域内における被写体の動きの変化を検出する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 撮像素子の欠陥画素の位置情報を取得する取得工程と、
   前記撮像素子の出力信号から得られる画像中の注目領域を設定する領域設定工程と、
   前記取得された欠陥画素の位置情報を用いて、前記設定された注目領域に含まれる前記欠陥画素から予め決められた個数分、補正対象として選択し、選択した前記欠陥画素の出力信号の補正処理を実行する補正工程と、
   前記補正処理後の前記撮像素子の出力信号から得られる複数フレームの画像間において、前記注目領域に含まれる画素を比較して信号値の差分を検出することにより、該注目領域内における被写体の動きの変化を検出する検出工程とを有する
   ことを特徴とする画像処理装置の制御方法。
   

Images