JP2014110592A

JP2014110592A - 画像処理装置

Info

Publication number: JP2014110592A
Application number: JP2012265106A
Authority: JP
Inventors: Koreyasu Tatezawa; 之康立澤; Kazuhiro Hida; 和浩檜田; Tatsuji Ashitani; 達治芦谷
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2012-12-04
Filing date: 2012-12-04
Publication date: 2014-06-12
Also published as: US20150312438A1; CN103856729A; US20140153841A1; KR101512235B1; KR20140071876A

Abstract

【課題】入力画像間の相関性に適応しつつ入力画像のノイズを除去することが可能な画像処理装置を提供する。
【解決手段】キズ補正回路２にてキズ補正された入力画像ＧＩ´において、デジタルビニング回路３にてビニングすることにより低域画像ＧＬを生成してフレームバッファ６に記憶し、平均化フィルタ４は、キズ補正回路２にてキズ補正された入力画像ＧＩ´をフィルタリングして中域画像ＧＭを生成し、イプシロンフィルタ５は、キズ補正回路２にてキズ補正された入力画像ＧＩ´をフィルタリングして高域画像ＧＨを生成し、低中域画像混合回路９は低域画像ＧＬと中域画像ＧＭとを混合することで混合画像ＧＬＭを生成し、低中高域画像混合回路１０は、混合画像ＧＬＭと高域画像ＧＨとを混合することで出力画像ＧＯを生成する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置に関する。

ＣＭＯＳイメージセンサにおいて、入力画像のノイズを除去するために多重解像度フィルタを用いる方法がある。この多重解像度フィルタを用いる方法では、入力画像から縮小画像を生成することで低域における実効的なフィルタ径を広げることができ、メモリ容量を減らすことができる。

特開２０１０−１６６５１３号公報

本発明の一つの実施形態は、入力画像間の相関性に適応しつつ入力画像のノイズを除去することが可能な画像処理装置を提供することを目的とする。

本発明の一つの実施形態によれば、ラインメモリと、キズ補正回路と、ビニング回路と、フレームバッファと、フィルタと、混合回路とが設けられている。ラインメモリは、入力画像を複数行分だけ記憶する。キズ補正回路は、前記ラインメモリに記憶された画像データに基づいて前記入力画像のキズ補正を行う。ビニング回路は、前記キズ補正された入力画像をビニングすることにより、前記入力画像より空間周波数が低い低域画像を生成する。フレームバッファは、前記低域画像を記憶する。フィルタは、前記キズ補正された入力画像をフィルタリングし、前記低域画像よりも空間周波数が高い高域画像を生成する。混合回路は、前記低域画像と前記高域画像とを混合する。

図１は、第１実施形態に係る画像処理装置の概略構成を示すブロック図である。図２は、図１の画像処理装置の画像処理方法を示す図である。図３は、第２実施形態に係る画像処理装置の概略構成を示すブロック図である。図４は、第３実施形態に係る画像処理方法を示す図である。図５は、第４実施形態に係る画像処理方法を示す図である。図６は、第５実施形態に係る画像処理方法を示す図である。図７は、第６実施形態に係る画像処理方法を示す図である。図８は、第７実施形態に係る画像処理方法を示す図である。図９は、第８実施形態に係る画像処理装置が適用されたビデオカメラの概略構成を示すブロック図である。

以下に添付図面を参照して、実施形態に係る画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１実施形態）
図１は、第１実施形態に係る画像処理装置の概略構成を示すブロック図である。
図１において、この画像処理装置には、ラインメモリ１、キズ補正回路２、デジタルビニング回路３、平均化フィルタ４、イプシロンフィルタ５、フレームバッファ６、エッジ検出部７、８、低中域画像混合回路９および低中高域画像混合回路１０が設けられている。なお、この画像処理装置では、入力画像ＧＩのレイヤごとに処理を行うことができ、例えば、ベイヤ配列のＲＧＢごとに処理を行うことができる。

ラインメモリ１は、入力画像ＧＩを複数行分だけ記憶する。なお、図１のラインメモリ１では、４水平ライン１Ｈ〜４Ｈの画像を記憶する場合を例にとった。また、入力画像ＧＩはＣＭＯＳイメージセンサの画像を用いることができる。キズ補正回路２は、ラインメモリ１に記憶された画像データに基づいて入力画像ＧＩのキズ補正を行う。なお、図１のキズ補正回路２では、入力画像ＧＩの１水平ライン０Ｈの画像が入力されるとともに、ラインメモリ１に記憶された４水平ライン１Ｈ〜４Ｈの画像が入力される場合を例にとった。デジタルビニング回路３は、キズ補正回路２にてキズ補正された入力画像ＧＩ´をビニングすることにより、入力画像ＧＩ´より空間周波数が低い低域画像ＧＬを生成する。例えば、デジタルビニング回路３は６４×６４画素分をビニングすることにより低域画像ＧＬを生成することができる。ここで、デジタルビニング回路３には、キズ補正回路２にてキズ補正された５水平ライン０Ｈ〜４Ｈ分が入力されるのではなく、中央の１水平ライン２Ｈ分が入力される。フレームバッファ６は、デジタルビニング回路３にて生成された低域画像ＧＬを記憶する。ここで、例えば、入力画像ＧＩ´の６４×６４画素分がビニングされた場合、低域画像ＧＬの縮小率を縦１／６４：横１／６４とすることができ、低域画像ＧＬの記憶容量を入力画像ＧＩ´の記憶容量の１／４０９６に設定することができる。平均化フィルタ４は、キズ補正回路２にてキズ補正された入力画像ＧＩ´をフィルタリングし、低域画像ＧＬよりも空間周波数が高い中域画像ＧＭを生成する。なお、図１の平均化フィルタ４は、５×５画素分を平均化する場合を例にとった。また、中域画像ＧＭを生成する中域フィルタとして、例えば、平均化フィルタ４の代わりにガウシアンフィルタなどを用いるようにしてもよい。イプシロンフィルタ５は、キズ補正回路２にてキズ補正された入力画像ＧＩ´をフィルタリングし、中域画像ＧＭよりも空間周波数が高い高域画像ＧＨを生成する。なお、図１のイプシロンフィルタ５は、５×５画素分を処理する場合を例にとった。また、高域画像ＧＨを生成する高域フィルタとして、例えば、イプシロンフィルタ５の代わりにバイラテラルフィルタなどを用いるようにしてもよい。エッジ検出部７は、低域画像ＧＬと中域画像ＧＭとの差分値に基づいて中域画像ＧＭのエッジを検出する。エッジ検出部８は、混合画像ＧＬＭと高域画像ＧＨとの差分値に基づいて高域画像ＧＨのエッジを検出する。低中域画像混合回路９は、中域画像ＧＭのエッジに基づいて、低域画像ＧＬと中域画像ＧＭとを混合し、混合画像ＧＬＭを生成する。低中高域画像混合回路１０は、高域画像ＧＨのエッジに基づいて、混合画像ＧＬＭと高域画像ＧＨとを混合する。

図２は、図１の画像処理装置の画像処理方法を示す図である。
図２において、図１のラインメモリ１に保持された入力画像ＧＩの４水平ライン１Ｈ〜４Ｈの画像と、入力画像ＧＩの１水平ライン０Ｈの画像がキズ補正回路２に入力される。そして、キズ補正回路２において、ラインメモリ１の所定領域の中心画素のキズ補正が行われるとともに、その中心画素の周辺の周辺画素のキズ補正が行われる。例えば、レイヤごとにキズ補正される場合、同色画素からなる３×３画素の領域の中心画素および周辺画素のキズ補正が行われる。中心画素のキズ補正では、中心画素の値がしきい値を超えるかどうかを判定する。そして、中心画素の値がしきい値を超える場合、その中心画素をキズとみなし、その中心画素の値を周辺画素の最大値で置き換えることができる。周辺画素のキズ補正では、周辺画素の値がしきい値を超えるかどうかを判定する。そして、周辺画素の値がしきい値を超える場合、その周辺画素をキズとみなし、その周辺画素の値を同一水平ラインの周辺画素の最大値で置き換えることができる。なお、このキズ補正では、入力画像ＧＩのキズが３×３画素の領域内に１個しかないようにＣＭＯＳイメージセンサを予め選別し、３×３画素の領域内にキズが複数ある場合は不良品として事前に廃棄するようにしてもよい。

そして、キズ補正回路２にてキズ補正された入力画像ＧＩ´の部分画像ＧＥにおいて、デジタルビニング回路３にてビニングされることにより低域画像ＧＬが生成され、フレームバッファ６に記憶される。また、入力画像ＧＩ´の部分画像ＧＥが平均化フィルタ４に入力されることにより中域画像ＧＭが生成され、エッジ検出部７および低中域画像混合回路９に出力される。さらに、入力画像ＧＩ´の部分画像ＧＥがイプシロンフィルタ５に入力されることにより高域画像ＧＨが生成され、エッジ検出部８および低中高域画像混合回路１０に出力される。

そして、低中域画像混合回路９において、エッジ検出部７にてエッジが検出されない箇所については低域画像ＧＬが選択され、エッジ検出部７にてエッジが検出された箇所については中域画像ＧＭが選択されることで、低域画像ＧＬと中域画像ＧＭとが混合され、混合画像ＧＬＭが低中高域画像混合回路１０に出力される。

また、低中高域画像混合回路１０において、エッジ検出部８にてエッジが検出されない箇所については混合画像ＧＬＭが選択され、エッジ検出部８にてエッジが検出された箇所については高域画像ＧＨが選択されることで、混合画像ＧＬＭと高域画像ＧＨとが混合され、出力画像ＧＯが生成される。

ここで、デジタルビニング回路３にて低域画像ＧＬを生成し、低域画像ＧＬをフレームバッファ６に記憶することにより、低域画像ＧＬを生成するためのラインメモリを不要とすることができ、回路規模を低減することができる。例えば、４０９６×３０７２画素の画像を処理する場合、低域画像ＧＬを生成するためのラインメモリの容量は４０９６×６３画素分だけ必要である。一方、低域画像ＧＬの縮小率が縦１／６４：横１／６４で処理するものとすると、フレームバッファ６の容量は６４×４８画素分で済ませることができる。

また、中域画像ＧＭおよび高域画像ＧＨを生成するために、キズ補正用のラインメモリ１を用いることにより、中域画像ＧＭおよび高域画像ＧＨを生成するためのラインメモリを不要とすることができ、回路規模を低減することができる。さらに、キズ補正回路２において、中心画素だけでなく、その周辺の周辺画素のキズ補正を行うことにより画質を向上させることができる。

（第２実施形態）
図３は、第２実施形態に係る画像処理装置の概略構成を示すブロック図である。
図３において、この画像処理装置では、図１の画像処理装置の構成にシーケンサ１１が追加されている。シーケンサ１１は、入力画像ＧＩ間の相関性に基づいて、低中域画像混合回路９での低域画像ＧＬの使用を制御する。なお、入力画像ＧＩ間の相関性は、例えば、ズーミング前後の画像、スタンバイ前後の画像、上下反転前後の画像または切り出し前後の画像について判断することができる。このような入力画像ＧＩ間の相関性は、同期信号Ｓ１、マスク信号Ｓ２、リセット信号Ｓ３および画像モード情報Ｓ４として、外部からシーケンサ１１に与えることができる。

なお、同期信号Ｓ１は、入力画像ＧＩの出力イネーブル信号を示す。マスク信号Ｓ２は、入力画像ＧＩが打ち切り画像であるかどうかを示す。このマスク信号Ｓ２がアクティブになると、同期信号Ｓ１がマスクされ、入力画像ＧＩの出力が停止される。リセット信号Ｓ３は、スタンバイ状態への遷移指示信号を示す。画像モード情報Ｓ４は、入力画像ＧＩのビニング情報、入力画像ＧＩの反転情報、入力画像ＧＩの幅高さ情報などを含むことができる。

そして、シーケンサ１１からは、ビニング制御信号Ｒ１がデジタルビニング回路３に出力されるとともに、バッファ制御信号Ｒ２がフレームバッファ６に出力される。そして、シーケンサ１１において、同期信号Ｓ１、マスク信号Ｓ２、リセット信号Ｓ３および画像モード情報Ｓ４に基づいて、入力画像ＧＩ間の相関性が判断される。そして、入力画像ＧＩ間の相関性がある場合、ビニング制御信号Ｒ１に基づいて、低域画像ＧＬの縮小率が一定になるように、入力画像ＧＩの縮小率に応じてデジタルビニング回路３のビニング比率が制御される。なお、入力画像ＧＩの縮小率は、画像モード情報Ｓ４に含まれるビニング情報から判断することができる。また、バッファ制御信号Ｒ２に基づいて、フレームバッファ６が制御され、フレームバッファ６に記憶された過去の低域画像ＧＬがそのまま保持され、その低域画像ＧＬが低中域画像混合回路９に出力される。そして、低中域画像混合回路９において、入力画像ＧＩが切り替わった時に、フレームバッファ６に記憶された過去の低域画像ＧＬと、今回生成された中域画像ＧＭとが混合され、混合画像ＧＬＭが生成される。

ここで、低域画像ＧＬの縮小率が一定になるようにデジタルビニング回路３のビニング比率を制御することにより、入力画像ＧＩの縮小率が変化した場合においても、フレームバッファ６に記憶された過去の低域画像ＧＬと、今回生成された中域画像ＧＭとを混合し、混合画像ＧＬＭを生成することができる。

一方、入力画像ＧＩ間の相関性がない場合、バッファ制御信号Ｒ２に基づいて、フレームバッファ６が制御され、フレームバッファ６に記憶された過去の低域画像ＧＬが破棄される。そして、低中域画像混合回路９において、入力画像ＧＩが切り替わった時に、今回生成された中域画像ＧＭが混合画像ＧＬＭとして低中高域画像混合回路１０に出力される。そして、低中高域画像混合回路１０において、エッジ検出部８にてエッジが検出されない箇所については中域画像ＧＭが選択され、エッジ検出部８にてエッジが検出された箇所については高域画像ＧＨが選択されることで、中域画像ＧＭと高域画像ＧＨとが混合され、出力画像ＧＯが生成される。

ここで、入力画像ＧＩ間の相関性に基づいて、デジタルビニング回路３およびフレームバッファ６を制御することにより、入力画像ＧＩの状態が変化した場合においても、入力画像ＧＩの状態変化に迅速に適応しつつ入力画像ＧＩのノイズを除去することが可能となる。

（第３実施形態）
図４は、第３実施形態に係る画像処理方法を示す図である。
図４において、図３の入力画像ＧＩとしてビューファインダ画像ＧＩ１、ＧＩ２が順次入力されるものとする。なお、ビューファインダ画像ＧＩ１、ＧＩ２は、例えば、スチル静止画像ＧＩ４に対して縮小率を縦１／２：横１／２に設定することができる。この時、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨがそれぞれ生成される。また、デジタルビニング回路３にてビニングされることにより、低域画像ＧＦ１、ＧＦ２が順次生成され、フレームバッファ６に順次記憶される。ここで、スチル静止画像ＧＩ４の低域画像ＧＦ４の縮小率が縦１／６４：横１／６４に設定されるものとすると、デジタルビニング回路３におけるビニング比率を縦１／３２：横１／３２に設定し、低域画像ＧＦ１、ＧＦ２の縮小率を低域画像ＧＦ４の縮小率に一致させることができる。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、１フレーム分だけ過去の低域画像ＧＦ１、ＧＦ２とが順次混合されることにより、出力画像ＧＯ１、ＧＯ２が生成される。

そして、入力画像ＧＩがビューファインダ画像ＧＩ２からスチル静止画像ＧＩ４に切り替わる場合、シーケンサ１１において、ビューファインダ画像ＧＩ２とスチル静止画像ＧＩ４との相関性が判断される。この時、画像モード情報Ｓ４に含まれるビニング情報は、ビニング比率が縦１／２：横１／２から等倍に更新される。そして、画像モード情報Ｓ４に含まれるビニング情報が更新された場合は、ビューファインダ画像ＧＩ２とスチル静止画像ＧＩ４とで相関性があると判断され、フレームバッファ６に記憶された低域画像ＧＦ２がそのまま保持される。

また、入力画像ＧＩがビューファインダ画像ＧＩ２からスチル静止画像ＧＩ４に切り替る時に、入力画像ＧＩとして打ち切り画像ＧＩ３が入力されると、マスク信号Ｓ２がアクティブになる。この時、シーケンサ１１において、打ち切り画像ＧＩ３の低域画像ＧＦ３がフレームバッファ６に記憶されないように制御され、打ち切り画像ＧＩ３の出力画像ＧＯ３が生成されないようにされる。

そして、入力画像ＧＩとしてスチル静止画像ＧＩ４が入力されると、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨが生成される。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、フレームバッファ６に記憶された低域画像ＧＦ２とが混合されることにより、出力画像ＧＯ４が生成される。また、スチル静止画像ＧＩ４がデジタルビニング回路３にてビニングされることにより、低域画像ＧＦ４が生成され、フレームバッファ６に記憶される。

ここで、低域画像ＧＦ１、ＧＦ２の縮小率と低域画像ＧＦ４の縮小率が一致するようにデジタルビニング回路３のビニング比率を制御することにより、ビューファインダ画像ＧＩ２とスチル静止画像ＧＩ４との間で縮小率が異なる場合においても、ビューファインダ画像ＧＩ２から生成された低域画像ＧＦ２と、スチル静止画像ＧＩ４から生成された中域画像ＧＭおよび高域画像ＧＨとを混合することができ、入力画像ＧＩの状態変化に迅速に適応しつつ入力画像ＧＩのノイズを除去することが可能となる。
また、ビューファインダ画像ＧＩ２とスチル静止画像ＧＩ４との相関性を判断することにより、ビューファインダ画像ＧＩ２から生成された低域画像ＧＦ２を、スチル静止画像ＧＩ４の出力画像ＧＯ４の生成に用いることができる。

（第４実施形態）
図５は、第４実施形態に係る画像処理方法を示す図である。
図５において、図３の入力画像ＧＩとして入力画像ＧＩ１１〜ＧＩ１３が順次入力されるものとする。この時、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨがそれぞれ生成される。また、デジタルビニング回路３にてビニングされることにより、低域画像ＧＦ１１〜ＧＦ１３が順次生成され、フレームバッファ６に順次記憶される。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、１フレーム分だけ過去の低域画像ＧＦ１１〜ＧＦ１３とが順次混合されることにより、出力画像ＧＯ１１〜ＧＯ１３が生成される。

そして、入力画像ＧＩ１４が入力される前にスタンバイがある場合、リセット信号Ｓ３がアクティブになり、シーケンサ１１にてスタンバイ時間が判断される。そして、スタンバイ時間が所定時間以内である場合、入力画像ＧＩ１３、ＧＩ１４間で相関性があると判断され、フレームバッファ６に記憶された低域画像ＧＦ１３がそのまま保持される。

そして、入力画像ＧＩとして入力画像ＧＩ１４が入力されると、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨが生成される。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、フレームバッファ６に記憶された低域画像ＧＦ１３とが混合されることにより、出力画像ＧＯ１４が生成される。また、入力画像ＧＩ１４がデジタルビニング回路３にてビニングされることにより、低域画像ＧＦ１４が生成され、フレームバッファ６に記憶される。

ここで、入力画像ＧＩ１４の入力前のスタンバイ時間が所定時間以内である場合、フレームバッファ６に記憶された低域画像ＧＦ１３をそのまま保持させることにより、入力画像ＧＩ１４に対する出力画像ＧＯ１４の再現性が損なわれるのを防止しつつ、入力画像ＧＩ１３から生成された低域画像ＧＦ１３を、入力画像ＧＩ１４の出力画像ＧＯ１４の生成に用いることができる。

（第５実施形態）
図６は、第５実施形態に係る画像処理方法を示す図である。
図６において、図３の入力画像ＧＩとして入力画像ＧＩ２１が入力されるものとする。この時、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨが生成される。また、デジタルビニング回路３にてビニングされることにより、低域画像ＧＦ２１が生成され、フレームバッファ６に記憶される。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、１フレーム分だけ過去の低域画像とが混合されることにより、出力画像ＧＯ２１が生成される。

そして、入力画像ＧＩ２２が入力される前にスタンバイがある場合、リセット信号Ｓ３がアクティブになり、シーケンサ１１にてスタンバイ時間が判断される。そして、スタンバイ時間が所定時間を超える場合、入力画像ＧＩ２１、ＧＩ２２間で相関性がないと判断され、フレームバッファ６に記憶された低域画像ＧＦ２１が破棄される。

そして、入力画像ＧＩとして入力画像ＧＩ２２が入力されると、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨが生成され、これらの混合画像が出力画像ＧＯ２２として出力される。また、入力画像ＧＩ２２がデジタルビニング回路３にてビニングされることにより、低域画像ＧＦ２２が生成され、フレームバッファ６に記憶される。

次に、入力画像ＧＩとして入力画像ＧＩ２３が入力されると、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨが生成される。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、フレームバッファ６に記憶された低域画像ＧＦ２２とが混合されることにより、出力画像ＧＯ２３が生成される。また、入力画像ＧＩ２３がデジタルビニング回路３にてビニングされることにより、低域画像ＧＦ２３が生成され、フレームバッファ６に記憶される。

ここで、入力画像ＧＩ２２の入力前のスタンバイ時間が所定時間を超える場合、フレームバッファ６に記憶された低域画像ＧＦ２２を破棄することにより、入力画像ＧＩ２１から生成された低域画像ＧＦ２１が、入力画像ＧＩ２２の出力画像ＧＯ２２の生成に用いられないようにすることができ、入力画像ＧＩ２２に対する出力画像ＧＯ２２の再現性が損なわれるのを防止することができる。

（第６実施形態）
図７は、第６実施形態に係る画像処理方法を示す図である。
図７において、図３の入力画像ＧＩとして非反転画像ＧＩ３１、ＧＩ３２が順次入力されるものとする。この時、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨがそれぞれ生成される。また、デジタルビニング回路３にてビニングされることにより、低域画像ＧＦ３１、ＧＦ３２が順次生成され、フレームバッファ６に順次記憶される。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、１フレーム分だけ過去の低域画像ＧＦ３１、ＧＦ３２とが順次混合されることにより、出力画像ＧＯ３１、ＧＯ３２が生成される。

そして、入力画像ＧＩが非反転画像ＧＩ３２から上下反転画像ＧＩ３４に切り替わる場合、シーケンサ１１において、非反転画像ＧＩ３２と上下反転画像ＧＩ３４との相関性が判断される。この時、画像モード情報Ｓ４に含まれる反転情報は、非反転画像から上下反転画像に更新される。そして、画像モード情報Ｓ４に含まれる反転情報が更新された場合は、非反転画像ＧＩ３２と上下反転画像ＧＩ３４とで相関性がないと判断され、フレームバッファ６に記憶された低域画像ＧＦ３２が破棄される。

また、入力画像ＧＩが非反転画像ＧＩ３２から上下反転画像ＧＩ３４に切り替る時に、入力画像ＧＩとして打ち切り画像ＧＩ３３が入力されると、マスク信号Ｓ２がアクティブになる。この時、シーケンサ１１において、打ち切り画像ＧＩ３３の低域画像ＧＦ３３がフレームバッファ６に記憶されないように制御され、打ち切り画像ＧＩ３３の出力画像ＧＯ３３が生成されないようにされる。

そして、入力画像ＧＩとして上下反転画像ＧＩ３４が入力されると、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨが生成され、これらの混合画像が出力画像ＧＯ３４として出力される。また、上下反転画像ＧＩ３４がデジタルビニング回路３にてビニングされることにより、低域画像ＧＦ３４が生成され、フレームバッファ６に記憶される。

次に、入力画像ＧＩとして上下反転画像ＧＩ３５が入力されると、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨが生成される。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、フレームバッファ６に記憶された低域画像ＧＦ３４とが混合されることにより、出力画像ＧＯ３５が生成される。また、入力画像ＧＩ３５がデジタルビニング回路３にてビニングされることにより、低域画像ＧＦ３５が生成され、フレームバッファ６に記憶される。

ここで、入力画像ＧＩが非反転画像ＧＩ３２から上下反転画像ＧＩ３４に切り替る場合、フレームバッファ６に記憶された低域画像ＧＦ３２を破棄することにより、非反転画像ＧＩ３２から生成された低域画像ＧＦ３２が、上下反転画像ＧＩ３４の出力画像ＧＯ３４の生成に用いられないようにすることができ、上下反転画像ＧＩ３４に対する出力画像ＧＯ３４の再現性が損なわれるのを防止することができる。

なお、図７の実施形態では、上下反転を例にとったが、左右反転についても同様に適用することができる。

（第７実施形態）
図８は、第７実施形態に係る画像処理方法を示す図である。
図８において、図３の入力画像ＧＩとして入力画像ＧＩ４１、ＧＩ４２が順次入力されるものとする。この時、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨがそれぞれ生成される。また、デジタルビニング回路３にてビニングされることにより、低域画像ＧＦ４１、ＧＦ４２が順次生成され、フレームバッファ６に順次記憶される。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、１フレーム分だけ過去の低域画像ＧＦ４１、ＧＦ４２とが順次混合されることにより、出力画像ＧＯ４１、ＧＯ４２が生成される。

そして、入力画像ＧＩが入力画像ＧＩ４２から切り出し画像ＧＩ４４に切り替わる場合、シーケンサ１１において、入力画像ＧＩ４２と切り出し画像ＧＩ４４の相関性が判断される。この時、画像モード情報Ｓ４に含まれる幅高さ情報が更新される。そして、画像モード情報Ｓ４に含まれる幅高さ情報が更新された場合は、入力画像ＧＩ４２と切り出し画像ＧＩ４４とで相関性がないと判断され、フレームバッファ６に記憶された低域画像ＧＦ４２が破棄される。

また、入力画像ＧＩが入力画像ＧＩ４２から切り出し画像ＧＩ４４に切り替る時に、入力画像ＧＩとして打ち切り画像ＧＩ４３が入力されると、マスク信号Ｓ２がアクティブになる。この時、シーケンサ１１において、打ち切り画像ＧＩ４３の低域画像ＧＦ４３がフレームバッファ６に記憶されないように制御され、打ち切り画像ＧＩ４３の出力画像ＧＯ４３が生成されないようにされる。

そして、入力画像ＧＩとして切り出し画像ＧＩ４４が入力されると、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨが生成され、これらの混合画像が出力画像ＧＯ４４として出力される。また、切り出し画像ＧＩ４４がデジタルビニング回路３にてビニングされることにより、低域画像ＧＦ４４が生成され、フレームバッファ６に記憶される。

次に、入力画像ＧＩとして切り出し画像ＧＩ４５が入力されると、平均化フィルタ４およびイプシロンフィルタ５にてフィルタリングされることにより、中域画像ＧＭおよび高域画像ＧＨが生成される。そして、今回生成された中域画像ＧＭおよび高域画像ＧＨと、フレームバッファ６に記憶された低域画像ＧＦ４４とが混合されることにより、出力画像ＧＯ４５が生成される。また、入力画像ＧＩ４５がデジタルビニング回路３にてビニングされることにより、低域画像ＧＦ４５が生成され、フレームバッファ６に記憶される。

ここで、入力画像ＧＩが入力画像ＧＩ４２から切り出し画像ＧＩ４４に切り替る場合、フレームバッファ６に記憶された低域画像ＧＦ４２を破棄することにより、入力画像ＧＩ４２から生成された低域画像ＧＦ４２が、切り出し画像ＧＩ４４の出力画像ＧＯ４４の生成に用いられないようにすることができ、切り出し画像ＧＩ４４に対する出力画像ＧＯ４４の再現性が損なわれるのを防止することができる。

（第８実施形態）
図９は、第８実施形態に係る画像処理装置が適用されたビデオカメラの概略構成を示すブロック図である。
図９において、このビデオカメラには、操作部２１、センサ制御部２２、ＣＭＯＳイメージセンサ２３、ＡＤ変換器２４、画像処理装置２５、画像記録部２６およびビューファインダ２７が設けられている。なお、画像処理装置２５は図３の構成を用いることができる。操作部２１は、ビデオカメラの各種の走査を行うことができる。例えば、ＣＭＯＳイメージセンサ２３にて撮像される画像の静止画ショットを行ったり、スタンバイ処理を行ったり、ズーミングを行ったり、上下反転を行ったり、切り出しを行ったりすることができる。

センサ制御部２２は、ＣＭＯＳイメージセンサ２３に対して、撮像画像の静止画ショットを行わせたり、撮像画像のスタンバイ処理を行わせたり、撮像画像のズーミングを行わせたり、撮像画像の上下反転を行わせたり、撮像画像の切り出しを行わせたりすることができる。なお、センサ制御部２２は、同期信号Ｓ１、マスク信号Ｓ２、リセット信号Ｓ３および画像モード情報Ｓ４を画像処理装置２５に出力することができる。ＣＭＯＳイメージセンサ２３は、撮像画像を出力することができる。ＡＤ変換器２４は、ＣＭＯＳイメージセンサ２３から出力された撮像画像をデジタル化し、入力画像ＧＩを生成することができる。画像記録部２６は、画像処理装置２５から出力された出力画像ＧＯを記録することができる。ビューファインダ２７は、画像処理装置２５から出力された出力画像ＧＯを表示することができる。

ユーザが操作部２１を操作することにより、ＣＭＯＳイメージセンサ２３に対して、撮像画像の静止画ショット、撮像画像のスタンバイ処理、撮像画像のズーミング、撮像画像の上下反転または撮像画像の切り出しなどがＣＭＯＳイメージセンサ２３で行われ、ＡＤ変換器２４にてデジタル化された後、入力画像ＧＩとして画像処理装置２５に入力される。画像処理装置２５において、入力画像ＧＩ間の相関性に基づいて低域画像ＧＬ、中域画像ＧＭおよび高域画像ＧＨが多重化されることにより、出力画像ＧＯが生成され、画像記録部２６に記録されたり、ビューファインダ２７に表示されたりする。

なお、上述した実施形態では、入力画像ＧＩから生成された低域画像ＧＬ、中域画像ＧＭおよび高域画像ＧＨを多重化する方法について説明したが、多重化される画像は３つの空間周波数帯に限定されることなく、低域と高域の２つの空間周波数帯であってもよいし、４以上の空間周波数帯であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ラインメモリ、２キズ補正回路、３デジタルビニング回路、４平均化フィルタ、５イプシロンフィルタ、６フレームバッファ、７、８エッジ検出部、９低中域画像混合回路、１０低中高域画像混合回路、１１シーケンサ、２１操作部、２２センサ制御部、２３ＣＭＯＳイメージセンサ、２４ＡＤ変換器、２５画像処理装置、２６画像記録部、２７ビューファインダ

Claims

入力画像を複数行分だけ記憶するラインメモリと、
前記ラインメモリに記憶された画像データに基づいて前記入力画像のキズ補正を行うキズ補正回路と、
前記キズ補正された入力画像をビニングすることにより、前記入力画像より空間周波数が低い低域画像を生成するビニング回路と、
前記低域画像を記憶するフレームバッファと、
前記キズ補正された入力画像をフィルタリングし、前記低域画像よりも空間周波数が高い高域画像を生成するフィルタと、
前記低域画像と前記高域画像とを混合する混合回路とを備えることを特徴とする画像処理装置。
前記キズ補正回路は前記ラインメモリの所定領域の中心画素のキズ補正を行うとともに、前記中心画素の周辺の周辺画素のキズ補正を行うことを特徴とする請求項１に記載の画像処理装置。
入力画像を複数行分だけ記憶するラインメモリと、
前記入力画像をビニングすることにより、前記入力画像より空間周波数が低い低域画像を生成するビニング回路と、
前記低域画像を記憶するフレームバッファと、
前記ラインメモリに記憶された入力画像をフィルタリングし、前記低域画像よりも空間周波数が高い高域画像を生成するフィルタと、
前記低域画像と前記高域画像とを混合する混合回路と、
前記入力画像間の相関性に基づいて、前記混合回路での前記低域画像の使用を制御するシーケンサとを備えることを特徴とする画像処理装置。
前記シーケンサは、前記低域画像の縮小率が一定になるように、前記入力画像の縮小率に応じて前記ビニング回路の縮小率を制御することを特徴とする請求項３に記載の画像処理装置。
前記シーケンサは、前記入力画像として打ち切り画像が指定された場合、前記打ち切り画像の低域画像を前記フレームバッファに記憶させないようにすることを特徴とする請求項３または４に記載の画像処理装置。
前記シーケンサは、前記入力画像の入力時に所定時間以内のスタンバイが指定された場合、前記スタンバイ前の低域画像を前記フレームバッファに保持させ、前記スタンバイ前の低域画像を前記スタンバイ後に前記混合回路で使用させることを特徴とする請求項３から５のいずれか１項に記載の画像処理装置。
前記シーケンサは、前記入力画像の入力時に所定時間を越えるスタンバイが指定された場合、前記スタンバイ前の低域画像を前記フレームバッファに破棄させることを特徴とする請求項３から６のいずれか１項に記載の画像処理装置。
前記シーケンサは、前記入力画像として反転画像が指定された場合、前記フレームバッファに保持されている非反転画像の低域画像を破棄させることを特徴とする請求項３から７のいずれか１項に記載の画像処理装置。
前記シーケンサは、前記入力画像として切り出し画像が指定された場合、前記フレームバッファに保持されている元画像の低域画像を破棄させることを特徴とする請求項３から８のいずれか１項に記載の画像処理装置。