JP2009033534A

JP2009033534A - 画像処理装置及び方法

Info

Publication number: JP2009033534A
Application number: JP2007196015A
Authority: JP
Inventors: Ken Terasawa; 見寺澤; 和紀 ▲高▼山; Kazunori Takayama; Makoto Ota; 誠太田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-07-27
Filing date: 2007-07-27
Publication date: 2009-02-12
Anticipated expiration: 2027-07-27
Also published as: JP4963645B2

Abstract

【課題】簡単な構成で、画像中の小区画画像における被写体の意味や特徴を判別することができる画像処理装置及び方法を提供することを課題とする。
【解決手段】複数の画素からなる小区画画像を入力画像から切り出して記憶するバッファメモリ（１）と、前記バッファメモリ内の小区画画像を周波数解析し、前記小区画画像の空間周波数分布を出力する周波数解析手段（２）と、前記バッファメモリ内の小区画画像を周期性解析し、前記小区画画像の時間周期性分布を出力する周期性解析手段（３）と、前記小区画画像の空間周波数分布及び時間周期性分布を基に、前記小区画画像の画像パターンの判別結果を出力する判別分析手段（４）とを有することを特徴とする画像処理装置が提供される。
【選択図】図１

Description

本発明は、画像処理装置及び方法に関する。

近年は、フレーム間の圧縮符号化を伴う映像方式であるＭＰＥＧ２、ＭＰＥＧ４方式を採用した録画再生機器の普及や、超多画素のセンサーを使用したデジタルカメラ、デジタルビデオカメラの普及が急速に進んでいる。

このような状況下では、処理される情報量に対して、記憶したり伝送したりできるデータ容量が相対的に小さくなってきており、映像の伝えたい意味を把握し、必要な情報を適切に処理する必要が出てきている。

画像の意味や特徴を把握し、フレーム間予測符号化を行うものとしては、下記の特許文献１がある。また、画像の意味や特徴を把握し、それに基づいて補間処理を行うものとしては、下記の特許文献２がある。

特開平９−２９８７５３号公報特開２００１−２３８０７３号公報

上記特許文献１では、フレーム間予測符号化処理によって必然的に得られる、発生符号量或いは予測残差を画像の複雑さと定義して、その複雑さに応じて入力信号に適応的にＬＰＦを施すことにより、符号化効率の低下を防いでいる。
しかしながらこのような画像の意味や特徴の判定方法は、元々ある信号処理により得られる情報の流用であり、構成が著しく限定されるばかりでなく、画像の判定処理そのものが大規模で複雑な処理である。

従って、独立した処理として設けたり、要求に応じたハードウェア規模で構成し組み入れたりすることへの対応が難しい。

また、上記特許文献２では、画像の一部分の内容を分類し、それに基づいて、線形補間、非線形補間の補間処理アルゴリズムを切り替えることにより、補間後の画像の周波数応答が良い補間処理を行っている。

しかしながらこのような画像の意味や特徴の判定方法は、波形パターンとの一致性を評価するいわゆるパターンマッチングであり、パターンの設定自体が画像判定結果を大きく変えてしまう。

また、拡大、縮小による補間処理後の画像の特性が考慮されておらず、出力画像に対して本質的に好適な処理がなされていない。

本発明の目的は、簡単な構成で、画像中の小区画画像における被写体の意味や特徴を判別することができる画像処理装置及び方法を提供することである。

本発明の画像処理装置は、複数の画素からなる小区画画像を入力画像から切り出して記憶するバッファメモリと、前記バッファメモリ内の小区画画像を周波数解析し、前記小区画画像の空間周波数分布を出力する周波数解析手段と、前記バッファメモリ内の小区画画像を周期性解析し、前記小区画画像の時間周期性分布を出力する周期性解析手段と、前記小区画画像の空間周波数分布及び時間周期性分布を基に、前記小区画画像の画像パターンの判別結果を出力する判別分析手段とを有することを特徴とする。

また、本発明の画像処理方法は、複数の画素からなる小区画画像を入力画像から切り出してバッファメモリに記憶する記憶ステップと、前記バッファメモリ内の小区画画像を周波数解析し、前記小区画画像の空間周波数分布を出力する周波数解析ステップと、前記バッファメモリ内の小区画画像を周期性解析し、前記小区画画像の時間周期性分布を出力する周期性解析ステップと、前記小区画画像の空間周波数分布及び時間周期性分布を基に、前記小区画画像の画像パターンの判別結果を出力する判別分析ステップとを有することを特徴とする。

前後の信号処理とは独立に、簡単な構成で、画像中の小区画画像における被写体の意味や特徴を判別することができる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。
（第１の実施形態）
本発明の第１の実施形態についての説明をする。図１は、本発明の第１の実施形態による撮像装置（画像処理装置）のブロック図の例である。以下、画像処理装置の画像処理方法を説明する。入力端子から入力された映像信号は、着目画素を移動しながら着目画素を中心として、画像の走査方向及び直交方向の周辺の画素を一時的に保持するバッファメモリ１に入力される。

バッファメモリ１は、入力信号を画像の走査方向及び直交方向に保持するとともに、保持された着目画素を含む周辺画素信号を、図９にあるような小区画画像信号Ｉとして、全画素信号を同時に出力する。小区画画像信号Ｉは、周波数解析回路２及び周期性解析回路３に入力される。

周波数解析回路２は、入力された小区画画像信号Ｉに対し、空間周波数の解析処理を施し、解析結果から、小区画画像Iにおける空間周波数分布Hfを出力する。

周期性解析回路３は、入力された小区画画像信号Ｉに対し、画像の少なくとも走査方向及び直交方向について時間波形の解析処理を施し、解析結果から、小区画画像Iにおける時間周期性分布Hcを出力する。空間周波数分布Hf及び時間周期性分布Hcは、判別分析回路４に入力される。

さらに判別分析回路４には、例えば図８のような意味で区別された、既存の画像信号からあらかじめ得られている小区画画像のパターン群定義情報が、画像パターンデータIpkとして入力される。判別分析回路４は、空間周波数分布Hf及び時間周期性分布Hcから、入力された小区画画像の画像パターン定義Ｍを出力し、出力端子から外部に出力する。

マイコン５は、バッファメモリ１に対して、1走査線期間を指示するとともに、周波数解析回路２及び周期性解析回路３には、解析する小区画領域を指示し、さらに、判別分析回路４には、判別分析に必要な画像パターンの制御を指示する。

次に、バッファメモリ１について詳細に述べる。バッファメモリ1は、例えば図２のような回路で構成されている。この例の場合、着目画素を中心とした５×５の範囲で画素信号を出力する。

ラインメモリ制御回路１００は、マイコン５から指示されたタイミングを基に、1走査線期間の画素信号をラインメモリから読み出し書き込むための制御信号を生成し、出力する。入力された画素信号は、ラインメモリ１０１〜１０５により、順次走査方向とは直交方向に、1走査線期間の画素信号を保持する。

保持された各走査線の画素信号は順次読み出され、ラインメモリ１０１〜１０５にそれぞれ接続された遅延素子１１１〜１１４、１２１〜１２４、１３１〜１３４、１４１〜１４４、１５１〜１５４で走査方向に画素サンプリング周期で順次遅延される。各遅延素子からの出力は、同時に外部に対して小区画画像Iとして出力される。

次に、周波数解析回路２について詳細に述べる。周波数解析回路２は、例えば図３のような回路で構成されている。バッファメモリ１からの小区画画像Iは、ｎ個の評価関数フィルタ２０１〜２０ｎに入力される。評価関数フィルタは、小区画画像Iが特定の周波数帯の応答をどれほど持つかを解析するフィルタである。このような周波数解析フィルタは、例えばBPF、DCTやアダマール変換などの直交変換、短時間フーリエ変換、連続ウェーブレット変換などを適用することで構成できる。

さらに、これらの処理は、評価関数フィルタを変更することで周波数解析の分解能を調整できるので、構成するハードウェア規模や処理時間の制約に応じて、評価関数の数ｎを調整すればよい。

各評価関数フィルタ２０１〜２０ｎの出力は、ヒストグラム生成回路２１０に入力される。ヒストグラム生成回路２１０は、マイコン５から指示された期間の各評価関数フィルタ２０１〜２０ｎの出力を統計処理し、図１２のような空間周波数分布Hfを出力する。

周波数解析回路２は、上記実施形態のほかにも、例えば図４のような回路で構成しても良い。この場合、入力された小区画画像Iは、図２のような構成のバッファメモリ２２０に一時保持される。

領域制御回路２００は、マイコン５からの評価関数の設定数kの指示により、保持した小区画画像Iを同時に外部に対してk回繰り返し出力するように、制御信号Akを出力する。係数発生器２３０は、マイコン５からの評価関数の種別指示により、対応したフィルタ係数Fkを出力する。

評価関数フィルタ２０１には、バッファメモリ２２０から出力された小区画画像Iが入力され、係数発生器２３０から出力されたフィルタ係数を使用して、小区画画像Iが特定の周波数帯の応答をどれほど持つかを解析する。

このような周波数解析フィルタは、例えばＢＰＦ、ＤＣＴやアダマール変換などの直交変換、短時間フーリエ変換、連続ウェーブレット変換などを適用することで構成できる。

さらに、これらの処理は、評価関数フィルタ数を変更することで周波数解析の分解能を調整できるので、構成するハードウェア規模や処理時間の制約に応じて、評価関数の数ｋを調整すればよい。

評価関数フィルタ２０１の出力は、ヒストグラム生成回路２１０に入力される。ヒストグラム生成回路２１０は、評価関数フィルタ２０１のｋ回の出力を統計処理し、図１２のような空間周波数分布Hfを出力する。

周波数解析回路２は、映像の出力データレートに対してｋ倍速い動作出力を与えることにより、図３の並列処理と同等の分解能を持って動作が可能となる。

次に、周期性解析回路３について詳細に述べる。周期性解析回路３は、例えば図５のような回路で構成されている。バッファメモリ１からの小区画画像Iは、m個の水平差分検出回路３０１〜３０ｍ及びn個の垂直差分検出回路３２１〜３２ｎに入力される。このとき、小区画画像Iの入力は（ｍ＋１）行×（ｎ＋１）列の空間領域であることを想定している。

水平差分検出回路３０１〜３０ｍは、小区画画像Iの各行に対して、隣接する画素間の差分値を順次出力する。垂直差分検出回路３２１〜３２ｎは、小区画画像Iの各列に対して、隣接する画素間の差分値を順次出力する。

水平カウンタ３１１〜３１ｍは、それぞれ水平差分検出回路３０１〜３０ｍの出力の符号を見て、符号の変化があったときに、直前の出力値に１を加算して出力するとともに、出力した値を保持する。

垂直カウンタ３３１〜３３ｎは、それぞれ垂直差分検出回路３２１〜３２ｎの出力の符号を見て、符号の変化があったときに、直前の出力値に１を加算して出力するとともに、出力した値を保持する。

なお、水平カウンタ３１１〜３１ｍ及び垂直カウンタ３３１〜３３ｎは、ノイズ等の微少な変動による符号の変化を抑圧するために、差分値に閾値を設定し、閾値以上の変化を伴う場合にのみ、直前の出力値に１を加算して出力すると共に、出力値を保持してもよい。

水平カウンタ３１１〜３１ｍ及び垂直カウンタ３３１〜３３ｎの出力は、ヒストグラム生成回路３１０に入力される。ヒストグラム生成回路３１０は、マイコン５から指示された期間の水平カウンタ３１１〜３１ｍ及び垂直カウンタ３３１〜３３ｎの出力を統計処理し、図１３のような時間周期性分布Hcを出力する。

周期性解析回路３は、上記実施形態のほかにも、例えば図７のような回路で構成しても良い。この場合、入力された小区画画像Iは、図２のような構成のバッファメモリ３２０に一時保持される。

領域制御回路３００は、マイコン５からの差分検出の設定数kの指示により、保持した小区画画像Iを同時に外部に対してk回繰り返し出力するように、制御信号Akを出力する。このとき、小区画画像Iの入力は（ｍ＋１）行×（ｎ＋１）列の空間領域であることを想定すれば、ｋ＝ｍ×nである。

差分回路３０１は、領域制御回路３００で指定された行又は列について、隣接する画素間の差分値を順次出力する。カウンタ３１１は、差分検出回路３０１の出力の符号を見て、符号の変化があったときに、直前の出力値に１を加算して出力するとともに、出力した値を保持する。

カウンタ制御回路３４０は、マイコン５から設定された期間が経過するごとに、リセット信号を発生する。カウンタ３１１は、カウンタ制御回路３４０からリセット信号を受け取ると、保持されたカウント値をリセットする。

なお、カウンタ３１１は、ノイズなどの微少な変動による符号の変化を抑圧するために、差分値に閾値を設定し、閾値以上の変化を伴う場合にのみ、直前の出力値に１を加算して出力するとともに、出力した値を保持するようにしてもよい。

カウンタ３１１の出力は、ヒストグラム生成回路３１０に入力される。ヒストグラム生成回路３１０は、カウンタ３１１の出力を統計処理し、図１３のような時間周期性分布Hcを出力する。

周期性解析回路３は、映像の出力データレートに対してｋ倍速い動作出力を与えることにより、図５の並列処理と同等の分解能を持って動作が可能となる。

次に、判別分析回路４について詳細に述べる。判別分析回路４は、例えば図６のような回路で構成されている。周波数代表値算出回路４０１は、空間周波数分布Hfを入力し、分布の中央値、平均値などを算出して、空間周波数分布Hfの代表値Sfを出力する。周期性代表値算出回路４０２は、時間周期性分布Hcを入力し、分布の中央値、平均値などを算出して、時間周期性分布Hcの代表値Scを出力する。

判別関数回路４０３には、空間周波数代表値Sf及び時間周期性代表値Scが入力されるとともに、画像パターンデータIpkが入力される。ここで、画像パターンデータIpkは、マイコン５からの判別パターンの設定数kの指示により、画像パターン制御回路４０６及び画像パターンデータベース４０７から、例えば図８に示すような画像パターンに応じて出力される。画像パターンは、例えば、平坦、ステップ、線、テクスチャ等である。

画像パターンデータIpkは、予め解析された、画像パターンkにおける空間周波数代表値の平均Akf、分散Dkf、時間周期性代表値の平均Akc、分散Dkc、空間周波数代表値と時間周期性代表値の相関係数Ck、画像パターンの識別値Rkで構成される。

なお、画像パターンデータIpkは、空間周波数代表値Sf及び時間周期性代表値Scに対して、図１１に示すような領域で判別されるように、既知の画像データを使用してあらかじめ解析されて生成したものである。画像パターンとして、テクスチャ、線、ステップ及び平坦は、周波数及び周期性が異なる。

判別関数回路４０３は、画像パターンkに対するマハラノビス距離Mkを、以下の式（１）で求め、出力する。

ここで、u_f、u_cはそれぞれ以下の式（２）で求める。

ハードウェアでの演算負荷の高い自乗演算や平方根演算は、あらかじめ計算されたものを画像パターンデータIpkに含めてしまっても良い。

バッファメモリ４０４は、画像パターンの識別値Rkに従い、判別回路４０３が出力したマハラノビス距離Mkを一時的に保持する。

パターン判定回路４０５は、バッファメモリ４０４から読み出されるマハラノビス距離Mkのうち、もっとも値の小さいものを決定し、該当する画像パターンの識別値Rkを画像パターン定義Mとして出力する。画像パターン定義Mは、平坦、ステップ、線、テクスチャ等のうちのいずれかである。

（第２の実施形態）
本発明の第２の実施形態についての説明をする。図１０は、本発明の第２の実施形態による撮像装置のブロック図の例である。本実施形態は、第１の実施形態の出力に対する処理が加わるものであるので、第１の実施形態と重複する部分、即ちパターン判定回路４０５の出力までは解説を省略する。

パターン判定回路４０５が出力した画像パターン定義Mは、判定回路６に入力されるとともに、バッファメモリ７に入力される。バッファメモリ７は、例えば画素単位の複数の遅延素子によるシフトレジスタで構成されており、入力された画像パターン定義Mを順次遅延させて保持するとともに、各遅延素子に保持されている画像パターン定義群Mxが出力される。

判定回路６は、バッファメモリ７からの画像パターン定義群Mxに対して平均化フィルタ、メディアンフィルタなど、周囲の画像パターン判定に対して特異な結果が排除、緩和されるような処理を行い、新しい画像パターン定義M'を出力する。

バッファメモリ７の容量を大きくし、フレーム単位で複数の画像パターン定義Mを一時的に保持できるようにすれば、時間方向の特異点除去も可能となるため、動画像に本実施形態を適用した際にも、画像パターン定義M'が好適に得られる。

以上のように、第１及び第２の実施形態では、前後の信号処理とは独立に、簡単な構成で、画像中の小区画における被写体の意味や特徴を判別することを実現することができる。

また、周囲の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、周囲の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。

また、時間的に前後のフレームとなる同一位置の小区画画像と比較して、判別結果が孤立している場合はそれを破棄し、時間的に前後の判別結果から推定される判別結果に置き換えることで、判別結果の正当性を確保している。

以上のように、既知の画像データから生成された複数の画像パターン群が定義され、各画像パターン群に、空間周波数分布と時間周期性分布を関数として得られている固有値群とを有する。判別分析回路４は、小区画画像の空間周波数分布と時間周期性分布を関数として得られる固有値と、各画像パターン群の固有値から判別距離を出力し、各画像パターン群で最も判別距離の近い画像パターンに、小区画画像を定義して出力する。

第１及び第２の実施形態では、バッファメモリ１は、複数の画素からなる小区画画像Ｉを入力画像から切り出して記憶する。周波数解析手段（回路）２は、前記バッファメモリ１内の小区画画像Ｉを周波数解析し、前記小区画画像Ｉの空間周波数分布Ｈｆを出力する。周期性解析手段（回路）３は、前記バッファメモリ１内の小区画画像Ｉを周期性解析し、前記小区画画像Ｉの時間周期性分布Ｈｃを出力する。判別分析手段（回路）４は、前記小区画画像Ｉの空間周波数分布Ｈｆ及び時間周期性分布Ｈｃを基に、前記小区画画像Ｉの画像パターンの判別結果Ｍを出力する。

前記バッファメモリ１は、着目画素を移動しながら前記着目画素を中心とした複数の画素からなる小区画画像を切り出して記憶する。判定手段（回路）６は、前記判別分析手段４が出力する空間的に近傍の複数の小区画画像Ｉの画像パターンの判別結果を基に、前記判別分析手段４が出力する小区画画像Ｉの画像パターンの判別結果を補正する。また、判定手段６は、前記判別分析手段４が出力する時間的に近傍の複数の小区画画像Ｉの画像パターンの判別結果を基に、前記判別分析手段４が出力する小区画画像Ｉの画像パターンの判別結果を補正してもよい。

前記周波数解析手段２は、バンドパスフィルタ処理、直交変換処理、短時間フーリエ変換又は連続ウェーブレット変換により前記小区画画像Ｉの空間周波数分布を出力する。

前記周期性解析手段３は、前記小区画画像Ｉを少なくとも２つの異なる方向で時間波形解析し、前記波形の傾きの符号が切り替わる回数を基に前記小区画画像Ｉの時間周期性分布を出力する。

また、前記周期性解析手段３は、閾値を超えたレベル変動を伴う前記波形の傾きの符号が切り替わる回数を基に前記小区画画像Ｉの時間周期性分布を出力する。

前記判定手段６は、メディアンフィルタを用いて前記判別分析手段４が出力する小区画画像Ｉの画像パターンの判別結果を補正する。

また、前記判定手段６は、平均化フィルタを用いて前記判別分析手段４が出力する小区画画像の画像パターンの判別結果を補正する。

（第３の実施形態）
本発明の第３の実施形態についての説明をする。図１４は、本発明の第３の実施形態による縮小処理を行う撮像装置のブロック図の例である。入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。

画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。

係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoom及び画像判別回路１００２からの画像パターン定義Mを入力する。そして、係数発生回路１００３は、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefに対し、係数制御を施したのち、フィルタ係数Coef'を出力する。

帯域制限フィルタ１００１には、係数発生回路１００３からのフィルタ係数Coef'が入力され、帯域制限フィルタ１００１は、フィルタ係数Coef'に基づいて、入力信号に帯域制限を施して出力する。

帯域制限フィルタ１００１の出力はリサイズ回路１００５に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち、出力端子より出力する。

次に、画像判別回路１００２について詳細に述べる。画像判別回路１００２は、例えば図１６のような回路で構成されている。入力端子から入力された映像信号は、着目画素を中心として、画像の走査方向及び直交方向の周辺の画素を一時的に保持するバッファメモリ１２０１に入力される。

バッファメモリ１２０１は、入力信号を画像の走査方向及び直交方向に保持するとともに、保持された着目画素を含む周辺画素信号を、図９にあるような小区画画像信号Ｉとして、全画素信号を同時に出力する。

小区画画像信号Ｉは、周波数解析回路１２０２及び周期性解析回路１２０３に入力される。周波数解析回路１２０２は、入力された小区画画像信号Ｉに対し、空間周波数の解析処理を施し、解析結果から、小区画画像Iにおける空間周波数分布Hfを出力する。

周期性解析回路１２０３は、入力された小区画画像信号Ｉに対し、画像の少なくとも走査方向及び直交方向について時間波形の解析処理を施し、解析結果から、小区画画像Iにおける時間周期性分布Hcを出力する。

周波数代表値算出回路１２０４は、空間周波数分布Hfを入力し、分布の中央値、平均値などを算出して、空間周波数分布Hfの代表値Sfを出力する。周期性代表値算出回路１２０５は、時間周期性分布Hcを入力し、分布の中央値、平均値などを算出して、時間周期性分布Hcの代表値Scを出力する。

判別関数回路１２０６には、空間周波数代表値Sf及び時間周期性代表値Scが入力されるとともに、画像パターンデータIpkが入力される。マイコン１００４からの判別パターンの設定数Cipの指示により画像パターン制御回路１２０９は、例えば図８に示すような画像パターンに応じた画像パターンデータIpkを出力するように画像パターンデータベース１２１０に指示する。画像パターンデータベース１２１０は、画像パターンデータIpkを出力する。

なお、画像パターンデータIpkは、空間周波数代表値Sf及び時間周期性代表値Scに対して、図１１に示すような領域で判別されるように、既知の画像データを使用してあらかじめ解析されて生成したものである。

判別関数回路１２０６は、画像パターンkに対するマハラノビス距離Mkを、上記の式（１）で求め、出力する。ここで、u_f、u_cはそれぞれ上記の式（２）で求める。

バッファメモリ１２０７は、画像パターンの識別値Rkに従い、判別関数回路１２０６が出力したマハラノビス距離Mkを一時的に保持する。

パターン判定回路１２０８は、バッファメモリ１２０７から読み出されるマハラノビス距離Mkのうち、もっとも値の小さいものを決定し、該当する画像パターンの識別値Rkを画像パターン定義Mとして出力する。画像パターン定義Mは、平坦、ステップ、線、テクスチャ等のうちのいずれかである。

次に、周波数解析回路１２０２について詳細に述べる。周波数解析回路１２０２は、例えば図３のような回路で構成されている。その説明は、上記と同様である。

次に、周期性解析回路１２０３について詳細に述べる。周期性解析回路１２０３は、例えば図５のような回路で構成されている。その説明は、上記と同様である。

次に、帯域制限フィルタ１００１の周波数特性の決定方法について、図２５、図２６により説明する。図２５（Ａ）は、リサイズ処理前の画像のサンプリング周波数をfs、ナイキスト周波数をfnとした周波数領域での様子を示している。ここで、実線の周波数帯はベースバンド信号であり、破線の周波数帯は折り返しの信号である。

リサイズで縮小処理を施すと、図２５（Ｂ）のようにサンプリング周波数がfs'、ナイキスト周波数fn'になるが、このときに、ベースバンド信号と折り返し信号が重なることがない状態が理想的である。

マイコン１００４は、リサイズの縮小率が与えられると、図２６（Ａ）のリサイズ前のサンプリング周波数の信号（図２５（Ａ）と同一）に対して、フィルタ係数を算出する。そのフィルタ係数は、図２６（Ｂ）の太線に示すような、リサイズ後のナイキスト周波数fn'で十分に信号帯域が抑圧される帯域制限特性のフィルタ係数である。

帯域制限フィルタ１００１の処理の結果、映像信号は、図２６（Ｃ）のように、サンプリング周波数fsで、帯域がfn'程度の周波数成分に制限されたものになる。従って、帯域制限フィルタ１００１の周波数特性は、図１８のような連続的な帯域変化を示す周波数特性を有しており、リサイズの倍率に対して可変制御され、縮小倍率が高くなるほど狭帯域な特性を取る。

次に、係数発生回路１００３の制御フローについて、図２８及び図２９で詳細に説明する。図２８は、係数発生回路１００３の内部で行われる制御のフローチャートである。係数発生回路１００３には、マイコン１００４から指示された帯域制限フィルタ係数Coefが入力されるとともに、画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力される。

まず、係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoomにより、リサイズ倍率が縮小か拡大かを判定する。縮小の場合（拡大の場合は第４の実施形態で述べる）、縮小時の帯域シフト量の算出ルーチンに進む。縮小時の帯域シフト量の算出ルーチンは、例えば図２９に示すようなフローチャートの制御である。

画像パターン定義Mにより、周波数リサンプリング比率によりマイコン１００４が決定した既定のフィルタ係数に対して、通過帯域を操作する帯域シフト量Shiftが規定される。この例では、画像パターン定義Mが平坦であれば、帯域制限の必要性が低いと判断できるので、帯域制限フィルタ１００１は既定よりも超広帯域となるように、帯域シフト量Shiftはbroad+（超広帯域を示す値）が選択される。

画像パターン定義Mがステップであれば、急峻な波形変動付近に発生しやすい高周波の折り返しを低減するために、帯域制限フィルタ１００１は既定よりもやや狭帯域となるように、帯域シフト量Shiftはnarrow（やや狭帯域を示す値）が選択される。

画像パターン定義Mが線であれば、線自体の鮮鋭さを維持するために、帯域制限フィルタは既定よりもやや広帯域となるように、帯域シフト量Shiftはbroad（やや広帯域を示す値）が選択される。

画像パターン定義Mがテクスチャであれば、高周波成分が集中する付近に発生しやすい折り返しを低減するために、帯域制限フィルタは既定よりも超狭帯域となるように、帯域シフト量Shiftはnarrow+（超狭帯域を示す値）が選択される。

画像パターン定義Mがその他であれば、画像による帯域の操作の効果は出ないと判断できるので、帯域シフト量Shiftは0が選択され、帯域シフト量の算出ルーチンを抜ける。

決定された帯域シフト量Shiftに基づき、係数発生回路１００３は、マイコン１００４から指示された帯域制限フィルタ係数Coefを変更し、画像パターンとリサイズ倍率に応じた所望の帯域制限特性の得られる帯域制限フィルタ係数Coef'を出力する。

次に、帯域制限フィルタ１００１について詳細に述べる。帯域制限フィルタ１００１は、例えば図１７のような回路で構成されている。この例では、フィルタのタップ数は５タップである。

入力端子からの映像信号は、遅延素子１１０１〜１１０４で１画素分の遅延を順次施されるとともに、入力映像信号及び遅延素子１１０４の出力が加算器１１０５で加算され、遅延素子１１０１の出力及び遅延素子１１０３の出力が加算器１１０６で加算される。

外部から入力されたフィルタ係数Coef'は、各々のフィルタタップに対して1つのフィルタ係数Coef'0、Coef'1、Coef'2で構成されている。

フィルタタップの中央の画素値にあたる遅延素子１１０２の出力は、乗算器１１０９でCoef'0と乗算されて出力される。

フィルタタップの中央から1番目の画素値にあたる加算器１１０６の出力は、乗算器１１０８でCoef'1と乗算されて出力される。

フィルタタップの中央から2番目の画素値にあたる加算器１１０５の出力は、乗算器１１０７でCoef'2と乗算されて出力される。

乗算器１１０７，１１０８，１１０９の出力は、加算器１１１０で加算され、フィルタ係数のゲイン分をビットシフトされ、出力端子に出力される。

次に、リサイズ回路１００５について詳細に述べる。図２１は、リサイズ回路１００５の補間処理とリサンプリングにより、リサイズ前のサンプリング周波数のデータ列（Ａ／Ｂ）が、リサイズ後のサンプリング周波数のデータ列Iになる様子の模式図である。

ここでは、説明を簡単にするために、補間処理は図２０に示すような、補間画素近傍２点の画素と、補間位置への距離Kを使用する線形補間処理とする。

図２１の上から下への矢印が、補間画素近傍２点の画素から、補間画素位置に補間画素を生成することを示しており、補間画素近傍の画素Ａ及びＢと、図２０の補間位置への距離Kから、補間画素は次式で求められる。
Ｉ＝Ｋ×（Ａ−Ｂ）＋Ｂ（ＡはＢの一つ前の画素位置）

リサイズ回路１００５は、例えば図１９のような回路で構成されている。この例では、フィルタのタップ数は２タップの線形補間フィルタである。

入力端子からの映像信号は、バッファメモリ１５０１に1走査線分保持され、読み出し時に、マイコン１００４から指示された繰り返し読み出しの制御信号holdにより、hold = high（ハイレベル）のときに、前回読み出した画素をもう一度読み出す。

また、遅延素子１５０２、１５０３は、制御信号holdにより、hold = lowのときに、１画素分の遅延を順次施す。ただし、この繰り返し読み出し制御は縮小処理では不要であり、hold = low（ローレベル）に固定されている。

そして、各画素信号A及びB、補間位置への距離Kから、加算器１５０４（演算は減算）、乗算器１５０５、加算器１５０６で上記線形補間式を実現し、補間処理結果をバッファメモリ１５０７に1走査線分保持する。

バッファメモリ１５０７に書き込む際の制御を示したのが、図２２である。縮小の補間処理では、リサイズ前のサンプリング周波数よりも小さい周波数にリサンプリングされる。このため、リサイズ前のサンプリング周波数で補間処理された出力には、リサンプリング後には不要となる画素（図２２の網掛けの演算結果）が含まれていることになる。

そこで、補間画素近傍の画素データ列A_i及びB_i+1と、補間画素位置までの距離K_iにより、補間画素データ列I_iが次式で表される時に、以下の制御を行う。すなわち、マイコン１００４から指示された書き飛ばし制御信号skipにより、skip = highでは補間演算結果はバッファメモリ１５０７に書き込まないように制御する。
I_i = K_i×(A_i - B_i+1) + B_i+1 （A_i = B_i）

バッファメモリ１５０７の出力は、図２６（Ｄ）のように、サンプリング周波数fs'で、帯域がfn'程度の周波数成分に制限されたものであると同時に、画像パターン定義により、画像の内容に好適な帯域に適宜調整された映像信号として出力される。

なお、ここでは帯域制限フィルタ１００１とリサイズ回路１００５を水平方向の処理のみで記述しているが、各回路内の遅延素子を1走査期間分のラインメモリとし、バッファメモリを１フィールド又はフレームとすることで、垂直方向にも同様の構成を適用できる。

（第４の実施形態）
本発明の第４の実施形態についての説明をする。図１５は、本実施形態による拡大処理を行う撮像装置のブロック図の例である。本実施形態が第３の実施形態と異なるのは、リサイズ回路１００５の前段にあった帯域制限フィルタ１００１がなく、代わりに後段に波形整形フィルタ１００６が挿入されたことである。

図２７（Ａ）は、リサイズ処理前の画像のサンプリング周波数をfs、ナイキスト周波数をfnとした周波数領域での様子を示している。ここで、実線の周波数帯はベースバンド信号であり、破線の周波数帯は折り返しの信号である。

リサイズで拡大処理を施すと、図２７（Ｂ）のようにサンプリング周波数がfs'、ナイキスト周波数fn'になるが、このときに、ベースバンド信号と折り返し信号は、原サンプリング以上の周波数を持たないために、重なることはない。従って、拡大処理では、帯域制限は原理的には不要であるが、補間処理による波形歪みにより、高調波が発生する場合がある。

以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第３の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。

入力端子から入力された映像信号は、リサイズ回路１００５に入力されるとともに、画像判別回路１００２に入力される。

リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち出力する。

係数発生回路１００３は、マイコン１００４から指示された、リサイズ倍率Zoomが大きくなるほど、映像信号の高調波抑圧の特性を強くするようなフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、画像判別回路１００２からの画像パターン定義Mに従って係数制御を施す。その後、フィルタ係数Coef'を出力する。

波形整形フィルタ１００６には、係数発生回路１００３からのフィルタ係数Coef'が入力され、波形整形フィルタ１００６は、フィルタ係数Coef'に基づいて、リサイズ回路１００５からの入力信号に波形整形処理を施したのち、出力端子より出力する。

次に、リサイズ回路１００５について詳細に述べる。図２３は、リサイズ回路１００５の補間処理とリサンプリングにより、リサイズ前のサンプリング周波数のデータ列（A/B）が、リサイズ後のサンプリング周波数のデータ列Iになる様子の模式図である。

ここでは、説明を簡単にするために、補間処理は図２０に示すような、補間画素近傍2点の画素と、補間位置への距離Kを使用する線形補間処理とする。

図２３の上から下への矢印が、補間画素近傍2点の画素から、補間画素位置に補間画素を生成することを示しており、補間画素近傍の画素A及びBと、図２０の補間位置への距離Kから、補間画素は次式で求められる。
I = K×(A - B) + B （AはBの一つ前の画素位置）

リサイズ回路１００５は、第３の実施形態と同様に、例えば図１９のような回路で構成された、フィルタのタップ数は２タップの線形補間フィルタである。

入力端子からの映像信号は、バッファメモリ１５０１に1走査線分保持され、読み出される。

バッファメモリ１５０１から読み出す際の制御を示したのが、図２４である。拡大の補間処理では、リサイズ前のサンプリング周波数よりも大きい周波数にリサンプリングされる。このため、倍率によっては、リサイズ前のサンプリング周波数における同一組の画素間に対し、補間処理された出力には、複数のリサンプリング後の画素が含まれる場合がある（図２４の網掛けの演算結果）ことになる。

そこで、補間画素近傍の画素データ列A_i及びB_i+1と、補間画素位置までの距離K_iにより、補間画素データ列I_iが次式で表される時に、以下の制御を行う。すなわち、マイコン１００４から指示された繰り返し読み制御信号holdにより、hold = highではバッファメモリ１５０１の読み出し画素を進めずに、前回読み出した画素をもう一度読み出すように制御する。
I_i = K_i×(A_i - B_i+1) + B_i+1 （A_i = B_i）

また、遅延素子１５０２、１５０３は、制御信号holdにより、hold = lowのときに、１画素分の遅延を順次施すとともに、hold = highのときは、画素遅延動作を行わないように制御される。

そして、各画素信号A及びB、補間位置への距離Kから、加算器１５０４（演算は減算）、乗算器１５０５、加算器１５０６で上記線形補間式を実現する。そして、マイコン１００４から指示された書き飛ばし制御信号skipにより、skip = highでは補間演算結果はバッファメモリ１５０７に書き込まないように制御して、補間処理結果をバッファメモリ１５０７に1走査線分保持する。ただし、この書き飛ばし制御は拡大処理では不要であり、skip = lowに固定されている。バッファメモリ１５０７の出力は、所望のリサイズ倍率で拡大処理がなされた映像信号として出力される。

次に、係数発生回路１００３の制御フローについて、図２８及び図３０で詳細に説明する。図２８は、係数発生回路１００３の内部で行われる制御のフローチャートである。

係数発生回路１００３には、マイコン１００４から指示された波形整形フィルタ係数Coefが入力されるとともに、画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力される。

まず、係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoomにより、リサイズ倍率が縮小か拡大かを判定する。

拡大の場合（縮小の場合は第３の実施形態で述べた）、拡大時の高調波抑圧量の算出ルーチンに進む。拡大時の高調波抑圧量の算出ルーチンは、例えば図３０に示すようなフローチャートの制御である。

画像パターン定義Mにより、マイコン１００４が決定した既定のフィルタ係数Coefに対して、通過帯域を操作するフィルタ係数Coef'が規定される。この例では、画像パターン定義Mが平坦であれば、波形整形の必要性が低いと判断できるので、フィルタ係数Coef'は、as is（拡大倍率に応じて設定された高調波抑圧特性）が選択される。

画像パターン定義Mがステップであれば、急峻な波形変動付近に発生しやすい高調派歪みを低減するために、フィルタ係数Coef'はweak（拡大倍率に応じて設定された高調波抑圧特性を少し強くする）が選択される。

画像パターン定義Mが線であれば、線自体の鮮鋭さを維持するために、フィルタ係数Coef'はas is（拡大倍率に応じて設定された高調波抑圧特性）が選択される。

画像パターン定義Mがテクスチャであれば、高周波成分が集中する付近に発生しやすい高調派歪みを低減するために、フィルタ係数Coef'はstrong（拡大倍率に応じて設定された高調波抑圧特性を強くする）が選択される。

画像パターン定義Mがその他であれば、画像による波形整形の効果は出ないと判断できるので、フィルタ係数Coef'はas is（拡大倍率に応じて設定された高調波抑圧特性）が選択される。

係数発生回路１００３は、マイコン１００４から指示された帯域制限フィルタ係数Coefを変更し、画像パターン定義Mとリサイズ倍率Zoomに応じた所望の帯域制限特性の得られる帯域制限フィルタ係数Coef'を出力する。

波形整形フィルタ１００６は、所望のリサイズ倍率で拡大処理がなされた画像パターンに、より好適な波形整形を行い、映像信号を出力する。

（第５の実施形態）
本発明の第５の実施形態についての説明をする。図３１は、本実施形態による縮小処理を行う撮像装置のブロック図の例である。本実施形態が第３の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。

入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。

バッファメモリ１００７は、画像判別回路１００２の出力である画像パターン定義Mを入力し、入力された画像パターン定義Mを順次遅延させて保持するとともに、保持されている画像パターン定義群Mxを出力する。

判定回路１００８は、画像判別回路１００２の出力である画像パターン定義M及びバッファメモリ１００７からの画像パターン定義群Mxを入力する。そして、平均化フィルタ、メディアンフィルタなど、着目画素位置とその周囲の画像パターン判定結果から、空間的に特異な結果が排除、緩和されるような処理を行い、着目画素位置における新しい画像パターン定義M'を出力する。

係数発生回路１００３は、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefに対し、フィルタ係数Coef'を出力する。係数発生回路１００３は、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、判定回路１００８からの画像パターン定義M'に従って係数制御を施したのち、フィルタ係数Coef'を出力する。

バッファメモリ１００７の容量を大きくし、フレーム単位で複数の画像パターン定義Mを一時的に保持できるようにすれば、時間方向の特異点除去も可能となるため、動画像に本実施形態を適用した際にも、画像パターン定義M'が好適に得られる。

（第６の実施形態）
本発明の第６の実施形態についての説明をする。図３２は、本実施形態による拡大処理を行う撮像装置のブロック図の例である。本実施形態が第４の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。

以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第４の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。

係数発生回路１００３は、マイコン１００４から指示された、リサイズ倍率Zoomが大きくなるほど、映像信号の高調波抑圧の特性を強くするようなフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、判定回路１００８からの画像パターン定義M'に従って係数制御を施したのち、フィルタ係数Coef'を出力する。

波形整形フィルタ１００６には、係数発生回路１００３からのフィルタ係数Coef'が入力され、波形整形フィルタ１００６は、フィルタ係数Coef'に基づいて、入力信号に波形整形処理を施したのち、出力端子より出力する。

以上のように、第３〜第６の実施形態では、簡単な構成で、画像中の小区画における被写体の意味や特徴を判別し、かつ、リサイズ処理が縮小か拡大かに応じて、補間処理の前後に配置されたプレ又はポストフィルタ処理を、より好適に制御することが実現できる。

以上のように、バッファメモリ１２０１は、複数の画素からなる小区画画像Ｉを入力画像から切り出して記憶する。周波数解析手段（回路）１２０２は、前記バッファメモリ１２０１内の小区画画像Ｉを周波数解析し、前記小区画画像Ｉの空間周波数分布を出力する。周期性解析手段（回路）１２０３は、前記バッファメモリ１２０１内の小区画画像Ｉを周期性解析し、前記小区画画像Ｉの時間周期性分布を出力する。判別分析手段は、回路１２０４〜１２１０を有し、前記小区画画像Ｉの空間周波数分布及び時間周期性分布を基に、前記小区画画像Ｉの画像パターンの判別結果を出力する。

リサイズ手段（回路）１００５は、前記入力画像をリサイズ倍率で拡大又は縮小する。帯域制限フィルタ１００１は、前記小区画画像Ｉの画像パターンの判別結果及び前記リサイズ倍率に応じて、前記リサイズ手段１００５の入力信号又は出力信号に対して帯域制限処理を行う。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むもの（テクスチャ又はステップ等）と判別されている場合には、より狭い帯域制限を行うために前記フィルタ係数をシフトする。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むもの（線等）と判別されている場合には、より広い帯域制限を行うために前記フィルタ係数をシフトする。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないもの（平坦等）と判別されている場合には、より広い帯域制限を行うために前記フィルタ係数をシフトする。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むもの（テクスチャ又はステップ等）と判別されている場合には、波形歪みによる高調波を抑圧するようにフィルタ係数を変更する。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、拡大率が大きくなるに従って、波形歪みによる高調波の抑圧度を高めるようにフィルタ係数を変更する。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が２つの異なる方向に対して独立に設定されており、フィルタ係数を各方向に対して独立に制御する。

（第７の実施形態）
本発明の第７の実施形態についての説明をする。図３３は、本実施形態による縮小処理を行う撮像装置のブロック図の例である。

入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。

係数発生回路１００３は、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、画像判別回路１００２からの画像パターン定義Mに従って係数制御とフィルタ機能選択信号Selectを生成する。その後、フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。

帯域制限フィルタ１００１には、係数発生回路１００３からのフィルタ係数Coef'とフィルタ機能選択信号Selectが入力される。帯域制限フィルタ１００１は、フィルタ係数Coef' とフィルタ機能選択信号Selectに基づいて、入力信号に帯域制限を施して出力する。

次に、画像判別回路１００２について詳細に述べる。画像判別回路１００２は、例えば図１６のような回路で構成されている。その説明は、上記と同様である。

次に、帯域制限フィルタ１００１の周波数特性の決定方法については、上記の図２５、図２６の説明と同様である。

次に、係数発生回路１００３の制御フローについて、図３６及び図３７で詳細に説明する。図３６は、係数発生回路１００３の内部で行われる制御のフローチャートである。

係数発生回路１００３には、マイコン１００４から指示された帯域制限フィルタ係数Coefが入力されるとともに、画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力される。

縮小の場合（拡大の場合は第８の実施形態で述べる）、縮小時のフィルタ機能選択信号の算出ルーチンに進む。

縮小時のフィルタ機能選択信号の算出ルーチンは、例えば図３７に示すようなフローチャートの制御である。画像パターン定義Mにより、使用するフィルタを選択するフィルタ機能選択信号Selectが規定される。この例では、画像パターン定義Mが平坦であれば、帯域制限よりもノイズを抑圧する必要性が高いと判断できるので、帯域制限フィルタはノイズをより抑圧できるεフィルタが選択されるように、フィルタ機能選択信号Selectはefilterが選択される。このとき、マイコン１００４から指示された帯域制限フィルタ係数Coefに変更を加えず、そのままCoef'とする。

画像パターン定義Mがステップであれば、ステップ自体の鮮鋭さを維持するため、エッジを残すことができるメディアンフィルタが選択されるように、フィルタ機能選択信号Selectはmedianが選択される。

画像パターン定義Mが線であれば、線自体の鮮鋭さを維持するため、エッジを残すことができるメディアンフィルタが選択されるように、フィルタ機能選択信号Selectはmedianが選択される。

画像パターン定義Mがテクスチャであれば、高周波成分が集中する付近に発生しやすい折り返しを低減するため、既定よりも狭帯域となるLPF（ローパスフィルタ）が選択されるように、フィルタ機能選択信号Selectはlpf_nが選択される。

画像パターン定義Mがその他であれば、画像によるフィルタ機能操作の効果は出ないと判断できるので、フィルタ機能選択信号Selectはlpf_sが選択され、フィルタ機能選択信号の算出ルーチンを抜ける。

決定されたフィルタ機能選択信号Selectがlpf_nであったならば、係数発生回路１００３は、マイコン１００４から指示された帯域制限フィルタ係数Coefを変更する。そして、画像パターン定義Mとリサイズ倍率Zoomに応じた所望の帯域制限特性の得られる帯域制限フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。

一方、決定されたフィルタ機能選択信号Selectがlpf_n以外であれば、マイコン１００４から指示された帯域制限フィルタ係数Coefに変更を加えず、そのままCoef'とし、フィルタ機能選択信号Selectとともに出力する。

次に、帯域制限フィルタ１００１について詳細に述べる。帯域制限フィルタ１００１は、例えば図３５のような回路で構成されている。

入力端子からの映像信号は、それぞれＬＰＦ２１０１、εフィルタ２１０２、メディアンフィルタ２１０３に入力される。ここで、ＬＰＦ２１０１は、外部から入力されるフィルタ係数Coef'を用いてローパスフィルタ処理を行う。また、εフィルタ２１０２は、外部から入力されるフィルタ係数Coef'を用いてεフィルタ処理を行う。また、メディアンフィルタ２１０３は、メディアンフィルタ処理を行う。ＬＰＦ２１０１、εフィルタ２１０２、メディアンフィルタ２１０３からの出力はセレクタ２１０４に入力される。

セレクタ２１０４は外部から入力されるSelectが、lpf_n、lpf_sであったならば、ＬＰＦ２１０１からの入力を出力端子に出力する。Selectがefilterであったならば、εフィルタ２１０２からの入力を出力端子に出力する。Selectがmedianであったならば、メディアンフィルタ２１０３からの入力を出力端子に出力する。

次に、リサイズ回路１００５について述べる。リサイズ回路１００５は、上記の第３の実施形態と同様である。

（第８の実施形態）
本発明の第８の実施形態についての説明をする。図３４は、本実施形態による拡大処理を行う撮像装置のブロック図の例である。本実施形態が第７の実施形態と異なるのは、リサイズ回路１００５の前段にあった帯域制限フィルタ１００１がなく、代わりに後段に波形整形フィルタ１００６が挿入されたことである。

リサイズで拡大処理を施すと、図２７（Ｂ）のようにサンプリング周波数がfs'、ナイキスト周波数fn'になるが、このときに、ベースバンド信号と折り返し信号は、原サンプリング以上の周波数を持たないために、重なることはない。

従って、拡大処理では、帯域制限は原理的には不要であるが、補間処理による波形歪みにより、高調波が発生する場合がある。

以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第７の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。

入力端子から入力された映像信号は、リサイズ回路１００５に入力されるとともに、画像判別回路１００２に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号holdに従い、映像信号に対して補間処理を施し、リサンプリングしたのち出力する。

係数発生回路１００３は、マイコン１００４から指示された、リサイズ倍率Zoomが大きくなるほど、映像信号の高調波抑圧の特性を強くするようなフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、画像判別回路１００２からの画像パターン定義Mに従って係数制御とフィルタ機能選択信号Selectを生成する。その後、フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。

波形整形フィルタ１００６には、係数発生回路１００３からのフィルタ係数Coef' とフィルタ機能選択信号Selectが入力される。波形整形フィルタ１００６は、フィルタ係数Coef' とフィルタ機能選択信号Selectに基づいて、入力信号に波形整形処理を施したのち、出力端子より出力する。

次に、リサイズ回路１００５について詳細に述べる。リサイズ回路１００５の説明は、上記の第４の実施形態と同様である。

次に、係数発生回路１００３の制御フローについて、図３６及び図３８で詳細に説明する。図３６は、係数発生回路１００３の内部で行われる制御のフローチャートである。

拡大の場合（縮小の場合は第７の実施形態で述べた）、拡大時の高調波抑圧量及び機能選択信号の算出ルーチンに進む。拡大時の高調波抑圧量及び機能選択信号の算出ルーチンは、例えば図３８に示すようなフローチャートの制御である。

画像パターン定義Mにより、マイコン１００４が決定した既定のフィルタ係数Coefに対して、通過帯域を操作するフィルタ係数Coef'が規定される。この例では、画像パターン定義Mが平坦であれば、波形整形の必要性は低く、ノイズを抑圧する必要性の方が高いと判断できる。したがって、フィルタ係数Coef'は、as is（拡大倍率に応じて設定された高調波抑圧特性）が選択され、フィルタ機能選択信号Selectは、ノイズをより抑圧できるεフィルタが選択されるようにefilterが選択される。

画像パターン定義Mがテクスチャであれば、鮮鋭感を確保するため、フィルタ係数Coef'はstrong（ナイキスト周波数fn付近を抽出するBPFとなる）が選択される。フィルタ機能選択信号Selectは、輪郭補償フィルタが選択されるように、sharpnesが選択される。

画像パターン定義Mがその他であれば、画像による波形整形の効果は出ないと判断できるので、フィルタ係数Coef'はas is（拡大倍率に応じて設定された高調波抑圧特性）が選択され、フィルタ機能選択信号Selectは、othersが選択される。

係数発生回路１００３は、マイコンから指示された帯域制限フィルタ係数Coefを変更し、画像パターン定義Mとリサイズ倍率Zoomに応じた所望の帯域制限特性の得られる帯域制限フィルタ係数Coef'及びフィルタ機能選択信号Selectを出力する。

次に、波形整形フィルタ１００６について詳細に述べる。波形整形フィルタ１００６は、例えば図４１のような回路で構成されている。入力端子からの映像信号は、それぞれ係数フィルタ２７０１、εフィルタ２７０３、メディアンフィルタ２７０４に入力される。

ここで、係数フィルタ２７０１は、外部から入力されるフィルタ係数Coef'を用いて高調波抑圧又はBPF処理を行う。ここで、係数フィルタ２７０１がBPF処理を行う時、映像信号と係数フィルタ２７０１との出力を、加算器２７０２で加算することで輪郭補償フィルタ処理となる。また、εフィルタ２７０３は、外部から入力されるフィルタ係数Coef'を用いてεフィルタ処理を行う。また、メディアンフィルタ２７０４は、メディアンフィルタ処理を行う。

係数フィルタ２７０１、加算器２７０２、εフィルタ２７０３、メディアンフィルタ２７０４からの出力はセレクタ２７０５に入力される。

セレクタ２７０５は外部から入力されるSelectが、othersであったならば、係数フィルタ２７０１の出力を出力端子に出力する。Selectがsharpnesであったならば、加算器２７０２の出力を出力端子に出力する。Selectがefilterであったならば、εフィルタ２７０３の出力を出力端子に出力する。Selectがmedianであったならば、メディアンフィルタ２７０４の出力を出力端子に出力する。

（第９の実施形態）
本発明の第９の実施形態についての説明をする。図３９は、本実施形態による縮小処理を行う撮像装置のブロック図の例である。本実施形態が第７の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。

以下は、構成、制御の相違点のみ詳細に記述し、第７の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。

係数発生回路１００３は、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、判定回路１００８からの画像パターン定義M'に従って係数制御とフィルタ機能選択信号Selectを生成する。その後、フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。

帯域制限フィルタ１００１には、係数発生回路１００３からのフィルタ係数Coef'とフィルタ機能選択信号Selectが入力される。帯域制限フィルタ１００１は、フィルタ係数Coef'とフィルタ機能選択信号Selectに基づいて、入力信号に帯域制限を施して出力する。

（第１０の実施形態）
本発明の第１０の実施形態についての説明をする。図４０は、本実施形態による拡大処理を行う撮像装置のブロック図の例である。本実施形態が第８の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。

以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第８の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。

係数発生回路１００３は、マイコン１００４から指示された、リサイズ倍率Zoomが大きくなるほど、映像信号の高調波抑圧の特性を強くするようなフィルタ係数Coefを入力する。そして、マイコン１００４から指示されたリサイズ倍率設定値Zoomと、判定回路１００８からの画像パターン定義M'に従って係数制御とフィルタ機能選択信号Selectを生成する。その後、フィルタ係数Coef'とフィルタ機能選択信号Selectを出力する。

波形整形フィルタ１００６には、係数発生回路１００３からのフィルタ係数Coef'とフィルタ機能選択信号Selectが入力される。波形整形フィルタ１００６は、フィルタ係数Coef'とフィルタ機能選択信号Selectに基づいて、入力信号に波形整形処理を施したのち、出力端子より出力する。

以上のように、第７〜第１０の実施形態では、簡単な構成で、画像中の小区画における被写体の意味や特徴を判別し、かつ、リサイズ処理が縮小か拡大かに応じて、補間処理の前後に配置されたプレ又はポストフィルタ処理を、より好適に制御することができる。

リサイズ手段１００５は、前記入力画像をリサイズ倍率で拡大又は縮小する。帯域制限フィルタ１００１は、前記小区画画像Ｉの画像パターンの判別結果及び前記リサイズ倍率に応じて、前記リサイズ手段１００５の入力信号又は出力信号に対して帯域制限処理を行う。

前記帯域制限フィルタ１００１は、機能が異なる複数のフィルタ手段を有し、前記小区画画像Ｉの画像パターンの判別結果に応じて前記複数のフィルタ手段から１つを選択する。

前記複数のフィルタ手段は、ローパスフィルタ２１０１、εフィルタ２１０２及びメディアンフィルタ２１０３を有する。

また、前記複数のフィルタ手段は、ローパスフィルタ、輪郭補償フィルタ、εフィルタ及びメディアンフィルタを有する。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むもの（線又はステップ等）と判別されている場合には、メディアンフィルタを選択する。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定する。そして、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないもの（平坦等）と判別されている場合には、εフィルタを選択する。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むもの（テクスチャ等）と判別されている場合には、ナイキスト周波数周辺を抽出するようにフィルタ係数を設定する。そして、輪郭補償フィルタを選択する。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むもの（線又はステップ等）と判別されている場合には、メディアンフィルタを選択する。

前記帯域制限フィルタ１００１は、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないもの（平坦等）と判別されている場合には、εフィルタを選択する。

（第１１の実施形態）
本発明の第１１の実施形態についての説明をする。図４２は、本実施形態によるリサイズ処理を行う撮像装置のブロック図の例である。入力端子から入力された映像信号は、帯域制限フィルタ１００１に入力されるとともに、画像判別回路１００２に入力される。画像判別回路１００２は、マイコン１００４から指示された、判別分析に必要な画像パターンの制御情報群Cをもとに判別分析を行い、着目画素を中心とした小区画画像における画像パターン定義Mとして画素単位に出力する。

帯域制限フィルタ１００１には、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefが入力される。帯域制限フィルタ１００１は、フィルタ係数Coefに基づいて、入力信号に帯域制限を施して出力する。帯域制限フィルタ１００１の出力はリサイズ回路１００５に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号hold及び、画像判別回路１００２の出力信号Mに従い、映像信号に対して補間処理を施す。そして、リサンプリングしたのち、出力端子より出力する。

次に、画像判別回路１００２について詳細に述べる。画像判別回路１００２は、例えば図１６のような回路で構成されており、上記の第３の実施形態の説明と同様である。

マイコン１００４は、リサイズの縮小率が与えられると、図２６（Ａ）のリサイズ前のサンプリング周波数の信号（図２５（Ａ）と同一）を入力する。そして、図２６（Ｂ）の太線に示すような、リサイズ後のナイキスト周波数fn'で十分に信号帯域が抑圧される帯域制限特性のフィルタ係数を算出する。

帯域制限フィルタ１００１の処理の結果、映像信号は、図２６（Ｃ）のように、サンプリング周波数fsで、帯域がfn'程度の周波数成分に制限されたものになる。

従って、帯域制限フィルタ１００１の周波数特性は、図１８のような連続的な帯域変化を示す周波数特性を有しており、リサイズの倍率に対して可変制御され、縮小倍率が高くなるほど狭帯域な特性を取る。

次に、帯域制限フィルタ１００１について詳細に述べる。帯域制限フィルタ１００１は、例えば図１７のような回路で構成されている。ただし、本実施形態では、フィルタ係数Coef'の代わりにフィルタ係数Coefを入力するので、図１７のフィルタ係数Coef'、Coef'0、Coef'1、Coef'2はフィルタ係数Coef、Coef0、Coef1、Coef2に置き換えられる。この例では、フィルタのタップ数は５タップである。

マイコン１００４から入力されたフィルタ係数Coefは、各々のフィルタタップに対して1つのフィルタ係数Coef0、Coef1、Coef2で構成されている。フィルタタップの中央の画素値にあたる遅延素子１１０２の出力は、乗算器１１０９でCoef0と乗算されて出力される。フィルタタップの中央から1番目の画素値にあたる加算器１１０６の出力は、乗算器１１０８でCoef1と乗算されて出力される。フィルタタップの中央から２番目の画素値にあたる加算器１１０５の出力は、乗算器１１０７でCoef2と乗算されて出力される。乗算器１１０７，１１０８，１１０９の出力は、加算器１１１０で加算され、フィルタ係数のゲイン分をビットシフトされ、出力端子に出力される。

次に、リサイズ回路１００５について詳細に述べる。リサイズ回路１００５は例えば図４４のような回路で構成されている。この例では、フィルタのタップ数は４タップの補間フィルタである。

入力端子からの映像信号は、バッファメモリ３３０１に１走査線分保持し、マイコン１００４から指示された繰り返し読み出しの制御信号holdにより、前回に読み出した画素をもう一度読み出すように制御される。

バッファメモリ３３０１で保持されたデータは、マイコン１００４から指示された繰り返し読みの制御信号holdにより、遅延素子３３０２〜３３０５で１画素分の遅延を順次施される。

データ操作回路３３０６では、遅延素子３３０２〜３３０５及び、マイコン１００４から指示された補間位置への距離K、画像判別回路１００２の出力信号Mに従い、補間処理演算で使用する画素データdata0〜data3の出力を行う。

係数発生回路３３０７は、マイコン１００４から指示された補間位置への距離Kから、補間演算で使用する補間係数coef0,coef1,coef2,coef3を算出し、出力する。

データ操作回路３３０６から出力された画素データdata0,data1,data2,data3と、係数発生回路３３０７から出力された補間係数coef0,coef1,coef2,coef3を、乗算器３３０８〜３３１１を使用して乗算を行う。

乗算器３３０８〜３３１１の出力は、加算器３３１２で加算され、フィルタ係数のゲイン分をビットシフトされ、バッファメモリ３１３において、マイコン１００４から指示された書き込みの制御信号skipによって制御されながら書き込みを行い、出力される。

次に、このリサイズ回路１００５において、縮小処理時の動作について詳細に述べる。図４５は、リサイズ回路１００５の補間処理とリサンプリングにより、リサイズ前のサンプリング周波数のデータ列（A/B/C/D）が、リサイズ後のサンプリング周波数のデータ列Iになる様子の模式図である。ここでは、補間処理は図４３に示すような、補間画素近傍４点の画素と、補間位置への距離Kを使用する補間処理とする。

図４５の上から下への矢印が、補間画素近傍４点の画素から、補間画素位置に補間画素を生成することを示しており、補間画素近傍の画素A及びB,C,Dと、図４３の補間位置への距離Kから、補間画素は次式で求められる。
I = f(A,B,C,D,K)

これは、補間位置への距離Kから求めた補間画素近傍の画素A及びB,C,Dを合成するための補間係数と、補間画素近傍の画素A及びB,C,Dの積の和から補間画素値を求める事を意味している。

補間係数は、係数発生回路３３０７において、補間位置への距離Kを入力信号として生成し、出力信号coef0,coef1,coef2,coef3として出力する。補間係数の生成方法の概念図を図５５に示す。補間係数は、例えば図５５の特性を持つ、参照画素区間の時間関数として表現できる。参照画素と補間画素との距離Kは、時間関数の位相差であることから、前記時間関数に距離Kのオフセットをつけて、画素区間単位で関数値を取得すれば、それが各参照画素位置での補間係数となる。

入力端子からの映像信号は、バッファメモリ３３０１に1走査線分保持され、読み出し時に、マイコン１００４から指示された繰り返し読み出しの制御信号holdにより、hold = highのときに、前回読み出した画素をもう一度読み出す。

また、遅延素子３３０２、３３０３、３３０４、３３０５は、制御信号holdにより、hold = lowのときに、１画素分の遅延を順次施す。ただし、この繰り返し読み出し制御は縮小処理では不要であり、hold = lowに固定されている。

そして、データ操作回路３３０６には、各画素信号A及びB,C,D、補間位置への距離K,画像判別回路１００２の出力である、着目画素における画像パターン定義Mが入力され、補間処理で演算に使用する画素値の出力を行う。

乗算器３３０８，３３０９，３３１０，３３１１は、データ操作回路３３０６の出力信号data0,data1,data2,data3及び係数発生回路３３０７の出力信号coef0,coef1,coef2,coef3をそれぞれ乗算する。それらの出力は、加算器３３１２によって加算され、フィルタゲイン分をビットシフトしてバッファメモリ３３１３に1走査線分保持される。

バッファメモリ３３１３に書き込む際の制御を示したのが、図４６である。縮小の補間処理では、リサイズ前のサンプリング周波数よりも小さい周波数にリサンプリングされる。このため、リサイズ前のサンプリング周波数で補間処理された出力には、リサンプリング後には不要となる画素（図４６の網掛けの演算結果）が含まれていることになる。

そこで、補間画素近傍の画素データ列A_i-1及びB_i、C_i+1、D_i+2と、補間画素位置までの距離K_iにより、補間画素データ列I_iが次式で表される時に、以下の制御を行う。すなわち、マイコン１００４から指示された書き飛ばし制御信号skipにより、skip = highでは補間演算結果はバッファメモリ３３１３に書き込まないように制御する。
I_i = f(A_i-1, B_i, C_i+1, D_i+2, K_i) （A_i=B_i=C_i=D_i）

バッファメモリ３３１３の出力は、図２６（Ｄ）のように、サンプリング周波数fs'で、帯域がfn'程度の周波数成分に制限されたものであると同時に、画像パターン定義により、画像の内容に好適な帯域に適宜調整された映像信号として出力される。

次に、このリサイズ回路１００５において、拡大処理時の動作について詳細に述べる。図２７（Ａ）は、リサイズ処理前の画像のサンプリング周波数をfs、ナイキスト周波数をfnとした周波数領域での様子を示している。ここで、実線の周波数帯はベースバンド信号であり、破線の周波数帯は折り返しの信号である。

図４７は、リサイズ回路１００５の補間処理とリサンプリングにより、リサイズ前のサンプリング周波数のデータ列(A/B/C/D)が、リサイズ後のサンプリング周波数のデータ列Iになる様子の模式図である。ここでは、補間処理は図４３に示すような、補間画素近傍4点の画素と、補間位置への距離Kを使用する補間処理とする。

図４７の上から下への矢印が、補間画素近傍4点の画素から、補間画素位置に補間画素を生成することを示しており、補間画素近傍の画素A及びB,C,Dと、図４３の補間位置への距離Kから、補間画素は次式で求められる。
I = f(A,B,C,D,K)

補間係数は、係数発生回路３３０７において、補間位置への距離Kを入力信号として生成し、出力信号coef0,coef1,coef2,coef3として出力される。補間係数の生成方法の概念図を図５５に示す。補間係数は、例えば図５５の特性を持つ、参照画素区間の時間関数として表現できる。参照画素と補間画素との距離Kは、時間関数の位相差であることから、前記時間関数に距離Kのオフセットをつけて、画素区間単位で関数値を取得すれば、それが各参照画素位置での補間係数となる。

入力端子からの映像信号は、バッファメモリ３３０１に1走査線分保持され、読み出される。バッファメモリ３３０１から読み出す際の制御を示したのが、図４８である。拡大の補間処理では、リサイズ前のサンプリング周波数よりも大きい周波数にリサンプリングされる。このため、倍率によっては、リサイズ前のサンプリング周波数における同一組の画素間に対し、補間処理された出力には、複数のリサンプリング後の画素が含まれる場合がある（図４８の網掛けの演算結果）ことになる。

そこで、補間画素近傍の画素データ列A_i-1及びB_i、C_i+1、D_i+2と、補間画素位置までの距離K_iにより、補間画素データ列I_iが次式で表される時に、以下の制御を行う。すなわち、マイコン１００４から指示された繰り返し読み制御信号holdにより、hold=highではバッファメモリ３３０１の読み出し画素を進めずに、前回読み出した画素をもう一度読み出すように制御する。
I_i = f(A_i-1, B_i, C_i+1, D_i+2, K_i) （A_i=B_i=C_i=D_i）

また、遅延素子３３０２，３３０３，３３０４，３３０５は、制御信号holdにより、hold=lowのときに、1画素分の遅延を順次施すとともに、hold=highのときは、画素遅延動作を行わないように制御される。

そして、マイコン１００４から指示された書き飛ばし制御信号skipにより、skip=highでは補間演算結果はバッファメモリ３３１３に書き込まないように制御して、補間処理結果をバッファメモリ３３１３に1走査線分保持する。ただし、この書き飛ばし処理は拡大処理では不要であり、skip=lowに固定されている。バッファメモリ３３１３の出力は、所望のリサイズ倍率で拡大処理がなされた映像信号として出力される。

次に、データ操作回路３３０６の処理のフローチャートが図４９に示す。ステップＳ３４９１では、画像パターン定義Mが線か否かをチェックする。画像パターン定義Mが線であれば、補間点の前後の値が同じ値であるため、その値をそのまま使用して補間を行う。したがって、ステップＳ３４９２において、前置ホールド又は後置ホールドの判定をホールド判定処理によって行い、ステップＳ３４９３において、data0,data1,data2,data3はホールド判定処理の結果のデータを出力信号として出力する。

ステップＳ３４９２のホールド判定処理のフローチャートを図５０に示す。ステップＳ３５０１では、補間位置への距離Kが0.5よりも小さいか否かをチェックする。補間位置への距離Kが0.5よりも小さい場合は、ステップＳ３５０２で前置ホールドを行い、補間位置への距離Kが0.5以上の場合は、ステップＳ３５０３で後置ホールドを行うように制御する。

前置ホールドを行った場合の制御を示したのが、図５３である。前置ホールドを行った場合、全ての画素の出力をBの位置の値として出力を行う（網掛けの部分）。

また、後置ホールドを行った場合の制御を示したのが、図５４である。後置ホールドを行った場合、全ての画素の出力をCの位置の値として出力を行う（網掛けの部分）。

図４９のステップＳ３４９４では、画像パターン定義Mがステップである否かをチェックする。画像パターン定義Mがステップであれば、補間点は補間点の前後の画素のどちらかに値が近いため、線形合成による補間演算を行うよりも、補間点の前後の値で置き換えた方がエッジの先鋭度を保つ事が出来る。したがって、ステップＳ３４９２で前置ホールド又は後置ホールドの判定をホールド判定処理によって行い、ステップＳ３４９３でdata0,data1,data2,data3はホールド判定処理の結果のデータを出力信号として出力する。

ステップＳ３４９５では、画像パターン定義Mが平坦であるか否かをチェックする。画像パターン定義Mが平坦であれば、周囲の画素も同じ値で高周波成分が少ないので、補間演算に使用する画素は少なくすることができる。したがって、少タップでの補間処理を行うようにするため、ステップＳ３４９６において、data0,data3の出力信号を0とし、data1の出力信号をB,data2の出力信号をCとして出力する。

画像パターン定義Mが上記のものに当てはまらなかった場合は、データ操作回路における特殊制御を行わない。そのため、ステップＳ３４９７において、data0の出力信号としてA、data1の出力信号としてB、data2の出力信号としてC、data3の出力信号としてDを出力する。

また、補間点と現画素との距離を考慮に入れた場合のフローチャートを、図５１に示す。現画素との距離を考慮に入れることによって、補間画素との相関性をより考慮にいれた補間処理が可能となる。

ステップＳ３４９１では、画像パターン定義Mが線であるか否かをチェックする。画像パターン定義Mが線であれば、補間点の前後の値が同じ値であるため、その値をそのまま使用して補間を行う。したがって、ステップＳ３４９２で前置ホールド又は後置ホールドの判定をホールド判定処理によって行い、ステップＳ３４９３でdata0,data1,data2,data3はホールド判定処理の結果のデータを出力信号として出力する。ステップＳ３４９２のホールド判定処理は、上記の図５０、図５３及び図５４の説明と同じである。

画像パターン定義Mが線でない場合は、ステップＳ３５１１で補間位置への距離Kによって距離判定処理を行う。距離判定処理のフローチャートを図５２に示す。

距離判定処理では、ステップＳ３５２１及びＳ３５２２で補間位置への距離Kが次の式を満たしている場合に、ステップＳ３５２３で遠いと判定し、この式を満たしていない場合は、ステップＳ３５２４で近いと判定する。なお、この式のｎは予め実験等により求められ、設定された値である。
K>n かつ K<1-n

図５１のステップＳ３５１２では、距離判定処理で近いと判定されたか否かをチェックする。近いと判定された場合にはステップＳ３４９４に進み、遠いと判定された場合にはステップＳ３４９７に進む。ステップＳ３４９４では、画像パターン定義Mがステップであるか否かをチェックする。ステップでなければ、ステップＳ３４９５で画像パターン定義Mが平坦であるか否かをチェックする。

距離判定処理で近いと判定され、かつ、画像パターン定義Mがステップであれば、補間点は補間点の前後の画素のどちらかに値が近いため、線形合成による補間演算を行うよりも、補間点の前後の値で置き換えた方がエッジの先鋭度を保つ事が出来る。したがって、ステップＳ３４９２で前置ホールド又は後置ホールドの判定をホールド判定処理によって行い、ステップＳ３４９３でdata0,data1,data2,data3はホールド判定処理の結果のデータを出力信号として出力する。

距離判定処理で近いと判定され、かつ、画像パターン定義Mが平坦であれば、周囲の画素も同じ値で高周波成分が少ないので、補間演算に使用する画素は少なくすることができる。したがって、少タップでの補間処理を行うようにするため、ステップＳ３４９６でdata0,data3の出力信号を0とし、data1の出力信号をB,data2の出力信号をCとして出力する。

距離判定処理で近いと判定されなかった場合、及び、距離判定処理で近いと判定されたが画像パターン定義Mが上記のものに当てはまらなかった場合は、データ操作回路３３０６における特殊制御を行わない。そのため、ステップＳ３４９７でdata0の出力信号としてA、data1の出力信号としてB、data2の出力信号としてC、data3の出力信号としてDを出力する。

（第１２の実施形態）
本発明の第１２の実施形態についての説明をする。図５６は、本実施形態によるリサイズ処理を行う撮像装置のブロック図の例である。本実施形態が第１１の実施形態と異なるのは、画像判別回路１００２の出力に対して、バッファメモリ１００７、判定回路１００８が接続されたことである。

以下は、構成、制御の相違点のみ詳細に記述し、本実施形態が第１１の実施形態と構成、制御を同じくする部分については、詳細の記述を省略する。

帯域制限フィルタ１００１には、マイコン１００４から指示された、リサンプリング後の周波数帯域に映像信号を帯域制限するためのフィルタ係数Coefが入力される。帯域制限フィルタ１００１は、フィルタ係数Coefに基づいて、入力信号に帯域制限を施して出力する。

帯域制限フィルタ１００１の出力はリサイズ回路１００５に入力される。リサイズ回路１００５は、マイコン１００４から指示された補間係数K、画素飛ばし制御信号skip、画素ホールド制御信号hold及び、判定回路１００８の出力信号M'に従い、映像信号に対して補間処理を施し、リサンプリングする。その後、出力端子より出力する。

以上のように、第１１及び第１２の実施形態では、簡単な構成で、画像中の小区画における被写体の意味や特徴を判別することで、補間フィルタの参照画素構成を、より好適に制御することが実現できる。

リサイズ手段（回路）１００５は、前記入力画像を拡大又は縮小する。また、前記リサイズ手段１００５は、前記小区画画像Ｉの画像パターンの判別結果に応じて、異なる参照画素を基に補間を行う。

前記リサイズ手段１００５は、前記小区画画像Ｉの画像パターンの判別結果が輪郭成分を多く含むもの（線等）と判別されている場合には、前置ホールド又は後置ホールドによって補間点を生成する。

前記リサイズ手段１００５は、前記小区画画像Ｉの画像パターンの判別結果が高周波成分を多く含むもの（ステップ等）と判別されている場合には、前置ホールド又は後置ホールドによって補間点を生成する。その際、前記リサイズ手段１００５は、補間点の前後の画素と補間点との距離が近い場合に、補間点を前置ホールド又は後置ホールドによって生成する。

前記リサイズ手段１００５は、前記小区画画像Ｉの画像パターンの判別結果が高周波成分をほとんど含まないもの（平坦等）と判別されている場合には、前記参照画素を少なくする。その際、前記リサイズ手段１００５は、補間点の前後の画素と補間点との距離が近い場合に、前記参照画素を少なくする。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態を示す図である。バッファメモリの例を示す図である。周波数解析回路の例を示す図である。周波数解析回路の別の例を示す図である。周期性解析回路の例を示す図である。判別回路の例を示す図である。周期性解析回路の別の例を示す図である。画像パターンの例を示す図である。小区画画像の例を示す図である。本発明の第２の実施形態を示す図である。画像パターンの判別領域の例を示す図である。空間周波数分布の例を示す図である。時間周期性分布の例を示す図である。本発明の第３の実施形態を示す図である。本発明の第４の実施形態を示す図である。画像判別回路の例を示す図である。帯域制限フィルタ、波形整形フィルタの例を示す図である。帯域制限フィルタ特性の例を示す図である。リサイズ回路の例を示す図である。線形補間処理の例を示す図である。縮小処理の様子の例を示す図である。縮小処理の書き飛ばし制御の例を示す図である。拡大処理の様子の例を示す図である。拡大処理の繰り返し読み制御の例を示す図である。縮小処理の周波数領域の様子の例を示す図である。縮小処理の周波数領域の変換処理の様子の例を示す図である。拡大処理の周波数領域の様子の例を示す図である。帯域制限フィルタ、波形整形フィルタの制御の例を示す図である。帯域制限フィルタの帯域シフト制御の例を示す図である。波形整形フィルタの高調波抑圧シフト制御の例を示す図である。本発明の第５の実施形態を示す図である。本発明の第６の実施形態を示す図である。本発明の第７の実施形態を示す図である。本発明の第８の実施形態を示す図である。帯域制限フィルタの例を示す図である。帯域制限フィルタ、波形整形フィルタの制御の例を示す図である。帯域制限フィルタの帯域シフト制御の例を示す図である。波形整形フィルタの高調波抑圧シフト制御の例を示す図である。本発明の第９の実施形態を示す図である。本発明の第１０の実施形態を示す図である。波形整形フィルタの例を示す図である。本発明の第１１の実施形態を示す図である。補間処理の例を示す図である。リサイズ回路の例を示す図である。縮小処理の様子の例を示す図である。縮小処理の書き飛ばし制御の例を示す図である。拡大処理の様子の例を示す図である。拡大処理の繰り返し読み制御の例を示す図である。データ操作回路の例を示す図である。データ操作回路の例を示す図である。データ操作回路の例を示す図である。データ操作回路の例を示す図である。前置ホールドの例を示す図である。後置ホールドの例を示す図である。係数発生回路の例を示す図である。本発明の第１２の実施形態を示す図である。

符号の説明

１バッファメモリ（小区画画像保持）
２周波数解析回路
３周期性解析回路
４判別回路
５マイコン
６判定回路
７バッファメモリ（判別結果保持）
１００１帯域制限フィルタ
１００２画像判別回路
１００３係数発生回路
１００４マイコン
１００５リサイズ回路
１００６波形整形フィルタ
１００７バッファメモリ
１００８判定回路

Claims

複数の画素からなる小区画画像を入力画像から切り出して記憶するバッファメモリと、
前記バッファメモリ内の小区画画像を周波数解析し、前記小区画画像の空間周波数分布を出力する周波数解析手段と、
前記バッファメモリ内の小区画画像を周期性解析し、前記小区画画像の時間周期性分布を出力する周期性解析手段と、
前記小区画画像の空間周波数分布及び時間周期性分布を基に、前記小区画画像の画像パターンの判別結果を出力する判別分析手段と
を有することを特徴とする画像処理装置。
前記バッファメモリは、着目画素を移動しながら前記着目画素を中心とした複数の画素からなる小区画画像を切り出して記憶し、
さらに、前記判別分析手段が出力する空間的に近傍の複数の小区画画像の画像パターンの判別結果を基に、前記判別分析手段が出力する小区画画像の画像パターンの判別結果を補正する判定手段を有することを特徴とする請求項１記載の画像処理装置。
前記バッファメモリは、着目画素を移動しながら前記着目画素を中心とした複数の画素からなる小区画画像を切り出して記憶し、
さらに、前記判別分析手段が出力する時間的に近傍の複数の小区画画像の画像パターンの判別結果を基に、前記判別分析手段が出力する小区画画像の画像パターンの判別結果を補正する判定手段を有することを特徴とする請求項１記載の画像処理装置。
前記周波数解析手段は、バンドパスフィルタ処理、直交変換処理、短時間フーリエ変換又は連続ウェーブレット変換により前記小区画画像の空間周波数分布を出力することを特徴とする請求項1〜３のいずれか１項に記載の画像処理装置。
前記周期性解析手段は、前記小区画画像を少なくとも２つの異なる方向で時間波形解析し、前記波形の傾きの符号が切り替わる回数を基に前記小区画画像の時間周期性分布を出力することを特徴とする請求項1〜４のいずれか１項に記載の画像処理装置。
前記周期性解析手段は、閾値を超えたレベル変動を伴う前記波形の傾きの符号が切り替わる回数を基に前記小区画画像の時間周期性分布を出力することを特徴とする請求項５記載の画像処理装置。
前記判定手段は、メディアンフィルタを用いて前記判別分析手段が出力する小区画画像の画像パターンの判別結果を補正することを特徴とする請求項２又は３記載の画像処理装置。
前記判定手段は、平均化フィルタを用いて前記判別分析手段が出力する小区画画像の画像パターンの判別結果を補正することを特徴とする請求項２又は３記載の画像処理装置。
さらに、前記入力画像をリサイズ倍率で拡大又は縮小するリサイズ手段と、
前記小区画画像の画像パターンの判別結果及び前記リサイズ倍率に応じて、前記リサイズ手段の入力信号又は出力信号に対して帯域制限処理を行う帯域制限フィルタとを有することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定し、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むものと判別されている場合には、より狭い帯域制限を行うために前記フィルタ係数をシフトすることを特徴とする請求項９記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定し、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むものと判別されている場合には、より広い帯域制限を行うために前記フィルタ係数をシフトすることを特徴とする請求項９記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定し、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないものと判別されている場合には、より広い帯域制限を行うために前記フィルタ係数をシフトすることを特徴とする請求項９記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むものと判別されている場合には、波形歪みによる高調波を抑圧するようにフィルタ係数を変更することを特徴とする請求項９記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が拡大の場合、拡大率が大きくなるに従って、波形歪みによる高調波の抑圧度を高めるようにフィルタ係数を変更することを特徴とする請求項９記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が２つの異なる方向に対して独立に設定されており、フィルタ係数を各方向に対して独立に制御することを特徴とする請求項９記載の画像処理装置。
前記帯域制限フィルタは、機能が異なる複数のフィルタ手段を有し、前記小区画画像の画像パターンの判別結果に応じて前記複数のフィルタ手段から１つを選択することを特徴とする請求項９記載の画像処理装置。
前記複数のフィルタ手段は、ローパスフィルタ、εフィルタ及びメディアンフィルタを有することを特徴とする請求項１６記載の画像処理装置。
前記複数のフィルタ手段は、ローパスフィルタ、輪郭補償フィルタ、εフィルタ及びメディアンフィルタを有することを特徴とする請求項１６記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定し、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むものと判別されている場合には、メディアンフィルタを選択することを特徴とする請求項１６記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が縮小の場合、縮小後のサンプリング周波数に合わせて帯域制限を行うためのフィルタ係数を設定し、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないものと判別されている場合には、εフィルタを選択することを特徴とする請求項１６記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むものと判別されている場合には、ナイキスト周波数周辺を抽出するようにフィルタ係数を設定し、輪郭補償フィルタを選択することを特徴とする請求項１６記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むものと判別されている場合には、メディアンフィルタを選択することを特徴とする請求項１６記載の画像処理装置。
前記帯域制限フィルタは、前記リサイズ倍率が拡大の場合、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないものと判別されている場合には、εフィルタを選択することを特徴とする請求項１６記載の画像処理装置。
さらに、前記入力画像を拡大又は縮小するリサイズ手段を有し、
前記リサイズ手段は、前記小区画画像の画像パターンの判別結果に応じて、異なる参照画素を基に補間を行うことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
前記リサイズ手段は、前記小区画画像の画像パターンの判別結果が輪郭成分を多く含むものと判別されている場合には、前置ホールド又は後置ホールドによって補間点を生成することを特徴とする請求項２４記載の画像処理装置。
前記リサイズ手段は、前記小区画画像の画像パターンの判別結果が高周波成分を多く含むものと判別されている場合には、前置ホールド又は後置ホールドによって補間点を生成することを特徴とする請求項２４記載の画像処理装置。
前記リサイズ手段は、前記小区画画像の画像パターンの判別結果が高周波成分をほとんど含まないものと判別されている場合には、前記参照画素を少なくすることを特徴とする請求項２４記載の画像処理装置。
前記リサイズ手段は、補間点の前後の画素と補間点との距離が近い場合に、補間点を前置ホールド又は後置ホールドによって生成することを特徴とする請求項２６記載の画像処理装置。
前記リサイズ手段は、補間点の前後の画素と補間点との距離が近い場合に、前記参照画素を少なくすることを特徴とする請求項２７記載の画像処理装置。
複数の画素からなる小区画画像を入力画像から切り出してバッファメモリに記憶する記憶ステップと、
前記バッファメモリ内の小区画画像を周波数解析し、前記小区画画像の空間周波数分布を出力する周波数解析ステップと、
前記バッファメモリ内の小区画画像を周期性解析し、前記小区画画像の時間周期性分布を出力する周期性解析ステップと、
前記小区画画像の空間周波数分布及び時間周期性分布を基に、前記小区画画像の画像パターンの判別結果を出力する判別分析ステップと
を有することを特徴とする画像処理方法。