JP2010041497A - 画像処理装置、電子機器及び画像処理方法 - Google Patents

Abstract

【課題】補間処理を行って得られる画像の境界部を明瞭かつ自然なものにすることを可能とする画像処理装置や画像処理方法、この画像処理装置を備えた電子機器を提供する
【解決手段】補間処理部６０ａは、入力画像の高周波成分を強調して輪郭強調画像を出力する輪郭強調処理部６１ａと、輪郭強調画像の画素に基づいて補間画素を生成して補間画像を出力する画素補間部６２と、補間画素の画素値を調整する画素値調整部６３と、入力画像に含まれる画素の画素値の最大値及び最小値をそれぞれ算出する最大値最小値算出部６４と、を備える。そして、画素値調整部６３が、補間画素の画素値を最小値以上最大値以下となるように調整する。
【選択図】図２

Description

本発明は、入力される画像を処理して出力する画像処理装置や、この画像処理装置を備える電子機器に関する。また、入力される画像を処理する画像処理方法に関する。

近年、良好な画像を得るために、撮像などによって得られた画像に対して補間処理が施されることがある。この補間処理によって生成される補間画素の画素値は、例えば、生成される補間画素の周囲の画素の画素値を用いて求められる。この補間処理を行うことで画素数を増やすことができるため、ジャギー（輪郭部にギザギザが生じる現象）を抑制したり画像を拡大したりすることが可能となる。

しかしながら、補間処理の際に不自然な画素値を有する補間画素が生成される場合がある。この場合の一例を図１８に示す。図１８は、従来の補間処理について示したグラフであり、縦軸が画素値、横軸が画素位置となる。なお、説明の簡略化のため、画素値が１種類であり、画素が整列するある一方向についてのみ説明することとする。また、図１８中、黒塗りの丸が補間処理前の画像（以下、元画像とする）の画素を示しており、白塗りの丸が補間処理によって生成された補間画素を示す。また、境界部（例えば、物体の端部などであり、画素値が急峻かつ大きく変化し得る部分）付近に対して補間処理が行われる場合を示している。

図１８（ａ）は、元画像に対して線形補間を行った場合の画素値を示したものである。図１８に示す場合、元画像の画素Ａ１及び画素Ａ２が、境界部の変化の開始点及び終了点となる。このとき、実際には画素Ａ１及び画素Ａ２の内側で画素値が急峻な変化をするものであったとしても、画素Ａ１及び画素Ａ２が境界部の変化の開始点及び終了点となってしまう。したがって、補間処理のみでは急峻な変化を表現することが困難となり、境界部が不明瞭となる場合が生じ得る。

一方、図１８（ｂ）は、元画像に対して輪郭を強調する処理を行った後に補間処理を行った場合について示している。この場合、画素Ａ１及び画素Ａ２の内側の補間画素を、境界部の変化の開始点及び終了点とすることが可能となる。例えば本例では、補間画素Ｂ１及び補間画素Ｂ２を、境界部の変化の開始点及び終了点とすることが可能となる。

しかしながら、補間画素Ｂ１及び補間画素Ｂ２がそれぞれ突出した画素値を備える場合が生じ得る。図１８（ｂ）に示す場合であれば、補間画素Ｂ１の画素値が、画素Ａ１の画素値よりも小さくなる（アンダーシュートする）。一方、補間画素Ｂ２の画素値が、画素Ａ２の画素値よりも大きくなる（オーバーシュートする）。そのため、境界部やその付近に不自然な画素値を有する補間画素が生成され、それによって境界部が不自然なものとなる。

このような問題に対して、例えば特許文献１には、輪郭を強調する処理を行った後に、画素値が突出しないように画素値を抑圧する処理を行う画像処理装置が提案されている。この画像処理装置では、特に、画素値が複雑に変動しない場合ほど画素値を抑圧する程度を大きくし、境界部付近の画質の向上を図っている。
特開２００４−２６６７７５号公報

しかしながら、特許文献１の構成では、輪郭強調時のオーバーシュートやアンダーシュートを抑制することは可能であるが、補間画素の画素値の調整を行うことは不可能である。そのため、輪郭強調後に補間処理を行って得られる補間画素の画素値の最適化は困難である。特に、境界部が不明瞭となったり、不自然なものとなったりすることが生じ得る。

そこで、本発明は、補間処理を行って得られる画像の境界部を明瞭かつ自然なものにすることを可能とする画像処理装置や画像処理方法、この画像処理装置を備えた電子機器を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、入力される入力画像に補間処理を施し出力画像を出力する補間処理部を備えた画像処理装置において、前記補間処理部が、前記入力画像の高周波成分を強調して輪郭強調画像を生成する輪郭強調処理部と、前記輪郭強調画像の画素に基づき補間画素を生成して補間画像を生成する画素補間部と、前記補間画像中の前記補間画素の画素値を調整する画素値調整部と、前記入力画像の所定の範囲内の画素の画素値の最大値及び最小値をそれぞれ算出する最大値最小値算出部と、を備え、前記画素値調整部が、前記補間画素の画素値を、前記最大値最小値算出部によって算出される前記最小値以上前記最大値以下となるように調整することを特徴とする。

また、上記構成の画像処理装置において、前記最大値最小値算出部が前記最大値及び前記最小値の算出を行う前記入力画像の所定の範囲を、前記画素値調整部が調整しようとする前記補間画素の前記入力画像中の位置を中心としたある範囲としても構わない。

また、上記構成の画像処理装置において、前記出力画像が、前記入力画像をある拡大率で拡大させて生成されるものであり、前記輪郭強調処理部が、前記高周波成分を強調する程度を前記拡大率に基づいて決定し、前記輪郭強調処理部による前記高周波成分を強調する程度が、前記拡大率が大きいほど大きくなることとしても構わない。

このように構成すると、拡大率が大きくなりぼけやすくなる出力画像を生成する場合に、輪郭強調画像の高周波成分を大きくすることが可能となる。したがって、出力画像に含まれるぼけを補償して、出力画像の鮮鋭感を向上させることが可能となる。

また、上記構成の画像処理装置において、前記輪郭強調処理部が、前記高周波成分を強調する程度を、前記入力画像の所定の範囲内の画素の画素値のばらつきに応じて決定することとしても構わない。

具体的に例えば、前記ばらつきとして画素値の標準偏差を用いても構わない。また、前記入力画像の所定の範囲を、前記画素値調整部が調整しようとする前記補間画素の前記入力画像中の位置を中心としたある範囲としても構わない。さらに、前記輪郭強調処理部による前記高周波成分を強調する程度が、前記ばらつきが大きいほど小さくなることとしても構わない。

このように構成すると、ばらつき（即ち、ランダムに発生するノイズの大きさ）に基づいて高周波成分を強調する程度を決定することが可能となる。特に、ばらつきが大きい（入力画像に含まれるノイズが大きい）場合に、高周波成分を強調する程度を小さくことにより、輪郭強調画像に含まれるノイズを抑制することが可能となる。

また、上記構成の画像処理装置において、前記輪郭強調処理部が、前記高周波成分を強調する程度を、前記入力画像の所定の範囲内の画素の画素値の類似度に応じて決定することとしても構わない。

具体的に例えば、前記類似度を、前記入力画像の所定の範囲の画素の画素値を用いて求められる自己相関関数を用いて求めることとしても構わない。また、前記入力画像の所定の範囲を、前記画素値調整部が調整しようとする前記補間画素の前記入力画像中の位置を中心としたある範囲としても構わない。さらに、前記輪郭強調処理部による前記高周波成分を強調する程度が、前記類似度が所定の値に近くなるほど小さくなるとともに、当該所定の値から離れるほど大きくなるものとしても構わない。

このように構成すると、類似度（即ち、入力画像のパターン）に基づいて高周波成分を強調する程度を決定することが可能となる。特に、類似度が所定の値より十分小さい（即ち、境界部が含まれる可能性が高い）場合に、輪郭強調画像の高周波成分を強調する程度を大きくすることにより、輪郭強調画像に含まれる境界部を明瞭なものとすることが可能となる。さらに、類似度が所定の値より十分大きい（即ち、周囲と類似した模様を有する模様部が含まれる可能性が高い）場合に、輪郭強調画像の高周波成分を強調する程度を大きくすることにより、輪郭強調画像に含まれる模様部を明瞭なものとすることが可能となる。また、類似度が所定の値に近い（画素値が一様でノイズが含まれている可能性が高い）場合に、輪郭強調画像の高周波成分を強調する程度を小さくすることにより、輪郭強調画像に含まれるノイズを抑制することが可能となる。

また、上記構成の画像処理装置において、前記輪郭強調処理部が、前記高周波成分を強調する程度を、前記入力画像の所定の範囲内の画素の画素値の変化量に応じて決定することとしても構わない。

具体的に例えば、前記変化量として前記入力画像の所定の範囲内の画素の画素値の最大値と最小値との差を用いても構わない。また、前記入力画像の所定の範囲を、前記画素値調整部が調整しようとする前記補間画素の前記入力画像中の位置を中心としたある範囲としても構わない。さらに、前記輪郭強調処理部による前記高周波成分を強調する程度が、前記変化量が大きいほど大きくなることとしても構わない。

このように構成すると、変化量（即ち、境界部が含まれるか否か）に基づいて高周波成分を強調する程度を決定することが可能となる。特に、変化量が大きい（境界部が含まれている可能性が高い）場合に、高周波成分を強調する程度を大きくすることにより、輪郭強調画像に含まれる境界部を明瞭なものとすることが可能となる。

また、本発明の電子機器は、画像を記録または再生する電子機器において、上記のいずれかに記載の画像処理装置を備え、前記画像処理装置から出力される前記出力画像を記録または再生することを特徴とする。

また、本発明の画像処理方法は、入力される入力画像の高周波成分を強調して輪郭強調画像を生成する第１ステップと、前記第２ステップで生成される前記輪郭強調画像の画素に基づき補間画素を生成して補間画像を生成する第２ステップと、前記第２ステップで生成される前記補間画像中の前記補間画素の画素値を調整する第３ステップと、を備え、前記第３ステップが、前記入力画像の所定の範囲内の画素の画素値の最大値及び最小値をそれぞれ算出するとともに、前記補間画素の画素値を前記最小値以上前記最大値以下となるように調整することを特徴とする。

本発明によると、補間画素のオーバーシュートやアンダーシュートを抑制することが可能となる。そのため、入力画像の高周波成分を強調して画素の補間を行ったとしても、境界部が明瞭な状態で保たれ、補間画素の画素値が周囲の画素の画素値より突出しない、自然な値とすることが可能となる。したがって、得られる画像の境界部を明瞭かつ自然なものとすることが可能となる。

本発明における撮像装置の実施形態について、図面を参照して説明する。また、撮像装置として、デジタルスチルカメラやデジタルビデオカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって順次画像信号が作成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換するマイク５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、マイク５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号に補間処理を施す補間処理部６０を備える。

また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられる補間処理部６０が、必要に応じて入力される画像信号に対して補間処理を施す。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。マイク５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。

＜＜補間処理部＞＞
＜第１実施例＞
次に、補間処理部の第１実施例の構成について図２を参照して説明する。図２は、本発明の実施形態に係る撮像装置の補間処理部の第１実施例の構成を示すブロック図である。なお、以下では説明の具体化のために、補間処理部に入力されて補間処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。なお、図２に示す第１実施例の補間処理部６０ａの構成は、本発明における補間処理部の基本構成と解釈され得るものである。

図２に示すように、本実施例の補間処理部６０ａは、入力画像に対して輪郭強調処理を施して輪郭強調画像を生成及び出力する輪郭強調処理部６１ａと、輪郭強調画像に対して画素補間処理を施して補間画像を生成及び出力する画素補間部６２と、補間画像に対して画素値調整処理を施して出力画像を生成及び出力する画素値調整部６３と、入力画像に含まれる複数の画素の中から最大及び最小である画素値を求めるとともに最大値情報及び最小値情報として画素位置調整部６３に出力する最大値最小値算出部６４と、を備える。

また、図２に示すように、本例の輪郭強調処理部６１ａは、入力画像の高周波成分を抽出するＨＰＦ（High Pass Filter）部６１１と、ＨＰＦ部６１１から出力される高周波成分を入力画像に加える合成部６１２と、を備える。また、合成部６１２から輪郭強調画像が出力される。

次に、図２に示した補間処理部６０ａの動作の概要について図３を参照して説明する。図３は、本発明の実施形態に係る撮像装置の補間処理部の第１実施例の動作を示すフローチャートである。なお、図３に示す第１実施例の補間処理部の動作は、本発明における補間処理部の基本動作と解釈され得るものである。

図３に示すように、補間処理部６０ａは、まず入力画像の取得を行う（ＳＴＥＰ１）。取得された入力画像は、輪郭強調処理部６１ａに入力されて輪郭強調処理が施される（ＳＴＥＰ２）。

輪郭強調処理部６１ａは、例えば、入力画像の高周波成分を大きくするなどの処理を行うことで輪郭強調処理を行う。輪郭強調処理によって得られる輪郭強調画像は、境界部の画素の画素値が急峻に変動するものとなる。この輪郭強調処理の一例について、図４及び図５を参照して説明する。図４及び図５は、輪郭強調処理の一例について説明する図である。

図４は、輪郭強調処理部において用いられるフィルタの一例を示す図であり、図５は、入力画像の一例を示す図である。ＨＰＦ部６１１は、例えば、図４に示すような３×３のラプラシアンフィルタなどの入力画像の高周波成分を抽出することが可能な構成を備える。

また、図５に示すように、入力画像の画素の画素値をｃ（ｘ，ｙ）で表す。ｘは、画素の水平方向（図中の左右方向）における位置を示すものとし、右方ほど値が大きくなるものとする。一方ｙは、画素の垂直方向（図中の上下方向）における位置を示すものとし、下方ほど値が大きくなるものとする。また、図５では、左上の画素の画素値をｃ（０，０）とする。なお、水平方向及び垂直方向のそれぞれにおいて、隣接する画素間の距離を１とする。また、画素値が例えばＲ、Ｇ及びＢの値のいずれかであっても、Ｙ、Ｕ及びＶの値のいずれかであっても構わないものとし、画素のどのような値でも適用可能であることとする。

図４に示したフィルタを用いる場合にＨＰＦ部６１１から出力される高周波成分の算出方法について、図５を参照して説明する。図５は、位置（１，１）における高周波成分値ｈｃ（１，１）の算出方法を破線によって示したものである。図５に示すように、高周波成分値ｈｃ（１，１）は、図中の破線で囲われた領域内の画素値（ｃ（１，１）及びその周囲の８個の画素の画素値）に対して、図４に示したフィルタの数値をそれぞれ乗算して合計することによって得られる。具体的に、下記式（１）に示すようにして求められる。なお、任意の位置（ｉ，ｊ）の高周波成分値ｈｃ（ｉ，ｊ）については、下記式（２）に示すようにして求められる（ただし、ｉ及びｊは自然数）。

合成部６１２は、例えば、上記式（１）及び（２）のように計算されてＨＰＦ部６１１から出力される高周波成分値を、入力画像の画素値に加算することによって合成を行う。このとき、輪郭強調画像の位置（１，１）における画素値ｈ（１，１）は、下記式（３）に示すようにして求められる。また、任意の位置（ｉ，ｊ）の画素の画素値ｈ（ｉ、ｊ）は、下記式（４）に示すようにして求められる。

以上のように、図３に示すＳＴＥＰ２によって輪郭強調処理が行われ、輪郭強調画像が生成される。そして、生成された輪郭強調画像に対して、画素補間部６２が画素補間処理を施す（ＳＴＥＰ３）。

画素補間部６２が行う画素補間処理について図６を参照して説明する。図６は、輪郭強調画像の一例を示す図であり、入力画像の一例について示した図５に相当するものである。なお、図５と同様の方法で各画素の位置を表現することとする。

図６では、位置（１＋ｒｘ，１＋ｒｙ）に補間画素Ｘを生成する場合について示している（ただし、０≦ｒｘ＜１、０≦ｒｙ＜１）。（ｒｘ，ｒｙ）は補間係数であり、補間画素Ｘとその左上の画素との間における、水平方向の距離と垂直方向の距離とをそれぞれ示したものである。

補間画素Ｘの画素値ｘ（１＋ｒｘ，１＋ｒｙ）は、下記式（５）に示すように、周囲の画素の画素値（ｈ（１，１）、ｈ（２，１）、ｈ（１，２）及びｈ（２，２））を用いて求められる。なお、任意の位置（ｉ＋ｒｘ，ｊ＋ｒｙ）に生成される補間画素の画素値ｘ（１＋ｒｘ，１＋ｒｙ）は、下記式（６）に示すようにして求められる。

以上のように、図３に示すＳＴＥＰ３によって画素補間処理が行われ、補間画像が生成される。そして、生成された補間画像に対して、画素値調整部６３が画素値調整処理を施す（ＳＴＥＰ４）。

画素値調整部６３が行う画素値調整処理について、具体的に図面を参照して説明する。図２に示したように、画素値調整部６３には最大値最小値算出部６４から最大値情報及び最小値情報がそれぞれ入力される。ここで、最大値最小値算出部６４は、入力画像の所定の範囲内の画素の中から最大となる画素値と、最小となる画素値とをそれぞれ求める。例えば、位置（１＋ｒｘ，１＋ｒｙ）の補間画素の画素値の調整を行う場合（画素値調整処理の対象となる補間画素を、以下特に対象補間画素とする）、図５に示す入力画像の１６個の画素の画素値（ｃ（０，０）〜ｃ（３，０）、ｃ（０，１）〜ｃ（３，１）、ｃ（０，２）〜ｃ（３，２）及びｃ（０，３）〜ｃ（３，３））から最大値及び最小値を求め、それぞれを最大値情報及び最小値情報として出力する。

ここで、任意の位置（ｉ＋ｒｘ，ｊ＋ｒｙ）の対象補間画素の画素値の調整を行う場合であり、上記と同様に、対象補間画素の周囲の４×４＝１６個の画素の画素値から最大値及び最小値を求める場合であれば、画素値ｃ（ｉ−１，ｊ−１）〜ｃ（ｉ＋２，ｊ−１）、ｃ（ｉ−１，ｊ）〜ｃ（ｉ＋２，ｊ）、ｃ（ｉ−１，ｊ＋１）〜ｃ（ｉ−１，ｊ＋１）及びｃ（ｉ−１，ｊ＋２）〜ｃ（ｉ＋２，ｊ＋２）から最大値及び最小値を求め、それぞれを最大値情報及び最小値情報として出力することとなる。

画素値調整部６３は、入力される最大値情報及び最小値情報に基づいて対象補間画素の画素値の調整を行う。例えば、下記式（７）に示すような調整を行う。具体的には、対象補間画素の画素値Ｘ_Ｖが最大値情報によって示される最大値ＭＡＸよりも大きい場合、対象補間画素の調整後の画素値Ｘ_Ｖａを最大値ＭＡＸとする。また、対象補間画素の画素値Ｘ_Ｖが最小値情報によって示される最小値ＭＩＮよりも小さい場合、対象補間画素の調整後の画素値Ｘ_Ｖａを最小値ＭＩＮとする。また、対象補間画素の画素値Ｘ_Ｖが最大値ＭＡＸ以上最小値ＭＩＮ以下である場合、対象補間画素の調整後の画素値Ｘ_Ｖａを調整前の画素値Ｘ_Ｖと等しいものとする。

以上のように、図３に示すＳＴＥＰ４によって画素値調整処理が行われ、出力画像が生成される。そして、出力画像が出力されることによって、補間処理部６０ａによる一連の補間処理が終了する。

以上のように構成すると、補間画素のオーバーシュートやアンダーシュートを抑制することが可能となる。そのため、輪郭強調処理及び画素補間処理を入力画像に施したとしても、境界部が明瞭な状態で保たれ、補間画素の画素値が周囲の画素の画素値より突出しない、自然な値とすることが可能となる。したがって、得られる画像の境界部を明瞭かつ自然なものとすることが可能となる。

なお、輪郭強調処理部６１ａについて、上述の例では、ＨＰＦ部６１１に３×３のラプラシアンフィルタを備えることを例示したが、フィルタの大きさや種類はこの例に限られるものではない。特に、高周波成分を抽出可能なフィルタであれば、他のサイズや他の種類のフィルタを用いることとしても構わない。

また、画素補間部６２について、上述の例では、輪郭強調画像における補間画素Ｘの周囲の４個の画素の画素値を用いて補間画素の画素値を算出することを例示したが、画素補間部６２が行う画素補間処理の方法はこの例に限られるものではない。特に、画素補間処理に用いる画素の数を増減させても構わない。

また、最大値最小値算出部６４について、上述の例では、入力画像における対象補間画素の周囲の１６画素に基づいて画素値の最大値及び最小値を算出することを例示したが、画素値の最大値及び最小値の算出方法はこの例に限られるものではない。特に、最大値及び最小値を算出するための入力画像の画素の数を増減させても構わない。

＜第２実施例＞
次に補間処理部の第２実施例について図面を参照して説明する。図７は、本発明の実施形態に係る撮像装置の補間処理部の第２実施例の構成を示すブロック図である。なお、上述した第１実施例の補間処理部６０ａと同様となる部分については同じ符号を付し、その詳細な説明については省略するものとする。

図７に示すように、本実施例の補間処理部６０ｂは、第１実施例の補間処理部６０ａ（図２参照）と同様に、輪郭強調処理部６１ｂと、画素補間部６２と、画素値調整部６３と、最大値最小値算出部６４と、を備える。ただし、輪郭強調処理部６１ｂについて、第１実施例と異なる。

輪郭強調処理部６１ｂは、ＨＰＦ部６１１と、合成部６１２と、入力画像の標準偏差を算出する標準偏差算出部６１３と、標準偏差算出部６１３から出力される標準偏差に基づいて強調係数αを設定する第１ゲイン算出部６１４と、入力画像の類似度を算出する類似度算出部６１５と、類似度算出部６１５から出力される類似度に基づいて強調係数βを設定する第２ゲイン算出部６１６と、最大値最小値算出部６４から出力される最大値情報及び最小値情報に基づいて強調係数γを設定する第３ゲイン算出部６１７と、強調係数α，β及びγに基づいて総合強調係数εを出力する総合強調係数設定部６１８と、ＨＰＦ部６１１から出力される高周波成分に対して総合強調係数εに基づいた調整を施す高周波成分調整部６１９と、を備える。

総合強調係数εは、例えば、強調係数α，β，γを乗算したもの（即ち、ε＝αβγ）や、強調係数α，β，γの中の最大値や最小値などを用いることができる。以下では説明の具体化のため、総合強調係数εが強調係数α，β，γを乗算したものである場合について説明する。さらに、高周波成分調整部６１９が、ＨＰＦ部６１１から出力される高周波成分に総合強調係数εを乗算することによって高周波成分の値の大きさを調整するものである場合について、以下説明する。

上記のように、総合強調係数ε及び高周波成分調整部６１９から出力される高周波成分を算出することとすると、高周波成分調整部６１９から出力される高周波成分は、下記式（８）に示すものとなる。なお、下記式（８）は、位置（１，１）における高周波成分値ｈｃ（１，１）の算出方法について示したものであり、第１実施例において説明した式（１）に相当するものである。なお、任意の位置（ｉ，ｊ）の高周波成分値ｈｃ（ｉ，ｊ）については、下記式（９）に示すようにして求められる。また、下記式（９）は、第１実施例について説明した式（２）に相当するものである。

標準偏差算出部６１３は、下記式（１０）に示すように入力画像の画素値の標準偏差を算出する。また、下記式（１０）は、図５に示した入力画像に対して標準偏差を求める場合について示しており、対象補間画素がｘ（１＋ｒｘ，１＋ｒｙ）である場合について示すものである。また、対象補間画素の周囲の４×４＝１６個の画素の画素値を用いて標準偏差を算出する場合を例に挙げて示している。なお、任意の対象補間画素ｘ（ｉ＋ｒｘ，ｊ＋ｒｙ）に対する標準偏差の算出方法は、下記式（１１）に示すものとなる。

以上のようにして算出された標準偏差σは、第１ゲイン算出部６１４に入力される。そして、第１ゲイン算出部６１４は、入力される標準偏差σに基づいて強調係数αを設定する。この設定方法の一例について図８を参照して説明する。図８は、標準偏差σと強調係数αとの関係の一例について示したグラフである。図８に示すように、本例では、標準偏差σが大きいほど（即ち、ランダムに発生するノイズが大きいほど）強調係数αが小さくなるように設定される。特に、標準偏差が０に近いほど強調係数αは１に近づき、標準偏差σが閾値ＴＨ１より大きい場合、強調係数αは０となる。

入力画像に含まれるノイズが大きい場合、強調係数αを用いて算出される総合強調係数εも小さくなる。すると、高周波成分調整部６１９において、ＨＰＦ部６１１から抽出される高周波成分（大きいノイズを含む）に乗算される総合強調係数εが小さいものとなる。そのため、合成部６１２で入力画像に合成される高周波成分が小さいものとなる。したがって、合成部６１２から出力される輪郭強調画像に含まれるノイズが抑制される。

類似度算出部６１５は、入力画像の画素値の類似度Ｓを算出する。例えば、下記式（１２）に示すような自己相関関数Ｒ（ｎ，ｍ）を利用した方法により、類似度Ｓを算出する。また、下記式（１２）は、図５に示した入力画像に対して類似度Ｓを求める場合について示しており、対象補間画素がｘ（１＋ｒｘ，１＋ｒｙ）である場合について示すものである。また、４×４＝１６個の画素の画素値を用いて自己相関関数を算出する場合を例に挙げて示している。なお、任意の対象補間画素ｘ（ｉ＋ｒｘ，ｊ＋ｒｙ）に対する類似度Ｓの算出方法は、下記式（１３）に示すものとなる。

自己相関関数について図９を参照して説明する。図９は、入力画像と自己相関関数の値との関係の例について示すグラフである。図９に示すグラフは、横軸が（ｎ^２＋ｍ^２）^１／２、縦軸がＲ（ｎ，ｍ）の値となる。まず、図９（ａ）に示すように、自己相関関数を算出する領域内の画素値が一様なものであり、ランダムに発生するノイズが含まれるようなものである場合）、自己相関関数は、ｎ及びｍの増加に伴い指数関数的に減少することとなる。また、図９（ｂ）に示すように、自己相関関数を算出する領域内に境界部が含まれるような場合は、自己相関関数は、ｎ及びｍの増加に伴い急激に減少することとなる。さらに、自己相関関数を算出する領域内やその近傍に類似する模様が存在する場合は、自己相関関数は、ｎ及びｍの増加に伴いなだらかに減少することとなる。

以上のような特性を有する自己相関関数を用いて算出される類似度Ｓは、入力画像が図９（ｂ）に示したような境界部を含むものになると、小さいものとなる。一方、図９（ｃ）に示したように、周囲と類似した模様が含まれるものになると、大きいものとなる。

以上のようにして算出された類似度Ｓは、第２ゲイン算出部６１６に入力される。そして、第２ゲイン算出部６１６は、入力される類似度Ｓに基づいて強調係数βを設定する。この設定方法の一例について図１０を参照して説明する。図１０は、類似度Ｓと強調係数βとの関係の一例について示したグラフである。図１０に示すように、本例では、類似度Ｓが０からある閾値ＴＨ２へと大きくなるまで、類似度Ｓの増加に伴い強調係数βが小さくなるように設定される。このとき、類似度Ｓが０に近いほど強調係数βが１に近づき、類似度Ｓが閾値ＴＨ２に近いほど強調係数βが０に近づく。また、類似度Ｓが閾値ＴＨ２からある閾値ＴＨ３の間となる場合、類似度Ｓの増加に伴い強調係数βが大きくなるように設定される。さらに、類似度Ｓが閾値ＴＨ３以上となる場合は、強調係数βが１となる。

類似度Ｓが十分小さい場合（特に、類似度Ｓが閾値ＴＨ２よりも十分小さく、図９（ｂ）に示したような境界部が含まれる可能性が高い場合）、強調係数βが大きくなり総合強調係数εが大きくなる。そのため、合成部６１２で入力画像に合成される高周波成分が大きいものとなる。したがって、合成部６１２から出力される輪郭強調画像に含まれる境界部が明瞭なものとなる。

類似度Ｓが十分大きい場合（特に、類似度Ｓが閾値ＴＨ２よりも十分大きく、図９（ｃ）に示したような模様部が含まれる可能性が高い場合）、強調係数βが大きくなり総合強調係数εが大きくなる。そのため、合成部６１２で入力画像に合成される高周波成分が大きいものとなる。したがって、合成部６１２から出力される輪郭強調画像に含まれる模様部が明瞭なものとなる。

一方、類似度Ｓが閾値ＴＨ２に近い値である場合（図９（ａ）に示したような、画素値が一様でノイズが含まれている可能性が高い場合）、強調係数βが小さくなり総合強調係数εが小さくなる。そのため、合成部６１２で入力画像に合成される高周波成分が小さいものとなる。したがって、合成部６１２から出力される輪郭強調画像に含まれるノイズが抑制される。

第３ゲイン算出部６１７は、最大値最小値算出部６１４から入力される最小値情報及び最大値情報に基づいて強調係数γを設定する。この設定方法の一例について図１１を参照して説明する。図１１は、最大値情報及び最小値情報と強調係数βとの関係の一例について示したグラフである。

図１１に示すように、本例では、最大値ＭＡＸと最小値ＭＩＮとの差（即ち、ＭＡＸ−ＭＩＮ、以下変化量Ｖとする）に基づいて強調係数γが設定されることとする。また、最大値情報及び最小値情報は、第１実施例において説明したものと同様のものとする。即ち、最大値情報及び最小値情報は、対象補間画素の周囲の４×４＝１６個の画素の画素値から求められる最大値ＭＡＸ及び最小値ＭＩＮを示したものとなる。

図１１に示すように、本例では、変化量Ｖが０からある閾値ＴＨ４まで大きくなるまで、変化量Ｖの増加に伴い強調係数γが大きくなるように設定される。このとき、変化量Ｖが０に近づくほど強調係数γが０に近づき、変化量Ｖが閾値ＴＨ４に近づくほど強調係数γが１に近づく。また、変化量Ｖが閾値ＴＨ４以上となる場合は、強調係数γは１となる。

変化量Ｖが小さい場合（特に、変化量Ｖが閾値ＴＨ４より十分小さい場合であり、画素値が一様でＨＰＦ部６１１で抽出される高周波成分にノイズが含まれる可能性が高い場合）、強調係数γが小さくなり総合強調係数εも小さくなる。そのため、合成部６１２で入力画像に合成される高周波成分が小さいものとなる。したがって、合成部６１２から出力される輪郭強調画像に含まれるノイズが抑制される。

一方、変化量Ｖが大きい場合（特に、変化量Ｖが０より十分大きい場合であり、画素値の差が大きく境界部が含まれている可能性が高い場合）、強調係数γが大きくなり総合強調係数εも大きくなる。そのため、合成部６１２で入力画像に合成される高周波成分が大きいものとなる。したがって、合成部６１２から出力される輪郭強調画像に含まれる境界部が明瞭なものとなる。

上述した標準偏差σ、類似度Ｓ及び変化量Ｖと、入力画像と、強調係数α，β，γ及び総合強調係数εと、の関係の一例について図１２にまとめて示す。図１２は、入力画像の種類に応じて設定される強調係数の大きさの一例を示した表である。なお、図１２中の入力画像の「平坦」とは、画素値が一様である場合について示したものであり、図９（ａ）に示した入力画像と同様のものとする。また、入力画像の「模様」とは、周囲と類似した模様が含まれる場合について示したものであり、図９（ｃ）に示した入力画像と同様のものとする。また、入力画像の「境界」とは、画素値が急峻に変化する部分が含まる場合について示したものであり、図９（ｂ）に示した入力画像と同様のものとする。

図１２に示すように、入力画像が「平坦」、「模様」、「境界」となる順に、強調係数α，β，γ及び総合強調係数εが大きくなるように設定される。例えば、入力画像が「平坦」であれば、標準偏差σが小、類似度Ｓが中〜大（図１０の閾値ＴＨ２付近）、変化量Ｖが小となる。ここで、図８、図１０及び図１１に示すように強調係数α，β，γを設定することとすると、強調係数α，β，γ及び総合強調係数εの値は小さくなる。

同様に、入力画像が「境界」であれば、標準偏差σが中〜大、類似度Ｓが小、変化量Ｖが大となる。ここで、図８、図１０及び図１１に示すように強調係数α，β，γを設定することとすると、強調係数α，β，γ及び総合強調係数εの値は、入力画像が「平坦」である場合において設定される値よりも大きいものとなる。

また、入力画像が「模様」であれば、標準偏差σが中、類似度Ｓが大、変化量Ｖが小〜中となる。ここで、図８、図１０及び図１１に示すように強調係数α，β，γを設定することとすると、強調係数α，β，γ及び総合強調係数εの値は、入力画像が「平坦」である場合において設定される値よりも大きく、入力画像が「境界」である場合において設定される値よりも小さいものとなる。

本実施例においても、第１実施例と同様に、画素値調整部６３において補間画素の画素値を調整する構成となる。そのため、補間画素のオーバーシュートやアンダーシュートを抑制し、境界部を明瞭な状態で保つとともに、補間画素の画素値が周囲の画素の画素値より突出しない自然な値とすることが可能となる。したがって、得られる画像の境界部を明瞭かつ自然なものとすることが可能となる。

さらに、本実施例の構成では、合成部６１２において入力画像に合成する高周波成分を制御することが可能となる。例えば、ＨＰＦ部６１１部において抽出される高周波成分に大きなノイズが含まれていれば抑制し、境界や模様などの明瞭に表現したい部分であれば強調する、というような制御を行うことが可能となる。したがって、得られる画像をさらに明瞭なものにすることが可能となる。

なお、総合強調係数εを設定するために、３つの強調係数α，β，γを用いることを例示したが、総合強調係数εの算出方法はこの例に限られるものではない。特に、強調係数α，β，γのいずれかを用いない構成としても構わないし、他の強調係数を加えたり強調係数α，β，γのいずれかの代わりに用いたりして総合強調係数εを算出しても構わない。

また、標準偏差算出部６１３や類似度算出部６１５において、４×４＝１６個の画素に基づいて標準偏差σや自己相関関数Ｒ（ｎ，ｍ）を算出することを例示したが、算出方法はこの例に限られるものではない。特に、標準偏差σや自己相関関数Ｒ（ｎ，ｍ）の算出に用いる画素の数を他の数としても構わない。また、類似度Ｓの算出の際に４つの自己相関関数を用いることを例示したが、他の数の自己相関関数を用いても構わない。

また、第１ゲイン算出部６１４、第２ゲイン算出部６１６及び第３ゲイン算出部６１７のそれぞれによる強調係数α，β，γの設定方法の一例を示す図８、図１０及び図１１において、標準偏差σ、類似度Ｓ及び変化量Ｖの変化に応じて、設定される強調係数α，β，γが線形に変化するものとして示したが、非線形に変化するものとしても構わない。

＜第３実施例＞
次に補間処理部の第３実施例について図面を参照して説明する。図１３は、本発明の実施形態に係る撮像装置の補間処理部の第３実施例の構成を示すブロック図である。なお、上述した第１実施例及び第２実施例の補間処理部６０ａ，６０ｂと同様となる部分については同じ符号を付し、その詳細な説明については省略するものとする。

図１３に示すように、本実施例の補間処理部６０ｃは、第１実施例の補間処理部６０ａ（図２参照）と同様に、輪郭強調処理部６１ｃと、画素補間部６２と、画素値調整部６３と、最大値最小値算出部６４と、を備える。ただし、輪郭強調処理部６１ｃについて、第１実施例と異なる。

輪郭強調処理部６１ｃは、ＨＰＦ部６１１と、合成部６１２と、入力画像の拡大率μに基づいて強調係数ωを算出する第４ゲイン算出部６２０と、高周波成分調整部６１９と、を備える。ただし、高周波成分調整部６１９は、第４ゲイン算出部６２０から出力される調整係数ωに基づいて、高周波成分の調整を行うこととする。

第４ゲイン算出部６２０で用いられる拡大率μについて、図１４を参照して説明する。図１４は、拡大率について説明する図である。なお、図１４においても、図５と同様の方法で画素などの位置を表現することとする。

図１４に示す拡大元画像とは、例えば、入力画像の一部の領域である。この拡大元画像の中心位置を（ｘｃ，ｙｃ）とする。また、黒塗りの三角形で示す拡大元画像のある位置を（ｘｄ，ｙｄ）とする。さらに、この位置（ｘｄ，ｙｄ）に対応する拡大後画像の画素の位置を（Ｘ，Ｙ）で表現するとともに黒塗りの丸で示す。そして、拡大元画像の大きさに対する拡大後画像の大きさの割合を拡大率μとする。

拡大後画像の画素の位置（Ｘ，Ｙ）は、拡大元画像の対応する位置（ｘｄ，ｙｄ）、中心位置（ｘｃ，ｙｃ）及び拡大率μを用いて下記式（１４）に示すように表すことができる。また、拡大後画像の画素の位置（Ｘ，Ｙ）に対応する拡大元画像の位置（ｘｄ，ｙｄ）についても同様に、中心位置（ｘｃ，ｙｃ）及び拡大率μを用いて下記式（１５）に示すように表すことができる。

このように、入力画像を補間するとともに位置を調整することによって、拡大処理を行うことができる（拡大処理の具体例については後述する）。そして、第４ゲイン算出部６２０は、拡大処理を行う際に設定される拡大率μに応じた強調係数ωを設定する。第４ゲイン算出部６２０の強調係数ωの設定方法の一例について、図１５を参照して説明する。図１５は、拡大率μと強調係数ωとの関係の一例について示したグラフである。

図１５に示すように、本例では、拡大率μが大きいほど（即ち、多数の補間画素が必要となるぼけやすい画像であるほど）強調係数ωが大きくなるように設定される。そのため、拡大率μが大きくぼけやすい拡大後画像を生成する場合に、合成部６１２で入力画像に合成される高周波成分を大きいものにして、輪郭強調画像に含まれる高周波成分を大きくすることが可能となる。したがって、拡大後画像に含まれるぼけを補償して、拡大後画像の鮮鋭感を向上させることが可能となる。

また、第１及び第２実施例と同様に、本実施例においても、画素値調整部６３において補間画素の画素値を調整する構成となる。そのため、補間画素のオーバーシュートやアンダーシュートを抑制し、境界部を明瞭な状態で保つとともに、補間画素の画素値が周囲の画素の画素値より突出しない自然な値とすることが可能となる。したがって、得られる画像の境界部を明瞭かつ自然なものとすることが可能となる。

なお、本実施例と第２実施例とを組み合わせることとしても構わない。例えば、第４ゲイン算出部６２０から出力される強調係数ωが、第２実施例の補間処理部６０ｂについて示した図７の総合強調係数設定部６１８に入力されるとともに、総合強調係数εの算出に強調係数ωが用いられることとしても構わない。

また、第４ゲイン算出部６２０による強調係数ωの設定方法の一例を示す図１５において、拡大率μの変化に応じて、設定される強調係数ωが線形に変化するものとして示したが、非線形に変化するものとしても構わない。

また、上述の拡大処理を、例えば以下に示す拡大処理部を用いて行っても構わない。この拡大処理部の一例について図面を参照して説明する。図１６は、拡大処理部の一例について示すブロック図である。なお、図１６に示す拡大処理部１００も、補間処理部６０と同様に画像処理部６に備えられるものとしても構わない。

図１６に示すように、拡大処理部１００は、各ブロックに制御信号を出力するタイミング信号発生部１０１と、拡大処理を行う入力画像中の所定の画素の画素値をフレームメモリ１５０より読み出すためのアドレスを算出するアドレス計算部１０２と、フレームメモリ１５０より読み出された画像値を一時記憶するリードバッファ１０３と、補間処理に用いられる補間係数を生成する補間係数生成部１０４と、補間係数生成部１０４で生成された補間係数とリードバッファ１０３に一時記憶された画像値とに基づいて補間画素の画素値を算出する補間処理部６０と、を備える。なお、補間処理部６０には、第３実施例の補間処理部６０ｃだけでなく、第１及び第２実施例の補間処理部６０ａ，６０ｂも適用することが可能である。また、フレームメモリ１５０には、図１に示したメモリ１５を適用することが可能である。

次に、拡大処理部１００の動作について説明する。拡大処理部１００が拡大処理を行う場合、まず、タイミング信号発生部１０１に、拡大率μ、拡大元画像の中心位置（ｘｃ，ｙｃ）及び拡大後画像の出力アドレス（Ｘ，Ｙ）が入力される。この出力アドレスとは、出力すべき拡大後画像の画素の位置を示したものである。

タイミング信号発生部１０１は、アドレス計算部１０２に対して、拡大後画像の出力アドレス（Ｘ，Ｙ）における画素値を求める指令を出力する。このとき、アドレス計算部１０２は、拡大後画像の画素の位置（Ｘ，Ｙ）に対応する拡大元画像の位置（ｘｄ，ｙｄ）を算出する。例えば、上記式（１５）を用いて位置（ｘｄ，ｙｄ）を算出する。

そして、アドレス計算部１０２は、拡大後画像の画素の位置（Ｘ，Ｙ）の画素値を算出するために必要となる拡大元画像の画素の読み出しを指示する信号（フレームメモリアドレス）を、フレームメモリ１５０に対して出力する。具体的に例えば、第１実施例において例示したように（ｘｄ，ｙｄ）が（１＋ｒｘ，１＋ｒｙ）である場合、（１＋ｒｘ，１＋ｒｙ）の周囲の１６個の画素の画素値（ｃ（０，０）〜ｃ（３，０）、ｃ（０，１）〜ｃ（３，１）、ｃ（０，２）〜ｃ（３，２）及びｃ（０，３）〜ｃ（３，３））がフレームメモリ１５０から読み出されるように、フレームメモリアドレスを出力する（図５及び図６参照）。

また、フレームメモリ１５０は、フレームメモリアドレスによって指定された拡大元画像の画素値をリードバッファ１０３に出力する。このとき、フレームメモリ１５０は、タイミング信号発生部１０１から与えられるタイミング信号（リ−ドイネーブル）に応じて、画素値を出力する。また、リードバッファ１０３も同様であり、タイミング信号発生部から与えられるタイミング信号に応じて、一時記憶した画素値を補間処理部６０に対して出力する。

また、補間係数生成部１０４は、アドレス計算部１０２から与えられる拡大元画像の位置（ｘｄ，ｙｄ）に基づいて、補間係数（ｒｘ，ｒｙ）を算出する。この補間係数（ｒｘ，ｒｙ）は、上記式（５）及び（６）に示したように、補間処理部６０において補間画素の画素値を算出するために用いられる。

補間処理部６０は、入力される画素値と補間係数とに基づいて、補間画素の画素値を算出する。これによって、拡大後画像の位置（Ｘ，Ｙ）における画素値が算出される。そして、タイミング信号発生部から出力されるタイミング信号（出力イネーブル）に応じて画素値が出力されることで、拡大後画像の画像信号が拡大処理部１００から出力されることとなる。

＜＜再生装置などの他の電子機器への適用＞＞
上述の例は、撮像装置１の撮像部から入力される画像に対して補間処理を行う場合（即ち、撮像時に補間処理を行う場合）のものである。しかし、外部メモリ１０などに記録された画像を出力する際に補間処理を行う場合（即ち、再生時などに補間処理を行う場合）についても、上述の補間処理部６０を利用することが可能である。

図１７に、再生時に補間処理を行うことが可能な撮像装置１ａを示す。図１７は、本発明の別の実施形態における撮像装置の構成について示すブロック図であり、図１に相当するものである。なお、図１と同様の部分については同じ符号を付し、その詳細な説明については省略する。

図１７に示す撮像装置１ａは、画像処理部６の代わりに画像処理部６ａを備える点と、伸長処理部１１から入力される画像信号を処理して画像出力回路部１２に出力する画像処理部６ｂをさらに備える点と、を除き、図１の撮像装置１と同様の構成となる。

画像処理部６ａは、補間処理部６０を備えない構成となる点を除き、図１に示す画像処理部６と同様の構成となる。一方、画像処理部６ｂに補間処理部６０ｄが備えられる。なお、補間処理部６０ｄとして、第１〜第３実施例の補間処理部６０ａ〜６０ｃを適用することができる。

図１７に示す撮像装置１ａは、外部メモリ１０に記録されている圧縮符号化信号が伸長処理部１１に読み出されるとともに、伸長処理部１１において画像信号に復号されて出力される。この画像信号が、画像処理部６ｂと補間処理部６０ｄとに入力されることにより、画像処理や補間処理が行われる。そして、画像処理が施された画像信号は画像出力回路部１２に入力されるとともに、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。

なお、撮像装置１ａが、イメージセンサ２、レンズ部３、ＡＦＥ４、マイク５、画像処理部６ａ、音声処理部７及び圧縮処理部８を備えない構成としても構わない。即ち、再生機能のみを備える再生専用の装置としても構わない。また、画像処理部６ｂから出力される画像信号を、再度外部メモリ１０に記録可能な構成としても構わない。即ち、編集時に補間処理を行うことが可能であるものとしても構わない。

＜＜変形例＞＞
なお、上述した補間処理は、静止画のみならず動画に対しても利用することが可能である。また、本発明の実施形態における撮像装置１，１ａについて、画像処理部６，６ａ，６ｂや補間処理部６０，６０ａ〜６０ｄ、拡大処理部１００などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１及び補間処理部６０、図２の補間処理部６０ａ、図７の補間処理部６０ｂ、図１３の補間処理部６０ｃ、図１６の拡大処理部１００、図１７の撮像装置１ａ及び補間処理部６０ｂは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１，１ａや補間処理部６０，６０ａ〜６０ｄ、拡大処理部１００を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、デジタルカメラに代表される撮像装置や再生装置などの電子機器に関するものである。また、これらの電子機器に備えられる画像処理装置や画像処理方法に関する。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態に係る撮像装置の補間処理部の第１実施例の構成を示すブロック図である。 は、本発明の実施形態に係る撮像装置の補間処理部の第１実施例の動作を示すフローチャートである。 は、輪郭強調処理部において用いられるフィルタの一例を示す図である。 は、入力画像の一例を示す図である。 は、輪郭強調画像の一例を示す図である。 は、本発明の実施形態に係る撮像装置の補間処理部の第２実施例の構成を示すブロック図である。 は、標準偏差σと強調係数αとの関係の一例について示したグラフである。 は、入力画像と自己相関関数の値との関係の例について示すグラフである。 は、類似度Ｓと強調係数βとの関係の一例について示したグラフである。 は、入力画像の画素の最大値及び最小値と強調係数βとの関係の一例について示したグラフである。 は、入力画像の種類に応じて設定される強調係数の大きさの一例を示した表である。 は、本発明の実施形態に係る撮像装置の補間処理部の第３実施例の構成を示すブロック図である。 は、拡大率について説明する図である。 は、拡大率μと強調係数ωとの関係の一例について示したグラフである。 は、拡大処理部の一例について示すブロック図である。 は、本発明の別の実施形態における撮像装置の構成について示すブロック図である。 は、従来の補間処理について示したグラフである。

符号の説明

１ 撮像装置
２ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ マイク
６，６ａ，６ｂ 画像処理部
６０，６０ａ〜６０ｄ 補間処理部
６１，６１ａ〜６１ｃ 輪郭強調処理部
６１１ ＨＰＦ部
６１２ 合成部
６１３ 標準偏差算出部
６１４ 第１ゲイン算出部
６１５ 類似度算出部
６１６ 第２ゲイン算出部
６１７ 第３ゲイン算出部
６１８ 総合強調係数設定部
６１９ 高周波成分調整部
６２０ 第４ゲイン算出部
６２ 画素補間部
６３ 画素値調整部
６４ 最大値最小値算出部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 画像出力回路部
１３ 音声出力回路部
１４ ＣＰＵ
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８ バス
１９ バス
１００ 拡大処理部
１０１ タイミング信号発生部
１０２ アドレス計算部
１０３ リードバッファ
１０４ 補間係数生成部
１５０ フレームメモリ

Claims (7)

1. 入力される入力画像に補間処理を施し出力画像を出力する補間処理部を備えた画像処理装置において、
   前記補間処理部が、
   前記入力画像の高周波成分を強調して輪郭強調画像を生成する輪郭強調処理部と、
   前記輪郭強調画像の画素に基づき補間画素を生成して補間画像を生成する画素補間部と、
   前記補間画像中の前記補間画素の画素値を調整する画素値調整部と、
   前記入力画像の所定の範囲内の画素の画素値の最大値及び最小値をそれぞれ算出する最大値最小値算出部と、を備え、
   前記画素値調整部が、前記補間画素の画素値を、前記最大値最小値算出部によって算出される前記最小値以上前記最大値以下となるように調整することを特徴とする画像処理装置。
2. 前記出力画像が、前記入力画像をある拡大率で拡大させて生成されるものであり、
   前記輪郭強調処理部が、前記高周波成分を強調する程度を前記拡大率に基づいて決定し、
   前記輪郭強調処理部による前記高周波成分を強調する程度が、前記拡大率が大きいほど大きくなることを特徴とする請求項１に記載の画像処理装置。
3. 前記輪郭強調処理部が、前記高周波成分を強調する程度を、前記入力画像の所定の範囲内の画素の画素値のばらつきに応じて決定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記輪郭強調処理部が、前記高周波成分を強調する程度を、前記入力画像の所定の範囲内の画素の画素値の類似度に応じて決定することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記輪郭強調処理部が、前記高周波成分を強調する程度を、前記入力画像の所定の範囲内の画素の画素値の変化量に応じて決定することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 画像を記録または再生する電子機器において、
   請求項１〜請求項５のいずれかに記載の画像処理装置を備え、
   前記画像処理装置から出力される前記出力画像を記録または再生することを特徴とする電子機器。
7. 入力される入力画像の高周波成分を強調して輪郭強調画像を生成する第１ステップと、
   前記第２ステップで生成される前記輪郭強調画像の画素に基づき補間画素を生成して補間画像を生成する第２ステップと、
   前記第２ステップで生成される前記補間画像中の前記補間画素の画素値を調整する第３ステップと、を備え、
   前記第３ステップが、前記入力画像の所定の範囲内の画素の画素値の最大値及び最小値をそれぞれ算出するとともに、前記補間画素の画素値を前記最小値以上前記最大値以下となるように調整することを特徴とする画像処理方法。