JP2006067214A - 画像補間装置及び画像補間方法 - Google Patents

Abstract

【課題】撮像素子の隣接する画素を加算して読み出す場合に、解像感のある高品質な画像を生成できるようにすること。
【解決手段】撮像素子１０から読み出される画素信号を補間する画像補間装置を、撮像素子１０の画素数より少ない読みとり回数で、上記撮像素子１０全体の範囲の画素信号を読み出す読みとり部３０と、該読みとり部３０で読み出された画素信号のうち、補間値を求める位置の近傍の画素信号に基づき、相関性の高い方向を判別する相関判別部６０と、該相関判別部６０で判別された上記相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、上記補間値を求める位置の画素信号を補間する補間部７０と、により構成する。
【選択図】図１

Description

本発明は、撮像素子から読み出される画素信号を補間して、高品質の画像を生成する画像補間装置及び画像補間方法に関する。

近年、ディジタル信号処理技術の発展に伴い、ディジタルスチルカメラやディジタルビデオカメラなど、ますますの高解像度化と機能の多様化が進んでおり、１台で静止画像と動画像の両方が撮影できる兼用撮像機が増えている。

一般に、静止画像は数百万の画素数を保有しているのに比べて、動画像の画素数は少ない。これは、動画像処理の場合、毎秒３０枚分の画素信号を読み出し、処理を完了しなければならないが、イメージャの動作クロックの関係から、一定時間内に読み出せる画素数に制限があるためである。イメージャの動作クロックを引き上げると、読み出せる画素数が増えるが、消費電力が増大することとなり、好ましくない。したがって、動画像のリアルタイム処理を実現するためには、読み出す画素数を減らさなければならない。

また、動画像を表示する際の出力サイズはＶＧＡ（６４０×４８０画素）サイズやＨＤＴＶ（１２８０×７２０画素）サイズが一般的なため、それより多くの画素を持つイメージャにおいては、画素数を減らして読み出す方法が使われる。

そのため、静止画像では撮像素子のデータを高解像度で読み出すが、一方で動画像を得るためには高解像度の撮像素子のデータを加算混合して読み出したり、画素を間引いて読み出す方式が一般的に用いられている。しかし、安易な間引きや加算を行うと、出力画像にモアレやジャギーなどが発生し、画質劣化の原因となる。

そこで、撮像素子から画素信号を間引きながら読み出す場合に生じる画質劣化の問題を解決するため、特許文献１では、間引いて得られる画像データの隣接画素の画素間の距離が異なることを考慮し、読み出した画素データを間引かれる前の画素位置の距離に応じて重みづけして、画素補間処理を行う手法を開示している。このようにすることで、表示データのムラを生じにくくなるとしている。
特開平１１−１０３４０７号公報

しかしながら、撮像素子から画素データを間引いて読みとる方式は、回路構成は簡単になるものの、出力画像にモアレやジャギーなどが発生し易く、画質が劣化してしまうことが多い。

間引かれた位置に被写体のエッジなどが存在するような場合には、情報の一部が失われてしまうため、どのような補間処理を行っても復元することはできず、画質の劣化は避けられない。また、撮像素子の連続する画素を加算して読み出す方式は、一種の平滑化処理と考えることができるため、単純な補間処理を行うと、画像の高周波成分が減衰する特性となり、出力画像は解像感のないボケた画像となってしまう。

上記特許文献１では、参照する画素との距離に応じて補間処理の係数を変化させて帯域を向上させているが、エッジ部分など高周波情報は保持されていないため、十分な画質が得られていない。

また、電子ズームなどで、特定の領域をズームアップする場合や、出力機器の大きさが変化するような場合では、一旦補間データを生成した後に、サイズを変更する変倍処理を施すため、二重の処理が発生して帯域が劣化し、画質が悪くなってしまう。

本発明は、上記の点に鑑みてなされたもので、画素補間を行う際に相関性のある方向を判別し、相関方向に応じた処理の切り替えと、参照する画素の距離に応じた重みづけ演算を行うことで、撮像素子の隣接する画素を加算して読み出す場合においても、解像感のある高品質な画像を生成することができる画像補間装置及び画像補間方法を提供することを目的とする。

本発明の画像補間装置の一態様は、撮像素子から読み出される画素信号を補間する画像補間装置において、撮像素子の画素数より少ない読みとり回数で、上記撮像素子全体の範囲の画素信号を読み出す読みとり手段と、上記読みとり手段で読み出された画素信号のうち、補間値を求める位置の近傍の画素信号に基づき、相関性の高い方向を判別する相関判別手段と、上記相関判別手段で判別された上記相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、上記補間値を求める位置の画素信号を補間する補間手段と、を備えることを特徴とする。

なお、この場合、上記補間手段は、上記相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、画素信号を補間して、画像の大きさが変倍された画像データを生成するようにしても良い。

また、本発明の画像補間装置の別の態様は、入力画像データの画素信号を補間する画像補間装置において、入力画像データの画素数より少ない読みとり回数で、上記入力画像データ全体の範囲の画素信号を読み出す読みとり手段と、上記読みとり手段で読み出された画素信号のうち、補間値を求める位置の近傍の画素信号に基づき、相関性の高い方向を判別する相関判別手段と、上記相関判別手段で判別された上記相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、上記補間値を求める位置の画素信号を補間する補間手段と、を備えることを特徴とする。

また、本発明の画像補間方法の一態様は、撮像素子から読み出される画素信号を補間する画像補間方法において、撮像素子の画素数より少ない読みとり回数で、上記撮像素子全体の範囲の画素信号を読み出すステップと、上記画素信号を読み出すステップで読み出された画素信号のうち、補間値を求める位置の近傍の画素信号に基づき、相関性の高い方向を判別するステップと、上記判別するステップで判別された相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、上記補間値を求める位置の画素信号を補間するステップと、を有することを特徴とする。

なお、この本発明の画像補間方法の別の態様において、上記補間するステップは、上記相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、画素信号を補間して、画像の大きさが変倍された画像データを生成するようにしても良い。

また、本発明の画像補間方法の別の態様は、入力画像データの画素信号を補間する画像補間方法において、入力画像データの画素数より少ない読みとり回数で、上記入力画像データ全体の範囲の画素信号を読み出すステップと、上記画素信号を読み出すステップで読み出された画素信号のうち、補間値を求める位置の近傍の画素信号に基づき、相関性の高い方向を判別するステップと、上記判別するステップで判別された相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、上記補間値を求める位置の画素信号を補間するステップと、を有することを特徴とする。

本発明によれば、画素補間を行う際に相関性のある方向を判別し、相関方向に応じた処理の切り替えと、参照する画素の距離に応じた重みづけ演算を行うことで、撮像素子の隣接する画素を加算して読み出す場合においても、解像感のある高品質な画像を生成することができる画像補間装置及び画像補間方法を提供することができる。

また、出力画像の倍率に応じて補間する位置を設定し、参照する画素との距離に対応した重みづけ係数を変更することにより、補間処理と変倍処理を同時に行うため、任意の倍率において高品質な出力画像を生成することができる画像補間装置及び画像補間方法を提供することもできる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
（構成）
図１は、本発明の第１実施形態に係る画像補間装置の適用された撮像装置の構成を示す図である。

即ち、撮像素子１０には、Ａ／Ｄ変換器２０を介して、読みとり手段としての読みとり部３０が接続されており、撮像素子１０のデータを読みとる。この読みとり部３０には、倍率設定部９０が接続されており、該倍率設定部９０からその設定値に応じた制御を受ける。この読みとり部３０によって読みとられた画像データは、画像バッファ４０に転送され、そこに保持される。

上記画像バッファ４０には、画素制御部５０が接続されている。この画素制御部５０は、上記倍率設定部９０とも接続されており、その設定値に応じた制御を受ける。さらに、この画素制御部５０には、相関判別手段としての相関判別部６０と補間手段としての補間部７０とが接続され、補間値を求める位置の近傍の画素の画素信号データを、上記画像バッファ４０からそれら相関判別部６０及び補間部７０へ順次転送している。

上記相関判別部６０では、補間値を求める位置において相関性の高い方向を検出して、その検出結果を上記補間部７０へと出力する。この補間部７０では、上記相関判別部６０からの相関性の高い方向データと、上記画素制御部５０からの補間値を求める位置の近傍の画素の画素信号データとを受け取り、補間演算によって補間値を算出する。そして、こうして補間された画像データは、出力部８０へ転送され、該画像データの表示または記録保存がなされる。

（作用）
このような構成の撮像装置においては、図示しないレンズ系及び撮像素子１０を通して撮影された画像データは、Ａ／Ｄ変換器２０においてディジタル信号に変換され、倍率設定部９０と接続している読みとり部３０の制御を受け、画像バッファ４０に一時的に保存される。なお、本実施形態では、色フィルタの無い白黒の撮像素子１０を使用しているものとし、該撮像素子１０は、ＣＭＯＳまたはＣＣＤを用いる。

倍率設定部９０は、入力画像に対する出力画像の大きさを定める倍率を設定するものである。ここで設定する値は、入力画像に対する出力画像の大きさの比率を指定し、任意の正の数とする。なお、値の設定方法は、手動で直接数字を入力することにより設定したり、スライダーバーや、ジョイスティックのようなインターフェイスで値を設定するなど、何でも構わない。また、予めいくつかの代表的な設定値を用意しておき、それらを切り替えるなどしても構わない。こうして該倍率設定部９０にて設定された値は、上記読みとり部３０及び画素制御部５０へと転送される。

読みとり部３０では、上記倍率設定部９０の設定値に基づいて、読み出す画像データの大きさがおよそ設定された値程度になるように、撮像素子１０のデータを制御して、隣接する複数の画素信号を加算したデータを読み出す。

例えば、倍率設定部９０で設定された値が「０．６」などの場合、出力画像が入力画像のおよそ１／２程度の大きさになるので、連続する２画素を加算したデータを読み出すこととなる。倍率設定部９０の加算値が「０．３」などの場合では、出力画像が入力画像のおよそ１／３程度の大きさになるので、連続する３画素を加算したデータを読み出すこととなる。

ここで、隣接する２画素の画素信号を加算して読み出す場合の具体例を、図２を用いて説明する。図２は、画像データの任意の１ラインを表現したものであり、図中の四角で示された部分は画素を示す。上段が入力画像の画素信号、下段が出力画像の画素信号であるとする。読みとり部３０において、それぞれの画素データを一度だけ読みとり、隣り合う画素を加算することにより、読みとり後のデータが得られる。このとき、結果的に得られるデータは、図２の下段に示すように、もとの画像データの連続する２画素を順番にすべて加算した画素信号データを、１画素おきに読み出す場合と同等のデータが得られる。

画像全体で考えた場合には、水平方向及び垂直方向にそれぞれ隣り合う２画素分のデータ、つまり図３（Ａ）の太線で囲まれた４画素分のデータを加算して一度に読み出すことになる。その結果、図３（Ｂ）の白色の画素の位置に相当する画素信号が得られることとなる。このとき、水平方向及び垂直方向のそれぞれにおいて、読み出し回数が１／２となるため、画面全体では画素数の１／４倍の読み出し回数で、画面全体の範囲内の画素データを読みとることができる。

ただし、本実施形態では連続する２画素の画素信号を加算する場合について説明したが、加算する画素の数は水平方向及び垂直方向それぞれ２画素の合計４画素の場合に限らない。水平方向、垂直方向それぞれ３画素の合計９画素を加算するなどしても構わない。この場合、読み出し回数は水平方向、垂直方向に関してそれぞれ１／３ずつ、画面全体としては画素数に対して１／９倍の読み出し回数で画面全体の範囲内の画素データを読み出すことができる。

画像バッファ４０と接続した画素制御部５０では、上記倍率設定部９０において設定された設定値に基づいて、補間画素信号を生成する位置を算出し、ぞれぞれの位置における近傍の画素信号を、相関判別部６０及び補間部７０へと順次転送する。

例えば、倍率設定部９０の設定値が「０．７５」の場合、入力画像に対する出力画像の大きさが７５％になるため、読みとり部３０では、撮像素子１０の水平、垂直方向に関して連続する２画素の画素信号データを加算して読み出す。画像バッファ４０には、図３（Ｂ）の場合と同様の、白色で示した位置に相当する画素信号が保持されている。このとき、入力画像の４画素分の幅の中で、３画素分の補間値が必要となるため、補間値を求める位置を等間隔に配置すると、図４中に白丸印で示したような位置における補間値を求めることとなる。

画素制御部５０では、ぞれぞれの補間値を求める位置に対して、その位置を取り囲むような近傍の４点の画素信号を順次、相関判別部６０及び補間部７０に転送する。例えば、図４のｐで示した位置の補間値を求める場合には、図中のＩ_１１，Ｉ_１３，Ｉ_３１，Ｉ_３３の画素信号を転送する。

相関判別部６０では、それぞれの補間値を求める位置において、相関性の高い方向を判別する。つまり、上記画素制御部５０より転送された画素信号に基づいて、水平方向、垂直方向、右上がり４５度方向、右下がり４５度方向、の４方向について相関性を示す値を計算し、それらの値を比較することにより、相関性の高い方向を判別する。

本実施形態では、それぞれの方向に並ぶ画素信号の絶対値差により相関値を求める。水平方向の相関値をｈｏｒ、垂直方向の値をｖｅｒ、右上がり４５度方向の値をｓｌａ、右下がり４５度方向の値をｂａｃ、とすると、それぞれの値は以下に示す式（１）により求められる。

ｈｏｒ＝｜Ｉ_１１−Ｉ_１３｜
ｖｅｒ＝｜Ｉ_１１−Ｉ_３１｜ （１）
ｓｌａ＝｜Ｉ_１３−Ｉ_３１｜
ｂａｃ＝｜Ｉ_１１−Ｉ_３３｜
上記式（１）により求められたそれぞれの方向に関する値を比較して、最も小さな値を検索し、その最も小さな値を示す方向を相関性の高い方向であると判別して、その方向を出力する。すべての方向に関して、求められた相関値が同程度の場合、あるいは求められた値のすべてが、予め設定した所定の値よりも大きい場合には、特定の方向には相関性がないと判別する。

なお、相関判別部６０から出力される値は、それぞれの方向と関連づけられた数値データ、例えば、水平方向を「１」、垂直方向を「２」、右上がり４５度方向を「３」、右下がり４５度方向を「４」、相関性が無い場合には「０」、などとする。

ただし、相関判別部６０から出力するデータは、これらの値に限定されることはない。方向が識別できるような値であれば、アルファベットなどの文字や記号など、何でも構わない。

また、絶対値差を求めるために使用する画素も、上記式（１）で示したような場合に限らない。補間する位置の近傍で、所定の方向に並ぶ他の画素を代用しても構わない。

さらに、所定の方向に並ぶ画素信号の絶対値差を用いて相関性の高い方向を判別したが、これに限定されることはない。２点の画素信号の比などの値で代用しても構わない。

補間部７０では、上記相関判別部６０の出力する相関性の高い方向と、補関値を求める位置と参照する画素との距離に基づいて、近傍の画素信号を重みづけ演算することで、補間値を求める。

例えば、図４のｐで示した位置の補間値を求める場合を説明する。このとき、画素制御部５０から補間部７０に転送される画素信号は、ｐの位置を取り囲むような４点の画素信号、つまり図中のＩ_１１，Ｉ_１３，Ｉ_３１，Ｉ_３３となる。

これらの画素信号の中から、相関判別部６０の出力する相関性の高い方向に基づき、補間演算に使用する画素を選択する。選択する画素の数は、相関性の有無、及び補間する位置と参照する画素との位置関係により変動する。

相関性の高い方向が存在する場合に補間演算に使用する画素は、次のようにして選択される。即ち、まず、相関性の高い方向に並ぶ２点の画素を選択し、補間位置がその２点の直線上にあるかどうかを調べる。直線上にある場合には、上記の２点の画素を補間演算に使用する画素として選択し、直線上にない場合には、上記の２点の画素と、さらに近傍のもう１点の画素を補間演算に使用する画素として選択する。ただし、それら選択された３点の画素は、それら３点を結んでできあがる三角形の内部に、補間する位置が存在するような点であるとする。また、特定の方向に相関性がない場合には、近傍の４点すべての画素信号を選択する。図４のｐの位置の補間値を求める場合において、相関性の高い方向別に選択する画素の具体例を示した表を、図５に示す。

次に、選択された画素の値を、補間する位置からの距離に応じて重み付け演算した上で、補間値を求める。このとき、ｐ位置の画素補間値をＩ_ｐとすると、以下の式（２）から式（６）で示された計算により、補関値が求められる。

相関性の高い方向が垂直方向の場合、
Ｉ_ｐ＝ａ_ｖＩ_１１＋ｂ_ｖＩ_１３＋ｃ_ｖＩ_３１ （２）
相関性の高い方向が水平方向の場合、
Ｉ_ｐ＝ａ_ｈＩ_１１＋ｂ_ｈＩ_１３＋ｃ_ｈＩ_３１ （３）
相関性の高い方向が右上がり４５度方向の場合、
Ｉ_ｐ＝ａ_ｓＩ_１１＋ｂ_ｓＩ_１３＋ｃ_ｓＩ_３１ （４）
相関性の高い方向が右下がり４５度方向の場合、
Ｉ_ｐ＝ａ_ｂＩ_１１＋ｄ_ｂＩ_３３ （５）
相関性がない場合、
Ｉ_ｐ＝ａ_ｎＩ_１１ｂ_ｎＩ_１３＋ｃ_ｎＩ_３１＋ｄ_ｎＩ_３３ （６）
右下がり方向に相関性が高い場合を示す上記式（５）では、補間する位置が参照する画素の直線上にあるため、２点の画素値の演算により補間値が求められている。

ただし、上記係数ａ_ｖ，ｂ_ｖ，ｃ_ｖ，ａ_ｈ，ｂ_ｈ，ｃ_ｈ，ａ_ｓ，ｂ_ｓ，ｃ_ｓ，ａ_ｂ，ｄ_ｂ，ａ_ｎ，ｂ_ｎ，ｃ_ｎ，ｄ_ｎは１以下の正の定数であり、
ａ_ｖ＋ｂ_ｖ＋ｃ_ｖ＝１
ａ_ｈ＋ｂ_ｈ＋ｃ_ｈ＝１
ａ_ｓ＋ｂ_ｓ＋ｃ_ｓ＝１
ａ_ｂ＋ｄ_ｂ＝１
ａ_ｎ＋ｂ_ｎ＋ｃ_ｎ＋ｄ_ｎ＝１
であるとする。

これらの係数の値は、参照する画素と補間する位置との距離が近いほど大きな値が設定され、距離が遠いほど小さな値が設定される。また、相関性の高い方向に並ぶ画素の係数により重みがかけられ、値が大きくなるように設定される。相関性がない場合には、補間する位置と参照する画素との距離に反比例した値が設定される。

なお、本実施形態では、重み付け演算により補間値を求めたが、これに限定されることはない。相加平均などの他の方法も利用できる。

同様の手順を、他のすべての補間位置についても繰り返し、大きさの変倍された１枚の画像データを得る。

以上の、画像バッファ４０から画素信号を読み込み、相関判別部６０と補間部７０における処理の流れをまとめて、図６にフローチャートで示す。

まず、画素制御部５０において、倍率設定部９０の設定する出力画像の設定値に応じて出力画像の大きさを決定し、補間画素信号を求める位置を求める（ステップＳ１）。そして、このステップＳ１で求められた補間画素信号を求める位置の近傍の画素信号を、画像バッファ４０から読みとり、相関判別部６０及び補間部７０に転送する（ステップＳ２）。

相関判別部６０は、上記画素制御部５０により画像バッファ４０から転送された近傍の画素信号に基づいて、水平方向、垂直方向、右上がり４５度方向、右下がり４５度方向、のそれぞれについて、相関性を示す値を求める（ステップＳ３）。そして、このステップＳ３で求めたそれぞれの方向に関しての相関性を示す値に基づき、補間画素信号を求める位置において相関性の高い方向を判別する（ステップＳ４）。

補間部７０は、補間値を求める位置において特定の方向に相関性があるかどうかを調べる（ステップＳ５）。ここで、相関性がない場合には、近傍の４点の画素信号を重みづけ演算して、補間値を求める（ステップＳ６）。

これに対して、相関性がある場合には、補間値を求める位置が、参照する画素を結ぶ直線上にあるかどうかを調べる（ステップＳ７）。ここで、直線上にない場合には、補間値を求める位置を取り囲むような３点の画素信号を重みづけ演算して、補間値を求める（ステップＳ８）。また、直線上にある場合には、２点の画素信号を重みづけ演算して、補間値を求める（ステップＳ９）。

こうして補間値が求められたならば、画素制御部５０は、上記ステップＳ１で算出したすべての位置に関して補間画素信号を求めたかどうかを調べる（ステップＳ１０）。まだ求めていなければ上記ステップＳ２に戻って同様の手順を繰り返し、すべて求めていれば終了する。

なお、本実施形態では、水平方向及び垂直方向のどちらに関しても同じ倍率で変倍したが、これに限定されることはない。どちらか一方のみを変倍しても構わないし、水平方向と垂直方向で倍率が異なっても構わない。

さらに、縮小する場合を例にしたが、これに限定されることはなく、拡大する場合などにも本手法は適用できる。

上記のようにして補間部７０での補間処理により得られた画像データは出力部８０に送られ、モニタなどに表示されたり、記録媒体などに保存される。

［第２実施形態］
（構成）
図７は、本発明の第２実施形態に係る画像補間装置の適用された撮像装置の構成を示す図である。

即ち、前面に色フィルタ１１が配置された撮像素子１０には、倍率設定部９０に接続された読みとり部３０がＡ／Ｄ変換器２０を介して接続され、図示しないレンズ系、撮像素子１０を通して撮影された映像データは、Ａ／Ｄ変換器２０においてディジタル信号に変換され、倍率設定部９０と接続している読みとり部３０の制御を受け、画像バッファ４０に保持される。

この画像バッファ４０には、上記倍率設定部９０と接続されている画素制御部５０が接続されている。この画素制御部５０には、相関判別部６０と補間部７０とが接続され、補間値を求める位置の近傍の画素信号データを順次転送している。

上記相関判別部６０では、補間値を求める位置において相関性の高い方向を検出して、その検出結果を上記補間部７０へと出力する。この補間部７０では、上記相関判別部６０から相関性の高い方向データと、上記画素制御部５０から画素信号データを受け取り、補間演算によって補間データを生成し、出力部８０へその補間された画像データを出力する。そして、出力部８０では、その画像データの表示または記録保存がなされる。

（作用）
次に、図７を参照して信号の流れを説明するが、本実施形態における画像補間装置の基本的な動作としては、上記第１実施形態とほぼ同様である。よって、以下では、主に上記第１実施形態と異なる部分について説明する。

即ち、本実施形態では、撮像素子１０の前面に、色フィルタ１１が配置されている。この色フィルタ１１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、の３色からなる原色ベイヤ型を使用している。ただし、色フィルタ１１はそのような原色型に限定される必要はない。Ｃ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）、Ｇ（グリーン）、の色からなる補色型のフィルタなども利用できる。

また、本実施形態では、撮像素子１０はＣＭＯＳを用いているが、これに限定される必要はなく、ＣＣＤなども利用できる。

倍率設定部９０では、予め入力画像に対する出力画像の大きさを定める倍率を設定し、設定された値は、読みとり部３０及び画素制御部５０へと転送される。

読みとり部３０では、上記倍率設定部９０の設定値に基づいて、読み出される画像データの大きさがおよそ設定された値程度になるように、撮像素子１０のデータを制御して、隣接する同色の画素信号を加算したデータを出力する。

例として、隣接する同色の２画素の画素信号を加算して読み出す場合を説明する。図８に画素信号を加算して読み出す読みとり部３０の動作概略を示す。図８の左側が入力の画像データを示し、図８の中央が加算する隣接の同色画素を示し、図８の右側が読みとり部３０から出力されるデータを示す。

上記の手順を繰り返すことで、元の画像データの隣接する同色の画素を順次加算した画素信号データを、同色の画素について１画素おきに読み出した場合と同等のデータを得ることができる。つまり最終的には、図９（Ａ）に示した入力画像データに対して、図９（Ｂ）の出力データに示すような位置に相当する画像データを得たこととなる。

ただし、本実施形態では、隣接する同色の２画素を加算する場合について述べたが、これに限定される必要はなく、隣接する同色の３画素を加算するなどしても構わない。

上記のようにして読みとり部３０で読みとられた画像データは、転送され画像バッファ４０に一時的に保存される。この画像バッファ４０に接続された画素制御部５０では、倍率設定部９０において設定された出力画像の大きさを定める設定値に基づいて、補間画素信号を生成する位置を算出し、それぞれの位置に対する近傍の画素信号を、相関判別部６０及び補間部７０へと順次転送する。

例えば、倍率設定部９０の設定値が「０．７５」の場合、入力画像の４画素分の幅で３画素の補間画素信号が必要となるため、図１０中に白丸印を示した位置の補間値を求めることとなる。

画素制御部５０では、補間位置を含むような近傍の４×４点の画素信号を順次相関判別部６０及び補間部７０に転送する。例えば、図１０のｐで示した位置の補間値を求める場合には、図中ハッチングを付して示すＲ１１からＢ６６までの範囲内の画素信号が転送される。

相関判別部６０では、それぞれの相関値を求める位置において、相関性の高い方向を判別する。つまり、上記画素制御部５０より転送された画素信号をもとに、水平方向、垂直方向、右上がり４５度方向、右下がり４５度方向、の４方向について相関性を示す値を計算し、それらの値を比較することで判別する。

本実施形態では、補間値を求める位置の近傍で、所定の方向に並ぶ同色の画素信号の絶対値差により相関性を判別する。水平方向の相関値をｈｏｒ、垂直方向の相関値をｖｅｒ、右上がり４５度方向の相関値をｓｌａ、右下がり４５度方向の相関値をｂａｃ、とすると、それぞれの方向における相関値は、以下の式（７）により求められる。

ｈｏｒ＝｜Ｒ_５１−Ｒ_５５｜＋｜Ｇ_５２−Ｇ_５６｜
ｖｅｒ＝｜Ｇ_１２−Ｇ_５２｜＋｜Ｂ_２２−Ｂ_６２｜ （７）
ｓｌａ＝｜Ｇ_２５−Ｇ_６１｜＋｜Ｂ_６２−Ｂ_２６｜
ｂａｃ＝｜Ｇ_２１−Ｇ_６５｜＋｜Ｂ_２２−Ｂ_６６｜
そして、上記式（７）によって求められたそれぞれの方向に関する値を比較して、最も小さな値を検出し、その方向の相関性が高いと判断して、その方向を示す値を出力する。求められた相関値が、すべての方向に関して同程度の場合、あるいは、求められた値が予め設定した所定の値よりも大きい場合には、特定の方向には相関性が無いと判別する。

相関判別部６０からは、所定の方向に関連づけされた数値データが出力されるが、これに限定されることはなく、記号や文字など、方向が識別できるような値であれば何でも構わない。

また、所定の方向に関する画素信号の絶対値差を求めるために使用する画素は、上記式（７）の場合に限定されることはない。補間値を求める位置の近傍で、所定の方向に並ぶ他の画素を使用しても構わないし、複数の画素を組み合わせても構わない。

さらに、相関性を示す値として、所定の方向に並ぶ画素信号の絶対値差を用いたが、これに限定されることはなく、２点の画素信号の比などの値で代用しても構わない。

補間部７０では、上記相関判別部６０の出力する相関性の高い方向と、補間値を求める位置と参照する画素との距離に基づいて、近傍の画素信号を重み付け演算することで、補間値を求める。

例えば、図１０のｐで示した位置の補間値を求める場合を説明する。このとき、図１０のハッチングを付した画素信号が画素制御部５０より転送されている。これらの画素信号の中から、補間演算に使用する画素を選択する。その選択は、まず相関性の高い方向に並ぶ２点の同色画素を選択し、その２点の直線上に補間位置が無い場合には、さらに近傍のもう１点の合計３点の画素信号を選択するというものである。相関性が無い場合には、近傍の同色４点の画素信号を選択する。図１０のｐの位置のＧの補間信号を求める場合において、相関性の高い方向毎に選択する画素の具体例を図１１に示す。

次に、選択する画素を、補間値を求める位置から参照する画素までの距離に応じた重みづけ演算により、補間値を求める。このとき、ｐ位置の画素補間値Ｉ_ｐは、以下の式により求められる。

相関性の高い方向が垂直方向の場合、
Ｉ_ｐ＝ａ_ｖＧ_１２＋ｂ_ｖＧ_５２＋ｃ_ｖＧ_２５
相関性の高い方向が水平方向の場合、
Ｉ_ｐ＝ａ_ｈＧ_５２＋ｂ_ｈＧ_５６＋ｃ_ｈＧ_２５
相関性の高い方向が右上がり４５度方向の場合、
Ｉ_ｐ＝ａ_ｓＧ_５２＋ｂ_ｓＧ_２５＋ｃ_ｓＧ_６５
相関性の高い方向が右下がり４５度方向の場合、
Ｉ_ｐ＝ａ_ｂＧ_２１＋ｂ_ｂＧ_６５＋ｃ_ｂＧ_２５
相関性が無い場合、
Ｉ_ｐ＝ａ_ｎＧ_１２＋ｂ_ｎＧ_５２＋ｃ_ｎＧ_２５＋ｄ_ｎＧ_６５
ただし、係数ａ_ｖ，ｂ_ｖ，ｃ_ｖ，ａ_ｈ，ｂ_ｈ，ｃ_ｈ，ａ_ｓ，ｂ_ｓ，ｃ_ｓ，ａ_ｂ，ｂ_ｂ，ｃ_ｂ，ａ_ｎ，ｂ_ｎ，ｃ_ｎ，ｄ_ｎは１以下の正の定数であり、
ａ_ｖ＋ｂ_ｖ＋ｃ_ｖ＝１
ａ_ｈ＋ｂ_ｈ＋ｃ_ｈ＝１
ａ_ｓ＋ｂ_ｓ＋ｃ_ｓ＝１
ａ_ｂ＋ｂ_ｂ＋ｃ_ｂ＝１
ａ_ｎ＋ｂ_ｎ＋ｃ_ｎ＋ｄ_ｎ＝１
であるとする。

これらの係数の値は、参照する画素と補間値を求める位置との距離に応じて設定され、距離が近いほど大きな値が設定され、距離が遠いほど小さな値が設定される。また、相関性の高い方向に並ぶ画素により重みがかけられ、より大きな値の係数が設定される。相関性が無い場合には、補間値を求める位置と参照する画素との距離に反比例した値が設定される。

Ｒ及びＢの補間についても、上記Ｇの場合と同様の手順でそれぞれの色の補間値を求める。

以上の流れを他の補間位置に対しても繰り返し行う。処理の流れは、上記第１実施形態で示した図６と同様であるが、色フィルタ１１のそれぞれの色に関して行う。

ただし、Ｒ及びＢの補間に関しては、出現頻度がＧと比較して少ないため、上記の方法に限定されることはなく、Ｇの色との色相関関係を用いて補間値を求めても構わない。つまり、補間位置近傍のＲとＧの比率、またはＢとＧの比率をそのまま、補間位置にも適用してそれぞれの値を求めても構わない。

すべての補間位置に対して補間値が計算されると終了し、１枚の画像データが出力される。

なお、本実施形態では水平方向及び垂直方向のどちらに関しても同じ倍率で変倍したが、これに限定されることはない。どちらか一方のみを変倍しても構わないし、水平方向と垂直方向とで倍率が異なっても構わない。さらに、本実施形態では縮小する場合を例にしたが、これに限定されることはなく、拡大する場合などにも本手法は適用できる。

出力された画像データは出力部８０に送られ、モニタなどに表示されたり、記録媒体などにデータが保存される。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

本発明の第１実施形態に係る画像補間装置の適用された撮像装置の構成を示す図である。 読みとり部における隣接する２画素の画素信号を加算して読み出す場合の具体例を説明するための、画像データの任意の１ラインを表現した図である。 （Ａ）は隣接する２画素を加算して読み出す場合における入力される画素信号データの例を示す図であり、（Ｂ）はその場合における出力される画素信号データの例を示す図である。 補間値を求める位置の例を示す図である。 図４のｐの位置の補間値を求める場合に相関性の高い方向別に選択する画素の具体例を示した図である。 第１実施形態における補間処理の流れを説明するためのフローチャートを示す図である。 本発明の第２実施形態に係る画像補間装置の適用された撮像装置の構成を示す図である。 第２実施形態における読みとり部の動作概略を説明するための図である。 （Ａ）は読みとり部への入力データの例を示す図であり、（Ｂ）は出力データの例を示す図である。 補間値を求める位置の例を示す図である。 図１０のｐの位置のＧの補間信号を求める場合における相関性の高い方向毎に選択する画素の具体例を示す図である。

符号の説明

１０…撮像素子、 １１…色フィルタ、 ２０…Ａ／Ｄ変換器、 ３０…読みとり部、 ４０…画像バッファ、 ５０…画素制御部、 ６０…相関判別部、 ７０…補間部、 ８０…出力部、 ９０…倍率設定部。

Claims (18)

1. 撮像素子から読み出される画素信号を補間する画像補間装置において、
   撮像素子の画素数より少ない読みとり回数で、上記撮像素子全体の範囲の画素信号を読み出す読みとり手段と、
   上記読みとり手段で読み出された画素信号のうち、補間値を求める位置の近傍の画素信号に基づき、相関性の高い方向を判別する相関判別手段と、
   上記相関判別手段で判別された上記相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、上記補間値を求める位置の画素信号を補間する補間手段と、
   を具備することを特徴とする画像補間装置。
2. 上記補間手段は、上記相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、画素信号を補間して、画像の大きさが変倍された画像データを生成することを特徴とする請求項１に記載の画像補間装置。
3. 上記撮像素子は、色フィルタを前面に配置されてなり、
   上記相関判別手段は、上記補間値を求める位置の近傍の画素信号に基づき相関性の高い方向を判別することを特徴とする請求項１又は２に記載の画像補間装置。
4. 上記読みとり手段は、撮像素子の隣接する複数の画素信号を加算して読み出すことを特徴とする請求項１又は２に記載の画像補間装置。
5. 上記読みとり手段は、撮像素子の隣接する同色の複数の画素信号を加算して読み出すことを特徴とする請求項３に記載の画像補間装置。
6. 上記読みとり手段は、出力する画像の大きさに応じて加算する画素の数を変更して、撮像素子の隣接する複数の画素信号を加算して読み出すことを特徴とする請求項２に記載の画像補間装置。
7. 上記読みとり手段は、出力する画像の大きさに応じて加算する同色の画素の数を変更して、撮像素子の隣接する同色の複数の画素信号を加算して読み出すことを特徴とする請求項３に記載の画像補間装置。
8. 上記相関判別手段は、
   上記補間値を求める位置の近傍の画素信号から、複数の方向に関して相関性を示す値を求め、
   上記位置における相関性の高い方向を、上記相関性を示す値を元に判別することを特徴とする請求項１乃至３の何れかに記載の画像補間装置。
9. 上記相関性を示す値は、上記補間値を求める位置の近傍で、所定の方向に並ぶ画素信号の絶対値差であることを特徴とする請求項８に記載の画像補間装置。
10. 上記相関性を示す値は、上記補間値を求める位置の近傍で、所定の方向に並ぶ画素信号の値の比であることを特徴とする請求項８に記載の画像補間装置。
11. 上記補間手段は、上記相関性の高い方向に基づいて、参照する近傍の画素を切り替えて補間値を求めることを特徴とする請求項１乃至３の何れかに記載の画像補間装置。
12. 上記補間手段は、上記補間値を求める位置と参照する近傍の画素との距離に応じた重みづけ演算により補間値を求めることを特徴とする請求項１乃至３の何れかに記載の画像補間装置。
13. 上記補間手段は、上記相関性の高い方向に基づいて、相関性の高い方向に並ぶ画素信号に重みづけした演算により補間値を求めることを特徴とする請求項１乃至３の何れかに記載の画像補間装置。
14. 上記補間手段は、上記補間値を求める位置の近傍の画素信号における、画素間の色の相関関係に基づいて補間値を求めることを特徴とする請求項３に記載の画像補間装置。
15. 撮像素子から読み出される画素信号を補間する画像補間方法において、
    撮像素子の画素数より少ない読みとり回数で、上記撮像素子全体の範囲の画素信号を読み出すステップと、
    上記画素信号を読み出すステップで読み出された画素信号のうち、補間値を求める位置の近傍の画素信号に基づき、相関性の高い方向を判別するステップと、
    上記判別するステップで判別された相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、上記補間値を求める位置の画素信号を補間するステップと、
    を有することを特徴とする画像補間方法。
16. 上記補間するステップは、上記相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、画素信号を補間して、画像の大きさが変倍された画像データを生成することを特徴とする請求項１５に記載の画像補間方法。
17. 入力画像データの画素信号を補間する画像補間装置において、
    入力画像データの画素数より少ない読みとり回数で、上記入力画像データ全体の範囲の画素信号を読み出す読みとり手段と、
    上記読みとり手段で読み出された画素信号のうち、補間値を求める位置の近傍の画素信号に基づき、相関性の高い方向を判別する相関判別手段と、
    上記相関判別手段で判別された上記相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、上記補間値を求める位置の画素信号を補間する補間手段と、
    を具備することを特徴とする画像補間装置。
18. 入力画像データの画素信号を補間する画像補間方法において、
    入力画像データの画素数より少ない読みとり回数で、上記入力画像データ全体の範囲の画素信号を読み出すステップと、
    上記画素信号を読み出すステップで読み出された画素信号のうち、補間値を求める位置の近傍の画素信号に基づき、相関性の高い方向を判別するステップと、
    上記判別するステップで判別された相関性の高い方向に基づき、上記近傍の画素信号を上記補間値を求める位置からの距離に応じて重みづけし、上記補間値を求める位置の画素信号を補間するステップと、
    を有することを特徴とする画像補間方法。

Images