JP2006053887A - 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体 - Google Patents

解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2006053887A
JP2006053887A JP2005039603A JP2005039603A JP2006053887A JP 2006053887 A JP2006053887 A JP 2006053887A JP 2005039603 A JP2005039603 A JP 2005039603A JP 2005039603 A JP2005039603 A JP 2005039603A JP 2006053887 A JP2006053887 A JP 2006053887A
Authority
JP
Japan
Prior art keywords
pixel
interpolation
value
image
interpolation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005039603A
Other languages
English (en)
Other versions
JP4864332B2 (ja
Inventor
Takeshi Namie
健史 浪江
Kenji Kameyama
健司 亀山
Toshiharu Murai
俊晴 村井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2005039603A priority Critical patent/JP4864332B2/ja
Priority to US11/179,850 priority patent/US7551805B2/en
Publication of JP2006053887A publication Critical patent/JP2006053887A/ja
Application granted granted Critical
Publication of JP4864332B2 publication Critical patent/JP4864332B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation

Abstract

【課題】補間画素の画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映した、高品位の画像を得る。
【解決手段】４点の参照画素の画素値中、最大の画素値と最小の画素値の差Ｍを算出し（１０３、１０４）、Ｍが０の場合には、何れかの参照画素の画素値を補間画素の画素値とする（１０８）。Ｍが０以外の場合、４点参照画素の画素値の平均を求め（１０５）、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均との差を用いて、変数Ｚ００〜Ｚ１１を算出する（１０６）。各参照画素の画素値とＺ００〜Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値を算出する（１０７）。
【選択図】図２

Description

本発明は、入力画像データの解像度を変換し、解像度の異なる画像データを作成する、解像度変換の補間方法と、前記補間方法を行う画像処理装置、画像表示装置、プログラムおよび記録媒体に関する。
画像を表示する画像表示装置としては、ＣＲＴ，ＬＣＤ，ＰＤＰ，プロジェクタ等がある。これらの表示装置は固有の出力解像度を有している。また入力される画像にも固有の解像度を有しており、入力される画像の解像度と表示装置の解像度が同一であれば問題なく表示を行うことができるが、異なる場合には、表示されない画素の発生や、表示装置で使用されない画素が発生する。これらの問題を発生させないために、入力画像と表示装置の解像度を等しくする解像度変換という処理や、それを行う画像処理装置が必要となってくる。解像度変換は、画像の拡大・縮小処理においても用いられる。
解像度変換を行う場合、入力画像の各画素を規定した座標上に割付け、この座標上に出力画像の補間画素の割付けを行う。解像度変換の補間処理は、座標上の補間画素の画素値を補間画素の周囲に存在する参照画素の画素値を元にして決定する処理である。従来の補間方法は、この補間画素値の決定を種々の方法で行っている。
従来知られている代表的な方法としては、補間画素に最も近い距離にある参照画素の画素値を補間画素の画素値とする最近傍補間法、補間画素の周囲にある参照画素について、それぞれ補間画素との距離に反比例して各画素値に重み付けを行い、補間画素の画素値を算出する線形補間法、参照画素の有する画素値から３次近似した関数や多項式を求め、その式を用いて補間画素の画素値を算出する標本化関数補間法やスプライン補間法等の方法がある。これらの方法の詳細は、例えば非特許文献１に記載されている。
また、対角位置にある２つの参照画素の画素値差が大きい場合には、これとは別な対角位置にある２つの参照画素を結ぶ方向に境界線を仮定し、補間画素の周囲近傍にある４つの参照画素によって囲まれる補間画素位置をこの仮想境界線によって２つの三角形領域に分割し、補間画素を含む三角形領域を構成する３つの参照画素を用いた補間処理を行うことで、境界線部を比較的滑らかにする方法がある（例えば、特許文献１を参照）。
画像処理ハンドブック、昭晃堂刊、画像処理ハンドブック編集委員会編、２７４頁以降 特許第２７９６９００号公報
従来の補間方法である最近傍補間法は、最も近い距離にある参照画素の画素値を補間画素の画素値とし、画素の形状をそのまま引伸ばすため、曲線や斜めの直線が階段のようにギザギザになるジャギーが発生し、画質が悪くなるという問題がある。線形補間法は、参照画素と補間画素の距離によって補間画素の画素値を算出するため、画像の境界部は滑らかになるが、それに伴い画像全体で境界部が不鮮明になるという問題がある。標本化関数補間法やスプライン補間法等の方法は、ある程度の滑らかな画像を得ることができ、境界部の劣化を防止するが、参照画素数が膨大になることから、演算が複雑になり、回路規模も大きくなり、さらに参照画素として補間画素を囲む近傍の画素よりも外部の画素をも用いることとなるため、補間画素の画素値に不必要な情報も反映されてしまうという問題があった。
また、特許文献１では参照画素数も少なく、境界線部の滑らかさや、境界の不鮮明さは線形補間法に比べ優れているが、三角形領域を元に補間処理を行っているため、画像の方向性によって、ジャギーが発生する問題がある。
以上、従来の補間方法では、重み付けの因子として補間画素と参照画素の距離のみを用いているため、参照画素数を少なくすると、元画像の情報を補間後の画像に多くは反映することができず、低品位の画像になってしまう。これを解消するために、参照画素数を増やすという方法が取られるが、忠実に画像情報を反映するためには、多くの参照画素数が必要になる。しかし、参照画素数が増えると、不要な情報、つまりノイズとなる情報も補間画素の画素値に反映されてしまうという副作用も発生することとなる。さらに演算が複雑になることから、回路規模も増大してしまう。
そこで、本発明の目的は、補間画素の画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映した、高品位の画像を得ることができる解像度変換の補間方法、その補間方法を行う画像処理装置、画像表示装置、プログラムおよび記録媒体を提供することにある。
（実施例１〜６）
少ない参照画素数でも、補間後の画像に元画像の情報をより忠実に反映した高品位の画像を得るために、本発明では、入力された画像の当該画素（以下、元画素）間に補間する画素（以下、補間画素）を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記各元画素（以下、参照画素）の画素値及び、前記補間画素と前記各参照画素間の距離を用いて重み付けを行うことにより、前記補間画素の画素値を生成することを特徴とし、重み付けに従来の補間画素と参照画素の距離による因子に加えて、参照画素の画素値も因子として解像度変換処理を行うことにより、ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも元画像の情報を忠実に反映した高品位の画像を得ることができることから、回路規模が小さくなり、さらに高速処理による高品位画像の動画表示が可能となる。
元画像の情報を補間後の画像に忠実に反映した高品位な画像を得るために、本発明の前記参照画素の画素値を用いた重み付けとは、前記参照画素と第一の所定値との差を用いることを特徴とし、各参照画素と所定の画素値との差を、補間画素を生成するための重み付けとして用いることにより、補間画素に元画像の内容をより忠実に反映することが可能になり、より高品位の画像を得ることができる。
元画像情報を忠実に反映した、境界部の滑らかな画像を得るために、本発明の第一の所定値とは、前記参照画素の画素値の平均であることを特徴とし、各参照画素の画素値と参照画素の画素値の平均との差を重み付けに用いることにより、補間画素の参照する参照画素の傾向を表す画素値の平均に対して、差の大きな参照画素の重み付けを減らすことにより、元画像の情報が反映され、境界部の滑らかで鮮明な画像を得ることができる。
境界の鮮明な画像を得るために、本発明の第一の所定値とは、前記各参照画素の非対角に位置する前記参照画素の平均画素値であることを特徴とし、各参照画素の画素値と非対角に位置する参照画素の平均画素値の差を重み付けに用いることにより、斜め方向の画素値の変化量を反映できることになり、斜め方向の境界が鮮明な画像を得ることができる。
境界の鮮明な画像が得られる、別の方法を提供するために、本発明の第一の所定値とは、前記各参照画素の対角に位置する参照画素の画素値であることを特徴とし、各参照画素の画素値と、各々の参照画素の対角に位置する参照画素の画素値の差を重み付けに用いることにより、参照画素の画素値の方向性を反映することができることになり、境界の方向性がはっきりした鮮明な画像を得ることができる。また第一の所定値が対角に位置する参照画素の画素値となることで、第一の所定値を得るための演算量が減り、処理速度が向上する。
画素間距離を用いた重み付けと、画素値を用いた重み付けのバランスをとることで、元画像情報をより忠実に反映した画像を得るために、本発明の前記参照画素を用いた重み付けとは、前記参照画素値と前記第一の所定値の差をそれより大きな第二の所定値で規格化した値を用いることを特徴とし、画素間距離を用いた重み付けと、画素値を用いた重み付けの寄与率を第二の所定値により規格化することにより、元画像情報をより忠実に反映した境界部が滑らかで鮮明な高品位の画像を得ることができる。
参照画素と第一の所定値の差を規格化する具体的手段を提供するために、本発明の前記第二の所定値とは、画素値としてとりうる最大値（最大画素値）以上の任意の定数であることを特徴とし、補間画素の画素値を、参照画素の画素値と第一の所定値との差を最大画素値以上の任意の定数である第二の所定値を用いて規格化することにより、参照画素の画素値と第一の所定値の差の量により画像情報の反映割合を調節した画像が得られ、第二の所定値が定数であることから、演算が少なくなり演算速度が向上する。
参照画素と第一の所定値の差を規格化する別の具体的手段を提供するために、本発明の前記第二の所定値とは、前記参照画素の画素値により定まる値であることを特徴とし、補間画素の画素値を、参照画素の画素値と第一の所定値との差を参照画素の値に応じて定まる値により規格化することにより、元画像情報を画面全体で均等に反映した画像を得ることができる。
個々の補間画素の生成に用いる参照画素の画像情報に応じた、参照画素と第一の所定値の差を用いた重み付けを規格化する手段を提供しつつ、処理速度を向上させるために、本発明の前記参照画素の画素値により定まる値は、前記参照画素中の最大及び最小の画素値を用いた値であることを特徴とし、補間画素の画素値を参照画素の画素値と、第一の所定値との差を参照画素の状況に応じて定まる値により規格化することにより、元画像情報を画面全体で均等に反映した画像を得ることができるとともに、最大と最小値を用いて第二の所定値を算出することで、他の参照画素の画素値により定めるよりも、処理速度が速くなる。
処理速度を向上させるために、本発明では、前記補間画素を生成するために参照する前記参照画素の画素値が全て同一である場合、前記参照画素中の画素値を前記補間画素の画素値とする処理を行うことを特徴とし、補間画素を生成するために参照する参照画素の画素値が全て同一である場合、参照画素中の画素値を補間画素の画素値とする処理を行うことにより、画素値を求めるための以後の計算が不要となり、処理速度が向上する。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の滑らかな画像を得られる、具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１とし、前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記補間画素と前記参照画素４点の画素値の平均値をＡＶＥ、前記第二の所定値を画素値の用いることが可能な最大画素値以上の任意の定数ＭＡとした時、少なくとも、
AVE=(a00+a01+a10+a11)/4
Z00=x2・y2・(1-|a00-AVE|/MA)
Z10=x1・y2・(1-|a10-AVE|/MA)
Z01=x2・y1・(1-|a01-AVE|/MA)
Z11=x1・y1・(1-|a11-AVE|/MA)
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により、前記補間画素の画素値を生成することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素の画素値と、４点の参照画素の画素値の平均との差と、第二の所定値として画素値の用いることが可能な最大画素値以上の任意の定数を用いて算出される因子を用いて、補間処理を行うことにより、参照画素の傾向を表す画素値の平均に対して、差の大きな参照画素の重み付けを減らすことで、元画像の情報が反映された、境界部の滑らかで鮮明な高品位の画像を得ることができる。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の滑らかな画像を得られる、別の具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１、前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記補間画素と前記参照画素４点の画素値の平均値をＡＶＥ、前記参照画素４点の画素値の最大値をＭａｘ、最小値をＭｉｎ。第三の所定値をα＞０とし、第二の所定値Ｍ１をＭａｘ−Ｍｉｎ＋αとした時、少なくとも、
M1=Max-Min+α
AVE=(a00+a01+a10+a11)/4
Z00=x2・y2・(1-|a00-AVE|/M1)
Z10=x1・y2・(1-|a10-AVE|/M1)
Z01=x2・y1・(1-|a01-AVE|/M1)
Z11=x1・y1・(1-|a11-AVE|/M1)
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により前記補間画素の画素値を生成することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素の画素値と、４点の参照画素の画素値の平均との差と、第二の所定値として参照画素中の最大及び最小な画素値の差以上の値を用いて算出される因子を用いて、補間処理を行うことにより、参照画素の傾向を表す画素値の平均に対して、差の大きな参照画素の重み付けを減らすことで、画像情報を一定の割合で反映した、境界部の滑らかで鮮明な高品位の画像を得ることができる。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の滑らかな画像を得られる具体的な方法の処理速度を向上させるために、本発明では、
M=Max-Min=0
の時に、b=a00(a10,a01,a11でも可)とし、前記補間画素の画素値ｂを生成する処理を行うことを特徴とし、参照画素の画素値差が０、つまり全て等しい場合、参照画素のいずれかの画素値を補間画素の画素値とする処理を行うことにより、重み付け等の以後の演算が不要となるため、処理速度を向上させることができる。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の鮮明な画像を得られる、具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１、前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記第二の所定値を画素値の用いることが可能な最大画素値以上の任意の定数ＭＡとした時、少なくとも、
Z00=x2・y2・(1-|a00-(a10+a01)/2|/MA)
Z10=x1・y2・(1-|a10-(a00+a11)/2|/MA)
Z01=x2・y1・(1-|a01-(a00+a11)/2|/MA)
Z11=x1・y1・(1-|a11-(a10+a01)/2|/MA)
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により、前記補間画素の画素値を生成することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素の画素値と、非対角に位置する２つの参照画素の平均との差と、第二の所定値として画素値の用いることが可能な最大画素値以上の任意の定数を用いて算出される因子を用いて、補間処理を行うことにより、非対角に位置する画素値の平均との差の少ない、つまり変化の少ない参照画素の寄与を高めることで、元画像の情報、特に画像の方向性が反映された、境界部の鮮明な高品位の画像を得ることができる。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の鮮明な画像を得られる、別の具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１とする。前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記参照画素４点の画素値の最大値をＭａｘ、最小値をＭｉｎ、第三の所定値をα＞０、第二の所定値Ｍ１をＭａｘ−Ｍｉｎ＋αとした時、少なくとも、
M1=Max-Min+α
Z00=x2・y2・(1-|a00-(a10+a01)/2|/M1)
Z10=x1・y2・(1-|a10-(a00+a11)/2|/M1)
Z01=x2・y1・(1-|a01-(a00+a11)/2|/M1)
Z11=x1・y1・(1-|a11-(a10+a01)/2|/M1)
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により前記補間画素の画素値を生成することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素の画素値と、非対角に位置する２つの参照画素の平均との差と、第二の所定値として画素値の用いることが可能な最大画素値以上の任意の定数を用いて算出される因子を用いて、補間処理を行うことにより、非対角に位置する画素値の平均との差の少ない、つまり変化の少ない参照画素の寄与を高めることで、元画像の情報、特に画像の方向性が一定の割合で反映された、境界部の鮮明な高品位の画像を得ることができる。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の鮮明な画像を得られる、処理速度を向上させた具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１、前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記第二の所定値を画素値の用いることが可能な最大画素値以上の任意の定数ＭＡとした時、少なくとも、
Z00=x2・y2・(1-|a00-a11|/MA)
Z10=x1・y2・(1-|a10-a01|/MA)
Z01=x2・y1・(1-|a01-a10|/MA)
Z11=x1・y1・(1-|a11-a00|/MA)
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により、前記補間画素の画素値を生成することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素と、対角に位置する参照画素の画素値との差と、第二の所定値として画素値の用いることが可能な最大画素値以上の任意の定数を用いて算出される因子を用いて、補間処理を行うことにより、対角に位置する画素との差の少ない、つまり変化の少ない参照画素の寄与を高めることで、元画像の情報、特に画像の方向性が反映された、境界部の鮮明な高品位の画像を得ることができる。また画素値の重み付けに用いる所定の画素値が対角に位置する参照画素の画素値だけのため、演算が少なくなり、演算速度が向上する。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の鮮明な画像を得られる、処理速度を向上させた別の具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１、前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記参照画素４点の画素値の最大値をＭａｘ、最小値をＭｉｎ、第三の所定値をα＞０、第二の所定値Ｍ１をＭａｘ−Ｍｉｎ＋αとした時、少なくとも、
M=Max-Min+α
Z00=x2・y2・(1-|a00-a11|/M1)
Z10=x1・y2・(1-|a10-a01|/M1)
Z01=x2・y1・(1-|a01-a10|/M1)
Z11=x1・y1・(1-|a11-a00|/M1)
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により前記補間画素の画素値を生成することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素と、対角に位置する参照画素の画素値との差と、第二の所定値として画素値の用いることが可能な最大画素値以上の任意の定数を用いて算出される因子を用いて、補間処理を行うことにより、対角に位置する画素との差の少ない、つまり変化の少ない参照画素の寄与を高めることで、元画像の情報、特に画像の方向性が一定の割合で反映された、境界部の鮮明な高品位の画像を得ることができる。また画素値の重み付けに用いる所定の画素値が対角に位置する参照画素の画素値だけなため、演算が少なくなり、演算速度が向上する。
（実施例７〜１０）
補間画素の画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映しつつ、文字部の鮮明な高品位の画像を得るために、本発明では、入力された画像の当該画素(以下、元画素)間に補間する画素(以下、補間画素)を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記元画素(以下、参照画素)の最近傍にある前記参照画素(以下、参照画素Ａ)以外の前記参照画素の画素値と、第一の所定値との差及び、前記補間画素と前記各参照画素間の距離を用いて重み付けを行うことにより、前記補間画素の画素値を生成することを特徴とし、重み付けに従来の補間画素と参照画素の距離による因子に加えて、参照画素の画素値も因子として解像度変換処理を行うことにより、ノイズとなる画像情報を含む参照画素を含まず、少ない参照画素数でも元画像の情報を忠実に反映した高品位の画像を得ることができ、参照画素Ａを重視することで、文字部の鮮明な画像を得ることができる。
元画像情報を忠実に反映しつつ、境界部の鮮明な画像を得るために、本発明の第一の所定値とは、前記参照画素の画素値の平均であることを特徴とし、各参照画素の画素値と参照画素の画素値の平均との差を重み付けに用いることにより、補間画素の参照する参照画素の傾向を表す画素値の平均に対して、差の大きな参照画素の重み付けを減らすことにより、元画像の情報が反映され、境界部の滑らかで鮮明な画像を得ることができる。
境界の鮮明な画像を得るために、本発明の第一の所定値とは、前記各参照画素の非対角に位置する前記参照画素の平均画素値であることを特徴とし、各参照画素の画素値と非対角に位置する参照画素の平均画素値の差を重み付けに用いることにより、斜め方向の画素値の変化量を反映できることになり、斜め方向の境界が鮮明な画像を得ることができる。
境界の鮮明な画像が得られる、別の方法を提供するために、本発明の第一の所定値とは、前記各参照画素の対角に位置する参照画素の画素値であることを特徴とし、各参照画素の画素値と、各々の参照画素の対角に位置する参照画素の画素値の差を重み付けに用いることにより、参照画素の画素値の方向性を反映することができることになり、境界の方向性がはっきりした鮮明な画像を得ることができる。また第一の所定値が対角に位置する参照画素の画素値となることで、第一の所定値を得るための演算量が減り、処理速度が向上する。
画素間距離を用いた重み付けと、画素値を用いた重み付けのバランスをとることで、元画像情報をより忠実に反映した画像を得るために、本発明の前記参照画素Ａ以外の前記参照画素を用いた重み付けとは、前記参照画素値と前記第一の所定値の差をそれより大きな第二の所定値で規格化した値を用いることを特徴とし、画素間距離を用いた重み付けと、画素値を用いた重み付けの寄与率を第二の所定値により規格化することにより、元画像情報をより忠実に反映した境界部が滑らかで鮮明な高品位の画像を得ることができる。
参照画素と第一の所定値の差を規格化する具体的手段を提供するために、本発明の前記第二の所定値とは、画素値としてとりうる最大値(最大画素値)以上の任意の定数であることを特徴とし、補間画素の画素値を、参照画素の画素値と第一の所定値との差を最大画素値以上の任意の定数である第二の所定値を用いて規格化することにより、参照画素の画素値と第一の所定値の差の量により画像情報の反映割合を調節した画像が得られ、第二の所定値が定数であることから、演算が少なくなり演算速度が向上する。
参照画素と第一の所定値の差を規格化する別の具体的手段を提供するために、本発明の前記第二の所定値とは、前記参照画素の画素値により定まる値であることを特徴とし、補間画素の画素値を、参照画素の画素値と第一の所定値との差を参照画素の値に応じて定まる値により規格化することにより、元画像情報を画面全体で均等に反映した画像を得ることができる。
個々の補間画素の生成に用いる参照画素の画像情報に応じた、参照画素と第一の所定値の差を用いた重み付けを規格化する手段を提供しつつ、処理速度を向上させるために、本発明の前記参照画素の画素値により定まる値は、前記参照画素中の最大及び最小の画素値を用いた値であることを特徴とし、補間画素の画素値を参照画素の画素値と、第一の所定値との差を参照画素の状況に応じて定まる値により規格化することにより、元画像情報を画面全体で均等に反映した画像を得ることができるとともに、最大と最小値を用いて第二の所定値を算出することで、他の参照画素の画素値により定めるよりも、処理速度が速くなる。
処理速度を向上させるために、本発明では、前記補間画素を生成するために参照する前記参照画素の画素値が全て同一である場合、前記参照画素中の画素値を前記補間画素の画素値とする処理を行うことを特徴とし、補間画素を生成するために参照する参照画素の画素値が全て同一である場合、参照画素中の画素値を補間画素の画素値とする処理を行うことにより、画素値を求めるための以後の計算が不要となり、処理速度が向上する。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の滑らかな画像を得られる、具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１とし、前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記補間画素と前記参照画素４点の画素値の平均値をＡＶＥ、前記第二の所定値を画素値の用いることが可能な最大画素値以上の任意の定数ＭＡとした時、少なくとも、
AVE=(a00+a01+a10+a11)/4
前記参照画素ＡがA00の場合、
Z00=x2・y2
Z10=x1・y2・(1-|a10-AVE|/MA)
Z01=x2・y1・(1-|a01-AVE|/MA)
Z11=x1・y1・(1-|a11-AVE|/MA)
A10の場合、
Z00=x2・y2・(1-|a00-AVE|/MA)
Z10=x1・y2
Z01=x2・y1・(1-|a01-AVE|/MA)
Z11=x1・y1・(1-|a11-AVE|/MA)
A01の場合、
Z00=x2・y2・(1-|a00-AVE|/MA)
Z10=x1・y2・(1-|a10-AVE|/MA)
Z01=x2・y1
Z11=x1・y1・(1-|a11-AVE|/MA)
A11の場合、
Z00=x2・y2・(1-|a00-AVE|/MA)
Z10=x1・y2・(1-|a10-AVE|/MA)
Z01=x2・y1・(1-|a01-AVE|/MA)
Z11=x1・y1
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により、前記補間画素の画素値を生成することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素の画素値と、４点参照画素の画素値の平均との差と、第二の所定値として画素値の用いることが可能な最大画素値以上の任意の定数を用いて算出される因子を用いて、補間処理を行うことにより、参照画素の傾向を表す画素値の平均に対して、差の大きな参照画素の重み付けを減らすことで、元画像の情報が反映され、最近傍参照画素である参照画素Ａの画素値を重視することにより、境界部の鮮明な高品位の画像を得ることができる。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の鮮明な画像を得られる、別の具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１、前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記補間画素と前記参照画素４点の画素値の平均値をＡＶＥ、前記参照画素４点の画素値の最大値をＭａｘ、最小値をＭｉｎ。第三の所定値をα＞０とし、第二の所定値Ｍ１をＭａｘ−Ｍｉｎ＋αとした時、少なくとも、
M1=Max-Min+α
AVE=(a00+a01+a10+a11)/4
前記参照画素ＡがA00の場合、
Z00=x2・y2
Z10=x1・y2・(1-|a10-AVE|/M1)
Z01=x2・y1・(1-|a01-AVE|/M1)
Z11=x1・y1・(1-|a11-AVE|/M1)
A10の場合、
Z00=x2・y2・(1-|a00-AVE|/M1)
Z10=x1・y2
Z01=x2・y1・(1-|a01-AVE|/M1)
Z11=x1・y1・(1-|a11-AVE|/M1)
A01の場合、
Z00=x2・y2・(1-|a00-AVE|/M1)
Z10=x1・y2・(1-|a10-AVE|/M1)
Z01=x2・y1
Z11=x1・y1・(1-|a11-AVE|/M1)
A11の場合、
Z00=x2・y2・(1-|a00-AVE|/M1)
Z10=x1・y2・(1-|a10-AVE|/M1)
Z01=x2・y1・(1-|a01-AVE|/M1)
Z11=x1・y1
を計算し、
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により前記補間画素の画素値を算出することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素の画素値と、４点の参照画素の画素値の平均との差と、第二の所定値として参照画素中の最大及び最小な画素値の差以上の値を用いて算出される因子を用いて、補間処理を行うことにより、参照画素の傾向を表す画素値の平均に対して、差の大きな参照画素の重み付けを減らすことで、画像情報を一定の割合で反映し、最近傍参照画素である参照画素Ａの画素値を重視することにより、境界部の鮮明な高品位の画像を得ることができる。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の鮮明な画像を得られる、具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１、前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記第二の所定値を画素値の用いることが可能な最大画素値以上の任意の定数ＭＡとした時、少なくとも、
前記参照画素ＡがA00の場合、
Z00=x2・y2
Z10=x1・y2・(1-|a10-(a00+a11)/2|/MA)
Z01=x2・y1・(1-|a01-(a00+a11)/2|/MA)
Z11=x1・y1・(1-|a11-(a10+a01)/2|/MA)
A10の場合、
Z00=x2・y2・(1-|a00-(a10+a01)/2|/MA)
Z10=x1・y2
Z01=x2・y1・(1-|a01-(a00+a11)/2|/MA)
Z11=x1・y1・(1-|a11-(a10+a01)/2|/MA)
A01の場合、
Z00=x2・y2・(1-|a00-(a10+a01)/2|/MA)
Z10=x1・y2・(1-|a10-(a00+a11)/2|/MA)
Z01=x2・y1
Z11=x1・y1・(1-|a11-(a10+a01)/2|/MA)
A11の場合、
Z00=x2・y2・(1-|a00-(a10+a01)/2|/MA)
Z10=x1・y2・(1-|a10-(a00+a11)/2|/MA)
Z01=x2・y1・(1-|a01-(a00+a11)/2|/MA)
Z11=x1・y1
を計算し、
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により、前記補間画素の画素値を生成することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素の画素値と、非対角に位置する２つの参照画素の平均との差と、第二の所定値として画素値の用いることが可能な最大画素値以上の任意の定数を用いて算出される因子を用いて、補間処理を行うことにより、非対角に位置する画素値の平均との差の少ない、つまり変化の少ない参照画素の寄与を高めることで、元画像の情報、特に画像の方向性が反映され、最近傍参照画素である参照画素Ａの画素値を重視することにより、境界部の鮮明な高品位の画像を得ることができる。
ノイズとなる画像情報を含む参照画素を含まない、少ない参照画素数でも、境界部の鮮明な画像を得られる、処理速度を向上させた別の具体的な方法を提供するために、本発明では、前記参照画素数を４点とし、前記補間画素の画素値をｂ、前記補間画素の左上側に隣接する前記参照画素の画素値ａ００、前記補間画素との水平方向の距離をｘ１、垂直方向の距離をｙ１、前記補間画素の左下側に隣接する前記参照画素の画素値をａ１０、前記補間画素の右上側に隣接する前記参照画素の画素値をａ０１、前記補間画素の右下側に隣接する前記参照画素の画素値をａ１１、前記補間画素との水平方向の距離をｘ２、垂直方向の距離をｙ２、前記参照画素４点の画素値の最大値をＭａｘ、最小値をＭｉｎ、第三の所定値をα＞０、第二の所定値Ｍ１をＭａｘ−Ｍｉｎ＋αとした時、少なくとも、
前記参照画素ＡがA00の場合、
Z00=x2・y2
Z10=x1・y2・(1-|a10-a01|/M1)
Z01=x2・y1・(1-|a01-a10|/M1)
Z11=x1・y1・(1-|a11-a00|/M1)
A10の場合、
Z00=x2・y2・(1-|a00-a11|/M1)
Z10=x1・y2
Z01=x2・y1・(1-|a01-a10|/M1)
Z11=x1・y1・(1-|a11-a00|/M1)
A01の場合、
Z00=x2・y2・(1-|a00-a11|/M1)
Z10=x1・y2・(1-|a10-a01|/M1)
Z01=x2・y1
Z11=x1・y1・(1-|a11-a00|/M1)
A11の場合、
Z00=x2・y2・(1-|a00-a11|/M1)
Z10=x1・y2・(1-|a10-a01|/M1)
Z01=x2・y1・(1-|a01-a10|/M1)
Z11=x1・y1
を算出し、
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
により前記補間画素の画素値を生成することを特徴とし、従来の補間画素と参照画素の距離による因子に加えて、ノイズとなる画像情報を含まない４点の各参照画素と、対角に位置する参照画素の画素値との差と、第二の所定値として画素値の用いることが可能な最大画素値以上の任意の定数を用いて算出される因子を用いて、補間処理を行うことにより、対角に位置する画素との差の少ない、つまり変化の少ない参照画素の寄与を高めることで、元画像の情報、特に画像の方向性が一定の割合で反映され、最近傍参照画素である参照画素Ａの画素値を重視することにより、境界部の鮮明な高品位の画像を得ることができる。また画素値の重み付けに用いる所定の画素値が対角に位置する参照画素の画素値だけなため、演算が少なくなり、演算速度が向上する。
（実施例１１〜１５）
補間画素の画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映し、特に文字などの画素値の差が大きな部分で、さらに鮮明な高品位の画像を得るために、本発明では、入力された画像の当該画素(以下、元画素)間に補間する画素(以下、補間画素)を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記各元画素(以下、参照画素)の画素値と所定値との差及び、前記補間画素と前記各参照画素間の距離を用いて重み付けを行うことにより、前記補間画素の画素値を生成することを特徴とする補間方法、画像処理装置または画像表示装置において、少なくとも所定の重み付け因子の値の相違を大きくする処理を行うことを特徴とし、補間画素の周囲近傍に位置する複数の元画素を参照し、重み付けに従来行われていた距離因子に加えて、新たに画像情報因子を用い、さらに所定の重み付け因子の値の相違を大きくする所定の処理を行うことにより、画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像に忠実に反映し、特に文字などの画素値の差が大きな部分で、さらに鮮明な高品位の画像を得ることができる。
元画像情報を忠実に反映した、鮮明な画像を得るために、本発明の所定の重み付け因子とは、前記補間画素と前記各参照画素間の距離を用いた因子(以下、距離因子)であることを特徴とし、距離因子の違いを強調することにより、距離因子の中間的な値が参照画素位置に近い方の値に寄ることとなり、重み付け全体がシフトし、画像の鮮明さが向上する。
元画像情報を忠実に反映した、鮮明な画像を得るために、本発明の所定の重み付け因子とは、参照画素の画素値と第一の所定値との差を用いた因子(以下、画像情報因子)であることを特徴とし、画像情報因子の違いを強調することにより、より画像の傾向に近い参照画素に近付くようにシフトし、文字などの画素値の差が大きな部分が、より鮮明な画像になる。
元画像情報を忠実に反映した、鮮明な画像を得るために、本発明の所定の重み付け因子とは、前記距離因子及び画像情報因子であることを特徴とし、距離因子の違いを強調することは、距離因子の中間的な値が参照画素位置に近い方の値に寄ることとなり、画像情報因子の違いを強調することは、より画像の傾向に近い参照画素に近付くように２分化される。この２つの因子を強調し、両因子の特徴のバランスを取ることで、重み付け全体が鮮明な方向にシフトし、滑らかさがあり、文字などの画素値の差が大きな部分で、鮮明な高品質の画像を得ることができる。
重み付け因子の値の相違を大きくする具体的手段を提供するために、本発明の所定の重み付け因子の値の相違を大きくする処理とは、各参照画素の重み付け因子の値をｎ乗（ｎ＞１）し、規格化することを特徴とし、重み付け因子の値をｎ乗にすることで、各因子の値の大きさに応じた値を乗算することができ、これを規格化することにより、因子の値の差が大きくなり、それにより重み因子の効果を高くすることで画像の鮮明さが向上する。
重み付け因子の値の相違を大きくする別の具体的手段を提供するために、本発明の所定の重み付け因子の値の相違を大きくする処理とは、各参照画素の重み付け因子の値の大きさに従って定めた値を掛け、規格化することを特徴とし、重み付け因子の値の大きさに従って定めた値を掛けることで、各因子の値の大きさに応じた値を乗算することができ、これを規格化することにより、因子の値の差が大きくなり、それにより重み因子の効果を高くすることで画像の鮮明さが向上する。
重み付け因子の値の相違を大きくする別の具体的手段を提供するとともに、回路規模を小型化し、処理速度を向上させるために、本発明の所定の重み付け因子の値の相違を大きくする処理とは、各参照画素の重み付け因子の値の大きさに従って定めた値を加え、規格化することを特徴とし、重み付け因子の値の大きさに従って定めた値を加算し、規格化することにより、因子の値の差が大きくなり、それにより重み因子の効果を高くすることで画像の鮮明さが向上するとともに、加算１回の演算という回路規模も小さく、演算の速い方法で効果を実現することができる。
（実施例１６〜２１）
少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映し、滑らかさに優れ、特に文字や図形などの境界部分が鮮明な、高品位な画像を得るために、本発明では、入力された画像の当該画素（以下、元画素）間に補間する画素（以下、補間画素）を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記各元画素（以下、参照画素）の画素値と所定値との差を用いた因子（以下、画像情報因子）及び、前記補間画素と前記各参照画素間の距離を用いた因子（以下、距離因子）を用い、さらに前記距離因子及び、或いは、前記画像情報因子の値の相違を大きくする処理を行った後に規格化を行い、それにより重み付けを行うことで、前記補間画素の画素値を生成する第一の補間方法を含む複数の補間方法から、所定の方法により補間方法の選択を行うことを特徴とし、重み付けに従来行われていた距離因子に加えて、画像情報因子を用い、さらに距離因子及び、或いは、画像情報因子の値の相違を大きくする処理を行った後に規格化を行い、それにより重み付けを行うことで、前記補間画素の画素値を生成する第一の補間方法の特徴である、文字や図形などの境界部分の鮮明さと滑らかさを得る部分に用い、そうでない部分に関して特徴を持つ第一の補間方法以外の補間方法（以下、他の補間方法）で処理することにより、少ない参照画素数でも、元画像の情報を補間後の画像に忠実に反映し、滑らかさに優れ、特に文字や図形などの部分が鮮明な高品位の画像を生成することができ、高品位画像の表示ができる画像処理装置または画像表示装置を実現することができる。
複数の補間方法を選択して用いながらも、回路規模の増大を招かない補間方法を提供するために、本発明の前記補間方法の少なくとも一つは、前記第一の補間方法の処理と、少なくとも一部を共有していることを特徴とし、第一の補間方法と他の補間方法が、処理の一部を共有していることにより、回路規模の増大を招かずに複数の補間方法を提供することができる。
自然画などでジャギーのない、滑らかな画像を得るために、本発明の少なくとも前記補間方法の一つは、線形補間法であることを特徴とし、他の補間方法として線形補間方法を用いることにより、第一の補間方法と処理を共有することができ、且つ自然画などの部分に用いることで、ジャギーのない滑らかな画像を得ることができる。
自然画などでジャギーのない、滑らか且つ、鮮明な画像を得るために、本発明の少なくとも前記補間方法の一つは、少なくとも前記補間画素の近傍に位置する複数の前記参照画素を参照し、画像情報因子及び、距離因子を用い、規格化を行い、それにより重み付けを行うことで、前記補間画素の画素値を生成することを特徴とし、他の補間方法として、画像情報因子及び、距離因子を用いて規格化を行い、それにより重み付けを行うことで、補間画素の画素値を生成する補間方法を用いることにより、第一の補間方法と処理を共有することができ、且つ自然画などの部分に用いることで、ジャギーのない滑らかな且つ、鮮明な画像を得ることができる。
元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に画素値の差の大きな部分が鮮明な高品位の画像を実現するために、本発明の前記複数の補間方法を選択する所定の方法とは、前記参照画素値間の最大の差と第一の所定値により行われ、前記最大の差が第一の所定値より小さければ他の補間方法、そうでなければ第一の補間方法を選択することを特徴とし、参照画素値間の最大の差が第一の所定値より小さければ他の補間方法、そうでなければ第一の補間方法により解像度変換を行うことにより、小さい部分は滑らかに、大きな部分は鮮明な画像を得ることができ、総合的には元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に画素値の差の大きな部分が鮮明な高品位の画像を実現することができる。
元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの境界のはっきりした部分が鮮明な高品位の画像を実現するために、本発明の前記複数の補間方法を選択する所定の方法とは、前記参照画素の全画素値が２つの値に分けられる場合には第一の補間方法、そうでなければ他の補間方法を選択することを特徴とし、参照画素の画素値が２つの値に分けられる場合は第一の補間方法、そうでなければ他の補間方法により解像度変換を行うことにより、文字や図形などの境界部分は滑らか且つ鮮明な、それ以外の部分は滑らかな画像を得ることができ、総合的には元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの境界のはっきりした部分が鮮明な、高品位の画像を実現することができる。
元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの部分が鮮明な高品位な画像を実現するために、本発明の前記複数の補間方法を選択する所定の方法とは、前記参照画素値の内の、最大値と最小値を各々含む２つの範囲を用い、前記参照画素の全ての画素値が、２つの前記範囲内に分けられる場合には第一の補間方法、そうでなければ他の補間方法を選択することを特徴とし、補間方法の選択に幅を持たせた範囲を用いることにより、文字や図形などの境界部の特徴に、画素値の微妙な変化を考慮することになり、より高い精度でこれらを抽出でき、その画像の性質に合わせた補間方法を選択することにより、総合的には元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの境界のはっきりした部分が鮮明な、高品位の画像を実現することができる。
元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの部分が鮮明な高品位な画像を実現するために、本発明の２つの前記範囲は、前記参照画素値の最大値をＭａｘ、最小値をＭｉｎ、第２の所定値をＭ１とすると、Ｍａｘ−Ｍ１以上と、Ｍｉｎ＋Ｍ１以下の範囲で表されることを特徴とし、補間方法の選択に、第２の所定値分の幅を持たせた範囲を用いることにより、文字や図形などの境界部の特徴に、画素値の定数分の変化を考慮することになり、より高い精度でこれらを抽出でき、その画像の性質に合わせた補間方法を選択することにより、総合的には元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの境界のはっきりした部分が鮮明な、高品位の画像を実現することができる。
元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの部分が鮮明な高品位な画像を実現するために、本発明の２つの前記範囲は、前記参照画素値の最大の差を用いて決定される値であることを特徴とし、補間方法の選択に参照画素の画素値の状況により変化する画素値間の最大の差を用いて決定した範囲を用いることにより、文字や図形などの境界部の特徴に、参照画素の状況の変化を考慮することになり、より高い精度でこれらを抽出でき、その画像の性質に合わせた補間方法を選択することにより、総合的には元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの境界のはっきりした部分が鮮明な、高品位の画像を実現することができる。
元画像を解像度変換し、元画像の情報を補間後の画像により忠実に反映した、高品位の画像データを出力することができる画像処理装置を実現するために、本発明では、少なくとも入力された画像の解像度を検出する解像度検出手段と、本発明の補間方法を行う解像度変換手段を有することを特徴とし、これにより、重み付けとして従来の補間画素と参照画素の距離による因子に加えて、参照画素の画素値も因子として解像度変換処理を行うことにより、少ない参照画素数でも、元画像の情報を忠実に反映した高品位の画像生成し、高速処理による高品位画像の動画処理が可能な速度で画像データを出力することができる画像処理装置を実現できる。
元画像を解像度変換し、元画像の情報を補間後の画像により忠実に反映した、高品位の画像を表示することができる画像表示装置を実現するために、本発明では、少なくとも画像表示手段と、本発明の画像処理装置を有することを特徴とし、これにより、重み付けとして従来の補間画素と参照画素の距離による因子に加えて、参照画素の画素値も因子として解像度変換処理を行うことにより、少ない参照画素数でも、元画像の情報を忠実に反映した高品位の画像生成し、高速処理による高品位画像の動画出力、表示ができる画像表示装置が実現できる。
（実施例２２〜２５）
本発明では、入力された画像の当該画素(以下、元画素と記す)間に補間する画素(以下、補間画素と記す)を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記各元画素(以下、参照画素と記す)の画素値と所定値との差を用いた因子(以下、画像情報因子と記す)及び、前記補間画素と前記各参照画素間の距離を用いた因子(以下、距離因子と記す)により重み付けを行うことで、前記補間画素の画素値を生成する第一の補間方法と、最近傍補間法を所定の方法により選択して用いる。
本発明の前記補間方法を選択する所定の方法とは、前記補間画素と前記各参照画素間の距離の比較及び、前記補間画素と最近傍に位置する参照画素の画素値と、所定の方向に位置する隣接参照画素の画素値との比較により行われ、前記補間画素と前記参照画素間の距離が最近傍且つ、前記参照画素と、少なくとも一つの前記隣接参照画素の画素値が等しければ最近傍補間法、そうでなければ第一の補間方法を選択する方法である。
本発明の前記補間方法を選択する所定の方法とは、前記補間画素と前記各参照画素間の距離の比較及び、前記補間画素と最近傍に位置する参照画素の所定の方向に位置する隣接参照画素の画素値が、前記参照画素の画素値から所定の範囲内の値であるかを比較することにより行われ、前記補間画素と前記参照画素間の距離が最近傍且つ、少なくとも一つの前記隣接参照画素値が、当該参照画素値から所定の範囲内にある値であれば最近傍補間法、そうでなければ第一の補間方法を選択する方法である。
本発明の前記補間方法を選択する所定の方法とは、前記補間画素と前記各参照画素間の距離の比較及び、前記補間画素と最近傍に位置する参照画素の所定の方向に位置する隣接参照画素の画素値が、前記参照画素の画素値所定の範囲内の値であるかを比較と、前記参照画素の対角に位置する参照画素の画素値と、その隣接参照画素値の比較により行われ、前記参照画素の画素値と、少なくとも一つの前記隣接参照画素の画素値が等しい場合及び、少なくとも一つの前記隣接参照画素値が、前記参照画素値から所定の範囲内の値且つ、前記参照画素の対角に位置する参照画素の画素値と、少なくとも一つの対角に位置する参照画素の隣接参照画素値が等しい場合は最近傍補間法、そうでなければ第一の補間方法を選択する方法である。
前記所定の範囲は、前記補間画素と最近傍に位置する前記参照画素の画素値より、予め定めた一定の範囲であり、請求項３を用いる場合には、画素値の取り得る最大値の50％以下である。
前記所定の範囲は、前記補間画素の最近傍の参照画素と他の参照画素の画素値の差を用いて決定される値である。
前記所定の範囲は、前記参照画素値の最大の差を用いて決定される値である。
本発明の画像処理装置または画像表示装置は、少なくとも入力された画像の解像度を検出する解像度検出手段と、上記したいずれかの補間方法を行う解像度変換手段を有する。
本発明の画像表示装置は少なくとも画像表示手段と、上記した画像処理装置を有する。
本発明においては、入力された画像に解像度変換を施して、出力画像を作成する方法において、補間画素の周囲近傍に位置する複数の元画素を参照し、重み付けに従来行われていた補間画素と参照画素の距離による因子に加えて、新たに参照画素の画素値を因子として用いることにより、画素の画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映した、高品位の画像を得ることができる。
本発明においては、入力された画像に解像度変換を施して、出力画像を作成する方法において、補間画素の周囲近傍に位置する複数の元画素を参照し、重み付けに従来行われていた補間画素と参照画素の距離による因子に加えて、新たに参照画素の画素値を因子として用いることにより、画素の画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映し、最近傍参照画素の画素値を重視することにより、文字部の鮮明な高品位の画像を得ることができる。
本発明においては、入力された画像に解像度変換を施して、出力画像を作成する方法において、補間画素の周囲近傍に位置する複数の元画素を参照し、重み付けに従来行われていた距離因子に加えて、新たに画像情報因子を用い、さらに所定の重み付け因子の値の相違を大きくする所定の処理を行うことにより、画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像に忠実に反映し、特に文字などの画素値の差が大きな部分で、さらに鮮明な高品位の画像を得ることができる。
本発明においては、入力された画像に解像度変換を施して、出力画像を作成する方法において、補間画素の周囲近傍に位置する複数の元画素を参照し、重み付けに従来行われていた距離因子に加えて、新たに画像情報因子を用い、さらに距離因子及び、或いは、画像情報因子の値の相違を大きくする処理を行った後に規格化を行い、それにより重み付けを行うことで、前記補間画素の画素値を生成する第一の補間方法を含む複数の補間方法を有し、所定の方法により複数の補間方法から画像に適した補間方法を選択することにより、少ない参照画素数でも、元画像の情報を補間後の画像に忠実に反映し、滑らかさに優れ、特に文字などの画素値の差が大きな部分の鮮明な高品位の画像を得る。また、第一の補間方法と他の補間方法の処理において、少なくとも一部の処理を共有させ、その比率を多くすることにより、回路規模の増大がほとんどなく、コストが安い補間方法と、その補間方法を行う画像処理装置及び、画像表示装置を実現することができる。
（実施例２２〜２５）
（１）重み付けに距離因子に加えて、画像情報因子を用いた第一の補間方法は、非常に滑らかな画像になるという長所を有し、最近傍補間法は画像データの保存性に優れるという長所を有する。所定の方法により補間方法を選択して用いることにより、各補間方法の長所を併せ持つ、少ない参照画素数でも、元画像の情報を補間後の画像に忠実に反映し、滑らかさに優れ、特に文字や図形などの部分が鮮明な高品位の画像を生成することができる。
（２）補間画素と各参照画素間の距離の比較と、補間画素と最近傍に位置する参照画素から所定の方向にある隣接参照画素の画素値との比較を行い、前記補間画素との距離が最近傍且つ、当該参照画素と、前記隣接参照画素の画素値が等しければ最近傍補間法、そうでなければ第一の補間方法を選択することにより、同一画素値の連続する部分は画像データを保存された鮮明な画像になり、他の部分は滑らかな画像になり、滑らかでジャギーがなく、鮮明さに優れる画像を得ることができる。
（３）補間画素と各参照画素間の距離の比較と、補間画素と最近傍に位置する参照画素から所定の方向にある隣接参照画素の画素値との比較を行い、前記補間画素との距離が最近傍且つ、当該参照画素と、前記隣接参照画素の画素値が、当該参照画素値から所定の範囲内にある値であれば最近傍補間法、そうでなければ第一の補間方法を選択することにより、グラデーションなどの所定の範囲内の画素値の変化がある画像が隣接する部分において、（２）の効果に加えて、所定の範囲内の変化の部分の鮮明さを向上させることができる。
（４）補間画素と各参照画素間の距離の比較と、前記補間画素と最近傍に位置する参照画素の所定の方向に位置する隣接参照画素の画素値と、前記参照画素の画素値の比較及び、前記参照画素の対角に位置する参照画素の画素値と、その隣接参照画素値の比較により行い、前記参照画素の画素値と、少なくとも一つの前記隣接参照画素の画素値が等しい場合及び、少なくとも一つの前記隣接参照画素値が、前記参照画素値から所定の範囲内の値且つ、前記参照画素の対角に位置する参照画素の画素値と、少なくとも一つの対角に位置する参照画素の隣接参照画素値が等しい場合は最近傍補間法、そうでなければ第一の補間方法を選択することにより、同一画素値の連続する部分にグラデーションなどの所定の範囲内の画素値の変化がある画像が隣接する部分において、（２）の効果に加えて、所定の範囲内の変化の部分の鮮明さを向上させることができる。
（５）補間画素と最近傍に位置する参照画素から、所定の方向にある隣接参照画素の画素値との比較に用いる前記参照画素の画素値からの所定の範囲内を予め定めた一定の範囲とすることにより、画像全体を通して、同一画素値の連続する部分にグラデーションなどの一定の範囲内の画素値の変化がある画像が隣接する部分で、（３）、（４）の効果に加えて、所定の範囲内の変化の部分の鮮明さを向上させることができる。
（６）補間画素と最近傍に位置する参照画素から、所定の方向にある隣接参照画素の画素値との比較に用いる前記参照画素の画素値からの所定の範囲内を前記補間画素の最近傍の参照画素と他の参照画素の画素値の差を用いて求めた値を用いた範囲とすることにより、同一画素値の連続する部分にグラデーションなどの、前記全参照画素の状況に合わせた前記範囲内の画素値の変化がある画像が隣接する部分で、（３）、（４）の効果に加えて、所定の範囲内の変化の部分の鮮明さを向上させることができる。
（７）補間画素と最近傍に位置する参照画素から、所定の方向にある隣接参照画素の画素値との比較に用いる前記参照画素の画素値からの所定の範囲内を前記補間画素を求める全参照画素値の最大の差を用いて求めた値を用いた範囲とすることにより、同一画素値の連続する部分にグラデーションなどの、前記全参照画素の取り得る画素値の状況に合わせた前記範囲内の画素値の変化がある画像が隣接する部分で、（３）、（４）の効果に加えて、所定の範囲内の変化の部分の鮮明さを向上させることができ、（６）に比べ演算処理数を減らすことができる。
（８）重み付けに距離因子に加えて、画像情報因子を用いた第一の補間方法は、非常に滑らかな画像になるという長所を有し、最近傍補間法は画像データの保存性に優れるという長所を有する。所定の方法により補間方法を選択して用いることにより、各補間方法の長所を併せ持つ、少ない参照画素数でも、元画像の情報を補間後の画像に忠実に反映し、滑らかさに優れ、特に文字や図形などの部分が鮮明な高品位の画像を生成することができる。また安いコストで高速処理による高品位画像の動画出力、表示ができる画像処理装置が実現できる。
以下、発明の実施の形態について図面により詳細に説明する。
実施例１、２：
図１は、本発明を説明する上での画素の位置と距離を模式的に示したものであり、画素が二次元格子状に配列され、補間画素の画素値を算出するために、４点の参照画素を用いたものを例として示すが、本発明はこれに限定されない。
補間画素Ｂの画素値をｂ、補間画素Ｂの周囲近傍に位置する参照画素Ａ００の画素値をａ００、参照画素Ａ１０の画素値をａ１０、参照画素Ａ０１の画素値をａ０１、参照画素Ａ１１の画素値をａ１１、参照画素Ａ００，Ａ０１と補間画素Ｂとの水平方向の距離をｘ１、参照画素Ａ１０，Ａ１１と補間画素Ｂとの水平方向の距離をｘ２、参照画素Ａ００，Ａ１０と補間画素Ｂとの垂直方向の距離をｙ１、参照画素Ａ０１，Ａ１１と補間画素Ｂとの垂直方向の距離をｙ２とする。
本実施例では、画素値をＲＧＢ各々０〜２５５の数値で表し、参照画素と参照画素の画素値の平均との差と、画素値の用いることが可能な最大画素値以上の任意の定数である２５５を用いる実施例１と、最大画素値Ｍａｘと最小画素値Ｍｉｎの差以上の値であるＭを用いる実施例２の２例を示す。
図２は、本実施例の補間方法の処理フローチャートであり、図３は、画像処理装置を含む画像表示装置のブロック図である。
画像処理装置９では、入力された画像データ１を解像度検出部２において、入力された画像データを制御信号としてクロック、水平同期信号、垂直同期信号を使用し、その解像度を判定する。一般的には入力画像の解像度は幾つかに特定できるので、数種類の解像度に対応する座標割付けを座標テーブル部３にルックアップテーブル（ＬＵＴ）として格納されており、解像度を元にどのＬＵＴを使用するかを選択する。また解像度検出部２において判定した解像度を元に、座標割付け演算部を設けて座標割付け演算を行い、ＬＵＴを生成する方法にすると、如何なる入力画像の解像度にも対応が可能となる。出力画像は一般的に定まっていることが多く、予め解像度に対応する座標割付けをＬＵＴとして格納されている。また定まっていない場合には、複数のＬＵＴを持つ方法や、解像度に応じて座標割付け演算部を設けて座標割付け演算を行い、ＬＵＴを生成する方法などがある。入力された画像データはそのまま処理を行う方法や、画素、ライン、フレーム等の単位で一旦、入力データ記憶部４に格納する方法がある。本実施例では後者を示す。
補間画素を処理するためには、画素間距離や参照画素の特定、画素値を用いて補間処理部５で補間処理を行う。そのためには、補間画素と参照画素の座標のＬＵＴから、参照画素を特定し、その画素間距離を演算し、その画素値を入力データ記憶部４より読み出す。一般的には同解像度の入力が連続するため、最初のフレームで補間画素と参照画素の座標のＬＵＴから、補間画素毎にどの参照画素を使用するか、画素間距離の演算結果を補間データ記憶部６に格納しておくことにより、後の演算を速く行うことができる。参照画素の画素値は、補間データ記憶部６のデータより参照画素を特定し、入力データ記憶部４より読出す。画素間距離に関するデータは補間データ記憶部６より読出し、これを元に補間処理部５で補間画素の画素値を算出する処理を繰り返すことにより、解像度変換された出力画像データが作成される。補間処理部５で処理された補間画素の画素値は、そのまま出力してもよいが、ここでは一時出力データ記憶部７に格納し、所定の単位毎に出力される。出力された出力画像データは表示部８により、解像度変換された画像を表示する。
次に、図２を用いて補間処理部５の補間処理を説明する。補間画素を画像データの並びに従って処理すると、その並び順に従い、処理する補間画素を特定する（ステップ１００）。補間データ記憶部６より、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）と参照画素を特定するデータを読出し（ステップ１０１）、これをもとに入力データ記憶部４より参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を読出す（ステップ１０２）。次に、４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ１０３）、その差を算出する。これは最大と最小の画素値は画素値の比較等の方法で求める。
M=Max-Min
ここで、Ｍの値により異なる処理を行う（ステップ１０４）。処理が異なる算出された値Ｍが０、つまり４点の参照画素の画素値が等しい場合には、何れかの参照画素の画素値を補間画素の画素値とする処理を行い（ステップ１０８）、補間画素の画素値ｂを算出する。ａ００を使用したとすると、
b=a00
となる。置換えを行うことで、重み付けによる補間演算を行わずに済むことから、処理速度が向上する。
算出された値Ｍが０以外の場合、４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ１０５）。
AVE=(a00+a01+a10+a11)/4
次に、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて算出する（ステップ１０６）。
実施例１では、
Z00=x2・y2・(1-|a00-AVE|/255)
Z10=x1・y2・(1-|a10-AVE|/255)
Z01=x2・y1・(1-|a01-AVE|/255)
Z11=x1・y1・(1-|a11-AVE|/255)
実施例２では、
Z00=x2・y2・(1-|a00-AVE|/M)
Z10=x1・y2・(1-|a10-AVE|/M)
Z01=x2・y1・(1-|a01-AVE|/M)
Z11=x1・y1・(1-|a11-AVE|/M)
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ１０７）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
Ｚ００〜Ｚ１１の式において、距離以外の部分が画像情報を反映するための画素値に関する部分である。この部分がＺ００〜Ｚ１１で同一であるならば、補間処理は線形補間方法と同一である。これは４点参照画素の画素値が同一か、２点２組の画素値が同一な場合であり、この場合、本実施例では参照画素の画素値の補間画素へ与える影響はない。画素値に関する部分が異なる場合には、距離に画素値の影響が付加されたものが、各々の参照画素の重み付けとなり、画像情報を反映させることとなる。本実施例による補間後の画像については、図４で説明する。
算出された補間画素の画素値ｂは出力データ記憶部７に一旦格納されるか、直接出力される。画像表示装置１０であれば、この出力を表示する。ステップ１０７の後、処理を行っていない補間画素が有れば（ステップ１０９）、補間画素の特定に戻り（ステップ１００）、画像データの並びに従って次の順番の新たな補間画素の補間処理を行う。無ければ（ステップ１０９）、補間処理を終了する。補間画素の画素値は、処理後に出力画像データとして、画像表示装置１０によって表示される。
図４（ａ）は解像度変換前の元画像、図４（ｂ）は線形補間後の画像、図４（ｃ）は実施例１の補間方法による補間後の画像、図４（ｄ）は実施例２の補間方法による補間後の画像である。図４（ｂ）の線形補間では、平滑化されることにより斜め境界部の滑らかさは増しているが、元画像の境界のギザギザが残ってしまい、ジャギーを見ることができる。図４（ｃ）の実施例１の補間方法では、特に境界部の画素値の差が大きな部分でジャギーのない滑らかな画像になっている。これは参照画素の画素値の平均（ＡＶＥ）との差により各参照画素の重み付けを行うことで、参照画素の画素値に占める割合の高い画素値の参照画素の寄与を高め、それにより画像の情報を反映させたことによる。但し、各補間画素の規格化を画素値の用いることが可能な最大画素値以上の任意の定数により行っているため、画素値の差により画像情報の反映度合いが異なっている。図４（ｄ）の実施例２では、各補間画素の規格化を４点参照画素中の最大及び最小な画素値の差以上の値であるＭという、各補間画素の画素値を算出するために参照する参照画素の画素値毎に、異なる値を用いて規格化することにより、個々の参照画素の状況が画像情報に反映され、ジャギーのない滑らかな画像を生成することができる。また、規格化に用いる値としては、Ｍ未満でＭａｘ−ＡＶＥかＡＶＥ−Ｍｉｎ以上の値を用いることもできるが、値が小さくなるとともに鮮明になるが、ジャギーの目立つ画像になっていく。規格値をより大きな値とすると、重み付けに占める画素値の寄与率が減少し、距離の因子のみである線形補間法に近付くことになる。
実施例３、４：
本実施例は、図１、図３を用いる。本実施例では、画素値をＲＧＢ各々０〜２５５の数値で表し、参照画素と参照画素と非対角に位置する２点の参照画素の画素値の平均との差と、画素値の用いることが可能な最大画素値以上の任意の定数である２５６を用いる実施例３（斜め線を考慮した実施例）と、最大画素値Ｍａｘと最小画素値Ｍｉｎの差以上の値であるＭを用いる実施例４の２例を示す。ここで、参照画素の位置関係を図１で示すと、参照画素Ａ００の位置から非対角位置にある参照画素はＡ１０とＡ０１という位置関係になる。
図５は、実施例３の補間方法の処理フローチャートであり、図６は、実施例４の補間方法の処理フローチャートである。本実施例では、補間処理部５での補間方法処理の内容のみが実施例１、２と異なるため、異なる部分のみを示す。
補間画素を画像データの並びに従って処理するとすると、その並び順に従い、処理する補間画素を特定する（ステップ２００、３００）。補間データ記憶部６より、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）と参照画素を特定するデータを読出し（ステップ２０１、３０１）、これをもとに入力データ記憶部４より参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を読出す（ステップ２０２、３０２）。
実施例４の場合には、次に４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ３０３）、その差に１を加えた値を算出する。最大と最小の画素値は画素値の比較等の方法で求める。
M1=Max-Min+1
次に、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素と非対角に位置する２点の参照画素の画素値の平均との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて算出する（ステップ２０３、ステップ３０４）。
実施例３では、
Z00=x2・y2・(1-|a00-(a10+a01)/2|/256)
Z10=x1・y2・(1-|a10-(a00+a11)/2|/256)
Z01=x2・y1・(1-|a01-(a00+a11)/2|/256)
Z11=x1・y1・(1-|a11-(a10+a01)/2|/256)
実施例４では、
Z00=x2・y2・(1-|a00-(a10+a01)/2|/M1)
Z10=x1・y2・(1-|a10-(a00+a11)/2|/M1)
Z01=x2・y1・(1-|a01-(a00+a11)/2|/M1)
Z11=x1・y1・(1-|a11-(a10+a01)/2|/M1)
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ２０４、３０５）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
Ｚ００〜Ｚ１１の式において、距離以外の部分が画像情報を反映するための画素値に関する部分である。この部分がＺ００〜Ｚ１１で同一であるならば、補間処理は線形補間方法と同一である。これは４点参照画素の画素値が同一か、２点２組の画素値が同一な場合であり、この場合、本実施例では参照画素の画素値の補間画素へ与える影響はない。画素値に関する部分が異なる場合には、距離に画素値の影響が付加されたものが、各々の参照画素の重み付けとなり、画像情報を反映させることとなる。本実施例による補間後の画像については、図４で説明する。
算出された補間画素の画素値ｂは出力データ記憶部７に一旦格納されるか、直接出力される。画像表示装置１０であれば、この出力を表示する。ステップ２０４、３０５以降の処理は、前述した実施例と同様であるので、その説明を省略する。
図４（ｅ）は、実施例３の補間方法による補間後の画像、図４（ｆ）は、実施例４の補間方法での補間後の画像である。図４（ｇ）は、実施例４の補間方法でＭ１を１．３倍とする処理をした場合の補間後の画像である。
図４（ｅ）の実施例３の補間方法では、特に境界部の画素値の差が大きな部分で鮮明な画像になっている。これは参照画素の画素値と、非対角に位置する２点の参照画素の画素値の平均との差により各参照画素の重み付けを行うことで、非対角に位置する２点の参照画素の画素値の平均との差の少ない、つまり変化の少ない参照画素の寄与を高めることで、参照画素の画素値の方向性を反映することができることになり、境界のはっきりした鮮明な画像を得ることができる。但し、各補間画素の規格化を画像データの用いることができる最高画素値以上の値という固定した数値により行っているため、画素値の差により画像情報の反映度合いが異なっている。図４（ｆ）の実施例４では、各補間画素の規格化を４点参照画素中の最大及び最小な画素値の差以上の値であるＭ１という、各補間画素を生成するために参照する参照画素の画素値毎に、異なる値を用いて規格化していることにより、画素値の差による違いのない画像情報の反映が行われ、鮮明な画像を生成することができた。しかし、鮮明さには優れるが丸みを帯びたジャギーが見られる。図４（ｇ）では、各参照画素の画素値と非対角に位置する２点の参照画素の画素値の平均との差の重み付けへの寄与を調整するためにＭ１を１．３倍とする処理を行っている。Ｍ１の値を調整するための倍率が増大すると線形補間に近付くことになる。つまり、滑らかさが増すことになるが、この場合、ジャギーのない滑らか且つ鮮明な画像を得ることができた。各参照画素の画素値と非対角に位置する２点の参照画素の画素値の平均との差の重み付けへの寄与を調整する値を調節することにより、鮮明さと滑らかさのバランスのとれた画像を得ることができる。
実施例５、６：
本実施例においても図１、図３を用いる。本実施例では、画素値をＲＧＢ各々０〜２５５の数値で表し、参照画素と対角に位置する参照画素の画素値の差と、画素値の用いることが可能な最大画素値以上の任意の定数である２５６を用いる実施例５（斜め線を考慮した実施例）と、最大画素値Ｍａｘと最小画素値Ｍｉｎの差以上の値であるＭ１を用いる実施例６の２例を示す。ここで、参照画素の位置関係を図１で示すと、参照画素Ａ００の位置から対角の位置にある参照画素はＡ１１という位置関係になる。
図５は、実施例５の補間方法の処理フローチャートであり、図６は、実施例６の補間方法の処理フローチャートである。本実施例では、補間処理部５での補間方法処理の内容のみが実施例１、２と異なるため、異なる部分のみを示す。
補間画素を画像データの並びに従って処理すると、その並び順に従い、処理する補間画素を特定する（ステップ２００、３００）。補間データ記憶部６より、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）と参照画素を特定するデータを読出し（ステップ２０１、３０１）、これをもとに入力データ記憶部４より参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を読出す（ステップ２０２、３０２）。
実施例６の場合には、次に４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ３０３）、その差に１を加えた値を算出する。最大と最小の画素値は画素値の比較等の方法で求める。
M1=Max-Min+1
次に、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素と対角に位置する参照画素の画素値の差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて算出する（ステップ２０３、３０４）。
実施例５では、
Z00=x2・y2・(1-|a00-a11|/256)
Z10=x1・y2・(1-|a10-a01|/256)
Z01=x2・y1・(1-|a01-a10|/256)
Z11=x1・y1・(1-|a11-a00|/256)
実施例６では、
Z00=x2・y2・(1-|a00-a11|/M1)
Z10=x1・y2・(1-|a10-a01|/M1)
Z01=x2・y1・(1-|a01-a10|/M1)
Z11=x1・y1・(1-|a11-a00|/M1)
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ２０４、ステップ３０５）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
Ｚ００〜Ｚ１１の式において、距離以外の部分が画像情報を反映するための画素値に関する部分である。この部分がＺ００〜Ｚ１１で同一であるならば、補間処理は線形補間方法と同一である。これは４点参照画素の画素値が同一か、対角に位置する２点２組の画素値の差が同一な場合であり、この場合、本例では参照画素の画素値の補間画素へ与える影響はない。画素値に関する部分が異なる場合には、距離に画素値の影響が付加されたものが、各々の参照画素の重み付けとなり、画像情報を反映させることとなる。本実施例による補間後の画像については、図４で説明する。
算出された補間画素の画素値ｂは出力データ記憶部７に一旦格納されるか、直接出力される。画像表示装置１０であれば、この出力を表示する。ステップ２０４、３０５以降の処理は前述した実施例と同様である。
図４（ｈ）は、実施例５の補間方法による補間後の画像、図４（ｉ）は、実施例６の補間方法での補間後の画像である。図４（ｊ）は、実施例６の補間方法でＭ１を１．３倍とする処理をした場合の補間後の画像である。
図４（ｈ）の実施例５の補間方法では、特に境界部の画素値の差が大きな部分で鮮明な画像になっている。これは参照画素とその対角に位置する参照画素との画素値の差により、各参照画素の重み付けを行うことで、対角に位置する画素値の差の少ない、つまり変化の少ない参照画素の寄与を高めることで、参照画素の画素値の方向性を反映することができることになり、境界のはっきりした鮮明な画像を得ることができる。但し、各補間画素の規格化を画像データの用いることができる最高画素値以上の値という固定した数値により行っているため、画素値の差により画像情報の反映度合いが異なっている。図４（ｉ）の実施例６では、各補間画素の規格化を４点参照画素中の最大及び最小な画素値の差以上の値であるＭ１という、各補間画素を生成するために参照する参照画素の画素値毎に、異なる値を用いて規格化していることにより、画素値の差による違いのない画像情報の反映が行われ、鮮明な画像を生成することができた。しかし、鮮明さには優れるが丸みを帯びたジャギーが見られる。図４（ｊ）では、各参照画素とその対角に位置する参照画素との差の重み付けへの寄与を調整するためにＭ１を１．３倍にし、寄与を減らす処理を行っている。Ｍ１の値を調整するための倍率が増大すると線形補間に近付くことになる。つまり、滑らかさが増すことになるが、１．３倍の場合は、ジャギーのない滑らか且つ鮮明な画像を得ることができた。各参照画素とその対角に位置する参照画素との差の重み付けへの寄与を調整する値を調節することにより、鮮明さと滑らかさのバランスのとれた画像を得ることができる。
図７、８は、本発明の効果を説明する図である。図７（ａ）の黒丸、白丸は補間画素Bの参照画素であり、その画素値による表示を表している。この状態で補間画素がとる座標位置での画素値を実施例毎に表したものが図７（ｂ）〜（ｅ）である。線形補間方法（図７（ｂ））では、座標間距離のみで画素値を求めるため、白の参照画素の影響が大きく、中間値の範囲が大きくなっている。これに対し、図７（ｃ）〜（ｅ）の補間方法では、座標位置に加え、参照画素の画素値を重み付けの因子として用いていることから、図７（ｃ）は平均値との差が大きい白の参照画素値が、図７（ｄ）は非対角の２点との差が大きい白の参照画素値が一番、図７（ｅ）は対角との差が大きい白とその対角の参照画素の画素値の影響が小さくなり、補間画素がとる座標位置での画素値はより濃い色の範囲が大きくなっている。このことにより、斜め方向に角度がある表示のジャギーは小さくなることは、図８（ａ）の実施例２と図８（ｂ）の従来例との比較からも見ることができる。
実施例７〜１０
近年、会議等に用いられる画像表示装置が多くなってきたが、これらの場合には文字，グラフ，表等を表示する比率が高く、文字は滑らかで且つ鮮明なものが好まれる傾向がある。この点、線形補間法や標本化関数補間法やスプライン補間法等の方法は、文字の様な極端な境界での画素値の変化があるものでは、画像にボケが生じ、鮮明さが劣ることになる。
そこで本発明では、補間画素の画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映しつつ、文字部の鮮明な高品位の画像を得ることができる解像度変換の補間方法、その補間方法を行う画像処理装置及び、画像表示装置を提供することを目的とする。
本実施例では、最近傍の参照画素を重視して、最近傍の参照画素だけは、その画素値による重み付けの増減を付加せず、文字の鮮明さを強め、画像情報による画像の滑らかさは、他の参照画素の画素値により行う。一方、前述した実施例１〜６では、画素値による重み付けを参照する全参照画素に行い、これにより文字等の鮮明さと滑らかさにおいて、隣接した参照画素のみを使用する中では勿論、３次近似する方法をも上回る優れた補間方法となっている。
実施例７、８：
本実施例は、図１、図３を用いる。本実施例では、画素値をＲＧＢ各々０〜２５５の数値で表し、参照画素と参照画素の画素値の平均との差と、画素値の用いることが可能な最大画素値以上の任意の定数である２５５を用いる実施例７と、最大画素値Ｍａｘと最小画素値Ｍｉｎの差以上の値であるＭを用いる実施例８の２例を示す。
図９は、実施例７、８の補間方法の処理フローチャートである。図９を用いて、補間処理部５の補間処理を説明する。補間画素を画像データの並びに従って処理するとすると、その並び順に従い、処理する補間画素を特定する（ステップ４００）。補間データ記憶部６より、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）と参照画素を特定するデータを読出し（ステップ４０１）、これをもとに入力データ記憶部４より参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を読出す（ステップ４０２）。次に４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ４０３）、その差を算出する。これは最大と最小の画素値は画素値の比較等の方法で求める。
M=Max-Min
ここで、Ｍの値により異なる処理を行う（ステップ４０４）。処理が異なる算出された値Ｍが０、つまり４点の参照画素の画素値が等しい場合には、何れかの参照画素の画素値を補間画素の画素値とする処理を行い（ステップ４０９）、補間画素の画素値ｂを算出する。ａ００を使用したとすると、
b=a00
となる。置換えを行うことで、重み付けによる補間演算を行わずに済むことから、処理速度が向上する。
算出された値Ｍが０以外の場合、４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ４０５）。
AVE=(a00+a01+a10+a11)/4
次に、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）から補間画素の最近傍にある参照画素Ａを判断する（ステップ４０６）。これに従い、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて算出する（ステップ４０７）。
実施例７では、
・参照画素ＡがＡ００の場合、
Z00=x2・y2
Z10=x1・y2・(1-|a10-AVE|/255)
Z01=x2・y1・(1-|a01-AVE|/255)
Z11=x1・y1・(1-|a11-AVE|/255)
・参照画素ＡがＡ１０の場合、
Z00=x2・y2・(1-|a00-AVE|/255)
Z10=x1・y2
Z01=x2・y1・(1-|a01-AVE|/255)
Z11=x1・y1・(1-|a11-AVE|/255)
・参照画素ＡがＡ０１の場合、
Z00=x2・y2・(1-|a00-AVE|/255)
Z10=x1・y2・(1-|a10-AVE|/255)
Z01=x2・y1
Z11=x1・y1・(1-|a11-AVE|/255)
・参照画素ＡがＡ１１の場合、
Z00=x2・y2・(1-|a00-AVE|/255)
Z10=x1・y2・(1-|a10-AVE|/255)
Z01=x2・y1・(1-|a01-AVE|/255)
Z11=x1・y1
実施例８では、
・参照画素ＡがＡ００の場合、
Z00=x2・y2
Z10=x1・y2・(1-|a10-AVE|/M)
Z01=x2・y1・(1-|a01-AVE|/M)
Z11=x1・y1・(1-|a11-AVE|/M)
・参照画素ＡがＡ１０の場合、
Z00=x2・y2・(1-|a00-AVE|/M)
Z10=x1・y2
Z01=x2・y1・(1-|a01-AVE|/M)
Z11=x1・y1・(1-|a11-AVE|/M)
・参照画素ＡがＡ０１の場合、
Z00=x2・y2・(1-|a00-AVE|/M)
Z10=x1・y2・(1-|a10-AVE|/M)
Z01=x2・y1
Z11=x1・y1・(1-|a11-AVE|/M)
・参照画素ＡがＡ１１の場合、
Z00=x2・y2・(1-|a00-AVE|/M)
Z10=x1・y2・(1-|a10-AVE|/M)
Z01=x2・y1・(1-|a01-AVE|/M)
Z11=x1・y1
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ４０８）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
Ｚ００〜Ｚ１１の式において、距離以外の部分が画像情報を反映するための画素値に関する部分である。この部分がＺ００〜Ｚ１１で同一であるならば、補間処理は線形補間方法と同一である。これは４点参照画素の画素値が同一の場合である。画素値に関する部分が異なる場合には、距離に画素値の影響が付加されたものが、各々の参照画素の重み付けとなり、画像情報を反映させることとなる。本実施例による補間後の画像については、図１０で説明する。
算出された補間画素の画素値ｂは出力データ記憶部７に一旦格納されるか、直接出力される。画像表示装置１０であれば、この出力を表示する。ステップ４０８以降の処理は前述した実施例と同様である。
図１０（ａ）は解像度変換前の元画像、図１０（ｂ）は線形補間後の画像、図１０（ｃ）はスプライン補間法の一種であるキュービックコンボリューションによる補間後の画像、図１０（ｄ）は実施例７の補間方法による補間後の画像、図１０（ｅ）は実施例８の補間方法による補間後の画像である。図１０（ｂ）の線形補間では平滑化されることにより斜め境界部の滑らかさは増しているが、元画像の境界のギザギザが残ってしまい、ジャギーを見ることができる。図１０（ｃ）は図１０（ｂ）よりは若干鮮明になるが、同様の問題が残る上に、補間画素と隣接していない参照画素の画素値も用いられるために、若干のノイズが発生する。図１０（ｄ）の実施例７の補間方法では、特に境界部の画素値の差が大きな部分で鮮明な画像になっている。これは各参照画素と補間画素の距離に、各参照画素と参照画素の画素値平均（ＡＶＥ）との差を第二の所定値（実施例７では２５５，実施例８ではＭ）により規格化したものを参照画素Ａ以外の各参照画素にかけた後に、Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１により規格化した重み付けを各参照画素の画素値に行うことで、最近傍の参照画素Ａの画素値が重視されたことによるものであり、また参照画素の画素値に占める割合の高い画素値の参照画素の寄与を高め、それにより画像の情報を反映させたことによる。但し、各補間画素の規格化を画素値の用いることが可能な最大画素値以上の任意の定数により行っているため、画素値の差により画像情報の反映度合いが異なっている。以上により、文字部の鮮明な高品位の画像を得ることができる。
実施例９：
本実施例は、図１、図３を用いる。本実施例では、画素値をＲＧＢ各々０〜２５５の数値で表し、参照画素と参照画素と非対角に位置する２点の参照画素の画素値平均との差と、画素値の用いることが可能な最大画素値以上の任意の定数である２５６を用いる例を示す。ここで、参照画素の位置関係を図１で示すと、参照画素Ａ００の位置から非対角位置にある参照画素はＡ１０とＡ０１という位置関係になる。
図１１は、実施例９の補間方法の処理フローチャートである。図１１を用いて、補間処理部５の補間処理を説明する。補間画素を画像データの並びに従って処理するとすると、その並び順に従い、処理する補間画素を特定する（ステップ５００）。補間データ記憶部６より、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）と参照画素を特定するデータを読出し（ステップ５０１）、これをもとに入力データ記憶部４より参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を読出す（ステップ５０２）。次に、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）から補間画素の最近傍にある参照画素Ａを判断する（ステップ５０３）。これに従い、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素と非対角に位置する２点の参照画素の画素値平均との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて算出する（ステップ５０４）。
・参照画素ＡがＡ００の場合、
Z00=x2・y2
Z10=x1・y2・(1-|a10-(a00+a11)/2|/256)
Z01=x2・y1・(1-|a01-(a00+a11)/2|/256)
Z11=x1・y1・(1-|a11-(a10+a01)/2|/256)
・参照画素ＡがＡ１０の場合、
Z00=x2・y2・(1-|a00-(a10+a01)/2|/256)
Z10=x1・y2
Z01=x2・y1・(1-|a01-(a00+a11)/2|/256)
Z11=x1・y1・(1-|a11-(a10+a01)/2|/256)
・参照画素ＡがＡ０１の場合、
Z00=x2・y2・(1-|a00-(a10+a01)/2|/256)
Z10=x1・y2・(1-|a10-(a00+a11)/2|/256)
Z01=x2・y1
Z11=x1・y1・(1-|a11-(a10+a01)/2|/256)
・参照画素ＡがＡ１１の場合、
Z00=x2・y2・(1-|a00-(a10+a01)/2|/256)
Z10=x1・y2・(1-|a10-(a00+a11)/2|/256)
Z01=x2・y1・(1-|a01-(a00+a11)/2|/256)
Z11=x1・y1
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ５０５）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
Ｚ００〜Ｚ１１の式において、距離以外の部分が画像情報を反映するための画素値に関する部分である。この部分がＺ００〜Ｚ１１で同一であるならば、補間処理は線形補間方法と同一である。これは４点参照画素の画素値が同一な場合である。画素値に関する部分が異なる場合には、距離に画素値の影響が付加されたものが、各々の参照画素の重み付けとなり、画像情報を反映させることとなる。本実施例による補間後の画像については、図１０で説明する。
算出された補間画素の画素値ｂは出力データ記憶部７に一旦格納されるか、直接出力される。画像表示装置であれば、この出力を表示する。ステップ５０５以降の処理は前述した実施例と同様である。
図１０（ｆ）は、実施例９の補間方法による補間後の画像である。図１０（ｆ）の実施例９の補間方法では、特に境界部の画素値の差が大きな部分で鮮明な画像になっている。各参照画素と補間画素の距離に、参照画素の画素値と非対角に位置する２点の参照画素の画素値平均との差を第二の所定値（２５６）により規格化したものを参照画素Ａ以外の各参照画素にかけた後に、Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１により規格化した重み付けを各参照画素の画素値に行うことで、最近傍の参照画素Ａの画素値が重視されたことと、参照画素とその非対角に位置する２つの参照画素の画素値平均との差により重み付けを行うことで、非対角位置との関係を反映することにより、参照画素の画素値の方向性を反映したことによる。但し、各補間画素の規格化を画像データの用いることができる最高画素値以上の値という固定した数値により行っているため、画素値の差により画像情報の反映度合いは異っている。以上により、文字部の鮮明な高品位の画像を得ることができる。
実施例１０：
本実施例は、図１、図３を用いる。本実施例では、画素値をＲＧＢ各々０〜２５５の数値で表し、参照画素と対角に位置する参照画素の画素値の差と、画素値の用いることが可能な最大画素値以上の任意の定数である２５６を用いる例を示す。ここで、参照画素の位置関係を図１で示すと、参照画素Ａ００の位置から対角の位置にある参照画素はＡ１１という位置関係になる。
図１１は、実施例１０の補間方法の処理フローチャートである。図１１を用いて、補間処理部５の補間処理を説明する。補間画素を画像データの並びに従って処理するとすると、その並び順に従い、処理する補間画素を特定する（ステップ５００）。補間データ記憶部６より、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）と参照画素を特定するデータを読出し（ステップ５０１）、これをもとに入力データ記憶部４より参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を読出す（ステップ５０２）。
次に、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）から補間画素の最近傍にある参照画素Ａを判断する（ステップ５０３）。これに従い、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素と対角に位置する参照画素との画素値の差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて算出する（ステップ５０４）。
・参照画素ＡがＡ００の場合、
Z00=x2・y2
Z10=x1・y2・(1-|a10-a01|/256)
Z01=x2・y1・(1-|a01-a10|/256)
Z11=x1・y1・(1-|a11-a00|/256)
・参照画素ＡがＡ１０の場合、
Z00=x2・y2・(1-|a00-a11|/256)
Z10=x1・y2
Z01=x2・y1・(1-|a01-a10|/256)
Z11=x1・y1・(1-|a11-a00|/256)
・参照画素ＡがＡ０１の場合、
Z00=x2・y2・(1-|a00-a11|/256)
Z10=x1・y2・(1-|a10-a01|/256)
Z01=x2・y1
Z11=x1・y1・(1-|a11-a00|/256)
・参照画素ＡがＡ１１の場合、
Z00=x2・y2・(1-|a00-a11|/256)
Z10=x1・y2・(1-|a10-a01|/256)
Z01=x2・y1・(1-|a01-a10|/256)
Z11=x1・y1
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ５０５）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
Ｚ００〜Ｚ１１の式において、距離以外の部分が画像情報を反映するための画素値に関する部分である。この部分がＺ００〜Ｚ１１で同一であるならば、補間処理は線形補間方法と同一である。これは４点参照画素の画素値が同一な場合である。画素値に関する部分が異なる場合には、距離に画素値の影響が付加されたものが、各々の参照画素の重み付けとなり、画像情報を反映させることとなる。本実施例による補間後の画像については、図１０で説明する。
算出された補間画素の画素値ｂは出力データ記憶部７に一旦格納されるか、直接出力される。画像表示装置であれば、この出力を表示する。ステップ５０５以降の処理は前述した実施例と同様である。
図１０（ｇ）は、実施例１０の補間方法による補間後の画像である。図１０（ｇ）の補間方法では、特に境界部の画素値の差が大きな部分で鮮明な画像になっている。各参照画素と補間画素の距離に、参照画素と対角に位置する参照画素との画素値の差を第二の所定値（２５６）により規格化したものを参照画素Ａ以外の各参照画素にかけた後に、Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１により規格化した重み付けを各参照画素の画素値に行うことで、最近傍の参照画素Ａの画素値が重視されたことと、参照画素とその対角に位置する参照画素との画素値の差により重み付けを行うことで、対角に位置する画素値の差の少ない、つまり変化の少ない参照画素の寄与を高めることになり、これにより参照画素の画素値の方向性を反映することによる。以上により、文字部の鮮明な高品位の画像を得ることができる。
実施例１１〜１５：
上記した実施例では、従来の画素間の距離因子による重み付けに、画像情報の因子を加えることで、文字等の鮮明さや滑らかさを向上させた。
そこで本発明（実施例１１〜１５）では、補間画素の画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映し、特に文字などの画素値の差が大きな部分のさらに鮮明な高品位の画像を得ることができる解像度変換の補間方法を提供し、その補間方法を行う画像処理装置及び、画像表示装置を提供することを目的とする。
そして、本発明（実施例１１〜１５）においては、入力された画像に解像度変換を施して、出力画像を作成する方法において、補間画素の周囲近傍に位置する複数の元画素を参照し、重み付けに従来行われていた距離因子に加えて、新たに画像情報因子を用い、さらに所定の重み付け因子の値の相違を大きくする所定の処理を行うことにより、画素値に不必要な情報を含まない少ない参照画素数でも、元画像の情報を補間後の画像に忠実に反映し、特に文字などの画素値の差が大きな部分で、さらに鮮明な高品位の画像を得る。
実施例１１〜１５では図１を用いる。実施例１１〜１３では、図３の構成図、実施例１４、１５では、図１３の構成図を用いる。図１２は、実施例１１〜１３の補間方法の処理フローチャートであり、図１４は、実施例１４、１５の補間方法の処理フローチャートである。図１５は、本発明の補間方法（実施例１１〜１５）によって解像度変換した画像例などを示す。
図１３の構成は、因子差拡大テーブル部１１を備える点で図３と異なる。図３と異なる部分のみを説明する。画素間距離に関するデータは補間データ記憶部６より読出し、所定の重み付け因子の値の相違を大きくする所定の処理がｎ乗の計算や、一つの所定の計算式で処理できない場合には、因子差拡大テーブル部１１のテーブルを読出し、これらを元に補間処理部５で補間画素の画素値を算する処理を繰り返すことにより、解像度変換された出力画像データが作成される。
次に、図１２、１４を用いて、各実施例に共通する補間処理部５で行われる補間処理について説明する。補間画素を画像データの並びに従って処理するとすると、その並び順に従い、処理する補間画素を特定する（ステップ６００、７００）。補間データ記憶部６より、補間画素と参照画素と距離（ｘ１，ｘ２，ｙ１，ｙ２）と参照画素を特定するデータを読出し（ステップ６０１、７０１）、これをもとに入力データ記憶部４より参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を読出す（ステップ６０２、７０２）。次に４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ６０３、７０３）、その差を算出する。これは最大と最小の画素値は画素値の比較等の方法で求める。
M=Max-Min
ここで、Ｍの値により異なる処理を行う（ステップ６０４、７０４）。算出された値Ｍが０、つまり４点の参照画素の画素値が等しい場合には、何れかの参照画素の画素値を補間画素の画素値とする処理（ステップ６０８、７１１）を行い、補間画素の画素値ｂを算出する。ａ００を使用したとすると、
b=a00
となる。置換えを行うことで、重み付けによる補間演算を行わずに済むことから、処理速度が向上する。
算出された値Ｍが０以外の場合、４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ６０５、７０５）。
AVE=(a00+a01+a10+a11)/4
以上、ここまでの処理は以下に示す実施例に共通のものであり、以下、各実施例を説明する。
実施例１１：
図１２において、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて算出する（ステップ６０６）。
Z00=(x2・y2)ｎ・(1-|a00-AVE|/M)
Z10=(x1・y2)ｎ・(1-|a10-AVE|/M)
Z01=(x2・y1)ｎ・(1-|a01-AVE|/M)
Z11=(x1・y1)ｎ・(1-|a11-AVE|/M)
距離因子である式の前半をｎ乗にすることにより、距離因子の値の相違を大きくする。この時のｎは１以上の数値である。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ６０７）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
Ｚ００〜Ｚ１１の式において、距離以外の部分が画像情報を反映するための画素値に関する部分である。この部分がＺ００〜Ｚ１１で同一であるならば、補間処理は線形補間方法の重み付けを非線型にしたものと同一である。これは４点参照画素の画素値が同一か、２点２組の画素値が同一な場合であり、この場合、本実施例では参照画素の画素値つまり画像情報因子の補間画素へ与える影響はない。画素値に関する部分が異なる場合には、距離に画素値の影響が付加されたものが、各々の参照画素の重み付けとなり、画像情報を反映させることとなる。
算出された補間画素の画素値ｂは出力データ記憶部７に一旦格納されるか、直接出力される。画像表示装置であれば、この出力を表示する。ステップ６０７以降の処理は前述した実施例と同様である。
図１５（ａ）は解像度変換前の元画像、図１５（ｂ）は重み付けに用いる因子の値の相違を大きくする処理を行わない補間後の画像、図１５（ｃ）は実施例１１の補間方法による補間後の画像である。図１５（ｂ）の画像は、滑らかさは優れるが、若干文字や斜め線の鮮明さが甘い。図１５（ｃ）に示す実施例１１の補間方法では、滑らかさが図１５（ｂ）と比較して劣化するが、文字や斜め線の鮮明さが向上する。これは、距離因子の違いを強調することにより、距離因子の中間的な値が参照画素位置に近い方の値に寄ることとなり、重み付け全体が鮮明な方向にシフトする。その結果、若干滑らかさが落ちるが、それを上回る鮮明さの効果がある。
実施例１２：
図１２において、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて算出する（ステップ６０６）。
Z00=(x2・y2)・(1-|a00-AVE|/M)ｎ
Z10=(x1・y2)・(1-|a10-AVE|/M)ｎ
Z01=(x2・y1)・(1-|a01-AVE|/M)ｎ
Z11=(x1・y1)・(1-|a11-AVE|/M)ｎ
画像情報因子である式の後半部分をｎ乗にすることにより、画像情報因子の値の相違を大きくする。この時のｎは１以上の数値である。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ６０７）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
Ｚ００〜Ｚ１１の式において、距離以外の部分が画像情報を反映するための画素値に関する部分である。この部分がＺ００〜Ｚ１１で同一であるならば、補間処理は線形補間方法と同一である。これは４点参照画素の画素値が同一か、２点２組の画素値が同一な場合であり、この場合、本実施例では参照画素の画素値の補間画素へ与える影響はない。画素値に関する部分が異なる場合には、距離に画素値の影響が付加されたものが、各々の参照画素の重み付けとなり、画像情報を反映させることとなる。
算出された補間画素の画素値ｂは出力データ記憶部７に一旦格納されるか、直接出力される。画像表示装置であれば、この出力を表示する。ステップ６０７以降の処理は前述した実施例と同様であるので、その説明を省略する。
図１５（ｄ）は、実施例１２の補間方法による補間後の画像である。実施例１２の補間方法では、滑らかさをある程度保ったまま、文字や斜め線の鮮明さが向上する。これは、画像情報因子の違いを強調することにより、より画像の傾向に近い参照画素に近付くように２分化され、鮮明な画像を得ることができる。
実施例１３：
図１２において、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて算出する（ステップ６０６）。
Z00=(x2・y2)ｎ・(1-|a00-AVE|/M)ｐ
Z10=(x1・y2)ｎ・(1-|a10-AVE|/M)ｐ
Z01=(x2・y1)ｎ・(1-|a01-AVE|/M)ｐ
Z11=(x1・y1)ｎ・(1-|a11-AVE|/M)ｐ
本実施例では、ｎとｐの値は等しいため、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１は下記の式になる。
Z00=((x2・y2)・(1-|a00-AVE|/M))ｎ
Z10=((x1・y2)・(1-|a10-AVE|/M))ｎ
Z01=((x2・y1)・(1-|a01-AVE|/M))ｎ
Z11=((x1・y1)・(1-|a11-AVE|/M))ｎ
距離因子と画像情報因子の両方を含む式をｎ乗にすることにより、距離因子と画像情報因子双方の関係より算出された値の相違を大きくする。この時のｎは１以上の数値である。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ６０７）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
Ｚ００〜Ｚ１１の式において、距離以外の部分が画像情報を反映するための画素値に関する部分である。この部分がＺ００〜Ｚ１１で同一であるならば、補間処理は線形補間方法の重み付けを非線型にしたものと同一である。これは４点参照画素の画素値が同一か、２点２組の画素値が同一な場合であり、この場合、本例では参照画素の画素値の補間画素へ与える影響はない。画素値に関する部分が異なる場合には、距離に画素値の影響が付加されたものが、各々の参照画素の重み付けとなり、画像情報を反映させることとなる。
算出された補間画素の画素値ｂは出力データ記憶部７に一旦格納されるか、直接出力される。画像表示装置であれば、この出力を表示する。ステップ６０７以降の処理は前述した実施例と同様であるので、その説明を省略する。
図１５（ｅ）は、実施例１３の補間方法による補間後の画像である。実施例１３の補間方法では、滑らかさを保ったまま、文字や斜め線の鮮明さがより向上する。距離因子の違いを強調することは、距離因子の中間的な値が参照画素位置に近い方の値に寄ることとなり、画像情報因子の違いを強調することは、より画像の傾向に近い参照画素に近付くように２分化されていく。この２つの因子を強調することで、両因子の特徴のバランスを取ることで、重み付け全体が鮮明な方向にシフトし、滑らかさがあり、文字などの画素値の差が大きな部分の鮮明な高品質の画像を得ることができる。
実施例１４：（乗算）
図１４において、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００’，Ｚ１０’，Ｚ０１’，Ｚ１１’の値を下記の式を用いて算出する（ステップ７０６）。
Z00'=(x2・y2)・(1-|a00-AVE|/M)
Z10'=(x1・y2)・(1-|a10-AVE|/M)
Z01'=(x2・y1)・(1-|a01-AVE|/M)
Z11'=(x1・y1)・(1-|a11-AVE|/M)
次にＺ００’，Ｚ１０’，Ｚ０１’，Ｚ１１’の値（参照値）より因子差拡大テーブル部１１のテーブルを読出し（ステップ７０７）、参照値毎に対応する読出した値ＡＤを各参照値に乗算し、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を算出する（ステップ７０８）。ＡＤの値は、参照値の相違を大きくするために、参照値間の差の割合を乗算後の値間の割合が拡大するように定められる。例えば、参照値が１の場合ＡＤ＝２とすると乗算後の値は２になり、参照値の２倍の値になる。参照値が２の場合には乗算後の値の割合が同等とするにはＡＤ＝２、拡大するためには乗算後の値が４を上回る必要があるので、ＡＤ＞２となる。このようにして、参照値とＡＤの値の関係を様々に設定することにより、画像に与える効果を調節することができる。所定の重み付け因子の値の相違を大きくすることを含む処理をテーブルから読出した値の乗算処理にすることにより、ｎ乗にする場合に比較して、ｎ＞２の場合には乗算数が減ることで、処理速度が速くなるとともに、演算回路の規模が小さくなる。本実施例では、参照値にＡＤの値を乗算しているが、参照値を距離因子や画像情報因子とし、参照値とした因子にＡＤを乗算し、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を算出する等の方法もある。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ７０９）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
このように因子差拡大テーブル部１１のテーブルに収められた値ＡＤと参照値の関係を定めることにより、鮮明さや滑らかさ等の画像品質を良くすることができる。乗算する方法では、実施例１１〜１３についても、同様に置換えることができ、ｎ＞２の場合には、処理速度が速くなるとともに、演算回路の規模が小さくなる。
実施例１５：（加算）
図１４において、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００’，Ｚ１０’，Ｚ０１’，Ｚ１１’の値を下記の式を用いて算出する（ステップ７０６）。
Z00'=(x2・y2)・(1-|a00-AVE|/M)
Z10'=(x1・y2)・(1-|a10-AVE|/M)
Z01'=(x2・y1)・(1-|a01-AVE|/M)
Z11'=(x1・y1)・(1-|a11-AVE|/M)
次にＺ００’，Ｚ１０’，Ｚ０１’，Ｚ１１’の値（参照値）より因子差拡大テーブル部１１のテーブルを読出し（ステップ７０７）、参照値毎に対応する読出した値ＡＤを各参照値に加算し、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を算出する（ステップ７０８）。ＡＤの値は、参照値の相違を大きくするために、参照値間の差の割合を加算後の値間の割合が拡大するように定められる。例えば、参照値が１の場合ＡＤ＝１とすると加算後の値は２になり、参照値の２倍の値になる。参照値が２の場合には加算後の値の割合が同等とするにはＡＤ＝２、拡大するためには加算後の値が４を上回る必要があるので、ＡＤ＞２となる。このようにして、参照値とＡＤの値の関係を様々に設定することにより、画像に与える効果を調節することができる。所定の重み付け因子の値の相違を大きくすることを含む処理をテーブルから読出した値の加算処理にすることにより、乗算を行う場合に比較して、処理速度が速くなるとともに、演算回路の規模が小さくなる。本実施例では、参照値にＡＤの値を加算しているが、参照値を距離因子や画像情報因子とし、参照値とした因子にＡＤを加算し、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を算出する等の方法もある。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを算出する（ステップ７０９）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
このように因子差拡大テーブル部１１のテーブルに収められた値ＡＤと参照値の関係を定めることにより、鮮明さや滑らかさ等の画像品質を良くすることができる。加算する方法では、実施例１１〜１３についても、同様に置換えることができ、処理速度が速くなるとともに、演算回路の規模が小さくなる。
図１５（ｆ）〜（ｈ）は従来技術の補間方法によって図１５（ａ）の画像を解像度変換した画像である。図１５（ｆ）は線形補間法、図１５（ｇ）はキュービックコンボリューション、図１５（ｈ）は前掲した特許第２７９６９００号を用いた補間方法である。実施例１１、１２、１３の図１５（ｃ）、（ｄ）、（ｅ）と、これらの画像を比較すると、従来の方法は何れも画像の文字や斜め線、自然画の境がボケており、これらの鮮明さが劣っている。また、斜め線の滑らかさにおいても、ジャギーが目立つ。つまり、本実施例は、文字の鮮明さや斜め線の滑らかさで優れた、高品位の画像を得ることができる。
実施例１６〜２１：
上記した実施例では、従来の画素間の距離因子による重み付けに、画像情報の因子を加えることで、文字等の鮮明さや滑らかさを向上させた。また実施例１１〜１５では、実施例１〜６の重み付け因子の値の相違を大きくする処理を行った後に規格化を行い、それにより重み付けを行うことで、特に文字などの画素値の差が大きな部分のさらに鮮明な高品位の画像を実現した。しかし、実施例１１〜１５では、自然画などの画像における滑らかさと、文字や図形などの画像における鮮明さの両立は実現できなかった。
従来の対象とする画像によって複数の補間方法を使い分ける方法（例えば、特開平１１−０３２２０９号公報，同１１−２０３４６７号公報，同９−２５２４０１号公報）では、選択する複数の補間方法は共通点が少ないため、各々の補間方法で専用の回路を用意することが必要となり、回路規模の増大とそれによるコストの増大という問題が共通している。また、文字などの画素値の差が大きな部分の滑らかさと鮮明さのバランスにおいて、複数の補間方法を使い分ける方法では、本発明（実施例１〜６、１１〜１５）に劣り、高画質化のために３次関数を使用することから、さらに回路規模の増大を招き、コストが高くなり、問題となってくる。
本発明は、前述した実施例１〜６、１１〜１５の特徴を生かすため、複数の補間方法を参照画素の画素値の状況により選択し、特に文字や図形などの部分をより鮮明にしつつ、より高品位の画像を回路規模を増大させずに得ようとするものである。
そこで本発明では、少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映し、滑らかさに優れ、特に文字や図形などの境界部分の鮮明な高品位の画像を得ることができる解像度変換の補間方法を複数の補間方法を選択して用いながらも、少なくとも一部の処理を共有することにより、回路規模の増大によるコスト増大を招くことなく提供し、その補間方法を行う画像処理装置及び、画像表示装置を提供することを目的とする。
本発明においては、入力された画像に解像度変換を施して、出力画像を作成する方法において、補間画素の周囲近傍に位置する複数の元画素を参照し、重み付けに従来行われていた距離因子に加えて、新たに画像情報因子を用い、さらに距離因子及び、或いは、画像情報因子の値の相違を大きくする処理を行った後に規格化を行い、それにより重み付けを行うことで、前記補間画素の画素値を生成する第一の補間方法を含む複数の補間方法を有し、所定の方法により複数の補間方法から画像に適した補間方法を選択することにより、少ない参照画素数でも、元画像の情報を補間後の画像に忠実に反映し、滑らかさに優れ、特に文字などの画素値の差が大きな部分の鮮明な高品位の画像を得る。また、第一の補間方法と他の補間方法の処理において、少なくとも一部の処理を共有させ、その比率を多くすることにより、回路規模の増大がほとんどなく、コストが安い補間方法と、その補間方法を行う画像処理装置及び、画像表示装置を実現することができる。
実施例１６〜２１では図１、３を用いる。図１６〜図２１は、実施例１６〜２１の補間方法の処理フローチャートである。図２２は、本発明の補間方法（実施例１６〜２１）によって解像度変換した画像例などを示す。
実施例１６〜２１の共通部分：
本実施例においては、選択する補間方法が二つの場合を示すが、補間方法の数はこれに限定されるものではない。また、本実施例では、画素値をＲＧＢ各々０〜２５５の数値で表し、参照画素の画素値と参照画素の画素値の平均との差と、最大画素値Ｍａｘと最小画素値Ｍｉｎの差以上の値であるＭを用る例を示すが、本発明はこれに限定されるものではない。
第一の補間方法は前述した実施例の補間方法である。すなわち、補間画素を処理するためには、画素間距離や参照画素を特定し、画素値を用いて補間処理部５で補間処理を行う。そのためには、補間画素と参照画素の座標のＬＵＴから、参照画素を特定し、画素間距離を出し、画素値を入力データ記憶部４より読み出す。それらより距離因子や画像情報因子を生成し、さらに距離因子及び、或いは、画像情報因子の値の相違を大きくする処理を行い、これらを元に補間処理部５で補間画素の画素値を算出する処理を繰り返すことにより、解像度変換された出力画像データが生成される。このようにして第一の補間方法が処理される。他の補間方法も前記ブロック内で処理を行う。補間方法の選択は、本実施例では補間処理部５内で行われる。勿論、補間処理部５内に含まず、他に補間方法を選択するブロックを用意しても機能上、同様の処理を行うことができる。補間処理部５で処理された補間画素の画素値は、そのまま出力してもよいが、ここでは一時出力データ記憶部７に格納し、所定の単位毎に出力される。出力された出力画像データは表示部８により、解像度変換された画像を表示する。
次に、各実施例に共通する補間処理部５で行われる補間処理（図１６のステップ８００〜８０４、図１７のステップ９００〜９０４、図１８のステップ１０００〜１００４、図１９のステップ１１００〜１１０４、図２０のステップ１２００〜１２０４、図２１のステップ１３００〜１３０４）について説明する。
補間画素を画像データの並びに従って処理すると、その並び順に従い、処理する補間画素を特定する（ステップ８００、９００、１０００、１１００、１２００、１３００）。補間画素から参照画素を特定し、その画素間距離（ｘ１，ｘ２，ｙ１，ｙ２）を求め（ステップ８０１、９０１、１００１、１１０１、１２０１、１３０１）、これをもとに入力データ記憶部４より参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を読出す（ステップ８０２、９０２、１００２、１１０２、１２０２、１３０２）。次に４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ８０３、９０３、１００３、１１０３、１２０３、１３０３）、その差を出す。最大と最小の画素値は画素値の比較等の方法で求める。
M=Max-Min
ここで、Ｍの値により異なる処理を行う（ステップ８０４、９０４、１００４、１１０４、１２０４、１３０４）。Ｍが０、つまり４点の参照画素の画素値が等しい場合には、何れかの参照画素の画素値を補間画素の画素値とする処理（ステップ８１０、９１０、１０１０、１１１０，１２１０、１３１２）を行い、補間画素の画素値ｂを生成する。ａ００を使用したとすると、
b=a00
となる。置換えを行うことで、重み付けによる補間処理を行わずに済むことから、処理速度が向上する。
以上、ここまでの処理は以下に示す実施例に共通のものであり、以下、各実施例を説明する。
実施例１６：（線形補間＋他補間方法）
図１６において、Ｍの値と第一の所定値Ｅの値を比較することにより補間方法を選択する（ステップ８０５）。Ｍ＜Ｅの時は線形補間法、Ｍ≧Ｅの時は第一の補間方法を用いる。第一の補間方法は、特に文字や図形などの境界部分のような、参照画素値の差が大きな部分において、鮮明な画像を得られることが特徴である。線形補間法は、自然画などの参照画素値の差が小さな部分において、滑らかな画像を得られることが特徴である。つまり両補間方法の長所を生かした高品質の画像を得るために、基準として所定値Ｅを定め、補間方法の選択を行う。４点の参照画素値の差がＥ以上の場合には、文字や図形などの境界部分と判断し、鮮明な画像を得られる第一の補間方法を用い、Ｅ未満の場合には、自然画などの参照画素値の差が小さな部分で、滑らかな画像を得られる線形補間方法を用いる。
Ｍ＜Ｅの場合は、各参照画素と補間画素の距離を用いてＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ８０６）。
Z00=(x2・y2)
Z10=(x1・y2)
Z01=(x2・y1)
Z11=(x1・y1)
Ｍ≧Ｅの場合は、４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ８０７）。
AVE=(a00+a01+a10+a11)/4
次に、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ８０８）。本実施例では距離因子と画像情報因子の値の相違を大きくする処理を示すが、値の相違を大きくする処理はこれに限るものではない。
Z00=((x2・y2)・(1-|a00-AVE|/M))ｎ
Z10=((x1・y2)・(1-|a10-AVE|/M))ｎ
Z01=((x2・y1)・(1-|a01-AVE|/M))ｎ
Z11=((x1・y1)・(1-|a11-AVE|/M))ｎ
距離因子と画像情報因子の両方を含む式をｎ乗にすることにより、距離因子と画像情報因子双方の関係より生成された値の相違を大きくする。この時のｎは１以上の数値である。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ８０９）。
Ｍ＜Ｅの場合は、Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１＝１のため規格化は必要なく
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)
M≧Eの場合は、
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、線形補間方法の処理は、第一の補間方法の処理を共有している。そのため、線形補間方法の場合は、第一の補間方法の一部で処理を行うという処理だけで、解像度変換を行うことができ、複数の補間方法を用いても、各々独立した専用の回路を必要とせず、回路規模の増大がほとんどない。
ステップ８０９、８１０以降の処理は前述した実施例と同様である。
図２２（ａ）は解像度変換前の元画像、図２２（ｂ）は図２２（ａ）を線形補間法により解像度変換した画像、図２２（ｃ）は、第一の補間方法により解像度変換した画像、図２２（ｄ）は実施例１６の補間方法による補間後の画像である。ここでは第一の所定値Ｅ＝１２８を用いているが、Ｅの値はこれに限るものではない。また図２２（ｃ）、（ｄ）の処理に用いるｎは本実施例では３を用いているが、ｎの値はそれに限るものではない。図２２（ｂ）の画像はボケと図の下部の文字と斜めの境界部にジャギーが見られる。図２２（ｃ）の画像には上部の自然画部分に若干のジャギーが見られる。図２２（ｄ）の画像は、文字も鮮明であり自然画部分や、Ｍの値が第一の所定値以上の部分では、ジャギーは見られない。これは、Ｍの値と第一の所定値Ｅの値を比較により補間方法を選択していることにより、文字などの画素値の差が大きな部分では鮮明な画像を得られる図２２（ｃ）の補間方法を、差の小さな自然画などの部分では、滑らかな画像を得られる図２２（ｂ）の線形補間法を使用して解像度変換をしていることによる。
実施例１７：（線形補間＋他補間方法）
図１７において、各参照画素の画素値ａ００，ａ０１，ａ１０，ａ１１を最大の画素値Ｍａｘと最小の画素値Ｍｉｎと比較し、ａ００，ａ０１，ａ１０，ａ１１のいずれかが、ＭａｘでもＭｉｎない値を有するかにより補間方法を選択する（ステップ９０５）。有する場合は線形補間法を用い、無い場合には第一の補間方法を用いる。つまり参照画素値が２値をとる場合には、文字や図形などの境界部分と判断し、そのような場合に長所を発揮する、鮮明な画像が得られる第一の補間方法を用い、それ以外の場合は、境界部分ではないと判断し、滑らかな画像を得られる線形補間方法を用いる。
有する場合は、各参照画素と補間画素の距離を用いてＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ９０６）。
Z00=(x2・y2)
Z10=(x1・y2)
Z01=(x2・y1)
Z11=(x1・y1)
無い場合は、４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ９０７）。
AVE=(a00+a01+a10+a11)/4
次に、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ９０８）。
Z00=((x2・y2)・(1-|a00-AVE|/M))ｎ
Z10=((x1・y2)・(1-|a10-AVE|/M))ｎ
Z01=((x2・y1)・(1-|a01-AVE|/M))ｎ
Z11=((x1・y1)・(1-|a11-AVE|/M))ｎ
距離因子と画像情報因子の両方を含む式をｎ乗にすることにより、距離因子と画像情報因子双方の関係より生成された値の相違を大きくする。この時のｎは１以上の数値である。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ９０９）。
有する場合は、Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１＝１のため規格は必要なく
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)
無い場合は、
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、線形補間方法の処理は、第一の補間方法の処理を共有している。そのため、線形補間方法の場合は、第一の補間方法の一部で処理を行うという処理だけで、解像度変換を行うことができ、複数の補間方法を用いても、各々独立した専用の回路を必要とせず、回路規模の増大がほとんどない。
ステップ９０９、９１０以降の処理は前述した実施例と同様である。
図２２（ｅ）は、実施例１７の補間方法による補間後の画像である。処理に用いるｎは本実施例では３を用いているが、ｎの値はそれに限るものではない。図２２（ｅ）の画像は、図の下部の文字や斜め線も鮮明であり、文字や斜め線、自然画部分でもジャギーは見られない。しかし、中央の自然画の境界部に非常に小さなボケが断続的に発生している。境界下部は白１色であるが、それと接する自然画部分の値が微妙に異なる２つの値を有する場合に、線形補間方法が用いられることによる。しかし、他の文字や図形などの境界部は、ほとんどの場合、参照画素の画素値が２の値を持つこととなる特性を利用して、これらに適した図２２（ｃ）の補間方法を選択し、鮮明な画像を得ることができ、それ以外の部分では、自然画に適した線形補間法を選択することで、滑らかな画像を得ることができ、全体的に高品位の画像を得ることができる。
実施例１８：（線形補間＋他補間方法）
図１８において、画素値の取り得る範囲を定めるための値Ｓ（Ｓ＞２）とＭを用いて、範囲を決定する。
M1=M/S
また、Ｍ１は定数を用いてもよい。前者は、参照画素の状況により範囲が変動し、後者は参照画素の状況によらず一定な補間方法選択のための範囲となる（ステップ１００５）。
次に各参照画素の画素値ａ００，ａ０１，ａ１０，ａ１１がＭａｘ−Ｍ１以上か、Ｍｉｎ＋Ｍ１以下の範囲にあるかを比較し、ａ００，ａ０１，ａ１０，ａ１１の全てが、その範囲内に有るか否かにより補間方法を選択する（ステップ１００６）。範囲外の画素値を有する場合は線形補間法を用い、範囲内の場合には第一の補間方法を用いる。文字や図形などの境界部分は、２値になる場合と、背景や文字等において画素値に変化がある場合（文字や図形等の背景がグラデーションや自然画等の場合や、文字や図形等自体にグラデーションがかかっている等の場合）が考えられる。これを抽出するために、選択基準にＭ１という参照画素値の差Ｍによって変化する値により、参照画素値の最大値と最小値から一定の幅を持たせ、この２つの範囲に分かれた値を参照画素値が有する場合には、文字や図形などの境界部分と判断し、そのような場合に長所をもち、鮮明な画像が得られる第一の補間方法を用い、それ以外の場合には、滑らかな画像を得られる線形補間方法を用いる。
範囲外の画素値を有する場合は、各参照画素と補間画素の距離を用いてＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ１０１２）。
Z00=(x2・y2)
Z10=(x1・y2)
Z01=(x2・y1)
Z11=(x1・y1)
全ての画素値が範囲内の場合は、４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ１００７）。
AVE=(a00+a01+a10+a11)/4
次に各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ１００８）。
Z00=((x2・y2)・(1-|a00-AVE|/M))ｎ
Z10=((x1・y2)・(1-|a10-AVE|/M))ｎ
Z01=((x2・y1)・(1-|a01-AVE|/M))ｎ
Z11=((x1・y1)・(1-|a11-AVE|/M))ｎ
距離因子と画像情報因子の両方を含む式をｎ乗にすることにより、距離因子と画像情報因子双方の関係より生成された値の相違を大きくする。この時のｎは１以上の数値である。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ１００９）。
範囲外の画素値を有する場合は、Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１＝１のため規格化は必要なく
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)
全ての画素値が範囲内の場合は、
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、線形補間方法の処理は、第一の補間方法の処理を共有している。そのため、線形補間方法の場合は、第一の補間方法の一部で処理を行うという処理だけで、解像度変換を行うことができ、複数の補間方法を用いても、各々独立した専用の回路を必要とせず、回路規模の増大がほとんどない。ステップ１００９、１０１０以降の処理は前述した実施例と同様である。
図２２（ｆ）は実施例１８の補間方法による補間後の画像である。本実施例では処理に用いるｎは３、Ｓは８を用いているが、これらの値はそれに限るものではない。図２２（ｆ）の画像は、図の下部の文字や斜め線も鮮明であり、文字や斜め線、自然画部分でもジャギーは見られない。また中央の自然画の境界部も鮮明である。これは、補間方式の選択基準にＭ１という画素値の幅を持たせることにより、文字や図形などの境界部の特徴に、画素値の微妙な変化を考慮することにより、より高い精度でこれらを抽出できるようにしたことによる。このようにその画像の性質に合わせた補間方法を選択することにより、文字や図形などの鮮明で且つ、滑らかな高品位の画像を得ることができる。
実施例１９：
図１９において、４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ１１０５）。
AVE=(a00+a01+a10+a11)/4
Ｍの値と第一の所定値Ｅの値を比較することにより補間方法を選択する（ステップ１１０６）。Ｍ＜Ｅの時は、画像情報因子及び、距離因子を用いて規格化を行い、それにより重み付けを行うことで、補間画素の画素値を生成する補間方法（以下、第二の補間方法とする）、Ｍ≧Ｅの時は第一の補間方法を用いる。
第一の補間方法は、特に文字や図形などの境界部分のような、参照画素値の差が大きな部分において、鮮明な画像を得られることが特徴である。また第二の補間方法は、第一の補間方法に比べ、画像の滑らかさで優り、文字や図形などの境界部分の鮮明さでは劣る。この両補間方法の長所を生かた高品質の画像を得るために、基準として所定値Ｅを定め、補間方法の選択を行う。４点の参照画素値の差がＥ以上の場合には、文字や図形などの境界部分と判断し、このような場合に長所を発揮し、鮮明な画像を得られる第一の補間方法を用い、Ｅ未満の場合には、滑らかな画像を得られる第二の補間方法を用いる。
次に各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する。
Ｍ＜Ｅの場合は（ステップ１１０８）
Z00=(x2・y2)・(1-|a00-AVE|/M)
Z10=(x1・y2)・(1-|a10-AVE|/M)
Z01=(x2・y1)・(1-|a01-AVE|/M)
Z11=(x1・y1)・(1-|a11-AVE|/M)
Ｍ≧Ｅの場合は（ステップ１１０７）、
Z00=((x2・y2)・(1-|a00-AVE|/M))ｎ
Z10=((x1・y2)・(1-|a10-AVE|/M))ｎ
Z01=((x2・y1)・(1-|a01-AVE|/M))ｎ
Z11=((x1・y1)・(1-|a11-AVE|/M))ｎ
距離因子と画像情報因子の両方を含む式をｎ乗にすることにより、距離因子と画像情報因子双方の関係より生成された値の相違を大きくする。この時のｎは１以上の数値である。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ１１０９）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、画像情報因子及び、距離因子を用いて規格化を行い、それにより重み付けを行うことで、補間画素の画素値を生成する補間方法の処理は、第一の補間方法の処理を共有している。そのため、各参照画素の画素値ａ００，ａ０１，ａ１０，ａ１１が３つ以上値を有する場合は、第一の補間方法の一部で処理を行うという処理だけで、解像度変換を行うことができ、複数の補間方法を用いても、各々独立した専用の回路を必要とせず、回路規模の増大がほとんどない。ステップ１１０９、１１１０以降の処理は前述した実施例と同様である。
図２２（ｇ）は、図２２（ａ）を画像情報因子及び、距離因子を用いて規格化を行い、それにより重み付けを行うことで、補間画素の画素値を生成する補間方法により解像度変換した画像である。図２２（ｈ）は実施例１９の補間方法による補間後の画像である。ここでは第一の所定値Ｅ＝１２８、処理に用いるｎ＝３を用いているが、双方の値はこれに限るものではない。図２２（ｇ）の画像は、図２２（ｂ）や図２２（ｌ）（図２２（ａ）の画像をキュービックコンボリューションで解像度変換した画像）に比べ滑らかさと鮮明さに優れ、図２２（ｋ）（図２２（ａ）の画像を特許第２７９６９００号の補間方法で解像度変換した画像）に比べ文字や図形など滑らかさと鮮明さに優れるが、鮮明さに不満が残る。それに比べ図２２（ｈ）の画像は、文字や図形など、Ｍの値が第一の所定値Ｅ以上の部分では非常に鮮明であり、自然画部分もバランスがとれている。これは、Ｍの値と第一の所定値Ｅの値を比較により補間方法を選択していることにより、文字などの画素値の差が大きな部分では鮮明な画像を得られる図２２（ｃ）の補間方法を、差の小さな自然画などの部分では、滑らかな画像を得られる図２２（ｇ）の補間方法を使用して解像度変換をしていることによる。
実施例２０：
図２０において、４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ１２０５）。
AVE=(a00+a01+a10+a11)/4
各参照画素の画素値ａ００，ａ０１，ａ１０，ａ１１と最大の画素値Ｍａｘと最小の画素値Ｍｉｎを比較し、ａ００，ａ０１，ａ１０，ａ１１のいずれかが、ＭａｘでもＭｉｎない値を有するかにより補間方法を選択する（ステップ１２０６）。有する場合は画像情報因子及び、距離因子を用いて規格化を行い、それにより重み付けを行うことで、補間画素の画素値を生成する補間方法、無い場合には第一の補間方法を用いる。つまり参照画素値が２値をとる場合には、文字や図形などの境界部分と判断し、そのような場合に長所を発揮する、鮮明な画像が得られる第一の補間方法を用い、それ以外の場合は、境界部分ではないと判断し、滑らかな画像を得られる第二の補間方法を用いる。
次に各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する。
有する場合は（ステップ１２０８）
Z00=(x2・y2)・(1-|a00-AVE|/M)
Z10=(x1・y2)・(1-|a10-AVE|/M)
Z01=(x2・y1)・(1-|a01-AVE|/M)
Z11=(x1・y1)・(1-|a11-AVE|/M)
無い場合は（ステップ１２０７）、
Z00=((x2・y2)・(1-|a00-AVE|/M))ｎ
Z10=((x1・y2)・(1-|a10-AVE|/M))ｎ
Z01=((x2・y1)・(1-|a01-AVE|/M))ｎ
Z11=((x1・y1)・(1-|a11-AVE|/M))ｎ
距離因子と画像情報因子の両方を含む式をｎ乗にすることにより、距離因子と画像情報因子双方の関係より生成された値の相違を大きくする。この時のｎは１以上の数値である。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ１２０９）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、画像情報因子及び、距離因子を用いて規格化を行い、それにより重み付けを行うことで、補間画素の画素値を生成する補間方法の処理は、第一の補間方法の処理を共有している。そのため、各参照画素の画素値ａ００，ａ０１，ａ１０，ａ１１が３つ以上値を有する場合は、第一の補間方法の一部で処理を行うという処理だけで、解像度変換を行うことができ、複数の補間方法を用いても、各々独立した専用の回路を必要とせず、回路規模の増大がほとんどない。ステップ１２０９、１２１０以降の処理は前述した実施例と同様である。
図２２（ｉ）は、実施例２０の補間方法による補間後の画像である。処理に用いるｎは本実施例は３を用いているが、ｎの値はそれに限るものではない。図２２（ｉ）の画像は、図の下部の文字や斜め線も鮮明であり、文字や斜め線、自然画部分でもジャギーは見られない。しかし、中央の自然画の境界部に非常に小さなボケが断続的に発生している。境界下部は白の１色であるが、それと接する自然画部分の値が微妙に異なる２つの値を有する場合に、図２２（ｇ）の補間方法が用いられることによる。しかし、他の文字や図形などの境界部は、ほとんどの場合、参照画素の画素値が２つの値を持つこととなる特性を利用して、これらに適した図２２（ｃ）の補間方法を選択し、鮮明な画像を得ることができており、それ以外の部分では、自然画に適した図２２（ｇ）の補間方法を選択することで、滑らかな画像を得ることができ、全体的に高品位の画像を得ることができる。
実施例２１：
図２１において、Ｍが０以外のとき（ステップ１３０４）、画素値の取り得る範囲を定めるための値Ｓ（Ｓ＞２）とＭを用いて、範囲を決定する。
M1=M/S
また、Ｍ１は定数を用いてもよい。前者は、参照画素の状況により範囲が変動し、後者は参照画素の状況によらず一定な補間方法選択のための範囲となる（ステップ１３０５）。
次に、各参照画素の画素値ａ００，ａ０１，ａ１０，ａ１１がＭａｘ−Ｍ１以上か、Ｍｉｎ＋Ｍ１以下の範囲にあるかを比較し、ａ００，ａ０１，ａ１０，ａ１１の全てが、その範囲内に有るか否かにより補間方法を選択する（ステップ１３０７）。範囲外の画素値を有する場合は、画像情報因子及び、距離因子を用いて規格化を行い、それにより重み付けを行うことで、補間画素の画素値を生成する補間方法を用い、範囲内の場合には第一の補間方法を用いる。文字や図形などの境界部分は、２値になる場合と、背景や文字等において画素値に変化がある場合（文字や図形等の背景がグラデーションや自然画等の場合や、文字や図形等自体にグラデーションがかかっている等の場合）が考えられる。これを抽出するために、選択基準にＭ１という参照画素値の差Ｍによって変化する値により、参照画素値の最大値と最小値から一定の幅を持たせ、この２つの範囲に分かれた値を参照画素値が有する場合には、文字や図形などの境界部分と判断し、そのような場合に長所を発揮する、鮮明な画像が得られる第一の補間方法を用い、それ以外の場合には、滑らかな画像を得られる第二の補間方法を用いる。
範囲外の画素値を有する場合は、各参照画素と補間画素の距離を用いてＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ１３０９）。
Z00=(x2・y2)・(1-|a00-AVE|/M)
Z10=(x1・y2)・(1-|a10-AVE|/M)
Z01=(x2・y1)・(1-|a01-AVE|/M)
Z11=(x1・y1)・(1-|a11-AVE|/M)
全ての画素値が範囲内の場合は、各参照画素と補間画素の距離を用いてＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ１３０８）。
Z00=((x2・y2)・(1-|a00-AVE|/M))ｎ
Z10=((x1・y2)・(1-|a10-AVE|/M))ｎ
Z01=((x2・y1)・(1-|a01-AVE|/M))ｎ
Z11=((x1・y1)・(1-|a11-AVE|/M))ｎ
距離因子と画像情報因子の両方を含む式をｎ乗にすることにより、距離因子と画像情報因子双方の関係より生成された値の相違を大きくする。この時のｎは１以上の数値である。
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ１３１０）。b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、画像情報因子及び、距離因子を用いて規格化を行い、それにより重み付けを行うことで、補間画素の画素値を生成する補間方法の処理は、第一の補間方法の処理を共有している。そのため、各参照画素の画素値ａ００，ａ０１，ａ１０，ａ１１が３値以上を有する場合は、第一の補間方法の一部で処理を行うという処理だけで、解像度変換を行うことができ、複数の補間方法を用いても、各々独立した専用の回路を必要とせず、回路規模の増大がほとんどない。ステップ１３１０、１３１２以降の処理は前述した実施例と同様である。
図２２（ｊ）は、実施例２１の補間方法による補間後の画像である。本実施例では処理に用いるｎは３、Ｓは８を用いているが、これらの値はそれに限るものではない。図２２（ｊ）の画像は、図の下部の文字や斜め線も鮮明であり、文字や斜め線、自然画部分でもジャギーは見られない。また中央の自然画の境界部も鮮明である。これは、補間方式の選択基準にＭ１という画素値の幅を持たせることにより、文字や図形などの境界部の特徴に、画素値の微妙な変化を考慮することにより、より高い精度でこれらを抽出できるようにしたことによる。このようにその画像の性質に合わせた補間方法を選択することにより、文字や図形などの鮮明で且つ、滑らかな高品位の画像を得ることができる。
実施例２２〜２５：
ところで、近年では会議等に用いられる画像表示装置が多くなってきた。これらには文字を表示する比率が高く、文字は滑らかで鮮明なものが好まれる傾向がある。この点から線形補間法、標本化関数補間法やスプライン補間法等の方法は、文字の様な極端な境界での画素値の変化があるものでは、画像にボケが生じ、鮮明さが劣るとともに、滑らかさでも物足りないものになる。これを解決する為に、上記した実施例１〜１０では、従来の画素間の距離因子による重み付けに、画像情報の因子を加えることで、文字等の鮮明さや滑らかさを向上させた。また上記した実施例１１〜１５では、実施例１〜６の重み付け因子の値の相違を大きくする処理を行った後に規格化を行い、それにより重み付けを行うことで、特に文字などの画素値の差が大きな部分のさらに鮮明な高品位の画像を実現した。しかし、実施例１１〜１５では自然画などの画像における実施例１〜６の滑らかさと、文字や図形などの画像における実施例１１〜１５の鮮明さの両立は実現できなかった。
従来の対象とする画像によって複数の補間方法を使い分ける方法(特開平１１−０３２２０９号公報、特開平１１−２０３４６７号公報、特開平０９−２５２４０１号公報）では、文字などの画素値の差が大きな部分の滑らかさと鮮明さのバランスにおいて、実施例１〜６や実施例１１〜１５に劣り、高画質化の為に３次関数を使用すると回路規模の増大を招き、コストが高くなり問題となる。
上記した実施例１６〜２１では、実施例１１〜１５の補間方法及び、少なくともその一部の処理を共有した補間方法とすることで、回路規模の増大を押さえることができた。また補間方法を参照画素の画素値を使用した所定の方法によって選択することにより、少ない参照画素数でも、元画像の情報を補間後の画像に忠実に反映し、滑らかさに優れ、特に文字や図形などの部分がより鮮明な高品位の画像を実現した。しかし、演算の設定によっては、実施例１１〜１５の補間方法は乗算が多くなる可能性があった。
そこで、本実施例では、少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映し、滑らかさに優れ、さらに文字や図形などの境界部分の鮮明な、実施例１６〜２１に近いレベルの高品位の画像を得られる解像度変換を複数の補間方法を選択することで実現し、より回路規模の増大を抑える。さらに、その補間方法を行う画像処理装置及び、画像表示装置を提供することを目的とする。
すなわち第１の目的は、少ない参照画素数でも、元画像の情報を補間後の画像により忠実に反映し、滑らかさに優れ、特に文字や図形などの境界部分が鮮明な、高品位な画像を得ることができる解像度変換の補間方法を実施例１６〜２１の補間方法と最近傍補間法を所定の方法により選択することにより実現する。
第２の目的は、最近傍補間法と実施例１６〜２１の補間方法の長所を生かすことによる、滑らかでジャギーがなく、画像データの保存性の向上による画像の鮮明な画像を得る為の、補間方法の選択方法を提供する。
第３の目的は、文字や図形等の一定範囲の画素値の連続する部分にグラデーションなどの画素値の変化がある画像が隣接する部分の鮮明さを向上させる補間方法の選択方法を提供する。
第４の目的は、元画像を解像度変換し、元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの部分の鮮明な、高品位の画像データを出力することができる画像処理装置を安いコストで実現する。
第５の目的は、元画像を解像度変換し、元画像の情報を補間後の画像により忠実に反映した、滑らかさに優れ、特に文字や図形などの部分が鮮明な高品位の画像を表示することができる画像表示装置を安いコストで実現する。
実施例２２〜２５の共通部分：
本実施例においては、選択する補間方法が二つの場合を示すが、補間方法の数はこれに限定されるものではない。
図１と図２３は、本実施例を説明する上での画素の位置と距離を模式的に示したものである。図１は既に説明したものと同様であるので、その説明を省略する。図２３は、補間画素Ｂと参照画素Ａ００との座標間距離をＬ００、参照画素Ａ１０との座標間距離をＬ１０、参照画素Ａ０１との座標間距離をＬ０１、参照画素Ａ１１との座標間距離をＬ１１とする。
本実施例では、第一の補間方法として、画素値をＲＧＢ各々０〜２５５の数値で表し、参照画素と参照画素の画素値の平均との差と、最大画素値Ｍａｘと最小画素値Ｍｉｎの差以上の値であるＭを用いる例を示すが、これらは本例に拠るものに限定されるものではない。また、補間画素の最近傍にある参照画素の画素値と、水平・垂直方向に隣接する参照画素の画素値を比較しているが、比較する参照画素の画素値は、本例に拠るものに限定されるものではない。
図３は本実施例の画像処理装置を含む画像表示装置のブロック図であり、図２４〜２７は実施例２２〜２５の補間方法の処理に関する流れを表したフローチャートである
画像処理装置９では、入力された画像データを解像度検出部２において、入力された画像データを制御信号としてクロック、水平同期信号、垂直同期信号を使用し、その解像度を判定する。一般的には入力画像の解像度は幾つかに特定できるため、数種類の解像度に対応する座標割付けを座標テーブル部３にルックアップテーブル（ＬＵＴ）として格納されており、解像度を元にどのＬＵＴを使用するかを選択する。また解像度検出部２において判定した解像度を元に、座標割付け処理部を設けて座標割付け処理を行い、ＬＵＴを生成する方法にすると、如何なる入力画像の解像度にも対応が可能となる。出力画像は一般的に定まっていることが多く、予め解像度に対応する座標割付けをＬＵＴとして格納されている。また定まっていない場合には、複数のＬＵＴを持つ方法や、解像度に応じて座標割付け処理部を設けて座標割付け処理を行い、ＬＵＴを生成する方法などがある。入力された画像データをそのまま処理する方法や、画素、ライン、フレーム等の単位で一旦、入力データ記憶部４に格納する方法がある。本例では後者を示す。補間画素を処理する為には、画素間距離や参照画素を特定し、画素値を用いて補間処理部５で補間処理を行う。その為には、補間画素と参照画素の座標のＬＵＴから、参照画素を特定し、画素間距離を出し、画素値を入力データ記憶部３より読み出す。それらより距離因子や画像情報因子を生成し、さらに距離因子及び、或いは、画像情報因子の値の相違を大きくする処理を行い、これらを元に補間処理部５で補間画素の画素値を算する処理を繰り返すことにより、解像度変換された出力画像データが生成される。第一の補間方法は前記のように処理される。他の補間方法も前記ブロック内で処理を行う。補間方法の選択は、本実施例では補間処理部５内で行われる。勿論、補間処理部５内に含まず、他に補間方法を選択するブロックを用意しても機能上、同様の処理を行うことができる。補間処理部５で処理された補間画素の画素値は、そのまま出力してもよいが、ここでは一時出力データ記憶部７に格納し、所定の単位毎に出力される。出力された出力画像データは表示部８により、解像度変換された画像を表示する。
次に補間処理部５が関連して行われる補間処理について図２４を用いて説明する。補間画素を画像データの並びに従って処理すると、その並び順に従い、処理する補間画素を特定（ステップ１４００）する。補間画素から参照画素を特定し、その画素間距離（ｘ１，ｘ２，ｙ１，ｙ２）を求め（ステップ１４０１）、これをもとに入力データ記憶部４より参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を読出す（ステップ１４０２）。
次に各参照画素と補間画素の距離を用いて座標間距離Ｌ００，Ｌ１０，Ｌ０１，Ｌ１１の値を下記の式を用いて生成する（ステップ１４０３）。
L00=(x1・y1)
L10=(x2・y1)
L01=(x1・y2)
L11=(x2・y2)
以上、ここまでは以下に示す実施例に共通のものであり、以下に実施例２２〜２５を示す。
実施例２２：(隣接画素値比較)
図２４は、実施例２２の補間方法の処理フローチャートを示す。図２４において、座標間距離の一番短い参照画素の画素値と、水平・垂直方向に隣接する参照画素の画素値を比較し（ステップ１４０４）、少なくともどちらかの画素値と等しい場合には、座標間距離の一番短い参照画素の画素値を補間画素の画素値ｂとする最近傍補間法を行う（ステップ１４０５）。図２３の場合、参照画素Ａ１１の画素値と参照画素Ａ０１，Ａ１０の画素値を比較し、ａ１１＝ａ０１か、ａ１１＝ａ１０の場合には、ｂ＝ａ１１とすることとなる。
それ以外の場合には、第一の補間方法を用いる為、４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ１４０６）、その差に正の所定値αを加えた値Ｍを算出する（ステップ１４０７）。最大，最小の画素値は、画素値の比較等の方法で求める。
M=Max-Min+α
４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ１４０８）。
AVE=(a00+a01+a10+a11)/4
次に、各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ１４０９）。
Z00=L11・(1-|a00-AVE|/M)
Z10=L01・(1-|a10-AVE|/M)
Z01=L10・(1-|a01-AVE|/M)
Z11=L00・(1-|a11-AVE|/M)
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ１４１０）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、第一の補間方法以外には、座標間距離の比較と、当該参照画素の画素値と、水平・垂直方向に隣接する参照画素の画素値の比較（ステップ１４０４）処理が必要なだけであり、回路規模の増大はほとんどない。
生成された補間画素の画素値ｂは記憶手段に一旦格納されるか、直接出力される。処理を行っていない補間画素が有れば（ステップ１４１１）、補間画素の特定（ステップ１４００）に戻り、画像データの並びに従って、次の順番の新たな補間画素の補間処理を行う。無ければ（ステップ１４１１）、補間処理を終了する。補間画素の画素値は、処理後に出力画像データとして、画像表示装置１０によって表示される。
図２８（ａ）は最近傍補間法により解像度変換した画像である（（ｂ）は線形補間法により解像度変換した画像である）。図２９（ｃ）は、第一の補間方法により解像度変換した画像、図２９（ｄ）は実施例２２の補間方法による補間後の画像である（なお、図２９（ａ）はキュービックコンボリューションで解像度変換した画像、（ｂ）は特第２７９６９００を用いた補間方法で解像度変換した画像、（ｅ）はグラデーション上に文字や図形を配置した画像である）。最近傍補間法は画像データの保存性に優れ、第一の補間方法は非常に滑らかな画像になるという長所を各々有する。両補間方法の長所を生かす為に、補間画素と最近傍にある参照画素に対し、縦または横方向に同画素値を有する場合、同画素値の連続となる、文字や図形などの一部であると判断し、画像データの保存性に優れた最近傍補間法を用いることにより、鮮明さを向上させる。それ以外の条件の場合には、自然画や画像が斜め方向の角度を有する場合と判断し、滑らかでジャギーのない画像となる第一の補間方法を用いる。このような補間方法の使い分けにより、滑らかでジャギーがなく、鮮明さに優れる画像を得ることができる。
実施例２３：
図２５は、実施例２３の補間方法の処理フローチャートを示す。図２５において、補間画素との座標間距離が最近傍に位置する参照画素の画素値を元にした所定の範囲の値と、水平・垂直方向に隣接する参照画素の画素値を比較し（ステップ１５０４）、少なくともどちらかの画素値が、最近傍の画素値から所定の範囲内の値を有する場合は、補間画素との座標間距離が最近傍に位置する参照画素の画素値を補間画素の画素値ｂとする最近傍補間法を行う（ステップ１５０５）。図２３の場合、ａ１１より値の大きい方の幅をβ、小さい方の幅をγとすると、参照画素Ａ１１の画素値と参照画素Ａ０１，Ａ１０の画素値を比較し、ａ１１＋β≧ａ０１≧ａ１１−γか、ａ１１＋β≧ａ１０≧ａ１１−γの場合には、ｂ＝ａ１１となる。β，γは予め定められた０以上の数。この時、所定の範囲であるβ＋γの値は、参照画素が取り得る最大の値の５０％以下なるように定める。図２９（ｈ）はこの値を５０％以上にした場合の例である（図２９（ｅ）の画像を実施例２３の補間方法によって、範囲を画素値の取り得る値の５０％を超える範囲にして解像度変換した画像）。所定の範囲が広くなり過ぎると、自然画などの画素値の変化の少ない部分や、右下のグレーの三角形の斜め部分は、最近傍補間法が用いられることによりジャギーが発生し、結果として画質が低下している。
それ以外の場合には、第一の補間方法を用いる為、４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ１５０６）、その差に正の所定値αを加えた値Ｍを算出する（ステップ１５０７）。最大，最小の画素値は、画素値の比較等の方法で求める。
M=Max-Min+α
４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ１５０８）。
AVE=(a00+a01+a10+a11)/4
次に各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ１５０９）。
Z00=L11・(1-|a00-AVE|/M)
Z10=L01・(1-|a10-AVE|/M)
Z01=L10・(1-|a01-AVE|/M)
Z11=L00・(1-|a11-AVE|/M)
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ１５１０）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、第一の補間方法以外には、座標間距離の比較と、当該参照画素の画素値と、水平・垂直方向に隣接する参照画素の画素値の比較し（ステップ１５０４）の処理が必要なだけであり、回路規模の増大はほとんどない。
生成された補間画素の画素値ｂは記憶手段に一旦格納されるか、直接出力される。処理を行っていない補間画素が有れば（ステップ１５１１）、補間画素の特定（ステップ１５００）に戻り、画像データの並びに従って、次の順番の新たな補間画素の補間処理を行う。無ければ（ステップ１５１１）、補間処理を終了する。補間画素の画素値は、処理後に出力画像データとして、画像表示装置１０によって表示される。
図２９（ｅ）はグラデーション上に文字や図形を配置した画像であり、図２９（ｆ）は、これを実施例２２の方法で解像度変換を行った画像の例である。文字や図形などの連続する部分にグラデーションなどの画素値の変化がある画像が隣接する部分において、鮮明さが図２９（ｄ）に比べ落ちているのが見られる。これは、補間画素に最近傍の位置にある参照画素と所定の方向の隣接する参照画素の画素値が一致しない為、第一の補間方法を用いることで、同一画素値の連続する部分との中間値を表示することによる。図２９（ｇ）は補間画素と最近傍に位置する参照画素から、所定の方向にある隣接参照画素の画素値との比較に、前記参照画素の画素値からの所定の範囲を用いる方法で解像度変換を行った画像の例である（図２９（ｅ）の画像を実施例２３以降の補間方法の選択方法で解像度変換した画像）。所定の変化内の場合には最近傍補間法を用いることで、文字や図などの連続する部分の鮮明さを向上させることができる。
よって、このような補間方法の使い分けにより、滑らかでジャギーがなく、鮮明さに優れる画像を得ることができる。
実施例２４：
図２６は、実施例２４の補間方法の処理フローチャートを示す。図２６において、４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ１６０４）、その差Ｄを求める（ステップ１６０５）。
D=Max-Min
またＤは、補間画素との座標間距離が最近傍に位置する参照画素の画素値と、それ以外の参照画素の画素値の最大の差を用いて求める方法もある。図２３の場合には｜ａ１１−ａ１０｜，｜ａ１１−ａ０１｜，｜ａ１１−ａ００｜の最大値をＤとする。後者の方が参照画素値の状況をより反映することができ、前者の方が演算処理数が少ないという長所がある。
次に、参照画素値の比較時に用いる範囲の値を求める（ステップ１６０６）。画素値の大きい方の幅をβ、小さい方の幅をγ、第二の所定値をＥ、第三の所定値をＦとすると、
β=D/E
γ=D/F
とする。Ｅ，Ｆは２以上の数。
これを用いて、補間画素との座標間距離が最近傍に位置する参照画素の画素値を元にした所定の範囲の値と、水平・垂直方向に隣接する参照画素の画素値を比較し（ステップ１６０７）、少なくともどちらかの画素値が、所定の範囲内の値を有する場合は、補間画素との座標間距離が最近傍に位置する参照画素の画素値を補間画素の画素値ｂとする最近傍補間法を行う（ステップ１６０８）。図２３の場合、参照画素Ａ１１の画素値と参照画素Ａ０１，Ａ１０の画素値を比較し、ａ１１＋β≧ａ０１≧ａ１１−γか、ａ１１＋β≧ａ１０≧ａ１１−γの場合には、ｂ＝ａ１１となる。
それ以外の場合には、第一の補間方法を用いる為、４点の参照画素の画素値の最大と最小の画素値の差Ｄに正の所定値αを加えた値Ｍを算出する（ステップ１６０９）。最大，最小の画素値は、画素値の比較等の方法で求める。
M=D+α
４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ１６１０）。
AVE=(a00+a01+a10+a11)/4
次に各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ１６１１）。
Z00=L11・(1-|a00-AVE|/M)
Z10=L01・(1-|a10-AVE|/M)
Z01=L10・(1-|a01-AVE|/M)
Z11=L00・(1-|a11-AVE|/M)
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ１６１２）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、第一の補間方法以外には、座標間距離の比較と、当該参照画素の画素値と、水平・垂直方向に隣接する参照画素の画素値の比較し（ステップ１６０７）の処理が必要なだけであり、回路規模の増大はほとんどない。
生成された補間画素の画素値ｂは記憶手段に一旦格納されるか、直接出力される。処理を行っていない補間画素が有れば（ステップ１６１３）、補間画素の特定（ステップ１６００）に戻り、画像データの並びに従って、次の順番の新たな補間画素の補間処理を行う。無ければ（ステップ１６１３）、補間処理を終了する。補間画素の画素値は、処理後に出力画像データとして、画像表示装置１０によって表示される。
このように、補間画素と最近傍に位置する参照画素から、所定の方向にある隣接参照画素の画素値との比較に用いる前記参照画素の画素値からの所定の範囲内を前記補間画素を求める全参照画素値の最大の差を用いて求めた値を用いた範囲とすることにより、文字や図などの連続する部分にグラデーションなどの、前記全参照画素の取り得る画素値の状況に合わせた前記範囲内の画素値の変化がある画像が隣接する部分で、画像の鮮明さを向上させることができる。
実施例２５：
図２７は、実施例２５の補間方法の処理フローチャートを示す。図２７において、４点の参照画素の画素値中、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求め（ステップ１７０４）、その差Ｄを求める（ステップ１７０５）。
D=Max-Min
次に、参照画素値の比較時に用いる範囲の値を求める（ステップ１７０６）。画素値の大きい方の幅をβ、小さい方の幅をγ、第二の所定値をＥ、第三の所定値をＦとすると、
β=D/E
γ=D/F
とする。Ｅ，Ｆは２以上の数。
座標間距離の一番短い参照画素の画素値と、水平・垂直方向に隣接する参照画素の画素値を比較する（ステップ１７０７）。少なくともどちらかの画素値と等しい場合には、座標間距離の一番短い参照画素の画素値を補間画素の画素値ｂとする最近傍補間法を行う（ステップ１７０８）。また少なくともどちらかの画素値が、所定の範囲内の値を有する場合は、座標間距離の一番短い参照画素の対角に位置する参照画素の画素値と、水平・垂直方向に隣接する参照画素の画素値を比較し（ステップ１７０９）、少なくともどちらかの画素値と等しい場合には、座標間距離の一番短い参照画素の画素値を補間画素の画素値ｂとする最近傍補間法を行う（ステップ１７０８）。図２３の場合、対象となる参照画素がＡ１１の場合、その画素値と参照画素Ａ０１，Ａ１０の画素値を比較し、ａ１１＋β≧ａ０１≧ａ１１−γか、ａ１１＋β≧ａ１０≧ａ１１−γを条件に判断を行う。
それ以外の場合には、第一の補間方法を用いる為、４点の参照画素の画素値の最大と最小の画素値の差Ｄに正の所定値αを加えた値Ｍを算出する（ステップ１７１０）。最大，最小の画素値は、画素値の比較等の方法で求める。
M=D+α
４点参照画素の画素値の平均（ＡＶＥ）を求める（ステップ１７１１）。
AVE=(a00+a01+a10+a11)/4
次に各参照画素と補間画素の距離と、各参照画素の画素値と、参照画素の画素値の平均（ＡＶＥ）との差を用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式を用いて生成する（ステップ１７１２）。
Z00=L11・(1-|a00-AVE|/M)
Z10=L01・(1-|a10-AVE|/M)
Z01=L10・(1-|a01-AVE|/M)
Z11=L00・(1-|a11-AVE|/M)
次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、補間画素の画素値ｂを生成する（ステップ１７１３）。
b=(Z00・a00+Z10・a10+Z01・a01+Z11・a11)/(Z00+Z10+Z01+Z11)
因みに、各参照画素の重み付けは、Ａ００がＺ００／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１０がＺ１０／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ０１がＺ０１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）、Ａ１１がＺ１１／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１）である。
上記のように、第一の補間方法以外には、座標間距離の比較と、当該参照画素の画素値と、水平・垂直方向に隣接する参照画素の画素値の比較し（ステップ１７０７、１７０９）の処理が必要なだけであり、回路規模の増大はほとんどない。
生成された補間画素の画素値ｂは記憶手段に一旦格納されるか、直接出力される。処理を行っていない補間画素が有れば（ステップ１７１４）、補間画素の特定（ステップ１７００）に戻り、画像データの並びに従って、次の順番の新たな補間画素の補間処理を行う。無ければ（ステップ１７１４）、補間処理を終了する。補間画素の画素値は、処理後に出力画像データとして、画像表示装置１０によって表示される。
このように、画素と最近傍に位置する参照画素値と、少なくとも一つの隣接参照画素の画素値が等しい場合及び、少なくとも一つの前記隣接参照画素値が、前記参照画素値から所定の範囲内の値且つ、前記参照画素の対角に位置する参照画素の画素値と、少なくとも一つの対角に位置する参照画素の隣接参照画素値が等しい場合は最近傍補間法、そうでなければ第一の補間方法を選択して解像度変換を行うことにより、同一画素値の連続する部分にある範囲内の画素値の変化がある画像が隣接する部分において、画像の鮮明さを向上させることができる。
また、本発明は、前述した実施例の処理手順や機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の処理手順や機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
補間画素と参照画素の位置と距離を示す。 実施例１、２の補間方法の処理フローチャートを示す。 実施例１〜実施例１３に共通する画像表示装置のブロック図を示す。 本発明の補間方法（実施例１〜６）によって解像度変換した画像例などを示す。 実施例３、５の補間方法の処理フローチャートを示す。 実施例４、６の補間方法の処理フローチャートを示す。 本発明の効果を説明する図である。 本発明の効果を説明する図である。 実施例７、８の補間方法の処理フローチャートである。 本発明の補間方法（実施例７〜１０）によって解像度変換した画像例などを示す。 実施例９、１０の補間方法の処理フローチャートである。 実施例１１〜１３の補間方法の処理フローチャートである。 実施例１４、１５の画像表示装置のブロック図を示す。 実施例１４、１５の補間方法の処理フローチャートである。 本発明の補間方法（実施例１１〜１５）によって解像度変換した画像例などを示す。 実施例１６の補間方法の処理フローチャートを示す。 実施例１７の補間方法の処理フローチャートを示す。 実施例１８の補間方法の処理フローチャートを示す。 実施例１９の補間方法の処理フローチャートを示す。 実施例２０の補間方法の処理フローチャートを示す。 実施例２１の補間方法の処理フローチャートを示す。 本発明の補間方法（実施例１６〜２１）によって解像度変換した画像例などを示す。 実施例２２〜２５で参照する画素位置と距離を示す。 実施例２２の補間方法の処理フローチャートを示す 実施例２３の補間方法の処理フローチャートを示す 実施例２４の補間方法の処理フローチャートを示す 実施例２５の補間方法の処理フローチャートを示す 最近傍補間法と線形補間法により解像度変換した画像例を示す。 本発明の補間方法（実施例２２〜２５）によって解像度変換した画像例などを示す。
符号の説明
１ 入力画像データ
２ 解像度検出部
３ 座標テーブル部
４ 入力データ記憶部
５ 補間処理部
６ 補間データ記憶部
７ 出力データ記憶部
８ 表示部
９ 画像処理装置
１０ 画像表示装置
１１ 因子差拡大テーブル部

Claims (42)

  1. 入力された画像の当該画素（以下、元画素）間に補間する画素（以下、補間画素）を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記各元画素（以下、参照画素）の画素値及び、前記補間画素と前記各参照画素間の距離を用いて重み付けを行うことにより、前記補間画素の画素値を生成することを特徴とする解像度変換の補間方法。
  2. 前記参照画素の画素値を用いた重み付けは、前記参照画素の画素値と第一の所定値との差を用いることを特徴とする請求項１記載の解像度変換の補間方法。
  3. 前記参照画素の画素値を用いた重み付けは、前記参照画素の画素値と前記第一の所定値の差をそれより大きな第二の所定値で規格化した値を用いることを特徴とする請求項２記載の解像度変換の補間方法。
  4. 入力された画像の当該画素(以下、元画素)間に補間する画素(以下、補間画素)を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記元画素(以下、参照画素)の最近傍にある前記参照画素(以下、参照画素Ａ)以外の前記参照画素の画素値と、第一の所定値との差及び、前記補間画素と前記各参照画素間の距離を用いて重み付けを行うことにより、前記補間画素の画素値を生成することを特徴とする解像度変換の補間方法。
  5. 前記参照画素Ａ以外の前記参照画素の画素値を用いた重み付けは、前記参照画素の画素値と前記第一の所定値の差をそれより大きな第二の所定値で規格化した値を用いることを特徴とする請求項４記載の解像度変換の補間方法。
  6. 前記第一の所定値は、前記参照画素の画素値の平均であることを特徴とする請求項２〜５のいずれか１項に記載の解像度変換の補間方法。
  7. 前記第一の所定値は、前記各参照画素の非対角に位置する前記参照画素の平均画素値であることを特徴とする請求項２〜５のいずれか１項に記載の解像度変換の補間方法。
  8. 前記第一の所定値は、前記各参照画素の対角に位置する参照画素の画素値であることを特徴とする請求項２〜５のいずれか１項に記載の解像度変換の補間方法。
  9. 前記第二の所定値は、画素値としてとりうる最大値（最大画素値）以上の任意の定数であることを特徴とする請求項３または５記載の解像度変換の補間方法。
  10. 前記第二の所定値は、前記参照画素の画素値により定まる値であることを特徴とする請求項３または５記載の解像度変換の補間方法。
  11. 前記参照画素の画素値により定まる値は、前記参照画素中の最大及び最小の画素値を用いた値であることを特徴とする請求項１０記載の解像度変換の補間方法。
  12. 前記補間画素を生成するために参照する前記参照画素の画素値が全て同一である場合、前記参照画素中の画素値を前記補間画素の画素値とする処理を行うことを特徴とする請求項１〜１１のいずれか１項に記載の解像度変換の補間方法。
  13. 入力された画像の当該画素（以下、元画素）間に補間する画素（以下、補間画素）を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記各元画素（以下、参照画素）の画素値と第一の所定値との差及び、前記補間画素と前記各参照画素間の距離を用いて重み付けを行うことにより、前記補間画素の画素値を生成する解像度変換の補間方法であって、少なくとも所定の重み付け因子の値の相違を大きくする処理を行うことを特徴とする解像度変換の補間方法。
  14. 前記所定の重み付け因子は、前記補間画素と前記各参照画素間の距離を用いた因子（以下、距離因子）であることを特徴とする請求項１３記載の解像度変換の補間方法。
  15. 前記所定の重み付け因子は、前記参照画素の画素値と第一の所定値との差を用いた因子（以下、画像情報因子）であることを特徴とする請求項１３記載の解像度変換の補間方法。
  16. 前記第一の所定値は、前記参照画素の画素値の平均であることを特徴とする請求項１５記載の解像度変換の補間方法。
  17. 前記第一の所定値は、前記各参照画素の非対角に位置する前記参照画素の平均画素値であることを特徴とする請求項１５記載の解像度変換の補間方法。
  18. 前記第一の所定値は、前記各参照画素の対角に位置する参照画素の画素値であることを特徴とする請求項１５記載の解像度変換の補間方法。
  19. 前記所定の重み付け因子は、前記距離因子及び画像情報因子であることを特徴とする請求項１３記載の解像度変換の補間方法。
  20. 前記所定の重み付け因子の値の相違を大きくする処理は、各参照画素の重み付け因子の値をｎ乗（ｎ＞１）し、規格化することを特徴とする請求項１３〜１５、１９のいずれか１項に記載の解像度変換の補間方法。
  21. 前記所定の重み付け因子の値の相違を大きくする処理は、各参照画素の重み付け因子の値の大きさに従って定めた値を掛け、規格化することを特徴とする請求項１３〜１５、１９のいずれか１項に記載の解像度変換の補間方法。
  22. 前記所定の重み付け因子の値の相違を大きくする処理は、各参照画素の重み付け因子の値の大きさに従って定めた値を加え、規格化することを特徴とする請求項１３〜１５、１９のいずれか１項に記載の解像度変換の補間方法。
  23. 入力された画像の当該画素（以下、元画素）間に補間する画素（以下、補間画素）を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記各元画素（以下、参照画素）の画素値と所定値との差を用いた因子（以下、画像情報因子）及び、前記補間画素と前記各参照画素間の距離を用いた因子（以下、距離因子）を用い、さらに前記距離因子及び、或いは、前記画像情報因子の値の相違を大きくする処理を行った後に規格化を行い、それにより重み付けを行うことで、前記補間画素の画素値を生成する第一の補間方法を含む複数の補間方法から、所定の方法により補間方法の選択を行うことを特徴とする解像度変換の補間方法。
  24. 前記補間方法の少なくとも一つは、前記第一の補間方法の処理と、少なくとも一部を共有していることを特徴とする請求項２３記載の解像度変換の補間方法。
  25. 少なくとも前記補間方法の一つは、線形補間法であることを特徴とする請求項２３記載の解像度変換の補間方法。
  26. 少なくとも前記補間方法の一つは、少なくとも前記補間画素の近傍に位置する複数の前記参照画素を参照し、画像情報因子及び、距離因子を用い、規格化を行い、それにより重み付けを行うことで、前記補間画素の画素値を生成することを特徴とする請求項２３または２４記載の解像度変換の補間方法。
  27. 前記複数の補間方法を選択する所定の方法は、前記参照画素値間の最大の差と第三の所定値により行われ、前記最大の差が第三の所定値より小さければ他の補間方法、そうでなければ第一の補間方法を選択することを特徴とする請求項２３〜２６のいずれか１項に記載の解像度変換の補間方法。
  28. 前記複数の補間方法を選択する所定の方法は、前記参照画素の全画素値が２つの値に分けられる場合には第一の補間方法、そうでなければ他の補間方法を選択することを特徴とする請求項２３〜２６のいずれか１項に記載の解像度変換の補間方法。
  29. 前記複数の補間方法を選択する所定の方法は、前記参照画素値の内の、最大値と最小値を各々含む２つの範囲を用い、前記参照画素の全ての画素値が、２つの前記範囲内に分けられる場合には第一の補間方法、そうでなければ他の補間方法を選択することを特徴とする請求項２３〜２６のいずれか１項に記載の解像度変換の補間方法。
  30. ２つの前記範囲は、前記参照画素値の最大値をＭａｘ、最小値をＭｉｎ、第四の所定値をＭ１とすると、Ｍａｘ−Ｍ１以上と、Ｍｉｎ＋Ｍ１以下の範囲で表されることを特徴とする請求項２９記載の解像度変換の補間方法。
  31. ２つの前記範囲は、前記参照画素値の最大の差を用いて決定される値であることを特徴とする請求項２９記載の解像度変換の補間方法。
  32. 入力された画像の当該画素(以下、元画素)間に補間する画素(以下、補間画素)を生成する解像度変換の補間方法において、少なくとも前記補間画素の近傍に位置する複数の前記元画素を参照し、参照する前記各元画素(以下、参照画素)の画素値と所定値との差を用いた因子(以下、画像情報因子)及び、前記補間画素と前記各参照画素間の距離を用いた因子(以下、距離因子)により重み付けを行うことで、前記補間画素の画素値を生成する第一の補間方法と、最近傍補間法を所定の方法により選択して用いることを特徴とする解像度変換の補間方法。
  33. 前記補間方法を選択する所定の方法とは、前記補間画素と前記各参照画素間の距離の比較及び、前記補間画素と最近傍に位置する参照画素の画素値と、所定の方向に位置する隣接参照画素の画素値との比較により行われ、前記補間画素と前記参照画素間の距離が最近傍且つ、前記参照画素と、少なくとも一つの前記隣接参照画素の画素値が等しければ最近傍補間法を選択し、そうでなければ第一の補間方法を選択する方法であることを特徴とする請求項３２に記載の解像度変換の補間方法。
  34. 前記補間方法を選択する所定の方法とは、前記補間画素と前記各参照画素間の距離の比較及び、前記補間画素と最近傍に位置する参照画素の所定の方向に位置する隣接参照画素の画素値が、前記参照画素の画素値から所定の範囲内の値であるかを比較することにより行われ、前記補間画素と前記参照画素間の距離が最近傍且つ、少なくとも一つの前記隣接参照画素値が、当該参照画素値から所定の範囲内にある値であれば最近傍補間法を選択し、そうでなければ第一の補間方法を選択する方法であることを特徴とする請求項３２に記載の解像度変換の補間方法。
  35. 前記補間方法を選択する所定の方法とは、前記補間画素と前記各参照画素間の距離の比較及び、前記補間画素と最近傍に位置する参照画素の所定の方向に位置する隣接参照画素の画素値が、前記参照画素の画素値所定の範囲内の値であるかを比較と、前記参照画素の対角に位置する参照画素の画素値と、その隣接参照画素値の比較により行われ、前記参照画素の画素値と、少なくとも一つの前記隣接参照画素の画素値が等しい場合及び、少なくとも一つの前記隣接参照画素値が、前記参照画素値から所定の範囲内の値且つ、前記参照画素の対角に位置する参照画素の画素値と、少なくとも一つの対角に位置する参照画素の隣接参照画素値が等しい場合は最近傍補間法を選択し、そうでなければ第一の補間方法を選択する方法であることを特徴とする請求項３２に記載の解像度変換の補間方法。
  36. 前記所定の範囲は、前記補間画素と最近傍に位置する前記参照画素の画素値より、予め定めた一定の範囲であり、請求項３４を用いる場合には、画素値の取り得る最大値の５０％以下であることを特徴とした請求項３２、３４または３５のいずれか１項に記載の解像度変換の補間方法。
  37. 前記所定の範囲は、前記補間画素の最近傍の参照画素と他の参照画素の画素値の差を用いて決定される値であることを特徴とする請求項３２、３４または３５のいずれか１項に記載の解像度変換の補間方法。
  38. 前記所定の範囲は、前記参照画素値の最大の差を用いて決定される値であることを特徴とする請求項３２、３４または３５のいずれか１項に記載の解像度変換の補間方法。
  39. 少なくとも入力された画像の解像度を検出する解像度検出手段と、請求項１〜３８のいずれか１項に記載の補間方法を行う解像度変換手段を有することを特徴とする画像処理装置。
  40. 少なくとも画像表示手段と、請求項３９に記載の画像処理装置を有することを特徴とする画像表示装置。
  41. 請求項１〜３８のいずれか１項に記載の解像度変換の補間方法をコンピュータに実現させるためのプログラム。
  42. 請求項１〜３８のいずれか１項に記載の解像度変換の補間方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2005039603A 2004-07-13 2005-02-16 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体 Expired - Fee Related JP4864332B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005039603A JP4864332B2 (ja) 2004-07-13 2005-02-16 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体
US11/179,850 US7551805B2 (en) 2004-07-13 2005-07-13 Converting the resolution of an image using interpolation and displaying the converted image

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004206408 2004-07-13
JP2004206408 2004-07-13
JP2005039603A JP4864332B2 (ja) 2004-07-13 2005-02-16 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2006053887A true JP2006053887A (ja) 2006-02-23
JP4864332B2 JP4864332B2 (ja) 2012-02-01

Family

ID=35599496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005039603A Expired - Fee Related JP4864332B2 (ja) 2004-07-13 2005-02-16 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体

Country Status (2)

Country Link
US (1) US7551805B2 (ja)
JP (1) JP4864332B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008166983A (ja) * 2006-12-27 2008-07-17 Ricoh Co Ltd 解像度変換処理方法、画像処理装置、画像表示装置及びプログラム
JP2008236522A (ja) * 2007-03-22 2008-10-02 Seiko Epson Corp 画像処理装置及び電子機器
JP2008236526A (ja) * 2007-03-22 2008-10-02 Seiko Epson Corp 画像処理方法、画像処理装置及び電子機器
JP2009163096A (ja) * 2008-01-09 2009-07-23 Ricoh Co Ltd 画像処理方法及び装置、画像表示装置並びにプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4864332B2 (ja) * 2004-07-13 2012-02-01 株式会社リコー 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体
JP4802944B2 (ja) * 2006-08-31 2011-10-26 大日本印刷株式会社 補間演算装置
JP4915850B2 (ja) * 2006-09-15 2012-04-11 株式会社リコー 画像処理装置及び画像表示装置
US20110025700A1 (en) * 2009-07-30 2011-02-03 Lee Victor W Using a Texture Unit for General Purpose Computing
CN102375978A (zh) * 2010-08-17 2012-03-14 富士通株式会社 处理图像的方法和设备
EP2631871B1 (en) * 2012-02-27 2015-07-01 ST-Ericsson SA Virtual image generation
US11798128B2 (en) * 2020-01-02 2023-10-24 Texas Instruments Incorporated Robust frame size error detection and recovery mechanism to minimize frame loss for camera input sub-systems
TWI715448B (zh) * 2020-02-24 2021-01-01 瑞昱半導體股份有限公司 偵測解析度的方法及電子裝置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04268975A (ja) * 1991-02-25 1992-09-24 Dainippon Printing Co Ltd 画像の補間装置
JP2003174557A (ja) * 2001-12-07 2003-06-20 Sharp Corp 補間処理方法、画像処理装置、画像形成装置、画像処理プログラムおよびこれを記録した記録媒体

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4578812A (en) * 1982-12-01 1986-03-25 Nec Corporation Digital image processing by hardware using cubic convolution interpolation
US4789933A (en) * 1987-02-27 1988-12-06 Picker International, Inc. Fractal model based image processing
US5054100A (en) * 1989-11-16 1991-10-01 Eastman Kodak Company Pixel interpolator with edge sharpening
US5644661A (en) * 1993-10-29 1997-07-01 British Technology Group Limited Image interpolator for an image display system
FR2743241B1 (fr) * 1995-12-28 1998-02-13 Sagem Procede de modification de la resolution d'une image numerisee
JP3706189B2 (ja) 1996-03-15 2005-10-12 富士写真フイルム株式会社 画像データの補間処理方法およびその方法を使用した装置
JP3753197B2 (ja) * 1996-03-28 2006-03-08 富士写真フイルム株式会社 画像データの補間演算方法およびその方法を実施する装置
US5930407A (en) * 1996-10-31 1999-07-27 Hewlett-Packard Co. System and method for efficiently generating cubic coefficients in a computer graphics system
GB9711202D0 (en) * 1997-05-30 1997-07-23 Fujifilm Electronic Imaging Li Method and apparatus for generating a bitmap
JP3585703B2 (ja) * 1997-06-27 2004-11-04 シャープ株式会社 画像処理装置
JPH1132209A (ja) 1997-07-09 1999-02-02 Matsushita Electric Ind Co Ltd 解像度変換方法
US6002812A (en) * 1997-07-10 1999-12-14 Samsung Electronics Co., Ltd. Interpolation method for binary image
JPH11203467A (ja) 1998-01-20 1999-07-30 Sony Corp 表示装置および表示方法
US6366694B1 (en) * 1998-03-26 2002-04-02 Intel Corporation Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 24-bit CIE XYZ color space
US6287765B1 (en) * 1998-05-20 2001-09-11 Molecular Machines, Inc. Methods for detecting and identifying single molecules
AUPP779898A0 (en) * 1998-12-18 1999-01-21 Canon Kabushiki Kaisha A method of kernel selection for image interpolation
JP3419352B2 (ja) 1999-07-15 2003-06-23 松下電器産業株式会社 画像処理装置、画像処理方法、及び画像処理プログラム記録媒体
US6832009B1 (en) * 1999-09-24 2004-12-14 Zoran Corporation Method and apparatus for improved image interpolation
US6812935B1 (en) * 2000-03-30 2004-11-02 Intel Corporation Scaling images for display
US7057700B2 (en) 2001-01-23 2006-06-06 Ricoh Company, Ltd. Light deflection element, light deflection device and image display device
US6961480B2 (en) * 2001-09-10 2005-11-01 Ess Technology, Inc. Off-grid interpolation in image processing
US6903749B2 (en) * 2001-11-05 2005-06-07 Chrontel, Inc. System and method for image scaling interpolation
US7125121B2 (en) 2002-02-25 2006-10-24 Ricoh Company, Ltd. Image display apparatus
US20040018515A1 (en) * 2002-04-03 2004-01-29 Diener John L. Compositions selective for adenosine diphosphate and methods of using same
US6890719B2 (en) * 2002-05-10 2005-05-10 The Board Of Trustess Of The University Of Illinois Fluorescence based biosensor
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7612185B2 (en) * 2003-03-07 2009-11-03 The Board Of Trustees Of The University Of Illinois Nucleic acid biosensors
US7286700B2 (en) * 2003-06-13 2007-10-23 Hewlett-Packard Development Company L.P. Rendering using at least two levels of gray
JP4864332B2 (ja) * 2004-07-13 2012-02-01 株式会社リコー 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04268975A (ja) * 1991-02-25 1992-09-24 Dainippon Printing Co Ltd 画像の補間装置
JP2003174557A (ja) * 2001-12-07 2003-06-20 Sharp Corp 補間処理方法、画像処理装置、画像形成装置、画像処理プログラムおよびこれを記録した記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008166983A (ja) * 2006-12-27 2008-07-17 Ricoh Co Ltd 解像度変換処理方法、画像処理装置、画像表示装置及びプログラム
JP2008236522A (ja) * 2007-03-22 2008-10-02 Seiko Epson Corp 画像処理装置及び電子機器
JP2008236526A (ja) * 2007-03-22 2008-10-02 Seiko Epson Corp 画像処理方法、画像処理装置及び電子機器
JP2009163096A (ja) * 2008-01-09 2009-07-23 Ricoh Co Ltd 画像処理方法及び装置、画像表示装置並びにプログラム

Also Published As

Publication number Publication date
US7551805B2 (en) 2009-06-23
JP4864332B2 (ja) 2012-02-01
US20060013499A1 (en) 2006-01-19

Similar Documents

Publication Publication Date Title
JP4864332B2 (ja) 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体
US6816166B2 (en) Image conversion method, image processing apparatus, and image display apparatus
US20030189579A1 (en) Adaptive enlarging and/or sharpening of a digital image
JP2011107702A (ja) 入力画像の画像処理システム、画像表示システム、及び画像処理方法
JPH10187966A (ja) 画像フィルタリング方法及びその装置
KR20050010846A (ko) 비디오 신호의 적응 스케일링
JP4114191B2 (ja) 画像処理装置及び画像処理方法
KR100818718B1 (ko) 화상 처리 장치, 및 화상 처리 프로그램이 기록된 컴퓨터판독가능한 기록 매체
JP5460987B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5152203B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置
US8958657B2 (en) Frame rate conversion image processing apparatus, control method, and computer-readable storage medium
JP2006139727A (ja) ３次元図形描画処理装置、画像表示装置、３次元図形描画処理方法、これをコンピュータに実行させるための制御プログラムおよび、これを記録したコンピュータ読み取り可能な可読記録媒体
US9911399B2 (en) Method of image processing, image processor performing the method and display device having the image processor
US9928577B2 (en) Image correction apparatus and image correction method
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
JP4827137B2 (ja) 解像度変換処理方法、画像処理装置、画像表示装置及びプログラム
JP4265363B2 (ja) 画像処理装置
JP2003256830A (ja) コントラスト強調方式
US11580623B1 (en) High efficiency dynamic contrast processing
JP4265362B2 (ja) 画像処理装置
JP2008259242A (ja) 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP2022023288A (ja) 画像処理装置、方法、およびプログラム
JP5299189B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2012238328A (ja) 画像処理装置および画像処理プログラム
JP5322667B2 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4864332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees