JP2002152498A - 画像処理方法および装置 - Google Patents

画像処理方法および装置

Info

Publication number
JP2002152498A
JP2002152498A JP2000310502A JP2000310502A JP2002152498A JP 2002152498 A JP2002152498 A JP 2002152498A JP 2000310502 A JP2000310502 A JP 2000310502A JP 2000310502 A JP2000310502 A JP 2000310502A JP 2002152498 A JP2002152498 A JP 2002152498A
Authority
JP
Japan
Prior art keywords
interpolation
coefficient
original
pixel
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000310502A
Other languages
English (en)
Other versions
JP4231620B2 (ja
Inventor
Toshihiro Sasai
俊博 笹井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEUCORE TECHNOL Inc
Nucore Technology Inc
Original Assignee
NEUCORE TECHNOL Inc
Nucore Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEUCORE TECHNOL Inc, Nucore Technology Inc filed Critical NEUCORE TECHNOL Inc
Priority to JP2000310502A priority Critical patent/JP4231620B2/ja
Priority to US10/053,487 priority patent/US6915026B2/en
Priority to EP01126130A priority patent/EP1308887A1/en
Publication of JP2002152498A publication Critical patent/JP2002152498A/ja
Application granted granted Critical
Publication of JP4231620B2 publication Critical patent/JP4231620B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • G06T3/18

Abstract

(57)【要約】 【課題】 原画像に対する拡大・縮小などの画像処理を
高速・高画質で行うことを可能とする。 【解決手段】 補間位置演算部12で近似点へ近似した
補間位置の座標値のうち、その整数部3で原画像バッフ
ァ11内の原画像1から補間原画像5を選択し、その小
数部4で係数バッファ13から補間係数6を選択する。
そしてコンボルーバー15で積和演算を行う。このとき
係数バッファ13には、各近似点と補間原画素との位置
関係に応じた補間係数を示すとともに、1回の補間演算
に用いる各補間係数の係数値の合計が2k(kは正整
数)となる正規化された係数データを予め格納してお
く。そしてコンボルーバー15からの画素値7をビット
シフタ16により2kで除算し、補間位置における画素
値として出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理方法およ
び装置に関し、特に電子カメラなどの撮像装置で撮像さ
れた2次元画像について補間演算を行うことにより、所
望の画像を得る画像処理方法および装置に関するもので
ある。
【0002】
【従来の技術】電子カメラなどの撮像装置で撮像された
2次元画像について、拡大や縮小などの画像処理を高画
質で行う際には、補間演算として多数の画素と高次の補
間係数による積和演算(コンボリューション演算)を行
う必要がある。さらにこの際、用いる原画素の数を増や
したり補間係数の精度を上げたりするほど、補間演算に
要する時間が増大する。特に、原画像の画素位置とは異
なる新しい画素位置すなわち補間位置における補間係数
を、その都度、計算によって求める場合には、さらに複
雑な演算が増えるため、相当な時間を要する。
【0003】撮像した画像の後処理として、このような
補間演算をパソコンを用いて行う場合は、単にその処理
に時間がかかるだけである。しかし、電子カメラなどの
撮像装置では、補間演算に長時間かかっていては撮像し
た画像をすぐに確認できないし、ビデオカメラのように
リアルタイムで画像が必要な撮像装置の場合、実際には
使い物にならない。また、AC電源など十分な動作電源
が供給される設置型の画像処理装置では、消費電力と引
き換えに、あるいは高速動作するチップやメモリなどを
用意するためのコストと引き換えに、高速の演算装置を
使用して補間演算にかかる時間を短縮することも可能で
ある。しかし、限られた動作電源しか供給されない携帯
型装置の場合、このような解決法は適用できない。
【0004】従来、このような問題を解決するため、補
間演算を簡単にするためのさまざまな方法が提案されて
いる。例えば、特開平11−25067号公報などに
は、補間係数の算出を高速で行うような工夫が提案され
ているし、特許第2807231号などには、拡大後の
画素位置が属する部分領域ごとに、原画素の画素値と原
画素位置における補間係数とを予め掛け合わせた値を、
事前に算出してテーブルに格納しておく方法が提案され
ている。
【0005】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の画像処理方法では、前者のように補間位置ご
とに補間係数を計算していては処理効率が悪いという問
題点があった。また、後者のような場合には、近似誤差
の低減を図るため、補間位置を近似する領域を小さくし
たり、より高次の補間演算を行うため演算に使用する原
画素の数を増やしたりすると、事前に算出するデータ数
が膨大となり、参照テーブルを格納するためのメモリ領
域が増えてしまうという問題点があった。
【0006】特に後者の場合、図13に示すように、隣
接する4つの原画素間を分割して設定した近似点を用い
て補間演算をする場合、隣接する4つの原画素p(i,
j)〜p(i+1,j+1)で囲まれる領域100と、
これら4つの原画素を補間演算に用いる補間位置範囲1
01とにずれがある。このため、例えば補間位置P
(x,y)のように、その補間位置に近い原画素p(i
−1,j),p(i−1,j+1)ではなく、より離れ
た原画素p(i+1,j),p(i+1,j+1)を補
間演算に用いる場合もあり、原画素値によっては補間演
算より得られた画素値に大きな誤差を生じる場合があ
る。また、これを解消するには補間位置の演算ごとにオ
フセットを加算(または減算)する必要があるため、演
算量が増えてしまう。
【0007】本発明はこのような課題を解決するための
ものであり、補間位置ごとに補間係数を演算することな
く、また高い精度を要求しても回路規模の増大を伴わず
に、原画像に対する拡大・縮小などの画像処理を高速・
高画質で行うことができる画像処理方法および装置を提
供することを目的としている。
【0008】
【課題を解決するための手段】このような目的を達成す
るために、本発明にかかる画像処理方法は、直交する
X,Y座標軸に沿ってマトリクス状に配置された複数の
原画素からなる原画像について、所望の画素位置から所
定範囲内に位置する複数の原画素からなる補間原画素の
画素値とこれら補間原画素に対応する補間係数とを用い
た補間演算により所望の画素位置における新たな画素値
を算出することによって、原画像を画像処理した新たな
画像を生成する画像処理方法において、特に、隣接する
2×2個の原画素からなる正方形のサブマトリクスをX
およびY座標軸方向にそれぞれ複数個に等分割して小さ
な正方形の領域を生成するとともに、これら領域の各頂
点に近似点を配置し、任意の近似点を中心として所定範
囲内に位置する各近似点での離散した補間係数を所定の
補間関数に基づきそれぞれ導出し、さらにこれら補間係
数のうち1回の補間演算に用いる各補間係数の係数値の
合計が2k(kは正整数)となるように正規化した補間
係数をそれぞれ求めて予め係数バッファに格納してお
き、入力された原画像を一時的に原画像バッファに記憶
し、原画像に対するXおよびY座標軸方向での拡大・縮
小率を示す倍率に応じて、新たな画像を構成する各画素
の新たな画素位置を算出し、その新たな画素位置が属す
るサブマトリクスに配置されている各近似点のうち、新
たな画素位置に最も近い近似点をその新たな画素位置の
近似点として選択し、選択した近似点とこの近似点から
所定範囲内に位置する各補間原画素との位置関係に基づ
いて、これら補間原画素に対応する補間係数を係数バッ
ファから読み出し、原画像バッファから読み出した各補
間原画素の画素値と係数バッファから読み出した各補間
係数とをそれぞれ積和演算して補間演算を行うことによ
り、近似点における画素値を算出し、算出した画素値を
kで除算することにより、新たな画素位置における画
素値として出力するようにしたものである。
【0009】係数バッファに格納しておく補間係数を正
規化する際、補間関数から実数で導出した各補間係数を
それぞれ2k倍するとともに、各補間係数の係数値の小
数部が所定桁数以内となるように正規化するようにして
もよい。また、補間関数から実数で導出した各補間係数
をそれぞれ2k倍するとともに、各補間係数が整数とな
るように整数化するようにしてもよい。ここで、係数バ
ッファに格納しておく補間係数を整数化する際、整数化
した各補間係数のうち、1回の補間演算に用いる各補間
係数の係数値の合計が2kとならない場合は、合計が2k
となるように整数化前の各補間係数のうちのいずれかを
増減し、増減する補間係数としてその増減率の最も小さ
いものから順に増減するようにしてもよい。また、サブ
マトリクスをXおよびY座標軸方向にそれぞれ分割する
数として、2n(nは2以上の整数)を用いるようにし
てもよい。
【0010】各補間原画素に対する補間係数を得る場
合、係数バッファに、近似点と各補間原画素との位置関
係のうち、XまたはY座標軸方向のいずれか一方向にお
ける位置関係に応じた補間係数を格納しておき、補間演
算時には、一方向における補間係数をXおよびY座標軸
方向で兼用し、X座標軸方向における近似点と各補間原
画素との位置関係に応じた補間係数を係数バッファから
それぞれ読み出すとともに、Y座標軸方向における近似
点と補間原画素との位置関係に応じた補間係数を係数バ
ッファからそれぞれ読み出し、同一補間原画素に関する
XおよびY座標軸方向での2つの補間係数を積算するこ
とにより、各補間原画素に対する補間係数を得るように
してもよい。
【0011】あるいは、係数バッファに、近似点と各補
間原画素との位置関係のうち、X座標軸方向の位置関係
に応じたX補間係数と、Y座標軸方向の位置関係に応じ
たX補間係数とを個別に格納しておき、補間演算時に
は、X座標軸方向における位置関係に応じた補間係数を
係数バッファからそれぞれ読み出すとともに、Y座標軸
方向における位置関係に応じた補間係数を係数バッファ
からそれぞれ読み出し、同一補間原画素に関するXおよ
びY座標軸方向での2つの補間係数を積算することによ
り、各補間原画素に対する補間係数を得るようにしても
よい。
【0012】この他、各補間原画素に対する補間係数を
得る場合、係数バッファに格納しておく補間係数とし
て、近似点を中心とする対称な補間関数を用いて算出さ
れた補間係数のうち、その近似点からいずれか片側方向
の補間係数のみを格納しておき、補間演算時には、近似
点から片側方向の補間係数については、近似点と各補間
係数との位置関係に応じて、係数バッファに格納されて
いる補間係数から選択し、片側方向と反対方向の補間係
数については、近似点と各補間係数との位置関係を符号
反転した位置関係に応じて、係数バッファに格納されて
いる補間係数から選択して用いるようにしてもよい。係
数バッファに格納しておく補間係数としては、近似点が
任意の補間原画素の位置と一致した場合に、その他の補
間原画素に対応する補間係数がすべてゼロとなる補間係
数を用いるようにしてもよい。
【0013】原画像バッファから各補間原画素の画素値
を読み出す場合、原画素間の距離を1と見なして求めた
近似点の位置の整数部に基づき、近似点が属するサブマ
トリクスを構成する4つの原画素のうちの基準となる基
準原画素を特定し、基準原画素を元にして原画像バッフ
ァから1回の補間演算に用いる各補間原画素の画素値を
読み出すようにしてもよい。さらに、係数バッファから
各補間係数を読み出す場合、原画素間の距離を1と見な
して求めた近似点の位置の小数部に基づき、近似点と基
準原画素との位置関係を算出し、その位置関係を元にし
て係数バッファから1回の補間演算に用いる各補間係数
の係数値を読み出すようにしてもよい。
【0014】新たな画像を構成する各画素の新たな画素
位置を算出する際、XおよびY座標軸方向のうちいずれ
か一方の座標軸方向における倍率に応じて、新たな画素
位置に関する一方の座標軸方向での座標値を算出し、そ
の座標値をパラメータとする所定の関数を用いて新たな
画素位置に関する他方の座標軸方向での座標値を算出す
るようにしてもよい。
【0015】また、本発明にかかる画像処理装置は、直
交するX,Y座標軸に沿ってマトリクス状に配置された
複数の原画素からなる原画像について、所望の画素位置
から所定範囲内に位置する複数の原画素からなる補間原
画素の画素値とこれら補間原画素に対応する補間係数と
を用いた補間演算により所望の画素位置における新たな
画素値を算出することによって、原画像を画像処理した
新たな画像を生成する画像処理装置において、特に、隣
接する2×2個の原画素からなる正方形のサブマトリク
スをXおよびY座標軸方向にそれぞれ複数個に等分割し
て小さな正方形の領域を生成するとともに、これら領域
の各頂点に近似点を配置し、任意の近似点を中心として
所定範囲内に位置する各近似点での離散した補間係数を
所定の補間関数に基づきそれぞれ導出し、さらにこれら
補間係数のうち1回の補間演算に用いる各補間係数の係
数値の合計が2k(kは正整数)となるように正規化し
た補間係数をそれぞれ求めて予め格納する係数バッファ
と、入力された原画像を一時的に記憶する原画像バッフ
ァと、原画像に対するXおよびY座標軸方向での拡大・
縮小率を示す倍率に応じて、新たな画像を構成する各画
素の新たな画素位置を算出し、その新たな画素位置が属
するサブマトリクスに配置されている各近似点のうち、
新たな画素位置に最も近い近似点をその新たな画素位置
の近似点として選択し、選択した近似点とこの近似点か
ら所定範囲内に位置する各補間原画素との位置関係に基
づいて、これら補間原画素に対応する補間係数を係数バ
ッファから読み出す補間位置演算手段と、原画像バッフ
ァから読み出した各補間原画素の画素値と係数バッファ
から読み出した各補間係数とをそれぞれ積和演算して補
間演算を行うことにより、近似点における画素値を算出
し、算出した画素値を2 kで除算することにより、新た
な画素位置における画素値として出力する補間演算手段
とを備えるものである。
【0016】係数バッファでは、補間係数として、補間
関数から実数で導出した各補間係数をそれぞれ2k倍す
るとともに、各補間係数の係数値の小数部が所定桁数以
内となるように正規化した補間係数を予め格納するよう
にしてもよい。また補間関数から実数で導出した各補間
係数をそれぞれ2k倍するとともに、各補間係数が整数
となるように整数化した補間係数を予め格納するように
してもよい。ここで、整数化した各補間係数のうち、1
回の補間演算に用いる各補間係数の係数値の合計が2k
とならない場合は、合計が2kとなるように整数化前の
各補間係数のうちのいずれかを増減し、増減する補間係
数としてその増減率の最も小さいものから順に増減して
得られた補間係数を予め格納するようにしてもよい。ま
た、係数バッファでは、補間係数として、サブマトリク
スをXおよびY座標軸方向にそれぞれ2n(nは2以上
の整数)で分割して得られた補間係数を予め格納するよ
うにしてもよい。
【0017】各補間原画素に対する補間係数を得る場
合、係数バッファで、補間係数として、近似点と各補間
原画素との位置関係のうち、XまたはY座標軸方向のい
ずれか一方向における位置関係に応じた補間係数を予め
格納して、一方向における補間係数をXおよびY座標軸
方向で兼用し、X座標軸方向における近似点と各補間原
画素との位置関係に応じた補間係数を出力するととも
に、Y座標軸方向における近似点と補間原画素との位置
関係に応じた補間係数を出力し、補間演算部では、同一
補間原画素に関するXおよびY座標軸方向での2つの補
間係数を積算することにより、各補間原画素に対する補
間係数を得るようにしてもよい。
【0018】あるいは、係数バッファで、補間係数とし
て、近似点と各補間原画素との位置関係のうち、X座標
軸方向の位置関係に応じたX補間係数と、Y座標軸方向
の位置関係に応じたX補間係数とを予め個別に格納し、
X座標軸方向における位置関係に応じた補間係数を出力
するとともに、Y座標軸方向における位置関係に応じた
補間係数を出力し、同一補間原画素に関するXおよびY
座標軸方向での2つの補間係数を積算することにより、
各補間原画素に対する補間係数を得るようにしてもよ
い。
【0019】この他、係数バッファで、補間係数とし
て、近似点を中心とする対称な補間関数を用いて算出さ
れた補間係数のうち、その近似点からいずれか片側方向
の補間係数のみを予め格納しておき、近似点から片側方
向の補間係数については、近似点と各補間係数との位置
関係に応じて、係数バッファに格納されている補間係数
から選択し、片側方向と反対方向の補間係数について
は、近似点と各補間係数との位置関係を符号反転した位
置関係に応じて、係数バッファに格納されている補間係
数から選択するようにしてもよい。また、係数バッファ
では、補間係数として、近似点が任意の補間原画素の位
置と一致した場合に、その他の補間原画素に対応する補
間係数がすべてゼロとなる補間係数を予め格納するよう
にしてもよい。
【0020】原画像バッファから各補間原画素の画素値
を読み出す場合、補間位置演算手段で、原画素間の距離
を1と見なして求めた近似点の位置の整数部に基づき、
近似点が属するサブマトリクスを構成する4つの原画素
のうちの基準となる基準原画素を特定し、基準原画素を
元にして原画像バッファから1回の補間演算に用いる各
補間原画素の画素値を読み出すようにしてもよい。さら
に、係数バッファから各補間係数を読み出す場合、補間
位置演算手段で、原画素間の距離を1と見なして求めた
近似点の位置の小数部に基づき、近似点と基準原画素と
の位置関係を算出し、その位置関係を元にして係数バッ
ファから1回の補間演算に用いる各補間係数の係数値を
読み出すようにしてもよい。
【0021】補間位置演算手段では、新たな画像を構成
する各画素の新たな画素位置を算出する際、XおよびY
座標軸方向のうちいずれか一方の座標軸方向における倍
率に応じて、新たな画素位置に関する一方の座標軸方向
での座標値を算出し、その座標値をパラメータとする所
定の関数を用いて新たな画素位置に関する他方の座標軸
方向での座標値を算出するようにしてもよい。
【0022】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。図1は本発明の一実施の形
態にかかる画像処理装置を示すブロック図である。画像
処理装置10は、電子カメラなどの撮像装置で撮像され
た2次元の原画像1について、原画像1の直交するXお
よびY座標軸方向での拡大・縮小率を示す倍率2に基づ
き画像処理することにより新たな画像8を出力する装置
である。この画像処理装置10には、原画像バッファ1
1、補間位置演算部12、係数バッファ13および補間
演算部14が設けられている。
【0023】補間位置演算部12では、指定された倍率
2に基づいて、新たな画像8を構成する各画素の新たな
画素位置すなわち補間位置を算出する。原画像バッファ
11には、処理対象となる原画像1が入力されて一時的
に記憶され、補間位置演算部12で算出された補間位置
を示すX,Y座標値の整数部3に基づき、補間位置にお
ける新たな画素値を算出するのに用いられる原画素すな
わち補間原画素が選択出力される。係数バッファ13で
は、予め入力された係数データ9を、補間位置と補間原
画素との位置関係に応じて各補間原画素に対応する補間
係数として記憶しており、補間位置演算部12で算出さ
れた補間位置を示すX,Y座標値の小数部4に基づき、
補間原画素に対応する補間係数6が選択出力される。
【0024】補間演算部14には、コンボルーバー(積
和演算器)15とビットシフタ16とが設けられてい
る。コンボルーバー15では、原画像バッファ11から
選択出力された補間原画素5の画素値と、係数バッファ
13から選択出力された補間係数6とを、それぞれ対応
させて積和演算を行うことにより、補間位置における画
素値7を算出する。ビットシフタ16では、コンボルー
バー15で算出された画素値7を下位ビット方向へビッ
トシフトすることにより除算し、得られた画素値を補間
位置における新たな画素値として出力し、結果として原
画像1を倍率2で画像処理した新たな画像8が生成され
る。
【0025】次に、図2を参照して、補間演算を用いた
画像処理の概要について、画像拡大処理を例として説明
する。図2は拡大処理を示す説明図である。原画像1
は、X,Y座標軸に沿ってマトリクス状に配置された複
数の原画素から構成されている。互いに隣接する4つの
原画素p(i,j)、p(i,j+1)、p(i+1,
j)およびp(i+1,j+1)の間の論理的な距離を
「1」とする。ここで、原画素1をX,Y座標軸方向へ
それぞれ1.5倍だけ拡大する処理は、X,Y座標軸方
向の画素数を1.5倍だけ増やす処理に等しい。したが
って、新たな画像を構成する各画素間は1/1.5だけ
狭くなり、原画素が元々存在しない新たな画素位置、例
えば点Pでの画素値が必要となる。
【0026】新たな画素位置すなわち補間位置の画素値
は、その補間位置から所定距離範囲内に位置する補間原
画素の画素値を用いて、補間演算により算出される。例
えば、図2の点Pの画素値については、その点Pを囲む
4つの補間原画素p(i,j)、p(i,j+1)、p
(i+1,j)およびp(i+1,j+1)から算出し
てもよい。本実施の形態では、補間位置PからX座標軸
に沿って両方向に同数の補間原画素を用いて補間し、Y
座標軸についても同様とする。このとき、補間位置Pか
ら片側方向に位置する補間原画素数をm(mは正整数)
とすると、1回の補間演算で4m2個の補間原画素を用
いることになる。上記の例では、m=1に相当する。
【0027】ここで、X,Y座標軸方向において隣接す
る原画素間の距離を「1」とし、X,Y座標軸方向にお
ける倍率をEx,Eyとした場合、補間位置Pの座標値
Px,Pyは、 Px=q/Ex,Py=q/Ey で求められる。但し、qは0以上の整数をとる。このP
x,Pyを実数「X.x」,「Y.y」で表現した場
合、原画素間の距離が「1」であることから、整数部
「X」,「Y」は、p(i,j)の座標値i,jに相当
し、小数部「x」,「y」は、p(i,j)から補間位
置Pまでの座標値に相当する。
【0028】したがって、図1の補間位置演算部12で
は、指定された倍率2に基づいて、新たな画像8を構成
する各画素の新たな画素位置すなわち補間位置を算出
し、その整数部「X」,「Y」に基づき原画素p(i,
j)を特定するとともに、この原画素p(i,j)を基
準として補間位置Pのための補間演算に用いる各補間原
画素を選択している。具体的には、片方向に位置する補
間原画素数をmとした場合、p(i−m+1,j−m+
1),p(i−m+1,j+m),p(i+m,j−m
+1),p(i+m,j+m)で囲まれる正方形の領域
内に存在するすべての原画素が補間原画素として選択さ
れる。
【0029】図3に補間位置演算部の構成例を示す。補
間位置演算部12には、X補間位置算出部21、分離部
23、近似部24、Y補間位置算出部25、分離部27
および近似部28が設けられている。X補間位置算出部
21では、X座標軸方向の倍率すなわちX倍率2Xに基
づき、新たな画像8を構成する各画素の新たな画素位置
すなわち補間位置を示すX座標値22が算出される。分
離部23では、実数「X.x」で表現されX座標値22
が、整数部「X」と小数部「x」に分離され、その整数
部「X」が、原画素選択アドレス3Xとして原画像バッ
ファ11からの補間原画素選択に使用される。
【0030】また、Y補間位置算出部25についても、
上記と同様にして、Y座標軸方向の倍率を示すY倍率2
Yに基づき、補間位置を示すY座標値26が算出され
る。分離部27では、実数「Y.y」で表現されるY座
標値26が、整数部「Y」と小数部「y」に分離され、
その整数部「Y」は、原画素選択アドレス3Yとして原
画像バッファ11からの補間原画素選択に使用される。
【0031】一方、補間位置を示す座標値の小数部
「x」,「y」は、p(i,j)から補間位置Pまでの
座標値すなわち距離に相当していることから、これら小
数部に基づき、各補間画素値に対応する補間係数を特定
できる。図4に補間係数選択処理の一例を示す。ここで
は、理解を容易とするためX座標軸方向にだけ着目し、
X座標軸上に並ぶ4つの原画像p(i−1),p
(i),p(i+1)およびp(i+2)を用いて補間
位置Pの画素値を求める場合(m=2)が例として示さ
れている。
【0032】補間位置Pは原画素p(i)とp(i+
1)との間に位置している。ここで、補間位置PのX座
標値が実数「X.x」である場合、上記のように、整数
部「X」は原画素p(i)の座標値iに相当し、小数部
「x」はp(i)から補間位置P間での距離xに相当す
る。補間係数は、補間演算に用いる各補間原画素の画素
値に対する重みであり、一般的には、各補間原画素と補
間位置との位置関係によって変化し、この位置関係をパ
ラメータとする関数すなわち補間関数で表現される。例
えば、図4の補間関数は、補間位置Pを中心として左右
対称な特性を有しており、補間位置Pと補間原画素との
位置関係に応じた関数値wが補間係数として用いられ
る。
【0033】補間位置Pを基準とした場合、原画像p
(i−1),p(i),p(i+1)およびp(i+
2)の相対座標値は、それぞれ−1−x,−x,1−x
および2−xとなり、各原画素の補間係数は、それぞれ
w(−1−x),w(−x),w(1−w),w(2−
x)と表現できる。したがって、原画像p(i−1),
p(i),p(i+1)およびp(i+2)の画素値を
g(i−1),g(i),g(i+1)およびg(i+
2)とすると、p(i)から距離xに位置する補間位置
Pの画素値Gは、 G=Σ{g(h)×w(h−i−x)} で求められる。但し、hはi−1〜i+2(m=2の場
合)の整数であり、補間位置Pの片側方向に位置する補
間原画素数をmとした場合、hはi−m+1〜i+mの
整数となる。
【0034】図5は補間位置の近似処理を示す説明図で
ある。図5では、原画像p(i,j),p(i+1,
j),p(i,j+1)およびp(i+1,j+1)で
形成されるサブマトリクス1Aを、X,Y座標軸方向に
n(nは2以上の整数)で等分割して2n+1個の正方形
の領域1Bを生成し、各領域1Bの頂点に近似点1Cを
設けてある。そして、近似範囲1D内の補間位置を、そ
の中央の近似点へ近似する。例えばn=2とした場合、
サブマトリクス1Aは16個に等分割され、20個の近
似点1Cが設けられる。そして補間位置Pは、その補間
位置Pを囲む近似範囲1Dの中央に位置する近似点1C
へ近似される。
【0035】このような補間位置を示す座標値の小数部
に対する近似処理は、図3の補間位置演算部12の近似
部24,28で行われる。すなわち、分離部23で分離
されたX座標値22の小数部「x」が近似部24で近似
処理され、X係数選択アドレス4Xとして係数バッファ
13からの補間係数選択に使用される。また、分離部2
7で分離されたY座標値26の小数部「y」が近似部2
8で近似処理され、Y係数選択アドレス4Yとして係数
バッファ13からの補間係数選択に使用される。
【0036】係数バッファ13では、これらX係数選択
アドレス4XおよびY係数選択アドレス4Yに基づき、
各補間原画素に対応する補間係数を選択する。図6に係
数バッファ13の構成例を示す。係数バッファ13に
は、切替部31、ルックアップテーブル(LUT)32
およびY係数ラッチ33が設けられている。切替部31
では、X係数選択アドレス4XとY係数選択アドレス4
Yのうちのいずれか一方が選択される。ルックアップテ
ーブル32には、補間位置と補間原画素との距離に応じ
た補間係数からなる係数データ9が予め設定されてお
り、切替部31で選択されたアドレスに基づき各補間原
画素に対応する補間係数が選択され読み出される。
【0037】切替部31は、補間位置演算部12で算出
された補間位置のY座標値が変化した場合に切り替えら
れる。補間位置演算部12では、まず新たな画像を構成
する最上列の画素列についてX座標方向に補間位置を順
次算出し、所望の画素数だけ算出した場合は、Y座標方
向に1画素分移行してX座標方向に補間位置を順次算出
し、これを最下列まで順次繰り返すことにより、新たな
画像を構成する各画素すなわち補間位置を算出する。し
たがって、Y座標方向へ1画素分移行する際に、移行先
のY座標値が必要となるため、切替部31を切り替えて
Y係数選択アドレス4Yをルックアップテーブル32へ
入力し、Y係数を得る。
【0038】Y係数ラッチ33では、切替部31でY係
数選択アドレス4Yが選択された場合にのみ、ルックア
ップテーブル32の出力を記憶保持する。これにより、
切替部31でX係数選択アドレス4Xが選択されている
状態では、ルックアップテーブル32からX係数6Xが
出力され、これと並列してY係数ラッチ33からY係数
6Yが出力される。
【0039】図7に近似処理を用いた補間係数選択処理
を示す。ここでは、切替部31においてX係数選択アド
レスが選択された場合の補間係数選択処理が示されてい
るが、Y係数選択アドレスが選択された場合も同様であ
る。図3で示したように、X座標値22およびY座標値
26の小数部を用いて近似処理しているため、各近似点
1C(図5参照)に近似される補間位置の範囲は、サブ
マトリクス1Aの内側に限定される。したがって、図1
3で述べた従来の近似範囲の設定と比較して、近似範囲
と補間原画素とのズレが発生せず、このズレに起因する
画素値の誤差が抑止される。これにより補間位置の演算
ごとにオフセットを加算(または減算)する必要がな
く、余分な演算量を削減できる。
【0040】補間関数については、所望の特性を用いれ
ばよく、例えば補間位置Pを挟む2つの補間原画素p
(i),p(i+1)を用いる直線補間を行う場合、補
間位置Pに対する補間原画素p(i)の相対的な距離を
xとすれば、p(i),p(i+1)での補間係数w
は、次のようになる。 0≦dのとき w=1−d d<0のとき w=d+1
【0041】また、拡大・縮小後の画像に対する高域空
間周波数の強調・減衰する程度を示す強調係数aを考慮
して、次のような式から補間原画素に対応する補間係数
wを算出してもよい。なお、dは補間位置Pから補間原
画素までの距離の絶対値、aは強調係数を示す。 0≦d<1のとき w=(a+2)d3+(a+3)d2+1 1≦d<2のとき w=ad3+5ad2+8ad−4a
【0042】このようにして算出した補間係数は実数値
であるため、補間演算(積和演算)を精度よく行おうと
すると浮動小数点演算を行う必要があり、有効桁数もそ
の係数値に応じた桁数だけ必要となる。また、補間点の
近似点を増やして近似誤差を減らそうとしてもやはり有
効桁数を増やす必要がある。これは有効桁数を増やさな
ければ近似点を増やした意味がなくなってしまうからで
ある。
【0043】上記のような不具合を解決する方法とし
て、補間係数の正規化を考える。図8に補間係数の正規
化例を示す。図8に示すように、各補間係数wを所定の
正規化係数で定数倍して正規化補間係数Wへ正規化する
ことにより、小数部の桁数が削減され、浮動小数点演算
より処理負担が少ない固定小数点演算を用いることがで
き、また有効桁数をも削減できる。したがって、係数バ
ッファ13には、このようにして予め正規化した係数デ
ータ9を補間係数として格納しておけばよい。
【0044】図1の補間演算部14では、このようにし
て補間位置Pに応じて選択された各補間原画素とこれに
対応する補間係数とを用いて、コンボルーバー15にお
いて積和演算することにより、補間位置Pにおける新た
な画素値7が算出される。このとき、係数バッファ13
からX係数6XとY係数6Yとが渡されるため、コンボ
ルーバー15では、当該補間原画素ごとに、その補間原
画素の画素値とこれら対応するX係数6XとY係数6Y
とを積算し、その和を画素値7として出力する。
【0045】ここで、補間係数として正規化係数で定数
倍されたものを用いた場合、積和演算で得られる画素値
7としては、実際の画素値の定数倍された値が算出され
る。このとき、補間演算時にこのゲインを調整する方法
も考えられるが、毎回、補間係数の合計とそれによる除
算が必要となってしまう。そこで、図8のセットA〜D
で示してある2n個おきに存在する補間係数、すなわち
1回の補間演算で用いる複数の補間係数について、各補
間係数の合計が正規化係数と同一となるように予め調整
しておけばよい。このような正規化された補間係数を使
用することによって、補間演算を極めて簡素化すること
ができる。すなわち各補間原画素値、および補間原画素
と補間点の相対位置によって決まる各補間係数との積和
演算の結果を、正規化係数で除算すればよい。
【0046】本実施の形態では、補間係数を正規化する
場合、1回の補間演算で用いられる各補間係数の係数値
の合計が2k(kは正整数)となるように正規化してお
く。これにより、係数が大きくなって小数部が減るた
め、固定小数点の演算器で構成できコンボルーバー15
も大幅に簡素化できる。さらに、各補間係数が2kとい
う正規化係数を用いて予め正規化されているので、ビッ
トシフタ16における除算では、どの係数が選択される
かに関係なく、すべて同一のシフト演算で実行できる。
このとき、画素値7を除算する演算処理としては、画素
値7の各ビットを下位ビット方向へkビットだけシフト
する演算機能すなわちビットシフタ16で実現でき、浮
動小数点演算を行う場合と比較して極めて短い時間で除
算できる。さらに、常に同じ正規化係数の使用を前提と
する装置でれば配線のみで構成できる。
【0047】このように、補間位置を近似点へ近似し、
さらには補間係数をその合計が2kとなるように正規化
しているため、高次の補間による2次元画像の拡大・縮
小を行ったり、それに伴って補間演算に使用する原画素
数を増やしても、演算を複雑にしたり回路規模を増大さ
せることなく、高速で処理をに行うことができる。これ
により、高次の補間が容易に実行できるため、例えば単
純間引きによる縮小時のようにエイリアスがでることも
ない。また、拡大時にも高域の空間周波数を強調するこ
とも容易で、単純補間による拡大時のようにぼけた画像
になることもない。さらに、原画素に囲まれた範囲内で
は同じ原画素を補間演算に使用するようにしているの
で、従来(図13参照)と比較して、近似点の算出は単
純に補間位置の小数部を用いることができ容易である。
また、ハードウェアとの親和性がよく、回路規模を削減
できる。
【0048】補間係数の正規化については、小数部の桁
数を削減するにとどまらず、図8に示すように、正規化
補間係数の各係数値を整数化した整数化補間係数Wiを
用いてもよい。この整数化については、整数への丸め処
理(例えば、四捨五入など)が行われる。この整数への
丸め処理に起因して、整数化後の全補間係数の合計が2
kとならない場合、そのままでは補間後の画素値にゲイ
ンがかかってしまい、画素位置によって補間後の画像の
明るさが変わってしまう(例えば、一様な画像がまだら
になってしまう)。
【0049】このため、整数化前の補間係数のいずれか
を選択して増減することによりその整数化後の補間係数
を「1」だけ増減し、整数化後の全補間係数の合計が2
kとなるまでいずれかの補間係数を順次選択して増減す
る。増減する補間係数としては、その増減率が最も小さ
い補間係数から順に選択する。これにより整数化前後の
補間係数間での誤差を最小限に抑えることができる。
【0050】このような整数化処理では多少の誤差は生
じるが、結局は演算時に使用する桁数の問題といえる。
係数値として必要な桁数が同じであれば、このような固
定小数点演算の方が浮動小数点演算に比較して、ハード
ウェアによる場合でもソフトウェアによる演算でもずっ
と容易となる。演算処理装置(CPU)においては、補
間係数の桁数がビット数とみなされるので、上記の正規
化さらには整数化による固定小数点化と相まって、汎用
の演算処理装置を使用したソフトウェアによる演算にお
いても高速化が実現可能であるし、また、最適化した演
算装置(ハードウェア)を設計する上ではその回路規模
を大幅に削減できる。
【0051】整数化補間係数については、図8に示した
ように、補間位置を中心として対称となるように構成し
てもよい。すなわち、補間位置(近似点)から片側方向
の補間係数については、補間位置と各補間係数との位置
関係に応じて、係数バッファ13に格納されている片側
の補間係数から選択し、片側方向とは反対方向の補間係
数については、補間位置と各補間係数との位置関係を符
号反転した位置関係に応じて、係数バッファに格納され
ている補間係数から選択すればよい。これにより、補間
位置から片側の補間係数から反対側の補間係数を選択で
きることから、ルックアップテーブルに格納する補間係
数は約半分まで削減することができ、ルックアップテー
ブルで必要な記憶容量を大幅に削減できる。
【0052】また、図6に示したように、XおよびY座
標軸方向について同一のルックアップテーブル32を用
いて、2次元の近似点での補間係数をX,Y座標軸方向
ごとにテーブル参照して求めたX係数およびY係数を、
コンボルーバー15により乗算して求めるようにしたの
で、2次元の近似点についてすべての補間係数を格納し
ておく場合に比べて、ルックアップテーブルの大きさを
大幅に削減することができる。これにより近似点をより
細かく、補間に用いる原画素の数を増やして精度の向上
を図ってもルックアップテーブルに格納するデータの数
を大幅に増やすことなく演算することができる。
【0053】補間位置演算部12において、例えば補間
位置をX座標軸方向に沿ってX座標値を連続して算出し
ていく場合、その1列分が終わるまで他方のY座標値は
同じ係数値となる。したがって、X座標値が変化するご
とにY座標値を毎回算出してテーブル参照する必要はな
く、図6に示したように、Y係数ラッチ33でY係数値
を保持しておけば、X,Y座標方向で同じ補間係数を共
用しても演算速度への影響はほとんどない。
【0054】係数バッファ13については、図9に示す
ように、X,Y係数ごとに別の係数データを使ってもよ
い。図9に係数バッファの他の構成例を示す。この係数
バッファ13には、X軸方向におけるX係数データ9X
を記憶するX係数バッファ35と、Y軸方向におけるY
係数データ9Yを記憶するY係数バッファ36とが設け
られている。さらに、X係数バッファ35には、補間位
置演算部12からのX係数選択アドレス4Xが入力され
てX係数6Xが出力され、Y係数バッファ36には、補
間位置演算部12からのY係数選択アドレス4Yが入力
されてY係数6Yが出力される。このように、係数バッ
ファ13内にX,Y係数バッファを独立して設けること
により、原画像1のアスペクト比を変えたり表示系の特
性に合わせた画素数変換を行うことが可能となる。
【0055】また、図8に示したように、補間位置Pが
原画素位置と一致した場合は、他の補間原画素に対応す
る補間係数を「0(ゼロ)」となる補間係数を用いる。
これにより、原画素位置付近に補間位置Pがある場合、
例えば補間位置Pが同一原画素を挟んで存在し、これら
2つの補間位置における補間演算で用いる2m個の補間
原画素の組が異なる場合でも、両補間位置での新たな画
素値に差が生じることがなくなり、新たな画像上におけ
る画素値の不連続性は現れない。さらに、補間係数の数
も、上記より両端の補間係数の係数値は必ず「0」とな
り、これを係数として格納しないようにすれば、補間係
数テーブルのメモリサイズをさらに小さくすることがで
きる。
【0056】係数データ9については、原画像や所望す
る拡大・縮小後の画像に合わせて書き換えられるように
してもよい。さらに、図9に示したようにX,Y座標軸
方向ごとに独立して係数バッファを設ける場合は、X,
Y座標方向について別々の特性を与えることも可能であ
る。すなわち、人間の目の特性上、分解能の高い水平方
向(X座標軸方向)については、高い空間周波数部分がよ
り強調される特性の補間係数を利用するといったことが
可能である。
【0057】また前述の図6では、係数バッファ13と
して、X,Y座標軸方向でルックアップテーブル32を
兼用するようにした場合について説明したが、図10に
示すように、補間位置演算部12でもX,Y座標軸方向
で補間位置演算部21ほかを兼用できる。図10では、
切替部20を補間位置演算部21の前段に設けてX倍率
2XおよびY倍率2Yのいずれか一方を選択する。X倍
率2Xを選択した場合は、前述(図3参照)と同様にし
て、補間演算部21でX座標軸方向での補間位置が算出
され、その整数部が分離部23から原画素選択アドレス
3Xとして出力される。また小数部は近似部24で近似
されX座標軸方向でのアドレスを示す係数選択アドレス
4XYが出力される。
【0058】一方、Y座標方向へ1画素分移行する際に
は、移行先のY座標値が必要となるため、切替部20を
切り替えてY倍率2Yを選択する。これにより、補間演
算部21でY座標軸方向での補間位置が算出され、分離
部23で分離された整数部がYアドレスラッチ29でラ
ッチされて、原画素選択アドレス3Yとして出力され
る。また小数部は近似部24で近似されY座標軸方向で
のアドレスを示す係数選択アドレス4XYが出力され
る。これにより、補間位置演算部12において、X,Y
座標軸方向で補間位置演算部21ほかを兼用でき、回路
規模を削減できる。図10の補間位置演算部12では、
同一の信号ラインを用いてX,Y座標軸方向における係
数選択アドレス4XYを切り替え出力している。したが
って、係数バッファ13では、前述した図6のうち切替
部31が不要となり、図11に示すような構成となり、
回路規模を削減できる。
【0059】また、図12のように、例えば補間位置の
Y座標値が、そのX座標値をパラメータとする関数から
算出できるような構成にすれば、拡大・縮小に加えて、
画像を回転させることも可能である。図12に補間位置
演算部の他の構成例を示す。ここでは、Y補間位置算出
部25において、X補間位置算出部21で算出された補
間位置のX座標値22と、予め設定されるY位置関数2
Fとを用いて、 Y.y=f(X.x) から、補間位置のY座標値26を算出している。
【0060】これによれば、このような画像の変換を行
っても、装置の構成上はY補間位置算出部25での演算
がほんの少し複雑になるだけであり、多少複雑な関数を
使えばさまざまな画像変形を行うこともできる。例え
ば、出力画像の1ライン(あるいは数ライン)ごとに関数
を書き換えるなどすれば、レンズなどの光学系のひずみ
を補正することなども可能となる。また、倍率を画像処
理途中で切り替えることももちろん可能である。内部に
複数の倍率を保管し、切り替えるようにしてもよい。こ
のような処理を組み合わせれば、画像の一部分だけを拡
大したような出力画像を得ることも可能である。
【0061】
【発明の効果】以上説明したように、本発明は、隣接す
る2×2個の原画素からなる正方形のサブマトリクスを
XおよびY座標軸方向にそれぞれ複数個に等分割して小
さな正方形の領域を生成するとともに、これら領域の各
頂点に近似点を配置し、任意の近似点を中心として所定
範囲内に位置する各近似点での離散した補間係数を所定
の補間関数に基づきそれぞれ導出し、さらにこれら補間
係数のうち1回の補間演算に用いる各補間係数の係数値
の合計が2k(kは正整数)となるように正規化した補
間係数をそれぞれ求めて予め係数バッファに格納してお
き、入力された原画像を一時的に原画像バッファに記憶
し、原画像に対するXおよびY座標軸方向での拡大・縮
小率を示す倍率に応じて、新たな画像を構成する各画素
の新たな画素位置を算出し、その新たな画素位置が属す
るサブマトリクスに配置されている各近似点のうち、新
たな画素位置に最も近い近似点をその新たな画素位置の
近似点として選択し、選択した近似点とこの近似点から
所定範囲内に位置する各補間原画素との位置関係に基づ
いて、これら補間原画素に対応する補間係数を係数バッ
ファから読み出し、原画像バッファから読み出した各補
間原画素の画素値と係数バッファから読み出した各補間
係数とをそれぞれ積和演算して補間演算を行うことによ
り、近似点における画素値を算出し、算出した画素値を
kで除算することにより、新たな画素位置における画
素値として出力するようにしたものである。したがっ
て、従来のように、補間位置ごとに補間係数を演算する
ことなく、また高い精度を要求しても回路規模の増大を
伴わずに、原画像に対する拡大・縮小などの画像処理を
高速・高画質で行うことができる。また、補間位置を近
似点へ近似する場合、補間位置を囲む原画素と補間演算
に用いる補間原画素とにずれがなく、そのずれに起因し
て発生する画素値の誤差を抑止でき、高精度な補間処理
を実現できる。
【図面の簡単な説明】
【図1】 本発明の一実施の形態にかかる画像処理装置
を示すブロック図である。
【図2】 拡大処理を示す説明図である。
【図3】 補間位置演算部の構成例である。
【図4】 補間係数選択処理の一例である。
【図5】 補間位置の近似処理を示す説明図である。
【図6】 係数バッファの構成例である。
【図7】 近似処理を用いた補間係数選択処理例であ
る。
【図8】 補間係数の正規化例である。
【図9】 係数バッファの他の構成例である。
【図10】 補間位置演算部の他の構成例である。
【図11】 係数バッファの他の構成例である。
【図12】 補間位置演算部の他の構成例である。
【図13】 従来の画像処理装置における近似処理例で
ある。
【符号の説明】
1…原画像、2…倍率、3…整数部(補間位置座標
値)、4…小数部(補間位置座標値)、5…補間原画
素、6…補間係数、7…画素値、8…新たな画像、9…
係数データ、10…画像処理装置、11…原画像バッフ
ァ、12…補間位置演算部、13…係数バッファ、14
…補間演算部、15…コンボルーバー、16…ビットシ
フタ、P…補間位置、p…原画素、w…補間係数。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC02 CD05 CD06 CH09 5C023 AA02 AA37 CA01 DA04 EA06 EA10 5C076 AA21 AA22 BA03 BA06 BB04 BB24 BB25 CB01

Claims (24)

    【特許請求の範囲】
  1. 【請求項1】 直交するX,Y座標軸に沿ってマトリク
    ス状に配置された複数の原画素からなる原画像につい
    て、所望の画素位置から所定範囲内に位置する複数の原
    画素からなる補間原画素の画素値とこれら補間原画素に
    対応する補間係数とを用いた補間演算により前記所望の
    画素位置における新たな画素値を算出することによっ
    て、前記原画像を画像処理した新たな画像を生成する画
    像処理方法において、 隣接する2×2個の原画素からなる正方形のサブマトリ
    クスをXおよびY座標軸方向にそれぞれ複数個に等分割
    して小さな正方形の領域を生成するとともに、これら領
    域の各頂点に近似点を配置し、任意の近似点を中心とし
    て所定範囲内に位置する各近似点での離散した補間係数
    を所定の補間関数に基づきそれぞれ導出し、さらにこれ
    ら補間係数のうち1回の補間演算に用いる各補間係数の
    係数値の合計が2k(kは正整数)となるように正規化
    した補間係数をそれぞれ求めて予め係数バッファに格納
    しておき、 入力された原画像を一時的に原画像バッファに記憶し、 前記原画像に対するXおよびY座標軸方向での拡大・縮
    小率を示す倍率に応じて、新たな画像を構成する各画素
    の新たな画素位置を算出し、 その新たな画素位置が属するサブマトリクスに配置され
    ている各近似点のうち、前記新たな画素位置に最も近い
    近似点をその新たな画素位置の近似点として選択し、 選択した前記近似点とこの近似点から所定範囲内に位置
    する各補間原画素との位置関係に基づいて、これら補間
    原画素に対応する補間係数を前記係数バッファから読み
    出し、 前記原画像バッファから読み出した前記各補間原画素の
    画素値と前記係数バッファから読み出した前記各補間係
    数とをそれぞれ積和演算して補間演算を行うことによ
    り、前記近似点における画素値を算出し、 算出した前記画素値を2kで除算することにより、前記
    新たな画素位置における画素値として出力することを特
    徴とする画像処理方法。
  2. 【請求項2】 請求項1記載の画像処理方法において、
    前記係数バッファに格納しておく補間係数を正規化する
    際、前記補間関数から実数で導出した各補間係数をそれ
    ぞれ2k倍するとともに、各補間係数の係数値の小数部
    が所定桁数以内となるように正規化することを特徴とす
    る画像処理方法。
  3. 【請求項3】 請求項1記載の画像処理方法において、 前記係数バッファに格納しておく補間係数を正規化する
    際、前記補間関数から実数で導出した各補間係数をそれ
    ぞれ2k倍するとともに、各補間係数が整数となるよう
    に整数化することを特徴とする画像処理方法。
  4. 【請求項4】 請求項3記載の画像処理方法において、 前記係数バッファに格納しておく補間係数を整数化する
    際、整数化した各補間係数のうち、1回の補間演算に用
    いる各補間係数の係数値の合計が2kとならない場合
    は、前記合計が2kとなるように整数化前の各補間係数
    のうちのいずれかを増減し、増減する補間係数としてそ
    の増減率の最も小さいものから順に増減することを特徴
    とする画像処理方法。
  5. 【請求項5】 請求項1記載の画像処理方法において、 前記サブマトリクスをXおよびY座標軸方向にそれぞれ
    分割する数として、2 n(nは2以上の整数)を用いる
    ことを特徴とする画像処理方法。
  6. 【請求項6】 請求項1記載の画像処理方法において、 前記係数バッファには、前記近似点と前記各補間原画素
    との位置関係のうち、XまたはY座標軸方向のいずれか
    一方向における位置関係に応じた補間係数を格納してお
    き、 前記補間演算時には、前記一方向における補間係数をX
    およびY座標軸方向で兼用し、X座標軸方向における前
    記近似点と前記各補間原画素との位置関係に応じた補間
    係数を前記係数バッファからそれぞれ読み出すととも
    に、Y座標軸方向における前記近似点と前記補間原画素
    との位置関係に応じた補間係数を前記係数バッファから
    それぞれ読み出し、同一補間原画素に関するXおよびY
    座標軸方向での2つの補間係数を積算することにより、
    前記各補間原画素に対する補間係数を得ることを特徴と
    する画像処理方法。
  7. 【請求項7】 請求項1記載の画像処理方法において、 前記係数バッファには、前記近似点と前記各補間原画素
    との位置関係のうち、X座標軸方向の位置関係に応じた
    X補間係数と、Y座標軸方向の位置関係に応じたX補間
    係数とを個別に格納しておき、 前記補間演算時には、X座標軸方向における前記位置関
    係に応じた補間係数を前記係数バッファからそれぞれ読
    み出すとともに、Y座標軸方向における前記位置関係に
    応じた補間係数を前記係数バッファからそれぞれ読み出
    し、同一補間原画素に関するXおよびY座標軸方向での
    2つの補間係数を積算することにより、前記各補間原画
    素に対する補間係数を得ることを特徴とする画像処理方
    法。
  8. 【請求項8】 請求項1記載の画像処理方法において、 前記係数バッファに格納しておく補間係数として、前記
    近似点を中心とする対称な前記補間関数を用いて算出さ
    れた補間係数のうち、その近似点からいずれか片側方向
    の補間係数のみを格納しておき、 前記補間演算時には、前記近似点から前記片側方向の補
    間係数については、前記近似点と前記各補間係数との位
    置関係に応じて、前記係数バッファに格納されている前
    記補間係数から選択し、前記片側方向とは反対方向の補
    間係数については、前記近似点と前記各補間係数との位
    置関係を符号反転した位置関係に応じて、前記係数バッ
    ファに格納されている前記補間係数から選択することを
    特徴とする画像処理方法。
  9. 【請求項9】 請求項1記載の画像処理方法において、 前記係数バッファに格納しておく補間係数として、前記
    近似点が任意の補間原画素の位置と一致した場合に、そ
    の他の補間原画素に対応する補間係数がすべてゼロとな
    る補間係数を用いることを特徴とする画像処理方法。
  10. 【請求項10】 請求項1記載の画像処理方法におい
    て、 前記原画素間の距離を1と見なして求めた前記近似点の
    位置の整数部に基づき、前記近似点が属するサブマトリ
    クスを構成する4つの原画素のうちの基準となる基準原
    画素を特定し、前記基準原画素を元にして前記原画像バ
    ッファから1回の補間演算に用いる各補間原画素の画素
    値を読み出すことを特徴とする画像処理方法。
  11. 【請求項11】 請求項10記載の画像処理方法におい
    て、 前記原画素間の距離を1と見なして求めた前記近似点の
    位置の小数部に基づき、前記近似点と前記基準原画素と
    の位置関係を算出し、その位置関係を元にして前記係数
    バッファから1回の補間演算に用いる各補間係数の係数
    値を読み出すことを特徴とする画像処理方法。
  12. 【請求項12】 請求項1記載の画像処理方法におい
    て、 新たな画像を構成する各画素の新たな画素位置を算出す
    る際、XおよびY座標軸方向のうちいずれか一方の座標
    軸方向における倍率に応じて、前記新たな画素位置に関
    する前記一方の座標軸方向での座標値を算出し、その座
    標値をパラメータとする所定の関数を用いて前記新たな
    画素位置に関する他方の座標軸方向での座標値を算出す
    ることを特徴とする画像処理方法。
  13. 【請求項13】 直交するX,Y座標軸に沿ってマトリ
    クス状に配置された複数の原画素からなる原画像につい
    て、所望の画素位置から所定範囲内に位置する複数の原
    画素からなる補間原画素の画素値とこれら補間原画素に
    対応する補間係数とを用いた補間演算により前記所望の
    画素位置における新たな画素値を算出することによっ
    て、前記原画像を画像処理した新たな画像を生成する画
    像処理装置において、 隣接する2×2個の原画素からなる正方形のサブマトリ
    クスをXおよびY座標軸方向にそれぞれ複数個に等分割
    して小さな正方形の領域を生成するとともに、これら領
    域の各頂点に近似点を配置し、任意の近似点を中心とし
    て所定範囲内に位置する各近似点での離散した補間係数
    を所定の補間関数に基づきそれぞれ導出し、さらにこれ
    ら補間係数のうち1回の補間演算に用いる各補間係数の
    係数値の合計が2k(kは正整数)となるように正規化
    した補間係数をそれぞれ求めて予め格納する係数バッフ
    ァと、 入力された原画像を一時的に記憶する原画像バッファ
    と、 前記原画像に対するXおよびY座標軸方向での拡大・縮
    小率を示す倍率に応じて、新たな画像を構成する各画素
    の新たな画素位置を算出し、その新たな画素位置が属す
    るサブマトリクスに配置されている各近似点のうち、前
    記新たな画素位置に最も近い近似点をその新たな画素位
    置の近似点として選択し、選択した前記近似点とこの近
    似点から所定範囲内に位置する各補間原画素との位置関
    係に基づいて、これら補間原画素に対応する補間係数を
    前記係数バッファから読み出す補間位置演算手段と、 前記原画像バッファから読み出した前記各補間原画素の
    画素値と前記係数バッファから読み出した前記各補間係
    数とをそれぞれ積和演算して補間演算を行うことによ
    り、前記近似点における画素値を算出し、算出した前記
    画素値を2kで除算することにより、前記新たな画素位
    置における画素値として出力する補間演算手段とを備え
    ることを特徴とする画像処理装置。
  14. 【請求項14】 請求項13記載の画像処理装置におい
    て、 前記係数バッファは、前記補間係数として、前記補間関
    数から実数で導出した各補間係数をそれぞれ2k倍する
    とともに、各補間係数の係数値の小数部が所定桁数以内
    となるように正規化した補間係数を予め格納することを
    特徴とする画像処理装置。
  15. 【請求項15】 請求項13記載の画像処理装置におい
    て、 前記係数バッファは、前記補間係数として、前記補間関
    数から実数で導出した各補間係数をそれぞれ2k倍する
    とともに、各補間係数が整数となるように整数化した補
    間係数を予め格納することを特徴とする画像処理装置。
  16. 【請求項16】 請求項15記載の画像処理装置におい
    て、 前記係数バッファは、前記補間係数として、整数化した
    各補間係数のうち、1回の補間演算に用いる各補間係数
    の係数値の合計が2kとならない場合は、前記合計が2k
    となるように整数化前の各補間係数のうちのいずれかを
    増減し、増減する補間係数としてその増減率の最も小さ
    いものから順に増減して得られた補間係数を予め格納す
    ることを特徴とする画像処理装置。
  17. 【請求項17】 請求項13記載の画像処理装置におい
    て、 前記係数バッファは、前記補間係数として、前記サブマ
    トリクスをXおよびY座標軸方向にそれぞれ2n(nは
    2以上の整数)で分割して得られた補間係数を予め格納
    することを特徴とする画像処理装置。
  18. 【請求項18】 請求項13記載の画像処理装置におい
    て、 前記係数バッファは、前記補間係数として、前記近似点
    と前記各補間原画素との位置関係のうち、XまたはY座
    標軸方向のいずれか一方向における位置関係に応じた補
    間係数を予め格納して、前記一方向における補間係数を
    XおよびY座標軸方向で兼用し、X座標軸方向における
    前記近似点と前記各補間原画素との位置関係に応じた補
    間係数を出力するとともに、Y座標軸方向における前記
    近似点と前記補間原画素との位置関係に応じた補間係数
    を出力し、 前記補間演算部は、同一補間原画素に関するXおよびY
    座標軸方向での前記2つの補間係数を積算することによ
    り、前記各補間原画素に対する補間係数を得ることを特
    徴とする画像処理装置。
  19. 【請求項19】 請求項13記載の画像処理装置におい
    て、 前記係数バッファは、前記補間係数として、前記近似点
    と前記各補間原画素との位置関係のうち、X座標軸方向
    の位置関係に応じたX補間係数と、Y座標軸方向の位置
    関係に応じたX補間係数とを予め個別に格納し、X座標
    軸方向における前記位置関係に応じた補間係数を出力す
    るとともに、Y座標軸方向における前記位置関係に応じ
    た補間係数を出力し、同一補間原画素に関するXおよび
    Y座標軸方向での前記2つの補間係数を積算することに
    より、前記各補間原画素に対する補間係数を得ることを
    特徴とする画像処理装置。
  20. 【請求項20】 請求項13記載の画像処理装置におい
    て、 前記係数バッファは、前記補間係数として、前記近似点
    を中心とする対称な前記補間関数を用いて算出された補
    間係数のうち、その近似点からいずれか片側方向の補間
    係数のみを予め格納しておき、前記近似点から前記片側
    方向の補間係数については、前記近似点と前記各補間係
    数との位置関係に応じて、前記係数バッファに格納され
    ている前記補間係数から選択し、前記片側方向と反対方
    向の補間係数については、前記近似点と前記各補間係数
    との位置関係を符号反転した位置関係に応じて、前記係
    数バッファに格納されている前記補間係数から選択する
    ことを特徴とする画像処理装置。
  21. 【請求項21】 請求項13記載の画像処理装置におい
    て、 前記係数バッファは、前記補間係数として、前記近似点
    が任意の補間原画素の位置と一致した場合に、その他の
    補間原画素に対応する補間係数がすべてゼロとなる補間
    係数を予め格納することを特徴とする画像処理装置。
  22. 【請求項22】 請求項13記載の画像処理装置におい
    て、 前記補間位置演算部は、前記原画素間の距離を1と見な
    して求めた前記近似点の位置の整数部に基づき、前記近
    似点が属するサブマトリクスを構成する4つの原画素の
    うちの基準となる基準原画素を特定し、前記基準原画素
    を元にして前記原画像バッファから1回の補間演算に用
    いる各補間原画素の画素値を読み出すことを特徴とする
    画像処理装置。
  23. 【請求項23】 請求項22記載の画像処理装置におい
    て、 前記補間位置演算部は、前記原画素間の距離を1と見な
    して求めた前記近似点の位置の小数部に基づき、前記近
    似点と前記基準原画素との位置関係を算出し、その位置
    関係を元にして前記係数バッファから1回の補間演算に
    用いる各補間係数の係数値を読み出すことを特徴とする
    画像処理装置。
  24. 【請求項24】 請求項13記載の画像処理装置におい
    て、 前記補間位置演算部は、新たな画像を構成する各画素の
    新たな画素位置を算出する際、XおよびY座標軸方向の
    うちいずれか一方の座標軸方向における倍率に応じて、
    前記新たな画素位置に関する前記一方の座標軸方向での
    座標値を算出し、その座標値をパラメータとする所定の
    関数を用いて前記新たな画素位置に関する他方の座標軸
    方向での座標値を算出することを特徴とする画像処理装
    置。
JP2000310502A 2000-10-11 2000-10-11 画像処理方法および装置 Expired - Lifetime JP4231620B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000310502A JP4231620B2 (ja) 2000-10-11 2000-10-11 画像処理方法および装置
US10/053,487 US6915026B2 (en) 2000-10-11 2001-11-02 Image processing method and apparatus
EP01126130A EP1308887A1 (en) 2000-10-11 2001-11-02 Image processing method and apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000310502A JP4231620B2 (ja) 2000-10-11 2000-10-11 画像処理方法および装置
US10/053,487 US6915026B2 (en) 2000-10-11 2001-11-02 Image processing method and apparatus
EP01126130A EP1308887A1 (en) 2000-10-11 2001-11-02 Image processing method and apparatus

Publications (2)

Publication Number Publication Date
JP2002152498A true JP2002152498A (ja) 2002-05-24
JP4231620B2 JP4231620B2 (ja) 2009-03-04

Family

ID=27625145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000310502A Expired - Lifetime JP4231620B2 (ja) 2000-10-11 2000-10-11 画像処理方法および装置

Country Status (3)

Country Link
US (1) US6915026B2 (ja)
EP (1) EP1308887A1 (ja)
JP (1) JP4231620B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163532A (ja) * 2004-12-02 2006-06-22 Sony Corp 図形情報生成装置、画像処理装置、情報処理装置、および図形情報生成方法
JP2006185123A (ja) * 2004-12-27 2006-07-13 Casio Comput Co Ltd 画素補間装置
WO2009001755A1 (ja) * 2007-06-27 2008-12-31 Nsc Co., Ltd. データ補間装置および方法、画像拡大縮小装置
JP2009522935A (ja) * 2006-01-06 2009-06-11 マイクロソフト コーポレーション 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4503878B2 (ja) * 2001-04-27 2010-07-14 オリンパス株式会社 撮像装置及び撮像方法
US20030058457A1 (en) * 2001-09-21 2003-03-27 Eastman Kodak Company Selecting an image bearing product requiring a particular size converted from a high resolution digital image
ATE453903T1 (de) * 2001-12-21 2010-01-15 Ibm Verfahren und schaltungen zur bildskalierung mit hilfe neuronaler netzwerke
US7155305B2 (en) * 2003-11-04 2006-12-26 Universal Electronics Inc. System and methods for home appliance identification and control in a networked environment
US7593600B2 (en) * 2004-03-04 2009-09-22 International Business Machines Corporation Black white image scaling for optical character recognition
JP4500707B2 (ja) 2004-03-24 2010-07-14 キヤノン株式会社 画像データ処理装置
US20060178561A1 (en) * 2005-02-07 2006-08-10 Olympus Corporation Endoscope apparatus
US20060176321A1 (en) * 2005-02-07 2006-08-10 Olympus Corporation Endoscope apparatus
CN100366050C (zh) * 2005-03-11 2008-01-30 华亚微电子(上海)有限公司 一种图像缩放方法及图像缩放器系统
US7436412B2 (en) * 2005-08-24 2008-10-14 Qualcomm Incorporated Graphics engine with efficient interpolation
US8237808B2 (en) * 2007-01-17 2012-08-07 Sony Corporation Solid state imaging device and imaging apparatus adjusting the spatial positions of pixels after addition by controlling the ratio of weight values during addition
CN101309476B (zh) * 2007-05-15 2011-05-04 鸿富锦精密工业(深圳)有限公司 移动装置及其更改图片大小的方法
JP4854620B2 (ja) * 2007-07-19 2012-01-18 三洋電機株式会社 電子ズーム装置およびプログラム
US20100150475A1 (en) * 2008-12-17 2010-06-17 Ascent Media Group, Inc. Up-scaling images using interpolating function
US8520971B2 (en) * 2010-09-30 2013-08-27 Apple Inc. Digital image resampling
JP5804818B2 (ja) * 2011-07-23 2015-11-04 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2014126903A (ja) * 2012-12-25 2014-07-07 Toshiba Corp 画像処理装置および画像処理方法、ならびに、プログラム
US8917329B1 (en) 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
US10628915B1 (en) * 2017-01-13 2020-04-21 Ambarella International Lp Multi-modal warp filter to reduce memory bandwidth
US10200575B1 (en) 2017-05-02 2019-02-05 Gopro, Inc. Systems and methods for determining capture settings for visual content capture
CN111161145B (zh) * 2019-12-18 2023-12-22 兰州恒达彩印包装有限责任公司 一种改进的双三次图像插值模型的参数优化方法
JP7027023B2 (ja) * 2020-03-16 2022-03-01 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2807231B2 (ja) 1988-03-17 1998-10-08 大日本印刷株式会社 画素密度変換方法及び装置
US4988984A (en) 1988-10-31 1991-01-29 International Business Machines Corporation Image interpolator for an image display system
JPH06133206A (ja) * 1992-10-19 1994-05-13 Canon Inc 撮像装置のオートフォーカス方式
DE69318377T2 (de) * 1992-11-19 1998-09-03 Thomson Multimedia Sa Methode und Vorrichtung zur Erhöhung der Bildfrequenz
CA2129092C (en) * 1993-10-04 1999-10-19 Leon C. Williams Image interpolation apparatus
US5594676A (en) * 1994-12-22 1997-01-14 Genesis Microchip Inc. Digital image warping system
US6023537A (en) * 1996-07-15 2000-02-08 Ricoh Company, Ltd. Image reading apparatus using an image reading position error measuring device
JP3951072B2 (ja) 1997-07-04 2007-08-01 ソニー株式会社 フィルタ演算装置および方法
US6493469B1 (en) * 1999-06-28 2002-12-10 Xerox Corporation Dual video camera system for scanning hardcopy documents
US6546152B1 (en) * 2000-05-04 2003-04-08 Syscan Technology (Shenzhen) Co. Limited Method and apparatus for providing images in portable 2-D scanners
US6464332B1 (en) * 2000-05-23 2002-10-15 Silverbrook Research Pty Ltd. Method and apparatus for the compensation for time varying nozzle misalignment in a drop on demand printhead

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US9479796B2 (en) 2004-10-06 2016-10-25 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
JP4556646B2 (ja) * 2004-12-02 2010-10-06 ソニー株式会社 図形情報生成装置、画像処理装置、情報処理装置、および図形情報生成方法
JP2006163532A (ja) * 2004-12-02 2006-06-22 Sony Corp 図形情報生成装置、画像処理装置、情報処理装置、および図形情報生成方法
JP2006185123A (ja) * 2004-12-27 2006-07-13 Casio Comput Co Ltd 画素補間装置
US8780272B2 (en) 2006-01-06 2014-07-15 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
JP2009522935A (ja) * 2006-01-06 2009-06-11 マイクロソフト コーポレーション 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算
US8493513B2 (en) 2006-01-06 2013-07-23 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US9319729B2 (en) 2006-01-06 2016-04-19 Microsoft Technology Licensing, Llc Resampling and picture resizing operations for multi-resolution video coding and decoding
JP2012191655A (ja) * 2006-01-06 2012-10-04 Microsoft Corp 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算
WO2009001755A1 (ja) * 2007-06-27 2008-12-31 Nsc Co., Ltd. データ補間装置および方法、画像拡大縮小装置
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8964854B2 (en) 2008-03-21 2015-02-24 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US10250905B2 (en) 2008-08-25 2019-04-02 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding

Also Published As

Publication number Publication date
JP4231620B2 (ja) 2009-03-04
EP1308887A1 (en) 2003-05-07
US6915026B2 (en) 2005-07-05
US20030086007A1 (en) 2003-05-08

Similar Documents

Publication Publication Date Title
JP2002152498A (ja) 画像処理方法および装置
US5202670A (en) Image processing apparatus
Chen VLSI implementation of a low-cost high-quality image scaling processor
US20060204139A1 (en) Image processing device, image processing method, display controller, and electronic instrument
JPH05502534A (ja) ディジタル画像のノイズ除去システムおよび方法
JPH09326958A (ja) 画像処理装置および処理方法
JP2012501594A (ja) エッジ方向付け画像拡大縮小に関するデュアルルックアップテーブル設計
US6539128B1 (en) Method and apparatus for interpolation
JP4728744B2 (ja) 画像処理装置
JP3543928B2 (ja) 画素数変換装置
US6940520B2 (en) Anisotropic texture filtering method and apparatus using area coverage weight of sub-texel precision
JP2825395B2 (ja) 並列処理装置および方法
CN115775196A (zh) 一种双线性插值的硬件实现方法
JP4470762B2 (ja) 画像処理装置、表示コントローラ及び電子機器
US9286654B2 (en) Image scaling processor and image scaling processing method
CN105872306B (zh) 用于图像缩放的设备和方法
JP2006013701A (ja) 表示コントローラ、電子機器及び画像データ供給方法
CN116227507B (zh) 一种用于进行双线性插值处理的运算装置
JP4670403B2 (ja) 画像処理装置、画像処理方法、表示コントローラ及び電子機器
JP2004129212A (ja) 画像投射装置および画像変換方法
US6788348B1 (en) Method and system for processing digital images
JP2691559B2 (ja) 画素密度変換装置及びその方法
JP2005128618A (ja) 除算器、露出制御装置および除算方法
JP3381075B2 (ja) デジタルデータ処理装置
JPH10161633A (ja) 画素補間装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081208

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4231620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250