JP2002101296A

JP2002101296A - 画像処理方法及び画像処理装置

Info

Publication number: JP2002101296A
Application number: JP2000287320A
Authority: JP
Inventors: Hiroto Hirakoso; 洋人平社
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-09-21
Filing date: 2000-09-21
Publication date: 2002-04-05
Also published as: EP1191480A2; EP1191480A3; US7428346B2; US20020146180A1

Abstract

(57)【要約】【課題】ディジタル画像の拡大又は縮小を行う画像処
理において、高画質を維持しながら演算量を減らすこと
ができるようにする。【解決手段】ディジタル画像の拡大又は縮小を行うた
めに、出力画素値算出のため用いる離散原画素間の補間
信号を、補間関数にキュービック・コンボリューション
法における関数とバイリニア法における関数とを合成し
て成る関数を用いたＦＩＲディジタルフィルターによっ
て算出するようにした。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、ディジタル画像を
拡大又は縮小する処理を行う時に、演算量又は回路規模
を減少させることができるようにする技術に関する。

【０００２】

【従来の技術】近年、ディジタル方式の撮像装置、例え
ば、ビデオカメラや静止画ビデオカメラ等が急速に普及
している。従って、画像信号を含む信号処理技術もアナ
ログからディジタルへと移行しつつあり、処理すべき画
像も銀塩フィルムに記録されたアナログ画像から各種デ
ィジタル記録媒体に記録されたディジタル画像へと変わ
ってきた。

【０００３】上記のようなアナログ画像及びディジタル
画像の拡大又は縮小を行う際、前者においては、光学系
等を用いたアナログ手法による処理を行うのに対し、後
者においては、ディジタル処理を行うため画像の構成画
素値を演算によって求める必要がある。

【０００４】即ち、図３に示すように、原画像を構成す
る離散信号間に補間演算によって復元した補間信号を配
置して成る補間連続信号を、画像の拡大時においては原
画像よりも小さな間隔で画像データーを再サンプリング
することによって拡大を行い、また、画像の縮小時にお
いては、原画像よりも大きな間隔で画像データを再サン
プリングすることによって縮小を行う。そして、上記補
間演算においては、サンプリング定理に基づいたsinc関
数による補間を基本概念としている。

【０００５】従来の補間演算においては、演算量を軽減
するためsinc関数の近似式を補間関数として畳み込みに
用いる補間方法が考案されている。このような補間方法
としては、例えば、ニアレスト・ネイバー(nearest nei
ghbor)法、バイリニア(bilinear)法、キュービック・コ
ンボリューション(cubic convolution)法等である。

【０００６】上記畳込みによる演算は、所謂ＦＩＲディ
ジタルフィルターによって実現されるが、ニアレスト・
ネイバー法、バイリニア法、キュービック・コンボリュ
ーション法の順で得られる拡大又は縮小画像の画質が良
好になっていく反面、補間関数の次数及びフィルターの
タップ数も、この順で増大することになる。

【０００７】従って、上記各補間演算方法における演算
をソフトウェアで実現する場合には、上記の順で、即
ち、画質が良好になっていく順で演算量が増し、ＣＰＵ
等の演算装置に掛かる負荷が大きくなって処理時間が長
くなってしまうという問題があり、また、ハードウェア
によって演算を行う場合にも、同様に、回路規模が増大
してしまうという問題があった。

【０００８】

【発明が解決しようとする課題】本発明は、上記問題点
に鑑み、ディジタル画像の拡大又は縮小を行う画像処理
において、高画質を維持しながら演算量を減らすことが
できるようにすることを課題とする。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、ディジタル画像の拡大又は縮小を行うた
めに、出力画素値算出のため用いる離散原画素間の補間
信号を、補間関数にキュービック・コンボリューション
法における関数とバイリニア法における関数とを合成し
て成る関数を用いたＦＩＲディジタルフィルターによっ
て算出するようにした画像処理方法及び画像処理装置で
ある。

【００１０】従って、補間信号算出のための演算が単純
で処理時間が短いにも係わらず、高画質な変換画像を得
ることが可能となる。

【００１１】

【発明の実施の形態】以下に、本発明画像処理方法及び
画像処理装置の実施の形態について、添付図面を参照し
て説明する。尚、以下に示す実施の形態は、本発明をソ
フトウェア又はハードウェアで画像処理を行う画像処理
装置にそれぞれ適用したものである。

【００１２】本発明の原理を概略的に述べると、ディジ
タル画像の拡大又は縮小を行うための画像処理方法及び
画像処理装置において、出力画素値算出のため用いる離
散原画素間の補間信号を、補間関数にキュービック・コ
ンボリューション法における関数の一部とバイリニア法
における関数の一部とを合成して成る左右非対称な補間
関数を用いたＦＩＲディジタルフィルターによって算出
するようにしたことを特徴とするものである。

【００１３】最初に、本発明画像処理装置の構成につい
て説明する。

【００１４】図１は、ソフトウェアで画像処理を行うよ
うにされた画像処理装置１を示すものであり、該画像処
理装置１は、所謂ＰＣ・ＷＳと称されるコンピューター
である。

【００１５】画像処理装置１は、本体部２と、該本体部
２に接続されたキーボード３、マウス４、モニター５及
びプリンター６等から成るものである。そして、本体部
２には、入力Ｉ／Ｆ（インターフェース）７、出力Ｉ／
Ｆ（インターフェース）８、Ｉ／Ｏ（入力／出力）バス
９、ＣＰＵ（中央演算処理装置）１０、ＲＯＭ（読み出
し専用メモリー）１１ａ及びＲＡＭ（ランダムアクセス
メモリー）１１ｂから成る内蔵メモリー１１、ＨＤＤ
（ハードディスクドライブ）１２等が内蔵されている。

【００１６】上記画像処理装置１の各部は、キーボード
３及びマウス４が本体部２の入力Ｉ／Ｆ７に、モニター
５及びプリンター６が出力Ｉ／Ｆ８に接続される。ま
た、本体部２内部においてはＩ／Ｏバス９に、入力Ｉ／
Ｆ７、出力Ｉ／Ｆ８、ＣＰＵ１０、内蔵メモリー１１及
びＨＤＤ１２がそれぞれ接続され、これら各部がＩ／Ｏ
バス９を介して相互にデーター交換を行うことができる
ようになっている。

【００１７】上記したような構造を有する画像処理装置
１において、拡大又は縮小の対象となるディジタル原画
像のデーターは、２次記憶装置であるＨＤＤ１２に記憶
されている。そして、このディジタル原画像のデーター
が、Ｉ／Ｏバス９を経由して１次記憶装置であるＲＡＭ
１１ｂに展開され、ＣＰＵ１０によって後述する本発明
画像処理方法を用いた拡大又は縮小演算が行われる。

【００１８】上記演算結果によって拡大又は縮小された
ディジタル画像は、Ｉ／Ｏバス９及び出力Ｉ／Ｆ８を経
由して、出力装置であるモニター５やプリンター６等に
出力される。

【００１９】このような画像を拡大又は縮小する処理を
行うプログラムは、ＨＤＤ１２に記憶されており、必要
に応じてＲＡＭ１１ｂに展開されてＣＰＵ１０によって
実行される。また、使用者は、標準入力装置であるキー
ボード３及びマウス４によって、画像処理装置１の操作
を行うようになっている。

【００２０】図２は、ハードウェアーで画像処理を行う
ようにされた画像処理装置２０におけるディジタル画像
データーの拡大・縮小回路（以下、画像処理回路）２１
のブロック図を示すものである。尚、上記画像処理回路
２１は、例えば、ＣＣＤディジタルカメラの信号処理系
の最終段に位置するものであり、全ての信号処理が終了
してディジタル画像として成り立っている信号を原画像
信号として入力させるものである。

【００２１】即ち、処理回路２１は、タイミング発生回
路２２、メモリーコントロール回路２３、補間係数発生
回路２４、ラインメモリー２５及び補間演算回路２６か
ら成る。

【００２２】前記原画像信号は、補間演算時のディレイ
ラインであるラインメモリー２５に書き込まれる。そし
て、任意の拡大又は縮小率に応じて適切な画素データー
を読み出して、補間演算回路２６に入力する。尚、ライ
ンメモリー２５への書き込み及び読み出しのアドレス
は、メモリーコントロール回路２３にて生成される。

【００２３】こうして入力された対象となる画素データ
ーは、補間係数発生回路２４で、画像の拡大率又は縮小
率に合わせて生成される補間係数に従って後述する本発
明画像処理方法を用いて、補間演算回路２６で演算さ
れ、拡大又は縮小されたディジタル画像信号として出力
される。尚、メモリーコントロール回路２３及び補間係
数発生回路２４は、タイミング発生回路２２によって同
期が取られて制御されている。

【００２４】次に、本発明画像処理方法について説明す
る。

【００２５】ディジタル画像の拡大又は縮小における処
理は、図３乃至図５に示すように、原画像を構成する離
散信号間を補間演算によって復元して作り出した補間信
号で埋め、原画像の離散信号とその間の補間信号とを、
拡大時には原画像よりも小さな間隔で再サンプリング
（リサンプリング）し、逆に、縮小時には原画像よりも
大きな間隔で再サンプリングすることによって行うもの
である。

【００２６】上記補間信号を求める補間演算において
は、サンプリング定理に基づいたsinc関数による補間を
基本概念としている。以下の数１に上記sinc関数を示
す。

【００２７】

【数１】

【００２８】従来の補間演算においては、補間演算を軽
減するためsinc関数の近似式を補間関数として畳み込み
に用いる方法が考案されている。その代表例としては、
従来技術の欄でも述べた、以下に示す３つの方法があ
る。

【００２９】１つ目は、補間画素値を、その最近傍画素
値として用いるニアレスト・ネイバー法である。この方
法においては、補間関数をグラフで表すと、図示は省略
するが、矩形状を為している。以下の数２に、上記ニア
レスト・ネイバー法における補間関数h(x)を示す。

【００３０】

【数２】

【００３１】２つ目のバイリニア法は、補間画素値を、
その近傍２画素を線形補間によって求める方法であっ
て、その補間関数はトライアングル関数と呼ばれ、図６
に示すようなグラフになる。以下の数３に上記バイリニ
ア法における補間関数h(x)を示す。

【００３２】

【数３】

【００３３】３つ目のキュービック・コンボリューショ
ン法では、補間画素値を、その近傍の４つの画素値に、
sinc関数の有限範囲(-2<x<+2)近似式を補間関数として
畳み込んで求める方法である。この方法における補間関
数は、図５のグラフに示すようになる。以下の数４に上
記キュービック・コンボリューション法における補間関
数h(x)を示す。

【００３４】

【数４】

【００３５】上記３つの補間手法による出力画質を比べ
ると、ニアレスト・ネイバー法による画像では、補間画
素が原画素の値によって階段状に急変してモザイク状に
見えるのに対し、バイリニア法による画像では、補間画
素が原画素間の直線近似によって求められるているの
で、滑らかな印象を受けるものとなる。そして、キュー
ビック・コンボリューション法による画像では、図７に
示す補間関数の形状から察しがつくように、高域強調型
の応答特性を持っているため画像のエッジがはっきりし
て鮮明な印象の良好な結果が得られるものとなる。

【００３６】ところが、キュービック・コンボリューシ
ョン法は、上記数３と数４との比較でも明らかなよう
に、バイリニア法に比べ補間関数の演算は、より複雑に
なってしまう。また、バイリニア法においては、図１０
のグラフに示すように、近傍２点((Z⁰,Z^-1)から補間画
素を演算によって求める（補間信号＝Ａ＋Ｂ）のに対
し、キュービック・コンボリューション法においては、
図１２のグラフに示すように、補間画素の演算には近傍
４点(Z⁰,Z^-1,Z^-2,Z^-3)の画素が必要になる（補間信号＝
Ａ＋Ｂ＋Ｃ＋Ｄ）。これは、補間関数を畳み込むＦＩＲ
ディジタルフィルター（補間フィルター）を作るときの
次数が、図１１及び図１３に示すように、前者は１次で
あるのに対し、後者は３次となってしまう。

【００３７】一般的に、この補間フィルターの次数を大
きくするとフィルタの性能が向上するが、演算量が増す
ため処理時間が長くなってしまうという弊害が生じる。

【００３８】即ち、上記のように、補間関数をsinc関数
に近づけるため複雑にして、補間フィルターの次数を大
きくすると、補間性能が向上して画質も良くなるが、画
像処理を、ソフトウェアー行う場合には演算時間が増大
し、また、ハードウェアーで行う場合には、演算回路の
規模飛躍的に増大してしまうという問題があった。

【００３９】従って、本発明画像処理方法においては、
上記トレードオフを考慮してキュービック・コンボリュ
ーション法よりも補間フィルターの次数を下げ、且つ、
バイリニア法にない高域強調型の特性を有する補間フィ
ルターを実現したものである。即ち、具体的には、離散
画像間信号の復元に用いる補間関数に、キュービック・
コンボリューション法の３次元関数とバイリニア法のト
ライアングル関数を合成した関数を用いるようにしたも
のである。

【００４０】以下の数５及び数６に本発明における補間
関数ｈ（ｘ）を示す。

【００４１】

【数５】

【００４２】上記数５の（１）及び（２）に示す本発明
画像処理方法における補間関数をグラフ化すると、それ
ぞれ図８及び図９に示すようになる。これらは、ｘ＝０
を境界として、前者（１）の式では、ｘ＜０の領域でバ
イリニア法の補間関数を用い、ｘ＞０の領域でキュービ
ック・コンボリューション法の補間関数を用いるように
したものであり、逆に、後者（２）の式では、ｘ＜０の
領域でキュービック・コンボリューション法の補間関数
を用い、ｘ＞０の領域でバイリニア法の補間関数を用い
るようにしたものである。

【００４３】上記本発明画像処理方法における補間関数
は、ｘ＝０でｈ（ｘ）＝１の値を持つので、画像の拡大
又は縮小率が×１倍の時は、出力画像＝入力画像となり
画質の劣化はない。

【００４４】図１４及び図１５に上記数５に示す補間関
数（１）及び（２）の補間方法における畳み込みによる
補間信号の演算方法を示す。上記補間方法においては、
補間信号の演算には、それぞれ、近傍３点(Z⁰,Z^-1,Z^-2)
の画素が必要となり、補間信号は、図中のＡ＋Ｂ＋Ｃと
なる。

【００４５】そして、上記本発明による補間方法で用い
られるＦＩＲディジタルフィルター３０は、図１６に示
すように、２次の次数を有するものとなる。

【００４６】図１７及び図２２に本発明画像処理方法に
おける補間信号の例を示す。即ち、図１７及び以下の数
６に示す単位ステップを入力信号として使用した図１８
に示すインパルス列を用いると、バイリニア補完法によ
る出力信号は、図１９に示すようになる。

【００４７】

【数６】

【００４８】これに対し、キュービック・コンボリュー
ション法による出力補間信号は、図２０に示すようにな
り、入力信号のエッジ部分を強調する結果が得られる。

【００４９】本発明画像処理方法における出力補間信号
は、上記数５の（ａ)及び（ｂ）、図２１及び図２２に
示すように、それぞれのエッジの出方の強調が異なる
が、バイリニア補間法にはない高域強調型の特性を有す
ることが明らかである。

【００５０】上記したように、本発明は画像の拡大又は
縮小時において、離散画像間信号の復元に用いる補間関
数に、キュービック・コンボリューション法の３次元関
数とバイリニア法のトライアングル関数を合成した関数
を用いるようにしたので、従来のキュービック・コンボ
リューション法による画像処理よりも、ソフトウェアに
よって処理を行う際には、アルゴリズムが単純で演算量
が軽いので処理時間が短くて済む、また、ハードウェア
で処理を行う際には、回路規模が小さくて単純で良いの
で、開発が容易であると共に安価であるという利点を有
する。同様に、従来のバイリニア法による画像処理と比
べても、高域強調型の特性を有する補間方法が実現でき
るので、画像のエッジがはっきりして鮮明な印象の良好
な結果が得られるという利点を有する。

【００５１】また、本発明は、ディジタル画像を拡大又
は縮小（解像度の変更）する際に用いる新規な補間方法
であるので、ディジタル画像の解像度を変更する機能を
有するあらゆる機器に適用することが可能である。

【００５２】尚、前記実施の形態において示した各部の
具体的な形状及び構造は、何れも本発明を実施するに当
たっての具体化のほんの一例を示したものに過ぎず、こ
れらによって本発明の技術的範囲が限定的に解釈される
ことがあってはならないものである。

【００５３】

【発明の効果】以上に説明したように本発明画像処理方
法は、ディジタル画像の拡大又は縮小を行うために、出
力画素値算出のため用いる離散原画素間の補間信号を、
補間関数にキュービック・コンボリューション法におけ
る関数とバイリニア法における関数とを合成して成る関
数を用いたＦＩＲディジタルフィルターによって算出す
るようにしたので、補間信号算出のための演算が単純で
処理時間が短いにもかかわらず、高画質な変換画像を得
ることができる。

【００５４】請求項２に記載した発明にあっては、ＦＩ
Ｒフィルターは、補間関数にキュービック・コンボリュ
ーション法における関数の一部とバイリニア法における
関数の一部とを合成した左右非対称な関数を用いるもの
であるので、高域強調型の特性を有する高画質な変換画
像を得られるにもかかわらず、ソフトウェアで画像処理
を行う場合に適用すると、アルゴリズムを単純化するこ
とが可能になって演算量が軽く処理時間を短くすること
ができ、ハードウェアで画像処理を行う場合に適用する
と、回路規模が小さくなって開発が容易で、しかも、安
価に製造することができる。

【００５５】また、本発明画像処理装置は、ディジタル
画像の拡大又は縮小を行うものであって、出力画素値算
出のため用いる離散原画素間の補間信号を、補間関数に
キュービック・コンボリューション法における関数とバ
イリニア法における関数とを合成して成る関数を用いる
ＦＩＲディジタルフィルターを有するので、補間信号算
出のための演算が単純で処理時間が短いにも係わらず、
高画質な変換画像を得ることが可能な画像処理装置を実
現することができる。

【００５６】請求項４に記載した発明にあっては、ＦＩ
Ｒフィルターは、補間関数にキュービック・コンボリュ
ーション法における関数の一部とバイリニア法における
関数の一部とを合成した左右非対称な関数を用いるもの
であるので、高域強調型の特性を有する高画質な変換画
像を得られるにもかかわらず、ソフトウェアで画像処理
を行う装置に適用すると、アルゴリズムを単純化するこ
とが可能になって演算量が軽く処理時間を短くすること
ができ、ハードウェアで画像処理を行う装置に適用する
と、回路規模が小さくなって開発が容易で、しかも、安
価に製造することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態において、ソフトウェアで
画像処理を行うようにされた画像処理装置の一例の構成
を概略的に示す図である。

【図２】本発明の実施の形態において、ハードウェアで
画像処理を行うようにされた画像処理装置の一例の要部
構成を概略的に示すブロック図である。

【図３】入力原画像から補間信号を求め、再サンプリン
グを行う方法を概略的に示す図である。

【図４】２倍に拡大した処理済みの画像信号の様子を概
略的に示す図である。

【図５】３／４倍に縮小した処理済みの画像信号の様子
を概略的に示す図である。

【図６】バイリニア補間法における補間関数の特性を示
すグラフである。

【図７】キュービック・コンボリューション補間法にお
ける補間関数の特性を示すグラフである。

【図８】本発明の実施の形態における補間関数の一例の
特性を示すグラフである。

【図９】本発明の実施の形態における補間関数の別の例
の特性を示すグラフである。

【図１０】バイリニア法における畳込みによる演算方法
の原理を示す図である。

【図１１】バイリニア法におけるＦＩＲディジタルフィ
ルターを示す図である。

【図１２】キュービック・コンボリューション補間法に
おける畳込みによる演算方法の原理を示す図である。

【図１３】キュービック・コンボリューション補間法に
おけるＦＩＲディジタルフィルターを示す図である。

【図１４】本発明の実施の形態において、図８に示す補
間関数を用いた補間方法における畳込みによる演算方法
の原理を示す図である。

【図１５】本発明の実施の形態において、図９に示す補
間関数を用いた補間方法における畳込みによる演算方法
の原理を示す図である。

【図１６】本発明の実施の形態におけるＦＩＲフィルタ
ーを示す図である

【図１７】図１８乃至図２２と共に、本発明の実施の形
態における補間信号の例を示すものであり、本図は単位
ステップを示す図である。

【図１８】インパルス列を示す図である。

【図１９】バイリニア法による補間関数の応答を示す図
である。

【図２０】キュービック・コンボリューション法による
補間関数の応答を示す図である。

【図２１】図８に示す補間関数の応答を示す図である。

【図２２】図９に示す補間関数の応答を示す図である。

【符号の説明】

１…画像処理装置、２０…画像処理装置、３０…ＦＩＲ
ディジタルフィルター

Claims

【特許請求の範囲】

【請求項１】ディジタル画像の拡大又は縮小を行うた
めの画像処理方法において、出力画素値算出のため用いる離散原画素間の補間信号
を、補間関数にキュービック・コンボリューション法に
おける関数とバイリニア法における関数とを合成して成
る関数を用いたＦＩＲディジタルフィルターによって算
出するようにしたことを特徴とする画像処理方法。
【請求項２】ＦＩＲフィルターは、補間関数にキュー
ビック・コンボリューション法における関数の一部とバ
イリニア法における関数の一部とを合成した左右非対称
な関数を用いるものであることを特徴とする請求項１に
記載の画像処理方法。
【請求項３】ディジタル画像の拡大又は縮小を行う画
像処理装置において、出力画素値算出のため用いる離散原画素間の補間信号
を、補間関数にキュービック・コンボリューション法に
おける関数とバイリニア法における関数とを合成して成
る関数を用いるＦＩＲディジタルフィルターを有するこ
とを特徴とする画像処理装置。
【請求項４】ＦＩＲフィルターは、補間関数にキュー
ビック・コンボリューション法における関数の一部とバ
イリニア法における関数の一部とを合成した左右非対称
な関数を用いるものであることを特徴とする請求項３に
記載の画像処理装置。