JP2000151990A - 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録した媒体 - Google Patents

Abstract

(57)【要約】 【課題】 一律に特定のシャープさを調整することにな
り、画像によっては好ましい場合もあるし好ましくない
場合も生じてしまう。 【解決手段】 カラーの自然画像をドットマトリクス状
の画素で表現した画像データを補間する際に、画素を補
間生成するために参照する領域である注目ブロックにつ
いて色度の代表値を取得し（ステップ１１０）、当該色
度から肌色領域や空色領域であると判断すると（ステッ
プ１１５，１２０）、バイリニア法で画素補間する（ス
テップ１３０）ので滑らかに拡大されるし、そうでない
色調の領域についてはＭキュービック法で画素補間する
（ステップ１２５）のでシャープに拡大されることにな
り、画像全体としてはシャープさを維持しつつ人の肌や
青空の部分がざらついたりすることを防止できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データ補間方
法、画像データ補間装置および画像データ補間プログラ
ムを記録した媒体に関する。

【０００２】

【従来の技術】コンピュータなどで画像を扱う際には、
画像をドットマトリクス状の画素で表現し、各画素を階
調値で表している。例えば、コンピュータの画面で水平
方向に６４０ドット、垂直方向に４８０ドットの画素で
写真やコンピュータグラフィックスを表示することが多
い。

【０００３】一方、カラープリンタの性能向上がめざま
しく、そのドット密度は７２０ｄｐｉというように極め
て高精度となっている。すると、６４０×４８０ドット
の画像をドット単位で対応させて印刷させようとすると
極めて小さくなってしまう。この場合、階調値も異なる
上、解像度の意味合い自体が異なるのであるから、ドッ
ト間を補間して印刷用のデータに変換しなければならな
い。従来、このような場合にドットを補間する手法とし
て、最近隣内挿法（ニアリストネイバ補間：以下、ニア
リスト法と呼ぶ）や、３次たたみ込み内挿法（キュービ
ックコンボリューション補間：以下、キュービック法と
呼ぶ）などの手法が知られている。また、特開平６−２
２５１４０号公報にはドットを補間したときの縁部のス
ムージングを行うにあたり、予め縁部がスムーズとなる
ような拡大形態となるようにドットパターンを用意して
おく技術が開示されている。

【０００４】

【発明が解決しようとする課題】自然画の場合、一般的
にはシャープな方が好まれる。特に、画素補間すること
によってシャープさが劣化してしまうのは好ましくな
い。従って、基本的にはシャープにする処理を実行して
いる。しかしながら、必ずしも全てがシャープであれば
よいわけではなく、シャープにする修整をかけることに
よってざらついた感じが現れてしまい、好ましくない。
上述した従来の手法においては、それぞれにシャープさ
への影響度が異なり、ある画像データに対して補間処理
を実行することにより、一律に特定のシャープさを調整
することになる。従って、画像によっては好ましい場合
もあるし好ましくない場合も生じてしまい、これを避け
るには操作する側で補間処理を選択する必要があるとい
う課題があった。また、補間処理を選択したとしても画
像の部分部分によって望ましいシャープさが異なるた
め、結局は妥協しなければならなかった。

【０００５】本発明は、上記課題にかんがみてなされた
もので、画像の種類や被写体にかかわらずシャープさを
良好にして補間することが可能な画像データ補間方法、
画像データ補間装置および画像データ補間プログラムを
記録した媒体の提供を目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１にかかる発明は、カラーの自然画像をドッ
トマトリクス状の画素で表現した画像データを取得する
画像データ取得工程と、シャープさに影響を与える複数
の補間処理を前提として色調によって適度なシャープさ
となるような色調と補間処理とを対応づけるとともに、
補間される画素の色調に基づいてこの対応関係から選択
される所定の補間処理を実行する色調対応画素補間工程
と、補間された画像データを出力する画像データ出力工
程とを実行する構成としてある。

【０００７】上記のように構成した請求項１にかかる発
明においては、画像データ取得工程にてカラーの自然画
像をドットマトリクス状の画素で表現した画像データを
取得する。カラーの自然画の場合、様々な被写体が想定
され、被写体によってはシャープであることが好ましい
場合と、シャープでない方が好ましい場合とがある。こ
れらの場合において、ある色調をして固有の被写体を代
表させることも可能であり、例えば、肌色であれば人の
肌が被写体であるとみなすことも不可能ではない。そし
て、人の肌が被写体であるときにはシャープにしすぎる
と肌がざらついた感じに見えて好ましくない。従って、
肌色であれば被写体が人の肌であると見なしてシャープ
さを強調しないような処理を実行することによって好ま
しい画像を得られる。

【０００８】以上より、色調対応画素補間工程で画素補
間を実行するにあたり、シャープさに影響を与える複数
の補間処理を前提として色調によって適度なシャープさ
となるような色調と補間処理とを対応づけるとともに、
補間される画素の色調に基づいてこの対応関係から選択
される所定の補間処理を実行している。そして、画像デ
ータ出力工程でこのようにして補間された画像データを
出力する。すなわち、補間される画素の色調に基づいて
所定の補間処理を選択して実行すると、その色調に対応
したシャープさとなるように画素が補間される。

【０００９】補間される画素の色調に基づいて補間処理
を対応づける手法は各種のものを採用可能である。その
一例として、請求項２にかかる発明は、請求項１に記載
の画像データ補間方法において、上記色調対応画素補間
工程では、シャープさに影響を与える複数の補間処理を
前提として色調によって適度なシャープさとなるような
色調と補間処理との対応関係を取得する補間処理選択基
準取得工程と、補間される画素の色調に基づいて上記補
間処理選択基準取得工程にて対応する補間処理を取得し
て実行する画素補間工程とを実行する構成としてある。

【００１０】上記のように構成した請求項２にかかる発
明においては、画素を補間する際、シャープさに影響を
与える複数の補間処理を前提として色調によって適度な
シャープさとなるような色調と補間処理との対応関係を
補間処理選択基準取得工程にて取得し、画素補間工程で
は補間される画素の色調に基づいてこの補間処理選択基
準取得工程にて対応する補間処理を取得し、実行する。
すなわち、予め対応関係を定めておき、補間される画素
に基づいてその対応関係から補間処理を選択する。例え
ば、複数の補間処理を用意しておき、画素の色調によっ
ていずれかの補間処理を実行する。シャープにしたい場
合はキュービック法の補間処理を選択し、シャープにし
たくない色調の場合には後述するようなバイリニア法の
補間処理を選択するといった具合にすればよい。

【００１１】実行される補間処理は必ずしも一つの手法
に限定されるものではなく、複数の補間処理を重ねて実
行することも可能であり、その一例として、請求項３に
かかる発明は、請求項１に記載の画像データ補間方法に
おいて、上記色調対応画素補間工程では、シャープさに
影響を与える複数の補間処理を重ねて実行するとともに
各処理で負担する補間倍率を調整して所望のシャープさ
とする構成としてある。

【００１２】上記のように構成した請求項３にかかる発
明においては、シャープさに影響を与える複数の補間処
理を重ねて実行することとし、さらに、各処理で負担す
る補間倍率を調整して所望のシャープさとしている。例
えば、シャープさの強調度が大きい第一の補間処理と、
シャープさの強調度が小さい第二の補間処理とを実行し
て、最終的に６倍の補間処理を実現しようとするとき、
第一の補間処理で２倍の補間処理を実行しつつ第二の補
間処理で３倍の補間処理を実行するのと、第一の補間処
理で３倍の補間処理を実行しつつ第二の補間処理で２倍
の補間処理を実行するのとでは最終的なシャープさには
差が出てくる。従って、かかる負担割合の相違によって
所定の色調に対して最適なシャープさとなるように調整
する。

【００１３】この場合の具体例としては、第一の補間処
理としてキュービック法を採用し、第二の補間処理とし
てバイリニア法を利用するというようにして実現可能で
ある。また、一つの補間処理であっても、パラメータの
与え方などによってシャープさに影響を及ぼすようにす
ることも可能であり、その一例として、請求項４にかか
る発明は、請求項１〜請求項３のいずれかに記載の画像
データ補間方法において、上記色調対応画素補間工程で
は、パラメータによってシャープさに対する影響度が異
なる補間処理を実行するとともにこのパラメータを調整
して所望のシャープさとなるように構成してある。

【００１４】上記のように構成した請求項４にかかる発
明においては、上記色調対応画素補間工程で実行する補
間処理がパラメータによってシャープさに対する影響度
が異なるものであるから、このパラメータを調整するこ
とにより、シャープさは所望のものとなる。すなわち、
シャープにしたい色調の場合にはシャープにするパラメ
ータを与え、シャープにしたくない色調の場合にはあえ
てぼけやすくして滑らかになるようなパラメータを与え
る。

【００１５】特定の色調がシャープさとの関係でどのよ
うな結果を得ることになるのかは適宜設定することが可
能であり、その一例として、請求項５にかかる発明は、
請求項１〜請求項４のいずれかに記載の画像データ補間
方法において、上記色調対応画素補間工程では、ざらつ
いた感じが好まれない色領域に対して画像を滑らかな感
じにする補間処理を実行する構成としてある。また、請
求項６にかかる発明は、請求項５に記載の画像データ補
間方法において、上記色調対応画素補間工程では、肌色
の色領域の画像を滑らかな感じにする構成としてある。

【００１６】さらに、請求項７にかかる発明は、請求項
５または請求項６のいずれかに記載の画像データ補間方
法において、上記色調対応画素補間工程では、青空の色
領域の画像を滑らかな感じにする構成としてある。上述
したように肌色の部分は人体であることが多く、画像を
見るものも自ずからその部分に注目する。従って、シャ
ープすぎるとざらついた感じが明らかになり、目障りに
なるが、肌色の色調であれば滑らかな感じとなるような
補間処理を実行するので、人体部分でざらつきが生じる
ことが無くなる。

【００１７】また、同様に屋外の写真であれば青空が大
きな面積を占めていることも多いが、このような青空の
部分もざらつきが目立ちやすい対象であり、また、少々
シャープでないことは何ら支障もない。従って、青空の
色領域であれば画像を滑らかな感じにする。ところで、
新たに補間される画素の色調に基づいて補間処理を選択
するといっても補間される画素の色調を決定するのは既
存の画素であり、既存の画素の色調を基準としてもよい
ことは当然である。その場合の手法の一例として、請求
項８にかかる発明は、請求項１〜請求項７のいずれかに
記載の画像データ補間方法において、上記色調対応画素
補間工程では、補間画素を生成するに必要な領域画素の
平均的な色調に基づいて補間処理を判断する構成してあ
る。

【００１８】上記のように構成した請求項８にかかる発
明においては、補間画素を生成するに必要な領域があ
り、この領域内の画素の色調が補間画素を生成すること
になるのであるから、当該領域画素の平均的な色調に基
づいて補間処理を判断する。ここでいう平均的な色調は
必ずしも平均値だけに限定されるものではなく、メジア
ンであっても良いし、画素の位置に依存する影響度合い
に基づいて重み付けした値を採用することもできる。

【００１９】また、補間処理を選択するだけの意味合い
であるとすると、必ずしも厳密に領域画素を判断する必
要はない。そのような意味で、請求項９にかかる発明
は、請求項１〜請求項７のいずれかに記載の画像データ
補間方法において、上記色調対応画素補間工程では、注
目画素を決めて画像データを走査しながら補間処理を実
行するとともに、その注目画素の色調に基づいて補間処
理を判断する構成としてある。

【００２０】上記のように構成した請求項９にかかる発
明においては、一つの注目画素を決めて画像データ中を
順次移動させることにより全体を走査していく。このよ
うな注目画素である一画素の色調に基づいて補間処理を
判断することにより、平均値を求めるなどの別個の処理
の必要性がなくなる。ところで、色調と補間処理との対
応は必ずしも固定的なものではなく、色調に基づいてシ
ャープさを適宜調整するものであっても良い。例えば、
ある色調の領域についてその内外だけの判断で補間処理
を切り換えるだけでなく、境界部分では順次シャープさ
を増減させていくようにしても良い。

【００２１】また、このような対応関係はユーザーによ
って追加したり削除するということも当然に可能であ
り、請求項１０にかかる発明は、請求項１〜請求項９の
いずれかに記載の画像データ補間方法において、上記色
調対応画素補間工程では、色領域と実行する補間処理と
の対応付けを指定可能とした構成としてある。このよう
な指定はコンピュータのプログラムであれば個別の指定
操作用プログラムであっても良いし、プリンタドライバ
などでの設定の一操作というようにして具体化すること
も可能である。

【００２２】なお、画像データを入出力する画像データ
取得工程や画像データ出力工程は、画像データをアクセ
スする上で必然的に行われるものであるが、必ずしも外
部機器との間でのアクセスに限られるものではなく、全
体として一連の処理を実現する中で本発明が一部として
適用される場合もあり、このような場合に前後の工程と
の間で画像データを受け渡す処理として実現されること
も当然に含まれる。また、一連の処理がまとまって行わ
れる場合に限らず、いくつかの処理が並列して処理され
る場合においても実質的な意味で色調に基づいて補間処
理が選択されているのであれば本発明が適用されている
ものといえる。

【００２３】このように、補間される画素の色調に基づ
いて所定の補間処理を選択して実行すると、その色調に
対応したシャープさとなるように画素が補間されるよう
にする手法は実体のある装置において実現され、その意
味で本発明を実体のある装置としても適用可能であるこ
とは容易に理解できる。このため、請求項１１にかかる
発明は、カラーの自然画像をドットマトリクス状の画素
で表現した画像データを取得する画像データ取得手段
と、シャープさに影響を与える複数の補間処理を前提と
して色調によって適度なシャープさとなるような色調と
補間処理との対応関係を取得する補間処理選択基準取得
手段と、補間される画素の色調に基づいて上記補間処理
選択基準取得工程にて対応する補間処理を取得して実行
する画素補間手段と補間された画像データを出力する画
像データ出力手段とを具備する構成としてある。

【００２４】すなわち、実体のある装置としても有効で
あることに相違はない。このような画像データ補間装置
は単独で実施される場合もあるし、ある機器に組み込ま
れた状態で他の方法とともに実施されることもあるな
ど、発明の思想としてはこれに限らず、各種の態様を含
むものである。従って、ソフトウェアであったりハード
ウェアであったりするなど、適宜、変更可能である。発
明の思想の具現化例として画像データ補間方法を実施す
るソフトウェアとなる場合には、かかるソフトウェアを
記録した記録媒体上においても当然に存在し、利用され
るといわざるをえない。

【００２５】その一例として、請求項１２にかかる発明
は、カラーの自然画像をドットマトリクス状の画素で表
現した画像データに基づいてコンピュータにて画素補間
する画像データ補間プログラムを記録した媒体であっ
て、上記画像データを取得する画像データ取得ステップ
と、シャープさに影響を与える複数の補間処理を前提と
して色調によって適度なシャープさとなるような色調と
補間処理とを対応づけるとともに、補間される画素の色
調に基づいてこの対応関係から選択される所定の補間処
理を実行する色調対応画素補間ステップと、補間された
画像データを出力する画像データ出力ステップとを具備
する構成としてある。

【００２６】むろん、その記録媒体は、磁気記録媒体で
あってもよいし光磁気記録媒体であってもよいし、今後
開発されるいかなる記録媒体においても全く同様に考え
ることができる。また、一次複製品、二次複製品などの
複製段階については全く問う余地無く同等である。その
他、供給方法として通信回線を利用して行なう場合でも
本発明が利用されていることにはかわりない。さらに、
一部がソフトウェアであって、一部がハードウェアで実
現されている場合においても発明の思想において全く異
なるものではなく、一部を記録媒体上に記憶しておいて
必要に応じて適宜読み込まれるような形態のものとして
あってもよい。

【００２７】

【発明の効果】以上説明したように本発明は、色調を参
照して補間処理を選択することにより画像全体としては
シャープにしつつも部分に応じて適度にシャープさを調
整し、良好な画像を得ることが可能な画像データ補間方
法を提供することができる。また、請求項２にかかる発
明によれば、予め対応づけられた補間処理を取得する具
体的な手法を提供することができる。さらに、請求項３
にかかる発明によれば、複数の補間処理を重ねて実行す
るような場合に、その負担割合を変えるだけで調整でき
るようになる。

【００２８】さらに、請求項４にかかる発明によれば、
パラメータで調整可能な補間処理を実行している場合に
そのパラメータを変更するだけで画質を向上させること
ができる。さらに、請求項５にかかる発明によれば、一
般的な意味でざらつきのない画像を提供することがで
き、請求項６にかかる発明によれば、それが肌色部分に
おいて改善され、請求項７にかかる発明によれば、青空
の部分において改善される。

【００２９】さらに、請求項８にかかる発明によれば、
補間画素を生成する領域画素に基づいて選択するため、
正確な判定が可能となる。さらに、請求項９にかかる発
明によれば、注目画素という一画素に基づいて選択する
ため、判断の処理が簡易になる。さらに、請求項１０に
かかる発明によれば、対応関係を設定できるため、ユー
ザーが最も満足のいく画質とすることができる。

【００３０】

【発明の実施の形態】図１は、本発明の画像データ補間
方法をフローチャートにより示しており、図２はこの画
像データ補間方法を実行するコンピュータシステム１０
をブロック図により示している。

【００３１】本コンピュータシステム１０は、画像入力
デバイスとして、スキャナ１１ａとデジタルスチルカメ
ラ１１ｂとビデオカメラ１１ｃとを備えており、コンピ
ュータ本体１２に接続されている。それぞれの入力デバ
イスは画像をドットマトリクス状の画素で表現した画像
データを生成してコンピュータ本体１２に出力可能とな
っており、ここで同画像データはＲＧＢの三原色におい
てそれぞれ２５６階調表示することにより、約１６７０
万色を表現可能となっている。

【００３２】コンピュータ本体１２には、外部補助記憶
装置としてのフロッピーディスクドライブ１３ａとハー
ドディスク１３ｂとＣＤ−ＲＯＭドライブ１３ｃとが接
続されており、ハードディスク１３ｂにはシステム関連
の主要プログラムが記録されており、フロッピーディス
クやＣＤ−ＲＯＭなどから適宜必要なプログラムなどを
読み込み可能となっている。また、コンピュータ本体１
２を外部のネットワークなどに接続するための通信デバ
イスとしてモデム１４ａが接続されており、外部のネッ
トワークに同公衆通信回線を介して接続し、ソフトウェ
アやデータをダウンロードして導入可能となっている。
この例ではモデム１４ａにて電話回線を介して外部にア
クセスするようにしているが、ＬＡＮアダプタを介して
ネットワークに対してアクセスする構成とすることも可
能である。この他、コンピュータ本体１２の操作用にキ
ーボード１５ａやマウス１５ｂも接続されている。

【００３３】さらに、画像出力デバイスとして、ディス
プレイ１７ａとカラープリンタ１７ｂとを備えている。
ディスプレイ１７ａについては水平方向に８００画素と
垂直方向に６００画素の表示エリアを備えており、各画
素毎に上述した１６７０万色の表示が可能となってい
る。むろん、この解像度は一例に過ぎず、６４０×４８
０画素であったり、１０２４×７６８画素であるなど、
適宜、変更可能である。

【００３４】また、カラープリンタ１７ｂはインクジェ
ットプリンタであり、ＣＭＹＫの四色の色インクを用い
て記録媒体たる印刷用紙上にドットを付して画像を印刷
可能となっている。画像密度は３６０×３６０ＤＰＩや
７２０×７２０ＤＰＩといった高密度印刷が可能となっ
ているが、諧調表限については色インクを付すか否かと
いった２階調表現となっている。一方、このような画像
入力デバイスを使用して画像を入力しつつ、画像出力デ
バイスに表示あるいは出力するため、コンピュータ本体
１２内では所定のプログラムが実行されることになる。
そのうち、基本プログラムとして稼働しているのはオペ
レーティングシステム（ＯＳ）１２ａであり、このオペ
レーティングシステム１２ａにはディスプレイ１７ａで
の表示を行わせるディスプレイドライバ（ＤＳＰ ＤＲ
Ｖ）１２ｂとカラープリンタ１７ｂに印刷出力を行わせ
るプリンタドライバ（ＰＲＴ ＤＲＶ）１２ｃが組み込
まれている。これらのドライバ１２ｂ，１２ｃの類はデ
ィスプレイ１７ａやカラープリンタ１７ｂの機種に依存
しており、それぞれの機種に応じてオペレーティングシ
ステム１２ａに対して追加変更可能である。また、機種
に依存して標準処理以上の付加機能を実現することもで
きるようになっている。すなわち、オペレーティングシ
ステム１２ａという標準システム上で共通化した処理体
系を維持しつつ、許容される範囲内での各種の追加的処
理を実現できる。

【００３５】この基本プログラムとしてのオペレーティ
ングシステム１２ａ上でアプリケーション１２ｄが実行
される。アプリケーション１２ｄの処理内容は様々であ
り、操作デバイスとしてのキーボード１５ａやマウス１
５ｂの操作を監視し、操作された場合には各種の外部機
器を適切に制御して対応する演算処理などを実行し、さ
らには、処理結果をディスプレイ１７ａに表示したり、
カラープリンタ１７ｂに出力したりすることになる。

【００３６】かかるコンピュータシステム１０では、画
像入力デバイスであるスキャナ１１ａなどで画像データ
を取得し、アプリケーション１２ｄによる所定の画像処
理を実行した後、画像出力デバイスとしてのディスプレ
イ１７ａやカラープリンタ１７ｂに表示出力することが
可能である。この場合、単に画素同士の対応に着目する
と、カラープリンタ１７ｂにおける画素密度とスキャナ
１１ａの画素密度が一致する場合にはスキャンした元画
像の大きさと印刷される画像の大きさとが一致するが、
両者にずれがあれば画像の大きさが異なることになる。
スキャナ１１ａの場合はカラープリンタ１７ｂの画素密
度と近似するものも多いが、高画質化のために画素密度
の向上が図られているカラープリンタ１７ｂの画素密度
の方が一般的な画像入力デバイスにおける画素密度より
も高密度であることが多い。特に、ディスプレイ１７ａ
の表示密度と比較すると各段に高密度であり、ディスプ
レイ１７ａ上での表示を画素単位で一致させて印刷させ
るとなると極めて小さな画像になりかねない。

【００３７】このため、オペレーティングシステム１２
ａで基準となる画素密度を決定しつつ実際のデバイスご
との画素密度の相違を解消するために解像度変換が実施
される。例えば、ディスプレイ１７ａの解像度が７２Ｄ
ＰＩであるとするときに、オペレーティングシステム１
２ａで３６０ＤＰＩを基準とするならば、ディスプレイ
ドライバ１２ｂが両者の間の解像度変換を実施する。ま
た、同様の状況でカラープリンタ１７ｂの解像度が７２
０ＤＰＩであればプリンタドライバ１２ｃが解像度変換
を実施する。

【００３８】解像度変換は画像データにおける構成画素
数を増やす処理にあたるので補間処理に該当し、これら
のディスプレイドライバ１２ｂやプリンタドライバ１２
ｃがその機能の一つとして補間処理を実施する。ここに
おいて、ディスプレイドライバ１２ｂやプリンタドライ
バ１２ｃは上述した色調対応画素補間工程Ａ２を実現す
る主体となるものであり、その入出力過程は画像データ
取得工程Ａ１や画像データ出力工程Ａ３を実現し、以下
に詳述するように色調に応じて解像度変換の手法を適宜
変更して画質の向上を図るようにしている。なお、かか
るディスプレイドライバ１２ｂやプリンタドライバ１２
ｃは、ハードディスク１３ｂに記憶されており、起動時
にコンピュータ本体１２にて読み込まれて稼働する。ま
た、導入時にはＣＤ−ＲＯＭであるとかフロッピーディ
スクなどの媒体に記録されてインストールされる。従っ
て、これらの媒体は画像データ補間プログラムを記録し
た媒体を構成する。

【００３９】本実施形態においては、画像データ補間装
置をコンピュータシステム１０として実現しているが、
必ずしもかかるコンピュータシステムを必要とするわけ
ではなく、同様の画像データに対して補間処理が必要な
システムであればよい。例えば、図３に示すようにデジ
タルスチルカメラ１１ｂ１内に補間処理する画像データ
補間装置を組み込み、補間処理した画像データを用いて
ディスプレイ１７ａ１に表示させたりカラープリンタ１
７ｂ１に印字させるようなシステムであっても良い。ま
た、図４に示すように、コンピュータシステムを介する
ことなく画像データを入力して印刷するカラープリンタ
１７ｂ２においては、スキャナ１１ａ２やデジタルスチ
ルカメラ１１ｂ２あるいはモデム１４ａ２等を介して入
力される画像データについて自動的に解像度変換を行っ
て印刷処理するように構成することも可能である。

【００４０】この他、図５に示すようなカラーファクシ
ミリ装置１８ａや図６に示すようなカラーコピー装置１
８ｂといった画像データを扱う各種の装置においても当
然に適用可能である。図１に示すフローチャートはあく
までも大概念での手順であり、実際のプログラムにおい
ては必ずしもこのように明確に分離されている必要はな
い。図７は、上述したプリンタドライバ１２ｃが実行す
る解像度変換に関連するソフトウェアフローを示してい
る。なお、ディスプレイドライバ１２ｂにおいても同様
に実行可能であるが、処理速度を優先させるなどの場合
にはディスプレイドライバ１２ｂにおいて実行する必要
がない場合もある。

【００４１】ステップ１００は元画像データを入力す
る。アプリケーション１２ｄにてスキャナ１１ａから画
像を読み込み、所定の画像処理を行った後で印刷処理す
ると、所定の解像度の印刷データがオペレーティングシ
ステム１２ａを介してプリンタドライバ１２ｃに引き渡
されるため、この引渡の段階が該当する。むろん、スキ
ャナ１１ａにて画像を読み込むものであってもよく、い
ずれにしても当該処理が元画像データ取得工程Ａ１に該
当する。

【００４２】この読み込んだ画像データに基づいて全画
像を走査し、その過程で画素補間処理を実行する。その
意味で、ステップ１０５では注目ブロックの初期位置を
設定する。そして、ステップ１１０以下では、図８に示
すように画像の水平方向（ｗｉｄｔｈ方向）に主走査し
ながら順次走査ラインを垂直方向（ｈｅｉｇｈｔ方向）
に移動させて副走査を実行していくことになる。画素補
間処理はある一定の範囲の画素に基づいて画素を補間し
ていくことになるため、本実施形態においては図９に示
すような４×４画素の領域を１ブロックとし、一画素単
位でこのブロックを移動させていく。この際の処理の対
象ブロックを注目ブロックと呼んでいる。

【００４３】ステップ１１０ではこの注目ブロックを対
象として処理を進行させていく上で、まず、当該注目ブ
ロックに基づいて補間生成されていく画素の色度と輝度
を計算する。輝度Ｙは、 Ｙ＝３．０Ｒ＋０．５９Ｇ＋０．１１Ｂ として計算され、色度は、 ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ） ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ） として表される。ここで、注目領域は１６画素から構成
されており、この場合の上記計算は、全画素についての
平均値を求めるようにしてもよいし、内周側の４画素に
ついての平均値を求めるようにしても良いし、さらには
内周側の４画素における特定の一画素について求めるよ
うにしても良い。複数画素から平均値を求める手法は補
間されて生成される画素の目安として妥当であるが、平
均値を求める分だけの演算が増えることになる。これに
対して、一画素を代表させたとしても補間される画素が
大きくずれることは起こりにくいことを考えれば演算量
を低減させるメリットがある。なお、複数画素から代表
値を求める際には平均値に限られるものではなく、メジ
アンを代表値とするなど各種の演算手法を採用して構わ
ない。

【００４４】図１０は人間の肌を表す画像データのサン
プリング結果を示している。すなわち、左側の三つのデ
ータは肌を構成する画素の（Ｒ，Ｇ，Ｂ）の値であり、
その右方に（Ｒ＋Ｇ＋Ｂ）の合計（ｓｕｍ＿ｒｇｂ）を
示し、その右方に上記計算に基づく色度ｒ，ｂと輝度Ｙ
とを示している。また、図１１は各画素についてｒｂ空
間にプロットした場合のグラフを示している。同図に示
すように、ＲＧＢデータとしては統一性を見出しにくい
ようでも、色度としてグラフにプロットしてみると規則
性があることが見出される。すなわち、人の肌であれば
暗く写っているときも明るく写っているときもあり得る
が、それにもかかわらず、図１１に示すように直線状に
分布しているのである。同図に示す直線状の分布は、 Ｙ＞１２８ ０．３３＜ｒ＜０．５１ ｜０．７４ｒ＋ｂ−０．５７｜＜０．１ なる関係式が成立しているといえるから、上記のような
注目ブロックの代表値についてこの関係式に当てはめて
成立すれば当該注目ブロックは肌色領域に属するものと
いえる。この判定がステップ１１５の肌色領域か否かの
判断に相当する。

【００４５】また、図１２は同様にして青空を表す画像
データのサンプリング結果を示しており、この場合は肌
色の場合よりも変動幅が大きいことを考慮すると、 Ｙ＞１２８ ０．１７＜ｒ＜０．３０ ｜１．１１ｒ＋ｂ−０．７０｜＜０．２ なる関係式が成立しているといえる。従って、ステップ
１１５にて肌色領域でないと判断された場合にはステッ
プ１２０にてこの関係式が成立しているか否かを判断す
る。

【００４６】ステップ１１０〜ステップ１２０によって
肌色や空色の領域であるか否かが分かるが、これらは補
間結果があまりシャープでない方が好まれる画像の一例
である。例えば、人の顔が大きく写っているときには画
像がシャープになることによってざらつき感が生じるこ
とになり、好ましくない。また、青空についても多少の
色の変化があるにしてもその変化をシャープにしてとげ
とげしく見せるよりも、却ってぼけてしまうくらいの方
が好ましい。このような好みの要素に鑑みて、ステップ
１１５とステップ１２０の分岐処理を経て一般的には画
像をシャープにする補間処理を実行しつつ、肌色や空色
の場合に限って画像をわずかにぼけた感じにする補間処
理を実行することにしている。

【００４７】前者の補間処理はＭキュービック法を採用
し、後者の補間処理はバイリニア法を採用している。こ
こで、これらの補間処理について説明する。補間処理の
うちで最もシンプルなものはニアリスト法の補間処理で
あり、図１４に示すように周囲の四つの格子点Ｐｉｊ，
Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１と内挿したい
点Ｐｕｖとの距離を求め、もっとも近い格子点のデータ
をそのまま移行させる。これを一般式で表すと、 Ｐｕｖ＝Ｐｉｊ となる。ここで、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．
５］である。なお、［］はガウス記号で整数部分を取る
ことを示している。

【００４８】ニアリスト法においては、画像のエッジが
そのまま保持される特徴を有するため、拡大すればジャ
ギーが目立つもののエッジはエッジとして保持される。
一方、写真のような自然画に適する一方で演算処理量が
大きい補間処理が、キュービック法の補間処理である。
キュービック法は図１５に示すように、内挿したい点Ｐ
ｕｖを取り囲む四つの格子点のみならず、その一周り外
周の格子点を含む計１６の格子点のデータを利用する。
３次たたみ込み関数を用いた一般式は次式のようにな
る。

【数１】 となる。これをＰについて展開すると、

【数２】 となる。なお、

【数３】 と置換可能である。

【００４９】このキュービック法では一方の格子点から
他方の格子点へと近づくにつれて徐々に変化していき、
その変化具合がいわゆる３次関数的になるという特徴を
有している。キュービック法によれば３次関数的に表せ
る以上、そのカーブの形状を調整することによって補間
結果の品質を左右することができる。その調整の一例と
して、

【数４】 としたものをＭキュービック法と呼ぶことにする。

【００５０】図１６にはＭキュービック法とキュービッ
ク法とにおける補間関数ｆ（ｔ）を示している。同図に
おいて、横軸に位置を示し、縦軸に補間関数を示してい
る。ｔ＝０、ｔ＝１、ｔ＝２の位置に格子点が存在し、
内挿点はｔ＝０〜１の位置となる。キュービック法とＭ
キュービック法とを比較すると、Ｍキュービック法の方
が３次関数的なカーブがわずかに急峻となり、画像全体
のイメージがよりシャープとなる。

【００５１】次に、バイリニア法（共１次内挿法）の補
間手法を説明すると、図１６に示すように、一方の格子
点から他方の格子点へと近づくにつれて徐々に変化して
いく点でキュービック法と共通するが、その変化が両側
の格子点のデータだけに依存する一次関数的となってい
る。すなわち、図１４に示すように内挿したい点Ｐｕｖ
を取り囲む四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋
１，Ｐｉ＋１ｊ＋１で区画される領域を当該内挿点Ｐｕ
ｖで四つの区画に分割し、その面積比で対角位置のデー
タに重み付けする。これを式で表すと、 Ｐ＝｛（ｉ＋１）−ｕ｝｛（ｊ＋１）−ｖ｝Ｐｉｊ＋
｛（ｉ＋１）−ｕ｝｛ｖ−ｊ｝Ｐｉｊ＋１＋｛ｕ−ｉ
｝｛（ｊ＋１）−ｖ｝Ｐｉ＋１ｊ＋｛ｕ−ｉ
｝｛ｖ−ｊ｝Ｐｉ＋１ｊ＋１ となる。なお、ｉ＝［ｕ］、ｊ＝［ｖ］である。

【００５２】キュービック法とバイリニア法では、その
変化状況が３次関数的であるか１次関数的であるかが異
なり、画像としてみたときの差異は大きい。バイリニア
法の場合、隣接する二点間（ｔ＝０〜１）で直線的に変
化するだけであるので境界をスムージングすることにな
り、画面の印象はぼやけてしまう。すなわち、角部のス
ムージングと異なり、境界がスムージングされると、コ
ンピュータグラフィックスでは、本来あるべき輪郭がな
くなってしまうし、写真においてはピントが甘くなって
しまう。

【００５３】このような差異があるので、上述したよう
に画像をシャープにさせたい領域においてステップ１２
５にてＭキュービック法を採用した画素補間を実行する
とともに、ざらつきを生じさせたくない領域においてス
テップ１３０にてバイリニア法を採用した画素補間を実
行することにより、領域ごとにシャープさを変化させて
好ましい画像を生じさせることになる。一つの注目ブロ
ック内で生成すべき画素を補間したら、ステップ１３５
にて全ブロックを終了したか判断し、終了していなけれ
ばステップ１４０にて注目ブロックを次のブロックへ移
動させるし、終了していればステップ１４５にて修整が
完了した画像データを出力する。むろん、この出力は単
にデータを所定のエリアに保存した状態で次の工程に受
け渡すというだけのものであっても構わない。

【００５４】ステップ１０５〜ステップ１４５の処理
は、画像の色調に応じて適度なシャープさとなる補間処
理を実行しているが、その前提としてステップ１１５と
ステップ１２０とで肌色の色調と空色の色調についてバ
イリニア法の補間処理を実行するように対応づけられて
いるし、他の色調についてはステップ１２５にてＭキュ
ービック法の補間処理を実行するように対応づけられて
いる。そして、この対応付けによってステップ１２５と
ステップ１３０とで対応すべき所定の補間処理を実行す
るので、かかる対応付け及び補間処理の実行が色調対応
画素補間工程Ａ２を構成しているといえる。

【００５５】この例では、色調の判断がそのまま補間処
理の選択に直結しているが、その実現手法はソフトウェ
アの変更によって簡単に可能となる。例えば、ステップ
１１５やステップ１２０で色調を判断することによって
対応関係のある補間処理を特定し、次のステップで特定
結果を参照して対応する補間処理を実行するという処理
を行うことにしても結果は変わらない。一方、同じ３次
関数による補間処理であってもキュービック法とＭキュ
ービック法とでシャープさが異なるのは図１６からも明
らかである。すなわち、３次たたみ込み内挿法の画素補
間であればパラメータの与え方によって補間曲線の特徴
を適宜変更できるから、図１７に示すようにしてＳ字カ
ーブの形状を変化させてやればシャープにしたり滑らか
にしたりということを設定できる。

【００５６】図１８はこのようにパラメータを変化させ
て補間処理結果を制御する手法を示しており、ステップ
２１５にて肌色の領域であると判断されると、ステップ
２２３で肌色用のパラメータを、ステップ２２０にて空
色の領域であると判断されるとステップ２２２で空色用
のパラメータをセットすることとし、これら以外の時に
ステップ２２５にてデフォルトのパラメータをセットす
る。すなわち、ステップ２２５ではＭキュービック法を
実行するパラメータをセットし、ステップ２２２とステ
ップ２２３ではキュービック法を実行するパラメータを
セットした上、ステップ２２６ではパラメータに応じた
３次たたみ込み内挿法で画素補間を実行している。

【００５７】この例では肌色領域であるか否か、あるい
は空色領域であるか否かというように場合分けして補間
処理を区別しているが、パラメータによってシャープさ
を徐々に変化させられるという場合には、肌色領域から
の離れ具合いや空色領域からの離れ具合によってシャー
プさを増減させるということも可能である。また、シャ
ープさを徐々に変化させうる手法は一つの補間処理に対
してパラメータを与えるというものだけではなく、それ
ぞれシャープさの異なる複数の補間処理を重ねて実行す
る場合に、それぞれの補間倍率の負担を変化させること
も可能である。図１９はこれを具体的に示しており、左
方に元画像Ｐ１を示し、右方に最終的な拡大画像Ｐ２を
示している。この場合の拡大率を（Ｐ２／Ｐ１）で表す
ものとし、補間処理はシャープさの異なる二つの補間処
理を実行するものとする。この場合に第１段階の補間処
理について拡大率α１，α２とするとともに、第２段階
の補間処理について拡大率β１，β２とすると、 Ｐ２／Ｐ１＝α１×β１＝α２×β２ なる関係を維持してα１，α２，β１，β２の組み合わ
せを適宜変化させることができる。むろん、この補間倍
率の負担割合の変化は画像におけるシャープさとなって
影響を与えるから、肌色領域や空色領域の場合に滑らか
になる補間処理の負担割合が大きくなるようにするし、
そうでない色調の領域についてはシャープになる補間処
理の負担割合が大きくなるようにすればよい。

【００５８】図２０においてステップ３２１〜ステップ
３２３では、このような観点から第１段階の補間処理で
あるＭキュービック法の補間倍率と第２段階の補間処理
であるバイリニア法の補間倍率とを決定しておき、その
決定結果を参照してステップ３２７ではＭキュービック
法で第一段階の補間処理を実行し、ステップ３２８では
バイリニア法で残りの第二段階の補間処理を実行する。
このようにして最終的な補間倍率は一定としつつも、そ
の過程の負担割合を変化させることによって画質の調整
を図ることができる。

【００５９】ところで、この例では肌色領域や空色領域
については必ず滑らかにさせるような指示を与えている
が、空色の部分はあるが青空ではなく特定の物の色であ
る場合も考えられるし、肌色ではあるが人の肌ではなく
特定の他の物の色である場合も考えられる。そして、こ
の場合には必ず滑らかにする補間処理を実行してしまう
というのでは融通性に欠けるともいえる。従って、図７
に示すステップ１０７にて、図２１に示すような設定画
面を利用して、ユーザーに対応関係を選択させるように
しても良い。この設定画面では、マウス１５ｂを操作し
て肌色のざらつきを防止するか否かを選択したり、空色
のざらつきを防止するか否かを選択する。そして、図２
２に示すようにステップ１１５にて肌色領域であるか判
断する前にステップ１１４にて上記オプションが選択さ
れているか否かを参照し、肌色のざらつきを防止するよ
うに選択しているときにステップ１１５の判断を実行す
る。また、同様にしてステップ１２０にて空色領域であ
るか判断する前にステップ１１７にて上記オプションが
選択されているか否かを参照し、空色のざらつきを防止
するように選択しているときにステップ１２０の判断を
実行する。

【００６０】むろん、これら以外にも別の色調について
ざらつき防止を選択できるようにしておくことも可能で
あるし、また、滑らかさやシャープさの程度を選択でき
るようにしても良い。このように、カラーの自然画像を
ドットマトリクス状の画素で表現した画像データを補間
する際に、画素を補間生成するために参照する領域であ
る注目ブロックについて色度の代表値を取得し（ステッ
プ１１０）、当該色度から肌色領域や空色領域であると
判断すると（ステップ１１５，１２０）、バイリニア法
で画素補間する（ステップ１３０）ので滑らかに拡大さ
れるし、そうでない色調の領域についてはＭキュービッ
ク法で画素補間する（ステップ１２５）のでシャープに
拡大されることになり、画像全体としてはシャープさを
維持しつつ人の肌や青空の部分がざらついたりすること
を防止できる。

【図面の簡単な説明】

【図１】本発明の一実施形態にかかる画像データ補間方
法の概略フローチャートである。

【図２】同画像データ補間方法を実行する画像データ補
間装置としてのコンピュータシステムのブロック図であ
る。

【図３】本発明の画像データ補間方法の他の適用例を示
す概略ブロック図である。

【図４】本発明の画像データ補間方法の他の適用例を示
す概略ブロック図である。

【図５】本発明の画像データ補間方法の他の適用例を示
す概略ブロック図である。

【図６】本発明の画像データ補間方法の他の適用例を示
す概略ブロック図である。

【図７】コンピュータシステムで実行する画像データ補
間方法のフローチャートである。

【図８】ドットマトリクス状の画像で注目画素を移動さ
せていく状況を示す図である。

【図９】注目ブロックとなる画素領域を示す図である。

【図１０】肌色の画素の画像データと色度と輝度を示す
図である。

【図１１】肌色の画素を色度のグラフで示す図である。

【図１２】空色の画素の画像データと色度と輝度を示す
図である。

【図１３】空色の画素を色度のグラフで示す図である。

【図１４】基本的な画素補間で生成される画素を示す図
である。

【図１５】キュービック法の画素補間手法を示す図であ
る。

【図１６】画素補間で利用する補間関数の変化を示す図
である。

【図１７】３次補間関数でシャープさを調整する手法を
示す図である。

【図１８】３次補間関数のパラメータを調整してシャー
プさを調整するフローチャートである。

【図１９】二つの補間手法を利用しつつ補間倍率の負担
割合を変えてシャープさを調整する手法を示す図であ
る。

【図２０】補間倍率の負担割合を変えてシャープさを調
整するフローチャートである。

【図２１】色調対応補間処理のオプション画面を示す図
である。

【図２２】色調対応補間処理のオプションに対応するフ
ローチャートの一部である。

【符号の説明】

１０…コンピュータシステム １１ａ…スキャナ １１ａ２…スキャナ １１ｂ…デジタルスチルカメラ １１ｂ１…デジタルスチルカメラ １１ｂ２…デジタルスチルカメラ １１ｃ…ビデオカメラ １２…コンピュータ本体 １２ａ…オペレーティングシステム １２ｂ…ディスプレイドライバ １２ｂ…ドライバ １２ｃ…プリンタドライバ １２ｄ…アプリケーション １３ａ…フロッピーディスクドライブ １３ｂ…ハードディスク １３ｃ…ＣＤ−ＲＯＭドライブ １４ａ…モデム １４ａ２…モデム １５ａ…キーボード １５ｂ…マウス １７ａ…ディスプレイ １７ａ１…ディスプレイ １７ｂ…カラープリンタ １７ｂ１…カラープリンタ １７ｂ２…カラープリンタ １８ａ…カラーファクシミリ装置 １８ｂ…カラーコピー装置

フロントページの続き Ｆターム(参考） 5B057 AA11 BA24 BA25 CA01 CC03 CD06 CE03 CE17 CH03 DB06 DC16 DC25 5C076 AA13 AA21 AA31 BA02 BA04 BB04 BB25 CA08 CB04 5C082 AA01 AA27 AA32 BA20 BA34 BA35 BB15 CA21 CA22 CA33 CB01 CB06 DA87 MM05 MM10

Claims (12)

【特許請求の範囲】
1. 【請求項１】 カラーの自然画像をドットマトリクス状
   の画素で表現した画像データを取得する画像データ取得
   工程と、 シャープさに影響を与える複数の補間処理を前提として
   色調によって適度なシャープさとなるような色調と補間
   処理とを対応づけるとともに、補間される画素の色調に
   基づいてこの対応関係から選択される所定の補間処理を
   実行する色調対応画素補間工程と、 補間された画像データを出力する画像データ出力工程と
   を実行することを特徴とする画像データ補間方法。
2. 【請求項２】 上記請求項１に記載の画像データ補間方
   法において、上記色調対応画素補間工程では、 シャープさに影響を与える複数の補間処理を前提として
   色調によって適度なシャープさとなるような色調と補間
   処理との対応関係を取得する補間処理選択基準取得工程
   と、 補間される画素の色調に基づいて上記補間処理選択基準
   取得工程にて対応する補間処理を取得して実行する画素
   補間工程とを実行することを特徴とする画像データ補間
   方法。
3. 【請求項３】 上記請求項１または請求項２のいずれか
   に記載の画像データ補間方法において、上記色調対応画
   素補間工程では、シャープさに影響を与える複数の補間
   処理を重ねて実行するとともに各処理で負担する補間倍
   率を調整して所望のシャープさとすることを特徴とする
   画像データ補間方法。
4. 【請求項４】 上記請求項１〜請求項３のいずれかに記
   載の画像データ補間方法において、上記色調対応画素補
   間工程では、パラメータによってシャープさに対する影
   響度が異なる補間処理を実行するとともにこのパラメー
   タを調整して所望のシャープさとなるようにすることを
   特徴とする画像データ補間方法。
5. 【請求項５】 上記請求項１〜請求項４のいずれかに記
   載の画像データ補間方法において、上記色調対応画素補
   間工程では、ざらついた感じが好まれない色領域に対し
   て画像を滑らかな感じにする補間処理を実行することを
   特徴とする画像データ補間方法。
6. 【請求項６】 上記請求項５に記載の画像データ補間方
   法において、上記色調対応画素補間工程では、肌色の色
   領域の画像を滑らかな感じにすることを特徴とする画像
   データ補間方法。
7. 【請求項７】 上記請求項５または請求項６のいずれか
   に記載の画像データ補間方法において、上記色調対応画
   素補間工程では、青空の色領域の画像を滑らかな感じに
   することを特徴とする画像データ補間方法。
8. 【請求項８】 上記請求項１〜請求項７のいずれかに記
   載の画像データ補間方法において、上記色調対応画素補
   間工程では、補間画素を生成するに必要な領域画素の平
   均的な色調に基づいて補間処理を判断することを特徴と
   する画像データ補間方法。
9. 【請求項９】 上記請求項１〜請求項７のいずれかに記
   載の画像データ補間方法において、上記色調対応画素補
   間工程では、注目画素を決めて画像データを走査しなが
   ら補間処理を実行するとともに、その注目画素の色調に
   基づいて補間処理を判断することを特徴とする画像デー
   タ補間方法。
10. 【請求項１０】 上記請求項１〜請求項９のいずれかに
    記載の画像データ補間方法において、上記色調対応画素
    補間工程では、色領域と実行する補間処理との対応付け
    を指定可能としていることを特徴とする画像データ補間
    方法。
11. 【請求項１１】 カラーの自然画像をドットマトリクス
    状の画素で表現した画像データを取得する画像データ取
    得手段と、 シャープさに影響を与える複数の補間処理を前提として
    色調によって適度なシャープさとなるような色調と補間
    処理との対応関係を取得する補間処理選択基準取得手段
    と、 補間される画素の色調に基づいて上記補間処理選択基準
    取得工程にて対応する補間処理を取得して実行する画素
    補間手段と補間された画像データを出力する画像データ
    出力手段とを具備することを特徴とする画像データ補間
    装置。
12. 【請求項１２】 カラーの自然画像をドットマトリクス
    状の画素で表現した画像データに基づいてコンピュータ
    にて画素補間する画像データ補間プログラムを記録した
    媒体であって、 上記画像データを取得する画像データ取得ステップと、 シャープさに影響を与える複数の補間処理を前提として
    色調によって適度なシャープさとなるような色調と補間
    処理とを対応づけるとともに、補間される画素の色調に
    基づいてこの対応関係から選択される所定の補間処理を
    実行する色調対応画素補間ステップと、 補間された画像データを出力する画像データ出力ステッ
    プとを具備することを特徴とする画像データ補間プログ
    ラムを記録した媒体。