JP2004303187A - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

Abstract

【課題】アンシャープマスクでは、色空間において、鮮鋭性を強調する方向が考慮されないため、表示画像の画質がノイズの影響により劣化する。また、強調の度合いは、明るさの変動や部分的なサチレーションの発生を抑制するため、高周波成分の重み付けによって制御されるが、高周波成分の重み付けの値は、強調処理の経験上で決めることになるため、処理方法が複雑になる課題がある。
【解決手段】入力された画像をディスプレイ１０３に表示する際に、入力画像に含まれる被写体の情報と、入力画像を表示するディスプレイの情報の少なくとも１つを用いてパラメータを決定し、決定したパラメータを用いて、色空間において主成分分析により得られた第１主成分軸上で色分布を制御し、更に、被写体のテクスチャのサイズを拡大して被写体に再マッピングすることで、入力画像を質感高く、見易く強調処理するものである。
【選択図】図１

Description

入力された画像を質感高く処理してディスプレイに表示する技術に関するものである。

近年、非対称ディジタル加入者線（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ：ＡＤＳＬ）や光ファイバなどの高速回線及びパーソナルコンピュータの一般家庭への急速な普及に伴い、インターネットを介したオンラインショッピングが非常に身近なものとなっている。

インターネットショッピングの利便性は、主に、多種多様な商品の中からの選択が手軽であり、自宅に居ながらにして注文から商品受け取りまでが可能なことである。販売する側から考えても、実際の店舗を所有する必要がなく、顧客対象が全世界に広がることなどが挙げられる。

しかし、インターネットショッピングは、ユーザが実物の商品をユーザの目で確認するができない。このため、多くの販売サイトでは、「写真は実物と異なる場合がございますので、ご了承下さい。」といった注意書きを載せているが、ユーザからの苦情や商品の返品が少なくない。このため、できる限り質感高い商品画像を、ユーザのディスプレイ上に表示することが望まれている。

また、ユーザが使用するディスプレイは、パーソナルコンピュータ等では、１７インチ程度、また、ＰＤＡや携帯電話では、数インチである。このような、携帯電話に表示する画像に対するサービスとして、出力先のディスプレイの特性に応じて、解像度変換、減色変換、フォーマット変換を行うものがある（例えば、非特許文献１参照）。

また、コンテンツ画像を携帯端末のように、解像度の低い画面に納まるように、縦横比を考慮して、画像を回転し、更に、縮小することで、画像を変換しているものもある（例えば、特許文献１参照）。

図１６は、従来の画像処理システムの構成を示す図である。ディスプレイ手段１８０３は、受信した画像をユーザに表示するものであり、情報送受信手段１８０５は、ディスプレイ手段１８０３に表示する画像の要求を送信し、配信された画像を受信するものであり、解像度・色数情報データベース１８０４は、ディスプレイ手段１８０３の解像度と表示可能な色数を記憶するものである。

また、配信手段１８０６は、画像要求の受け入れや、処理画像の配信を行うものであり、画像データベース１８０７は、画像を蓄積するものであり、解像度変換手段１８０８は、要求された画像の解像度や縦横情報をディスプレイ手段１８０３のサイズに合わせる変換を行うものであり、減色変換手段１８０９は、要求画像の色数をディスプレイ手段１８０３の表示可能色に合わせる変換を行うものであり、フォーマット変換手段１８１０は、画像をクライアント端末１８０１のアプリケーションで処理可能なフォーマットに変換するものである。

クライアント端末１８０１は、ディスプレイ手段１８０３、解像度・色数情報データベース１８０４及び情報送受信手段１８０５を含む構成であり、サーバ型画像処理装置１８０２は、配信手段１８０６、画像データベース１８０７、解像度変換手段１８０８、減色変換手段１８０９及びフォーマット変換手段１８１０を含む構成である。

ここで、解像度変換手段１８０８は、単に、画像サイズをディスプレイ手段１８０３のサイズに変換するのみであるため、解像度不足により商品画像の鮮鋭度が失われてしまい、ユーザに商品の質感を正確に伝達することができない。特に、商品の細かいテクスチャ、素材の粒状感は画像からは、極めて分かり難いと言った課題がある。

また、質感に対する要求のために、第１に、高解像度のディスプレイ手段１８０３で再現される画像と同等の質感を持った画像を低解像度のディスプレイ手段１８０３でも再現するために、入力画像に対し、鮮鋭性の強調処理を行う。また、第２に、実際の商品の質感をディスプレイ手段で再現するために、入力画像に対し、鮮鋭性の強調処理を行う。

なお、第２の強調処理は、実際の商品の質感を観察者に伝えるためには、ユーザに訴えかけるようなデフォルメが必要であり、デフォルメの強調処理を行うものである。

質感を向上する従来方法には、例えば、画像の鮮鋭度を強調するアンシャープマスクがある。（例えば、非特許文献２参照）。アンシャープマスクは、まずオリジナル画像をぼかし、ぼかした画像とオリジナル画像との差分を算出し、差分画像を調整し、更に、原画像と調整後の差分画像とを合成することで鮮鋭化処理を行うフィルタである。
特開２００２−１０８７５７号公報（第１０頁、第９図） "富士写真フィルムが携帯向け配信代行 機種ごとに最適画像 色調整など加工も"（日経産業新聞、平成１３年７月１３日、朝刊、２面、見出し４段） 小寺 宏曄、"ディジタル画像技術ＩＩＩ−印刷における画像のディジタル処理（１）−"、ｐｐ３９−４７、日本印刷学会誌第２５巻第３号、１９８８年

しかしながら、従来の鮮鋭度強調処理であるアンシャープマスクでは、色空間において、鮮鋭性を強調する方向について考慮されていない。そのため、入力デバイスにより取得された画像の画質がノイズの影響により劣化していた場合、ノイズを目立たせてしまうことがある。

図１７（ａ）は、セータなどの編み物のテクスチャ画像に仮想的にノイズを付加して作成した入力画像を主成分分析した色分布であり、各画素のＲＧＢ各色を８ｂｉｔのディジタルデータで示した色空間に示す。図１７（ｂ）は、図１７（ａ）の入力画像をアンシャープマスクで鮮鋭化した色分布を示す。

図１７（ｂ）に示すように、アンシャープマスクによる鮮鋭度強調処理方法は、色分布が全体的に拡大するため、鮮鋭度強調処理前よりもノイズが目立ってしまう課題がある。

次に、図１８（ａ）は、解像度の低い入力画像の主成分分析結果である色分布をＲＧＢ色空間に示したものであり、図１８（ｂ）は、解像度の高い入力画像の主成分分析結果である色分布をＲＧＢ色空間に示したものである。ここで、主成分分析の結果得られる第１主成分軸１７０１を、入力画像の色成分方向とする。

図１８（ｂ）から、画像の色分布は、低解像よりも高解像の入力画像の方が、色成分方向に広く分布し、それ以外の方向には広がっていないことがわかる。従って、図１８（ｂ）に示すように、解像度を上昇させた場合と同じ色分布を得ることが、理想的な鮮鋭度強調処理であるといえる。

また、従来のアンシャープマスクでは、強調の度合いは、明るさの変動や部分的なサチ
レーションの発生を抑制するため、高周波成分の重み付けによって制御される。また、高周波成分の重み付けの値は、強調処理の経験上で決めることになるため、処理方法が複雑になる課題がある。

また、コンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：ＣＧ）の場合には、３次元的な形状情報と、形状にマッピングするテクスチャ情報とを用いるが、使用するテクスチャは、被写体のテクスチャを画像処理することなく、マッピングしていた。このため、画像を小型端末のディスプレイに表示すると、解像度不足によりテクスチャが見難くなるという課題がある。

また、ディスプレイの解像度を、確保した場合でも、被写体を縮小して全体を表示させる場合に、解像度不足によりテクスチャが見難くなるという問題がある。

本発明は、かかる点に鑑みてなされたもので、従来技術に見られる強調処理によるノイズを軽減して、ディスプレイ手段に入力された画像を質感高く、見易い画像を得る強調処理であって、入力画像及び表示するディスプレイ手段の情報に応じた強調処理を行う画像処理方法および画像処理装置を提供することを目的とする。

本発明は、入力された画像をディスプレイに表示する際に、入力画像に含まれる被写体の情報と、入力画像を表示するディスプレイの情報の少なくとも１つを用いてパラメータを決定し、決定したパラメータを用いて、色空間において主成分分析により得られた第１主成分軸上で色分布を制御し、更に、被写体のテクスチャのサイズを拡大して被写体に再マッピングすることで、入力画像を質感高く、見易く強調処理するものである。

更に、ディスプレイ手段に表示されている画像を観察するユーザが、入力画像のうち、興味を持っている部位を興味部位として選択し、画像への強調処理は興味部位に施すものである。

また、入力画像を圧縮する場合に、入力画像を形状データとテクスチャデータとに分離して圧縮し、テクスチャデータの圧縮方法は、入力画像の解像度を一旦低下させることで実現し、一方、低解像度のテクスチャデータを、復元した後に、低解像度のテクスチャデータに対し、色空間における第１主成分軸上で色分布を制御することで、質感高く強調処理するものである。

上記の構成により、高解像度のディスプレイで再現される画像と同等の質感を持った画像を低解像度のディスプレイでも再現し、実際の商品の質感をディスプレイで再現し、更に、画像の効率的な圧縮を実現することができる。

以上のように、本発明の画像処理装置によれば、入力された画像をディスプレイに表示する際に、ディスプレイに最適な質感高い画像を生成し、ノイズの発生を抑制した強調処理を行うことができる。

本発明の第１の発明は、入力画像を観察するユーザが、前記入力画像のうち興味を持っている部位である興味部位を選択する興味部位入力手段と、前記興味部位のテクスチャのサイズを拡大するテクスチャサイズ強調手段と、前記テクスチャを拡大した興味部位に鮮鋭度強調処理を施す強調処理手段とを含む画像処理装置としたものであり、入力画像を小型端末のディスプレイに表示しても、テクスチャが見やすいという作用を有する。

本発明の第２の発明は、鮮鋭度強調処理は、入力画像の全体又は一部を主成分分析することにより算出される第１主成分値の分布を拡大させることである画像処理装置としたものであり、ノイズを強調することなく、鮮鋭度を強調することができるという作用を有する。

本発明の第３の発明は、鮮鋭度強調処理は、入力画像の全体又は一部をぼかしたぼかし画像を生成し、更に、前記入力画像の全体又は一部を主成分分析することにより算出される入力画像第１主成分値と、前記ぼかし画像を主成分分析することにより算出されるぼかし画像第１主成分値とから算出される前記入力画像第１主成分値の高周波成分の分布を拡大させ、更に、前記ぼかし画像第１主成分値を加算する画像処理装置としたものであり、明るさの変動や部分的なサチレーションの発生を抑制し、鮮鋭度を強調することができるという作用を有する。

本発明の第４の発明は、圧縮された圧縮形状データ及び圧縮テクスチャデータとを受信する画像受信手段と、前記圧縮形状データを復元する形状データ復元手段と、前記圧縮テクスチャデータを復元し、入力画像とするテクスチャデータ復元手段と、復元された前記形状データに、前記入力画像又は鮮鋭度強調処理を施した前記入力画像をマッピングするマッピング手段とを有する画像処理装置としてものであり、圧縮により失った入力画像の情報を、鮮鋭度強調処理により、回復することができるという作用を有する。

本発明の第５発明は、入力画像に含まれる形状を示す形状データと前記入力画像に含まれるテクスチャを示すテクスチャデータとに分離するデータ分離手段と、前記形状データを圧縮し、圧縮に関する情報を前記圧縮データに添付する形状データ圧縮手段と、前記テクスチャデータを圧縮するテクスチャデータ圧縮手段と、圧縮した前記形状データ及び前記テクスチャデータを送信する画像送信手段とを有する画像圧縮装置と、第４の発明の画像処理装置とを含む画像処理システムとしたものであり、画像の圧縮が容易にできるという作用を有する。

本発明の第６の発明は、テクスチャデータ圧縮手段は、テクスチャデータを低解像度化するものである画像処理システムとしたものであり、画像の圧縮率を向上することができるという作用を有する。

本発明の第７の発明は、入力画像を観察するユーザが、前記入力画像のうち興味を持っている部位である興味部位を選択する第１のステップと、前記興味部位のテクスチャのサイズを拡大する第２のステップと、前記テクスチャを拡大した興味部位に鮮鋭度強調処理を施す第３のステップとを含む画像処理方法としたものであり、入力画像を小型端末のディスプレイに表示しても、テクスチャが見やすいという作用を有する。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる画像処理装置の構成を示す図である。

図１において、ディスプレイ１０３は、画像を表示するものであり、画像データベース１０１は、予め複数の画像を蓄積し、ディスプレイ１０１に表示する画像を示す画像表示要求信号により選択された画像を出力するものであり、被写体情報取得手段１０４は、画像データベースから表示すべき画像を読み込み被写体に関する情報を、例えば、画像のヘッダから取得するものであり、ディスプレイ情報取得手段１０５は、ディスプレイ１０３に関する情報であるディスプレイ情報を取得するものであり、強調パラメータ決定手段１
０６は、被写体情報とディスプレイ情報とを用いて鮮鋭度強調に用いる強調パラメータの値を決定するものであり、強調処理手段１０７は、強調パラメータを用いて入力画像の鮮鋭性を強調する処理を行うものである。

また、画像処理装置１０２は、被写体情報取得手段１０４、ディスプレイ情報取得手段１０５、強調パラメータ決定手段１０６及び強調処理手段１０７を含む構成である。

次に、図１の画像処理装置１０２の動作を説明する。

まず、ディスプレイ１０３に表示する画像を示す画像表示要求信号により、画像データベース１０１は要求画像を出力し、被写体情報取得手段１０４及び強調処理手段１０７に入力する。

次に、被写体情報取得手段１０４が、画像に含まれる被写体情報を取得する。本実施の形態では、被写体情報は、画像のヘッダに予め記憶されているものとするが、図示していないが、画像認識手段を更に追加することによって画像から直接、被写体情報を取得する構成としてもよい。なお、被写体情報については、後述する。

次に、ディスプレイ情報取得手段１０５が、ユーザが使用しているディスプレイ１０３のディスプレイ情報を取得する。

ここで、ディスプレイ情報には、最大輝度、コントラスト、解像度及び表示色数が含まれるが、本実施の形態では、特に画像の鮮鋭性を最も左右する要素として、解像度をディスプレイ情報として説明する。

次に、強調パラメータ決定手段１０６が、被写体情報とディスプレイ情報とを用いて、鮮鋭度強調処理で用いる強調パラメータの値を決定する。なお、強調パラメータについては、後述する。

次に、強調処理手段１０７が、強調パラメータを用いて入力画像に鮮鋭度強調処理を施し、表示用画像として出力する。

ここで、強調処理手段１０７の動作の詳細を説明する。

本発明の強調処理手段１０７において実施される鮮鋭度強調処理方法として、第１の方法は、色空間において、鮮鋭性を強調する色方向を考慮することで、ノイズを目立たせることなく強調を行うものであり、第２の方法は、色空間の低周波成分を低減した後に第１の鮮鋭度強調処理を行うものである。

まず、第１の鮮鋭度強調処理方法について説明する。

従来の技術において説明したように、解像度が向上することにより、色成分方向である第１主成分軸上に入力画像の色分布が拡大する。このため、表示すべきディスプレイの解像度が低い場合には、解像度不足を補うために、第１主成分軸方向に色分布を拡大してやればよいことがわかる。

次に、色成分方向である第１主成分軸方向に対して入力画像の色分布を広げる操作について、図２を用いて説明する。図２は、第１主成分軸２０１における色分布の拡大を示す図である。色分布を広げる方法には、入力画像の各画素の第１主成分値に対して一定値を乗算する方法、入力画像の各画素の第１主成分値に対して一定値を加算する方法が考えら
れるが、本発明の実施の形態では、乱数を入力画像の各画素の第１主成分値に乗算する方法を用いた。この乱数を乗算させる方法により、第１主成分値のみを色成分方向に対し伸張させ、色方向成分である第１主成分軸２０１方向以外の第２主成分軸２０２、第３主成分軸２０３方向に対しても色分布が広がると、画像はノイズが強調された画像となるため、第２主成分値、第３主成分値は、乱数を乗算することなく元の色空間に変換する。

以上説明した本発明の鮮鋭度強調処理方法の具体的手順について、図３を用いて説明する。

ここで、入力画像の画素ベクトルをｇ_iとし、粒状をコントロールする関数をＧ（ｘ）とすると、鮮鋭度強調処理後画像の画素ベクトルｆ_iは、（数１）により定義される。

ｉは、画素番号（１≦ｉ≦Ｘ×Ｙ）であり、Ｘは、画像の水平方向の画素数であり、Ｙは、画像の垂直方向の画素数である。（数１）の各ベクトルはＲ、Ｇ、Ｂ値を要素に持ち、（数２）で表されるものとする。

まず、Ｓ３０１にて、入力画像を主成分分析し、画素毎に第１から第３の主成分値を生成する。具体的には、入力画像の平均画素ベクトルをｇ_ave、共分散行列をＣ_ggとして、入力画像の共分散行列Ｃ_ggを、（数３）を用いて求める。｛ ｝^Tは、転置を示している。

次に、共分散行列Ｃ_ggを特異値分解により（数４）のように展開する。

（数４）において、ΛｇはＣ_ggの固有値（σ_g1）²、（σ_g2）²、（σ_g3）²を対角要素に持つ対角行列であり、Ｐ_gはＣ_ggの固有ベクトルＰ_g1、Ｐ_g2、Ｐ_g3を要素に持つ行列である。

このようにして求められた固有ベクトルＰ_gを用いて、（数５）により、入力画像の全画素ベクトルｇ_iを、主成分画素ベクトルｗ_iに変換する。

ここでｗ_iは、第１、第２及び第３主成分値から構成され、ｗ_i＝［ｗ_i1、ｗ_i2、ｗ_i3］^Tと表せる。

次に、Ｓ３０２にて、画像の粒状感をコントロールするために、（数６）に示すように、算出された第１主成分値ｗ_i1に、強調パラメータ決定手段で得られた強調度Ｒに、乱数ｒａｎｄｏｍを乗算して得られた値ｒを各画素に乗算する。なお、強調度Ｒは後述する。

次に、Ｓ３０３において、（数６）によって新たに算出された新たな第１主成分値と、未処理の第２及び第３主成分値とにより構成される出力主成分画素ベクトルｖ_i＝［ｖ_i1、ｗ_i2、ｗ_i3］^Tを、元のＲＧＢ空間に変換する。具体的には、（数７）を用いて元のＲＧＢ値を求める。

以上の手順により、鮮鋭度を強調した表示用画像を算出することができる。

次に、第２の鮮鋭度強調処理方法について、図４をもちいて説明する。

従来の技術で用いられているアンシャープマスクと同様にように、入力画像４０１と入力画像をぼかしたぼかし画像４０２との差分を算出することで画像内の低周波部分を取り除いた後に、残りの高周波成分４０３に対して、第１の鮮鋭度強調処理方法を行うものであり、解像度の低下により画像内から失われる高周波成分４０３を補うことができ、適切な鮮鋭処理とすることができる。

なお、本実施の形態では、ぼかし画像４０２は、入力画像の解像度を１／２としたものであり、また、解像度を低下させることで、低周波成分のみの画像を作成することができる。

第２の鮮鋭度強調処理方法の具体的手順について、図５を用いて説明する。

まず、Ｓ５０１にて、入力画像の画素ベクトルｇ_iから、ぼかし画素ベクトル値ｇ_i ^*を得る。

次に、Ｓ５０２にて、入力画像の画素ベクトルｇ_i及びぼかし画素ベクトルｇ_i ^*を、（数３）から（数５）に代入することで主成分分析を行い、入力画像の画素ベクトルｇ_iの第１主成分値ｗ_i1と、ぼかし画像の画素ベクトルｇ_i ^*の第１主成分値ｗ_i1 ^*とを算出する。つまり、ｗ_i1 ^*は、ｗ_i1の低周波要素のみの画素値であり、差分を算出することで、ｗ_i1の高周波成分のみを得ることができる。

次に、Ｓ５０３にて、Ｓ５０２で算出した高周波成分に、強調パラメータ決定手段で算出した強調度Ｒに乱数ｒａｎｄｏｍを乗算して得られた値ｒを各画素に乗算し、次に、ぼかし画像の第１主成分値の低周波成分ｗ_i1 ^*を足しあわせることで、高周波成分のみを強調した第１主成分値ｖ_i1である（数８）を算出する。なお、強調度Ｒは、後述する。

次に、Ｓ５０４にて、（数８）によって新たに算出された第１主成分値ｖ_i1と、未処理の第２、第３主成分値とにより構成される出力主成分画素ベクトルｖ_i＝［ｖ_i1、ｗ_i2、ｗ_i3］^Tを、（数７）を用いて元のＲＧＢ空間値に変換する。なお、（１＋ｒ）はｒとしても、同様の効果を得ることができる。

以上より、第２の鮮鋭度強調処理方法は、低周波成分の画素値に依存せずに、高周波部分のみを伸張するため、高周波のみが強調され、明るさの変動や部分的なサチュレーションが生じないという利点を有する。

次に、強調パラメータ決定手段１０６の動作について説明する。

強調パラメータ決定手段１０６は、強調処理手段１０７における鮮鋭度強調処理で使用するパラメータである強調度Ｒを、被写体情報及びディスプレイ情報によって決定するものである。

被写体情報として、例えば、素材のテクスチャ画像における高周波成分の割合を示す統計量を使うことができる。第１主成分値から、ぼかし画像の差分画像を取得し、差分画像の画素値のばらつきを示す標準偏差値ｓｄｅｖを用いて算出することができる。

なお、被写体情報は他にも、被写体のパワースペクトル、パワースペクトルのうち高周波数成分に関する統計量、被写体のテクスチャのパワースペクトル、被写体のテクスチャのパワースペクトルのうち高周波数成分に関する統計量、被写体のテクスチャのサイズを用いることも可能である。

ここで、図６（ａ）は、ニットの差分画像の画素値を度数表示したものであり、図６（ｂ）は、デニムの差分画像の画素値を度数表示したものであり、図６（ｃ）は、カーペットａの差分画像の画素値を度数表示したものであり、図６（ｄ）は、カーペットｂの差分画像の画素値を度数表示したものであり、図６（ｅ）は、プラスチックの差分画像の画素値を度数表示したものである。

差分画像の画素値の度数値は、正規分布を成すため、標準偏差値を被写体情報として使用することができる。

また、図７は、解像度と標準偏差の関係を示したグラフである。ここで、パラメータは、ニット７０１、デニム７０２、カーペットａ７０３、カーペットｂ７０４、プラスチック７０５であり、縦軸は、標準偏差を示し、横軸は、標準偏差を示す。入力画像の解像度の変化に対して、標準偏差値の変化は、大きくないことが実験で確認されているため、被写体の情報として使用することができる。

次に、ディスプレイ情報として、ディスプレイ１０３の解像度を用いる場合について説明する。

ディスプレイ１０３を観察する距離は、ディスプレイ１０３のサイズによって異なる。

図８は、デスクトップディスプレイと携帯電話との解像度を示す図である。ここで、携帯電話ディスプレイを２インチ程度とすると、画素サイズによる解像度は、４．１２５［ｐｉｘｓ／ｍｍ］となり、デスクトップディスプレイを１７インチ程度とすると、画素サイズによる解像度は、３．８［ｐｉｘｓ／ｍｍ］となり、携帯電話ディスプレイの方が高解像である。

しかし、通常の使用状態では、デスクトップディスプレイは、観測者から５０［ｃｍ］程度の距離にあり、携帯電話ディスプレイは、観測者から３０［ｃｍ］程度の距離にあるため、観察する距離が異なり、携帯電話ディスプレイの方が観測者までの距離が近くなる。ここで、観測者に見える画像サイズが、デスクトップディスプレイと携帯電話ディスプレイとで同じである場合に、観測者には、携帯電話ディスプレイの解像度が、デスクトップディスプレイの解像度よりも低く感じられる。

これは、視野角による解像度を基準にして考えると、理解することができる。ここで、視野角を考慮に入れた解像度である視野角基準解像度ｒｅｓｏｌｕｔｉｏｎを、（数９）で示し、［ｃｙｃｌｅｓ／ｄｅｇｒｅｅ］を単位とする。

例えば、３０ｃｍの距離にある２インチ程度の携帯電話ディスプレイに幅１．６［ｃｍ］の画像を表示すると、５０［ｃｍ］の距離にある１７インチ程度のデスクトップディスプレイには、２．６６［ｃｍ］の幅の画像を表示することで、観測者は、同じ画像サイズを観測することになる。このときのディスプレイ上の画像に対する視野角は、３．０５°［ｄｅｇｒｅｅ］となる。

これより（数９）を用いて視野角基準解像度を算出すると、デスクトップディスプレイは、画素サイズの解像度が３．８［ｐｉｘｓ／ｍｍ］であり、実画像サイズが２．６６［ｃｍ］であり、ディスプレイ上の画像に対する視野角が３．０５°［ｄｅｇｒｅｅ］であるため、視野角基準解像度ｒｅｓｏｌｕｔｉｏｎが、３２．７［ｃｙｌｃｌｅｓ／ｄｅｇｒｅｅ］となり、携帯電話ディスプレイは、視野角基準解像度ｒｅｓｏｌｕｔｉｏｎが、２１．６［ｃｙｃｌｅｓ／ｄｅｇｒｅｅ］となり、観測者の感じる解像度と同じように、デスクトップディスプレイが高解像度となる。

次に、被写体情報であるｓｄｅｖ値と、ディスプレイ情報である視野角基準解像度ｒｅｓｏｌｕｔｉｏｎとを用いて、強調度Ｒを求める方法について説明する。強調度Ｒは、例えば、（数１０）で求めることができる。

すなわち、強調度Ｒは、視野角基準解像度ｒｅｓｏｌｕｔｉｏｎの一次関数として示さ
れ、被写体情報により、一次関数の傾きと切片が決定する。なお、（数１０）では、傾きを主観評価実験により求めた値とした。

（数１０）は、被写体のテクスチャによる変動が大きいが、以下の主観評価実験から、適切であると考えられている。主観評価実験では、被験者にデスクトップディスプレイである液晶ディスプレイの左側半分の領域に高解像度画像を表示し、右側半分の領域には６種類の低解像度で、３３段階の強調度が異なる画像を表示した。これらを被験者に高解像度画像と低解像度画像が同じになる強調度を選択してもらうようにした。

また、実験は、準暗黒下で観察距離５０［ｃｍ］として、両眼隔壁法（Ｈａｐｒｏｓｃｏｐｉｃ Ｍｅｔｈｏｄ）を用いた。これは、人間の眼が視野の中で最も明度の高い色に順応する特性があるため、左目と右目の間に壁を設けることで左右の眼の順応状態を分離することができるからである。

主観評価実験の結果を図９に示す。図９のグラフの横軸が解像度を示し、縦軸が強調度Ｒを示す。パラメータは、ニット９０１、デニム９０２、カーペットａ９０３、カーペットｂ９０４、プラスチック９０５である。ニット９０１は、他の素材と異なる曲線となっているものの、他の画像では、ほぼ線形に強調度が変化していることがわかる。この主観評価実験の結果を式にしたものが（数１０）である。

従って、強調パラメータ決定手段１０６は、（数１０）によって強調度Ｒを決定してもよく、図９に示す主観評価実験の結果を使用して強調度Ｒを決定してもよい。

なお、強調度Ｒは、被写体情報であるｓｄｅｖ値と、ディスプレイ情報である視野角基準解像度ｒｅｓｏｌｕｔｉｏｎとの少なくとも１つで構成してもよい。

なお、実際の商品の質感をディスプレイで再現可能な強調度Ｒを求めるためには、上記の主観評価実験において、左側に実際の商品を置いて行えばよい。

以上で強調パラメータ決定手段の動作の説明を終える。

なお、本発明第１の実施の形態による画像処理装置１０２は、例えば、図１０に示すように、インターネット１００２に接続された画像サーバ１００１において用いることができる。

図１０において、ネットワーク１００２は、各種の装置を接続し、情報の伝達を行うものであり、サーバ送受信手段１００３は、画像処理装置１０２により鮮鋭度の強調処理された画像を送信し、ディスプレイ情報を受信するものであり、ユーザ入力手段１００５は、ユーザがディスプレイ１０３に表示する画像を選択し、画像表示要求信号を出力するものであり、送受信手段１００４は、ディスプレイ１０３のディスプレイ情報と画像表示要求信号とを送信し、鮮鋭度の強調処理された画像を受信するものである。

ここで、画像サーバ１００１は、サーバ送受信手段１００３、画像処理装置１０２及び画像データベース１０１を含む構成である。

ユーザ端末１００６は、ディスプレイ１０３、ユーザ入力手段１００５及び送受信手段１００４を含む構成である。

次に、図１０における画像処理装置１０２の動作について説明する。

まず、ユーザ入力手段１００５が、ユーザに選択された画像を示す画像表示要求信号とディスプレイ情報とを送受信手段１００４に出力する。

次に、送受信手段１００４は、ディスプレイ情報と画像表示要求信号を、ネットワーク１００２を介して画像サーバ１００１に送信する。

次に、画像サーバ１００１内のサーバ送受信手段１００３が、ディスプレイ情報と画像表示要求信号とを受信し、ディスプレイ情報は、画像処理装置１０２に出力し、画像表示要求信号は、画像データベース１０１に出力する。

次に、画像処理装置１０２が、画像データベース１０１から入力された画像に対して、ディスプレイ情報を用いて鮮鋭度強調処理を行い、鮮鋭度強調処理後の画像をサーバ送受信手段１００３に出力する。

次に、サーバ送受信手段１００３は、鮮鋭度強調処理後の画像を、ネットワーク１００２を介してユーザ端末１００６に送信する。

次に、ユーザ端末１００６の送受信手段１００４が、鮮鋭度強調処理後の画像を受信し、ディスプレイ１０３に出力し、ディスプレイ１０３が、鮮鋭度強調処理後の画像を表示する。

なお、ディスプレイ情報の取得は、例えば、ＣｏｏｋｉｅやＣＣ／ＰＰ（Ｃｏｍｐｏｓｉｔｅ Ｃａｐａｂｉｌｉｔｙ／Ｐｒｅｆｅｒｅｎｃｅ Ｐｒｏｆｉｌｅｓ）などのｈｔｔｐヘッダへの情報付加技術に必要な情報タグを付加する形で実現できる。

図１１に、ＣＣ／ＰＰによる端末情報記述例を示す。ここでは、４行目に製造メーカが記述され、８行目にディスプレイサイズの情報が記述されている。

以上のように、画像処理装置１０２を用いることで、ユーザの使用するディスプレイ１０３の解像度に依存することなく、鮮鋭感を持った画像を再現することができる。

なお、本発明第１の実施の形態の画像処理装置１０２をディジタルカメラに用いてことで、より質感高い画像をディジタルカメラのディスプレイ１０３に表示することができる。

図１２は、本発明第１の実施の形態の画像処理装置１０２含むディジタルカメラの構成を示す図である。

ここで、撮影手段１２０１は、被写体を撮影し、ディジタルデータの画像に変換するものであり、画像データベース１０１は、撮影手段１２０１が撮影した画像を蓄積するものであり、ディスプレイ１０３は、画像を表示するものであり、画像処理装置１０２は、ディスプレイ１０３の特性に合わせて画像に鮮鋭度強調処理を行うものである。

以上の構成により、画像の鮮鋭性を強調して、画像の解像度不足を補うことにより、より質感高い画像をディスプレイ１０３に表示することができるディジタルカメラが提供できるようになる。

以上のように、本実施の形態によれば、入力された画像をディスプレイに表示する際に、入力画像に含まれる被写体の情報と、入力画像を表示するディスプレイの情報であるディスプレイ情報との少なくとも１つを用いて強調度を決定し、入力画像に鮮鋭度強調処理
を施すことにより、ディスプレイに最適な質感高い画像を生成し、更に、入力画像の色分布を色空間の第１主成分値を伸長することにより、画質の劣化した入力画像の場合でも、ノイズを低減して質感を制御することができ、高解像度のディスプレイで再現される画像と同等の質感を持った画像を、低解像度のディスプレイでも再現可能となり、実際の商品の質感をディスプレイで再現可能な画像処理を行うことができる。

（実施の形態２）
第１の実施の形態は、画像をディスプレイに表示する際に、入力画像に含まれる被写体の情報と、入力画像を表示するディスプレイの情報の少なくとも１つをパラメータとして強調度を決定し、また、色空間における強調方向を、色空間の第１主成分軸上として、色空間における鮮鋭度を強調する画像処理をおこなった。

これに対し、本実施の形態では、コンピュータグラフィクスなどの、３次元的な形状情報と、形状にマッピングするテクスチャ情報とから構成されている画像を、空間的に質感を強調する方法として、被写体のテクスチャのサイズを拡大して、被写体に再マッピングする方法について開示する。

本実施の形態では、マッピングするテクスチャを、第１の実施の形態に開示した鮮鋭度強調処理方法に加え、テクスチャのサイズもデフォルメに拡大してマッピングすることで、ユーザが被写体の情報を把握し易いようにしたものである。

また、画像を観察するユーザが、入力画像のうち興味を持っている部位を興味部位として入力し、画像への処理は興味部位にのみ施すようにしたものである。

図１３は、本発明第２の実施の形態にかかる画像処理装置の構成を示す図である。興味部位入力手段１３０１、ユーザによる興味部位を入力するためのものであり、制御手段１３０２は、興味部位入力手段１３０１による入力を受けて入力画像の強調すべき領域を選択し、選択領域に施す強調処理方法を決定するものであり、テクスチャサイズ強調処理手段１３０３は、テクスチャのサイズを拡大して強調処理を行うものである。

また、画像データベース１０１、被写体情報取得手段１０４、ディスプレイ情報取得手段１０５、強調パラメータ決定手段１０６、強調処理手段１０７、ディスプレイ１０３は第１の実施の形態と同様であるため、ここでの説明は省略する。

第２の実施の形態による画像処理装置の動作を説明する。

まず、ユーザから画像表示の要求を受けると、画像データベース１０１から入力画像が制御部１３０２に入力される。

次に、興味部位入力手段１３０１が、ユーザによって選択された入力画像上でより興味ある領域である興味部位を示す興味部位選択信号を出力する。

次に、制御手段１３０２は、興味部位選択信号を用いて、入力画像から興味部位を選択する。

次に、テクスチャサイズ強調処理手段１３０３が、選択された興味部位に対し、テクスチャのサイズを拡大し、再度、入力画像にマッピングし、被写体情報取得手段１０４と強調処理手段１０７とにテクスチャサイズ強調処理後の入力画像を出力する。なお、テクスチャサイズ強調処理後の入力画像をディスプレイ１０３に出力することもできる。

次に、被写体情報取得手段１０４、ディスプレイ情報取得手段１０５、強調パラメータ決定手段１０６及び強調処理手段１０７が、テクスチャサイズ強調処理後の入力画像に、第１の実施の形態で示した鮮鋭度強調処理を施し、ディスプレイ１０３に出力する。

ここで、興味部位入力手段１３０１を、図１４を用いて詳細に説明する。図１４は、ユーザのディスプレイに表示されるインタフェースの例である。

図１４において、表示枠１４０１は、商品画像の処理前の入力画像を示すものであり、興味領域指示ボタン１４０２は、ユーザが入力画像の興味部位を選択する場合にチェックすると、マウスなどを用いて興味部位を選択することができるものであり、鮮鋭度強調チェックボタン１４０３は、興味部位に対して鮮鋭度強調処理を行いたい場合にチェックするものであり、テクスチャサイズ強調チェックボタン１４０４は、興味領域に対してテクスチャサイズ強調処理を行いたい場合にチェックする、強調情報表示部１４０５は、選択した興味部位に対して施した強調処理を、入力画像に再度マッピングした処理画像を表示するものである。

まず、ユーザが画像の表示を要求すると、表示枠１４０１に指定画像が表示される。

次に、ユーザは、興味部位選択ボタン１４０２をチェックすると、選択枠１４０６が表示枠１４０１内に表示される。ユーザは、興味部位をマウス等で選択し、興味部位選択信号が出力される。なお、チェックボタンは選択されことにより、色が反転し、チェックの有無が確認できる。

次に、選択した興味部位に対し、鮮鋭度強調処理を行う場合は鮮鋭度強調ボタン１４０３をチェックし、テクスチサイズ強調処理を行う場合は、テクスチャサイズ強調チェックボタン１４０４をチェックする。なお、テクスチャサイズの拡大率は、例えば、実施の形態１に示したような左右両眼に対する主観評価実験で求めることができる。また、強調情報表示部１４０５内でテクスチャサイズが最大となるように、拡大率を決定してもよい。なお、図１４では、テクスチャをドットで示し、ドットの間隔を広げることで、テクスチャのサイズの拡大を表した。

これにより、興味部位選択信号と、強調処理方法を示す信号が、制御部１３０２に出力される。

また、強調情報表示部１４０５に、処理後の画像が表示されるため、ユーザは、テクスチャサイズの拡大、鮮鋭度強調処理の状況が確認できる。

以上のように、本実施の形態によれば、鮮鋭度強調処理に加え、空間的に鮮鋭性を強調する処理として、被写体のテクスチャのサイズを拡大して、被写体に再マッピングするようにすることで、被写体の材質の粒状感を高めた画像を表示する画像処理装置および情報処理方法を提供することができる。

また、画像を観察するユーザが、入力画像から興味を持っている部位を興味部位として入力し、複数の強調処理を選択することにより、ユーザに最適な画像を提供する画像処理装置を提供することができる。

（実施の形態３）
本実施の形態では、画像の圧縮及び圧縮の復元を行う画像処理システムについて開示する。本実施の形態で取り扱う画像は、コンピュータグラフィクスのように３次元的な形状データと、形状データ上にテクスチャマッピングするテクスチャデータとに分離できるも
のを対象としている。ただし、３次元に限らず、２次元的な形状データと、２次元形状にテクスチャマッピングするテクスチャデータとに分離できるものも、同様に扱うことができる。

図１５は、本発明の第３の実施の形態にかかる画像処理システムの構成を示す図である。画像圧縮装置１５０１は、画像を圧縮し、送信するものであり、画像データベース１０１は、画像を蓄積するものであり、データ分離手段１５０２は、入力画像を形状データとテクスチャデータに分離するものであり、形状データ圧縮手段１５０３は、形状データをデータ圧縮するものであり、テクスチャデータ圧縮手段１５０４は、テクスチャデータを圧縮するものであり、画像送信手段１５０５は、圧縮された画像を送信するものである。

また、画像処理装置１５０７は、受信した圧縮画像を復元するものであり、画像受信手段１５０８は、圧縮画像を受信するものであり、形状データ復元手段１５１０は、圧縮後形状データのデータを復元するものであり、マッピング手段１５１１は、復元された形状データに復元されたテクスチャデータをテクスチャマッピングして画像を作成するものであり、ネットワーク１５０６は、画像圧縮装置１５０１と画像処理装置１５０７とが接続されるものである。

本実施の形態による画像を圧縮する画像圧縮装置１５０１は、データ分離手段１５０２、形状データ圧縮手段１５０３、テクスチャデータ圧縮手段１５０４及び画像送信手段１５０５から構成されており、また、画像の圧縮を復元する画像処理装置１５０７は、画像受信手段１５０８、被写体情報取得手段１０４、ディスプレイ情報取得手段１０５、強調パラメータ決定手段１０６、強調処理手段１０７、形状データ復元手段１５０９及びマッピング手段１５１１から構成されている。

第３の実施の形態による画像処理システムの動作について説明する。

まず、データ分離手段１５０２が、画像データベース１０１から読み出された入力画像を、形状に関する部分とテクスチャに関する部分とに分離する。

なお、画像データベース１０１に蓄積されている段階で、予め分離して蓄積されている場合は、データ分離手段１５０２は省略することができる。なお、画像が２次元である場合は、画像認識などの技術により、画像を形状とテクスチャに分離する。

次に、形状データ圧縮手段１５０３が、形状データを圧縮し、圧縮後形状データとして画像送信手段１５０５に出力する。ここで、形状データは、形状構成する三角形パッチの３次元座標値、２次元座標値や、スプラインやナーブスなどの自由曲面のパラメータで記述されている。このようなデータの圧縮方法には、様々な形態が考えられるが、例えばハフマン符号化で可逆圧縮するなどがある。なお、圧縮方法に関する情報は、圧縮後形状データに添付される。

次に、テクスチャデータ圧縮手段１５０４が、テクスチャデータを圧縮し、圧縮後テクスチャデータとして画像送信手段１５０５に出力する。

ここで、テクスチャデータは、テクスチャが記載されている２次元画像であるため、低解像度にすることでデータを圧縮し、更に、低解像度の２次元画像を、例えば、ＪＰＥＧなどの一般的な画像圧縮方法で圧縮するようにする。これにより大幅なデータ圧縮を実現することができる。なお、圧縮方法に関する情報は、圧縮後テクスチャデータに添付される。

次に、画像送信手段１５０５が、圧縮後形状データと圧縮後テクスチャデータとが分離された状態で、ネットワーク１５０６を介し、画像処理装置１５０７に送信する。

次に、画像受信手段１５０８が、受信した圧縮後形状データを形状データ復元手段１５１０に出力し、圧縮後テクスチャデータを、被写体情報取得手段１０４と強調処理手段１０７とに出力する。

次に、形状データ復元手段１５１０が、圧縮後形状データに添付されている圧縮方法に応じて復元処理を行う。

次に、テクスチャデータ復元手段１５０９は、テクスチャデータに添付されている圧縮情報を参照し、テクスチャデータ圧縮手段で実施された画像圧縮方法に応じて、復元処理を行い、テクスチャデータを被写体情報取得手段１０４と強調処理手段１０７とに出力する。

なお、得られたテクスチャデータは、解像度の低い画像である。そこで、解像度の低いテクスチャデータに、第１及び第２の実施の形態に開示した鮮鋭度強調処理方法を施す。

次に、被写体情報取得手段１０４、ディスプレイ情報取得手段１０５、強調パラメータ決定手段１０６、強調処理手段１０７により、第１の実施の形態に開示した鮮鋭度強調処理方法を施す。なお、第２の実施の形態に開示したテクスチャサイズ強調処理を追加することも可能である。

なお、復元したテクスチャデータは、解像度が低下しているため、圧縮処理以前のテクスチャデータと同じものではなく、質感を極めて近似させた結果が得られる。従って、本圧縮方法は、非可逆圧縮である。

次に、マッピング手段１５１１が、復元された形状データとテクスチャデータとを用いて表示用画像を生成する。ここでは、一般的なコンピュータグラフィクスで用いられるテクスチャマッピングやバンプマッピングといった方法を用いればよい。生成された表示用画像は、ディスプレイ１０３に表示される。

以上のように、本実施の形態によれば、入力画像を形状データとテクスチャデータとに分離し、テクスチャデータは、解像度を低下させた画像圧縮処理方法を用いることにより、極めて効率の良い画像圧縮を行うことができる。

また、形状データとテクスチャデータとに分離された圧縮されたデータを、復元する際に、テクスチャデータを復元して後に、質感を向上させる鮮鋭度強調処理を加えることで、低解像度なテクスチャデータであっても高解像度並みの質感、材質感を持ったテクスチャとして復元することができる。

本発明の第１の実施の形態によるの画像処理装置の構成を示す図 本発明の第１の実施の形態による色分布の拡大を示す図 本発明の第１の実施の形態による強調処理方法を示すフローチャート 本発明の第１の実施の形態による第２の鮮鋭度強調処理方法を示す図 本発明の第１の実施の形態による第２の鮮鋭度強調処理方法を示すフローチャート 本発明の第１の実施の形態による被写体情報を示す図 本発明の第１の実施の形態による解像度と標準偏差値との関係を示す図 本発明の第１の実施の形態による解像度を示す図 本発明の第１の実施の形態による強調パラメータと解像度の関係を示す図 本発明の第１の実施の形態によるディスプレイ情報を示す図 本発明の第１の実施の形態による画像処理システムの構成を示す図 本発明の第１の実施の形態による画像処理システムの構成を示す図 本発明の第２の実施の形態による画像処理装置の構成を示す図 本発明の第２の実施の形態によるユーザインタフェースを示す図 本発明の第３の実施の形態による画像処理システムの構成を示す図 従来の画像処理システムの構成を示す図 従来のアンシャープマスクによる強調結果を示す図 従来の解像度の異なるテクスチャの色空間分布を示す図

符号の説明

１０１ 画像データベース
１０２、１３０４、１５０７ 画像処理装置
１０３ ディスプレイ
１０４ 被写体情報取得手段
１０５ ディスプレイ情報取得手段
１０６ 強調パラメータ決定手段
１０７ 強調処理手段
１００１ 画像サーバ
１００２、１５０６ ネットワーク
１００３ サーバ送受信手段
１００４ 送受信手段
１００５ ユーザ入力手段
１２０１ 撮影手段
１３０１ 興味部位入力手段
１３０２ 制御手段
１３０３ テクスチャサイズ強調処理手段
１５０１ 画像圧縮装置
１５０２ データ分離手段
１５０３ 形状データ圧縮手段
１５０４ テクスチャデータ圧縮手段
１５０５ 画像送信手段
１５０８ 画像受信手段
１５０９ テクスチャデータ復元手段
１５１０ 形状データ復元手段
１５１１ マッピング手段

Claims (7)

1. 入力画像を観察するユーザが、前記入力画像のうち興味を持っている部位である興味部位を選択する興味部位入力手段と、前記興味部位のテクスチャのサイズを拡大するテクスチャサイズ強調手段と、前記テクスチャを拡大した興味部位に鮮鋭度強調処理を施す強調処理手段とを含む画像処理装置。
2. 鮮鋭度強調処理は、入力画像の全体又は一部を主成分分析することにより算出される第１主成分値の分布を拡大させることである請求項１記載の画像処理装置。
3. 鮮鋭度強調処理は、入力画像の全体又は一部をぼかしたぼかし画像を生成し、更に、前記入力画像の全体又は一部を主成分分析することにより算出される入力画像第１主成分値と、前記ぼかし画像を主成分分析することにより算出されるぼかし画像第１主成分値とから算出される前記入力画像第１主成分値の高周波成分の分布を拡大させ、更に、前記ぼかし画像第１主成分値を加算する請求項１記載の画像処理装置。
4. 圧縮された圧縮形状データ及び圧縮テクスチャデータとを受信する画像受信手段と、前記圧縮形状データを復元する形状データ復元手段と、前記圧縮テクスチャデータを復元し、入力画像とするテクスチャデータ復元手段と、復元された前記形状データに、前記入力画像又は鮮鋭度強調処理を施した前記入力画像をマッピングするマッピング手段とを有する請求項１ないし３のいずれか記載の画像処理装置。
5. 入力画像に含まれる形状を示す形状データと前記入力画像に含まれるテクスチャを示すテクスチャデータとに分離するデータ分離手段と、前記形状データを圧縮し、圧縮に関する情報を前記圧縮データに添付する形状データ圧縮手段と、前記テクスチャデータを圧縮するテクスチャデータ圧縮手段と、圧縮した前記形状データ及び前記テクスチャデータを送信する画像送信手段とを有する画像圧縮装置と、請求項４記載の画像処理装置とを含む画像処理システム。
6. テクスチャデータ圧縮手段は、テクスチャデータを低解像度化するものである請求項５記載の画像処理システム。
7. 入力画像を観察するユーザが、前記入力画像のうち興味を持っている部位である興味部位を選択する第１のステップと、前記興味部位のテクスチャのサイズを拡大する第２のステップと、前記テクスチャを拡大した興味部位に鮮鋭度強調処理を施す第３のステップとを含む画像処理方法。
   

Images