JP2007293912A - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP2007293912A
JP2007293912A JP2007185989A JP2007185989A JP2007293912A JP 2007293912 A JP2007293912 A JP 2007293912A JP 2007185989 A JP2007185989 A JP 2007185989A JP 2007185989 A JP2007185989 A JP 2007185989A JP 2007293912 A JP2007293912 A JP 2007293912A
Authority
JP
Japan
Prior art keywords
image
subject
vector
image processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007185989A
Other languages
English (en)
Inventor
Katsuhiro Kanamori
克洋 金森
Hideto Motomura
秀人 本村
Hiroto Kobuchi
寛仁 菰淵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2007185989A priority Critical patent/JP2007293912A/ja
Publication of JP2007293912A publication Critical patent/JP2007293912A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

【課題】被写体の特性、すなわち、その材質やカメラからの距離などを効果的に反映させた画像の鮮鋭化を実現する。
【解決手段】被写体シーンＳＣから取得した入力画像ＩＮを補間拡大する（Ｓ１，Ｓ２）。この補間画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求め、さらにエッジ輪郭部とテクスチャ部とに分離する（Ｓ３，Ｓ４）。一方、画像ＩＮに撮された被写体の特性を取得し（Ｓ５）、補間画像の物理特性パラメータを求める（Ｓ６）。工程Ｓ８において、物理特性パラメータを用いて、補間画像が鮮鋭化するように画像特徴量ベクトルを変換する。さらに、変換後の画像特徴量ベクトルに対して工程Ｓ３におけるベクトル変換の逆変換を行い、拡大画像ＥＬＩを生成する。
【選択図】図１

Description

本発明は、画像処理技術に関するものであり、特に、例えば拡大処理などによって得られた画像を鮮鋭化する技術に関するものである。
デジタル映像機器ネットワークの普及により、異なる規格形式のデジタル画像が様々な入出力機器で取り扱われることが普通になっている。特に、画像のサイズは低解像度から超高解像度まで様々な種類がある。低解像度の画像としては、携帯電話搭載のカメラやディスプレイで用いられるQCIF（176×144画素）、QVGA（320×240画素）、CIF（352×288画素）などがある。標準的解像度の画像としては、ＰＣディスプレイ表示サイズであるVGA（640×480）、XGA (1024×768)、SXGA（1280×1024）などがある。高解像度の画像としては、プロジェクタや特殊なＬＣＤなどで使われるUXGA（1600×1200）、QXGA（2048×1536画素）、HDTV(1920×1080)などがある。最近では、医学や印刷分野用途のディスプレイ向けとして、QSXGA(2560×2048)、QXGA(2048×1536)、QUXGA (3200×2400)、QUXGA-wide (3840×2400) という超高解像度の画像まで、存在している。
ここで、携帯電話で撮影したQVGA（320×240画素）画像を高精細のQUXGA(3200×2400)で表示する必要が生じたとする。この場合、原画像の縦横サイズをそれぞれ１０倍にデジタル的に拡大する、という従来にない高倍率の画像拡大処理が必要となる。ところが、従来、通常のデジタル的な拡大処理では、想定する拡大率は、標準ＴＶ解像度からＨＤＴＶ解像度への２×２倍程度であり、最大でも４×４倍程度の拡大率しか研究されていない（例えば（非特許文献２）など）。
また、放送業界において画像のワンソース・マルチユースの考え方が浸透している。すなわち、一旦撮影した画像の一部分だけを切り出して他の用途に用いるといったことが頻繁に行われる。例えば、広角レンズでサッカーなどのスポーツシーンを撮影し、そこから個々の選手の画像をアップして切り出し表示するなどの場合、従来にはない高倍率の画像拡大処理が必要となる。このような画像切り出し用途における拡大率には、その目標値に上限がない。
このように、画像の拡大はデジタル画像処理における大きな課題といえるが、その技術的意味は、低解像度画像を高解像度画像に変換することである。そして、この画像拡大すなわち高解像度化は、画像入力系と画像表示系のいずれを重視するかによって、２種類に分かれる。
第１は画像入力系を重視した拡大、高解像度化であり、いわゆる「超解像」分野がこれにあたる。デジタル的な超解像とは、撮像中に素子を微小振動させる、あるいは連続した動画像から被写体情報を取り込むなどの手法により、撮像素子のサンプリング限界を超える情報を収集、画像処理により統合、収束させて、原画像を高精細化する処理のことである。医療やリモートセンシングにおける科学的な画像計測に向いている。
第２は画像表示系を重視した拡大処理であり、これは、画像の忠実な高解像度化というよりは、ボケ画像を視覚的に鮮明かつ好ましい画像に変換する、といった画像の鮮鋭化を目的とするものである。上述したような、携帯電話カメラで撮影した画像の高解像ディスプレイへの表示、または、標準ＴＶ画像をＨＤＴＶ画面に表示する場合などに用いられる。民生用画像機器では、このような高解像度表示に耐える品質を作り出す画像拡大処理が重要になる。本発明は、この画像表示系を重視した処理に属する。
本分野の従来技術としては、バイキュービック補間法などの線形補間フィルタ、エッジを保存してボケを回避しつつ画像拡大するエッジ保存非線形フィルタなどが、長年にわたり研究されてきた。しかしこれらの手法では、低解像度画像において欠けている高周波成分を復元推定することはできない。高周波成分復元処理のために、近年では、低解像度と高解像度の画像サンプルでの学習を用いた手法が研究されている。以下、その２例について説明する。
（特許文献１）では、低解像度画像から高解像度画像を生成する方法が示されている。まず、初期画像補間すなわちスケールアップを行い、所望の画像サイズを有する低解像度画像を生成する。この低解像度画像を、オーバーラップする低解像度パッチに分割し、各低解像度パッチについて高周波成分を除去したミッドバンドパッチを生成する。そして画像をスキャンしながら、コントラスト正規化されたミッドバンドパッチ内ピクセルＭと既に予測した隣接ハイバンドパッチＨとをシリアルに連結した探索ベクトルを生成し、トレーニング用データベースから最も近いハイバンドパッチを出力する。このハイバンドパッチと上述の低解像度パッチとを加算合成し、隣接するパッチとの接続性を有する高解像度パッチを次々に生成して、高解像度画像を生成する。
（非特許文献１）では、ボケ画像の鮮鋭化のためにウェーブレット変換を適用した手法が示されている。まず、鮮鋭画像とエッジのぼけた劣化画像の各々に３段の離散２進型の２次元ウェーブレット変換を施し、画像内の座標ごとに１６次元の多重解像度ベクトルを得る。画像内のエッジ部分のみを対象とするため、平滑化成分を除いたものを、Ｍ個の学習ベクトルとする。ボケ画像のＭ個の学習ベクトルから選択されるＮ個の代表ベクトルを分析コードブックとし、鮮鋭画像のＭ個の学習ベクトルから生成したＮ個の代表ベクトルを仮再生コードブックとして、分析コードブックから量子化インデックスを介して仮再生コードブックを引くことによって、鮮鋭化のプロセスを実現する。
特開２００３−１８３９８号公報 阿部淑人、菊池久和、佐々木重信、渡辺弘道、斎藤義明「多重解像度ベクトル量子化を用いた輪郭協調」電子情報通信学会論文誌 Vol.J79A 1996/5 （１０３２−１０４０ページ） 中静真、江部裕路、菊池久和、石井郁夫、牧野秀夫「多重スケール輝度こう配平面における画像高解像度化」電子情報通信学会論文誌、D-II、Vol.J81 D−II No.10 （2249−2258ページ）
ところが、従来の技術には、次のような問題があった。
すなわち、画像内の画素値のミッドバンド周波数のベクトルやウェーブット変換係数ベクトルなど画像波形信号解析による特徴量ベクトルを用いる方式では、結局のところ、画像入力情報を加工しているにすぎない。このため、特に拡大倍率が大きい場合には、従来のバイキュービック補間法などの線形画像処理と比較して、格段に良好な結果を出すことは困難であった。
画像の鮮鋭化、すなわち、ボケ画像を視覚的に鮮明かつ好ましい画像に変換する処理を、より効果的に実現するためには、画像情報以外に、画像に映された被写体の、材質やカメラからの距離などといった特性を、画像処理に的確に反映させる必要がある、と本願発明者らは考えた。
また、低解像度画像を一旦補間拡大した後に、このような画像の鮮鋭化を行うことによって、画像サイズが小さい低解像度画像から、高解像度表示品質に耐えうる拡大画像を生成することができる。
前記の問題に鑑み、本発明は、画像処理として、被写体の特性、すなわち、その材質やカメラからの距離などを効果的に反映させた画像の鮮鋭化を実現することを課題とする。
本発明は、画像処理として、原画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求め、前記原画像に映された被写体の特性を取得し、取得した被写体特性から前記原画像の物理特性パラメータを求め、前記物理特性パラメータを参照して前記画像特徴量ベクトルを前記原画像が鮮鋭化するように変換し、変換後の画像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、新たな画像を生成するものである。
本発明によると、原画像に映された被写体の特性が取得され、この被写体特性から原画像の物理特性パラメータが求められる。そして、所定のベクトル変換により原画像から求められた画像特徴量ベクトルは、原画像が鮮鋭化するように変換されるが、このとき、物理特性パラメータが参照される。そして、変換後の画像特徴量ベクトルから、所定のベクトル変換の逆変換によって、新たな画像が生成される。したがって、被写体特性が的確に反映された画像の鮮鋭化を実現することができる。
また、取得する被写体特性は、被写体の材質情報、およびカメラから被写体までの距離情報のうちの少なくともいずれか一方であることが好ましい。これにより、材質感あふれる画像鮮鋭化、または、距離によるテクスチャサイズの変化が考慮された画像鮮鋭化が、実現される。
本発明によると、被写体特性から求められた原画像の物理特性パラメータが、画像特徴量ベクトルの変換の際に参照されるので、被写体特性を的確に反映させた画像の鮮鋭化処理を実現することができる。また、画像を補間拡大した上で、このような画像の鮮鋭化を行うことによって、画像サイズが小さい低解像度画像から、高解像度表示品質に耐えうる拡大画像を生成することができる。
本発明の第１態様では、画像処理方法として、被写体を撮像した可視光の原画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求める第１工程と、前記原画像に映された被写体の特性として、被写体の材質情報、およびカメラから被写体までの距離情報のうち少なくともいずれか一方を、前記被写体撮影時に取得し、取得した被写体特性から前記原画像の物理特性パラメータを求める第２工程と、前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記原画像が鮮鋭化するように変換する第３工程と、変換後の画像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、新たな画像を生成する第４工程とを備えたものを提供する。
本発明の第２態様では、前記第２工程において、被写体の材質情報、およびカメラから被写体までの距離情報を取得し、前記材質情報と前記距離情報とを組にした物理特性パラメータを生成する第１態様の画像処理方法を提供する。
本発明の第３態様では、前記第１工程において、前記原画像を補間拡大処理した後に、前記所定のベクトル変換を行い、画像特徴ベクトルを求める第１態様の画像処理方法を提供する。
本発明の第４態様では、前記第３工程は、解析コードブックを参照して、前記画像特徴量ベクトルをベクトル量子化し、量子化インデックスを求めるステップと、予め準備された再生コードブック群の中から、前記物理特性パラメータに従って、複数の再生コードブックを選択するステップと、選択した複数の再生コードブックを、前記量子化インデックスを用いてルックアップし、読み出した各ベクトルに前記物理特性パラメータを用いて重み付け補間を行い、変換後の画像特徴量ベクトルを求めるステップとを備えたものである第１態様の画像処理方法を提供する。
本発明の第５態様では、画像処理装置として、被写体を撮像した可視光の原画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求める変換部と、前記原画像に映された被写体の特性として、被写体の材質情報を取得し、取得した被写体特性から前記原画像の物理特性パラメータを求める特性取得部と、前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記原画像が鮮鋭化するように変換し、変換後の画像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、新たな画像を生成する画像合成部とを備えたものを提供する。
本発明の第６態様では、前記特性取得部は、分光特性を観測可能なセンサ部を備え、このセンサ部の出力を用いて、被写体の材質情報を取得するものである第５態様の画像処理装置を提供する。
本発明の第７態様では、前記特性取得部は、所定の材質に対応する固有の分光感度を持つ画素を有する撮像素子を備え、この撮像素子の出力を用いて、被写体の材質情報を取得するものである第５態様の画像処理装置を提供する。
本発明の第８態様では、前記特性取得部は、被写体に付された無線タグに記録された材質情報を読みとるものである第５態様の画像処理装置を提供する。
本発明の第９態様では、画像処理装置として、被写体を撮像した可視光の原画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求める変換部と、前記原画像に映された被写体の特性として、カメラから被写体までの距離情報を取得し、取得した被写体特性から前記原画像の物理特性パラメータを求める特性取得部と、前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記原画像が鮮鋭化するように変換し、変換後の画像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、新たな画像を生成する画像合成部とを備えたものを提供する。
本発明の第１０態様では、前記第２工程において、被写体の分光反射率を識別し、この分光反射率と所定の材質の分光反射率との類似度を計算し、この計算結果を基にして、被写体の材質に係る情報を前記物理特性パラメータとして求める第１態様の画像処理方法を提供する。
本発明の第１１態様では、画素単位で、前記被写体の材質に係る情報を求める第１０態様の画像処理方法を提供する。
本発明の第１２態様では、前記特性取得部は、被写体の分光反射率を識別し、この分光反射率と所定の材質の分光反射率との類似度を計算し、この計算結果を基にして、被写体の材質に係る情報を前記物理特性パラメータとして求める第５態様の画像処理装置を提供する。
本発明の第１３態様では、画素単位で、前記被写体の材質に係る情報を求める第１２態様の画像処理装置を提供する。
以下、本発明の実施の形態について、図面を参照して説明する。
図１は本発明の一実施形態に係る画像処理方法を示す図である。図１において、画像取得工程Ｓ１では、被写体シーンＳＣを撮影し、入力画像ＩＮを取得する。画像補間拡大工程Ｓ２では、バイキュービック法などを用いて、入力画像ＩＮを目的画像サイズに補間拡大する。補間拡大後の画像は、入力画像ＩＮの周波数成分しか有していないため、当然にボケた画像となる。
画像特徴量ベクトル変換工程Ｓ３では、原画像としての補間拡大画像に対して所定のベクトル変換を行い、特徴量ベクトルの集合体（画像特徴量ベクトル）を求める。この画像特徴量ベクトルは、多重解像度ベクトルのように、画像の空間ドメインにおける周波数情報とスケーリング（解像度）情報とを含んだものが好適である。このため、例えば、ラプラシアンピラミッド解析またはウェーブレット変換などを用いて、変換を行うのが好ましい。そして、エッジ輪郭・テクスチャ分離工程Ｓ４では、工程Ｓ３で求められた画像特徴量ベクトルを、画像のエッジ輪郭部に対応するエッジ輪郭ベクトルと、画像のテクスチャ部に対応するテクスチャベクトルとに分離する。図１の工程Ｓ３，Ｓ４によって、本発明の第１工程が構成される。
また、被写体特性取得工程Ｓ５において、入力画像ＩＮに撮された被写体の特性を取得する。そして、物理特性パラメータ算出工程Ｓ６では、工程Ｓ５で取得された被写体特性から、補間拡大画像の物理特性パラメータを求める。図１の工程Ｓ５，Ｓ６によって、本発明の第２工程が構成される。
また、シーン指定工程Ｓ７において、指定されたシーン情報を入力する。ここで、シーンとは、撮影する対象、撮影照明、構図など総合的な撮影環境を示すものである。本実施形態では、ユーザが、人物撮影、遠景撮影、静物撮影などの撮影モードをシーン情報として指定するものとする。構図が同じであっても、人物撮影シーンではエッジ再現は滑らかにしたい、静物撮影シーンではエッジを強調したいなど、シーンに応じた画作り意図があり得る。このため、シーン情報を利用して、画像の輪郭エッジ部分の強調度合を調整するようにしている。
そして、物理画像合成工程Ｓ８において、工程Ｓ４で得られたエッジ輪郭ベクトルとテクスチャベクトルを基にして、工程Ｓ６によって得られた物理特性パラメータおよび工程Ｓ７で得られたシーン情報を用いて、拡大画像ＥＬＩを生成する。図１の工程Ｓ８によって、本発明の第３および第４工程が構成される。
ここで、工程Ｓ５で取得する被写体特性は、例えば、被写体の材質情報、カメラから被写体までの距離情報などである。材質情報は、被写体の分光特性情報、近赤外、遠赤外情報などから得ればよい。また、被写体特性を取得する際の解像度は、補間拡大画像の解像度に合わせてもよいし、合わせなくてもよい。すなわち、補間拡大画像の解像度よりも低くてもかまわない。
図２は本実施形態に係る画像処理装置の構成を示す図である。図２において、補間部１１は、入力画像ＩＮに対して補間拡大処理を行い、所望の拡大画像ＥＬＩと同一サイズの補間画像ＩＴＰを生成する。上述のように、この補間画像ＩＴＰはボケた画像となる。変換部１２は、補間画像ＩＴＰに対して所定のベクトル変換を行い、画像特徴ベクトルとしてテクスチャベクトルＴＶおよびエッジ輪郭ベクトルＥＶを生成する。生成されたテクスチャベクトルＴＶおよびエッジ輪郭ベクトルＥＶは、画像合成部２０に供給される。
図３および図４は図２の変換部１２におけるベクトル変換の一例を示す図である。ここでのベクトル変換は、（非特許文献１）で用いられた、時間空間領域において間引きを行わない離散２進ウェーブレット展開を利用する。この手法では、通常のウェーブレット変換と異なり、並進不変性が保証され、スケーリングが３段の場合は、元の画像が１６個の帯域画像ＢＩに分割される。
すなわち、図４に示すように、第１段（スケール）では、元の補間画像ＩＴＰが、Ｘ、Ｙ方向のウェーブレット変換により、補間画像ＩＴＰと同一サイズのＨ１Ｈ１、Ｈ１Ｌ１、Ｌ１Ｈ１、Ｌ１Ｌ１の４成分画像に分解される。第２段（スケール）では、４成分のうち、Ｘ，Ｙ双方向の高周波成分Ｈ１Ｈ１以外の成分がさらに分解される。このとき、Ｌ１Ｌ１のみが再度Ｘ，Ｙの双方向に分解されるのに対して、Ｈ１Ｌ１とＬ１Ｈ１は１方向への分解のみが行われ、計８個の成分となる。さらに第３段（スケール）では、Ｈ１Ｈ２、Ｈ２Ｈ１、Ｈ２Ｈ２以外の成分が分解される。このとき、Ｌ２Ｌ２のみがＸ，Ｙ双方向に分解され、他は１方向への分解のみが行われ、計１２個の成分となる。ここで、スケールの増加によって２個、４個に再分解されたもの（点線で図示）は、後の合成によって生成することができる。
このようなウェーブレット変換によって、補間画像ＩＴＰは、図３に示した１６個の成分画像（帯域画像ＢＩ）に分解される。そして、補間画像ＩＴＰのある画素Ｐに対して、その画素位置に対応する１６個の成分をまとめたものを、画素Ｐの多重解像度ベクトルＭＲＶとする。
さらに本実施形態では、この多重解像度ベクトルＭＲＶに対してノルム（絶対値）を定義し、このノルムが所定の上限値以上のベクトルが輪郭エッジを表現し、それ以外がテクスチャを表現するものと判断する。すなわち、得られた多重解像度ベクトルＭＲＶを、そのノルムに応じて、テクスチャベクトルＴＶとエッジ輪郭ベクトルＥＶとに分類する。図３では、画素Ｐの多重解像度ベクトルＭＲＶはテクスチャベクトルＴＶに分類されている。
図２の構成に戻り、特性取得部３０は、補間画像ＩＴＰに撮された被写体の特性を取得し、取得した被写体特性から補間画像ＩＴＰの物理特性パラメータＰＲを求める。本実施形態では、被写体の材質に係る材質パラメータＭと、カメラと被写体との距離に係る距離パラメータＬとが、物理特性パラメータＰＲとして求められる（以下、適宜、ＰＲ（Ｍ，Ｌ）と記す）。特性取得部３０は、センサ部３１、材質判定部３２および距離判定部３３を備えている。求められた物理特性パラメータＰＲは、画像合成部２０に供給される。
図５は特性取得部３０の詳細な構成を示す図である。図５に示すように、センサ部３１は、スペクトル情報取得部３１１および投光部３１２を備え、材質判定部３２は識別部３２１、投光制御部３２２および類似度計算部３２３を備え、距離判定部３３は輝度量子化部３３１および距離数値量子化部３３２を備えている。
投光部３１２は、投光制御部３２２の制御に従い、被写体撮影時に特定波長のフラッシュを発光する。スペクトル情報取得部３１１は、投光部３１２の発光に同期して、被写体からの反射光をマルチスペクトルにて取得する。識別部３２１は、反射光の分光特性と投光した光の分光特性とから、被写体の分光反射率を識別する。類似度計算部３２３は、この分光反射率から、特定材質との類似を示す材質パラメータＭを求める。この材質パラメータＭは、画像の画素単位に生成される。ここでは、特定材質として、人間の肌ｆ、髪ｈ、植物ｐ、皮ｓ、繊維ｔ、プラスチックｄ、および金属ｍを、用いる。すなわち、材質パラメータＭを、次のように表すものとする。
Ｍ＝（ｆ，ｈ，ｐ，ｓ，ｔ，ｄ，ｍ）
この場合、スペクトル情報取得部３１１として、特定材質に対応した特殊なフィルタを複数種類有する撮像素子を用いてもよい。
図６および図７は材質判定部３２における処理の一例を説明するための図である。図６において、Ｒ（λ）は被写体の分光反射率、Ｒｆ（λ）は典型的な人間の肌の分光反射率、Ｒｐ（λ）は典型的な植物の分光反射率である。いま、スペクトル情報取得部３１１によって、限定された狭帯域（Ａ）（Ｂ）（Ｃ）での観測値のみが取得されたとする。そこで、まず被写体と各材質との分光反射率の差である色信号空間内距離を計算する。例えば、被写体と人間の肌との分光反射率の二乗距離は、次のようになる。
Ｅ２＝［Ｒ（Ａ）−Ｒｆ（Ａ）］２＋［Ｒ（Ｂ）−Ｒｆ（Ｂ）］２＋［Ｒ（Ｃ）−Ｒｆ（Ｃ）］２
次に、求められた距離を図７のような変換に従ってしきい値処理し、０〜１の範囲の数値を、肌ｆとの類似度として得る。同様の処理を、他の材質である、髪ｈ、植物ｐ、皮ｓ、繊維ｔ、プラスチックｄ、金属ｍについて実施することによって、材質パラメータＭを求めることができる。例えば、理想的な人間の肌の場合は、
Ｍ＝（１，０，０，０，０，０，０）
となることが期待される。
一方、距離判定部３３では、投光による画像の輝度値の高低から、カメラと被写体との概略距離を判定する。輝度量子化部３３１は、投光部３１２の発光に同期して得た画像の輝度を量子化する。距離数値量子化部３３２はこの量子化された輝度値から、数段階の距離パラメータＬを生成する。この距離パラメータＬは、画像の画素ごとに出力される。
このようにして、材質パラメータＭと距離パラメータＬの対である物理特性パラメータＰＲ（Ｍ，Ｌ）が生成される。なお、物理特性パラメータＰＲは、画像で比較的平坦なテクスチャ部の処理にだけ用いられるものであり、エッジ輪郭部には用いられない。このため、物理特性パラメータＰＲは、入力画像よりも低解像度で取得してもかまわない。
図８のような屋外の人物シーンの画像において、取得された物理特性パラメータＰＲの一例を図９に示す。
図２に戻り、画像合成部２０は、特性取得部３０から出力された物理特性パラメータＰＲ、およびシーン指定部１３から出力されたシーン指定情報ＳＩＤを用いて、テクスチャベクトルＴＶおよびエッジ輪郭ベクトルＥＶを、補間画像ＩＴＰが鮮鋭化するように変換する。そして、変換後のベクトルＴＶ，ＥＶに対して、変換部１２におけるベクトル変換の逆変換を行い、画像に変換する。この結果、高解像度の拡大画像ＥＬＩが生成される。
ここで、テクスチャベクトルＴＶおよびエッジ輪郭ベクトルＥＶの変換には、予め学習されたベクトル間の対応表、すなわちコードブックを利用するものとする。
図１０は画像合成部２０の詳細な構成を示す図である。図１０において、テクスチャベクトル再生部２１は、テクスチャベクトルＴＶを鮮鋭化テクスチャベクトルＳＴＶに変換する。このとき、テクスチャ解析コードブック２２、および、テクスチャ再生コードブック群２３から選択部２４によって選択されたテクスチャ再生コードブックを、参照する。選択部２４は、物理特性パラメータＰＲによって示された材質および距離に応じたテクスチャ再生コードブックを選択する。
また、エッジ輪郭ベクトル再生部２５は、エッジ輪郭ベクトルＥＶを鮮鋭化エッジ輪郭ベクトルＳＥＶに変換する。このとき、エッジ輪郭解析コードブック２６、および、エッジ輪郭再生コードブック群２７から選択部２８によって選択されたエッジ輪郭再生コードブックを、参照する。選択部２８は、シーン指定情報ＳＩＤによって示されたシーンに応じたエッジ輪郭再生コードブックを選択する。
図１１はテクスチャベクトルＴＶの変換処理を概念的に示す図である。図１１に示すように、テクスチャ解析コードブック２２をルックアップすることによって、テクスチャベクトルＴＶをベクトル量子化したときの量子化インデックスｎｔが読み出される。この量子化インデックスｎｔは、画像の信号波形処理から算出されるものであり、物理特性情報は反映されていない。一方、テクスチャ再生コードブック群２３では、肌ｆ、髪ｈなどの材質毎に、また距離Ｌ毎に、テクスチャ再生コードブックが準備されている。そこで、与えられた物理特性パラメータＰＲに示された材質および距離に従って、最適な再生コードブック２３ａを選択する。そして、選択した再生コードブック２３ａを、量子化インデックスｎｔをキーとしてルックアップし、鮮鋭化テクスチャベクトルＳＴＶを求める。
このとき、最適な再生コードブックを１個選択する代わりに、複数の再生コードブックを選択し、選択した各再生コードブックから読み出したベクトルを、物理特性パラメータＰＲを用いて重み付け補間合成するようにしてもよい。すなわち、材質パラメータＭを１つの加重係数ベクトルとみなし、各材質に対応する再生コードブックに対して量子化インデックスｎｔを適用したときの再生ベクトルをＺＭとすると、最終的に合成される鮮鋭化テクスチャベクトルＺは、次のように表現される。
Ｚ＝Ｍ・ＺＭ
＝ｆ・Ｚｆ＋ｈ・Ｚｐ＋ｐ・Ｚｐ＋ｓ・Ｚｓ＋ｔ・Ｚｔ＋ｄ・Ｚｄ＋ｍ・Ｚｍ
距離パラメータＬについても、同様な補間は可能である。
図１２はエッジ輪郭ベクトルの変換処理を概念的に示す図である。図１２に示すように、エッジ輪郭解析コードブック２６をルックアップすることによって、エッジ輪郭ベクトルＥＶをベクトル量子化したときの量子化インデックスｎｅが読み出される。一方、エッジ輪郭再生コードブック群２７では、シーン毎に、エッジ輪郭再生コードブックが準備されている。そこで、与えられたシーン指定情報ＳＩＤに示されたシーンに従って、最適なエッジ輪郭再生コードブック２７ａが選択される。そして、選択したエッジ輪郭再生コードブック２７ａを、量子化インデックスｎｅをキーとしてルックアップし、鮮鋭化エッジ輪郭ベクトルＳＥＶを求める。
図１０に戻り、画像変換部２９は、鮮鋭化テクスチャベクトルＳＴＶと鮮鋭化エッジ輪郭ベクトルＳＥＶとを合成する。この合成は、例えば、多重解像度ベクトルの加算に相当する処理であればよい。そして、合成後の多重解像度ベクトルに対して所定のベクトル変換の逆変換を行い、これにより、拡大画像ＥＬＩを生成する。この逆変換は、工程Ｓ３におけるベクトル変換の逆変換であればよく、例えば、ラブラシアンピラミッドの合成過程やウェーブレット逆変換などを用いればよい。
図１３は本実施形態によって得られた拡大画像のイメージ図である。図１３に示すように、被写体の顔の入力画像ＩＮを一旦補間拡大した後に（補間画像ＩＴＰ）、鮮鋭化処理を行う。このとき、被写体が人間であり、その材質が肌（材質：ｆ）であると判定されたときは、人物の肌に近いテクスチャを持つ画像ＩＡに拡大される。一方、被写体が例えばマネキン人形であり、その材質がプラスチック（材質：ｄ）であると判定されたときは、マネキン人形の顔に近いテクスチャをもつ画像ＩＢに拡大される。
なお、本実施形態では、入力画像ＩＮを補間拡大し、この補間拡大した画像ＩＴＰを原画像として鮮鋭化処理し、拡大画像ＥＬＩを生成する場合を例にとって説明したが、本発明に係る画像処理の適用範囲は、画像拡大処理に限定されるものではない。画像拡大以外であっても、ボケ画像を鮮明にする場合や、画像のサイズを変更したり、場合によっては画像を縮小する場合にも有効である。
＜コードブックの作成＞
図１４〜図１７を用いて、テクスチャやエッジ輪郭に対する解析コードブックおよび再生コードブックの作成方法について、説明する。
図１４はＪ次元の多重ベクトル空間内における解析コードブックと再生コードブックの基本的な生成方法を説明する図である。まず、ボケ画像と鮮鋭化画像の画像対について多重解像度ベクトル変換をそれぞれ実施し、画素数個の多重解像度ベクトルをサンプルとして得る。ここで、ボケ画像とは、同一シーンのデジタル画像において低周波数成分を比較的多く含む画像を意味し、鮮鋭化画像とは、高周波数成分を比較的多く含み、視覚的に良好な画像を意味する。
そして、鮮鋭化画像に係る多重解像度ベクトルからＶ個の学習ベクトルＦs（ｖ）を選択し、この学習ベクトルＦｓ（ｖ）を用いて仮再生コードブックを作成する。ここでｖは学習ベクトルのインデックスである。次に、ボケ画像に係る多重解像度ベクトルのうちＦｓ（ｖ）と同一位置から選択した学習ベクトルＧｓ（ｖ）を用いて、解析コードブックを作成する。
次にそれぞれのコードブックを量子化する。すなわち、学習ベクトルＦｓ（ｖ），Ｇｓ（ｖ）各々のベクトル空間をＮ個の分割領域に分けて量子化し、各分割領域の代表ベクトルをそれぞれＺｎ，ｙｎとする。Ｖ個の学習ベクトルはいずれかの領域に属するので、ｖ番目の学習ベクトルについて得られた仮再生コードブックの量子化インデックスをＩＦ（ｖ）、解析コードブックの量子化インデックスをＩＧ（ｖ）とする。次式に示すように、ボケ画像のインデックスｎ毎に対応する仮再生コードブックを使用頻度によって重み付けする。その後、ノルムの正規化を行うことによって、再生コードブックが算出される。
図１５は図１４の場合における量子化インデックスを示す表である。したがって、再生コードブックは、次のようになる。
以上の過程を、図１６および図１７を用いて、１００画素からなるボケ画像を同じ画素数の鮮鋭化画像に変換する際の解析コードブックおよび再生コードブックを作成する場合を例にとって、説明する。
ボケ画像と鮮鋭化画像について、１００画素の画素位置ごとに多重解像度ベクトルに変換する。これを、Ｕ１〜Ｕ１００、Ｖ１〜Ｖ１００とする。ベクトルＵ１〜Ｕ１００とベクトルＶ１〜Ｖ１００との間には、画素位置が同一という関係があるので、コードブックは、Ｕを入力したときに対応するＶを出力するように作成すればよい。ただし、実際には多重解像度ベクトルはベクトル量子化によって代表ベクトルに分類される。
図１６の例では、ボケ画像のベクトルＵはＵＡとＵＢの２種に量子化され、鮮鋭化画像のベクトルＶはＶＡとＶＢの２種に量子化されている。解析コードブックや再生コードブックの量子化インデックスとは、これら量子化されたベクトル集合に付けられた番号を意味している。そして、コードブックを引くということは、ベクトル番号Ｖを入力すると量子化されたベクトルの集合の番号である１，２といった番号を得ることに他ならない。また、量子化集合ＶＡには代表ベクトルＺ１が、量子化集合ＶＢには代表ベクトルＺ２が付随している。これら代表ベクトルは、量子化集合に属するベクトルの平均値や代表値をとるなどの方法によって計算される。
次に、上述したような算出方法をとることによって、図１７に示すように、ベクトル番号から量子化インデックス（１または２）を出力する解析コードブックＣＢ１と、量子化インデックス（１または２）を入力して再生ベクトルを出力する再生コードブックＣＢ２とが生成される。このようにして生成した解析コードブックと再生コードブックを結合して用いることによって、ボケ画像の多重解像度ベクトルを、鮮鋭画像の多重解像度ベクトルに変換することができる。
次に、学習ベクトルを取得するためのボケ画像および鮮明画像の取得方法について説明する。
図１８に示すように、撮影シーンＳＣについて、被写体の人物の顔部分を切り出して拡大する場合を想定する。いま、シーンＳＣ全体の画素数がＮ×Ｎであり、顔部分に相当する範囲ＦＣのサイズが（Ｎ／１０×Ｎ／１０）であるとする。
範囲ＦＣで切り出された画像を、例えばバイキュービック補間法などを用いて、元の画像と同じサイズ（Ｎ×Ｎ）までデジタル的に拡大する。このとき、生成された画像は低周波数成分を多く含むいわゆるボケ画像となる。このボケは光学的なレンズボケではなくデジタル的なものである。一方、撮影時にズームレンズを用いて、範囲ＦＣ一杯に撮影をしたとき、フレーミングおよび画角が同じであり、かつ高周波数成分を多く含む（Ｎ×Ｎ）画素の鮮明画像を得ることができる。
このようにして得たボケ画像と鮮明画像の対を、学習画像として用いて、多重解像度ベクトル変換を行い、解析コードブックおよび再生コードブックを作成すればよい。また、ボケ画像を生成するとき、工程Ｓ２における補間拡大手法と同じ手法を用いることによって、実際の処理に合った学習画像を得ることができる。
ところが、実際の撮影シーンを用いて学習サンプルを取得できるとは、必ずしも限らない。このため、類似した材質表面を用いて学習し、解析コードブックや再生コードブックを作成することが多い。
ここで問題となるのが、カメラと被写体間の距離である。例えば図８において、領域Ａ４における遠方の建物の表面に張ってあるタイルの模様を再生する場合など、実シーンで学習画像対を得られない場合は、別途タイルを持ってきて事前に撮影して学習する必要がある。この場合、距離が不明であるから、距離を変えた状態でボケ画像と鮮明画像との対を学習しなければならない。
図１９は距離を考慮した被写体の学習を示す図である。図１９に示すように、距離をＬ１からＬ４まで離散的に変化させて被写体を撮影し、各距離において、全画像から対象領域を切り出して補間拡大したボケ画像と、光学ズームにて対象領域を撮影した鮮明画像の対を作成する。そして、各距離毎に、多重解像度ベクトルの学習を行い、解析コードブックおよび再生コードブックを作成する。
ただし、エッジ輪郭画像とテクスチャ画像のうち、距離が関係するのはテクスチャ画像の方である。このことは、エッジ輪郭画像では、距離によらず理想エッジは太さのない線であるのに対して、テクスチャ画像は距離によって空間周波数が異なってくる、という点から明らかである。上述した実施形態において、テクスチャベクトルの鮮鋭化の場合は、距離を考慮したが、エッジ輪郭ベクトルの鮮鋭化の場合は、距離を考慮しなかったのはこの理由による。
したがって、エッジ輪郭に関しては、様々なシーンを対象にしてボケ画像と鮮明画像の対によって学習を行えばよいが、実際の撮影時に用いる被写体に類似したエッジ特性をもつ被写体を用いるほうが望ましいことはいうまでもない。例えば、金属被写体の画像を拡大したい場合は、金属被写体シーンを学習することが好ましく、洋服などの布地の画像を拡大したい場合は、布地被写体のシーンを学習することが好ましい。このため、エッジ輪郭再生コードブック群は、シーン毎に作成されている。
（第１の構成例）
図２０は本発明に係る画像処理を実行する第１の構成例として、パーソナルコンピュータを用いた画像拡大装置の構成を示す図である。図２０において、カメラ１０１の解像度はディスプレイ１０２の解像度よりも低いので、ディスプレイ１０２の表示能力を最大限に生かすため、メインメモリ１０３にロードされた画像処理プログラムを実行することによって拡大画像を作成する。この画像処理プログラムは、第１の実施形態で述べたような画像処理をコンピュータに実行させるものである。
カメラ１０１によって取り込まれた低解像度画像は画像メモリ１０４に記録される。また、センサ１０５によって取得された被写体特性も画像メモリ１０４に記録される。外部記憶装置１０６には、メインメモリ１０３の画像処理プログラムから参照できるように、予め、エッジ輪郭ベクトルとテクスチャベクトルの解析コードブックおよび再生コードブック１０６ａを準備しておく。メインメモリ１０３の画像処理プログラムはメモリバス１０７を介して画像メモリ１０４の低解像度画像を読み込み、ディスプレイ１０２の解像度に合わせて拡大画像に変換して、再びメモリバス１０７経由でビデオメモリ１０８に転送する。ビデオメモリ１０８に転送された拡大画像はディスプレイ１０２によって観察できる。
なお、本発明を実現するための構成は図２０に拘束されるものではなく、様々な構成をとることができる。例えば、解析コードブックまたは再生コードブックのいずれかを、他のパーソナルコンピュータに接続された外部記憶装置からネットワーク１０９を介して取得してもかまわない。また、低解像度画像は、ネットワーク１０９を介して取得してもかまわない。また、被写体特性は、他のパーソナルコンピュータに接続された外部記憶装置からネットワーク１０９を介して取得してもかまわないし、また、ＲＦＩＤタグのような手段を介して被写体から直接取得してもよい。
このように本発明は、広く普及しているパーソナルコンピュータで実行可能であり、特別な運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、本発明はパーソナルコンピュータのシステム化方法を拘束するものではない。
図２１は無線タグを利用して被写体特性を取得する構成を示す図である。図２１において、カメラ付携帯電話１１１は、低解像度の撮像しかできないが、無線タグ用アンテナ１１２と接続されており、被写体の撮像とともに、被写体に付された無線タグから被写体特性に関する情報を取得できる。すなわち、カメラ付携帯電話１１１内に、無線タグ用アンテナ１１２を含む特性取得部が構成されている。
いま、被写体は、金属製球１１３、プラスチック製球１１４および皮製球１１５の３種である。これらをカメラ付携帯電話１１１で撮影したとき、解像度が低いために球表面の材質感の違いが不明瞭となり、特に高解像度画像に拡大する場合は、材質感が著しく劣化してしまう。そこで予め、各球１１３，１１４，１１５に無線タグ１１３ａ，１１３ｂ，１１３ｃを付けておく。なお、図では、無線タグは球表面に付着しているが、内部に装着されていてもかまわない。各無線タグ１１３ａ，１１３ｂ，１１３ｃには、各球体の表面材質に関する情報が蓄積されている。ここでは、材質の大別と具体的な名称とが蓄積されているものとする。例えば、無線タグ１１３ａには「ｍ：銅」、無線タグ１１４ａには「ｄ：塩化ビニール」、無線タグ１１５ａには「ｓ：牛皮」のような情報が蓄積されている。
これらの情報は、アンテナ１１２によって読み込まれ、撮像した画像の被写体と対応付けられてカメラ付携帯電話内のメモリに格納される。以降の処理は、例えば図２０の構成において、ネットワーク１０９を介して転送された画像と被写体特性とを用いて、実行される。あるいは、カメラ付携帯電話１１１の内部において、上述した実施形態のように、実行してもよい。
（第２の構成例）
図２２は本発明に係る画像処理を実行する第２の構成例として、サーバークライアントシステムを用いた画像拡大装置の構成を示す図である。図２２において、カメラ１２１の解像度はディスプレイ１２５の解像度よりも低いので、ディスプレイ１２５の表示能力を最大限に生かすため、サーバークライアントシステムにおいて、上述したような画像拡大処理を実行する。
サーバー１２３は、入力画像ＩＮを補間部１１によって補間拡大した後、変換部１２によって、画像特徴量ベクトルすなわち、テクスチャベクトルＴＶおよびエッジ輪郭ベクトルＥＶに変換する。補間部１１および変換部１２の動作は図２に示したものと同様である。ベクトル量子化部１３１は、サーバー１２３内にある解析コードブック１３２を用いて、テクスチャベクトルＴＶおよびエッジ輪郭ベクトルＥＶを量子化インデックスｎｔ，ｎｅに変換する。得られた量子化インデックスｎｔ，ｎｅは、ネットワーク１２６を経由してクライアント１２４に送信される。量子化インデックスへの変換は、ある種の画像圧縮に相当し、これにより、送信するデータ量が削減される。
また、センサ１２２によって取得された物理特性パラメータＰＲは、ネットワーク１２６を経由してクライアント１２４に送信される。
クライアント１２４では、ベクトル再生部１３３が、再生コードブック１３４と受信した量子化インデックスｎｔ，ｎｅとを用いて、鮮鋭化テクスチャベクトルＳＴＶおよび鮮鋭化エッジ輪郭ベクトルＳＥＶを生成する。画像変換部２９は、鮮鋭化テクスチャベクトルＳＴＶおよび鮮鋭化エッジ輪郭ベクトルＳＥＶを合成し、逆変換を行うことによって、鮮鋭化された拡大画像ＥＬＩを生成する。この拡大画像ＥＬＩはディスプレイ１２５に表示される。なお、ベクトル量子化部１３１、解析コードブック１３２、ベクトル再生部１３３、再生コードブック１３４および画像変換部２９は、図２に示す画像合成部２０と同様に動作する。
なお、本発明を実現するための構成は図２２に拘束されるものではなく、様々な構成をとることができる。例えば、カメラ１２１はクライアント１２４の一部であってもかまわない。また、センサ１２２の代わりに、無線タグのような手段を介して被写体特性を取得してもかまわない。
このように本発明は、広く普及しているサーバークライアント型システムで実行可能であり、特別な運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、本発明はサーバークライアント型システムの構築方法を拘束するものではない。
（第３の構成例）
図２３は本発明に係る画像処理を実行する第３の構成例として、カメラ付携帯電話とテレビを用いた構成を示す図である。カメラ付携帯電話１４１は、ネットワーク１４２またはメモリカード１４４を介してテレビ１４３に画像データを送信する。また、カメラ付携帯電話１４１は、被写体特性を取得可能に構成されており、取得した被写体特性を、ネットワーク１４２またはメモリカード１４４を介してテレビ１４３に送信する。例えば、カメラの撮像素子の一部の画素が、被写体のスペクトル情報や赤外情報を取得するように改造すればよい。
テレビ１４３には、上述したような画像処理を実行可能な画像処理回路が内蔵されている。カメラ付携帯電話１４１の解像度はテレビ１４３の解像度よりも低く、テレビ１４３の表示能力を最大限に生かすため、テレビ１４３に内蔵された画像処理回路が拡大画像を作成し、画面に表示する。
図２４は被写体特性を取得可能に構成されたカメラの構成を示す図である。図２４に示すように、カメラ１５１の撮像素子１５２は、通常のＲＧＢカラー画素の他に、特定の材質（例えば、肌ｆ、髪ｈなど）に波長選択特性を有する画素が、低解像度で、かつ、一定の法則で、配置されている。これにより、画像の撮影とともに、被写体の材質情報を取得することができる。
このように本発明は、広く普及しているカメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラなどの一部分の改良により、テレビなどビデオ機器全般で実行可能であり、特別な運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、本発明は機器接続形態や機器内部の構成を拘束するものではない。
（第４の構成例）
図２５は本発明に係る画像処理を実行する第４の構成例として、ネットワークシステムを用いた構成を示す図である。図２５において、被写体は物理センサ付カメラ１６１により撮像されるが、撮像可能な解像度はディスプレイ１６４の解像度よりも低く、ディスプレイ１６４の表示能力を最大限に生かすため、表示端末１６３において、上述したような画像拡大処理を実行する。
物理センサ付カメラ１６１には被写体特性を取得できるセンサが付属しており、低解像度画像ＩＮおよび物理特性パラメータＰＲを併せて取得できる。これらの情報は、ネットワーク１６２経由で表示端末１６３に送られる。表示端末１６３において、補間部１１が低解像度画像ＩＮを補間拡大し、変換部１２がこの補間画像をテクスチャベクトルＴＶおよびエッジ輪郭ベクトルＥＶに変換する。画像合成部２０は、物理特性パラメータＰＲを用いて、テクスチャベクトルＴＶおよびエッジ輪郭ベクトルＥＶを画像が鮮鋭化するように変換し、ベクトル変換の逆変換を行い、高解像度の拡大画像ＥＬＩを生成する。この拡大画像ＥＬＩはディスプレイ１６４に表示される。
このとき、解析・再生コードブック１６５は、ネットワーク経由またはメモリカード１６６のような記録媒体によって提供される。この場合、例えばメモリカード１６６の提供がないと、画像を高画質化できないため、認証されたユーザのみが高画質映像を享受できる、というサービスを提供することができる。
（第５の構成例）
図２６は本発明に係る画像処理を実行する第５の構成例として、ネットワークシステムを用いた構成を示す図である。図２６の構成は、図２５とほぼ同様であるが、補間部１１および変換部１２を有する画像処理装置１７１が、ネットワーク１６２の前段に存在する点が異なる。
すなわち、変換部１２により得られたテクスチャベクトルＴＶおよびエッジ輪郭ベクトルＥＶが、画像処理装置１７１からネットワーク１６２経由で表示端末１７２に送られる。このとき、ウェーブレット変換などを用いる場合、一定の画像圧縮が実行されたと考えられる。
図２７（ａ）は物理センサ付カメラの一例としての人物センサ付カメラの構成を示す図である。図２７（ａ）の人物センサ付カメラ１８１は、カラー画像ＩＡを取得する際に、人物の皮膚の分光情報に感度を持つセンサを用いて、カラー画像ＩＡと画素位置の合った人物画像ＩＢを取得することができる。
撮像素子１８２はモザイク構造となっており、カラー画素（ＲＧＢ）の配置と合わせて肌色検知画素１８３（ｆ）が配置されている。この肌色検知画素１８３は、図２７（ｂ）に示すようなフィルタ分光透過率Ｆｆ（λ）を有するフィルタを撮像センサに付加することによって実現される。カラー画素（ＲＧＢ）の分光透過率は一般カラーセンサと同様であるのに対して、肌色検知画素１８３は、人間の皮膚（メラニン、カロチン、ヘモグロビン）の分光特性に類似した透過率に設定されているため、特に人物肌に対して最大の透過輝度の積分値を得る。
なお、ここではカラーセンサを例にとって説明したが、Ｒ，Ｇ，Ｂの各画素が同一の分光分布を有することによって、モノクロセンサの場合でも同様に実現できる。
図２８（ａ）は人物センサ付カメラの他の構成を示す図である。図２８（ａ）の人物センサ付カメラ１９１は、モノクロ可視画像ＩＣを取得する際に、人物の皮膚の分光情報に感度を持つセンサを用いて、モノクロ可視画像ＩＣと画素位置の合った赤外画像ＩＤを取得することができる。
ここで、図２７（ａ）の構成との大きな違いは、可視の分光情報を用いて皮膚を検知するのではなく、皮膚の体温に対応する赤外放射情報を取得している点にある。
撮像素子１９２はモザイク構造となっており、可視モノクロ輝度画素１９４（Ｙ）の配置の中に、赤外感度画素１９５（Ｆ）を有している。また、赤外放射と可視光とを同時に撮像するために、赤外域で透過しないガラスのレンズ光学系ではなく、ミラー光学系１９３を搭載する。図２８（ｂ）に示すように、Ｙ画素は可視域である８００ｎｍ以下に感度を有するのに対して、Ｆ画素は赤外領域に感度を有している。
なお、ここでは、モノクロセンサを例にとって説明したが、同一の撮像センサを３版化すればカラー化が可能である。
本発明では、従来よりも、材質などの被写体特性が効果的に反映された鮮鋭化画像や拡大画像が生成されるため、視覚的情報量が重要視される様々な応用分野において活用できる。例えば、電子商取引では、消費者が注目する商品の細部を提示でき、デジタルアーカイブでは、展示物の細部を正確に鑑賞者に提示できる。また、映像制作では、映像表現の可能性を高めることができ、放送分野では、様々な映像フォーマットでの互換性を保証することができる。
本発明の一実施形態に係る画像処理方法を示す図である。 本発明の一実施形態に係る画像処理装置の構成図である。 ウェーブレット変換を用いたベクトル変換の一例を示す図である。 ウェーブレット変換を用いたベクトル変換の一例を示す図である。 図２における特性取得部の詳細な構成図である。 材質判定処理の一例を説明するための図である。 材質判定処理の一例を説明するための図である。 屋外の人物シーンの画像の例である。 図８の画像における物理特性パラメータの一例である。 図２の画像合成部の詳細な構成図である。 テクスチャベクトルの変換処理を概念的に示す図である。 エッジ輪郭ベクトルの変換処理を概念的に示す図である。 本発明の一実施形態によって得られた拡大画像のイメージ図である。 コードブックの生成方法を説明するための図である。 図１４の場合における量子化インデックスである。 コードブックの作成を具体的に説明するための図である。 コードブックの作成を具体的に説明するための図である。 学習ベクトルを取得するためのボケ画像および鮮明画像の取得方法を説明するための図である。 距離を考慮した被写体の学習を示す図である。 本発明に係る画像処理を実行する第１の構成例を示す図である。 ＲＦＩＤタグを利用して被写体特性を取得する構成を示す図である。 本発明に係る画像処理を実行する第２の構成例を示す図である。 本発明に係る画像処理を実行する第３の構成例を示す図である。 被写体特性を取得可能なカメラの構成を示す図である。 本発明に係る画像処理を実行する第４の構成例を示す図である。 本発明に係る画像処理を実行する第５の構成例を示す図である。 人物センサ付きカメラの構成を示す図である。 人物センサ付きカメラの構成を示す図である。
符号の説明
ＩＮ 入力画像
ＥＬＩ 拡大画像
ＩＴＰ 補間画像
ＰＲ 物理特性パラメータ
Ｍ 材質パラメータ
Ｌ 距離パラメータ
ＴＶ テクスチャベクトル
ＥＶ エッジ輪郭ベクトル
ＳＴＶ 鮮鋭化テクスチャベクトル
ＳＥＶ 鮮鋭化エッジ輪郭ベクトル
ｎｔ，ｎｅ 量子化インデックス
ＳＩＤ シーン指定情報
Ｓ１ 画像取得工程
Ｓ２ 画像補間拡大工程
Ｓ３ 画像特徴量ベクトル変換工程
Ｓ４ エッジ輪郭・テクスチャ分離工程
Ｓ５ 被写体特性取得工程
Ｓ６ 物理特性パラメータ算出工程
Ｓ７ シーン指定工程
Ｓ８ 物理画像合成工程
１１ 補間部
１２ 変換部
１３ シーン指定部
２０ 画像合成部
２２ テクスチャ解析コードブック（解析コードブック）
２３ テクスチャ再生コードブック群（再生コードブック群）
２３ａ テクスチャ再生コードブック（再生コードブック）
２６ エッジ輪郭解析コードブック（解析コードブック）
２７ エッジ輪郭再生コードブック群（再生コードブック群）
２７ａ エッジ輪郭再生コードブック（再生コードブック）
３０ 特性取得部
３１ センサ部
３２ 材質判定部
３３ 距離判定部
１２３ サーバー
１２４ クライアント
１３１ ベクトル量子化部
１３２ 解析コードブック
１３３ ベクトル再生部
１３４ 再生コードブック
１５２ 撮像素子
１６３ 表示端末
１７２ 表示端末
１８２ 撮像素子
１９２ 撮像素子

Claims (13)

  1. 被写体を撮像した可視光の原画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求める第１工程と、
    前記原画像に映された被写体の特性として、被写体の材質情報、およびカメラから被写体までの距離情報のうち少なくともいずれか一方を、前記被写体撮影時に取得し、取得した被写体特性から前記原画像の物理特性パラメータを求める第２工程と、
    前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記原画像が鮮鋭化するように変換する第３工程と、
    変換後の画像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、新たな画像を生成する第４工程とを備えた
    ことを特徴とする画像処理方法。
  2. 請求項１において、
    前記第２工程において、被写体の材質情報、およびカメラから被写体までの距離情報を取得し、前記材質情報と前記距離情報とを組にした物理特性パラメータを生成する
    ことを特徴とする画像処理方法。
  3. 請求項１において、
    前記第１工程において、前記原画像を補間拡大処理した後に、前記所定のベクトル変換を行い、画像特徴ベクトルを求める
    ことを特徴とする画像処理方法。
  4. 請求項１において、
    前記第３工程は、
    解析コードブックを参照して、前記画像特徴量ベクトルをベクトル量子化し、量子化インデックスを求めるステップと、
    予め準備された再生コードブック群の中から、前記物理特性パラメータに従って、複数の再生コードブックを選択するステップと、
    選択した複数の再生コードブックを、前記量子化インデックスを用いてルックアップし、読み出した各ベクトルに前記物理特性パラメータを用いて重み付け補間を行い、変換後の画像特徴量ベクトルを求めるステップとを備えたものである
    ことを特徴とする画像処理方法。
  5. 被写体を撮像した可視光の原画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求める変換部と、
    前記原画像に映された被写体の特性として、被写体の材質情報を取得し、取得した被写体特性から前記原画像の物理特性パラメータを求める特性取得部と、
    前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記原画像が鮮鋭化するように変換し、変換後の画像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、新たな画像を生成する画像合成部とを備えた
    ことを特徴とする画像処理装置。
  6. 請求項５において、
    前記特性取得部は、分光特性を観測可能なセンサ部を備え、このセンサ部の出力を用いて、被写体の材質情報を取得するものである
    ことを特徴とする画像処理装置。
  7. 請求項５において、
    前記特性取得部は、所定の材質に対応する固有の分光感度を持つ画素を有する撮像素子を備え、この撮像素子の出力を用いて、被写体の材質情報を取得するものである
    ことを特徴とする画像処理装置。
  8. 請求項５において、
    前記特性取得部は、被写体に付された無線タグに記録された材質情報を、読みとるものである
    ことを特徴とする画像処理装置。
  9. 被写体を撮像した可視光の原画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求める変換部と、
    前記原画像に映された被写体の特性として、カメラから被写体までの距離情報を取得し、取得した被写体特性から前記原画像の物理特性パラメータを求める特性取得部と、
    前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記原画像が鮮鋭化するように変換し、変換後の画像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、新たな画像を生成する画像合成部とを備えた
    ことを特徴とする画像処理装置。
  10. 請求項１において、
    前記第２工程において、被写体の分光反射率を識別し、この分光反射率と所定の材質の分光反射率との類似度を計算し、この計算結果を基にして、被写体の材質に係る情報を前記物理特性パラメータとして求める
    ことを特徴とする画像処理方法。
  11. 請求項１０において、
    画素単位で、前記被写体の材質に係る情報を求める
    ことを特徴とする画像処理方法。
  12. 請求項５において、
    前記特性取得部は、被写体の分光反射率を識別し、この分光反射率と所定の材質の分光反射率との類似度を計算し、この計算結果を基にして、被写体の材質に係る情報を前記物理特性パラメータとして求める
    ことを特徴とする画像処理装置。
  13. 請求項１２において、
    画素単位で、前記被写体の材質に係る情報を求める
    ことを特徴とする画像処理装置。
JP2007185989A 2004-06-09 2007-07-17 画像処理方法および画像処理装置 Pending JP2007293912A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007185989A JP2007293912A (ja) 2004-06-09 2007-07-17 画像処理方法および画像処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004170766 2004-06-09
JP2004316433 2004-10-29
JP2007185989A JP2007293912A (ja) 2004-06-09 2007-07-17 画像処理方法および画像処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006514509A Division JP4035153B2 (ja) 2004-06-09 2005-06-07 画像処理方法および画像処理装置、並びに画像拡大方法

Publications (1)

Publication Number Publication Date
JP2007293912A true JP2007293912A (ja) 2007-11-08

Family

ID=38764401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007185989A Pending JP2007293912A (ja) 2004-06-09 2007-07-17 画像処理方法および画像処理装置

Country Status (1)

Country Link
JP (1) JP2007293912A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103736A (ja) * 2008-10-23 2010-05-06 Mega Chips Corp 画像拡大方法
WO2011111819A1 (ja) * 2010-03-12 2011-09-15 国立大学法人名古屋工業大学 画像処理装置、画像処理プログラム、および、画像を生成する方法
JP2012506647A (ja) * 2008-09-30 2012-03-15 サムスン エレクトロニクス カンパニー リミテッド 高解像度映像獲得装置およびその方法
WO2013075295A1 (zh) * 2011-11-23 2013-05-30 浙江晨鹰科技有限公司 低分辨率视频的服装识别方法及系统
WO2013089263A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 画像処理装置及び画像処理方法
WO2013089261A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 画像処理システム及び画像処理方法
WO2013089265A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム
WO2013089260A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 画像処理システム及び画像処理方法
JP2016134075A (ja) * 2015-01-21 2016-07-25 日本放送協会 超解像装置及びプログラム
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN112884646A (zh) * 2014-11-13 2021-06-01 瑞穗研究及技术株式会社 图像处理系统、图像处理方法以及介质
CN113593659A (zh) * 2021-06-18 2021-11-02 上海工程技术大学 一种基于遗传学算法的逆推开孔发泡材料参数的方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012506647A (ja) * 2008-09-30 2012-03-15 サムスン エレクトロニクス カンパニー リミテッド 高解像度映像獲得装置およびその方法
JP2010103736A (ja) * 2008-10-23 2010-05-06 Mega Chips Corp 画像拡大方法
US8335372B2 (en) 2008-10-23 2012-12-18 Megachips Corporation Image enlargement method that uses information acquired in a pixel interpolation process
WO2011111819A1 (ja) * 2010-03-12 2011-09-15 国立大学法人名古屋工業大学 画像処理装置、画像処理プログラム、および、画像を生成する方法
WO2013075295A1 (zh) * 2011-11-23 2013-05-30 浙江晨鹰科技有限公司 低分辨率视频的服装识别方法及系统
JPWO2013089263A1 (ja) * 2011-12-12 2015-04-27 日本電気株式会社 画像処理装置及び画像処理方法
US9317905B2 (en) 2011-12-12 2016-04-19 Nec Corporation Device, method, and computer readable medium for restoring an image
WO2013089265A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム
WO2013089260A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 画像処理システム及び画像処理方法
JPWO2013089261A1 (ja) * 2011-12-12 2015-04-27 日本電気株式会社 画像処理システム及び画像処理方法
WO2013089263A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 画像処理装置及び画像処理方法
JPWO2013089265A1 (ja) * 2011-12-12 2015-04-27 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム
WO2013089261A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 画像処理システム及び画像処理方法
US9317904B2 (en) 2011-12-12 2016-04-19 Nec Corporation Image processing system and image processing method
US9436981B2 (en) 2011-12-12 2016-09-06 Nec Corporation Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
CN112884646A (zh) * 2014-11-13 2021-06-01 瑞穗研究及技术株式会社 图像处理系统、图像处理方法以及介质
JP2016134075A (ja) * 2015-01-21 2016-07-25 日本放送協会 超解像装置及びプログラム
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN113593659A (zh) * 2021-06-18 2021-11-02 上海工程技术大学 一种基于遗传学算法的逆推开孔发泡材料参数的方法
CN113593659B (zh) * 2021-06-18 2023-08-08 上海工程技术大学 一种基于遗传学算法的逆推开孔发泡材料参数的方法

Similar Documents

Publication Publication Date Title
JP4035153B2 (ja) 画像処理方法および画像処理装置、並びに画像拡大方法
JP2007293912A (ja) 画像処理方法および画像処理装置
Wang et al. Deep learning for image super-resolution: A survey
He et al. Fhde 2 net: Full high definition demoireing network
US8780213B2 (en) Image processing method, image processing apparatus, image processing program, and image file format
JP3996630B2 (ja) 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置
CN111784578A (zh) 图像处理、模型训练方法及装置、设备、存储介质
US20100225646A1 (en) Method for magnifying images and videos and associated image processing device
Liu et al. Exploit camera raw data for video super-resolution via hidden Markov model inference
Testolina et al. Towards image denoising in the latent space of learning-based compression
Mishra et al. Self-FuseNet: data free unsupervised remote sensing image super-resolution
CN108401104B (zh) 基于频带修复和超分辨的双焦相机数字变焦方法
Petrovic Multilevel image fusion
Guo et al. Low-light color imaging via cross-camera synthesis
Feng et al. Applying holo360 video and image super-resolution generative adversarial networks to virtual reality immersion
Abu et al. Image projection over the edge
Ramakanth et al. Super resolution using a single image dictionary
Maalouf et al. Image super-resolution, a state-of-the-art review and evaluation
Mehmood Deep learning based super resolution of aerial and satellite imagery
Abu et al. Image super-resolution via discrete tchebichef moment
CN116758390B (zh) 一种图像数据处理方法、装置、计算机设备以及介质
Rajendran et al. A pixel-based color transfer system to recolor nighttime imagery
Nair et al. Recent Trends in Deep Learning Based Omnidirectional Image SuperResolution
Li et al. Panoramic video stitching based on multi-band image blending
Maalouf et al. Grouplet-based color image super-resolution