JP2002170112A - 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法 - Google Patents

解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法

Info

Publication number
JP2002170112A
JP2002170112A JP2000368842A JP2000368842A JP2002170112A JP 2002170112 A JP2002170112 A JP 2002170112A JP 2000368842 A JP2000368842 A JP 2000368842A JP 2000368842 A JP2000368842 A JP 2000368842A JP 2002170112 A JP2002170112 A JP 2002170112A
Authority
JP
Japan
Prior art keywords
image
resolution
model
resolution conversion
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000368842A
Other languages
English (en)
Inventor
Kyoko Nakamura
恭子 中村
Hiroshi Hasegawa
弘 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2000368842A priority Critical patent/JP2002170112A/ja
Priority to US09/989,653 priority patent/US6820137B2/en
Publication of JP2002170112A publication Critical patent/JP2002170112A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 解像度が変換された画像の画質を向上させる
こと。 【解決手段】 複数の画像に主成分分析を施して生成さ
れたモデルを用いて解像度を変換する解像度変換プログ
ラムを記録したコンピュータ読取可能な記録媒体は、解
像度の異なる複数のモデルを用意するステップと、入力
された画像を受信するステップ（Ｓ１１）と、入力され
た画像の解像度レベルを検出するステップ（Ｓ１３）
と、入力された画像の特徴パラメータを取得するために
検出された解像度レベルに応じたモデルに入力された画
像を射影するステップ（Ｓ１５）と、特徴パラメータの
取得に用いられたモデルとは異なるモデルに取得された
特徴パラメータを用いて画像を生成するステップ（Ｓ１
６）とをコンピュータに実行させる解像度変換プログラ
ムを記録する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、解像度変換プロ
グラムを記録したコンピュータ読取可能な記録媒体、解
像度変換装置および解像度変換方法に関し、特に、複数
の画像に統計処理を施して生成されたモデルを用いて解
像度を変換する解像度変換プログラムを記録したコンピ
ュータ読取可能な記録媒体、解像度変換装置および解像
度変換方法に関する。
【０００２】
【従来の技術】従来、取扱うことができる画像の解像度
が異なる装置で互いに画像データを処理する場合、解像
度を変換する必要があった。この場合、たとえば、線形
補間や３次補間などの補間処理を画像データに施すこと
により、解像度を変換することが行なわれている。
【０００３】また、解像度を変換する他の方法として、
特開平７−１５２９０７号公報には、入力画像に対して
ウェーブレット成分を予測し、解像度を高くした拡大画
像の高周波成分を補償する方法が記載されている。
【０００４】
【発明が解決しようとする課題】しかしながら、線形補
間や３次補間などの補間処理を画像に施す場合には、拡
大前の画像の解像度、または、拡大前の画像に平滑化処
理を施した画像の解像度のみしか得られないために、拡
大された画像において画像中のエッジがぼけたり、がた
つきが目立つといった問題があった。
【０００５】また、特開平７−１５２９０７号公報に記
載の方法では、より解像度の高い画像に対応するウェー
ブレット成分を予測する必要がある。このウェーブレッ
ト成分を予測する場合には所定の学習処理の結果を利用
しなければならず、学習処理の結果が画質に影響を及ぼ
すといった問題があった。
【０００６】この発明は上述の問題点を解決するために
なされたもので、この発明の目的の１つは、解像度が変
換された画像の画質を向上させることが可能な解像度変
換プログラムを記録したコンピュータ読取可能な記録媒
体、解像度変換装置および解像度変換方法を提供するこ
とである。
【０００７】また、この発明の他の目的は、画像の解像
度を容易に変換することが可能な解像度変換プログラム
を記録したコンピュータ読取可能な記録媒体、解像度変
換装置および解像度変換方法を提供することである。
【０００８】
【課題を解決するための手段】上述の目的を達成するた
めにこの発明のある局面によれば、複数の画像に統計処
理を施して生成されたモデルを用いて解像度を変換する
解像度変換プログラムを記録したコンピュータ読取可能
な記録媒体であって、解像度の異なる複数のモデルを用
意するステップと、入力された画像を受信するステップ
と、入力された画像の解像度レベルを検出するステップ
と、入力された画像の特徴パラメータを取得するために
検出された解像度レベルに応じたモデルに入力された画
像を射影するステップと、特徴パラメータの取得に用い
られたモデルとは異なるモデルに取得された特徴パラメ
ータを用いて画像を生成するステップとをコンピュータ
に実行させるための解像度変換プログラムを記録する。
【０００９】この発明に従えば、解像度の異なる複数の
モデルが用意される。入力された画像の解像度レベルに
応じたモデルに入力された画像が射影されて入力された
画像の特徴パラメータが取得される。そして、取得され
た特徴パラメータを用いて特徴パラメータの取得に用い
られたモデルと異なるモデルで画像が生成される。この
ため、解像度が変換された画像の画質を向上させること
が可能な解像度変換プログラムを記録したコンピュータ
読取可能な記録媒体を提供することができる。
【００１０】好ましくは、解像度の異なる複数のモデル
を用意するステップは、統計処理を施して生成されたモ
デルを解像度変換するステップを有する。
【００１１】この発明に従えば、解像度の異なる複数の
モデルは、統計処理を施して生成されたモデルを解像度
変換することにより生成される。解像度の異なるモデル
間では、同じ特徴パラメータで生成される画像は解像度
が異なるのみである。このため、１つのモデルから解像
度変換された複数のモデルが用いられるので、画像の解
像度を容易に変換することが可能な解像度変換プログラ
ムを記録したコンピュータ読取可能な記録媒体を提供す
ることができる。
【００１２】好ましくは、解像度の異なる複数のモデル
を用意するステップは、複数の画像それぞれを解像度変
換し、各解像度の画像について統計処理を施してモデル
を生成するステップを有する。
【００１３】この発明に従えば、解像度の異なる複数の
モデルは、複数の画像それぞれを解像度変換し、各解像
度の画像について統計処理を施して生成される。このた
め、複数の画像から生成された解像度の異なる複数のモ
デルが用いられるので、画像の解像度を容易に変換する
ことが可能な解像度変換プログラムを記録したコンピュ
ータ読取可能な記録媒体を提供することができる。
【００１４】好ましくは、画像生成ステップは、検出さ
れた解像度レベルよりも解像度の高いモデルで画像を生
成する。
【００１５】この発明に従えば、検出された解像度レベ
ルよりも解像度の高いモデルで画像が生成されるので、
解像度を高く変換する場合に画質を向上させることがで
きる。
【００１６】好ましくは、複数の画像は、人の顔の画像
である。この発明に従えば、複数の画像を人の顔の画像
としたので、解像度が変換された顔画像の画質を向上さ
せることができる。
【００１７】好ましくは入力された画像から顔領域を抽
出するステップと、入力された画像の解像度を変換する
ステップと、解像度変換された画像と生成ステップによ
り生成された画像とを合成するステップとをさらに含
む。
【００１８】この発明に従えば、入力された画像から顔
領域が抽出され、入力された画像の解像度が変換され
る。そして、解像度変換された画像と生成ステップによ
り生成された画像とが構成される。このため、入力され
た画像に人の顔が含まれる場合には、人の顔画像の画質
を向上させることができる。
【００１９】この発明の他の局面によれば、解像度変換
装置は、解像度の異なる複数のモデルを用意する手段
と、入力された画像を受信する受信手段と、入力された
画像の解像度レベルを検出する検出手段と、入力された
画像の特徴パラメータを取得するために検出された解像
度レベルに応じたモデルに入力された画像を射影する射
影手段と、特徴パラメータの取得に用いられたモデルと
は異なるモデルに取得された特徴パラメータを用いて画
像を生成する画像生成手段とを含む。
【００２０】この発明に従えば、解像度の異なる複数の
モデルが用意される。入力された画像の解像度レベルに
応じたモデルに入力された画像が射影されて入力された
画像の特徴パラメータが取得される。そして、取得され
た特徴パラメータを用いて特徴パラメータの取得に用い
られたモデルと異なるモデルで画像が生成される。この
ため、解像度が変換された画像の画質を向上させること
が可能な解像度変換装置を提供することができる。
【００２１】この発明のさらに他の局面によれば、複数
の画像に統計処理を施して生成されたモデルを用いて解
像度を変換する解像度変換方法であって、解像度の異な
る複数のモデルを用意するステップと、入力された画像
を受信するステップと、入力された画像の解像度レベル
を検出するステップと、入力された画像の特徴パラメー
タを取得するために検出された解像度レベルに応じたモ
デルに入力された画像を射影するステップと、特徴パラ
メータの取得に用いられたモデルとは異なるモデルで取
得された特徴パラメータを用いて画像を生成するステッ
プとを含む。
【００２２】この発明に従えば、解像度の異なる複数の
モデルが用意される。入力された画像の解像度レベルに
応じたモデルに入力された画像が射影されて入力された
画像の特徴パラメータが取得される。そして、取得され
た特徴パラメータを用いて特徴パラメータの取得に用い
られたモデルと異なるモデルで画像が生成される。この
ため、解像度が変換された画像の画質を向上させること
が可能な解像度変換方法を提供することができる。
【００２３】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。なお、図中同一符号は同一
または相当する部材を示し、説明は繰返さない。
【００２４】図１は、本発明の実施の形態の１つにおけ
る解像度変換装置のハード構成を示すブロック図であ
る。図１を参照して、解像度変換装置は、制御部１００
と、人の顔の画像を入力するための画像入力部１０１
と、装置の使用者がデータや種々の指示を入力するため
の操作部１０２と、制御部１００で実行するプログラム
の記録や制御部でプログラムを実行するために必要な情
報等の記憶のための記憶部１０３と、画像を出力するた
めの出力部１０４と、外部記憶装置１０５とを含む。
【００２５】制御部１００は、中央演算装置（ＣＰＵ）
であり、解像度変換装置の全体を制御する。画像入力部
１０１は、イメージスキャナであり、ライン型のＣＣＤ
（Charge Coupled Device）センサを有し、顔が撮影さ
れた写真等を読込み、２次元の顔画像データを出力す
る。なお、実際の人物の顔を撮影して２次元の画像を出
力することができるデジタルカメラ等を用いることもで
きる。さらに、外部のイメージスキャナやデジタルカメ
ラ等と接続するための入力端子であってもよい。
【００２６】記憶部１０３は、制御部１００で実行する
ためのプログラムを記憶する読出専用メモリ（ＲＯＭ）
と、制御部１００でプログラムを実行するために必要な
変数等を一時記憶するためのランダムアクセスメモリ
（ＲＡＭ）と、種々のデータを記憶するためのハードデ
ィスク等からなる。
【００２７】出力部１０４は、画像入力部１０１で入力
された画像、または、解像度変換処理などの画像処理さ
れた後の画像を表示するためのブラウン管または液晶表
示装置などのディスプレイである。また、ディスプレイ
とともにプリンタを用いてもよい。操作部は、キーボー
ドまたはマウス等のポインティングデバイスである。
【００２８】外部記憶装置１０５は、記録媒体１０６に
記録された制御部１００で実行するためのプログラムま
たは２次元の顔画像データ等を読込むための光磁気ディ
スクドライブ、または、デジタルビデオディスクドライ
ブなどである。また、制御部１００で解像度変換処理を
行なった後の顔画像等を書込むことができる。
【００２９】なお、記録媒体１０６としては、磁気テー
プやカセットテープなどのテープ系、磁気ディスク（フ
レキシブルディスク、ハードディスク）や光ディスク
（ＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等）などのディス
ク系、ＩＣカード（メモリカードを含む）や光カードな
どのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、Ｅ
ＥＰＲＯＭ、フラッシュメモリなどの半導体メモリ等の
固定的にプログラムを担持する媒体を用いることもでき
る。また、ネットワークからプログラムがダウンロード
されるように、流動的にプログラムを担持する媒体であ
ってもよい。外部記憶装置は、このような記録媒体１０
６から情報を読み込みまたは書き込みできるように、記
録媒体１０６に対応する。
【００３０】図２は、本実施の形態における解像度変換
装置のモデル構成機能の概要を示す機能ブロック図であ
る。解像度変換装置は、画像入力部で入力された画像の
特徴データを元に主成分分析を行なうことにより求めら
れた基底ベクトルで表わされるモデルを生成するための
モデル構成部１１５と、生成されたモデルを用いて解像
度の異なるモデルを生成するための階層モデル生成部１
１３とを含む。
【００３１】モデル構成部１１５で生成されたモデル
は、基底に対応する固有ベクトルで定義される。このモ
デルを構成する基底に対応する固有ベクトルと、階層モ
デル生成部１１３で生成されたモデルを構成する基底に
対応する固有ベクトルとは、記憶部１０３に記憶され
る。また、画像入力部１０１で入力され、モデルの生成
に用いられた顔画像は、モデルにおける特徴パラメータ
とともに記憶部１０３に記憶される。
【００３２】モデル構成部１１５は、画像入力部１０１
で入力された複数の顔画像について、入力された画像の
特徴データを用いて、主成分分析を行なう。特徴データ
は、たとえば、画素ごとの座標と画素値を含む。したが
って、解像度が高ければ特徴データの数が多くなる。主
成分分析の結果、求められる正規直交座標系をモデルと
して記憶部１０３に記憶する。また、画像入力部１０１
で入力された画像データと、それぞれの画像データに対
応する特徴データおよびモデルにおける特徴パラメータ
とを対応付けて記憶部１０３に記憶する。
【００３３】図３は、本実施の形態における解像度変換
装置で行なわれるモデル構成処理の流れを示すフローチ
ャートである。図３を参照して、画像入力部１０１で基
準顔画像が入力される（ステップＳ０１）。ここで、基
準顔画像とは、モデル構成部１１５でモデルを構成する
ために用いられる顔画像をいい、基準顔画像は複数あ
る。
【００３４】そして、画像入力部１０１で入力された基
準顔画像が正規化される（ステップＳ０２）。正規化と
は、入力された基準顔画像の大きさを所定の基準に合せ
ることをいう。具体的には、顔画像の両面の間隔を所定
の値に合せることにより行なわれる。ここでは、正規化
は、基準顔画像の縮小のみが行なわれ、拡大することは
行なわれない。より好ましくは、基準顔画像の解像度は
すべて同じであることが望ましい。
【００３５】次に、画像入力部１０１で入力された基準
画像について、各画素の座標と濃度値とが特徴データと
して入力される（ステップＳ０３）。
【００３６】次のステップＳ０４では、他に入力するべ
き基準顔画像があるか否かが判断される。これは、使用
者が操作部１０２より入力する信号をもとに判断され
る。他に入力する基準顔画像がある場合には、上述のス
テップＳ０１〜Ｓ０３の処理が新たに入力される基準顔
画像について施される。他に入力されるべき基準顔画像
がない場合には、ステップＳ０５に進む。ステップＳ０
１〜ステップＳ０３の処理を複数の基準顔画像に対して
行うことで、複数の基準顔画像ごとに特徴データが入力
される。
【００３７】ステップＳ０５では、画像入力部１０１で
入力された基準顔画像のすべての特徴データに対して主
成分分析が行われる。主成分分析は公知の統計的手法で
あるので、ここでは説明を省略する。ステップＳ０５で
主成分が抽出されると、ステップＳ０６で寄与率の合計
がしきい値Ｔよりも大きいか否かが判断される。したが
って、寄与率の合計がしきい値Ｔより大きくなるまでス
テップＳ０５で主成分分析が繰返し行なわれる。
【００３８】寄与率がしきい値Ｔより大きくなった場合
には、ステップＳ０７で主成分を表わす基底に対応する
固有ベクトルが記憶部１０３に記憶される。記憶部１０
３に記憶される基底に対する固有ベクトルにより、モデ
ルが構成される。
【００３９】そして次のステップＳ０９では、ステップ
Ｓ０１で入力された基準顔画像についてモデルにおける
特徴パラメータが求められ、基準顔画像と特徴パラメー
タとが対応付けられて記憶部１０３に記憶される。
【００４０】このようにして、基準顔画像からモデルが
生成され、モデルを生成するために用いられた基準顔画
像とその特徴パラメータとを関連付けたデータを含む顔
画像のデータベースが作成される。なお、基準顔画像
は、すべて異なる人物の顔でもよく、同一人の顔画像で
あってもよい。同一人の顔画像の場合には、同一人の顔
画像を表わす特徴パラメータのモデルにおける分布は、
表情の違いにより、クラスタ状に近い範囲で分布するこ
とになる。
【００４１】このように生成されたモデルについては、
T.F. Cootes et al.,“Active Appearance models”,
“In Burkhardt and Neumann, editors, Computer Visi
on-ECCV '98”, Vo1. II, Frieburg, Germany, 1999に
記載されている。このコートらが提案するアクティブ・
アピアランス・モデル（ＡＡＭ）は、入力された２次元
の画像をモデルに射影することにより、入力された２次
元の画像の特徴パラメータを求めることができる。より
具体的には、入力画像と任意のモデルパラメータを用い
てモデルで生成された推定モデルとの残差が求められ
る。求められた残差と、モデルパラメータの残差をなく
すための変動量との関連を予め学習しておくことによ
り、高速に入力された画像に対する特徴パラメータを導
出するものである。
【００４２】生成されたモデルを構成する基底それぞれ
に対する固有ベクトルは、入力された画像を解像度変換
を行なうのと同様に、解像度変換を行なうことができ
る。モデルを構成する基底それぞれに対する固有ベクト
ルを解像度変換したものを、より解像度の低い低次元の
モデルとして利用する。これをモデルの階層化という。
【００４３】画像の階層化では、一般的に画像にガウス
フィルタを施した後、１画素ごとに間引きして縮小画像
を生成し、これを所定回数繰返すことで、複数の階層の
縮小画像が作成される。このようにして作成された複数
の階層の縮小画像は、ガウシアンピラミッドと呼ばれ
る。
【００４４】図４は、ガウシアンピラミッドを模式的に
示す図である。図４を参照して、レベル０、レベル１、
レベル２およびレベル３の順に、画像の解像度が小さく
なる。
【００４５】これに対してモデルの階層化は、次のよう
にして行なうことができる。主成分分析によって得られ
た基底と特徴パラメータと画像の関係は、式（１）で表
わすことができる。この場合、基底に対する固有ベクト
ルを、画像の階層化の場合と同様に解像度変換すること
ができる。
【００４６】画像の階層化と同様に、正規直交基底を構
成する固有ベクトル０〜ｎに対して、ガウスフィルタを
施し、固有ベクトルの成分を間引きして階層化した正規
直交基底を作成する。この場合、固有ベクトルの成分が
減少するが、固有ベクトルの数は変化しないので、それ
ぞれの階層で共通の特徴パラメータを用いることができ
る。したがって、モデルを階層化することにより求めら
れたそれぞれのモデルで共通の特徴パラメータを用いる
ことができる。また、階層化されたそれぞれのモデルで
同じ特徴パラメータを用いて画像を生成すれば、生成さ
れる画像自体は画像の階層化で生成されるガウシアンピ
ラミッドを構成することになる。
【００４７】式（２）は、式（１）で表されたモデルを
階層化することにより生成される解像度が１／４に変換
されたモデルの基底、特徴ベクトル、画像ベクトルとの
関係を示す。
【００４８】式（２）と式（１）とを比較して明らかな
ように、特徴ベクトルの次元数に変化はない。これに対
して、それぞれのモデルの基底に対する固有ベクトルの
次元が、解像度変換後には、変換前の１／４となってい
る。一方、固有ベクトルの数に変化はない。そして、画
像ベクトルの次元が、変換前の１／４倍となっている。
【００４９】
【数１】
【００５０】モデルの階層化については、他の方法が考
えられる。まず、モデルを生成するための画像につい
て、ガウシアンピラミッドを作成する画像の階層化を行
なう。次に、作成されたガウシアンピラミッドの各階層
ごとの画像群に対してそれぞれ主成分分析を行なってモ
デルを生成する。この方法で作成された階層化モデルで
は、モデルの基底に対応する固有ベクトルは、同じ画像
であっても階層ごとに異なる。このため、一つの画像に
ついてすべての階層で共通の特徴パラメータを用いるこ
とはできない。これに対応するために、ある画像のある
階層モデルでの特徴パラメータと別の階層での特徴パラ
メータとの関係を、予めニューラルネットなどを用いて
学習しておくことにより、階層間を関連付ける必要があ
る。これにより、階層モデル間が関連付けられるので、
一つの画像に対応する特徴パラメータを一つの階層モデ
ルで求めることにより、その画像の他の階層モデルの特
徴パラメータを求めることができる。
【００５１】図５は、本実施の形態における解像度変換
装置の解像度変換機能の概要を示すブロック図である。
解像度変換装置は、画像入力部１０１で入力された画像
から顔が表された顔領域を抽出する顔領域抽出部１５１
と、顔以外の背景が表された背景領域を線形補間または
３次補間により補間して画像を拡大する画像拡大部１５
３と、顔領域抽出部１５１で抽出された顔領域の画像
を、記憶部１０３に記憶されたモデルに射影して特徴パ
ラメータを導出するための特徴パラメータ導出部１５５
と、記憶部１０３に記憶されている他のモデルに特徴パ
ラメータ導出部１５５で求められた特徴パラメータを用
いて画像を生成する画像生成部１５７と、画像生成部１
５７で生成された画像と画像拡大部１５３で拡大された
画像とを合成する画像合成部１５９と、合成された画像
を出力するための出力部１０４とを含む。
【００５２】記憶部１０３には、上述したモデル構成処
理において生成されたモデルと、モデルの階層化により
解像度変換された複数のモデルとが、階層化モデルとし
て記憶されている。
【００５３】顔領域抽出部１５１は、画像入力部１０１
で入力された画像から顔が表わされた顔領域を抽出し、
顔領域の画像を特徴パラメータ導出部１５５に送信し、
顔以外の背景領域の画像を画像拡大部１５３に送信す
る。
【００５４】画像拡大部１５３では、顔領域抽出部１５
１より受信した背景領域の画像を線形補間または３次補
間することにより、背景領域の画像の解像度を変換す
る。ここでは、解像度を高くする画像拡大が行なわれ
る。特徴パラメータ導出部１５５では、顔領域抽出部１
５１より受信した顔領域の画像の解像度に対応するモデ
ルを、記憶部１０３に記憶されている階層化モデルの中
から抽出し、抽出されたモデルに顔領域の画像を射影す
る。この射影は、上述した特徴パラメータの導出処理を
用いて行なわれる。すなわち、顔領域の画像と、任意の
特徴パラメータを用いてモデルで生成されるモデル画像
との残差を求め、求められた残差に基づき特徴パラメー
タの変動量を求め、求められた変動量に基づき顔領域の
画像に対応する特徴パラメータを導出する。
【００５５】画像生成部１５７では、記憶部１０３に記
憶されている階層化モデルのうち、所望の解像度で表わ
されるモデルを抽出し、抽出されたモデルに特徴パラメ
ータ導出部１５５で導出された特徴パラメータを用いて
画像を生成する。画像生成部１５７で生成される顔画像
の解像度と、画像拡大部１５３で拡大される背景領域の
画像の解像度とは同じである。
【００５６】画像合成部１５９は、画像生成部１５７で
生成された顔領域の画像と画像拡大部１５３で拡大され
た背景領域の画像とを合成する。そして、合成された画
像は出力部１０４に出力され、ディスプレイで表示また
はプリンタで印刷される。
【００５７】図６は、本実施の形態における解像度変換
装置で行なわれる解像度変換処理を模式的に示した図で
ある。図６を参照して、階層化モデルは、モデル１６
１、モデル１６１よりも解像度が高いモデル１６２、モ
デル１６２よりも解像度が高いモデル１６３を含む。モ
デル１６１は解像度レベル０であり、モデル１６２は解
像度レベル１であり、モデル１６３は解像度レベル２で
ある。モデル１６３の解像度はモデル１６２の４倍であ
り、モデル１６２の解像度はモデル１６１の４倍であ
る。この場合、モデル１６３が図３に示したモデル構成
処理により生成される。そして、モデルの階層化は、モ
デル１６３を解像度変換することによりモデル１６２と
モデル１６１とが求められる。
【００５８】入力画像１６５について、入力画像１６５
の解像度に対応するモデル１６１が抽出され、モデル１
６１に入力画像１６５が射影される。この射影により特
徴パラメータ１６７が求められる。そして、モデル１６
３で求められた特徴パラメータ１６７を用いて画像を生
成することにより、画像１６９が生成される。この結
果、画像１６９の解像度は、入力画像１６５の１６倍と
なる。また、モデル１６２で特徴パラメータ１６７を用
いて生成される画像の解像度は、入力画像１６５の４倍
となる。
【００５９】図７は、本実施の形態における解像度変換
装置で行なわれる解像度変換処理の流れを示すフローチ
ャートである。図７を参照して、解像度変換装置では、
画像入力部１０１で画像が入力される（ステップＳ１
１）。そして、入力された画像は、顔領域抽出部１５１
で顔領域の画像が抽出される（ステップＳ１２）。
【００６０】顔領域の画像に対応する基準のモデルサイ
ズが決定される（ステップＳ１３）。モデルサイズと
は、記憶部１０３に記憶されている階層化モデルのう
ち、顔領域の画像の解像度に対応するモデルの大きさを
いう。階層化モデルは、上述したとおり解像度により階
層化されている。階層化モデルのそれぞれのモデルの解
像度と画像の解像度とが対応している。したがって、ス
テップＳ１３では、顔領域の画像の解像度に基づき、顔
領域の画像の解像度に対応するモデルが階層化モデルの
中から決定される。顔領域の画像の解像度に対応するモ
デルは、顔領域の画像の解像度よりも解像度が小さく、
最も近い解像度のモデルである。
【００６１】そしてステップＳ１４では、顔画像のフィ
ルタリングが行なわれる。ここでは、モデルと整合させ
るためにガウスフィルタリング処理が行なわれる。
【００６２】そして、特徴パラメータ導出部１５５にお
いて、ステップＳ１３で決定されたモデルに顔領域の画
像を射影することにより、特徴パラメータが導出され
る。
【００６３】ステップＳ１６では、ステップＳ１３で決
定されたモデルよりも上位階層のモデルが画像生成部１
５７により抽出され、画像が生成される。上位階層のモ
デルとは、解像度がより高いモデルをいう。ここで抽出
される上位階層のモデルは、顔領域の画像を拡大する倍
率により決定される。すなわち、解像度を２倍に変換す
る場合には、解像度が２倍のモデルが上位階層のモデル
として抽出される。そして抽出された上位階層のモデル
にステップＳ１５で導出された特徴パラメータを用いて
画像が生成される。
【００６４】次に、画像拡大部１５３により顔領域以外
の背景領域の画像が線形補間または３次補間されること
により、解像度変換される（ステップＳ１７）。ここで
の解像度変換は、ステップＳ１６で上位階層のモデルの
抽出の場合と同様に、顔領域の画像を拡大する倍率によ
り決定される。したがって、顔領域の画像と背景領域の
画像との解像度が同じとなる。
【００６５】ステップＳ１８では、ステップＳ１６で生
成された顔領域の画像とステップＳ１７で解像度変換さ
れた背景領域の画像とが合成され、出力部１０４に出力
される。
【００６６】なお、本実施の形態においては、顔画像の
解像度変換について説明したが、これに限定されるわけ
ではなく、あらゆる被写体について適用することができ
る。
【００６７】以上説明したとおり、本実施の形態におけ
る解像度変換装置においては、入力された画像を階層化
されたモデルを使って拡大するので、ぼけのない画像を
生成することができる。また、モデルを解像度ごとに階
層化しておくことにより、すべての階層において特徴パ
ラメータを共通に用いることができる。このため、１つ
の画像に対していずれかのモデルで特徴パラメータを求
めさえすれば、求められた特徴パラメータを他のモデル
で共通に用いることができ、画像の解像度を容易に変換
することができる。
【００６８】また、本実施の形態における解像度変換装
置で行なわれる処理は、プログラムで記述し、コンピュ
ータでそのプログラムを実行させることにより、上述し
た解像度変換処理と同様の機能を実現することができ
る。
【００６９】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【図面の簡単な説明】
【図１】 本実施の形態の１つにおける解像度変換装置
のハード構成を示すブロック図である。
【図２】 本実施の形態における解像度変換装置のモデ
ル構成機能の概要を示す機能ブロック図である。
【図３】 本実施の形態における解像度変換装置で行な
われるモデル構成処理の流れを示すフローチャートであ
る。
【図４】 ガウシアンピラミッドを模式的に示す図であ
る。
【図５】 本実施の形態における解像度変換装置の解像
度変換機能の概要を示す機能ブロック図である。
【図６】 本実施の形態における解像度変換装置の解像
度変換処理を模式的に示した図である。
【図７】 本実施の形態における解像度変換装置で行わ
れる解像度変換処理の流れを示すフローチャートであ
る。
【符号の説明】
１００ 制御部、１０１ 画像入力部、１０２ 操作
部、１０３ 記憶部、１０４ 出力部、１０５ 外部記
憶装置、１０６ 記録媒体、１１３ 階層モデル生成
部、１１５ モデル構成部、１５１ 顔領域抽出部、１
５３ 画像拡大部、１５５ 特徴パラメータ導出部、１
５７ 画像生成部、１５９ 画像合成部、１６１，１６
２，１６３ モデル、１６５ 入力画像、１６７ 特徴
パラメータ、１６９ 画像。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CC03 CD05 CD06 CD07 CE06 CE08 CH08 CH11 CH18 DA16 DC01 5C076 AA13 AA21 AA22 BA06 BB06 BB15 BB40 CA10

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 複数の画像に統計処理を施して生成され
    たモデルを用いて解像度を変換する解像度変換プログラ
    ムを記録したコンピュータ読取可能な記録媒体であっ
    て、 解像度の異なる複数のモデルを用意するステップと、 入力された画像を受信するステップと、 前記入力された画像の解像度レベルを検出するステップ
    と、 前記入力された画像の特徴パラメータを取得するために
    前記検出された解像度レベルに応じたモデルに前記入力
    された画像を射影するステップと、 前記特徴パラメータの取得に用いられたモデルとは異な
    るモデルに前記取得された特徴パラメータを用いて画像
    を生成するステップとをコンピュータに実行させるため
    の解像度変換プログラムを記録したコンピュータ読取可
    能な記録媒体。
  2. 【請求項２】 解像度の異なる複数のモデルを用意する
    前記ステップは、統計処理を施して生成されたモデルを
    解像度変換するステップを有する、請求項１に記載の解
    像度変換プログラムを記録したコンピュータ読取可能な
    記録媒体。
  3. 【請求項３】 解像度の異なる複数のモデルを用意する
    前記ステップは、複数の画像それぞれを解像度変換し、
    各解像度の画像について統計処理を施してモデルを生成
    するステップを有する、請求項１に記載の解像度変換プ
    ログラムを記録したコンピュータ読取可能な記録媒体。
  4. 【請求項４】 前記画像生成ステップは、前記検出され
    た解像度レベルよりも解像度の高いモデルで画像を生成
    する、請求項１に記載の解像度変換プログラムを記録し
    たコンピュータ読取可能な記録媒体。
  5. 【請求項５】 前記複数の画像は、人の顔の画像であ
    る、請求項１に記載の解像度変換プログラムを記録した
    コンピュータ読取可能な記録媒体。
  6. 【請求項６】 前記入力された画像から顔領域を抽出す
    るステップと、 前記入力された画像の解像度を変換するステップと、 前記解像度変換された画像と前記生成ステップにより生
    成された画像とを合成するステップとをさらに含む、請
    求項５に記載の解像度変換プログラムを記録したコンピ
    ュータ読取可能な記録媒体。
  7. 【請求項７】 解像度の異なる複数のモデルを用意する
    手段と、 入力された画像を受信する受信手段と、 前記入力された画像の解像度レベルを検出する検出手段
    と、 前記入力された画像の特徴パラメータを取得するために
    前記検出された解像度レベルに応じたモデルに入力され
    た画像を射影する射影手段と、 前記特徴パラメータの取得に用いられたモデルとは異な
    るモデルに前記取得された特徴パラメータを用いて画像
    を生成する画像生成手段とを含む、解像度変換装置。
  8. 【請求項８】 複数の画像に統計処理を施して生成され
    たモデルを用いて解像度を変換する解像度変換方法であ
    って、 解像度の異なる複数のモデルを用意するステップと、 入力された画像を受信するステップと、 前記入力された画像の解像度レベルを検出するステップ
    と、 前記入力された画像の特徴パラメータを取得するために
    前記検出された解像度レベルに応じたモデルに前記入力
    された画像を射影するステップと、 前記特徴パラメータの取得に用いられたモデルとは異な
    るモデルに前記取得された特徴パラメータを用いて画像
    を生成するステップとを含む、解像度変換方法。
JP2000368842A 2000-12-04 2000-12-04 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法 Pending JP2002170112A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000368842A JP2002170112A (ja) 2000-12-04 2000-12-04 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法
US09/989,653 US6820137B2 (en) 2000-12-04 2001-11-21 Computer-readable recording medium storing resolution converting program, resolution converting device and resolution converting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000368842A JP2002170112A (ja) 2000-12-04 2000-12-04 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法

Publications (1)

Publication Number Publication Date
JP2002170112A true JP2002170112A (ja) 2002-06-14

Family

ID=18838983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000368842A Pending JP2002170112A (ja) 2000-12-04 2000-12-04 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法

Country Status (2)

Country Link
US (1) US6820137B2 (ja)
JP (1) JP2002170112A (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006033257A1 (ja) * 2004-09-24 2006-03-30 Matsushita Electric Industrial Co., Ltd. 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム
JP2006350498A (ja) * 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
JPWO2006059504A1 (ja) * 2004-11-30 2008-06-05 松下電器産業株式会社 画像処理方法、画像処理装置、画像処理プログラムおよび画像ファイルフォーマット
WO2009125578A1 (ja) * 2008-04-07 2009-10-15 富士フイルム株式会社 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体
JP2009253764A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2009253765A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2009273117A (ja) * 2008-04-07 2009-11-19 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
WO2011013610A1 (ja) * 2009-07-31 2011-02-03 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム及び記録媒体
WO2011013608A1 (ja) * 2009-07-31 2011-02-03 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム及び記録媒体
WO2011013606A1 (ja) * 2009-07-31 2011-02-03 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム及び記録媒体
JP2011035658A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP2012043151A (ja) * 2010-08-18 2012-03-01 Canon Inc 画像処理装置及びその方法、プログラム、並びに撮像装置
JP2013026659A (ja) * 2011-07-15 2013-02-04 Univ Of Tsukuba 超解像画像処理装置及び超解像画像処理用辞書作成装置
US8447128B2 (en) 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
JP2017194301A (ja) * 2016-04-19 2017-10-26 株式会社デジタルハンズ 顔形状測定装置及び方法
CN109993712A (zh) * 2019-04-01 2019-07-09 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法及相关设备
CN110278486A (zh) * 2018-03-14 2019-09-24 阿里巴巴集团控股有限公司 图像处理、图像分辨率处理参数的生成方法及装置
WO2023287089A1 (ko) * 2021-07-16 2023-01-19 삼성전자 주식회사 입 모양을 생성하는 전자 장치 및 그 동작 방법
JP7521311B2 (ja) 2020-08-03 2024-07-24 株式会社リコー 読取装置、画像形成装置、画像処理方法およびプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7047522B1 (en) * 2001-04-30 2006-05-16 General Electric Capital Corporation Method and system for verifying a computer program
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
JP2005039794A (ja) 2003-07-18 2005-02-10 Matsushita Electric Ind Co Ltd 表示処理方法及び表示処理装置
US20050091279A1 (en) * 2003-09-29 2005-04-28 Rising Hawley K.Iii Use of transform technology in construction of semantic descriptions
JP4696608B2 (ja) * 2005-03-15 2011-06-08 オムロン株式会社 被写体認証装置、携帯電話、及び被写体認証プログラム
JP2007006182A (ja) * 2005-06-24 2007-01-11 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム
US7778492B2 (en) * 2006-04-04 2010-08-17 Oldford Group Limited System and method for scaling digital images
WO2009122760A1 (ja) * 2008-04-04 2009-10-08 富士フイルム株式会社 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体
CN102611872B (zh) * 2011-01-19 2014-07-02 株式会社理光 基于感兴趣区域动态检测的场景影像转换系统和方法
JP2012249175A (ja) * 2011-05-30 2012-12-13 Olympus Imaging Corp 撮像装置、表示方法およびプログラム
JP2022088814A (ja) * 2020-12-03 2022-06-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
JPH11213139A (ja) * 1998-01-30 1999-08-06 Shima Seiki Mfg Ltd 試着シミュレーションシステム
EP1956557A1 (en) * 2000-03-08 2008-08-13 Cyberextruder.com, Inc. Generating a 3-D representation form

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006033257A1 (ja) * 2004-09-24 2006-03-30 Matsushita Electric Industrial Co., Ltd. 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム
US7924315B2 (en) 2004-11-30 2011-04-12 Panasonic Corporation Image processing method, image processing apparatus, image processing program, and image file format
JPWO2006059504A1 (ja) * 2004-11-30 2008-06-05 松下電器産業株式会社 画像処理方法、画像処理装置、画像処理プログラムおよび画像ファイルフォーマット
US8780213B2 (en) 2004-11-30 2014-07-15 Panasonic Corporation Image processing method, image processing apparatus, image processing program, and image file format
JP4701187B2 (ja) * 2004-11-30 2011-06-15 パナソニック株式会社 画像処理方法、画像処理装置、および画像処理プログラム
JP2006350498A (ja) * 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
WO2009125578A1 (ja) * 2008-04-07 2009-10-15 富士フイルム株式会社 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体
JP2009273117A (ja) * 2008-04-07 2009-11-19 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
US8447128B2 (en) 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
JP2009253764A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2009253765A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
WO2011013610A1 (ja) * 2009-07-31 2011-02-03 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム及び記録媒体
US8605995B2 (en) 2009-07-31 2013-12-10 Fujifilm Corporation Image processing device and method, data processing device and method, program, and recording medium
JP2011034345A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP2011034343A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP2011035658A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP2011034342A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
WO2011013608A1 (ja) * 2009-07-31 2011-02-03 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム及び記録媒体
WO2011013606A1 (ja) * 2009-07-31 2011-02-03 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム及び記録媒体
US8548230B2 (en) 2009-07-31 2013-10-01 Fujifilm Corporation Image processing device and method, data processing device and method, program, and recording medium
US8565518B2 (en) 2009-07-31 2013-10-22 Fujifilm Corporation Image processing device and method, data processing device and method, program, and recording medium
JP2012043151A (ja) * 2010-08-18 2012-03-01 Canon Inc 画像処理装置及びその方法、プログラム、並びに撮像装置
JP2013026659A (ja) * 2011-07-15 2013-02-04 Univ Of Tsukuba 超解像画像処理装置及び超解像画像処理用辞書作成装置
JP2017194301A (ja) * 2016-04-19 2017-10-26 株式会社デジタルハンズ 顔形状測定装置及び方法
CN110278486A (zh) * 2018-03-14 2019-09-24 阿里巴巴集团控股有限公司 图像处理、图像分辨率处理参数的生成方法及装置
CN109993712A (zh) * 2019-04-01 2019-07-09 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法及相关设备
JP2022510622A (ja) * 2019-04-01 2022-01-27 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド 画像処理モデルの訓練方法、画像処理方法、ネットワーク機器、及び記憶媒体
JP7206386B2 (ja) 2019-04-01 2023-01-17 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド 画像処理モデルの訓練方法、画像処理方法、ネットワーク機器、及び記憶媒体
US11741581B2 (en) 2019-04-01 2023-08-29 Tencent Technology (Shenzhen) Company Limited Training method for image processing model, image processing method, network device, and storage medium
JP7521311B2 (ja) 2020-08-03 2024-07-24 株式会社リコー 読取装置、画像形成装置、画像処理方法およびプログラム
WO2023287089A1 (ko) * 2021-07-16 2023-01-19 삼성전자 주식회사 입 모양을 생성하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US6820137B2 (en) 2004-11-16
US20020114534A1 (en) 2002-08-22

Similar Documents

Publication Publication Date Title
JP2002170112A (ja) 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
US7885477B2 (en) Image processing method, apparatus, and computer readable recording medium including program therefor
JP4886645B2 (ja) 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
JP5081922B2 (ja) フォトリアルな画像サムネイルを生成する装置及び方法
JP4799101B2 (ja) 画像処理方法および装置ならびにプログラム
JP4795718B2 (ja) 画像処理装置および方法並びにプログラム
KR100407111B1 (ko) 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
CN108133456A (zh) 人脸超分辨率重建方法、重建设备以及计算机系统
US20060280380A1 (en) Apparatus, method, and program for image processing
US6633303B2 (en) Method, system and record medium for generating wide-area high-resolution image
US9129149B2 (en) Information processing apparatus, method, and program
US20120128238A1 (en) Image processing device and method, data processing device and method, program, and recording medium
US20110249001A1 (en) Matrix generation apparatus, method, and program, and information processing apparatus
JP2007094549A (ja) 画像処理方法および装置ならびにプログラム
CN107818554A (zh) 信息处理设备和信息处理方法
JP2006318103A (ja) 画像処理装置および方法並びにプログラム
JP2007096405A (ja) ぶれ方向判定方法および装置ならびにプログラム
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
JP2002024811A (ja) 影成分除去装置
JP2005071344A (ja) 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体
US6931145B1 (en) Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model
JP4250237B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP7238510B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2004288082A (ja) 似顔絵作成方法および似顔絵作成装置ならびにプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126