JP2015524946A - 画像解像度が改善された超解像画像を形成するための方法及び測定装置 - Google Patents

画像解像度が改善された超解像画像を形成するための方法及び測定装置 Download PDF

Info

Publication number
JP2015524946A
JP2015524946A JP2014546354A JP2014546354A JP2015524946A JP 2015524946 A JP2015524946 A JP 2015524946A JP 2014546354 A JP2014546354 A JP 2014546354A JP 2014546354 A JP2014546354 A JP 2014546354A JP 2015524946 A JP2015524946 A JP 2015524946A
Authority
JP
Japan
Prior art keywords
image
individual
segments
individual images
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014546354A
Other languages
English (en)
Inventor
エーファース−ゼネ ヤン−フリーゾ
エーファース−ゼネ ヤン−フリーゾ
シュトラートマン マーティン
シュトラートマン マーティン
シュミーダー マティアス
シュミーダー マティアス
ランゲ イェアク
ランゲ イェアク
Original Assignee
テスト アクチエンゲゼルシャフト
テスト アクチエンゲゼルシャフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テスト アクチエンゲゼルシャフト, テスト アクチエンゲゼルシャフト filed Critical テスト アクチエンゲゼルシャフト
Publication of JP2015524946A publication Critical patent/JP2015524946A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

不可視スペクトル領域で一連の個別画像（６，７，８）を記録するための測定装置において、個別画像（６，７，８）の画像解像度よりも高い画像解像度を有するＳＲ画像（１１）を形成するための方法が提案される。この方法では、上述の複数の個別画像（６，７，８）に対して、オプティカルフローの算出によって、変位ベクトル場（１１，１２）が求められ、また、個別画像（６，７，８）が変位ベクトル場（１１，１２）の値に関して複数のセグメント（２０，２１，２２，２３，２４，２５）に区分され、その際に、それらのセグメント（２０，２１，２２，２３，２４，２５）に対応付けられている個別の変動パラメータを用いて、個別画像（６，７，８）からＳＲ画像（１１）を算出するために最適化法が実施される。

Description

本発明は、画像解像度が改善された超解像画像、即ちＳＲ（super resolution）画像を形成するための方法に関する。本方法においては、複数のピクセルから構成されている一連の個別画像が不可視スペクトル領域において記録され、それらの一連の個別画像がサンプリング関数を用いてＳＲ画像のサンプリングとしてモデリング可能であるように、個別画像は最適化法において一つのＳＲ画像に結合される。
正に不可視スペクトル領域においては、個別画像の記録に使用される測定装置の検出器に依存する画像解像度は、非常に小型の検出器及び測定面積当りの過度に多い検出器でもって製造コストが非常に高くなることによって制限されている。
本発明は、検出器の解像度を高める必要なく、どのようにして解像度を高めることができるかという問題に取り組む。
これに関連して、カメラ又は検出器の動きを利用して、記録された複数の個別画像を一つの高解像ＳＲ画像に結合させることができる方法が多数開発されている。
そのような結合は、測定装置の光学的特性及び検出器解像度をモデリングすることができるＳＲ画像のサンプリングとして個別画像を表すことができるように実施される。
従って、公知の方法は個別画像間の僅かな偏差を利用して、ＳＲ画像のより高い画像解像度を達成している。しかしながら実際のところは、例えば記録される対象物が移動するか、又は大きく変化するといった理由から、個別画像が相互に大きく偏差する場合には問題が発生する可能性がある。
そのような状況においては、ＳＲ画像が、いずれの個別画像にも含まれていないアーチファクトも有してしまう危険が存在するので、その場合には通常、記録された一連の個別画像が破棄され、ＳＲ画像を作成するために新たな一連の個別画像が記録される。
更に本発明は、不可視スペクトル領域において一連の画像を記録するための手段を備えている測定装置に関する。その種の測定装置は、有利には、上述の方法を実施するために使用される。
本発明の課題は、冒頭で述べた方法をよりロバストに構成することである。
この課題を解決するために本発明によれば、冒頭で述べた方法において、第１のステップでは、一連の個別画像についてオプティカルフローが自動的に算出され、各個別画像に、オプティカルフローを表す変位ベクトル場が対応付けられ、第２のステップでは、個別画像が少なくとも二つのセグメントに区分され、但し、セグメント内の各ピクセルは変位ベクトル場の値領域の所定の部分領域内の変位ベクトルを有しており、また第３のステップでは、最適化法が実施され、各セグメントに対して少なくとも一つの別個の変動パラメータが変化される。それらの特徴によって、有利には、大きく変化する画像内容を有する画像領域を、変化が小さいか又は変化していない画像内容を有する画像領域とは異なるやり方で処理できるように、最適化法を画像内容に適合させることができる。本発明により良好に処理することができる典型的な状況は、移動する対象物が不変の背景の手前に表されている個別画像の処理である。個別画像よりも実際に小さく、従って各個別画像のサブセットである上述の画像領域は上述の区分によってセグメントとして特徴付けられ、更に処理される。
個別画像及びＳＲ画像は有利には二次元の画像である。
オプティカルフローはそれ自体公知の方法を用いて、個別画像を相互に比較することによって算出される。計算結果として存在する変位ベクトル場は、ピクセル又はピクセル群に対応付けられた画像内容が個別画像間でどのように変位したかをピクセル毎に又は局所的に表す。
各個別画像のピクセルにおいて変位ベクトル場を取るベクトルは全体として変位ベクトル場の値領域を表す。この値領域は複数の部分領域に分割される。また、複数のセグメントへの区分も行われ、それらのセグメントに関して、変位ベクトル場は部分領域内の変位ベクトルを取る。従って個別画像は、変位ベクトル場の値領域の部分領域と同数のセグメントに区分される。変位ベクトルの長さはそれぞれ、局所的な画像内容が二つの個別画像間でどれ程の距離だけ変位したのかを表すので、それにより、個別画像間の画像内容が大きく変化している画像領域を、画像内容の変化が極僅かであるか又は全く変化していない画像領域と区別することができる。変位ベクトルの角度は相対変位の方向を表しているので、画像内容が相互に異なる方向に移動する画像領域を簡単に区別し、それぞれ独立して考察することができる。
セグメントは、区分の際に寸法が適合される矩形の輪郭を有することができるが、不規則な輪郭を有しているセグメントを使用することもできる。複数のセグメントを関連付けて形成することができるか、又は相互に独立した複数の構成要素から形成することができる。
個別画像が本発明による方法の先行のステップにおいて、測定装置の画像記録手段によって記録され、更に処理される場合には非常に好適である。
最適化法においては、それ自体公知の方式でもって、エネルギ関数が最適化され、このエネルギ関数は、個別画像を記録する際に使用される結像光学系の結像特性及び個別画像を記録する際に使用される検出器の結像特性を表す。最適化の際に、一連の個別画像をサンプリング関数を用いて、可能な限りエラーの少ないＳＲ画像のサンプリングとして表すことができるようになるまで、ＳＲ画像と、結像特性を表す少なくとも一つの変動パラメータとが変化される。
結像特性を数学的に表すために、ＳＲ画像には演算子が適用されることが多く、この演算子は少なくとも、点拡がり関数を用いる畳み込み演算と解像度低減とから成る。
本発明は、個々のセグメントの各々に対して、適合された変動パラメータ又は適合された変動パラメータのセットを適用できるという利点を提供する。そのようにして、最適化法を個別画像の画像内容により良好に適合させることができ、またそれによって本方法のロバスト性は高まる。
例えば、前述の第３のステップにおいて、各セグメントに対して、一つの変位ベクトルを所属の部分領域から選択し、最適化法の開始点を規定するために使用することができる。有利には、僅かな計算ステップの終了後に既に最終結果を得ることができるので、最適化法を短縮できることである。
有利には、複数のセグメントが最適化法において個別にマスキングされる。そのようにして、最適化法が個々のセグメントに対して相互に影響を及ぼさない、又は相互に妨害しないことを簡単に達成することができる。ここでマスキングとは、無関係な画像部分又は障害となる画像部分をフェードアウトすることができる、各画像と数値マトリクスとの結合であると解される。
本発明の一つの実施の形態においては、一連の個別画像の内の一つの個別画像を基準個別画像として選択することができる。有利には、オプティカルフローを算出するための基準を簡単に定義することができる。
基準個別画像は、個別画像が継続的に記録される場合には、それらの一連の個別画像において遷移することも考えられる。
変位ベクトル場が基準個別画像に関して算出される場合には非常に好適である。
本発明の一つの実施の形態においては、オプティカルフローが算出される前に、各個別画像に関する大域的な位置合わせにおいて、大域変換又は剛性変換が算出され、その変換によって複数の個別画像の対応する画像内容を最適に相互に重ねることができるか、又は基準個別画像に重ねることができる。有利には、オプティカルフローの算出に必要とされる計算能力を低減することができる。更に有利には、画像内容全体の同種の画像変位を区分の前に補償することができる。そのようにして、オフセット又は背景の動きを簡単に算出することができる。
ここで、大域変換又は剛性変換とは、個別画像の複数のピクセルに対して同様に又は同じやり方で適用される画像内容の変換であると解される。従って、大域変換又は剛性変換は、局所的な変換又はピクセルに依存する変換の対義語であり、ある個別画像の、他の個別画像又は基準個別画像に対する変位、回転及び／又はスケーリングを全体的に検出する。
本発明の一つの実施の形態においては、最適化法においてエネルギ関数が最適化される。有利には、エネルギ関数は、使用される測定装置の結像特性を表す数理モデルを用いて結像されたＳＲ画像からの個別画像の偏差を評価する。この数理モデリングは、結像過程を表すための少なくとも１回の畳み込み演算と、使用される検出器を表すための画像解像度の低減とを含むことができる。有利には、ＳＲ画像を自動的に、即ちコンピュータを利用して求めることができる手段が提供されている。
エネルギ関数は画像ノイズをモデリングする項を有することもできる。有利には、実際の結像過程をモデリングすることができる。
各変動パラメータがセグメントの相対的な画像変位を表すことができる。有利には、二つの個別画像を時間的に連続して記録する間の、記録に使用される測定装置の意図的でない動きをシミュレートし、ＳＲ画像の形成に利用することができる。
各変動パラメータがサンプリング関数又は点拡がり関数を定義することができる。ここで、点拡がり関数とは、使用される測定装置を用いて理想化された点状の対象物の結像を表す関数であると解される。サンプリング関数によって、例えば検出器の寸法及び解像度によって必然的に生じる離散化を表すことができる。
本発明の一つの実施の形態においては、個別画像を複数のセグメントに区分したものから、ＳＲ画像を複数のＳＲセグメントに区分したものをそれぞれ導出することができる。有利には、最適化法をＳＲ画像の複数のＳＲセグメントに対して別個に実施することができ、これによって、それらのセグメントにおける各画像内容及びその変化により良好に適合させることができる。例えば、エネルギ関数の評価のために算出されなければならない積分を複数のＳＲセグメントにおいて相互に別個に算出することができる、及び／又は、個々のＳＲセグメントに対して異なる点拡がり関数を個別画像の再構成のためにエネルギ関数において使用することができる。
最適化法においては、変動パラメータを最適化した後に、適合されたＳＲ画像を反復的に作成し、続いて、その適合されたＳＲ画像について変動パラメータを改めて最適化することができる。有利には、ＳＲ画像の更に改善された品質を達成することができる。
本発明の一つの実施の形態においては、前述の第３のステップにおいて、個別画像のどのセグメントに対して最適化法が実施されるかを確認することができる。有利には、マスキング等を用いて、どのセグメントが最適化法においてフェードアウトされるべきかを確認することができる。従って、画像内容が非常に大きく変化していることに基づき、有用な結果を達成できないセグメントを最適化法から除外することができる。そのようにして、その他のセグメント又はＳＲセグメントに関するＳＲ画像の結果の品質を高めることができる。
設定領域内の所属の変位ベクトルを有している個別画像のセグメント又はＳＲ画像のＳＲセグメントに対してのみ最適化法を実施することもできる。そのようにして、画像内容が非常に大きく変化しているセグメントが計算結果に不所望に影響を及ぼすことを回避できる。
択一的に、設定領域外の所属の変位ベクトルを有している個別画像のセグメント又はＳＲ画像のＳＲセグメントに対してのみ最適化法を実施することもできる。有利には、画像内容が極僅かにしか変化しないことから、画像解像度の顕著な改善が期待できないセグメントを更なる処理から簡単に除外することができる。従って計算能力を節約することができる。その場合には、それらのセグメントに関して、個別画像間でほぼ変化しない画像内容を所属のＳＲセグメント乃至ＳＲ画像に引き継ぎ、その画像の画像解像度を達成するために、内挿又は測定値倍化によって、ＳＲ画像を補完することができる。
不可視スペクトル領域が赤外線スペクトル領域であり、且つ、記録される個別画像が熱画像である場合には、本発明を非常に有利に使用することができる。
上述の課題を解決するために、本発明によれば冒頭で述べたような測定装置において、本発明による方法を実施するために画像評価ユニットを構成及び設計することができる。この装置は有利には、画像評価ユニットの相応のプログラミングによって実施されており、本発明による個々の方法ステップに関して、それぞれ所属のプログラミングモジュールが実行可能に提供されている。
以下では、本発明を実施例に基づき詳細に説明するが、本発明はその実施例に限定されるものではない。特許請求の範囲に記載の個々の特徴又は複数の特徴を、相互に組み合わせることによって、及び／又は、実施例の個々の特徴又は複数の特徴と組み合わせることによって別の実施例も得られる。
本発明による方法を説明するための、非常に簡略化された概略的な原理図を示す。 前方から見た本発明による測定装置の三次元斜視図を示す。 後方から見た本発明による測定装置の三次元斜視図を示す。
図２及び図３には、前方及び後方から見た本発明による測定装置が三次元斜視図で示されており、この測定装置には全体として参照番号１を付している。ここで説明する実施例において、測定装置１は熱画像カメラとして構成されている。
測定装置１はそれ自体公知のやり方で、不可視スペクトル領域において一連の画像を記録するための画像記録手段２を有している。ここで図示している測定装置１としての熱画像カメラでは赤外線スペクトル領域が使用される。
画像記録手段２はこのために、不可視スペクトル領域にある電磁ビームを検出することができる記録光学系３と、測定装置１の内部において記録光学系３の後段に配置されている画像記録検出器４とを含んでいる。
画像記録検出器４は、上述の不可視スペクトル領域に対して感度を有しており、また画像を検出するために、即ち、測定値の空間的な分布、ここでは温度又は温度に関連する特性量を表す二次元に広がる測定値を検出するために構成されている。
画像記録検出器４は検出器解像度を有しており、記録された画像はその検出器解像度で多数のピクセルから構成されている。また各ピクセルには、記録された画像の測定値が対応付けられている。
測定装置１内には画像評価ユニット５が構成されており、この画像評価ユニット５は以下において説明する本発明による方法を実施するために設計されている。
この実施例において、画像評価ユニット５はデータ処理ユニットとして構成されており、相応のプログラミングによって設計されている。
測定装置１の画像記録検出器４でもって、それ自体公知のやり方で、上述の不可視スペクトル領域にある電磁ビームが記録光学系３でもって検出及び測定されることによって一連の個別画像６，７，８が記録され、またそれら一連の個別画像６，７，８が更に処理される。
従って測定結果として、各個別画像６，７，８に対して、二次元に並ぶ複数の測定値が存在しており、そこでは各測定値が一つのピクセル９，１０を形成している。個別画像６，７，８は多数のピクセルから構成されているが、図１においては、例示的に二つのピクセル９，１０だけを明記している。
個別画像６，７，８毎のピクセル９，１０の数によって、それらの個別画像６，７，８の画像解像度が表されるが、この画像解像度は画像記録検出器４の検出器解像度によって規定されている。画像記録検出器４は、二次元で格子状に配置されている多数の検出素子を有することができるか、又は画像記録検出器４をスキャン技術により構成することができる。
以下では、本発明による方法でもって、複数の個別画像６，７，８がどのように結合されて、画像解像度の改善されている、即ち個別画像６，７，８の画像解像度よりも高い画像解像度を有している、一つのＳＲ画像１１が形成されるかを詳細に説明する。
ここでは、個別画像６，７，８の画像解像度への画像解像度の低減を表すサンプリング関数がＳＲ画像１１にその都度適用されることによって、個別画像６，７，８をＳＲ画像１１からモデリングすることができる、即ち、少なくとも近似的に再構成することができる。
本発明による方法では、第１のステップにおいて、個別画像６，７，８についてオプティカルフローが自動的に、即ちコンピュータを利用して算出される。これに関して、個別画像７が基準個別画像として選択され、個別画像６及び８の局所的な画像部分が相互に重ねられるようにするためには、それらの局所的な画像部分を個別画像７に関して、絶対値ではどの程度又はどの方向に変位させなければならないか、若しくは一般的に、変形させなければならないかが計算される。それらの局所的な画像部分はここでは、相互に隣接している数個のピクセル９，１０によって表されている。
従って計算結果においては、各個別画像６，７，８に一つの変位ベクトル場１２，１３が対応付けられている。但し、基準個別画像７においては、至る所で極僅かな変位ベクトル場が対応付けられているので、図１においてはもはや示していない。
従って、変位ベクトル場１２，１３は、関連する個別画像６，７，８の各ピクセル９，１０に関する変位ベクトル１４，１５，１６，１７，１８，１９から構成されている。
図１においては、図を見易くするために、少数の変位ベクトル１４，１５，１６，１７，１８，１９しか示していない。
図１から見て取れるように、個別画像６，７，８内の変位ベクトル１４，１５，１６，１７，１８，１９は全てのピクセル９，１０に対して一定であるのではなく、各個別画像６，７，８のピクセル９，１０にわたり変化している。従って、変位ベクトル場１１，１２，１３は一般的に場所に依存している。このことは、例えば、静的な背景又は緩慢に変化する背景に対して対象物が移動することによって、複数の個別画像６，７，８に記録されるシーンがそれらの複数の個別画像６，７，８を記録している間に種々に変化していることに起因する。
従って、各変位ベクトル場１２，１３は、個別画像６，７，８内のピクセル９，１０にわたり変位ベクトル１４，１５，１６，１７，１８，１９が変化する値領域を規定する。ここで、各変位ベクトル１４，１５，１６，１７，１８，１９はその方向及び長さによって規定されており、それらが一緒になって前述の値領域を形成している。
本発明による方法の第２のステップにおいては、個別画像が複数のセグメント２０，２１，２２，２３，２４，２５に区分され、この区分は、セグメント２０，２１，２２，２３，２４，２５内のピクセル９，１０がそれぞれ、変位ベクトル場１２，１３の値領域の所定の部分領域内にあり、その一方で考察する各セグメント２０，２１，２２，２３，２４，２５外のピクセル９，１０が、前述の部分領域外にある変位ベクトル１４，１５，１６，１７，１８，１９を有するように行われる。これに関して、各値領域が複数の部分領域に事前に分割される。
図１においては、セグメント２２が個別画像６のセグメント２０及び２１の補足セグメントとなっており、またセグメント２５が個別画像８のセグメント２３及び２４の補足セグメントとなっている。
従って、セグメント２０及び２３又は２１及び２４は、個別画像７において対応する幾何学形状でもって示唆されている、画像構成要素２６乃至２７に対応すると考えられる。この場合、セグメント２０又は２３内の変位ベクトルは、画像構成要素２６の、個別画像７を基準とした個別画像６又は８間の変位を表し、その一方で、セグメント２１又は２４内の変位ベクトル１５，１８は、個別画像７を基準とした個別画像６又は８における画像部分２７の画像変位を表す。
またこの場合、変位ベクトル１４又は１７は記録されたシーンの背景２８の画像変位を表す。それらの変位ベクトル１４，１７を、先行して行われる粗い位置合わせにおいて消すことができる。
図１においては、図を見やすくするために、セグメント２０，２１，２２，２３，２４，２５内の変位ベクトル１４，１５，１６，１７，１８，１９が相互に平行に配向されており、且つ、画一的な長さを有している。しかしながら、セグメント２０，２１，２２，２３，２４，２５内の変位ベクトル１４，１５，１６，１７，１８，１９が所定の角度範囲内及び／又は所定の長さ範囲内で相互に偏差できるように、上述の部分領域を設定することもできる。
しかしながら、設定された部分領域の範囲は、セグメント２０，２１，２２，２３，２４，２５の範囲を規定する。従って、セグメント２０，２１，２２，２３，２４，２５がそれぞれ関連付けられて形成されているのではなく、相互に離隔された所定量のピクセル９，１０のセットを含んでいることも考えられる。
本発明による方法の第３のステップにおいては、個別画像６，７，８をＳＲ画像１１に結合させるために最適化法が実施され、この最適化法においては、各セグメント２０，２１，２２，２３，２４，２５に対して、少なくとも一つの別個の変動パラメータ、即ち独立した変動パラメータが変化される。
このために、各セグメント２０，２１，２２，２３，２４，２５に関して、変位ベクトル場１２，１３の値領域の所属の部分領域から、それぞれ一つの変位ベクトル２９，３０，３１，３２，３３，３４が選択される。選択された各変位ベクトル２９，３０，３１，３２，３３，３４は、それぞれの個別画像６，８のピクセル９，１０における変位ベクトル場１２，１３が該当するセグメント２０，２１，２２，２３，２４，２５内で有している変位ベクトル１４，１５，１６，１７，１８，１９によって表すことができる。しかしながら変位ベクトル２９，３０，３１，３２，３３，３４，３５を、個々の部分領域の設定によって規定することができ、例えば各部分領域の平均値又は限界値として規定することもできる。
最適化法においてはエネルギ関数が最適化される。このエネルギ関数は、測定装置１の画像記録手段２の結像過程の数理モデリングによって、試作されたＳＲ画像１１から導出することができる再構成された個別画像からの、個別画像の偏差６，７，８を評価する。この評価を、各個別画像６，７，８と、所属の再構成された個別画像との平方差の和又はその平方根を算出することによって行うことができる。
結像過程をモデリングするために、試作されたＳＲ画像１１に演算子が適用され、この演算子は、点拡がり関数を用いたＳＲ画像１１の畳み込みによって相対的な画像変位を表す。
またこの最適化法においては、ＳＲ画像１１から再構成された個別画像が記録された個別画像６，７，８と可能な限り良好に一致するまで、ＳＲ画像１１の画像内容及び上述の点拡がり関数が反復的に変化される。
エネルギ関数は、画像ノイズをモデリングする付加的な加法的な項を含んでいる。
個々のセグメント２０，２１，２２，２３，２４，２５に関する別個の変動パラメータを用いて最適化法を実施するために、個別画像６，７，８を複数のセグメント２０，２１，２２，２３，２４，２５に区分したものから、ＳＲ画像１１を複数のＳＲセグメント３５，３６，３７に区分したものが導出される。
これは例えば、個別画像６，８のセグメント２０，２３又はセグメント２１，２４に対して、それらのセグメント２０，２３又は２１，２４に対応するＳＲ画像１１のピクセルを共通して含んでいるＳＲセグメント３５，３６がそれぞれ一つずつ選択され、またＳＲセグメント３７がＳＲ画像１１におけるＳＲセグメント３５，３６の補足セグメントとして選択されることによって行われる。
各変位ベクトル２９，３０，３１，３２，３３，３４につき一つの点拡がり関数３８，３９，４０，４１，４２，４３が選択され、この点拡がり関数は相対的な画像変位を所属の変位ベクトル２９，３０，３１，３２，３３，３４を用いて数学的に表す。
この実施例においては、点拡がり関数３８，３９，４０，４１，４２，４３が、ディラックのデルタ関数として形成されており、その位置はそれぞれ画像変位を表す。別の実施例においては、別の点拡がり関数、例えばガウス関数が使用されている。
最適化法においては、所属の点拡がり関数３８，３９，４０，４１，４２，４３を有している各セグメント２０，２１，２２，２３，２４，２５乃至ＳＲセグメント３５，３６，３７のエネルギ関数への寄与分を算出するために、セグメント２０，２１，２２，２３，２４，２５乃至ＳＲセグメント３５，３６，３７が順次マスキングされる。
基準個別画像として使用された個別画像７に関しては、大域的な点拡がり関数４５が使用される。
最適化法においては、点拡がり関数３８，３９，４０，４１，４２，４３，４４の画像位置又は重心が変動パラメータとして変化される。図１に示した点拡がり関数３８，３９，４０，４１，４２，４３，４４は最適化法の開始点として使用される。
上述の区分の前に、既述のように個別画像６，７，８相互の粗い位置合わせが実施され、これによって記録されたシーンの背景２８に対応付けられているセグメント２２，２５の変位ベクトル１４，１７を完全に、又はほぼ完全に消すことができる。
セグメント２０，２１，２２，２３，２４，２５内の変位ベクトル１４，１５，１６，１７，１８，１９が設定領域外にあり、従って、非常に大きい画像変位を示すことが判明すると、所属のセグメント２０，２１，２２，２３，２４，２５が最適化法において全体が完全にマスキングされる。
従って、非常に大きく変化する画像内容に属するセグメント２０，２１，２２，２３，２４，２５は、最適化法の結果の質に悪影響を及ぼすことはない。所属のＳＲセグメント３５，３６，３７も最適化法において相応にマスキングすることができる。
択一的に、最適化法における変化に関して、信頼度を特徴付ける設定領域内の所属の変位ベクトル１４，１５，１６，１７，１８，１９を有しているセグメント２０，２１，２２，２３，２４，２５乃至ＳＲセグメント３５，３６，３７だけを選択することもできる。
最適化法においては、先ず、点拡がり関数３８，３９，４０，４１，４２，４３，４４の変動パラメータが、試作されたＳＲ画像１１について最適化される。続いて、その最適化により得られた最適な変動パラメータのセットに関して、エネルギ関数がその最適値に近付くまで、ＳＲ画像１１の画像内容が変化される。続いて、変動パラメータのセットが再び変化される。この方法は、結像条件が満たされるまで、反復的に継続される。
最適なＳＲ画像１１が算出された後に、そのＳＲ画像が表示手段４５、例えばディスプレイに表示される。
算出された最適なＳＲ画像１１を更なる処理のために、出力手段４６、例えばデータ出力部に供給することもできる。
上述の方法は、測定装置１において継続的に実施され、その際、規則的な時間間隔を空けて、一連の個別画像６，７，８の新たな個別画像６，７，８が記録される。基準個別画像７は、時間の経過と共に、それらの一連の個別画像６，７，８において遷移し、また、個別画像６，７，８の所定の記録回数によって規定されている規則的な時間間隔を空けて、新たなＳＲ画像１１が最新の個別画像６，７，８から算出及び出力される。そのようにして、表示手段４５上の表示が、新たな個別画像６，７，８の記録によって決定される周期で更新される。
換言すれば、本発明による方法では、動き評価によって局所的な動きが考慮され、また個別画像６，７，８の画像領域２６，２７，２８が相応にマスキングされるように、超解像の従来から既知の方法が修正される。高解像ＳＲ画像１１の算出の後続のサブステップは、そのマスキング及び局所的な動きを使用する。
不可視スペクトル領域で一連の個別画像６，７，８を記録するための測定装置においては、個別画像６，７，８の画像解像度よりも高い画像解像度を有するＳＲ画像１１を形成するための方法が提案され、この方法では、上述の複数の個別画像６，７，８に対して、オプティカルフローの算出によって、変位ベクトル場１１，１２が求められ、また、個別画像６，７，８が変位ベクトル場１１，１２の値に関して複数のセグメント２０，２１，２２，２３，２４，２５に区分され、その際に、それらのセグメント２０，２１，２２，２３，２４，２５に対応付けられている個別の変動パラメータを用いて、個別画像６，７，８からＳＲ画像１１を算出するために最適化法が実施される。
更に本発明は、不可視スペクトル領域において一連の画像を記録するための手段を備えている測定装置に関する。その種の測定装置は、有利には、上述の方法を実施するために使用される。
Krzysztof Malczewski等著の「Super-Resolution Thermal Image Reconstruction, Proceedings of IWSSIP 2010 − 17th International Conference on Systems, Signals and Image Processing」2010.6.17からは、算出された低解像画像と記録された低解像画像との差が高解像画像空間に変換されることによって、高解像画像が再帰的に算出される方法が公知である。
Stephen Won等著の「Sub-pixel registration of moving objects in visible and thermal imagery with adaptive segmentation, Proceedings of SPIE, Bd. 8050」2011.5.13の80501A-80501A-9頁からは、画像位置合わせ前に区分を行う方法が公知である。
この課題を解決するために本発明によれば、請求項１の特徴部分に記載されている構成が提案される。従って特に、冒頭で述べた方法において、第１のステップでは、一連の個別画像についてオプティカルフローが自動的に算出され、各個別画像に、オプティカルフローを表す変位ベクトル場が対応付けられ、第２のステップでは、個別画像が少なくとも二つのセグメントに区分され、但し、セグメント内の各ピクセルは変位ベクトル場の値領域の所定の部分領域内の変位ベクトルを有しており、また第３のステップでは、最適化法が実施され、各セグメントに対して少なくとも一つの別個の変動パラメータが変化される。それらの特徴によって、有利には、大きく変化する画像内容を有する画像領域を、変化が小さいか又は変化していない画像内容を有する画像領域とは異なるやり方で処理できるように、最適化法を画像内容に適合させることができる。本発明により良好に処理することができる典型的な状況は、移動する対象物が不変の背景の手前に表されている個別画像の処理である。個別画像よりも実際に小さく、従って各個別画像のサブセットである上述の画像領域は上述の区分によってセグメントとして特徴付けられ、更に処理される。
更に本発明は、不可視スペクトル領域において一連の画像を記録するための手段を備えている測定装置に関する。その種の測定装置は、有利には、上述の方法を実施するために使用される。
Krzysztof Malczewski等著の「Super-Resolution Thermal Image Reconstruction, Proceedings of IWSSIP 2010 − 17th International Conference on Systems, Signals and Image Processing」2010.6.17からは、算出された低解像画像と記録された低解像画像との差が高解像画像空間に変換されることによって、高解像画像が再帰的に算出される方法が公知である。
Stephen Won等著の「Sub-pixel registration of moving objects in visible and thermal imagery with adaptive segmentation, Proceedings of SPIE, Bd. 8050」2011.5.13の80501A-80501A-9頁からは、画像位置合わせ前に区分を行う方法が公知である。
US 2005/0 232 514 A1からは、画像解像度を改善するための方法が公知であり、この方法ではオプティカルフローを算出するために、相互に変位した二つの画像の偏差を表す尺度が最小にされ、そのようにして得られた動き情報の品質の評価に基づき、高解像度画像を形成するためのピクセルが選択される。
US 2006/0 083 440 A1からは、機械を利用して画像を処理するための装置及び方法が公知であり、記録されたシーンが背景部分と前景部分に区分され、背景部分に関してはモザイクが形成され、前景部分が改善され、また背景モザイクと改善された前景とを組み合わされたものが形成される。
TEKALP, A.M.等著の「High-resolution image reconstruction from lower-resolution image sequences and space-varying image restoration, IEEE International Conference on Acoustics, Speech and Signal Processing」ICASSP-92, Vol.3の第169頁から第172頁からは、画像再構成方法が公知であり、この画像再構成方法では、画像再構成の数学的な問題が線形方程式系として公式化され、また線形方程式系を解くための標準方式を用いて解かれる。

Claims (10)

  1. 画像解像度が改善されたＳＲ画像（１１）を形成するための方法であって、
    複数のピクセル（９，１０）から構成されている一連の個別画像（６，７，８）を不可視スペクトル領域において記録し、前記一連の個別画像（６，７，８）がサンプリング関数を用いて前記ＳＲ画像（１１）のサンプリングとしてモデリング可能であるように、前記個別画像（６，７，８）を最適化法において一つのＳＲ画像（１１）に結合する方法において、
    第１のステップにおいて、前記一連の個別画像（６，７，８）についてオプティカルフローを自動的に算出し、各個別画像（６，７，８）に、前記オプティカルフローを表す変位ベクトル場（１１，１２）を対応付け、
    第２のステップにおいて、前記個別画像（６，７）を少なくとも二つのセグメント（２０，２１，２２，２３，２４，２５）に区分し、但し、セグメント（２０，２１，２２，２３，２４，２５）内の各ピクセル（９，１０）は前記変位ベクトル場（１１，１２）の値領域の所定の部分領域内の変位ベクトル（１４，１５，１６，１７，１８，１９）を有しており、
    第３のステップにおいて、前記最適化法を実施し、各セグメント（２０，２１，２２，２３，２４，２５）に対して少なくとも一つの別個の変動パラメータを変化させる、
    ことを特徴とする、方法。
  2. 前記第３のステップにおいて、各セグメント（２０，２１，２２，２３，２４，２５）に対して、一つの変位ベクトル（２９，３０，３１，３２，３３，３４）を所属の前記部分領域から選択し、前記最適化法の開始点を規定するために使用する、請求項１に記載の方法。
  3. 前記一連の個別画像（６，７，８）の内の一つの個別画像を基準個別画像（７）として選択する、及び／又は、
    前記変位ベクトル場（１１，１２）を前記基準個別画像（７）に関して算出する、請求項１又は２に記載の方法。
  4. 前記オプティカルフローを算出する前に、各個別画像（６，７，８）に関する大域的な位置合わせにおいて、大域変換又は剛性変換を算出し、該変換によって複数の個別画像（６，７，８）の対応する画像内容を最適に相互に重ねるか、又は基準個別画像（７）に重ねる、請求項１乃至３のいずれか一項に記載の方法。
  5. 前記最適化法においてエネルギ関数を最適化する、及び／又は、
    前記エネルギ関数は画像ノイズをモデリングする項を有する、請求項１乃至４のいずれか一項に記載の方法。
  6. 前記変動パラメータはそれぞれ、前記セグメント（２０，２１，２２，２３，２４，２５）の相対的な画像変位を表す、及び／又は、
    前記変動パラメータはそれぞれ、サンプリング関数又は点拡がり関数（３８，３９，４０，４１，４２，４３，４４）を定義する、請求項１乃至５のいずれか一項に記載の方法。
  7. 前記個別画像（６，７，８）を複数のセグメント（２０，２１，２２，２３，２４，２５）に区分したものから、前記ＳＲ画像（１１）を複数のＳＲセグメント（３５，３６，３７）に区分したものをそれぞれ導出する、及び／又は、
    一つの個別画像（６，７，８）の一つのセグメント（２０，２１，２２，２３，２４，２５）に対応付けられている前記サンプリング関数又は点拡がり関数（３８，３９，４０，４１，４２，４３，４４）を、前記セグメントから導出された、前記ＳＲ画像（３５，３６，３７）のＳＲセグメント（２０，２１，２２，２３，２４，２５）に適用する、請求項１乃至６のいずれか一項に記載の方法。
  8. 前記最適化法において、前記変動パラメータを最適化した後に、適合されたＳＲ画像（１１）を反復的に作成し、該適合されたＳＲ画像（１１）について前記変動パラメータを改めて最適化する、請求項１乃至７のいずれか一項に記載の方法。
  9. 前記第３のステップにおいて、前記個別画像（６，７，８）のどのセグメント（２０，２１，２２，２３，２４，２５）に対して前記最適化法を実施するかを規定する、及び／又は、
    設定領域内又は設定領域外の変位ベクトル（１４，１５，１６，１７，１８，１９）を有している、前記個別画像（６，７，８）のセグメント（２０，２１，２２，２３，２４，２５）又は前記ＳＲ画像（１１）のＳＲセグメント（３５，３６，３７）だけに前記最適化法を実施する、請求項１乃至８のいずれか一項に記載の方法。
  10. 不可視スペクトル領域において一連の個別画像（６，７，８）を記録するための画像記録手段（２）を備えている測定装置（１）において、
    画像評価ユニット（５）が、請求項１乃至９のいずれか一項に記載の方法を実施するために構成及び設計されていることを特徴とする、測定装置（１）。
JP2014546354A 2011-12-16 2012-12-10 画像解像度が改善された超解像画像を形成するための方法及び測定装置 Pending JP2015524946A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011121332A DE102011121332A1 (de) 2011-12-16 2011-12-16 Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung
DE102011121332.9 2011-12-16
PCT/EP2012/005096 WO2013087188A1 (de) 2011-12-16 2012-12-10 Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung

Publications (1)

Publication Number Publication Date
JP2015524946A true JP2015524946A (ja) 2015-08-27

Family

ID=47469866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014546354A Pending JP2015524946A (ja) 2011-12-16 2012-12-10 画像解像度が改善された超解像画像を形成するための方法及び測定装置

Country Status (6)

Country Link
US (1) US9165341B2 (ja)
EP (1) EP2791896B1 (ja)
JP (1) JP2015524946A (ja)
CN (1) CN103999123B (ja)
DE (1) DE102011121332A1 (ja)
WO (1) WO2013087188A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2677733A3 (en) * 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
US9282259B2 (en) 2012-12-10 2016-03-08 Fluke Corporation Camera and method for thermal image noise reduction using post processing techniques
CN104320596B (zh) * 2014-09-30 2017-11-21 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置
DE102014014737A1 (de) 2014-10-09 2016-04-14 Testo Ag Verfahren sowie Wärmebildaufnahmevorrichtung zur Erzeugung radiometrischer Bilder mit in Teilbereichen erhöhter Auflösung
TWI751233B (zh) * 2016-11-28 2022-01-01 美商克萊譚克公司 用於從低解析度檢測影像重建高解析度點擴散函數之系統及方法
US10217190B2 (en) 2016-12-27 2019-02-26 Kla-Tencor Corporation System and method for reconstructing high-resolution point spread functions from low-resolution inspection images
CN113592709B (zh) * 2021-02-19 2023-07-25 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
US20220408035A1 (en) * 2021-05-07 2022-12-22 Richard Edward Pimpinella Computational High-Speed Hyperspectral Infrared Camera System

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215655A (ja) * 2005-02-01 2006-08-17 Sharp Corp 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2009181508A (ja) * 2008-01-31 2009-08-13 Sharp Corp 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010122934A (ja) * 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2010238234A (ja) * 2009-03-30 2010-10-21 Mitsubishi Electric Research Laboratories Inc シーンの画像のぶれを低減するための方法、画像のぶれを低減するための方法、及び画像のぶれを低減するように構成されたカメラ
JP2011244028A (ja) * 2010-05-14 2011-12-01 Casio Comput Co Ltd 撮像装置、手ブレ補正方法、プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
US7324665B2 (en) * 2002-09-16 2008-01-29 Massachusetts Institute Of Technology Method of multi-resolution adaptive correlation processing
WO2004114063A2 (en) * 2003-06-13 2004-12-29 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
US8064712B2 (en) * 2007-01-24 2011-11-22 Utc Fire & Security Americas Corporation, Inc. System and method for reconstructing restored facial images from video
JP5500812B2 (ja) * 2008-10-20 2014-05-21 株式会社ソニー・コンピュータエンタテインメント 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
CN101556601B (zh) * 2009-03-12 2011-08-10 华为技术有限公司 搜索k近邻的方法和装置
FR2947657B1 (fr) * 2009-07-06 2016-05-27 Valeo Vision Procede de detection d'un obstacle pour vehicule automobile
US8730268B2 (en) * 2010-02-05 2014-05-20 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behalf Of Arizona State University Image processing systems and methods
US8306274B2 (en) * 2010-05-25 2012-11-06 The Aerospace Corporation Methods for estimating peak location on a sampled surface with improved accuracy and applications to image correlation and registration
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
US9552658B2 (en) * 2012-07-26 2017-01-24 William Marsh Rice University Methods and systems for video compressive sensing for dynamic imaging
TWI502548B (zh) * 2013-06-14 2015-10-01 Vivotek Inc 即時影像處理方法及其裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215655A (ja) * 2005-02-01 2006-08-17 Sharp Corp 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2009181508A (ja) * 2008-01-31 2009-08-13 Sharp Corp 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010122934A (ja) * 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2010238234A (ja) * 2009-03-30 2010-10-21 Mitsubishi Electric Research Laboratories Inc シーンの画像のぶれを低減するための方法、画像のぶれを低減するための方法、及び画像のぶれを低減するように構成されたカメラ
JP2011244028A (ja) * 2010-05-14 2011-12-01 Casio Comput Co Ltd 撮像装置、手ブレ補正方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KRZYSZTOF MALCZEWSKI 外１名: "Super-Resolution Thermal Image Reconstruction", PROCEEDINGS OF IWSSIP 2010 - 17TH INTERNATIONAL CONFERENCE ON SYSTEMS, SIGNALS AND IMAGE PROCESSING, JPN6016040017, 17 June 2010 (2010-06-17), ISSN: 0003763339 *

Also Published As

Publication number Publication date
US20140363099A1 (en) 2014-12-11
CN103999123B (zh) 2017-05-03
EP2791896A1 (de) 2014-10-22
CN103999123A (zh) 2014-08-20
WO2013087188A1 (de) 2013-06-20
US9165341B2 (en) 2015-10-20
DE102011121332A1 (de) 2013-06-20
EP2791896B1 (de) 2015-10-21

Similar Documents

Publication Publication Date Title
JP2015524946A (ja) 画像解像度が改善された超解像画像を形成するための方法及び測定装置
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
Bang et al. UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching
KR102044695B1 (ko) 합성 이미지를 이용한 카메라 교정
Yang et al. Color-guided depth recovery from RGB-D data using an adaptive autoregressive model
TWI536318B (zh) 深度測量之品質提升
US10225473B2 (en) Threshold determination in a RANSAC algorithm
CN106991650B (zh) 一种图像去模糊的方法和装置
KR20150027291A (ko) 광류 추적 방법 및 장치
JP2019510311A (ja) 平面の鏡を用いたステレオ画像システムを較正するための方法およびコンピュータプログラム製品
KR101703515B1 (ko) 영상의 표적 추적 장치 및 방법
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
Khaloo et al. Pixel‐wise structural motion tracking from rectified repurposed videos
US8995793B1 (en) Moving object super-resolution systems and methods
US20110267477A1 (en) Range measurement using symmetric coded apertures
WO2011137140A1 (en) Range measurement using a coded aperture
Shao et al. Target-free 3D tiny structural vibration measurement based on deep learning and motion magnification
KR101799143B1 (ko) 타깃 사이즈를 추정하기 위한 시스템 및 방법
WO2021230157A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP5465001B2 (ja) 対象推定装置
CN110751731B (zh) 一种用于结构光的3d重建方法和系统
Choi et al. Discrete and continuous optimizations for depth image super-resolution
JP5874996B2 (ja) 物体運動推定装置、物体運動推定方法及びプログラム
JPWO2020075237A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170626

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180326