JP2018025878A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2018025878A
JP2018025878A JP2016155791A JP2016155791A JP2018025878A JP 2018025878 A JP2018025878 A JP 2018025878A JP 2016155791 A JP2016155791 A JP 2016155791A JP 2016155791 A JP2016155791 A JP 2016155791A JP 2018025878 A JP2018025878 A JP 2018025878A
Authority
JP
Japan
Prior art keywords
image
value
component
pixel
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016155791A
Other languages
English (en)
Other versions
JP6818463B2 (ja
Inventor
靖浩 伊藤
Yasuhiro Ito
靖浩 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016155791A priority Critical patent/JP6818463B2/ja
Priority to US15/655,207 priority patent/US10145790B2/en
Publication of JP2018025878A publication Critical patent/JP2018025878A/ja
Application granted granted Critical
Publication of JP6818463B2 publication Critical patent/JP6818463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N15/0211Investigating a scatter or diffraction pattern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N15/0227Investigating particle size or size distribution by optical means using imaging; using holography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N2021/473Compensating for unwanted scatter, e.g. reliefs, marks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N2021/4733Discriminating different types of scatterers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Dispersion Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】微小粒子成分の影響により視認性が低下した撮像画像の視認性を改善するための画像処理のリアルタイム性を確保しつつ、処理負荷の抑制を図る。
【解決手段】画像処理装置であって、大気中の微粒子による影響を含む撮像画像から大気光成分を抽出する抽出手段と、抽出された前記大気光成分に基づいて、前記撮像画像から前記微小粒子による影響を除去した画像を生成する除去処理手段と、を備え、前記抽出手段は、前記撮像画像のデータと当該撮像画像を撮影した際の露出値とのデータに基づき、前記抽出を行うことを特徴とする。
【選択図】図5

Description

本発明は、大気中の微粒子による影響を低減して撮像画像の視認性を改善する画像処理に関する。
監視カメラなどの分野において、カメラから被写体までの間に存在する微小粒子(例えば、霧)によって視認性が低下し、撮像画像の画質が劣化することが問題となっている。この原因として、光が大気中を通過する際に散乱することが挙げられる。そして、この大気中の微粒子による光の散乱には2種類あることが知られている。1つは、ミー散乱であり、塵、埃、水蒸気の粒など光の波長と比較して粒子径が大きい場合に発生する。ミー散乱の場合、光の波長に依存せず白く散乱し、その結果、遠い被写体ほど白くなってコントラストが低下する。もう1つは、レイリー散乱であり、空気分子のような光の波長と比較して粒子径が小さい場合に発生する。レイリー散乱の場合、波長が短い光ほどよく散乱する。その結果、遠い被写体ほど青色成分が散乱することで画像は青みがかった色調になる。上記2種類の光の散乱が発生して視認性が低下した画像から散乱成分を取り除く技術(ヘイズ除去技術)が提案されている。特許文献1では、着目画素毎に周囲の所定範囲におけるRGBチャンネル内での最小画素値を算出し、最小画素値の画素で構成される画像(最小値画像)を用いて、コントラストを補正することで視認性の改善を行う技術が開示されている。さらに、特許文献2では、非階層型クラスタリング手法の一つであるK-mean法を用いて、光が大気を通過する際に散乱する光を撮像画像から推定する手法が提案されている。
US8340461 US2014/072216 K. He, J. Sun, and X. Tang. Guided image filtering. In ECCV '10: European Conference on Computer Vision, pages 1-14, 2010.
上記特許文献1や特許文献2に記載の技術では、監視カメラやデジタルカメラの撮像画像をもとに、大気による散乱光成分である大気光成分を推定する画像処理がなされる。そして、この画像処理においては、撮影画像に対してヒストグラム処理や複数の閾値処理などが必要になる。これらの処理は、画像全体に亘って行う必要があり、カメラの内部で行うには処理負荷が大きい。このため、特許文献1や2に記載の技術を利用して撮影画像に対してリアルタイムに大気の微粒子成分の影響を除去する処理を行おうとすると、撮像装置内部に上記演算のための専用回路等を増設しなければならなかった。
本発明では、微粒子成分の影響により視認性が低下した撮像画像の視認性を改善するための画像処理のリアルタイム性を確保しつつ、処理負荷の抑制を図ることを目的とする。
本発明に係る画像処理装置は、大気中の微粒子による影響を含む撮像画像から大気光成分を抽出する抽出手段と、抽出された前記大気光成分に基づいて、前記撮像画像から前記微小粒子による影響を除去した画像を生成する除去処理手段と、を備え、前記抽出手段は、前記撮像画像のデータと当該撮像画像を撮影した際の露出値とのデータに基づき、前記抽出を行うことを特徴とする。
本発明によれば、微粒子成分の影響により視認性が低下した撮像画像の視認性を改善するための画像処理のリアルタイム性を確保しつつ、処理負荷を抑制することができる。
画像処理装置の構成の一例を示すブロック図である。 画像処理装置の機能ブロック図である。 ヘイズ除去処理部の内部構成を示した図である。 ヘイズ除去処理部における処理の流れを示すフローチャートである。 大気光成分の抽出処理の詳細を示すフローチャートである。 (a)は露出値と所定の閾値とを対応付けたテーブルであり、(b)は当該テーブルに相当する関係式の特性を示すグラフである。 霧が発生しているシーンを撮影した入力画像の一例を示す図である。 散乱成分強調画像の生成過程を説明する図である。 RGB全体の散乱成分強調画像に基づき、入力画像からすべての散乱成分を除去する補正処理の詳細を示すフローチャートである。 プレーン毎の散乱成分強調画像に基づく、入力画像からすべて散乱成分を除去する補正処理の詳細を示すフローチャートである。 入力画像から抽出されたミー散乱に相当する成分を示した画像の一例である。 入力画像から抽出されたレイリー散乱に相当する成分を示した画像の一例である。 ヘイズ除去処理後の画像(出力画像)の一例を示す図である。
以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
[概要]
本実施例では、まず、霧などが発生しているシーンを撮影した入力画像中のミー散乱成分とレイリー散乱成分を求める。そして、求めたミー散乱成分とレイリー散乱成分を個別に抑制し再合成することで、微粒子の影響を低減した画像を得る。より具体的には以下のとおりである。
まず、入力画像であるRGB色空間の撮像画像から、大気による光の散乱成分(大気光成分)を推定する。この推定を行うときに、入力画像に対してカメラの露光値であるEv値を利用する。次に、入力画像における散乱光の成分が強調された画像(散乱成分強調画像)を、RGBのプレーン毎及び全体について求める。次に、求めたプレーン毎の散乱成分強調画像とRGB全プレーンでの散乱成分強調画像をそれぞれ用いて、入力画像に対し散乱成分を除去する補正処理を行う。そして、補正結果を用いて、上述した2種類の散乱成分を抽出する。最後に、抽出したミー散乱成分とレイリー散乱成分をそれぞれ任意の割合で再合成して、視認性を改善した画像を得る。
なお、本明細書中の上記抽出や再合成の処理において演算によって求められるミー散乱成分及びレイリー散乱成分は、物理的な意味でのミー散乱とレイリー散乱を厳密・正確に表すものではないことに留意が必要である。本明細書中では、ミー散乱とは主に散乱による輝度変化成分に対応し、レイリー散乱とは主に散乱による色変化成分に対応する。
図1は、本発明に係る画像処理装置の構成の一例を示すブロック図である。画像処理装置100は、CPU101、RAM102、ROM103、HDDI/F104、HDD105、入力I/F106、出力I/F107、システムバス108から構成され、外部メモリ109、表示装置110、撮像装置111が接続されている。
CPU101は、RAM102をワークメモリとして、ROM103に格納されたプログラムを実行し、システムバス108を介して後述する各部を統括的に制御する。これにより、後述する様々な処理が実行される。
HDDI/F104は、例えばシリアルATA(SATA)等のインタフェイスであり、二次記憶装置としてのHDD105と接続されている。このHDDI/F104を介して、HDD105からのデータの読み出しやHDD105へのデータの書き込みがなされる。なお、二次記憶装置はHDDの他、光ディスクドライブ等の記憶デバイスでもよい。
入力I/F106は、例えばUSBやIEEE1394等のシリアルバスインタフェイスである。この入力I/F106を介して、撮像装置111や外部メモリ109(例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ)などからデータを取得する。
出力I/F107は、例えばDVIやHDMI(登録商標)等の映像出力インタフェイスである。この出力I/F107を介して、表示装置110(液晶ディスプレイなどの各種出力デバイス)に、撮像装置111で撮像された画像などを表示する。
撮像装置111は、被写体の光情報をセンサで受光し、A/D変換を施すことによって撮像画像のデジタルデータを取得する。本実施例では、撮像装置111で散乱光によりコントラストが低下した撮像画像データを取得し、画像処理装置100ではその撮像画像データに画像処理を施すことで、微粒子の影響が低減された画像を生成する。なお、画像処理装置100の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
また、本実施例では、画像処理装置100と撮像装置111及び表示装置110とを別個の装置として構成しているが、本発明はこのような構成に限られない。例えば、撮像装置111に、画像処理装置100や表示装置110の全部又は一部の機能を組み込んだ構成でもよい。
図2は、本実施例に係る画像処理装置100の機能ブロック図であり、入力画像データ取得部201、露出値取得部202、ヘイズ除去処理部203、ヘイズ除去画像データ出力部204、データ記憶部205から構成される。画像処理装置100は、ROM103内に格納された制御プログラムをCPU101にロードし実行することで、上記各部の機能を実現する。各部の概要は以下のとおりである。
入力画像取得部201は、撮像装置111で撮像されたRGB色空間の画像を入力画像として取得する。露出値取得部202は、入力画像における露出値(Ev値)の情報を取得する。このEv値は、例えば、撮像装置111に内蔵された測光計(露出計)等を用いた測定によって求める。測光計等を用いる場合には、例えば撮像画像のシーン全体における測定結果の平均値を求めてもよいし、シーンの中心付近の測定結果の重みを強くした平均値を求めてもよい。また、Ev値を、入力画像データの画素値から求めてもよい。ヘイズ除去処理部203は、入力画像から大気中の微粒子による光の散乱成分を除去して視認性を改善した画像(以下、「ヘイズ除去画像」と呼ぶ。)を生成する。ヘイズ除去画像データ出力部204は、生成されたヘイズ除去画像のデータを、表示装置110など外部に出力する処理を行う。データ記憶部205は、上述の各種画像データを格納する他、ヘイズ除去画像の生成過程で生じる処理結果等の各種データを格納する。
続いて、本発明の特徴である、ヘイズ除去処理部203について詳しく説明する。図3は、ヘイズ除去処理部203の内部構成を示した図である。ヘイズ除去処理部203は、大気光成分抽出部301、散乱成分強調画像生成部302、第1補正処理部303、第2補正処理部304、ミー散乱成分抽出部305、レイリー散乱成分抽出部306、及び合成処理部307を備える。
ヘイズ除去処理部203を構成する上記各部は、ROM103やHDD105に保持されたプログラムがRAM102に展開されてCPU101で実行されることにより実現される。図4は、ヘイズ除去処理部203における処理の流れを示すフローチャートである。以下、図4のフローチャートに沿って、ヘイズ除去処理部203の動作について説明する。
ステップ401において、大気光成分抽出部301は、入力画像から大気光成分を抽出する処理を行う。大気光成分は、撮像シーンにおける物体からの反射光以外の成分を意味し、上述のミー散乱成分とレイリー散乱成分が含まれる。そして、大気光成分を抽出する際に、入力画像における露出値が用いられる。大気光成分抽出処理の詳細は後述する。抽出した大気光成分のデータは、後続のステップでの処理に備え、データ記憶部205にて保存される。
ステップ402において、散乱成分強調画像生成部302は、入力画像から上述の散乱成分強調画像を生成する。散乱成分強調画像を構成する画素の値は、所定ブロック内の最小画素値を除く複数の下位の画素値に基づいて、例えば加重平均を取るなどして決定される。そして、散乱成分強調画像は、各プレーン単位とRGB全プレーンについての2種類が生成される。生成の際に所定ブロック内の最小画素値を用いないことで、センサノイズの影響を大きく受けた画素が生じないようにしている。散乱成分強調画像生成処理の詳細は後述する。生成した2種類の散乱成分強調画像のデータは、後続のステップでの処理に備え、データ記憶部205にて保存される。
ステップ403において、第1補正処理部303は、RGB全体の散乱成分強調画像を用いて、入力画像からすべての散乱光成分に相当する大気光成分を除去する補正処理(第1補正処理)を行う。第1補正処理の詳細については後述する。第1補正処理によって生成された補正画像(第1補正画像)のデータは、後続のステップでの処理に備え、データ記憶部205にて保存される。
ステップ404において、第2補正処理部304は、プレーン毎の散乱成分強調画像を用いて、入力画像からすべての散乱光成分に相当する大気光成分を除去する補正処理(第2補正処理)を行う。第2補正処理の詳細については後述する。第2補正処理によって生成された補正画像(第2補正画像)のデータは、後続のステップでの処理に備え、データ記憶部205にて保存される。
ステップ405において、ミー散乱成分抽出部305は、入力画像及びRGB全体の散乱成分強調画像を用いて、ミー散乱成分を抽出する。ミー散乱成分抽出処理の詳細は後述する。抽出したミー散乱成分のデータは、後続のステップでの処理に備え、データ記憶部205にて保存される。
ステップ406において、レイリー散乱成分抽出部306は、入力画像及びプレーン毎の散乱成分強調画像を用いて、レイリー散乱成分を抽出する。レイリー散乱成分抽出処理の詳細は後述する。抽出したレイリー散乱成分のデータは、後続のステップでの処理に備え、データ記憶部205にて保存される。
ステップ407において、合成処理部307は、抽出されたミー散乱成分及びレイリー散乱成分を任意の割合で、上述の第2補正画像に合成する合成処理を行う。合成処理はプレーン単位でなされる(その詳細は後述する)。合成処理によって生成されたプレーン毎の合成画像は1つのプレーンにまとめられてデータ記憶部205にて保存された後、必要に応じてヘイズ除去画像として外部に出力される。
以上が、ヘイズ除去処理部203における処理の流れである。続いて、ヘイズ除去処理部203を構成する各部における処理の詳細について説明する。
[大気光成分の抽出]
大気光成分抽出部301における大気光成分の抽出処理(ステップ401)について説明する。本実施例の大気光成分の抽出(推定)では、入力画像の露出値に基づき輝度の閾値をまず求める。そして、入力画像(RGB画像)から輝度画像(Y画像)へ変換し、上記求めた輝度の閾値以上の画素値を持つ画素の中から、大気光を推定するための画素をロバスト推定処理によって決定する。そして、決定された画素の画素値をもとに大気光を推定する。以下、図5のフローチャートを参照して詳しく説明する。
ステップ501では、データ記憶部205から入力画像であるRGB色空間の画像データと、当該入力画像における露出値(Ev値)が読み込まれる。続くステップ502では、読み込んだRGB画像を、輝度値を表すY画像に変換する処理がなされる。この変換には、一般的なRGB−Y色変換式を適用すればよい。
ステップ503では、大気光成分の推定時に参照する画素位置の候補(以下、参照画素位置候補)を決定する際の基準として用いる、輝度の閾値(Yth)を決定する。具体的には、異なる露出値(Ev値)にそれぞれ対応する閾値(Yth)を関連付けたテーブルを参照して、ステップ501で読み込んだEv値に対応する閾値Ythを求める。図6(a)に、露出値と閾値とを関連付けたテーブル(LUT)の一例を示す。このようなテーブルを予め作成・保持しておき、入力画像のEv値に応じた閾値Ythを決定すればよい。また、このようなテーブルを用いて決定するのに代えて、例えば以下の式(1)のような輝度の閾値Ythと露出値との関係を規定する数式を用いて決定してもよい。
th=k×Ev+220 ・・・(1)
図6(b)は、上記式(1)の特性をグラフで示したものである。上記式(1)において、Yth≦YMAXであり、YMAXは輝度の最大値(この例では255)を表す。また、kは定数であり、この例では20である。なお、輝度の閾値Ythの決定に際して数式を用いる場合は上記式(1)に限定されるものではなく、他の数式を用いてもよい。このように、撮像画像から大気光成分を抽出するに当たり、撮像時の露出値を参考にして、大気光として採択するかどうかを決定する際の基準となる閾値が決定される。これまで、例えば撮像画像の全画素値のうち値の大きい上位1%が大気光として採択される画素の候補となるような値を閾値として設定していたが、それには撮影画像に対してヒストグラム処理や複数の閾値処理などが必要になり、処理負荷が大きかった。上述のような露出値から求める手法であれば、大幅に処理負荷を低減することができる。また、露出値の情報は、撮像画像の画素値や撮像装置111が内蔵する測光計などから容易に取得できるため、処理のリアルタイム性も確保することができる。
ステップ504では、ステップ502で得られたY画像及びステップ503で決定した閾値Ythとに基づき、大気光成分の推定時に参照する画素位置の候補(以下、参照画素位置候補)が決定される。具体的には、Y画像の全画素値のうち閾値Yth以上の値を持つ画素の位置が、参照画素位置候補として決定される。
ステップ505では、大気光成分の推定時に参照する画素位置が、参照画素位置候補に基づいて決定される。具体的には、ステップ504で決定した参照画素位置候補を対象に、RANSAC法などのロバスト推定を用いて実際の参照画素位置を決定する。大気光成分として選択されるべき画素は空の部分を表している画素が望ましい。本ステップの意義は、ステップ504で決定した参照画素位置候補の中に含まれる、空以外の部分の高輝度の画素を除外することにある。この点、空以外の高輝度部分が入力画像上に占める割合は少なく、かつ、空の色とは輝度が異なる傾向にある。そのため、参照画素位置候補の画素のうち輝度が異なる画素を参照画素に含まないように外れ値として扱い、参照画素を適切に絞り込むことが可能なロバスト推定を行う。この時、参照画素として決定する画素の数を制限してもよい。これは、入力画像上で例えば空の色がグラデーションになっている場合など同じ空でも色(画素値)が異なることがあり、あまり多くの画素を参照するとこのような色の変化を含む空が推定対象となってしまうので、これを避けるためである。
ステップ506では、ステップ505で決定された参照画素位置に従って、大気光成分推定の処理対象とする画素(注目参照画素)を1つ決定し、当該注目参照画素の画素値を、RGBそれぞれの色毎に加算する処理がなされる。注目参照画素は、例えば参照画素として決定された画素のうち入力画像内の画素位置が最も左上の画素を最初の注目参照画素とし、以降は順次右隣の画素に移行(右隣の画素がなければ1行下に移行)するなどして決定すればよい。RGBそれぞれの色毎に加算された画素値は、RAM102等で保持される。
ステップ507では、ステップ505で決定された全ての参照画素位置について加算処理が完了した否かが判定される。加算処理が済んでいない参照画素位置があればステップ506に戻り、次の参照画素位置にある画素を注目参照画素として加算処理を続行する。一方、全ての参照画素位置について加算処理が完了していれば、ステップ508に進む。
ステップ508では、RAM102などに保持された累積加算画素値を平均化し、入力画像内の大気光成分を抽出する処理がなされる。具体的には、以下の式(2)及び式(3)を用いて、RGB画像の大気光成分ARGBとY画像の大気光成分AYとをそれぞれ求める。
ARGB=(ΣAR/n,ΣAG/n,ΣAB/n) ・・・式(2)
AY=(3×ΣAR/n+6×ΣAG/n+ΣAB/n)/10 ・・・式(3)
上記式(2)及び式(3)において、AR、AG、ABはそれぞれRプレーン、Gプレーン、Bプレーンの大気光成分を表す値、AYはY画像の大気光成分を表す値、nは参照画素の総数を表す。なお、大気光成分を求める式は上記式(2)や式(3)に限定されるわけではない。例えば、Y画像の大気光成分を、ΣAR/n,ΣAG/n,ΣAB/nの中で最も小さい値を求めることによって得てもよい。
以上のようにして、大気光成分抽出部301において入力画像内の2種類の大気光成分ARGBとAYが抽出される。図7は、霧が発生しているシーンを撮影した入力画像の一例であり、このような入力画像(RGB画像)から求められる大気光成分 ARGBは(176,177,179)といった値となる。
[散乱成分強調画像の生成]
散乱成分強調画像生成部302における2種類の散乱成分強調画像の生成処理(ステップ402)について、図8を参照して説明する。前述の通り散乱成分強調画像には、RGBの各プレーンについて生成される散乱成分強調画像と、RGB全体での散乱成分強調画像の2種類がある。
まず、プレーン毎の散乱成分強調画像の生成について説明する。図8(a)は、プレーン毎の散乱成分強調画像の生成過程を説明する図である。図8(a)は、RGB画像の任意のプレーンの一部であり、太枠の矩形800は前述の所定ブロックに対応する参照領域を示している。この例では、その中心画素801を注目画素とし、その周囲8画素を含む計9画素の領域(3×3画素の領域)を参照領域として、当該注目画素801に対応する下位画素値Tplaneが導出される。ここで、注目画素801における下位画素値Tplaneは、例えば、参照領域800内の最小画素値を除いた下位3つの画素値の加重平均を取ることで求めることができる。この場合において、下から2番目の画素値をV_2、下から3番目の画素値をV_3、下から4番目の画素値をV_4とし、それぞれに対応する重み係数を2:4:2とすると、下位画素値Tplaneは、以下の式(4)で表される。
Tplane=(2×V_2+4×V_3+2×V_4)/8 ・・・式(4)
図8(a)の例では、参照領域800内の最小画素値“103”を除いた下位3つの画素値(注目画素801の右隣:104、同直上:105、同左上:105)の加重平均を求めると、下位画素値Tplane=104.75となる。このような処理を対象プレーンの全画素について行うことで、プレーン毎の散乱成分強調画像が得られる。このように、最小画素値を除く下位の複数の画素値の加重平均を取ることで、プレーン毎の散乱成分強調画像がセンサノイズの影響を強く受けたものにならないようにしている。そして、当該散乱成分強調画像の画素値の導出に使用する画素は、各色のプレーンからのみ採用されているため、光の散乱の波長による影響を考慮したものとなる。なお、上記式(4)は注目画素に対応する下位画素値Tplaneを求める際の計算式の一例であり、これに限定されない。例えば、最小値を除く下位4つまたはそれ以上の画素値の加重平均を求めてもよい。他にも、RGB値を輝度値に変換した上で、変換後の輝度値における下位画素値を求めてもよい。また、所定ブロックに対応する参照領域を例えば注目画素を中心とした5×5画素の領域とするなど、さらに広い領域を参照して下位画素値を求めてもよい。参照領域のサイズを決定する際には、例えばRGB値を輝度値に変換し、輝度値が大きいほど参照範囲が広くなるようにすることが考えられる。ただし、被写体までの距離が近い部分と遠い部分とは区別する必要があり、参照範囲が広いと近くにある白い壁を空と誤判定してしまう可能性があるため、このような点も加味しつつ参照範囲は決定する必要がある。
次に、RGB全体の散乱成分強調画像の生成処理について説明する。図8(b)は、RGB全体の散乱成分強調画像の生成過程を説明する図である。図8(b)には、RGB各プレーンの一部(同一座標)が示されており、各太枠の矩形810、820、830は所定ブロックに対応する参照領域を示している。RGB全体の散乱成分強調画像の生成では、3つの参照領域における同一座標の中心画素811、821、831を注目画素とし、各注目画素の周囲8画素を含む計27画素からなる領域のすべてを参照領域とする。すなわち、RGB全体の散乱成分強調画像は、プレーン毎の散乱成分強調画像とは異なり、3つの同一座標の注目画素の周辺にある全プレーンにおける画素を参照領域として処理が行われる。このため、採用される画素は、RGBいずれのプレーンの画素からも選択される可能性がある。こうして、同一座標の注目画素811、821、831に対応する下位画素値TRGBを導出する。このときの下位画素値TRGBも、上述の下位画素値Tplaneと同様、上記式(2)によって求めることができる。図8(b)の例では、最小画素値“89”を除いた下位3つの画素値(注目画素811の直上:93、注目画素821の右上:96、注目画素811の左隣:97)の加重平均を求めると、下位画素値TRGB=95.5となる。このようにして、RGB全体の散乱成分強調画像を得ることができる。
[RGB全体の散乱成分強調画像に基づく補正画像の生成]
第1補正処理部303における、RGB全体の散乱成分強調画像に基づく、入力画像からすべての散乱成分を除去する補正処理(第1補正処理:ステップ403)について、図9のフローチャートを参照して説明する。
ステップ901では、RGB全体の散乱成分強調画像、Y画像の大気光成分、及び入力画像の各データが、データ記憶部205から読み込まれる。
ステップ902では、Y画像の大気光成分AYを用いて、RGB全体の散乱成分強調画像が修正される。具体的には、以下の式(5)を用いて、修正されたRGB全体の散乱成分強調画像RGB_AYが求められる。
RGB_AY(x,y)=Tin_RGB(x,y)/AY ・・・式(5)
上記式(5)においてTin_RGBは修正前のRGB全体の散乱成分強調画像を示し、(x,y)は画素位置を示す座標である。
ステップ903では、大気光成分AYによる修正後のRGB全体の散乱成分強調画像RGB_AYを基に、透過率分布tRGB(x,y)が導出されるを生成。具体的には、RGB_AYに対して以下の式(6)を適用して、tRGB(x,y)が求められる。
RGB(x,y)=1.0−ω(RGB_AY(x,y)) ・・・式(6)
上記式(6)において、ωは対象画素の透過光が霧などの微粒子による散乱光のみで構成されていた場合は透過率が“0”となり、散乱成分除去後の画素値が“0”になるのを避けるために設ける調整のための係数であって、例えば0.9といった値である。
ステップ904では、導出した透過率分布tRGB(x,y)が、入力画像に合わせて整形される。これは、ステップ903で導出された透過率分布tRGB(x,y)を、入力画像のシーンに含まれる構造物等の被写体形状に合わせるための処理である。具体的には、例えば非特許文献1に記載のエッジキープ型フィルタを用いるなどして、被写体形状を分離する。
ステップ905では、Y画像の大気光成分AYと整形後の透過率分布tRGB(x,y)とを用いてから、入力画像Iに対し、すべての散乱成分を除去する処理を行なう。具体的には、以下の式(7)を用いて、散乱成分が除去された画像(以下、第1補正画像)JRGBが求められる。
上記式(7)において、JRGB(x,y)は第1補正画像の画素位置(x,y)における画素値、I(x,y)は入力画像Iの画素位置(x,y)における画素値を示している。また、t0は整形後の透過率分布tRGB(x,y)が限りなく小さい値であった場合、JRGB(x,y)の値が、I(x,y)のわずかな差(撮像時のショットノイズ等)によって大きく変動してしまうのを防ぐために設けられた調整のための係数である。具体的t0としては、例えば0.1といった値である。
このようにして、RGB全体の散乱成分強調画像に基づき、入力画像から散乱成分が除去された補正画像が生成される。
[プレーン毎の散乱成分除去画像に基づく補正画像の生成]
第2補正処理部305における、プレーン毎の散乱成分強調画像に基づく、入力画像からすべて散乱成分を除去する補正処理(第2補正処理:ステップ405)について、図10のフローチャートを参照して説明する。
ステップ1001では、プレーン毎の散乱成分強調画像、RGB画像の大気光成分、及び入力画像の各データが、データ記憶部205から読み込まれる。
ステップ1002では、RGB画像の大気光成分ARGBを用いて、プレーン毎の散乱成分強調画像が修正される。具体的には、以下の式(8)を用いて、修正されたプレーン毎の散乱成分強調画像Plane_ARGBが求められる。
Plane_A(x,y,c)=Tin_plane(x,y,c)/ARGB ・・・式(8)
上記式(8)において、Tin_planeは修正前のプレーン毎の散乱成分強調画像を示し、(x,y,c)はカラープレーンcにおける画素位置を示す座標である。この場合において、c=1のときはR画像、c=2のときはG画像、c=3のときはB画像といった具合に、cの値と各プレーンとが対応付けられている。
ステップ1003では、大気光成分ARGBによる修正後のプレーン毎の散乱成分強調画像Plane_ARGBを基に、透過率分布tplane(x,y,c)が導出される。具体的には、Plane_ARGBに対して以下の式(9)を適用して、tplane(x,y,c)が求められる。
plane(x,y,c)=1.0−ω(Plane_ARGB(x,y,c)) ・・・式(9)
上記式(9)におけるωは、前述の式(6)と同様、散乱成分除去後の画素値が“0”になるのを避けるために設ける調整のための係数であって、例えば0.9といった値である。
ステップ1004では、導出した透過率分布tplane(x,y,c)を、入力画像に合わせて整形する。具体的な手順は前述のステップ904と同じである。プレーン毎の散乱成分強調画像の場合は各プレーンに対して、すなわち、透過率分布tplane(x,y,c)におけるcを変えて、被写体形状を分離する整形が行なわれる。
ステップ1005では、RGB画像の大気光成分ARGBと整形後の透過率分布tplane(x,y,c)とを用いて、入力画像Iに対し、すべての散乱成分を除去する処理を行なう。具体的には、以下の式(10)を用いて、散乱成分が除去された画像(以下、第2補正画像)Jplaneが求められる。
上記式(10)において、Jplane(x,y,c)は第2補正画像の画素位置(x,y,c)における画素値、I(x,y,c)は入力画像Iの画素位置(x,y,c)における画素値を示している。また、t0は上記式(7)と同様の調整係数であって、例えば0.1といった値である。
このようにして、プレーン毎の散乱成分強調画像に基づき、入力画像から散乱成分が除去された補正画像がプレーン毎に生成される。
[ミー散乱成分の抽出]
ミー散乱成分抽出部305における、ミー散乱成分の抽出処理(ステップ405)について説明する。ミー散乱成分は、散乱光による輝度変化成分であり、入力画像Iから上述の第1補正画像JRGBを取り除いたものに相当する。具体的には、入力画像Iの画素毎に、まず式(11)を用いてRGB各プレーン単位で画素値の減算を行い、その後に式(12)を用いて各プレーンでの最大値を求めて1プレーンに集約することにより、ミー散乱成分Mを求めることができる。
I(x,y,c)−JRGB(x,y)>=0のとき:M(x,y,c)=I(x,y,c)−JRGB(x,y)
I(x,y,c)−JRGB(x,y)<0のとき :M(x,y,c)=0
・・・式(11)
M(x,y)=max(M,(x,y,c))
・・・式(12)
上記式(11)及び式(12)における(x,y,c)及び(x,y)の意味は、前述の式(7)及び式(8)におけるそれと同じである。図11は、図7の入力画像から得られたミー散乱に相当する成分Mを示した画像である。このようにして、入力画像からミー散乱成分が抽出される。
なお、上述の式(11)に代えて、以下の式(11)’を用いてもよい。
I(x,y,c)−Jplane(x,y,c)>=0のとき:M(x,y,c)=I(x,y,c)−Jplane(x,y,c)
I(x,y,c)−Jplane(x,y,c)<0のとき :M(x,y,c)=0
・・・式(11)’
[レイリー散乱成分の抽出]
レイリー散乱成分抽出部306における、レイリー散乱成分の抽出処理(ステップ406)について説明する。レイリー散乱成分は、散乱光による色変化成分であり、入力画像Iから上述の第2補正画像Jplaneとミー散乱成分Mを取り除いたものに相当する。従って、入力画像Iの画素毎に、以下の式(13)を用いて画素値の減算を行うことにより、レイリー散乱成分Rを求めることができる。
I(x,y,c)−Jplane(x,y,c)−M(x,y)>=0のとき:R(x,y,c)=I(x,y,c)−Jplane(x,y,c)−M(x,y)
I(x,y,c)−Jplane(x,y,c)−M(x,y)<0のとき:R(x,y,c)=0
・・・式(13)
上記式(13)における(x,y,c)及び(x,y)の意味は、前述の式(7)及び式(8)におけるそれと同じである。図12は、図7の入力画像から得られたレイリー散乱に相当する成分を示した画像である。このようにして、入力画像からレイリー散乱成分が抽出される。
[合成処理]
最後に、合成処理部307における、プレーン毎に生成された第2補正画像に、抽出されたミー散乱成分とレイリー散乱成分を任意の割合で再合成する処理について説明する。具体的には、第2補正画像Jplaneの画素毎に、以下の式(14)を用いて画素値の加算を行うことにより合成画像Jcombをプレーン毎に求める。
Jcomb(x,y,c)=Jplane(x,y,c)+m・M(x,y)+r・R(x,y,c) ・・・式(14)
上記式(14)において、mはミー散乱成分に乗算する強度係数、rはレイリー散乱成分に乗算する強度係数であり、例えば、r=0.5、m=0.1といった具合に、それぞれ0〜1の間の値を取ることが望ましい。また、m=0、r=0とすることで、コントラストの向上のみに特化し、色付きを考慮しない画像を得ることが可能である。さらに、rを1に近づけると処理後の色付きが弱まる傾向にあり、mを1に近づけると霧の除去強さが弱まり、コントラストが低下する傾向にある。このように、mとrの値を任意に変えて画像合成を行なうことにより、光の散乱による影響の割合を制御することができる。
そして、求めたプレーン毎の合成画像Jcombを1つにまとめて、最終的な出力画像(ヘイズ除去画像)が得られる。図13は、図7の入力画像に対して上記合成処理を行なって得られた出力画像を示している。図13から把握することはやや困難ではあるが、大気中の微粒子による散乱成分が除去されたより自然な画像となっている。
以上説明したように、本発明によれば、微粒子成分の影響により視認性が低下した撮像画像の視認性を改善するための画像処理のリアルタイム性を確保しつつ、処理負荷を抑制することができる。そして、より自然な形で大気中の微粒子の影響で低下したコントラストを向上させ、視認性を改善させた高画質な画像を得ることが可能となる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
201 入力画像データ取得部
202 露出値取得部
203 ヘイズ除去処理部
301 大気光成分抽出部
302 下位画素画像生成部
303 第1補正処理部
304 第2補正処理部
305 ミー散乱成分抽出部
306 レイリー散乱成分抽出部
307 合成処理部

Claims (8)

  1. 大気中の微粒子による影響を含む撮像画像から大気光成分を抽出する抽出手段と、
    抽出された前記大気光成分に基づいて、前記撮像画像から前記微小粒子による影響を除去した画像を生成する除去処理手段と、
    を備え、
    前記抽出手段は、前記撮像画像のデータと当該撮像画像を撮影した際の露出値とのデータに基づき、前記抽出を行う
    ことを特徴とする画像処理装置。
  2. 前記撮像画像はRGBの色空間で表される画像であり、
    前記抽出手段は、
    前記露出値に基づき、輝度値に関する所定の閾値を決定する手段と、
    前記撮像画像におけるRGB値を輝度値へ変換し、前記所定の閾値以上の輝度値を持つ画素の中から、大気光を推定するための画素をロバスト推定処理によって決定する手段と、
    前記決定された画素の画素値をもとに大気光を推定する、
    ことにより前記抽出を行う
    を特徴とする請求項1に記載の画像処理装置。
  3. 前記露出値を、前記撮像画像の画素値から又は測光計を用いた測定によって求めることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記抽出手段は、異なる露出値にそれぞれ対応する閾値を関連付けたテーブルを参照して、前記所定の閾値を決定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記抽出手段は、前記露出値と前記所定の閾値との関係を規定する数式を用いて、前記所定の閾値を決定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  6. 請求項1乃至5のいずれか1項に記載の画像処理装置を備えた、前記撮像画像を撮像する撮像装置。
  7. 大気中の微粒子による影響を含む撮像画像から大気光成分を抽出する抽出ステップと、
    抽出された前記大気光成分に基づいて、前記撮像画像から前記微小粒子による影響を除去した画像を生成する除去処理ステップと、
    を含み、
    前記抽出ステップでは、前記撮像画像のデータと当該撮像画像を撮影した際の露出値とのデータに基づき、前記抽出を行う
    ことを特徴とする画像処理方法。
  8. コンピュータを請求項1乃至5のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
JP2016155791A 2016-08-08 2016-08-08 画像処理装置、画像処理方法及びプログラム Active JP6818463B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016155791A JP6818463B2 (ja) 2016-08-08 2016-08-08 画像処理装置、画像処理方法及びプログラム
US15/655,207 US10145790B2 (en) 2016-08-08 2017-07-20 Image processing apparatus, image processing method, image capturing device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016155791A JP6818463B2 (ja) 2016-08-08 2016-08-08 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018025878A true JP2018025878A (ja) 2018-02-15
JP6818463B2 JP6818463B2 (ja) 2021-01-20

Family

ID=61069157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016155791A Active JP6818463B2 (ja) 2016-08-08 2016-08-08 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US10145790B2 (ja)
JP (1) JP6818463B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181399A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
CN108986049A (zh) * 2018-07-20 2018-12-11 百度在线网络技术(北京)有限公司 用于处理图像的方法和装置
US11165966B2 (en) 2018-09-19 2021-11-02 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling image capturing apparatus, and storage medium
CN109886920A (zh) * 2019-01-16 2019-06-14 安徽谛听信息科技有限公司 一种雾天分级方法、雾天分级系统
JP7227785B2 (ja) 2019-02-18 2023-02-22 キヤノン株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
JP7263149B2 (ja) * 2019-06-26 2023-04-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN110676753B (zh) * 2019-10-14 2020-06-23 宁夏百川电力股份有限公司 输电线路智能巡检机器人

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060098973A1 (en) * 2004-11-08 2006-05-11 Patrick Verdier Universal exposure meter method for film and digital cameras
US20060126959A1 (en) * 2004-12-13 2006-06-15 Digitalglobe, Inc. Method and apparatus for enhancing a digital image
US8396324B2 (en) * 2008-08-18 2013-03-12 Samsung Techwin Co., Ltd. Image processing method and apparatus for correcting distortion caused by air particles as in fog
US8340461B2 (en) 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
US9576349B2 (en) * 2010-12-20 2017-02-21 Microsoft Technology Licensing, Llc Techniques for atmospheric and solar correction of aerial images
KR101582479B1 (ko) * 2012-05-15 2016-01-19 에스케이 텔레콤주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
JP2014014044A (ja) * 2012-07-05 2014-01-23 Sony Corp 画像処理装置、画像処理方法、および、プログラム
US8755628B2 (en) 2012-09-10 2014-06-17 Google Inc. Image de-hazing by solving transmission value
JP6282095B2 (ja) * 2013-11-27 2018-02-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP2015132953A (ja) 2014-01-10 2015-07-23 キヤノン株式会社 画像処理装置およびその方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181399A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
US11636576B2 (en) 2019-04-25 2023-04-25 Canon Kabushiki Kaisha Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium
JP7421273B2 (ja) 2019-04-25 2024-01-24 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム

Also Published As

Publication number Publication date
US10145790B2 (en) 2018-12-04
US20180038789A1 (en) 2018-02-08
JP6818463B2 (ja) 2021-01-20

Similar Documents

Publication Publication Date Title
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9569827B2 (en) Image processing apparatus and method, and program
RU2658874C1 (ru) Устройство удаления тумана и способ формирования изображений
WO2013168618A1 (ja) 画像処理装置及び画像処理方法
JP6579868B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6282095B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP6249638B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020129276A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5653104B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2020061080A (ja) 画像処理装置、撮像装置、画像処理方法
CN113808054B (zh) 用于对眼底图像的视盘区域进行修复的方法和相关产品
JP2008028626A (ja) 画像処理装置、画像処理方法及びプログラム
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
JP6938282B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2005182232A (ja) 輝度補正装置および輝度補正方法
JP5178933B1 (ja) 画像処理装置
JP7421273B2 (ja) 画像処理装置及びその制御方法及びプログラム
JP2016201771A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022069197A (ja) 画像処理装置及びその制御方法及びプログラム
JP6494817B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP7227785B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP2017021467A (ja) 画像処理装置、その制御方法、および制御プログラム
Martorell et al. DCT based Multi Exposure Image Fusion.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201228

R151 Written notification of patent or utility model registration

Ref document number: 6818463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151