JP2021530047A - 画像処理方法及び装置、電子機器、並びに記憶媒体 - Google Patents
画像処理方法及び装置、電子機器、並びに記憶媒体 Download PDFInfo
- Publication number
- JP2021530047A JP2021530047A JP2020573111A JP2020573111A JP2021530047A JP 2021530047 A JP2021530047 A JP 2021530047A JP 2020573111 A JP2020573111 A JP 2020573111A JP 2020573111 A JP2020573111 A JP 2020573111A JP 2021530047 A JP2021530047 A JP 2021530047A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- matrix
- image feature
- weight matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 238000007499 fusion processing Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 459
- 238000000034 method Methods 0.000 claims description 214
- 230000008569 process Effects 0.000 claims description 95
- 238000005457 optimization Methods 0.000 claims description 90
- 238000012545 processing Methods 0.000 claims description 80
- 238000001914 filtration Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 40
- 230000004044 response Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 abstract description 17
- 239000000126 substance Substances 0.000 description 21
- 238000004891 communication Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- PIVQQUNOTICCSA-UHFFFAOYSA-N ANTU Chemical compound C1=CC=C2C(NC(=S)N)=CC=CC2=C1 PIVQQUNOTICCSA-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Silver Salt Photography Or Processing Solution Therefor (AREA)
- Electric Double-Layer Capacitors Or The Like (AREA)
Abstract
Description
ここで、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュール10と、
各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定するように構成される決定モジュール20と、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュール30、を備えることができる。
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第1確立ユニットと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得するように構成されるフィッティングユニットと、
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第1決定ユニットを備えることができる。
前記第1決定ユニットは、さらに、前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される、
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得し、前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定し、及び、第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である。
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第2確立ユニットと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第2決定ユニットと、をさらに備える、
いくつかの可能な実施形態では、前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される。
例えば、本願は以下の項目を提供する。
(項目1)
画像処理方法であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得することと、
各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することと、を含む、前記画像処理方法。
(項目2)
前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得することと、
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、を含む、
項目1に記載の画像処理方法。
(項目3)
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得することは、
正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得することを含む、
項目2に記載の画像処理方法。
(項目4)
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定すること、または、
前記第1重み行列に対して第1最適化処理を実行し、最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定することを含む、
項目2または3に記載の画像処理方法。
(項目5)
前記第1重み行列に対して第1最適化処理を実行することは、
前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定することであって、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である、ことと、
各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得することと、
前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定することと、及び
第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定することと、を含む、
項目4に記載の画像処理方法。
(項目6)
前記各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行することは、
各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得することと、
各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することと、
各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得することと、を含む、
項目5に記載の画像処理方法。
(項目7)
前記各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することは、
第1方式で、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することを含み、前記第1方式の式は、
(化104)
で表され、
(化105)
はi番目の画像の第2重み係数であり、
(化106)
はi番目の画像特徴と前記i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差を表し、iは1からNまでの整数であり、Nは画像特徴の数であり、
(化107)
の標準偏差である、
項目6に記載の画像処理方法。
(項目8)
前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、をさらに含む、
項目1ないし7のいずれか一項に記載の画像処理方法。
(項目9)
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することは、
同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定することと、
各位置の要素の中央値に基づいて、前記中央値特徴行列を取得することと、を含む、
項目8に記載の画像処理方法。
(項目10)
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
各画像特徴と前記中央値特徴行列との間の第2誤差を取得することと、
画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定することと、を含む、
項目8または9に記載の画像処理方法。
(項目11)
前記第2方式の式は、
(化108)
(化109)
で表され、
(化110)
は第2方式で決定されるh番目の画像の重み係数であり、
(化111)
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す、
項目10に記載の画像処理方法。
(項目12)
前記第2条件は、
(化112)
(化113)
であり、
(化114)
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、medianは中央値フィルタリング関数を表す、
項目10または11に記載の画像処理方法。
(項目13)
前記各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することは、
各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含む、
項目1ないし12のいずれか一項に記載の画像処理方法。
(項目14)
前記画像処理方法は、
前記融合特徴を利用して、前記同一のオブジェクトの認識操作を実行することをさらに含む、
項目1ないし13のいずれか一項に記載の画像処理方法。
(項目15)
前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記画像処理方法は、
重み係数の取得モードに対する選択情報を取得することと、
前記選択情報に基づいて前記重み係数の取得モードを決定することと、
決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行することと、をさらに含み、
前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む、
項目1ないし14のいずれか一項に記載の画像処理方法。
(項目16)
画像処理装置であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュールと、
各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定するように構成される決定モジュールと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュールと、を備える、前記画像処理装置。
(項目17)
前記決定モジュールは、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第1確立ユニットと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得するように構成されるフィッティングユニットと、
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第1決定ユニットと、を備える、
項目16に記載の画像処理装置。
(項目18)
前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得するように構成される、
項目17に記載の画像処理装置。
(項目19)
前記決定モジュールはさらに、前記第1重み行列に対して第1最適化処理を実行するように構成される最適化ユニットを備え、
前記第1決定ユニットは、さらに、前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される、
項目17または18に記載の画像処理装置。
(項目20)
前記最適化ユニットは、さらに、前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得し、前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定し、及び、第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である、
項目19に記載の画像処理装置。
(項目21)
前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得し、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得し、各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得するように構成される、
項目20に記載の画像処理装置。
(項目22)
前記最適化ユニットは、さらに、第1方式で、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得するように構成され、前記第1方式の式は、
(化115)
で表され、
(化116)
はi番目の画像の第2重み係数であり、
(化117)
はi番目の画像特徴と前記i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差であり、iは1からNまでの整数であり、Nは画像特徴の数であり、
(化118)
の標準偏差である、
項目21に記載の画像処理装置。
(項目23)
前記決定モジュールはさらに、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第2確立ユニットと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第2決定ユニットと、を備える、
項目16ないし22のいずれか一項に記載の画像処理装置。
(項目24)
前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される、
項目23に記載の画像処理装置。
(項目25)
前記第2決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第2誤差を取得し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定するように構成される、
項目23または24に記載の画像処理装置。
(項目26)
前記第2方式の式は、
(化119)
(化120)
で表され、
(化121)
は第2方式で決定されるh番目の画像の重み係数であり、
(化122)
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す、
項目25に記載の画像処理装置。
(項目27)
前記第2条件は、
(化123)
(化124)
であり、
(化125)
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、medianは中央値フィルタリング関数を表す、
項目25または26に記載の画像処理装置。
(項目28)
前記融合モジュールは、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される、
項目16ないし27のいずれか一項に記載の画像処理装置。
(項目29)
前記画像処理装置はさらに、
前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える、
項目16ないし28のいずれか一項に記載の画像処理装置。
(項目30)
前記画像処理装置はさらに、
重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールを備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含み、
前記決定モジュールは、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される、
項目16ないし29のいずれか一項に記載の画像処理装置。
(項目31)
電子機器であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、項目1ないし15のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
(項目32)
コンピュータプログラム命令が記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、項目1ないし15のいずれか一項に記載の方法を実現するように構成される、前記コンピュータ可読記憶媒体。
Claims (32)
- 画像処理方法であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得することと、
各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することと、を含む、前記画像処理方法。 - 前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得することと、
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、を含む、
請求項1に記載の画像処理方法。 - 前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得することは、
正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得することを含む、
請求項2に記載の画像処理方法。 - 前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定すること、または、
前記第1重み行列に対して第1最適化処理を実行し、最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定することを含む、
請求項2または3に記載の画像処理方法。 - 前記第1重み行列に対して第1最適化処理を実行することは、
前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定することであって、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である、ことと、
各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得することと、
前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定することと、及び
第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定することと、を含む、
請求項4に記載の画像処理方法。 - 前記各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行することは、
各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得することと、
各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することと、
各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得することと、を含む、
請求項5に記載の画像処理方法。 - 前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、をさらに含む、
請求項1ないし7のいずれか一項に記載の画像処理方法。 - 前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することは、
同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定することと、
各位置の要素の中央値に基づいて、前記中央値特徴行列を取得することと、を含む、
請求項8に記載の画像処理方法。 - 前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
各画像特徴と前記中央値特徴行列との間の第2誤差を取得することと、
画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定することと、を含む、
請求項8または9に記載の画像処理方法。 - 前記各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することは、
各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含む、
請求項1ないし12のいずれか一項に記載の画像処理方法。 - 前記画像処理方法は、
前記融合特徴を利用して、前記同一のオブジェクトの認識操作を実行することをさらに含む、
請求項1ないし13のいずれか一項に記載の画像処理方法。 - 前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記画像処理方法は、
重み係数の取得モードに対する選択情報を取得することと、
前記選択情報に基づいて前記重み係数の取得モードを決定することと、
決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行することと、をさらに含み、
前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む、
請求項1ないし14のいずれか一項に記載の画像処理方法。 - 画像処理装置であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュールと、
各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定するように構成される決定モジュールと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュールと、を備える、前記画像処理装置。 - 前記決定モジュールは、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第1確立ユニットと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得するように構成されるフィッティングユニットと、
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第1決定ユニットと、を備える、
請求項16に記載の画像処理装置。 - 前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得するように構成される、
請求項17に記載の画像処理装置。 - 前記決定モジュールはさらに、前記第1重み行列に対して第1最適化処理を実行するように構成される最適化ユニットを備え、
前記第1決定ユニットは、さらに、前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される、
請求項17または18に記載の画像処理装置。 - 前記最適化ユニットは、さらに、前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得し、前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定し、及び、第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である、
請求項19に記載の画像処理装置。 - 前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得し、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得し、各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得するように構成される、
請求項20に記載の画像処理装置。 - 前記決定モジュールはさらに、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第2確立ユニットと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第2決定ユニットと、を備える、
請求項16ないし22のいずれか一項に記載の画像処理装置。 - 前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される、
請求項23に記載の画像処理装置。 - 前記第2決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第2誤差を取得し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定するように構成される、
請求項23または24に記載の画像処理装置。 - 前記融合モジュールは、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される、
請求項16ないし27のいずれか一項に記載の画像処理装置。 - 前記画像処理装置はさらに、
前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える、
請求項16ないし28のいずれか一項に記載の画像処理装置。 - 前記画像処理装置はさらに、
重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールを備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含み、
前記決定モジュールは、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される、
請求項16ないし29のいずれか一項に記載の画像処理装置。 - 電子機器であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、請求項1ないし15のいずれか一項に記載の方法を実行するように構成される、前記電子機器。 - コンピュータプログラム命令が記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、請求項1ないし15のいずれか一項に記載の方法を実現するように構成される、前記コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910228716.XA CN109977860B (zh) | 2019-03-25 | 2019-03-25 | 图像处理方法及装置、电子设备和存储介质 |
CN201910228716.X | 2019-03-25 | ||
PCT/CN2019/114465 WO2020192113A1 (zh) | 2019-03-25 | 2019-10-30 | 图像处理方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021530047A true JP2021530047A (ja) | 2021-11-04 |
JP7098763B2 JP7098763B2 (ja) | 2022-07-11 |
Family
ID=67080466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020573111A Active JP7098763B2 (ja) | 2019-03-25 | 2019-10-30 | 画像処理方法及び装置、電子機器、並びに記憶媒体 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210342632A1 (ja) |
JP (1) | JP7098763B2 (ja) |
KR (1) | KR102389766B1 (ja) |
CN (3) | CN109977860B (ja) |
SG (1) | SG11202108147UA (ja) |
TW (1) | TWI778313B (ja) |
WO (1) | WO2020192113A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977860B (zh) * | 2019-03-25 | 2021-07-16 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN112289306B (zh) * | 2020-11-18 | 2024-03-26 | 上海依图网络科技有限公司 | 一种基于人体特征的未成年人识别的方法及装置 |
TWI796072B (zh) * | 2021-12-30 | 2023-03-11 | 關貿網路股份有限公司 | 身分辨識系統、方法及其電腦可讀媒體 |
CN114627431B (zh) * | 2022-02-22 | 2023-07-21 | 安徽新识智能科技有限公司 | 一种基于物联网的环境智能监控方法及系统 |
CN115334239B (zh) * | 2022-08-10 | 2023-12-15 | 青岛海信移动通信技术有限公司 | 前后摄像头拍照融合的方法、终端设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182210A (ja) * | 2016-03-28 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 顔検出装置、顔検出方法及び顔認識システム |
JP2018120527A (ja) * | 2017-01-27 | 2018-08-02 | 株式会社リコー | 画像処理装置、画像処理方法及び画像処理システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100745981B1 (ko) * | 2006-01-13 | 2007-08-06 | 삼성전자주식회사 | 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치 |
KR20120066462A (ko) * | 2010-12-14 | 2012-06-22 | 한국전자통신연구원 | 얼굴 인식 방법 및 시스템, 얼굴 인식을 위한 학습용 특징 벡터 추출 장치 및 테스트용 특징 벡터 추출 장치 |
CN103218798A (zh) * | 2012-01-19 | 2013-07-24 | 索尼公司 | 图像处理设备和方法 |
CN106803055B (zh) * | 2015-11-26 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 人脸识别方法和装置 |
TWI731920B (zh) * | 2017-01-19 | 2021-07-01 | 香港商斑馬智行網絡(香港)有限公司 | 圖像特徵提取方法、裝置、終端設備及系統 |
CN108304789A (zh) * | 2017-12-12 | 2018-07-20 | 北京深醒科技有限公司 | 脸部识别方法及装置 |
CN108259774B (zh) * | 2018-01-31 | 2021-04-16 | 珠海市杰理科技股份有限公司 | 图像合成方法、系统和设备 |
CN108460365B (zh) * | 2018-03-27 | 2022-04-12 | 百度在线网络技术(北京)有限公司 | 身份认证方法和装置 |
CN109165551B (zh) * | 2018-07-13 | 2021-08-31 | 广东工业大学 | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 |
CN109472211A (zh) * | 2018-10-16 | 2019-03-15 | 深圳爱莫科技有限公司 | 人脸识别方法及装置 |
CN109977860B (zh) * | 2019-03-25 | 2021-07-16 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2019
- 2019-03-25 CN CN201910228716.XA patent/CN109977860B/zh active Active
- 2019-03-25 CN CN202110796805.1A patent/CN113486830A/zh active Pending
- 2019-03-25 CN CN202110796809.XA patent/CN113537048A/zh active Pending
- 2019-10-30 JP JP2020573111A patent/JP7098763B2/ja active Active
- 2019-10-30 WO PCT/CN2019/114465 patent/WO2020192113A1/zh active Application Filing
- 2019-10-30 SG SG11202108147UA patent/SG11202108147UA/en unknown
- 2019-10-30 KR KR1020217002882A patent/KR102389766B1/ko active IP Right Grant
- 2019-12-19 TW TW108146760A patent/TWI778313B/zh active
-
2021
- 2021-07-19 US US17/378,931 patent/US20210342632A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182210A (ja) * | 2016-03-28 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 顔検出装置、顔検出方法及び顔認識システム |
JP2018120527A (ja) * | 2017-01-27 | 2018-08-02 | 株式会社リコー | 画像処理装置、画像処理方法及び画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
KR102389766B1 (ko) | 2022-04-22 |
TWI778313B (zh) | 2022-09-21 |
TW202036476A (zh) | 2020-10-01 |
CN113537048A (zh) | 2021-10-22 |
CN109977860A (zh) | 2019-07-05 |
KR20210024631A (ko) | 2021-03-05 |
WO2020192113A1 (zh) | 2020-10-01 |
SG11202108147UA (en) | 2021-08-30 |
US20210342632A1 (en) | 2021-11-04 |
CN113486830A (zh) | 2021-10-08 |
JP7098763B2 (ja) | 2022-07-11 |
CN109977860B (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11532180B2 (en) | Image processing method and device and storage medium | |
JP7098763B2 (ja) | 画像処理方法及び装置、電子機器、並びに記憶媒体 | |
TWI747325B (zh) | 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介 | |
JP6852150B2 (ja) | 生体検知方法および装置、システム、電子機器、記憶媒体 | |
TWI771645B (zh) | 文本識別方法及裝置、電子設備、儲存介質 | |
KR20210102180A (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체 | |
KR20200131305A (ko) | 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체 | |
KR20210090238A (ko) | 비디오 처리 방법 및 장치, 전자 기기, 및 기억 매체 | |
CN109145150B (zh) | 目标匹配方法及装置、电子设备和存储介质 | |
CN109145970B (zh) | 基于图像的问答处理方法和装置、电子设备及存储介质 | |
CN110532956B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN111539410B (zh) | 字符识别方法及装置、电子设备和存储介质 | |
KR20220116015A (ko) | 네트워크 트레이닝 방법 및 장치, 이미지 생성 방법 및 장치 | |
CN111259967A (zh) | 图像分类及神经网络训练方法、装置、设备及存储介质 | |
CN109447258B (zh) | 神经网络模型的优化方法及装置、电子设备和存储介质 | |
WO2022141969A1 (zh) | 图像分割方法及装置、电子设备、存储介质和程序 | |
TWI770531B (zh) | 人臉識別方法、電子設備和儲存介質 | |
CN115035440A (zh) | 时序动作提名的生成方法及装置、电子设备和存储介质 | |
CN111488964A (zh) | 图像处理方法及装置、神经网络训练方法及装置 | |
CN114973359A (zh) | 表情识别方法及装置、电子设备和存储介质 | |
KR20240046777A (ko) | 활동 인식 방법 및 장치, 전자 장치 및 저장 매체 | |
CN111626398B (zh) | 运算方法、装置及相关产品 | |
CN107992893B (zh) | 压缩图像特征空间的方法及装置 | |
CN111723715B (zh) | 一种视频显著性检测方法及装置、电子设备和存储介质 | |
CN112734015B (zh) | 网络生成方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220624 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7098763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |