JP2022503426A - 人体検出方法、装置、コンピュータ機器及び記憶媒体 - Google Patents
人体検出方法、装置、コンピュータ機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2022503426A JP2022503426A JP2020572391A JP2020572391A JP2022503426A JP 2022503426 A JP2022503426 A JP 2022503426A JP 2020572391 A JP2020572391 A JP 2020572391A JP 2020572391 A JP2020572391 A JP 2020572391A JP 2022503426 A JP2022503426 A JP 2022503426A
- Authority
- JP
- Japan
- Prior art keywords
- contour
- feature matrix
- feature
- skeleton
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 318
- 238000000034 method Methods 0.000 claims abstract description 187
- 230000008569 process Effects 0.000 claims abstract description 104
- 239000011159 matrix material Substances 0.000 claims description 1146
- 238000000605 extraction Methods 0.000 claims description 286
- 230000004927 fusion Effects 0.000 claims description 242
- 238000013528 artificial neural network Methods 0.000 claims description 207
- 230000009466 transformation Effects 0.000 claims description 112
- 238000013527 convolutional neural network Methods 0.000 claims description 109
- 238000006073 displacement reaction Methods 0.000 claims description 99
- 238000012545 processing Methods 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000006872 improvement Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000007499 fusion processing Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
Description
S101において、検出対象画像を取得する。
事前訓練された第1特徴抽出ネットワークを用いて、検出対象画像から、人体骨格特徴を示すための骨格キーポイントの第1ターゲット骨格特徴行列を抽出し、人体輪郭特徴を示すための輪郭キーポイントの第1ターゲット輪郭特徴行列を抽出することができる。
第1輪郭特徴行列及び第2輪郭特徴行列に対して連結処理を行い、第1連結輪郭特徴行列を得て、第1連結輪郭特徴行列に対して次元変換処理を行い、第1ターゲット輪郭特徴行列を得ることを含む。
第1骨格特徴抽出ネットワークを用いて、基礎特徴行列に対して畳み込み処理を行い、第1骨格特徴行列を得て、第1骨格特徴行列に対して次元変換処理を行い、第1ターゲット骨格特徴行列を得て、
第1輪郭特徴抽出ネットワークを用いて、基礎特徴行列に対して畳み込み処理を行い、第1輪郭特徴行列を得て、第1輪郭特徴行列に対して次元変換処理を行い、第1ターゲット輪郭特徴行列を得る。
人体検出モデルは、訓練サンプル集合におけるサンプル画像を利用して訓練されたものであり、サンプル画像に、人体骨格構造の骨格キーポイントの実際の位置情報、及び人体輪郭の輪郭キーポイントの実際の位置情報がラベル付けされている。
人体骨格特徴を示すための骨格キーポイントの第1ターゲット骨格特徴行列及び人体輪郭特徴を示すための輪郭キーポイントの第1ターゲット輪郭特徴行列を得た後、第1ターゲット骨格特徴行列及び第1ターゲット輪郭特徴行列に基づいて、特徴融合処理を行うことができる。
図5に示すように、本願の実施例は、特徴融合ニューラルネットワークの具体的な構造を提供する。該構造は、第1畳み込みニューラルネットワーク、第2畳み込みニューラルネットワーク、第1変換ニューラルネットワーク、及び第2変換ニューラルネットワークを含む。
図7に示すように、本願の実施例で提供されるもう1つの特徴融合ニューラルネットワークの具体的な構造は、第1定向畳み込みニューラルネットワーク、第2定向畳み込みニューラルネットワーク、第3畳み込みニューラルネットワーク、第4畳み込みニューラルネットワーク、第3変換ニューラルネットワーク、及び第4変換ニューラルネットワークを含む。
図10に示すように、本願の実施例で提供されるもう1つの特徴融合ニューラルネットワークの具体的な構造は、変位推定ニューラルネットワーク、第5変換ニューラルネットワークを含む・
図11に示すように、本願の実施例は、図10で提供される特徴融合ニューラルネットワークに基づいて、第1ターゲット骨格特徴行列及び第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るための具体的な方法を更に提供する。前記方法は、下記ステップを含む。
前記検出モジュール152は、前記第1畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して畳み込み処理を行い、第1中間骨格特徴行列を得て、前記第2畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して畳み込み処理を行い、第1中間輪郭特徴行列を得ることと、前記第1中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第1連結特徴行列を得て、前記第1変換ニューラルネットワークを用いて、前記第1連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、前記第1中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第2連結特徴行列を得て、前記第2変換ニューラルネットワークを用いて、前記第2連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を含む方式で、特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るように構成される。
前記検出モジュール152は、前記第1定向畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して、定向畳み込み処理を行い、第1定向骨格特徴行列を得て、第3畳み込みニューラルネットワークを用いて、前記第1定向骨格特徴行列に対して畳み込み処理を行い、第2中間骨格特徴行列を得ることと、前記第2定向畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して、定向畳み込み処理を行い、第1定向輪郭特徴行列を得て、第4畳み込みニューラルネットワークを用いて、前記第1定向輪郭特徴に対して、畳み込み処理を行い、第2中間輪郭特徴行列を得ることと、前記第2中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第3連結特徴行列を得て、第3変換ニューラルネットワークを用いて、前記第3連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、前記第2中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第4連結特徴行列を得て、第4変換ニューラルネットワークを用いて、前記第4連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を含む方式で、特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るように構成される。
前記検出モジュール152は、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第5連結特徴行列を得ることと、前記第5連結特徴行列を前記変位推定ニューラルネットワークに入力し、事前決定された複数組のキーポイントペアに対して変位推定を行い、各組のキーポイントペアのうちの1つのキーポイントがもう1つのキーポイントまでに移動する変位情報を得て、各組のキーポイントペアのうちの各キーポイントをそれぞれ現在のキーポイントとし、該現在のキーポイントのペアであるもう1つのキーポイントに対応する三次元特徴行列から、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列を得ることと、前記ペアであるもう1つのキーポイントから前記現在のキーポイントまでの変位情報に基づいて、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列における要素に対して位置変換を行い、該現在のキーポイントに対応する変位特徴行列を得ることと、各骨格キーポイントについて、該骨格キーポイントに対応する二次元特徴行列と、該骨格キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該骨格キーポイントの連結二次元特徴行列を得て、該骨格キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該骨格キーポイントに対応するターゲット二次元特徴行列を得て、各骨格キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット骨格特徴行列を生成することと、各輪郭キーポイントについて、該輪郭キーポイントに対応する二次元特徴行列と、該輪郭キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該輪郭キーポイントの連結二次元特徴行列を得て、該輪郭キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該輪郭キーポイントに対応するターゲット二次元特徴行列を得て、各輪郭キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット輪郭特徴行列を生成することと、を含む方式で、特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るように構成される。
プロセッサ11と、記憶媒体12と、バス13と、を備え、記憶媒体12は、実行可能な命令を記憶するためのものであり、メモリ121及び外部メモリ122を含み、ここのメモリ121は、内部メモリとも呼ばれ、プロセッサ11における処理データ及びハードディスク等の外部メモリ122と交換されるデータを一時的に記憶するためのものであり、プロセッサ11は、メモリ121を介して外部メモリ122とデータ交換を行う。前記コンピュータ機器100が実行される場合、前記プロセッサ11と前記記憶媒体12は、バス13を介して通信し、前記プロセッサ11に、検出対象画像を取得し、前記検出対象画像に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定し、前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報に基づいて、人体検出結果を生成するという命令を実行させる。
例えば、本願は以下の項目を提供する。
(項目1)
人体検出方法であって、前記方法は、
検出対象画像を取得することと、
前記検出対象画像に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定することと、
前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報に基づいて、人体検出結果を生成することと、を含むことを特徴とする、人体検出方法。
(項目2)
前記輪郭キーポイントは、主輪郭キーポイント及び補助輪郭キーポイントを含み、ここで、2つの隣接する前記主輪郭キーポイントの間に、少なくとも1つの補助輪郭キーポイントが存在することを特徴とする
項目1に記載の人体検出方法。
(項目3)
前記検出対象画像に基づいて、人体輪郭を示すための輪郭キーポイントの位置情報を決定することは、
前記検出対象画像に基づいて、前記主輪郭キーポイントの位置情報を決定することと、
前記主輪郭キーポイントの位置情報に基づいて、人体輪郭情報を決定することと、
決定された前記人体輪郭情報に基づいて、複数の前記補助輪郭キーポイントの位置情報を決定することと、を含むことを特徴とする
項目2に記載の人体検出方法。
(項目4)
前記人体検出結果は、
骨格キーポイントマーク及び輪郭キーポイントマークが付加された検出対象画像、前記骨格キーポイントの位置情報及び前記輪郭キーポイントの位置情報を含むデータ群のうちの1つ又は複数を含むことを特徴とする
項目1から3のいずれか一項に記載の人体検出方法。
(項目5)
前記方法は、
前記人体検出結果に基づいて、人体動作認識、人体姿勢検出、人体輪郭調整、人体画像編集及び人体画像の貼り付けのうちの1つ又は複数を実行することを更に含むことを特徴とする
項目4に記載の人体検出方法。
(項目6)
前記検出対象画像に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定することは、
前記検出対象画像に基づいて、特徴抽出を行い、骨格特徴及び輪郭特徴を得て、得られた骨格特徴及び輪郭特徴に対して特徴融合を行うことと、特徴融合結果に基づいて、前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報を決定することと、を含むことを特徴とする
項目1から5のいずれか一項に記載の人体検出方法。
(項目7)
前記検出対象画像に基づいて、特徴抽出を行い、骨格特徴及び輪郭特徴を得て、得られた骨格特徴及び輪郭特徴に対して特徴融合を行うことは、
前記検出対象画像に基づいて、少なくとも1回の特徴抽出を行い、特徴抽出を行うたびに得られた骨格特徴及び輪郭特徴に対して特徴融合を行うことであって、複数回の特徴抽出を行う場合、i回目の特徴融合の特徴融合結果に基づいてi+1回目の特徴抽出を行い、iは正整数である、ことを含み、
特徴融合結果に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定することは、
最終回の特徴融合の特徴融合結果に基づいて、前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報を決定することを含むことを特徴とする
項目6に記載の人体検出方法。
(項目8)
前記検出対象画像に基づいて、少なくとも1回の特徴抽出を行うことは、
1回目の特徴抽出において、事前訓練された第1特徴抽出ネットワークを用いて、検出対象画像から、人体骨格特徴を示すための骨格キーポイントの第1ターゲット骨格特徴行列を抽出し、人体輪郭特徴を示すための輪郭キーポイントの第1ターゲット輪郭特徴行列を抽出することと、
i+1回の特徴抽出において、事前訓練された第2特徴抽出ネットワークを用いて、i回目の特徴融合の特徴融合結果から、前記第1ターゲット骨格特徴行列、及び前記第1ターゲット輪郭特徴行列を抽出することと、を含み、
第1特徴抽出ネットワークのネットワークパラメータは、第2特徴抽出ネットワークのネットワークパラメータと異なり、且つ特徴抽出のたびに用いられる第2特徴抽出ネットワークのネットワークパラメータは異なることを特徴とする
項目7に記載の人体検出方法。
(項目9)
抽出して得られた骨格特徴及び輪郭特徴に対して特徴融合を行うことは、
事前訓練された特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得ることを含み、
前記第2ターゲット骨格特徴行列は、三次元骨格特徴行列であり、該三次元骨格特徴行列は、各骨格キーポイントにそれぞれ対応する二次元骨格特徴行列を含み、前記二次元骨格特徴行列における各要素の値は、該要素に対応する画素点が、対応する骨格キーポイントに属する確率を表し、
前記第2ターゲット輪郭特徴行列は、三次元輪郭特徴行列であり、該三次元輪郭特徴行列は、各輪郭キーポイントにそれぞれ対応する二次元輪郭特徴行列を含み、前記二次元輪郭特徴行列における各要素の値は、該要素に対応する画素点が、対応する輪郭キーポイントに属する確率を表し、
特徴融合のたびに用いられる特徴融合ニューラルネットワークのネットワークパラメータは異なる、ことを含むことを特徴とする
項目8に記載の人体検出方法。
(項目10)
前記第1特徴抽出ネットワークは、共通特徴抽出ネットワーク、第1骨格特徴抽出ネットワーク及び第1輪郭特徴抽出ネットワークを含み、
第1特徴抽出ネットワークを用いて、検出対象画像から、人体骨格特徴を示すための骨格キーポイントの第1ターゲット骨格特徴行列を抽出し、人体輪郭特徴を示すための輪郭キーポイントの第1ターゲット輪郭特徴行列を抽出することは、
前記共通特徴抽出ネットワークを用いて、前記検出対象画像に対して畳み込み処理を行い、骨格特徴及び輪郭特徴を含む基礎特徴行列を得ることと、
前記第1骨格特徴抽出ネットワークを用いて、前記基礎特徴行列に対して畳み込み処理を行い、第1骨格特徴行列を得て、前記第1骨格特徴抽出ネットワークにおける第1ターゲット畳み込み層から、第2骨格特徴行列を取得し、前記第1骨格特徴行列及び前記第2骨格特徴行列に基づいて、前記第1ターゲット骨格特徴行列を得ることであって、前記第1ターゲット畳み込み層は、前記第1骨格特徴抽出ネットワークにおける、最後の1つの畳み込み層以外のいずれか1つの畳み込み層である、ことと、
前記第1輪郭特徴抽出ネットワークを用いて、前記基礎特徴行列に対して畳み込み処理を行い、第1輪郭特徴行列を得て、前記第1輪郭特徴抽出ネットワークにおける第2ターゲット畳み込み層から、第2輪郭特徴行列を取得し、前記第1輪郭特徴行列及び前記第2輪郭特徴行列に基づいて、前記第1ターゲット輪郭特徴行列を得ることであって、前記第2ターゲット畳み込み層は、前記第1輪郭特徴抽出ネットワークにおける、最後の1つの畳み込み層以外のいずれか1つの畳み込み層である、ことと、を含むことを特徴とする
項目8に記載の人体検出方法。
(項目11)
第1骨格特徴行列及び前記第2骨格特徴行列に基づいて、前記第1ターゲット骨格特徴行列を得ることは、
前記第1骨格特徴行列及び前記第2骨格特徴行列に対して連結処理を行い、第1連結骨格特徴行列を得ることと、前記第1連結骨格特徴行列を次元変換処理し、前記第1ターゲット骨格特徴行列を得ることと、を含み、
前記第1輪郭特徴行列及び前記第2輪郭特徴行列に基づいて、前記第1ターゲット輪郭特徴行列を得ることは、
前記第1輪郭特徴行列及び前記第2輪郭特徴行列に対して連結処理を行い、第1連結輪郭特徴行列を得ることと、前記第1連結輪郭特徴行列を次元変換処理し、前記ターゲット輪郭特徴行列を得ることと、を含み、
前記第1ターゲット骨格特徴行列の次元は、前記第1ターゲット輪郭特徴行列の次元と同じであり、且つ前記第1ターゲット骨格特徴行列と前記第1ターゲット輪郭特徴行列は、同一の次元における次元数が同じであることを特徴とする
項目10に記載の人体検出方法。
(項目12)
前記特徴融合ニューラルネットワークは、第1畳み込みニューラルネットワーク、第2畳み込みニューラルネットワーク、第1変換ニューラルネットワーク及び第2変換ニューラルネットワークを含み、
特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得ることは、
前記第1畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して畳み込み処理を行い、第1中間骨格特徴行列を得て、前記第2畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して畳み込み処理を行い、第1中間輪郭特徴行列を得ることと、
前記第1中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第1連結特徴行列を得て、前記第1変換ニューラルネットワークを用いて、前記第1連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、
前記第1中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第2連結特徴行列を得て、前記第2変換ニューラルネットワークを用いて、前記第2連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を含むことを特徴とする
項目9に記載の人体検出方法。
(項目13)
前記特徴融合ニューラルネットワークは、第1定向畳み込みニューラルネットワーク、第2定向畳み込みニューラルネットワーク、第3畳み込みニューラルネットワーク、第4畳み込みニューラルネットワーク、第3変換ニューラルネットワーク、及び第4変換ニューラルネットワークを含み、
特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得ることは、
前記第1定向畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して、定向畳み込み処理を行い、第1定向骨格特徴行列を得て、第3畳み込みニューラルネットワークを用いて、前記第1定向骨格特徴行列に対して畳み込み処理を行い、第2中間骨格特徴行列を得ることと、
前記第2定向畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して、定向畳み込み処理を行い、第1定向輪郭特徴行列を得て、第4畳み込みニューラルネットワークを用いて、前記第1定向輪郭特徴に対して、畳み込み処理を行い、第2中間輪郭特徴行列を得ることと、
前記第2中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第3連結特徴行列を得て、第3変換ニューラルネットワークを用いて、前記第3連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、
前記第2中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第4連結特徴行列を得て、第4変換ニューラルネットワークを用いて、前記第4連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を含むことを特徴とする
項目9に記載の人体検出方法。
(項目14)
前記特徴融合ニューラルネットワークは、変位推定ニューラルネットワーク、第5変換ニューラルネットワークを含み、
特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得ることは、
前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第5連結特徴行列を得ることと、
前記第5連結特徴行列を前記変位推定ニューラルネットワークに入力し、事前決定された複数組のキーポイントペアに対して変位推定を行い、各組のキーポイントペアのうちの1つのキーポイントがもう1つのキーポイントまでに移動する変位情報を得て、各組のキーポイントペアのうちの各キーポイントをそれぞれ現在のキーポイントとし、該現在のキーポイントのペアであるもう1つのキーポイントに対応する三次元特徴行列から、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列を得ることと、
前記ペアであるもう1つのキーポイントから前記現在のキーポイントまでの変位情報に基づいて、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列における要素に対して位置変換を行い、該現在のキーポイントに対応する変位特徴行列を得ることと、
各骨格キーポイントについて、該骨格キーポイントに対応する二次元特徴行列と、該骨格キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該骨格キーポイントの連結二次元特徴行列を得て、該骨格キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該骨格キーポイントに対応するターゲット二次元特徴行列を得て、各骨格キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット骨格特徴行列を生成することと、
各輪郭キーポイントについて、該輪郭キーポイントに対応する二次元特徴行列と、該輪郭キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該輪郭キーポイントの連結二次元特徴行列を得て、該輪郭キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該輪郭キーポイントに対応するターゲット二次元特徴行列を得て、各輪郭キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット輪郭特徴行列を生成することと、を含むことを特徴とする
項目9に記載の人体検出方法。
(項目15)
前記人体検出方法は、人体検出モデルにより実現され、前記人体検出モデルは、前記第1特徴抽出ネットワーク及び/又は前記特徴融合ニューラルネットワークを含み、
前記人体検出モデルは、訓練サンプル集合におけるサンプル画像を利用して訓練されたものであり、前記サンプル画像に、人体骨格構造の骨格キーポイントの実際の位置情報、及び人体輪郭の輪郭キーポイントの実際の位置情報がラベル付けされていることを特徴とする
項目1から14のいずれか一項に記載の人体検出方法。
(項目16)
人体検出装置であって、前記装置は、
検出対象画像を取得するように構成される取得モジュールと、
前記検出対象画像に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定するように構成される検出モジュールと、
前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報に基づいて、人体検出結果を生成するように構成される生成モジュールと、を備えることを特徴とする、人体検出装置。
(項目17)
前記輪郭キーポイントは、主輪郭キーポイント及び補助輪郭キーポイントを含み、ここで、2つの隣接する前記主輪郭キーポイントの間に、少なくとも1つの補助輪郭キーポイントが存在することを特徴とする
項目16に記載の人体検出装置。
(項目18)
前記検出モジュールは、前記検出対象画像に基づいて、前記主輪郭キーポイントの位置情報を決定し、前記主輪郭キーポイントの位置情報に基づいて、人体輪郭情報を決定し、決定された前記人体輪郭情報に基づいて、複数の前記補助輪郭キーポイントの位置情報を決定するという方式で、前記検出対象画像に基づいて、人体輪郭を示すための輪郭キーポイントの位置情報を決定するように構成されることを特徴とする
項目17に記載の人体検出装置。
(項目19)
前記人体検出結果は、
骨格キーポイントマーク及び輪郭キーポイントマークが付加された検出対象画像、前記骨格キーポイントの位置情報及び前記輪郭キーポイントの位置情報を含むデータ群のうちの1つ又は複数を含むことを特徴とする
項目16から18のいずれか一項に記載の人体検出装置。
(項目20)
前記人体検出装置は、
前記人体検出結果に基づいて、人体動作認識、人体姿勢検出、人体輪郭調整、人体画像編集及び人体画像の貼り付けのうちの1つ又は複数を実行するように構成される実行モジュールを更に備えることを特徴とする
項目19に記載の人体検出装置。
(項目21)
前記検出モジュールは、前記検出対象画像に基づいて、特徴抽出を行い、骨格特徴及び輪郭特徴を得て、得られた骨格特徴及び輪郭特徴に対して特徴融合を行い、特徴融合結果に基づいて、前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報を決定するという方式で、前記検出対象画像に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定するように構成されることを特徴とする
項目16から項目20のいずれか一項に記載の人体検出装置。
(項目22)
前記検出モジュールは、前記検出対象画像に基づいて、少なくとも1回の特徴抽出を行い、特徴抽出を行うたびに得られた骨格特徴及び輪郭特徴に対して特徴融合を行い、複数回の特徴抽出を行う場合、i回目の特徴融合の特徴融合結果に基づいてi+1回目の特徴抽出を行い、iは正整数であるという方式で、前記検出対象画像に基づいて、特徴抽出を行い、骨格特徴及び輪郭特徴を得て、得られた骨格特徴及び輪郭特徴に対して特徴融合を行うように構成され、
前記検出モジュールは、最終回の特徴融合の特徴融合結果に基づいて、前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報を決定するという方式で、特徴融合結果に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定するように構成されることを特徴とする
項目21に記載の人体検出装置。
(項目23)
前記検出モジュールは、1回目の特徴抽出において、事前訓練された第1特徴抽出ネットワークを用いて、検出対象画像から、人体骨格特徴を示すための骨格キーポイントの第1ターゲット骨格特徴行列を抽出し、人体輪郭特徴を示すための輪郭キーポイントの第1ターゲット輪郭特徴行列を抽出し、i+1回の特徴抽出において、事前訓練された第2特徴抽出ネットワークを用いて、i回目の特徴融合の特徴融合結果から、前記第1ターゲット骨格特徴行列、及び前記第1ターゲット輪郭特徴行列を抽出するという方式で、前記検出対象画像に基づいて、少なくとも1回の特徴抽出を行うように構成され、
第1特徴抽出ネットワークのネットワークパラメータは、第2特徴抽出ネットワークのネットワークパラメータと異なり、且つ特徴抽出のたびに用いられる第2特徴抽出ネットワークのネットワークパラメータは異なることを特徴とする
項目22に記載の人体検出装置。
(項目24)
前記検出モジュールは、事前訓練された特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るという方式で、抽出して得られた骨格特徴及び輪郭特徴に対して特徴融合を行うように構成され、
前記第2ターゲット骨格特徴行列は、三次元骨格特徴行列であり、該三次元骨格特徴行列は、各骨格キーポイントにそれぞれ対応する二次元骨格特徴行列を含み、前記二次元骨格特徴行列における各要素の値は、該要素に対応する画素点が、対応する骨格キーポイントに属する確率を表し、
前記第2ターゲット輪郭特徴行列は、三次元輪郭特徴行列であり、該三次元輪郭特徴行列は、各輪郭キーポイントにそれぞれ対応する二次元輪郭特徴行列を含み、前記二次元輪郭特徴行列における各要素の値は、該要素に対応する画素点が、対応する輪郭キーポイントに属する確率を表し、
特徴融合のたびに用いられる特徴融合ニューラルネットワークのネットワークパラメータは異なることを特徴とする
項目23に記載の人体検出装置。
(項目25)
第1特徴抽出ネットワークは、共通特徴抽出ネットワーク、第1骨格特徴抽出ネットワーク及び第1輪郭特徴抽出ネットワークを含み、
前記検出モジュールは、
前記共通特徴抽出ネットワークを用いて、前記検出対象画像に対して畳み込み処理を行い、骨格特徴及び輪郭特徴を含む基礎特徴行列を得ることと、
前記第1骨格特徴抽出ネットワークを用いて、前記基礎特徴行列に対して畳み込み処理を行い、第1骨格特徴行列を得て、前記第1骨格特徴抽出ネットワークにおける第1ターゲット畳み込み層から、第2骨格特徴行列を取得し、前記第1骨格特徴行列及び前記第2骨格特徴行列に基づいて、前記第1ターゲット骨格特徴行列を得ることであって、前記第1ターゲット畳み込み層は、前記第1骨格特徴抽出ネットワークにおける、最後の1つの畳み込み層以外のいずれか1つの畳み込み層であることと、
前記第1輪郭特徴抽出ネットワークを用いて、前記基礎特徴行列に対して畳み込み処理を行い、第1輪郭特徴行列を得て、前記第1輪郭特徴抽出ネットワークにおける第2ターゲット畳み込み層から、第2輪郭特徴行列を取得し、前記第1輪郭特徴行列及び前記第2輪郭特徴行列に基づいて、前記第1ターゲット輪郭特徴行列を得ることであって、前記第2ターゲット畳み込み層は、前記第1輪郭特徴抽出ネットワークにおける、最後の1つの畳み込み層以外のいずれか1つの畳み込み層であることと、を実行する、
という方式で、第1特徴抽出ネットワークを用いて、検出対象画像から、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列を抽出するように構成されることを特徴とする
項目23に記載の人体検出装置。
(項目26)
前記検出モジュールは、前記第1骨格特徴行列及び前記第2骨格特徴行列に対して連結処理を行い、第1連結骨格特徴行列を得て、前記第1連結骨格特徴行列を次元変換処理し、前記第1ターゲット骨格特徴行列を得るという方式で、前記第1骨格特徴行列及び前記第2骨格特徴行列に基づいて、前記第1ターゲット骨格特徴行列を得るように構成され、
前記第1輪郭特徴行列及び前記第2輪郭特徴行列に基づいて、前記第1ターゲット輪郭特徴行列を得ることは、
前記第1輪郭特徴行列及び前記第2輪郭特徴行列に対して連結処理を行い、第1連結輪郭特徴行列を得ることと、
前記第1連結輪郭特徴行列を次元変換処理し、前記ターゲット輪郭特徴行列を得ることと、を含み、
前記第1ターゲット骨格特徴行列の次元は、前記第1ターゲット輪郭特徴行列の次元と同じであり、且つ前記第1ターゲット骨格特徴行列と前記第1ターゲット輪郭特徴行列は、同一の次元における次元数が同じであることを特徴とする
項目25に記載の人体検出装置。
(項目27)
前記特徴融合ニューラルネットワークは、第1畳み込みニューラルネットワーク、第2畳み込みニューラルネットワーク、第1変換ニューラルネットワーク及び第2変換ニューラルネットワークを含み、
前記検出モジュールは、
前記第1畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して畳み込み処理を行い、第1中間骨格特徴行列を得て、前記第2畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して畳み込み処理を行い、第1中間輪郭特徴行列を得ることと、
前記第1中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第1連結特徴行列を得て、前記第1変換ニューラルネットワークを用いて、前記第1連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、
前記第1中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第2連結特徴行列を得て、前記第2変換ニューラルネットワークを用いて、前記第2連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を実行する、
という方式で、特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るように構成されることを特徴とする
項目24に記載の人体検出装置。
(項目28)
前記特徴融合ニューラルネットワークは、第1定向畳み込みニューラルネットワーク、第2定向畳み込みニューラルネットワーク、第3畳み込みニューラルネットワーク、第4畳み込みニューラルネットワーク、第3変換ニューラルネットワーク、及び第4変換ニューラルネットワークを含み、
前記検出モジュールは、
前記第1定向畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して、定向畳み込み処理を行い、第1定向骨格特徴行列を得て、第3畳み込みニューラルネットワークを用いて、前記第1定向骨格特徴行列に対して畳み込み処理を行い、第2中間骨格特徴行列を得ることと、
前記第2定向畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して、定向畳み込み処理を行い、第1定向輪郭特徴行列を得て、第4畳み込みニューラルネットワークを用いて、前記第1定向輪郭特徴に対して、畳み込み処理を行い、第2中間輪郭特徴行列を得ることと、
前記第2中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第3連結特徴行列を得て、第3変換ニューラルネットワークを用いて、前記第3連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、
前記第2中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第4連結特徴行列を得て、第4変換ニューラルネットワークを用いて、前記第4連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を実行する、
という方式で、特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るように構成されることを特徴とする
項目24に記載の人体検出装置。
(項目29)
前記特徴融合ニューラルネットワークは、変位推定ニューラルネットワーク、第5変換ニューラルネットワークを含み、
前記検出モジュールは、
前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第5連結特徴行列を得ることと、
前記第5連結特徴行列を前記変位推定ニューラルネットワークに入力し、事前決定された複数組のキーポイントペアに対して変位推定を行い、各組のキーポイントペアのうちの1つのキーポイントがもう1つのキーポイントまでに移動する変位情報を得て、各組のキーポイントペアのうちの各キーポイントをそれぞれ現在のキーポイントとし、該現在のキーポイントのペアであるもう1つのキーポイントに対応する三次元特徴行列から、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列を得ることと、
前記ペアであるもう1つのキーポイントから前記現在のキーポイントまでの変位情報に基づいて、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列における要素に対して位置変換を行い、該現在のキーポイントに対応する変位特徴行列を得ることと、
各骨格キーポイントについて、該骨格キーポイントに対応する二次元特徴行列と、該骨格キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該骨格キーポイントの連結二次元特徴行列を得て、該骨格キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該骨格キーポイントに対応するターゲット二次元特徴行列を得て、各骨格キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット骨格特徴行列を生成することと、
各輪郭キーポイントについて、該輪郭キーポイントに対応する二次元特徴行列と、該輪郭キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該輪郭キーポイントの連結二次元特徴行列を得て、該輪郭キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該輪郭キーポイントに対応するターゲット二次元特徴行列を得て、各輪郭キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット輪郭特徴行列を生成することと、を実行する、
という方式で、特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るように構成されることを特徴とする
項目24に記載の人体検出装置。
(項目30)
前記人体検出装置の人体検出機能は、人体検出モデルにより実現され、前記人体検出モデルは、前記第1特徴抽出ネットワーク及び/又は前記特徴融合ニューラルネットワークを含み、
前記人体検出モデルは、訓練サンプル集合におけるサンプル画像を利用して訓練されたものであり、前記サンプル画像に、人体骨格構造の骨格キーポイントの実際の位置情報、及び人体輪郭の輪郭キーポイントの実際の位置情報がラベル付けされていることを特徴とする
項目16から29のいずれか一項に記載の人体検出装置。
(項目31)
コンピュータ機器であって、プロセッサと、非一時的記憶媒体と、バスと、を備え、前記非一時的記憶媒体に、前記プロセッサによる実行可能な機器可読命令が記憶されており、コンピュータ機器が実行される場合、前記プロセッサと前記非一時的記憶媒体は、バスを介して通信し、前記機器可読命令は、前記プロセッサにより実行され、項目1から15のいずれか一項に記載の方法のステップを実行することを特徴とする、コンピュータ機器。
(項目32)
コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行され、項目1から15のいずれか一項に記載の方法のステップを実行することを特徴とする、コンピュータ可読記憶媒体。
Claims (32)
- 人体検出方法であって、前記方法は、
検出対象画像を取得することと、
前記検出対象画像に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定することと、
前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報に基づいて、人体検出結果を生成することと、を含むことを特徴とする、人体検出方法。 - 前記輪郭キーポイントは、主輪郭キーポイント及び補助輪郭キーポイントを含み、ここで、2つの隣接する前記主輪郭キーポイントの間に、少なくとも1つの補助輪郭キーポイントが存在することを特徴とする
請求項1に記載の人体検出方法。 - 前記検出対象画像に基づいて、人体輪郭を示すための輪郭キーポイントの位置情報を決定することは、
前記検出対象画像に基づいて、前記主輪郭キーポイントの位置情報を決定することと、
前記主輪郭キーポイントの位置情報に基づいて、人体輪郭情報を決定することと、
決定された前記人体輪郭情報に基づいて、複数の前記補助輪郭キーポイントの位置情報を決定することと、を含むことを特徴とする
請求項2に記載の人体検出方法。 - 前記人体検出結果は、
骨格キーポイントマーク及び輪郭キーポイントマークが付加された検出対象画像、前記骨格キーポイントの位置情報及び前記輪郭キーポイントの位置情報を含むデータ群のうちの1つ又は複数を含むことを特徴とする
請求項1から3のいずれか一項に記載の人体検出方法。 - 前記方法は、
前記人体検出結果に基づいて、人体動作認識、人体姿勢検出、人体輪郭調整、人体画像編集及び人体画像の貼り付けのうちの1つ又は複数を実行することを更に含むことを特徴とする
請求項4に記載の人体検出方法。 - 前記検出対象画像に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定することは、
前記検出対象画像に基づいて、特徴抽出を行い、骨格特徴及び輪郭特徴を得て、得られた骨格特徴及び輪郭特徴に対して特徴融合を行うことと、特徴融合結果に基づいて、前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報を決定することと、を含むことを特徴とする
請求項1から5のいずれか一項に記載の人体検出方法。 - 前記検出対象画像に基づいて、特徴抽出を行い、骨格特徴及び輪郭特徴を得て、得られた骨格特徴及び輪郭特徴に対して特徴融合を行うことは、
前記検出対象画像に基づいて、少なくとも1回の特徴抽出を行い、特徴抽出を行うたびに得られた骨格特徴及び輪郭特徴に対して特徴融合を行うことであって、複数回の特徴抽出を行う場合、i回目の特徴融合の特徴融合結果に基づいてi+1回目の特徴抽出を行い、iは正整数である、ことを含み、
特徴融合結果に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定することは、
最終回の特徴融合の特徴融合結果に基づいて、前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報を決定することを含むことを特徴とする
請求項6に記載の人体検出方法。 - 前記検出対象画像に基づいて、少なくとも1回の特徴抽出を行うことは、
1回目の特徴抽出において、事前訓練された第1特徴抽出ネットワークを用いて、検出対象画像から、人体骨格特徴を示すための骨格キーポイントの第1ターゲット骨格特徴行列を抽出し、人体輪郭特徴を示すための輪郭キーポイントの第1ターゲット輪郭特徴行列を抽出することと、
i+1回の特徴抽出において、事前訓練された第2特徴抽出ネットワークを用いて、i回目の特徴融合の特徴融合結果から、前記第1ターゲット骨格特徴行列、及び前記第1ターゲット輪郭特徴行列を抽出することと、を含み、
第1特徴抽出ネットワークのネットワークパラメータは、第2特徴抽出ネットワークのネットワークパラメータと異なり、且つ特徴抽出のたびに用いられる第2特徴抽出ネットワークのネットワークパラメータは異なることを特徴とする
請求項7に記載の人体検出方法。 - 抽出して得られた骨格特徴及び輪郭特徴に対して特徴融合を行うことは、
事前訓練された特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得ることを含み、
前記第2ターゲット骨格特徴行列は、三次元骨格特徴行列であり、該三次元骨格特徴行列は、各骨格キーポイントにそれぞれ対応する二次元骨格特徴行列を含み、前記二次元骨格特徴行列における各要素の値は、該要素に対応する画素点が、対応する骨格キーポイントに属する確率を表し、
前記第2ターゲット輪郭特徴行列は、三次元輪郭特徴行列であり、該三次元輪郭特徴行列は、各輪郭キーポイントにそれぞれ対応する二次元輪郭特徴行列を含み、前記二次元輪郭特徴行列における各要素の値は、該要素に対応する画素点が、対応する輪郭キーポイントに属する確率を表し、
特徴融合のたびに用いられる特徴融合ニューラルネットワークのネットワークパラメータは異なる、ことを含むことを特徴とする
請求項8に記載の人体検出方法。 - 前記第1特徴抽出ネットワークは、共通特徴抽出ネットワーク、第1骨格特徴抽出ネットワーク及び第1輪郭特徴抽出ネットワークを含み、
第1特徴抽出ネットワークを用いて、検出対象画像から、人体骨格特徴を示すための骨格キーポイントの第1ターゲット骨格特徴行列を抽出し、人体輪郭特徴を示すための輪郭キーポイントの第1ターゲット輪郭特徴行列を抽出することは、
前記共通特徴抽出ネットワークを用いて、前記検出対象画像に対して畳み込み処理を行い、骨格特徴及び輪郭特徴を含む基礎特徴行列を得ることと、
前記第1骨格特徴抽出ネットワークを用いて、前記基礎特徴行列に対して畳み込み処理を行い、第1骨格特徴行列を得て、前記第1骨格特徴抽出ネットワークにおける第1ターゲット畳み込み層から、第2骨格特徴行列を取得し、前記第1骨格特徴行列及び前記第2骨格特徴行列に基づいて、前記第1ターゲット骨格特徴行列を得ることであって、前記第1ターゲット畳み込み層は、前記第1骨格特徴抽出ネットワークにおける、最後の1つの畳み込み層以外のいずれか1つの畳み込み層である、ことと、
前記第1輪郭特徴抽出ネットワークを用いて、前記基礎特徴行列に対して畳み込み処理を行い、第1輪郭特徴行列を得て、前記第1輪郭特徴抽出ネットワークにおける第2ターゲット畳み込み層から、第2輪郭特徴行列を取得し、前記第1輪郭特徴行列及び前記第2輪郭特徴行列に基づいて、前記第1ターゲット輪郭特徴行列を得ることであって、前記第2ターゲット畳み込み層は、前記第1輪郭特徴抽出ネットワークにおける、最後の1つの畳み込み層以外のいずれか1つの畳み込み層である、ことと、を含むことを特徴とする
請求項8に記載の人体検出方法。 - 第1骨格特徴行列及び前記第2骨格特徴行列に基づいて、前記第1ターゲット骨格特徴行列を得ることは、
前記第1骨格特徴行列及び前記第2骨格特徴行列に対して連結処理を行い、第1連結骨格特徴行列を得ることと、前記第1連結骨格特徴行列を次元変換処理し、前記第1ターゲット骨格特徴行列を得ることと、を含み、
前記第1輪郭特徴行列及び前記第2輪郭特徴行列に基づいて、前記第1ターゲット輪郭特徴行列を得ることは、
前記第1輪郭特徴行列及び前記第2輪郭特徴行列に対して連結処理を行い、第1連結輪郭特徴行列を得ることと、前記第1連結輪郭特徴行列を次元変換処理し、前記ターゲット輪郭特徴行列を得ることと、を含み、
前記第1ターゲット骨格特徴行列の次元は、前記第1ターゲット輪郭特徴行列の次元と同じであり、且つ前記第1ターゲット骨格特徴行列と前記第1ターゲット輪郭特徴行列は、同一の次元における次元数が同じであることを特徴とする
請求項10に記載の人体検出方法。 - 前記特徴融合ニューラルネットワークは、第1畳み込みニューラルネットワーク、第2畳み込みニューラルネットワーク、第1変換ニューラルネットワーク及び第2変換ニューラルネットワークを含み、
特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得ることは、
前記第1畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して畳み込み処理を行い、第1中間骨格特徴行列を得て、前記第2畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して畳み込み処理を行い、第1中間輪郭特徴行列を得ることと、
前記第1中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第1連結特徴行列を得て、前記第1変換ニューラルネットワークを用いて、前記第1連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、
前記第1中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第2連結特徴行列を得て、前記第2変換ニューラルネットワークを用いて、前記第2連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を含むことを特徴とする
請求項9に記載の人体検出方法。 - 前記特徴融合ニューラルネットワークは、第1定向畳み込みニューラルネットワーク、第2定向畳み込みニューラルネットワーク、第3畳み込みニューラルネットワーク、第4畳み込みニューラルネットワーク、第3変換ニューラルネットワーク、及び第4変換ニューラルネットワークを含み、
特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得ることは、
前記第1定向畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して、定向畳み込み処理を行い、第1定向骨格特徴行列を得て、第3畳み込みニューラルネットワークを用いて、前記第1定向骨格特徴行列に対して畳み込み処理を行い、第2中間骨格特徴行列を得ることと、
前記第2定向畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して、定向畳み込み処理を行い、第1定向輪郭特徴行列を得て、第4畳み込みニューラルネットワークを用いて、前記第1定向輪郭特徴に対して、畳み込み処理を行い、第2中間輪郭特徴行列を得ることと、
前記第2中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第3連結特徴行列を得て、第3変換ニューラルネットワークを用いて、前記第3連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、
前記第2中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第4連結特徴行列を得て、第4変換ニューラルネットワークを用いて、前記第4連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を含むことを特徴とする
請求項9に記載の人体検出方法。 - 前記特徴融合ニューラルネットワークは、変位推定ニューラルネットワーク、第5変換ニューラルネットワークを含み、
特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得ることは、
前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第5連結特徴行列を得ることと、
前記第5連結特徴行列を前記変位推定ニューラルネットワークに入力し、事前決定された複数組のキーポイントペアに対して変位推定を行い、各組のキーポイントペアのうちの1つのキーポイントがもう1つのキーポイントまでに移動する変位情報を得て、各組のキーポイントペアのうちの各キーポイントをそれぞれ現在のキーポイントとし、該現在のキーポイントのペアであるもう1つのキーポイントに対応する三次元特徴行列から、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列を得ることと、
前記ペアであるもう1つのキーポイントから前記現在のキーポイントまでの変位情報に基づいて、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列における要素に対して位置変換を行い、該現在のキーポイントに対応する変位特徴行列を得ることと、
各骨格キーポイントについて、該骨格キーポイントに対応する二次元特徴行列と、該骨格キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該骨格キーポイントの連結二次元特徴行列を得て、該骨格キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該骨格キーポイントに対応するターゲット二次元特徴行列を得て、各骨格キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット骨格特徴行列を生成することと、
各輪郭キーポイントについて、該輪郭キーポイントに対応する二次元特徴行列と、該輪郭キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該輪郭キーポイントの連結二次元特徴行列を得て、該輪郭キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該輪郭キーポイントに対応するターゲット二次元特徴行列を得て、各輪郭キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット輪郭特徴行列を生成することと、を含むことを特徴とする
請求項9に記載の人体検出方法。 - 前記人体検出方法は、人体検出モデルにより実現され、前記人体検出モデルは、前記第1特徴抽出ネットワーク及び/又は前記特徴融合ニューラルネットワークを含み、
前記人体検出モデルは、訓練サンプル集合におけるサンプル画像を利用して訓練されたものであり、前記サンプル画像に、人体骨格構造の骨格キーポイントの実際の位置情報、及び人体輪郭の輪郭キーポイントの実際の位置情報がラベル付けされていることを特徴とする
請求項1から14のいずれか一項に記載の人体検出方法。 - 人体検出装置であって、前記装置は、
検出対象画像を取得するように構成される取得モジュールと、
前記検出対象画像に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定するように構成される検出モジュールと、
前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報に基づいて、人体検出結果を生成するように構成される生成モジュールと、を備えることを特徴とする、人体検出装置。 - 前記輪郭キーポイントは、主輪郭キーポイント及び補助輪郭キーポイントを含み、ここで、2つの隣接する前記主輪郭キーポイントの間に、少なくとも1つの補助輪郭キーポイントが存在することを特徴とする
請求項16に記載の人体検出装置。 - 前記検出モジュールは、前記検出対象画像に基づいて、前記主輪郭キーポイントの位置情報を決定し、前記主輪郭キーポイントの位置情報に基づいて、人体輪郭情報を決定し、決定された前記人体輪郭情報に基づいて、複数の前記補助輪郭キーポイントの位置情報を決定するという方式で、前記検出対象画像に基づいて、人体輪郭を示すための輪郭キーポイントの位置情報を決定するように構成されることを特徴とする
請求項17に記載の人体検出装置。 - 前記人体検出結果は、
骨格キーポイントマーク及び輪郭キーポイントマークが付加された検出対象画像、前記骨格キーポイントの位置情報及び前記輪郭キーポイントの位置情報を含むデータ群のうちの1つ又は複数を含むことを特徴とする
請求項16から18のいずれか一項に記載の人体検出装置。 - 前記人体検出装置は、
前記人体検出結果に基づいて、人体動作認識、人体姿勢検出、人体輪郭調整、人体画像編集及び人体画像の貼り付けのうちの1つ又は複数を実行するように構成される実行モジュールを更に備えることを特徴とする
請求項19に記載の人体検出装置。 - 前記検出モジュールは、前記検出対象画像に基づいて、特徴抽出を行い、骨格特徴及び輪郭特徴を得て、得られた骨格特徴及び輪郭特徴に対して特徴融合を行い、特徴融合結果に基づいて、前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報を決定するという方式で、前記検出対象画像に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定するように構成されることを特徴とする
請求項16から請求項20のいずれか一項に記載の人体検出装置。 - 前記検出モジュールは、前記検出対象画像に基づいて、少なくとも1回の特徴抽出を行い、特徴抽出を行うたびに得られた骨格特徴及び輪郭特徴に対して特徴融合を行い、複数回の特徴抽出を行う場合、i回目の特徴融合の特徴融合結果に基づいてi+1回目の特徴抽出を行い、iは正整数であるという方式で、前記検出対象画像に基づいて、特徴抽出を行い、骨格特徴及び輪郭特徴を得て、得られた骨格特徴及び輪郭特徴に対して特徴融合を行うように構成され、
前記検出モジュールは、最終回の特徴融合の特徴融合結果に基づいて、前記骨格キーポイントの位置情報、及び前記輪郭キーポイントの位置情報を決定するという方式で、特徴融合結果に基づいて、人体骨格構造を示すための骨格キーポイントの位置情報、及び人体輪郭を示すための輪郭キーポイントの位置情報を決定するように構成されることを特徴とする
請求項21に記載の人体検出装置。 - 前記検出モジュールは、1回目の特徴抽出において、事前訓練された第1特徴抽出ネットワークを用いて、検出対象画像から、人体骨格特徴を示すための骨格キーポイントの第1ターゲット骨格特徴行列を抽出し、人体輪郭特徴を示すための輪郭キーポイントの第1ターゲット輪郭特徴行列を抽出し、i+1回の特徴抽出において、事前訓練された第2特徴抽出ネットワークを用いて、i回目の特徴融合の特徴融合結果から、前記第1ターゲット骨格特徴行列、及び前記第1ターゲット輪郭特徴行列を抽出するという方式で、前記検出対象画像に基づいて、少なくとも1回の特徴抽出を行うように構成され、
第1特徴抽出ネットワークのネットワークパラメータは、第2特徴抽出ネットワークのネットワークパラメータと異なり、且つ特徴抽出のたびに用いられる第2特徴抽出ネットワークのネットワークパラメータは異なることを特徴とする
請求項22に記載の人体検出装置。 - 前記検出モジュールは、事前訓練された特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るという方式で、抽出して得られた骨格特徴及び輪郭特徴に対して特徴融合を行うように構成され、
前記第2ターゲット骨格特徴行列は、三次元骨格特徴行列であり、該三次元骨格特徴行列は、各骨格キーポイントにそれぞれ対応する二次元骨格特徴行列を含み、前記二次元骨格特徴行列における各要素の値は、該要素に対応する画素点が、対応する骨格キーポイントに属する確率を表し、
前記第2ターゲット輪郭特徴行列は、三次元輪郭特徴行列であり、該三次元輪郭特徴行列は、各輪郭キーポイントにそれぞれ対応する二次元輪郭特徴行列を含み、前記二次元輪郭特徴行列における各要素の値は、該要素に対応する画素点が、対応する輪郭キーポイントに属する確率を表し、
特徴融合のたびに用いられる特徴融合ニューラルネットワークのネットワークパラメータは異なることを特徴とする
請求項23に記載の人体検出装置。 - 第1特徴抽出ネットワークは、共通特徴抽出ネットワーク、第1骨格特徴抽出ネットワーク及び第1輪郭特徴抽出ネットワークを含み、
前記検出モジュールは、
前記共通特徴抽出ネットワークを用いて、前記検出対象画像に対して畳み込み処理を行い、骨格特徴及び輪郭特徴を含む基礎特徴行列を得ることと、
前記第1骨格特徴抽出ネットワークを用いて、前記基礎特徴行列に対して畳み込み処理を行い、第1骨格特徴行列を得て、前記第1骨格特徴抽出ネットワークにおける第1ターゲット畳み込み層から、第2骨格特徴行列を取得し、前記第1骨格特徴行列及び前記第2骨格特徴行列に基づいて、前記第1ターゲット骨格特徴行列を得ることであって、前記第1ターゲット畳み込み層は、前記第1骨格特徴抽出ネットワークにおける、最後の1つの畳み込み層以外のいずれか1つの畳み込み層であることと、
前記第1輪郭特徴抽出ネットワークを用いて、前記基礎特徴行列に対して畳み込み処理を行い、第1輪郭特徴行列を得て、前記第1輪郭特徴抽出ネットワークにおける第2ターゲット畳み込み層から、第2輪郭特徴行列を取得し、前記第1輪郭特徴行列及び前記第2輪郭特徴行列に基づいて、前記第1ターゲット輪郭特徴行列を得ることであって、前記第2ターゲット畳み込み層は、前記第1輪郭特徴抽出ネットワークにおける、最後の1つの畳み込み層以外のいずれか1つの畳み込み層であることと、を実行する、
という方式で、第1特徴抽出ネットワークを用いて、検出対象画像から、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列を抽出するように構成されることを特徴とする
請求項23に記載の人体検出装置。 - 前記検出モジュールは、前記第1骨格特徴行列及び前記第2骨格特徴行列に対して連結処理を行い、第1連結骨格特徴行列を得て、前記第1連結骨格特徴行列を次元変換処理し、前記第1ターゲット骨格特徴行列を得るという方式で、前記第1骨格特徴行列及び前記第2骨格特徴行列に基づいて、前記第1ターゲット骨格特徴行列を得るように構成され、
前記第1輪郭特徴行列及び前記第2輪郭特徴行列に基づいて、前記第1ターゲット輪郭特徴行列を得ることは、
前記第1輪郭特徴行列及び前記第2輪郭特徴行列に対して連結処理を行い、第1連結輪郭特徴行列を得ることと、
前記第1連結輪郭特徴行列を次元変換処理し、前記ターゲット輪郭特徴行列を得ることと、を含み、
前記第1ターゲット骨格特徴行列の次元は、前記第1ターゲット輪郭特徴行列の次元と同じであり、且つ前記第1ターゲット骨格特徴行列と前記第1ターゲット輪郭特徴行列は、同一の次元における次元数が同じであることを特徴とする
請求項25に記載の人体検出装置。 - 前記特徴融合ニューラルネットワークは、第1畳み込みニューラルネットワーク、第2畳み込みニューラルネットワーク、第1変換ニューラルネットワーク及び第2変換ニューラルネットワークを含み、
前記検出モジュールは、
前記第1畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して畳み込み処理を行い、第1中間骨格特徴行列を得て、前記第2畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して畳み込み処理を行い、第1中間輪郭特徴行列を得ることと、
前記第1中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第1連結特徴行列を得て、前記第1変換ニューラルネットワークを用いて、前記第1連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、
前記第1中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第2連結特徴行列を得て、前記第2変換ニューラルネットワークを用いて、前記第2連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を実行する、
という方式で、特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るように構成されることを特徴とする
請求項24に記載の人体検出装置。 - 前記特徴融合ニューラルネットワークは、第1定向畳み込みニューラルネットワーク、第2定向畳み込みニューラルネットワーク、第3畳み込みニューラルネットワーク、第4畳み込みニューラルネットワーク、第3変換ニューラルネットワーク、及び第4変換ニューラルネットワークを含み、
前記検出モジュールは、
前記第1定向畳み込みニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列に対して、定向畳み込み処理を行い、第1定向骨格特徴行列を得て、第3畳み込みニューラルネットワークを用いて、前記第1定向骨格特徴行列に対して畳み込み処理を行い、第2中間骨格特徴行列を得ることと、
前記第2定向畳み込みニューラルネットワークを用いて、前記第1ターゲット輪郭特徴行列に対して、定向畳み込み処理を行い、第1定向輪郭特徴行列を得て、第4畳み込みニューラルネットワークを用いて、前記第1定向輪郭特徴に対して、畳み込み処理を行い、第2中間輪郭特徴行列を得ることと、
前記第2中間輪郭特徴行列と前記第1ターゲット骨格特徴行列に対して連結処理を行い、第3連結特徴行列を得て、第3変換ニューラルネットワークを用いて、前記第3連結特徴行列に対して次元変換を行い、前記第2ターゲット骨格特徴行列を得ることと、
前記第2中間骨格特徴行列と前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第4連結特徴行列を得て、第4変換ニューラルネットワークを用いて、前記第4連結特徴行列に対して次元変換を行い、前記第2ターゲット輪郭特徴行列を得ることと、を実行する、
という方式で、特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るように構成されることを特徴とする
請求項24に記載の人体検出装置。 - 前記特徴融合ニューラルネットワークは、変位推定ニューラルネットワーク、第5変換ニューラルネットワークを含み、
前記検出モジュールは、
前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して連結処理を行い、第5連結特徴行列を得ることと、
前記第5連結特徴行列を前記変位推定ニューラルネットワークに入力し、事前決定された複数組のキーポイントペアに対して変位推定を行い、各組のキーポイントペアのうちの1つのキーポイントがもう1つのキーポイントまでに移動する変位情報を得て、各組のキーポイントペアのうちの各キーポイントをそれぞれ現在のキーポイントとし、該現在のキーポイントのペアであるもう1つのキーポイントに対応する三次元特徴行列から、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列を得ることと、
前記ペアであるもう1つのキーポイントから前記現在のキーポイントまでの変位情報に基づいて、前記ペアであるもう1つのキーポイントに対応する二次元特徴行列における要素に対して位置変換を行い、該現在のキーポイントに対応する変位特徴行列を得ることと、
各骨格キーポイントについて、該骨格キーポイントに対応する二次元特徴行列と、該骨格キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該骨格キーポイントの連結二次元特徴行列を得て、該骨格キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該骨格キーポイントに対応するターゲット二次元特徴行列を得て、各骨格キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット骨格特徴行列を生成することと、
各輪郭キーポイントについて、該輪郭キーポイントに対応する二次元特徴行列と、該輪郭キーポイントに対応する各変位特徴行列とに対して連結処理を行い、該輪郭キーポイントの連結二次元特徴行列を得て、該輪郭キーポイントの連結二次元特徴行列を前記第5変換ニューラルネットワークに入力し、該輪郭キーポイントに対応するターゲット二次元特徴行列を得て、各輪郭キーポイントにそれぞれ対応するターゲット二次元特徴行列に基づいて、前記第2ターゲット輪郭特徴行列を生成することと、を実行する、
という方式で、特徴融合ニューラルネットワークを用いて、前記第1ターゲット骨格特徴行列及び前記第1ターゲット輪郭特徴行列に対して特徴融合を行い、第2ターゲット骨格特徴行列及び第2ターゲット輪郭特徴行列を得るように構成されることを特徴とする
請求項24に記載の人体検出装置。 - 前記人体検出装置の人体検出機能は、人体検出モデルにより実現され、前記人体検出モデルは、前記第1特徴抽出ネットワーク及び/又は前記特徴融合ニューラルネットワークを含み、
前記人体検出モデルは、訓練サンプル集合におけるサンプル画像を利用して訓練されたものであり、前記サンプル画像に、人体骨格構造の骨格キーポイントの実際の位置情報、及び人体輪郭の輪郭キーポイントの実際の位置情報がラベル付けされていることを特徴とする
請求項16から29のいずれか一項に記載の人体検出装置。 - コンピュータ機器であって、プロセッサと、非一時的記憶媒体と、バスと、を備え、前記非一時的記憶媒体に、前記プロセッサによる実行可能な機器可読命令が記憶されており、コンピュータ機器が実行される場合、前記プロセッサと前記非一時的記憶媒体は、バスを介して通信し、前記機器可読命令は、前記プロセッサにより実行され、請求項1から15のいずれか一項に記載の方法のステップを実行することを特徴とする、コンピュータ機器。
- コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行され、請求項1から15のいずれか一項に記載の方法のステップを実行することを特徴とする、コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910926373.4A CN110705448B (zh) | 2019-09-27 | 2019-09-27 | 一种人体检测方法及装置 |
CN201910926373.4 | 2019-09-27 | ||
PCT/CN2020/087826 WO2021057027A1 (zh) | 2019-09-27 | 2020-04-29 | 人体检测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022503426A true JP2022503426A (ja) | 2022-01-12 |
JP7101829B2 JP7101829B2 (ja) | 2022-07-15 |
Family
ID=69196895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020572391A Active JP7101829B2 (ja) | 2019-09-27 | 2020-04-29 | 人体検出方法、装置、コンピュータ機器及び記憶媒体 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20210174074A1 (ja) |
EP (1) | EP3828765A4 (ja) |
JP (1) | JP7101829B2 (ja) |
KR (1) | KR20210038436A (ja) |
CN (1) | CN110705448B (ja) |
AU (1) | AU2020335016A1 (ja) |
SG (1) | SG11202101794SA (ja) |
TW (1) | TWI742690B (ja) |
WO (1) | WO2021057027A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110705448B (zh) * | 2019-09-27 | 2023-01-20 | 北京市商汤科技开发有限公司 | 一种人体检测方法及装置 |
CN111291793B (zh) * | 2020-01-20 | 2023-11-14 | 北京大学口腔医学院 | 一种网格曲面的元素分类方法、装置及存储介质 |
CN111476291B (zh) * | 2020-04-03 | 2023-07-25 | 南京星火技术有限公司 | 数据处理方法,装置及存储介质 |
CN111640197A (zh) * | 2020-06-09 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种增强现实ar特效控制方法、装置及设备 |
CN113469221A (zh) * | 2021-06-09 | 2021-10-01 | 浙江大华技术股份有限公司 | 身份识别模型的训练方法和身份识别方法以及相关设备 |
CN113486751B (zh) * | 2021-06-29 | 2023-07-04 | 西北大学 | 一种基于图卷积和边缘权重注意力的行人特征提取方法 |
CN113469018B (zh) * | 2021-06-29 | 2024-02-23 | 中北大学 | 基于rgb与三维骨骼的多模态交互行为识别方法 |
CN113743257B (zh) * | 2021-08-20 | 2024-05-14 | 江苏大学 | 一种融合时空特征的施工高空作业失稳状态检测方法 |
CN113837306B (zh) * | 2021-09-29 | 2024-04-12 | 南京邮电大学 | 一种基于人体关键点时空图模型的异常行为检测方法 |
CN114299288A (zh) * | 2021-12-23 | 2022-04-08 | 广州方硅信息技术有限公司 | 图像分割方法、装置、设备和存储介质 |
CN114519666B (zh) * | 2022-02-18 | 2023-09-19 | 广州方硅信息技术有限公司 | 直播图像矫正方法、装置、设备及存储介质 |
CN115019386B (zh) * | 2022-04-15 | 2024-06-14 | 北京航空航天大学 | 基于深度学习的运动辅助训练方法 |
CN115050101B (zh) * | 2022-07-18 | 2024-03-22 | 四川大学 | 一种基于骨骼和轮廓特征融合的步态识别方法 |
CN115273154B (zh) * | 2022-09-26 | 2023-01-17 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于边缘重构的热红外行人检测方法、系统及存储介质 |
WO2024121900A1 (en) * | 2022-12-05 | 2024-06-13 | Nec Corporation | Key-point associating apparatus, key-point associating method, and non-transitory computer-readable storage medium |
CN115661138B (zh) * | 2022-12-13 | 2023-03-21 | 北京大学第三医院(北京大学第三临床医学院) | 基于dr影像的人体骨骼轮廓检测方法 |
CN116137074A (zh) * | 2023-02-22 | 2023-05-19 | 常熟理工学院 | 电梯轿厢内乘客打斗行为的自动检测方法和系统 |
CN116434335B (zh) * | 2023-03-30 | 2024-04-30 | 东莞理工学院 | 动作序列识别和意图推断方法、装置、设备及存储介质 |
CN117315791B (zh) * | 2023-11-28 | 2024-02-20 | 杭州华橙软件技术有限公司 | 骨骼动作识别方法、设备及存储介质 |
CN118068318B (zh) * | 2024-04-17 | 2024-06-28 | 德心智能科技(常州)有限公司 | 基于毫米波雷达和环境传感器的多模态感知方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164641A (ja) * | 2005-12-15 | 2007-06-28 | Nippon Hoso Kyokai <Nhk> | 人物オブジェクト判定装置及び人物オブジェクト判定プログラム |
JP2014089665A (ja) * | 2012-10-31 | 2014-05-15 | Toshiba Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2014522058A (ja) * | 2012-06-14 | 2014-08-28 | ソフトキネティック ソフトウェア | 三次元オブジェクトのモデリング、フィッティング、およびトラッキング |
WO2019001481A1 (zh) * | 2017-06-28 | 2019-01-03 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
CN109242868A (zh) * | 2018-09-17 | 2019-01-18 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及储存介质 |
CN109508625A (zh) * | 2018-09-07 | 2019-03-22 | 咪咕文化科技有限公司 | 一种情感数据的分析方法及装置 |
WO2019100888A1 (zh) * | 2017-11-23 | 2019-05-31 | 北京市商汤科技开发有限公司 | 目标对象识别方法、装置、存储介质和电子设备 |
US20190197299A1 (en) * | 2017-12-27 | 2019-06-27 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for detecting body |
WO2019141104A1 (zh) * | 2018-01-19 | 2019-07-25 | 北京市商汤科技开发有限公司 | 人体轮廓关键点检测方法、图像处理方法、装置及设备 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010099035A1 (en) * | 2009-02-25 | 2010-09-02 | Honda Motor Co., Ltd. | Body feature detection and human pose estimation using inner distance shape contexts |
CN102831380A (zh) * | 2011-06-15 | 2012-12-19 | 康佳集团股份有限公司 | 一种基于深度图像感应的肢体动作识别方法及系统 |
US8786680B2 (en) * | 2011-06-21 | 2014-07-22 | Disney Enterprises, Inc. | Motion capture from body mounted cameras |
CN103679175B (zh) * | 2013-12-13 | 2017-02-15 | 电子科技大学 | 一种基于深度摄像机的快速3d骨骼模型检测方法 |
CN103955680B (zh) * | 2014-05-20 | 2017-05-31 | 深圳市赛为智能股份有限公司 | 基于形状上下文的动作识别方法及装置 |
CN104537608A (zh) * | 2014-12-31 | 2015-04-22 | 深圳市中兴移动通信有限公司 | 一种图像处理的方法及其装置 |
CN105550678B (zh) * | 2016-02-03 | 2019-01-18 | 武汉大学 | 基于全局显著边缘区域的人体动作特征提取方法 |
CN107705355A (zh) * | 2017-09-08 | 2018-02-16 | 郭睿 | 一种基于多张图片的3d人体建模方法及装置 |
WO2020068104A1 (en) * | 2018-09-28 | 2020-04-02 | Hewlett-Packard Development Company, L.P. | Generating spatial gradient maps for a person in an image |
CN109255783B (zh) * | 2018-10-19 | 2020-09-25 | 上海摩象网络科技有限公司 | 一种多人图像上的人体骨骼关键点的位置排布检测方法 |
CN109902659B (zh) * | 2019-03-15 | 2021-08-20 | 北京字节跳动网络技术有限公司 | 用于处理人体图像的方法和装置 |
CN110084161B (zh) * | 2019-04-17 | 2023-04-18 | 中山大学 | 一种人体骨骼关键点的快速检测方法及系统 |
CN110197117B (zh) * | 2019-04-18 | 2021-07-06 | 北京奇艺世纪科技有限公司 | 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质 |
CN110111418B (zh) * | 2019-05-15 | 2022-02-25 | 北京市商汤科技开发有限公司 | 创建脸部模型的方法、装置及电子设备 |
CN110135375B (zh) * | 2019-05-20 | 2021-06-01 | 中国科学院宁波材料技术与工程研究所 | 基于全局信息整合的多人姿态估计方法 |
CN110705448B (zh) * | 2019-09-27 | 2023-01-20 | 北京市商汤科技开发有限公司 | 一种人体检测方法及装置 |
-
2019
- 2019-09-27 CN CN201910926373.4A patent/CN110705448B/zh active Active
-
2020
- 2020-04-29 WO PCT/CN2020/087826 patent/WO2021057027A1/zh unknown
- 2020-04-29 EP EP20853555.9A patent/EP3828765A4/en not_active Withdrawn
- 2020-04-29 JP JP2020572391A patent/JP7101829B2/ja active Active
- 2020-04-29 SG SG11202101794SA patent/SG11202101794SA/en unknown
- 2020-04-29 AU AU2020335016A patent/AU2020335016A1/en not_active Abandoned
- 2020-04-29 KR KR1020207037358A patent/KR20210038436A/ko not_active Application Discontinuation
- 2020-05-25 TW TW109117278A patent/TWI742690B/zh active
-
2021
- 2021-02-22 US US17/181,376 patent/US20210174074A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164641A (ja) * | 2005-12-15 | 2007-06-28 | Nippon Hoso Kyokai <Nhk> | 人物オブジェクト判定装置及び人物オブジェクト判定プログラム |
JP2014522058A (ja) * | 2012-06-14 | 2014-08-28 | ソフトキネティック ソフトウェア | 三次元オブジェクトのモデリング、フィッティング、およびトラッキング |
JP2014089665A (ja) * | 2012-10-31 | 2014-05-15 | Toshiba Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2019001481A1 (zh) * | 2017-06-28 | 2019-01-03 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
WO2019100888A1 (zh) * | 2017-11-23 | 2019-05-31 | 北京市商汤科技开发有限公司 | 目标对象识别方法、装置、存储介质和电子设备 |
US20190197299A1 (en) * | 2017-12-27 | 2019-06-27 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for detecting body |
WO2019141104A1 (zh) * | 2018-01-19 | 2019-07-25 | 北京市商汤科技开发有限公司 | 人体轮廓关键点检测方法、图像处理方法、装置及设备 |
CN109508625A (zh) * | 2018-09-07 | 2019-03-22 | 咪咕文化科技有限公司 | 一种情感数据的分析方法及装置 |
CN109242868A (zh) * | 2018-09-17 | 2019-01-18 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及储存介质 |
Also Published As
Publication number | Publication date |
---|---|
AU2020335016A1 (en) | 2021-04-15 |
WO2021057027A1 (zh) | 2021-04-01 |
TW202112306A (zh) | 2021-04-01 |
CN110705448A (zh) | 2020-01-17 |
JP7101829B2 (ja) | 2022-07-15 |
EP3828765A1 (en) | 2021-06-02 |
KR20210038436A (ko) | 2021-04-07 |
TWI742690B (zh) | 2021-10-11 |
EP3828765A4 (en) | 2021-12-08 |
CN110705448B (zh) | 2023-01-20 |
US20210174074A1 (en) | 2021-06-10 |
SG11202101794SA (en) | 2021-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7101829B2 (ja) | 人体検出方法、装置、コンピュータ機器及び記憶媒体 | |
Zhang et al. | Interacting two-hand 3d pose and shape reconstruction from single color image | |
CN110532861B (zh) | 基于骨架引导多模态融合神经网络的行为识别方法 | |
CN109308459B (zh) | 基于手指注意力模型和关键点拓扑模型的手势估计方法 | |
CN100407798C (zh) | 三维几何建模系统和方法 | |
KR101711736B1 (ko) | 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법 | |
CN109829972B (zh) | 一种面向连续帧点云的三维人体标准骨架提取方法 | |
CN109325995B (zh) | 基于人手参数模型的低分辨率多视角手部重建方法 | |
Zhang et al. | Progressive hard-mining network for monocular depth estimation | |
CN106780592A (zh) | 基于相机运动和图像明暗的Kinect深度重建算法 | |
CN104656893B (zh) | 一种信息物理空间的远程交互式操控系统及方法 | |
CN109948441B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN109657634A (zh) | 一种基于深度卷积神经网络的3d手势识别方法及系统 | |
JP2023545189A (ja) | 画像処理方法、装置、及び電子機器 | |
JP2022512262A (ja) | 画像処理方法及び装置、画像処理機器並びに記憶媒体 | |
Gao et al. | Shape controllable virtual try-on for underwear models | |
CN113592881A (zh) | 图片指代性分割方法、装置、计算机设备和存储介质 | |
CN117593178A (zh) | 一种基于特征引导的虚拟试衣方法 | |
AU2022241513B2 (en) | Transformer-based shape models | |
CN116704123A (zh) | 一种结合图像主体提取技术的三维重建方法 | |
CN113610969B (zh) | 一种三维人体模型生成方法、装置、电子设备及存储介质 | |
CN109376593A (zh) | 人脸特征点定位方法及系统 | |
WO2023189195A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN114973396B (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
CN116452742A (zh) | 一种航天操作场景的空间布局解析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7101829 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |