JP2022524254A - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents
画像処理方法及び装置、電子機器並びに記憶媒体 Download PDFInfo
- Publication number
- JP2022524254A JP2022524254A JP2021526214A JP2021526214A JP2022524254A JP 2022524254 A JP2022524254 A JP 2022524254A JP 2021526214 A JP2021526214 A JP 2021526214A JP 2021526214 A JP2021526214 A JP 2021526214A JP 2022524254 A JP2022524254 A JP 2022524254A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- features
- images
- density
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本開示は画像処理方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、処理対象となる複数の第1画像の第1特徴に基づいて、各第1特徴の密度をそれぞれ決定することと、目標特徴の密度に基づいて、いずれかの第1特徴である目標特徴に対応する密度チェーン情報を決定し、目標特徴に対応する密度チェーン情報はN個の特徴を含み、N個の特徴のi番目の特徴はi-1番目の特徴の第1隣接特徴のうちの1つであり、かつi番目の特徴の密度がi-1番目の特徴の密度より大きいことと、各第1特徴に対応する密度チェーン情報に基づいて、各第1特徴をそれぞれ調整し、複数の第1画像の第2特徴を得ることと、複数の第1画像の第2特徴をクラスタリングし、複数の第1画像の処理結果を得ることと、を含む。本開示の実施例は、画像のクラスタリング効果を向上させることができる。【選択図】図1
Description
本出願は、2020年2月18日に中国国家知識産権局に提出された、出願番号が202010098842.0で、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本出願に組み込まれる。
本開示は、コンピュータテクノロジーの分野に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
クラスタリングでは、同一カテゴリに属する複数の目標(例えば、顔)を集めることができ、例えば、画像ライブラリ内の同じ人に属する画像をクラスタ化して、異なる人の画像を区別することができる。関連技術では、画像における目標の特徴を抽出し、特徴をクラスタリングすることができる。
本開示は、画像処理の技術的手段を提案している。
本開示の一側面によれば、処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の、前記第1特徴との間の距離が第1距離閾値以下である第1特徴の数を示す密度をそれぞれ決定することと、いずれかの第1特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、N(Nは、正の整数である)個の特徴を含む密度チェーン情報を決定し、ここで、前記N個の特徴のi(iは、正の整数でかつ1<i≦N)番目の特徴が前記N個の特徴のi-1番目の特徴の第1隣接特徴のうちの1つであり、かつ前記i番目の特徴の密度が前記i-1番目の特徴の密度より大きく、前記第1隣接特徴が、前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、前記目標特徴が前記N個の特徴のうちの1番目であることと、各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得ることと、前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得ることと、を含む画像処理方法が提供される。
可能な一実施形態では、前記目標特徴に対応する密度チェーン情報は、前記N個の特徴の第2隣接特徴をさらに含み、前記N個の特徴のi-1番目の特徴の第2隣接特徴は、前記i-1番目の特徴との間の距離が第3距離閾値以下である少なくとも1つの第1特徴を含み、各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得ることは、前記目標特徴に対して、前記N個の特徴と前記N個の特徴の第2隣接特徴をそれぞれ融合させて前記目標特徴のN個の融合特徴を得ることと、前記目標特徴のN個の融合特徴に基づいて、前記N個の融合特徴間の関連特徴を決定することと、前記目標特徴のN個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第1画像の第2特徴を決定することと、を含む。
可能な一実施形態では、前記目標特徴のN個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第1画像の第2特徴を決定することは、前記関連特徴と前記N個の融合特徴とをそれぞれスティッチングしてN個のスティッチング特徴を得ることと、前記N個のスティッチング特徴を正規化して前記N個の融合特徴のN個の重み値を得ることと、前記N個の重み値に基づいて、前記N個の融合特徴を融合させて前記目標特徴に対応する第1画像の第2特徴を得ることと、を含む。
可能な一実施形態では、処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の密度をそれぞれ決定する前にさらに、前記複数の第1画像の第3特徴に基づいて、それぞれが1つの前記第3特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位K(Kは正の整数である)個のノードを含むことと、前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第1画像の第1特徴を得ることと、を含む。
可能な一実施形態では、前記N個の特徴のi番目の特徴は、前記N個の特徴のi-1番目の特徴の第1隣接特徴のうち、密度が最大の特徴である。
可能な一実施形態では、前記複数の第1画像の第3特徴に基づいて、特徴マップネットワークを構築する前にさらに、前記複数の第1画像のそれぞれに対して特徴抽出を行って、前記複数の第1画像の第3特徴を得ることを含む。
可能な一実施形態では、前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得ることは、前記複数の第1画像の第2特徴をクラスタリングして、それぞれが少なくとも1つの第1画像を含む少なくとも1つの画像群を決定することと、前記少なくとも1つの画像群に対応する、前記第1画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定することと、を含み、前記処理結果が前記少なくとも1つの画像群及び前記少なくとも1つの画像群に対応する目標カテゴリーを含む。
本開示の一側面によれば、処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の、前記第1特徴との間の距離が第1距離閾値以下である第1特徴の数を示す密度をそれぞれ決定する密度決定モジュールと、いずれかの第1特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、N(Nは、正の整数である)個の特徴を含む密度チェーン情報を決定し、ここで、前記N個の特徴のi番目の特徴が前記N個の特徴のi-1番目の特徴の第1隣接特徴のうちの1つであり、かつ前記i番目の特徴の密度が前記i-1番目の特徴の密度より大きく、前記第1隣接特徴が、前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、前記目標特徴が前記N個の特徴のうちの1番目である密度チェーン決定モジュールと、各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得る特徴調整モジュールと、前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得る結果決定モジュールと、を含む画像処理装置が提供される。
可能な一実施形態では、前記目標特徴に対応する密度チェーン情報は、前記N個の特徴の第2隣接特徴をさらに含み、前記N個の特徴のi-1番目の特徴の第2隣接特徴は、前記i-1番目の特徴との間の距離が第3距離閾値以下である少なくとも1つの第1特徴を含み、前記特徴調整モジュールは、前記目標特徴に対して、前記N個の特徴と前記N個の特徴の第2隣接特徴をそれぞれ融合させて前記目標特徴のN個の融合特徴を得るための融合サブモジュールと、前記目標特徴のN個の融合特徴に基づいて、前記N個の融合特徴間の関連特徴を決定するための特徴サブモジュールと、前記目標特徴のN個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第1画像の第2特徴を決定するための特徴決定サブモジュールと、を含む。
可能な一実施形態では、前記特徴決定サブモジュールは、前記関連特徴と前記N個の融合特徴とをそれぞれスティッチングしてN個のスティッチング特徴を得ることと、前記N個のスティッチング特徴を正規化して前記N個の融合特徴のN個の重み値を得ることと、前記N個の重み値に基づいて、前記N個の融合特徴を融合させて前記目標特徴に対応する第1画像の第2特徴を得ることに用いられる。
可能な一実施形態では、前記装置は、前記密度決定モジュールの前にさらに、前記複数の第1画像の第3特徴に基づいて、それぞれが1つの前記第3特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位K(Kは正の整数である)個のノードを含む特徴マップネットワーク構築モジュールと、前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第1画像の第1特徴を得るためのグラフ畳み込みモジュールと、を含む。
可能な一実施形態では、前記N個の特徴のi番目の特徴は、前記N個の特徴のi-1番目の特徴の第1隣接特徴のうち、密度が最大の特徴である。
可能な一実施形態では、前記装置は、前記特徴マップネットワーク構築モジュールの前にさらに、前記複数の第1画像のそれぞれに対して特徴抽出を行って、前記複数の第1画像の第3特徴を得るための特徴抽出モジュールを含む。
可能な一実施形態では、前記結果決定モジュールは、前記複数の第1画像の第2特徴をクラスタリングして、それぞれが少なくとも1つの第1画像を含む少なくとも1つの画像群を決定するためのクラスタリングサブモジュールと、前記少なくとも1つの画像群に対応する、前記第1画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定するためのカテゴリ決定サブモジュールと、を含み、前記処理結果が前記少なくとも1つの画像群及び前記少なくとも1つの画像群に対応する目標カテゴリーを含む。
本開示の一側面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、上記方法を実行するように構成される電子機器が提供される。
本開示の一側面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体が提供される。
本開示の一側面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに前記方法を実行させるコンピュータプログラムが提供される。
本開示の一側面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに前記方法を実行させるコンピュータプログラムが提供される。
本開示の実施例によれば、複数の画像特徴の密度を決定し、特徴密度に基づいて特徴の密度チェーン情報を決定し、密度チェーン情報に基づいて特徴を調整し、調整後の特徴をクラスタリングして処理結果が得られ、特徴の空間密度分布に基づいて特徴を調整することができることによって、画像のクラスタリング効果を向上することができる。
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び側面は明瞭になる。
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
本開示の実施例に係る画像処理方法のフローチャートを示す。
本開示の実施例に係る画像処理方法における密度チェーン決定手順の模式図を示す。
本開示の実施例に係る画像処理方法における密度チェーン情報の模式図を示す。
図4a~図4dは、本開示の実施例に係る画像処理手順の模式図を示す。
本開示の実施例に係る画像処理装置のブロック図を示す。
本開示の実施例に係る電子機器のブロック図を示す。
本開示の実施例に係る電子機器のブロック図を示す。
以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および側面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な側面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
本明細書における用語「及び/又は」は、単に関連対象との関連関係を記述するものであり、3つの関係が存在可能であることを示し、例えば、A及び/又はBは、Aのみが存在し、AとBの両方が存在し、Bのみが存在するという3つの場合を示してもよい。また、本明細書における用語「少なくとも1つ」は複数のうちのいずれか1つ、又は複数のうちの少なくとも2つの任意の組み合わせを示し、例えば、A、B、Cのうちの少なくとも1つを含むことは、A、B及びCからなる集合から選択されたいずれか1つ又は複数の要素を含むことを示してもよい。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
図1は本開示の実施例に係る画像処理方法のフローチャートを示す。図1に示すように、前記方法は、
処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の、前記第1特徴との間の距離が第1距離閾値以下である第1特徴の数を示す密度をそれぞれ決定するステップS11と、
いずれかの第1特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、N(Nは、正の整数である)個の特徴を含む密度チェーン情報を決定し、ここで、前記N個の特徴のi(iは、正の整数でかつ1<i≦N)番目の特徴が前記N個の特徴のi-1番目の特徴の第1隣接特徴のうちの1つであり、かつ前記i番目の特徴の密度が前記i-1番目の特徴の密度より大きく、前記第1隣接特徴が、前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、前記目標特徴が前記N個の特徴のうちの1番目であるステップS12と、
各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得るステップS13と、
前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得るステップS14と、を含む。
処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の、前記第1特徴との間の距離が第1距離閾値以下である第1特徴の数を示す密度をそれぞれ決定するステップS11と、
いずれかの第1特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、N(Nは、正の整数である)個の特徴を含む密度チェーン情報を決定し、ここで、前記N個の特徴のi(iは、正の整数でかつ1<i≦N)番目の特徴が前記N個の特徴のi-1番目の特徴の第1隣接特徴のうちの1つであり、かつ前記i番目の特徴の密度が前記i-1番目の特徴の密度より大きく、前記第1隣接特徴が、前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、前記目標特徴が前記N個の特徴のうちの1番目であるステップS12と、
各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得るステップS13と、
前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得るステップS14と、を含む。
可能な一実施形態では、前記画像処理方法は、ユーザ側装置(User Equipment、UE)、携帯機器、ユーザ端末、端末、セルラーホン、コードレスフォン電話機、パーソナル・デジタル・アシスタント(Personal Digital Assistant、PDA)、ハンドヘルドデバイス、計算装置、車載装置、ウェアラブル装置等の端末装置、又はサーバ等の電子機器によって実行されてよく、前記方法はプロセッサによってメモリに記憶されたコンピュータ読み取り可能なコマンドを呼び出す形態で実現されてよい。又は、サーバによって前記方法を実行してもよい。
可能な一実施形態では、処理対象となる複数の第1画像は、画像取得装置(例えば、カメラ)によって取得された画像、または取得された画像から切り出された局所画像などであってもよい。第1画像において認識待ちの目標(例えば、顔、人体、車両等)が含まれている。ここで、複数の第1画像における目標は、同一カテゴリの目標(例えば、同一人の顔)である可能性があるため、クラスタリングにより同一カテゴリの目標を集めて後続の処理を容易にすることができる。本開示では、第1画像の取得方法及び第1画像における目標の具体的な種類については限定しない。
可能な一実施形態では、例えば、複数の第1画像の特徴情報を畳み込みニューラルネットワークにより抽出し、抽出された特徴情報を第1特徴とするようにしてもよいし、抽出された特徴情報に対して前処理を行い、処理後の特徴情報を第1特徴とするようにしてもよい。本開示では、第1特徴の取得方法及び特徴抽出ための畳み込みニューラルネットワークの種類については限定しない。
可能な一実施形態では、ステップS11において、処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の密度をそれぞれ決定することができる。第1特徴の密度は、当該第1特徴との間の距離が第1距離閾値以下である第1特徴の数を示す。つまり、空間における特徴の分布に基づいて、各第1特徴からの一定範囲内の周囲特徴の数を、各第1特徴の位置する位置の密度として決定することができる。当業者は、実際の状況に応じて第1距離閾値の具体的な値を設定することができるが、本開示ではこれが限定されない。
可能な一実施形態では、ステップS12において、複数の第1特徴のいずれか(目標特徴と呼んでもよい)に対して、当該目標特徴の密度に基づいて、当該目標特徴の周囲における密度が大きい1つの第1特徴(目標特徴の密度より大きい)、または目標特徴の密度より大きい第1特徴のうち密度が最大の第1特徴を探し、当該第1特徴を指すマークを作成することができる。各第1特徴に対して上記処理をそれぞれ行い、ツリー状構造を形成することができる。各第1特徴に対して、ツリー状構造に沿って密度が最大の1つの第1特徴が見つけられ、このようにして密度チェーンが取得され、密度チェーン情報と呼ばれる。
可能な一実施形態では、目標特徴に対して、当該目標特徴に対応する密度チェーン情報を決定してもよい。当該密度チェーン情報がN個の特徴を含むとすれば、目標特徴はN個の特徴のうちの1番目である。目標特徴の第1隣接特徴は見つけられ、当該目標特徴との間の距離が第2距離閾値以下である第1特徴を含み、各第1隣接特徴の密度がいずれも目標特徴の密度以下であれば、N=1となり、すなわち、当該目標特徴に対応する密度チェーン情報は目標特徴自体を含む。密度が目標特徴の密度より大きい第1隣接特徴があれば、当該第1隣接特徴を密度チェーン情報における次の特徴とする。本開示では、第2距離閾値の具体的な値については限定しない。
可能な一実施形態では、N(Nは正の整数である)個の特徴のうちのi-1(iは正の整数でかつ1<i≦N)番目の特徴に対して、i-1番目の特徴の第1隣接特徴が見つけられ、前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、密度が前記i-1番目の特徴の密度より大きい1つの第1隣接特徴を、N個の特徴のi番目の特徴として決定してもよい。これから類推して全てのN個の特徴が得られ、すなわち、当該目標特徴に対応する密度チェーン情報が得られる。
可能な一実施形態では、ステップS13において、各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得る。例えば、密度チェーン情報を長短期記憶ネットワーク(Long-Short Term Memory、LSTM)に入力して処理し、密度チェーン情報における各特徴間の依存関係を学習して、新たな特徴、すなわち、当該密度チェーン情報に対応する第1画像の第2特徴を得ることで、対応する第1特徴の調整を実現できる。
可能な一実施形態では、ステップS14において、前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得ることができる。当該処理結果は、クラスタリングされた1つまたは複数の画像群(または、画像特徴群)及び各画像群に対応する目標カテゴリを含み得る。例えば、第1画像が顔画像である場合、処理結果は同一人物の顔画像群及びこの人物のアイデンティティを含む。本開示では、クラスタリングの具体的な方法については限定しない。
本開示の実施例によれば、複数の画像特徴の密度を決定し、特徴密度に基づいて特徴の密度チェーン情報を決定し、密度チェーン情報に基づいて特徴を調整し、調整後の特徴をクラスタリングして処理結果を得ることができ、特徴の空間密度分布に基づいて特徴を調整することで画像のクラスタリング効果が向上できる。
可能な一実施形態では、前記方法は、ステップS11の前にさらに、前記複数の第1画像のそれぞれに対して特徴抽出を行って、前記複数の第1画像の第3特徴を得ることを含む。
例として説明すると、処理対象となる複数の第1画像に対して、各第1画像を例えば畳み込みニューラルネットワークにそれぞれ入力して特徴抽出を行って、各第1画像の特徴情報(呼んでもよい)を得、第3特徴と呼ぶことができる。抽出された第3特徴を第1特徴としてもよいし、抽出された第3特徴に対して前処理を行い、処理後の特徴を第1特徴とするようにしてもよい。本開示では、特徴抽出の具体的な方法については限定しない。
このような形態によって、画像における目標の特徴情報を得て後続の処理を容易にすることができる。
可能な一実施形態では、前記方法は、第3特徴が抽出された後、かつステップS11の前にさらに、
前記複数の第1画像の第3特徴に基づいて、それぞれが1つの前記第3特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位K(Kは正の整数である)個のノードを含むことと、
前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第1画像の第1特徴を得ることと、を含む。
前記複数の第1画像の第3特徴に基づいて、それぞれが1つの前記第3特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位K(Kは正の整数である)個のノードを含むことと、
前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第1画像の第1特徴を得ることと、を含む。
例として説明すると、抽出された画像特徴に対して、グラフ畳み込みによって前処理を行うことができる。複数の第1画像の第3特徴をマッピングして、特徴マップネットワークを構築できる。当該特徴マップネットワークは複数のノードを含み、各ノードのそれぞれが1つの第3特徴である。各ノードに対して、当該ノードに近い(すなわち、距離が小さい)順の上位K個の隣接ノードを探し、当該ノードとK個の隣接ノードとの間の結線(または、エッジと呼ぶ)を構築し、各結線に値を与える。結線の値は、当該ノードと当該ノードの隣接ノードとの間の距離(または、類似度)を示してもよい。各ノードに対して上記処理をそれぞれ行い、構築した複数のノード及び各ノード間の結線を含む特徴マップネットワークを得ることができる。当業者は関連技術における様々な方法により各ノードの隣接ノードを決定することができるが、本開示では、隣接ノードを決定する方法及び隣接ノードの数すなわちKについては限定しない。
可能な一実施形態では、特徴マップネットワークが構築された後、グラフ畳み込みにより特徴マップネットワークに対して計算し、各ノードに対して、隣接特徴情報を融合した総合的特徴である第1特徴と呼ばれる1つの特徴を再計算するようにしてもよい。このようにして、複数の第1画像の第1特徴が得られる。本開示では、グラフ畳み込みの具体的な計算方法については限定しない。
このような方法によれば、各特徴の周囲の近接した隣接特徴の情報を融合して、局所的な特徴融合を実現することで、後続のクラスタリング処理の効果を向上する。
可能な一実施形態では、複数の第1画像の第1特徴が得られた後、空間における特徴の分布に基づいて、ステップS11において各第1特徴の密度、すなわち各第1特徴の一定範囲内の周囲特徴の個数を決定するようにしてもよい。ステップS12において、複数の第1特徴のいずれか(目標特徴と呼ぶ)に対して、当該目標特徴の密度チェーン情報を得ることができる。当該密度チェーン情報はN個の特徴を含み、当該目標特徴はN個の特徴のうちの1番目である。
可能な一実施形態では、前記N個の特徴のi番目の特徴は、前記N個の特徴のi-1番目の特徴の第1隣接特徴のうち密度が最大の特徴である。つまり、i-1番目の特徴の第1隣接特徴は見つけられ、前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、第1隣接特徴のうち密度がi-1番目の特徴の密度より大きくかつ密度が最大のものを、N個の特徴のi番目の特徴として決定するようにしてもよい。
図2は本開示の実施例に係る画像処理方法における密度チェーン決定手順の模式図を示す。図2に示すように、各丸印は第1特徴を示し、丸印の色が濃いほど特徴の密度が大きくなり、浅いほど特徴の密度が小さくなる。いずれかの第1特徴、すなわち目標特徴vkについて、その密度チェーン情報は、C(vk)で示され、目標特徴vkを起点として密度が昇順で並べられる一組の第1特徴を含む。kは特徴の番号を示し、正の整数である。
可能な一実施形態では、前記目標特徴に対応する密度チェーン情報は前記N個の特徴の第2隣接特徴をさらに含み、前記N個の特徴のi-1番目の特徴の第2隣接特徴は、前記i-1番目の特徴との間の距離が第3距離閾値以下である少なくとも1つの第1特徴を含む。つまり、密度チェーンにおける各特徴はいずれもその最も近いいくつかの隣接特徴(第2隣接特徴と呼ぶ)に関連付けられ、密度チェーンにおけるN個の特徴及びN個の特徴の第2隣接特徴は共に密度チェーン情報とされる。本開示では、第3距離閾値の具体的な値については限定しない。
図3は本開示の実施例に係る画像処理方法における密度チェーン情報の模式図を示す。図3に示すように、目標特徴vkに対して、密度チェーン情報はC(vk)で示され、密度チェーン情報C(vk)はN個の特徴
及びN個の特徴の第2隣接特徴
を含む。
及びN個の特徴の第2隣接特徴
を含む。
可能な一実施形態では、ステップS13において、各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得る。ステップS13は、
前記目標特徴に対して、前記N個の特徴と前記N個の特徴の第2隣接特徴をそれぞれ融合させて前記目標特徴のN個の融合特徴を得ることと、
前記目標特徴のN個の融合特徴に基づいて、前記N個の融合特徴間の関連特徴を決定することと、
前記目標特徴のN個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第1画像の第2特徴を決定することと、を含んでもよい。
前記目標特徴に対して、前記N個の特徴と前記N個の特徴の第2隣接特徴をそれぞれ融合させて前記目標特徴のN個の融合特徴を得ることと、
前記目標特徴のN個の融合特徴に基づいて、前記N個の融合特徴間の関連特徴を決定することと、
前記目標特徴のN個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第1画像の第2特徴を決定することと、を含んでもよい。
例として説明すると、目標特徴の密度チェーン情報におけるi番目の特徴に対して、当該i番目の特徴と当該i番目の特徴の第2隣接特徴を融合し、すなわちi番目の特徴と当該i番目の特徴の第2隣接特徴を直接重畳(concat)したり、予め設定された重み値に基づいてi番目の特徴と当該i番目の特徴の第2隣接特徴を重み付け重畳(concat)したりすることによってi番目の融合特徴を得るようにしてもよい。N個の特徴のそれぞれに対してこのような処理を行い、N個の融合特徴を得ることが可能となる。
可能な一実施形態では、目標特徴のN個の融合特徴を、予めトレーニングされたLSTMネットワークに入力して処理し、N個の融合特徴間の依存関係を学習し、N個の融合特徴間の関連特徴(クエリ特徴Queryと呼んでもよい)を出力してもよい。当業者は、実際の状況に応じてLSTMネットワークを設定することができるが、本開示では、LSTMネットワークのネットワーク構造については限定しない。
可能な一実施形態では、目標特徴のN個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第1画像の第2特徴を決定するステップは、
前記関連特徴と前記N個の融合特徴とをそれぞれスティッチングしてN個のスティッチング特徴を得ることと、
前記N個のスティッチング特徴を正規化して前記N個の融合特徴のN個の重み値を得ることと、
前記N個の重み値に基づいて、前記N個の融合特徴を融合させて前記目標特徴に対応する第1画像の第2特徴を得ることと、を含んでもよい。
前記関連特徴と前記N個の融合特徴とをそれぞれスティッチングしてN個のスティッチング特徴を得ることと、
前記N個のスティッチング特徴を正規化して前記N個の融合特徴のN個の重み値を得ることと、
前記N個の重み値に基づいて、前記N個の融合特徴を融合させて前記目標特徴に対応する第1画像の第2特徴を得ることと、を含んでもよい。
つまり、関連特徴とN個の融合特徴とをそれぞれスティッチングしてN個のスティッチング特徴(キー特徴Keyと呼んでもよい)を得、例えばSoftmax関数によりN個のスティッチング特徴に対してそれぞれ正規化処理を行い、各融合特徴の重み値、合計でN個の重み値を得、さらに、各融合特徴の重み値に基づいて、N個の融合特徴に対して重み付け平均(weighted average)を行い、新たな特徴、すなわち当該目標特徴に対応する第1画像の第2特徴を得ることによって、目標特徴に対する調整手順を実現するようにしてもよい。このように、各第1特徴に対して上記処理を行い、前記複数の第1画像の第2特徴を得ることが可能となる。
このような形態によれば、特徴の空間密度分布に基づいて特徴を調整することによって、画像のクラスタリング効果を向上することができる。
図4a、図4b、図4c及び図4dは本開示の実施例に係る画像処理手順の模式図を示す。例としては、複数の第1画像に対して特徴抽出を行って複数の第3特徴を得ることができる。ここで、円形と三角形はそれぞれ異なるカテゴリの目標の特徴を示すことができる。図4aは初期の特徴分布状況を示している。図4aに示すように、第3特徴の分布はやや分散しているため、直接クラスタリングすると効果が悪くなってしまう。
例としては、複数の第3特徴をマッピングして、複数のノード及び隣接ノード間の結線を含む特徴マップネットワークを得、マップの構築が完了した後にグラフ畳み込みにより計算を行い、局所的な特徴融合を実現し、複数の第1特徴を得ることができる。図4bはグラフ畳み込み処理後の特徴分布状況を示している。図4bに示すように、グラフ畳み込み処理後、隣接する第1特徴間の距離が小さくなることによって、クラスタリングの効果を向上することができる。
例としては、各第1特徴の密度に基づいて、図4cに示すように、密度の昇順で指向マークを確立し、ツリー状構造を形成することができる。これにより、各第1特徴の密度チェーン情報を決定することができる。
例としては、各第1特徴の密度チェーン情報をLSTMネットワークにそれぞれ入力し、各第1特徴を調整して、調整後の複数の第2特徴を得ることができる。図4dは最終的な特徴分布状況を示している。図4dに示すように、調整後、同一カテゴリの第2特徴間の距離が明らかに小さくなり、クラスタリングがより容易となり、クラスタリングの効果を顕著に向上することができることがわかる。
可能な一実施形態では、特徴調整(特徴再学習と呼んでもよい)が完了した後、ステップS14において、前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得るようにしてもよい。ここで、ステップS14は、
前記複数の第1画像の第2特徴をクラスタリングして、それぞれが少なくとも1つの第1画像を含む少なくとも1つの画像群を決定することと、
前記少なくとも1つの画像群に対応する、前記第1画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定することと、を含み、
前記処理結果が前記少なくとも1つの画像群及び前記少なくとも1つの画像群に対応する目標カテゴリーを含んでもよい。
前記複数の第1画像の第2特徴をクラスタリングして、それぞれが少なくとも1つの第1画像を含む少なくとも1つの画像群を決定することと、
前記少なくとも1つの画像群に対応する、前記第1画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定することと、を含み、
前記処理結果が前記少なくとも1つの画像群及び前記少なくとも1つの画像群に対応する目標カテゴリーを含んでもよい。
例として説明すると、同一カテゴリの目標を含む第1画像をクラスタリングにより集めることができる。複数の第1画像の第2特徴をクラスタリングして、それぞれが少なくとも1つの第1画像を含む少なくとも1つの画像群を決定できる。当業者は、関連技術における任意のクラスタリング方法を用いてこのクラスタリング手順を実現することができるが、本開示ではこれが限定されない。
可能な一実施形態では、前記少なくとも1つの画像群に対応する目標カテゴリーをそれぞれ決定してもよい。第1画像における目標が顔または人体である場合、目標カテゴリは第1画像における人のアイデンティティ(例えば、顧客A)を示し、顔認識によって各画像群における人のアイデンティティ情報を決定することができる。このように、クラスタリング及び認識が行われた後、前記少なくとも1つの画像群及び前記少なくとも1つの画像群に対応する目標カテゴリーを含む処理結果が最終的に得られる。このような形態によれば、閲覧または後続の解析処理を容易にするように異なる人の画像を区別することができる。
本開示の実施例の方法によれば、密度を基にした考え方を採用し、特徴の空間密度分布に基づいて特徴を再学習し、グラフ畳み込みとLSTMネットワークによって特徴の個性化の学習及び調整を行うことによって、速度及び効果のいずれも従来の学習アルゴリズムより優れており、従来の方法による細粒度が悪く、アルゴリズム全体の効果が良くないという問題を解決している。
本開示の実施例の方法によれば、関連技術におけるクラスタリング方法と重畳することができ、優れたスケーラビリティを持つ。すなわち、関連技術におけるクラスタリング方法のフローは特徴取得→クラスタリングというステップを含む場合、重畳後のフローは、特徴取得→特徴再学習→新たな特徴→クラスタリングというステップを含むようになる。重畳後、関連技術におけるクラスタリング方法による効果を向上することができる。
本開示の実施例の方法によれば、応用場面は顔のクラスタリング、一般的なデータのクラスタリング等を含むが、これらに限定されず、インテリジェント映像解析、セキュリティモニタリング等の分野に適用することができ、画像の解析処理効果を効果的に向上することができる。
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。また、当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
また、本開示では、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムがさらに提供される。これらはいずれも本開示に係る画像処理方法のいずれか1つを実現するために利用できる。対応する技術的手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。
図5は本開示の実施例に係る画像処理装置のブロック図を示す。図5に示すように、前記装置は、
処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の、前記第1特徴との間の距離が第1距離閾値以下である第1特徴の数を示す密度をそれぞれ決定する密度決定モジュール51と、
いずれかの第1特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、N(Nは、正の整数である)個の特徴を含む密度チェーン情報を決定し、ここで、前記N個の特徴のi番目の特徴は前記N個の特徴のi-1番目の特徴の第1隣接特徴のうちの1つであり、かつ前記i番目の特徴の密度が前記i-1番目の特徴の密度より大きく、前記第1隣接特徴は前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、前記目標特徴は前記N個の特徴のうちの1番目である密度チェーン決定モジュール52と、
各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得る特徴調整モジュール53と、
前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得る結果決定モジュール54と、を含む。
処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の、前記第1特徴との間の距離が第1距離閾値以下である第1特徴の数を示す密度をそれぞれ決定する密度決定モジュール51と、
いずれかの第1特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、N(Nは、正の整数である)個の特徴を含む密度チェーン情報を決定し、ここで、前記N個の特徴のi番目の特徴は前記N個の特徴のi-1番目の特徴の第1隣接特徴のうちの1つであり、かつ前記i番目の特徴の密度が前記i-1番目の特徴の密度より大きく、前記第1隣接特徴は前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、前記目標特徴は前記N個の特徴のうちの1番目である密度チェーン決定モジュール52と、
各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得る特徴調整モジュール53と、
前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得る結果決定モジュール54と、を含む。
可能な一実施形態では、前記目標特徴に対応する密度チェーン情報は、前記N個の特徴の第2隣接特徴をさらに含み、前記N個の特徴のi-1番目の特徴の第2隣接特徴は、前記i-1番目の特徴との間の距離が第3距離閾値以下である少なくとも1つの第1特徴を含み、前記特徴調整モジュールは、前記目標特徴に対して、前記N個の特徴と前記N個の特徴の第2隣接特徴をそれぞれ融合させて前記目標特徴のN個の融合特徴を得るための融合サブモジュールと、前記目標特徴のN個の融合特徴に基づいて、前記N個の融合特徴間の関連特徴を決定するための特徴サブモジュールと、前記目標特徴のN個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第1画像の第2特徴を決定するための特徴決定サブモジュールと、を含む。
可能な一実施形態では、前記特徴決定サブモジュールは、前記関連特徴と前記N個の融合特徴とをそれぞれスティッチングしてN個のスティッチング特徴を得ることと、前記N個のスティッチング特徴を正規化して前記N個の融合特徴のN個の重み値を得ることと、前記N個の重み値に基づいて、前記N個の融合特徴を融合させて前記目標特徴に対応する第1画像の第2特徴を得ることに用いられる。
可能な一実施形態では、前記装置は、前記密度決定モジュールの前にさらに、前記複数の第1画像の第3特徴に基づいて、それぞれが1つの前記第3特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位K(Kは正の整数である)個のノードを含む特徴マップネットワーク構築モジュールと、前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第1画像の第1特徴を得るためのグラフ畳み込みモジュールと、を含む。
可能な一実施形態では、前記N個の特徴のi番目の特徴は、前記N個の特徴のi-1番目の特徴の第1隣接特徴のうち、密度が最大の特徴である。
可能な一実施形態では、前記装置は、前記特徴マップネットワーク構築モジュールの前にさらに、前記複数の第1画像のそれぞれに対して特徴抽出を行って、前記複数の第1画像の第3特徴を得るための特徴抽出モジュールを含む。
可能な一実施形態では、前記結果決定モジュールは、前記複数の第1画像の第2特徴をクラスタリングして、それぞれが少なくとも1つの第1画像を含む少なくとも1つの画像群を決定するためのクラスタリングサブモジュールと、前記少なくとも1つの画像群に対応する、前記第1画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定するためのカテゴリ決定サブモジュールと、を含み、前記処理結果が前記少なくとも1つの画像群及び前記少なくとも1つの画像群に対応する目標カテゴリーを含む。
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明を省略する。
本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記の方法を実現させるコンピュータ可読記憶媒体がさらに提供される。当該コンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体または揮発性のコンピュータ可読記憶媒体であってもよい。
本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、上記方法を実行するように構成される電子機器がさらに提供される。
本開示の実施例では、コンピュータ読み取り可能なコードを含むコンピュータプログラム製品であって、当該コンピュータ読み取り可能なコードは機器において動作すると、機器のプロセッサに上述したいずれかの実施例に係る画像処理方法を実現するための命令を実行させるコンピュータプログラム製品がさらに提供される。
本開示の実施例では、コンピュータ読み取り可能な命令が記憶されているコンピュータプログラム製品であって、命令が実行されると、コンピュータに上述したいずれかの実施例に係る画像処理方法の動作を実行させる別のコンピュータプログラム製品がさらに提供される。
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
図6は本開示の実施例に係る電子機器800のブロック図を示す。例えば、電子機器800は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
図6を参照すると、電子機器800は、処理コンポーネント802、メモリ804、電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、入力/出力(I/O)のインタフェース812、センサコンポーネント814、および通信コンポーネント816のうちの一つ以上を含んでもよい。
処理コンポーネント802は通常、電子機器800の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント802は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ820を含んでもよい。また、処理コンポーネント802は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント802は、マルチメディアコンポーネント808とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ804は電子機器800での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器800において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ804は、例えば静的ランダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM)、プログラマブル読み取り専用メモリ(PROM)、読み取り専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント806は電子機器800の各コンポーネントに電力を供給する。電源コンポーネント806は電源管理システム、一つ以上の電源、および電子機器800のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント808は前記電子機器800とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ(LCD)およびタッチパネル(TP)を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント808は前面カメラおよび/または背面カメラを含む。電子機器800が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび/または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
オーディオコンポーネント810はオーディオ信号を出力および/または入力するように構成される。例えば、オーディオコンポーネント810は、一つのマイク(MIC)を含み、マイク(MIC)は、電子機器800が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ804に記憶されるか、または通信コンポーネント816を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント810はさらに、オーディオ信号を出力するためのスピーカーを含む。
I/Oインタフェース812は処理コンポーネント802と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント814は電子機器800の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント814は電子機器800のオン/オフ状態、例えば電子機器800の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント814はさらに、電子機器800または電子機器800のあるコンポーネントの位置の変化、ユーザと電子機器800との接触の有無、電子機器800の方位または加減速および電子機器800の温度変化を検出できる。センサコンポーネント814は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント814はさらに、CMOSまたはCCDイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント814はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント816は電子機器800と他の機器との有線または無線通信を実現するように構成される。電子機器800は通信規格に基づく無線ネットワーク、例えばWiFi、2Gまたは3G、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント816は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント816はさらに、近距離通信を促進させるために、近距離無線通信(NFC)モジュールを含む。例えば、NFCモジュールは、無線周波数識別(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(BT)技術および他の技術によって実現できる。
例示的な実施例では、電子機器800は一つ以上の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタルシグナルプロセッサ(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ804が提供され、上記コンピュータプログラム命令は、電子機器800のプロセッサ820によって実行されと、上記方法を実行させることができる。
図7は本開示の実施例に係る電子機器1900のブロック図を示す。例えば、電子機器1900はサーバとして提供されてもよい。図7を参照すると、電子機器1900は、一つ以上のプロセッサを含む処理コンポーネント1922、および、処理コンポーネント1922によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ1932を代表とするメモリ資源を含む。メモリ1932に記憶されているアプリケーションプログラムは、それぞれが1つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント1922は命令を実行することによって上記方法を実行するように構成される。
電子機器1900はさらに、電子機器1900の電源管理を実行するように構成される電源コンポーネント1926、電子機器1900をネットワークに接続するように構成される有線または無線ネットワークインタフェース1950、および入出力(I/O)インタフェース1958を含んでもよい。電子機器1900はメモリ1932に記憶されいるオペレーティングシステム、例えばWindows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTMまたは類似するものに基づいて動作できる。
例示的な実施例では、さらに、不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ1932が提供され、上記コンピュータプログラム命令は、電子機器1900の処理コンポーネント1922によって実行されと、上記方法を実行させることができる。
本開示はシステム、方法および/またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令が有しているコンピュータ可読記憶媒体を含んでもよい。
コンピュータ可読記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例(非網羅的リスト)としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、静的ランダムアクセスメモリ(SRAM)、携帯型コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波(例えば、光ファイバーケーブルを通過するパルス光)、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算/処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび/または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび/またはエッジサーバを含んでもよい。各計算/処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算/処理機器内のコンピュータ可読記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語、および「C」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、(例えばインターネットサービスプロバイダを利用してインターネットを経由して)外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)またはプログラマブル論理アレイ(PLA)などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することににより、本開示の各方面を実現するようにしてもよい。
ここで、本開示の実施例に係る方法、装置(システム)およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび/またはブロック図の各ブロックおよびフローチャートおよび/またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現ように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および/または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/動作の各方面を実現する命令を有する製品を含む。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現する。
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および/またはフローチャートにおける各ブロック、およびブロック図および/またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
当該コンピュータプログラム製品は、ハードウェア、ソフトウェア、又はそれらの組み合わせによって具体的に実現できる。選択可能的な一実施例では、前記コンピュータプログラム製品はコンピュータ記憶媒体として具現化される。選択可能的な別の実施例では、コンピュータプログラム製品はソフトウェア製品、例えば、ソフトウェア開発キット(Software Development Kit、略称SDK)等として具現化される。
論理に違反しない限り、本開示のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。
論理に違反しない限り、本開示のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
Claims (11)
- 処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の、前記第1特徴との間の距離が第1距離閾値以下である第1特徴の数を示す密度をそれぞれ決定することと、
いずれかの第1特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、N(Nは、正の整数である)個の特徴を含む密度チェーン情報を決定し、ここで、前記N個の特徴のi(iは、正の整数でかつ1<i≦N)番目の特徴は前記N個の特徴のi-1番目の特徴の第1隣接特徴のうちの1つであり、かつ前記i番目の特徴の密度が前記i-1番目の特徴の密度より大きく、前記第1隣接特徴は前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、前記目標特徴は前記N個の特徴のうちの1番目であることと、
各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得ることと、
前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得ることと、を含む
ことを特徴とする画像処理方法。 - 前記目標特徴に対応する密度チェーン情報は、前記N個の特徴の第2隣接特徴をさらに含み、前記N個の特徴のi-1番目の特徴の第2隣接特徴は、前記i-1番目の特徴との間の距離が第3距離閾値以下である少なくとも1つの第1特徴を含み、
各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得ることは、
前記目標特徴に対して、前記N個の特徴と前記N個の特徴の第2隣接特徴をそれぞれ融合させて前記目標特徴のN個の融合特徴を得ることと、
前記目標特徴のN個の融合特徴に基づいて、前記N個の融合特徴間の関連特徴を決定することと、
前記目標特徴のN個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第1画像の第2特徴を決定することと、を含むことを特徴とする請求項1に記載の方法。 - 前記目標特徴のN個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第1画像の第2特徴を決定することは、
前記関連特徴と前記N個の融合特徴とをそれぞれスティッチングしてN個のスティッチング特徴を得ることと、
前記N個のスティッチング特徴を正規化して前記N個の融合特徴のN個の重み値を得ることと、
前記N個の重み値に基づいて、前記N個の融合特徴を融合させて前記目標特徴に対応する第1画像の第2特徴を得ることと、を含むことを特徴とする請求項2に記載の方法。 - 処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の密度をそれぞれ決定する前にさらに、
前記複数の第1画像の第3特徴に基づいて、それぞれが1つの前記第3特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位K(Kは正の整数である)個のノードを含むことと、
前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第1画像の第1特徴を得ることと、を含む
ことを特徴とする請求項1~3のいずれか1項に記載の方法。 - 前記N個の特徴のi番目の特徴は、前記N個の特徴のi-1番目の特徴の第1隣接特徴のうち、密度が最大の特徴である
ことを特徴とする請求項1~4のいずれか1項に記載の方法。 - 前記複数の第1画像の第3特徴に基づいて、特徴マップネットワークを構築する前にさらに、
前記複数の第1画像のそれぞれに対して特徴抽出を行って、前記複数の第1画像の第3特徴を得ることを含む
ことを特徴とする請求項4に記載の方法。 - 前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得ることは、
前記複数の第1画像の第2特徴をクラスタリングして、それぞれが少なくとも1つの第1画像を含む少なくとも1つの画像群を決定することと、
前記少なくとも1つの画像群に対応する、前記第1画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定することと、を含み、
前記処理結果は前記少なくとも1つの画像群及び前記少なくとも1つの画像群に対応する目標カテゴリーを含む
ことを特徴とする請求項1~6のいずれか1項に記載の方法。 - 処理対象となる複数の第1画像の第1特徴に基づいて、各前記第1特徴の、前記第1特徴との間の距離が第1距離閾値以下である第1特徴の数を示す密度をそれぞれ決定する密度決定モジュールと、
いずれかの第1特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、N(Nは、正の整数である)個の特徴を含む密度チェーン情報を決定し、ここで、前記N個の特徴のi(iは、正の整数でかつ1<i≦N)番目の特徴は前記N個の特徴のi-1番目の特徴の第1隣接特徴のうちの1つであり、かつ前記i番目の特徴の密度が前記i-1番目の特徴の密度より大きく、前記第1隣接特徴は前記i-1番目の特徴との間の距離が第2距離閾値以下である少なくとも1つの第1特徴を含み、前記目標特徴は前記N個の特徴のうちの1番目である密度チェーン決定モジュールと、
各前記第1特徴に対応する密度チェーン情報に基づいて、各前記第1特徴をそれぞれ調整して前記複数の第1画像の第2特徴を得る特徴調整モジュールと、
前記複数の第1画像の第2特徴をクラスタリングして前記複数の第1画像の処理結果を得る結果決定モジュールと、を含む
ことを特徴とする画像処理装置。 - プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、請求項1~7のいずれか1項に記載の方法を実行するように構成されることを特徴とする電子機器。 - コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、請求項1~7のいずれか1項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
- コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに請求項1~7のいずれか1項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010098842.0A CN111310664B (zh) | 2020-02-18 | 2020-02-18 | 图像处理方法及装置、电子设备和存储介质 |
CN202010098842.0 | 2020-02-18 | ||
PCT/CN2020/081364 WO2021164100A1 (zh) | 2020-02-18 | 2020-03-26 | 图像处理方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022524254A true JP2022524254A (ja) | 2022-05-02 |
JP7114811B2 JP7114811B2 (ja) | 2022-08-08 |
Family
ID=71158298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021526214A Active JP7114811B2 (ja) | 2020-02-18 | 2020-03-26 | 画像処理方法及び装置、電子機器並びに記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210279508A1 (ja) |
JP (1) | JP7114811B2 (ja) |
CN (1) | CN111310664B (ja) |
SG (1) | SG11202105513VA (ja) |
TW (1) | TWI738349B (ja) |
WO (1) | WO2021164100A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111310664B (zh) * | 2020-02-18 | 2022-11-22 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
US11860977B1 (en) * | 2021-05-04 | 2024-01-02 | Amazon Technologies, Inc. | Hierarchical graph neural networks for visual clustering |
CN113706367B (zh) * | 2021-08-26 | 2024-05-17 | 北京市商汤科技开发有限公司 | 节点排布方式确定方法及装置、电子设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100116404A (ko) * | 2009-04-22 | 2010-11-01 | 계명대학교 산학협력단 | 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치 |
CN108776787A (zh) * | 2018-06-04 | 2018-11-09 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、电子设备、存储介质 |
CN110135295A (zh) * | 2019-04-29 | 2019-08-16 | 华南理工大学 | 一种基于迁移学习的无监督行人重识别方法 |
CN110781975A (zh) * | 2019-10-31 | 2020-02-11 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5174068B2 (ja) * | 2010-03-11 | 2013-04-03 | 株式会社東芝 | 信号分類装置 |
CN103207879B (zh) * | 2012-01-17 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 图像索引的生成方法及设备 |
DE102013012780A1 (de) * | 2013-07-31 | 2015-02-05 | Connaught Electronics Ltd. | Verfahren zum Detektieren eines Zielobjekts durch Clusterbildung aus charakteristischen Merkmalen eines Bilds, Kamerasystem und Kraftfahrzeug |
JP2015184061A (ja) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 抽出装置、方法及びプログラム |
CN106874923A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格分类确定方法及装置 |
CN108920580B (zh) * | 2018-06-25 | 2020-05-26 | 腾讯科技(深圳)有限公司 | 图像匹配方法、装置、存储介质及终端 |
CN109801260B (zh) * | 2018-12-20 | 2021-01-26 | 北京海益同展信息科技有限公司 | 牲畜个数的识别方法、装置、控制装置及可读存储介质 |
CN110348521A (zh) * | 2019-07-12 | 2019-10-18 | 创新奇智(重庆)科技有限公司 | 图像处理聚类方法及其系统、电子设备 |
CN111310664B (zh) * | 2020-02-18 | 2022-11-22 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2020
- 2020-02-18 CN CN202010098842.0A patent/CN111310664B/zh active Active
- 2020-03-26 SG SG11202105513VA patent/SG11202105513VA/en unknown
- 2020-03-26 JP JP2021526214A patent/JP7114811B2/ja active Active
- 2020-03-26 WO PCT/CN2020/081364 patent/WO2021164100A1/zh active Application Filing
- 2020-05-20 TW TW109116706A patent/TWI738349B/zh active
-
2021
- 2021-05-24 US US17/328,432 patent/US20210279508A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100116404A (ko) * | 2009-04-22 | 2010-11-01 | 계명대학교 산학협력단 | 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치 |
CN108776787A (zh) * | 2018-06-04 | 2018-11-09 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、电子设备、存储介质 |
CN110135295A (zh) * | 2019-04-29 | 2019-08-16 | 华南理工大学 | 一种基于迁移学习的无监督行人重识别方法 |
CN110781975A (zh) * | 2019-10-31 | 2020-02-11 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111310664A (zh) | 2020-06-19 |
TWI738349B (zh) | 2021-09-01 |
WO2021164100A1 (zh) | 2021-08-26 |
CN111310664B (zh) | 2022-11-22 |
SG11202105513VA (en) | 2021-09-29 |
JP7114811B2 (ja) | 2022-08-08 |
US20210279508A1 (en) | 2021-09-09 |
TW202133030A (zh) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7089106B2 (ja) | 画像処理方法及び装置、電子機器、コンピュータ読取可能記憶媒体及びコンピュータプログラム | |
TWI766286B (zh) | 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介 | |
WO2021196401A1 (zh) | 图像重建方法及装置、电子设备和存储介质 | |
TWI740309B (zh) | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 | |
JP6852150B2 (ja) | 生体検知方法および装置、システム、電子機器、記憶媒体 | |
JP2022500791A (ja) | 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
JP2021533436A (ja) | 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム | |
TWI773945B (zh) | 錨點確定方法、電子設備和儲存介質 | |
JP2022524262A (ja) | 目標対象物の検出方法、目標対象物の検出装置、電子機器、記憶媒体及びコンピュータプログラム | |
JP7074877B2 (ja) | ネットワーク最適化方法及び装置、画像処理方法及び装置、記憶媒体及びコンピュータプログラム | |
JP2021516838A (ja) | キーポイント検出方法、装置、電子機器及び記憶媒体 | |
JP2022524254A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
CN111340731B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP2022522551A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
CN110909815A (zh) | 神经网络训练、图像处理方法、装置及电子设备 | |
CN109165738B (zh) | 神经网络模型的优化方法及装置、电子设备和存储介质 | |
JP2022552761A (ja) | 目標再認識方法、装置、機器、記憶媒体及びプログラム製品 | |
JP2022523243A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
CN110659690B (zh) | 神经网络的构建方法及装置、电子设备和存储介质 | |
CN108960283B (zh) | 分类任务增量处理方法及装置、电子设备和存储介质 | |
CN111582383B (zh) | 属性识别方法及装置、电子设备和存储介质 | |
WO2020220807A1 (zh) | 图像生成方法及装置、电子设备及存储介质 | |
JP2022506637A (ja) | 画像処理方法および装置、ネットワークトレーニング方法および装置 | |
CN111242303A (zh) | 网络训练方法及装置、图像处理方法及装置 | |
CN111259967A (zh) | 图像分类及神经网络训练方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7114811 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |