JP2023502863A - Image incremental clustering method and apparatus, electronic device, storage medium and program product - Google Patents

Image incremental clustering method and apparatus, electronic device, storage medium and program product Download PDF

Info

Publication number
JP2023502863A
JP2023502863A JP2022524182A JP2022524182A JP2023502863A JP 2023502863 A JP2023502863 A JP 2023502863A JP 2022524182 A JP2022524182 A JP 2022524182A JP 2022524182 A JP2022524182 A JP 2022524182A JP 2023502863 A JP2023502863 A JP 2023502863A
Authority
JP
Japan
Prior art keywords
cluster
clusters
sub
image data
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2022524182A
Other languages
Japanese (ja)
Inventor
▲劉▼▲凱▼▲鑑▼
余世杰
▲陳▼浩彬
▲陳▼大▲鵬▼
▲趙▼瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sensetime Technology Development Co Ltd filed Critical Zhejiang Sensetime Technology Development Co Ltd
Publication of JP2023502863A publication Critical patent/JP2023502863A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本開示は、画像の増分クラスタリング方法及び装置、電子機器、記憶媒体並びにプログラム製品を提供し、該方法は、第1画像データ集合の第1クラスタを取得し、前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得し、前記Mが1以上の整数であり、第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする。The present disclosure provides a method and apparatus for incremental clustering of images, an electronic device, a storage medium and a program product, the method obtains a first cluster of a first image data set, divides the first cluster into M dividing into one sub-cluster, obtaining a first cluster center corresponding to each first sub-cluster of the M first sub-clusters, wherein M is an integer of 1 or more, and a second image data set is obtained; and merging the second image data set and the first cluster using the first cluster center.

Description

(関連出願の相互参照)
本開示は、出願番号が202011185911.8であり、出願日が2020年10月30日である中国特許出願に基づいて提案され、且つこの中国特許出願の優先権を主張し、この中国特許出願の全てが参照によって本開示に組み込まれる。
(Cross reference to related applications)
This disclosure is proposed based on and claims priority from a Chinese patent application with filing number 202011185911.8 and filing date of October 30, 2020, and All are incorporated into this disclosure by reference.

本開示の実施例はコンピュータビジョン技術分野に関し、特に画像の増分クラスタリング方法及び装置、電子機器、記憶媒体並びにプログラム製品に関する。 TECHNICAL FIELD Embodiments of the present disclosure relate to the technical field of computer vision, and more particularly to methods and apparatus for incremental clustering of images, electronic devices, storage media, and program products.

画像処理技術は、深層学習の発展により大きく進歩しており、顔認識を例にすると、教師あり学習によって得られた顔認識モデルは、認識精度が飛躍的に向上しているが、爆発的に増加しているラベル無しの画像データに接する際に、どのように正確かつ迅速に分類するかは、依然として議論と研究に値する課題である。 Image processing technology has made great progress with the development of deep learning. Taking face recognition as an example, the recognition accuracy of face recognition models obtained by supervised learning has improved dramatically, but it has also exploded. How to classify accurately and quickly in the face of increasing amounts of unlabeled image data is still an issue worthy of discussion and research.

上記課題に対して、本開示は画像の増分クラスタリング方法及び装置、電子機器、記憶媒体並びにプログラム製品を提供し、増分クラスタリングにおいて、クラスタ中心のドリフトによりクラスタリング効果が影響されるという問題を解決するのに役立つ。 In view of the above problems, the present disclosure provides an image incremental clustering method and apparatus, an electronic device, a storage medium and a program product to solve the problem that the clustering effect is affected by cluster center drift in incremental clustering. Helpful.

上記目的を実現するために、本開示の実施例の第1態様は、画像の増分クラスタリング方法を提供する。前記画像の増分クラスタリング方法は、
第1画像データ集合の第1クラスタを取得するステップと、前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得するステップであって、前記Mは1以上の整数であるステップと、第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするステップと、を含む。
To achieve the above objectives, a first aspect of embodiments of the present disclosure provides an incremental clustering method for images. The incremental clustering method for the image comprises:
obtaining a first cluster of a first image data set; dividing said first cluster into M first sub-clusters, corresponding to each first sub-cluster of said M first sub-clusters; obtaining a first cluster center, wherein M is an integer greater than or equal to 1; obtaining a second image data set; merging with one cluster.

第1態様によれば、可能な一実施形態において、前記第1クラスタは第1クラスタA、第1クラスタB及び第1クラスタCを含み、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするステップは、
前記第2画像データ集合に複数の画像データが含まれる場合、前記複数の画像データをクラスタリングし、孤立画像データ及び第2クラスタを得るステップと、前記第1クラスタ中心を用いて前記孤立画像データを前記第1クラスタAへとマージし、前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするステップと、前記第2画像データ集合内に単一の画像データのみ存在する場合、前記第1クラスタ中心を用いて前記単一の画像データを前記第1クラスタCへとマージするステップと、を含む。
According to a first aspect, in one possible embodiment said first cluster comprises a first cluster A, a first cluster B and a first cluster C, and said first cluster center is used to The step of merging the first cluster with
if the second image data set includes a plurality of image data, clustering the plurality of image data to obtain isolated image data and a second cluster; and clustering the isolated image data using the first cluster center. merging into said first cluster A and merging said second cluster with said first cluster B using said first cluster center; and only a single image data exists in said second image data set. if so, merging the single image data into the first cluster C using the first cluster center.

このように、第2画像データ集合内の複数の画像データをクラスタリングし、得られた孤立画像データ及び第2クラスタと、第1クラスタに含まれる第1クラスタA、第1クラスタB及び第1クラスタCとをそれぞれマージすることで、単一のサンプルのクラスタへの組み込み、及びクラスタ間のマージを実現することができる。 In this way, a plurality of image data in the second image data set are clustered, and the obtained isolated image data and the second cluster, the first cluster A, the first cluster B, and the first cluster included in the first cluster By merging C and C respectively, incorporation of single samples into clusters and merging between clusters can be realized.

第1態様によれば、可能な一実施形態において、前記第1クラスタは対応する第2クラスタ中心を有し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする前に、前記増分クラスタリング方法は、
前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップをさらに含む。
According to the first aspect, in one possible embodiment, the first cluster has a corresponding second cluster center, and the first cluster center is used to divide the second image data set and the first cluster. Before merging, the incremental clustering method includes:
Further comprising determining K first clusters from the first cluster using the second cluster center.

第1態様によれば、可能な一実施形態において、前記第2クラスタは対応する第3クラスタ中心を有し、前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップは、
前記前記孤立画像データと前記第2クラスタ中心との第1類似度を取得し、前記第1類似度に基づき、前記第1クラスタを高い順にソートして第1クラスタ系列を得て、前記第1クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、前記第3クラスタ中心と前記第2クラスタ中心との第2類似度を取得し、前記第2類似度に基づき、前記第1クラスタを高い順にソートして第2クラスタ系列を得て、前記第2クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、を含むか、又は、前記単一の画像データと前記第2クラスタ中心との第3類似度を取得し、前記第3類似度に基づき、前記第1クラスタを高い順にソートして第3クラスタ系列を得て、前記第3クラスタ系列内の先頭からK個の第1クラスタを選択するステップを含む。
According to a first aspect, in one possible embodiment, said second cluster has a corresponding third cluster center, and said second cluster center is used to derive K first clusters from said first cluster. The step of determining
obtaining a first similarity between the isolated image data and the center of the second cluster, sorting the first clusters in ascending order based on the first similarity to obtain a first cluster series, selecting K first clusters from the beginning in a cluster series; obtaining a second similarity between the third cluster center and the second cluster center; and based on the second similarity, the first sorting the clusters in ascending order to obtain a second cluster sequence, and selecting the top K first clusters in said second cluster sequence; or said single image data and said Obtaining a third similarity with the second cluster center, sorting the first cluster in ascending order based on the third similarity to obtain a third cluster sequence, K from the top in the third cluster sequence selecting first clusters.

このように、計算して得られた第2クラスタ中心と孤立画像データ、第3クラスタ中心及び単一の画像データとの類似度を用いて、第1クラスタを選別することは、第2画像データ集合内の画像データのクラスタカテゴリにより近い第1クラスタを決定するのに役立つ。 Thus, using the calculated similarities between the center of the second cluster and the isolated image data, the center of the third cluster, and the single image data, the selection of the first cluster is performed by selecting the second image data It helps determine the first cluster that is closer to the cluster category of the image data in the set.

第1態様によれば、可能な一実施形態において、前記第1クラスタ中心を用いて前記孤立画像データと前記第1クラスタAとをマージするステップは、
前記孤立画像データと第1クラスタ中心Dとの第4類似度を取得するステップであって、前記第1クラスタ中心Dは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第4類似度が第1閾値よりも大きい前記第1クラスタ中心Dの第1数量を決定するステップと、前記K個の第1クラスタのうちの前記第1数量が最大である第1クラスタを前記第1クラスタAとして決定するステップと、前記孤立画像データと前記第1クラスタAとをマージするステップと、を含む。
According to a first aspect, in one possible embodiment, the step of merging said isolated image data and said first cluster A using said first cluster center comprises:
obtaining a fourth similarity between the isolated image data and a first cluster center D, wherein the first cluster center D is the first being the first cluster center corresponding to a sub-cluster; and for each first cluster of the K first clusters, within each of the first clusters, the fourth similarity being a first threshold; and determining the first cluster among the K first clusters with the largest first quantity as the first cluster A. and merging the isolated image data and the first cluster A.

このように、孤立画像データにより近い第1サブクラスタは、第1クラスタAに最も多く存在し、孤立画像データを第1クラスタAへとマージすることで、クラスタリング結果をより正確にすることができる。 Thus, the first sub-cluster closer to the isolated image data is most present in the first cluster A, and merging the isolated image data into the first cluster A can make the clustering result more accurate. .

第1態様によれば、可能な一実施形態において、前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするステップは、
前記第2クラスタをN個の第2サブクラスタに分割し、前記N個の第2サブクラスタのうちの各第2サブクラスタに対応する第4クラスタ中心を取得するステップであって、前記Nは1以上の整数であるステップと、前記第4クラスタ中心と第1クラスタ中心Eとの第5類似度を取得するステップであって、前記第1クラスタ中心Eは、K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第5類似度が第2閾値よりも大きい前記第1クラスタ中心Eの第2数量を決定するステップと、前記K個の第1クラスタのうちの前記第2数量が最大である第1クラスタを前記第1クラスタBとして決定するステップと、前記第2クラスタと前記第1クラスタBとをマージするステップと、を含む。
According to a first aspect, in one possible embodiment, the step of merging said second cluster and said first cluster B using said first cluster center comprises:
dividing the second cluster into N second sub-clusters and obtaining a fourth cluster center corresponding to each second sub-cluster of the N second sub-clusters, wherein N is being an integer greater than or equal to 1; and obtaining a fifth similarity between the fourth cluster center and the first cluster center E, wherein the first cluster center E is one of the K first clusters. and for each first cluster of the K first clusters, within each first cluster, determining a second quantity of said first cluster centers E for which said fifth similarity is greater than a second threshold; determining as the first cluster B; and merging the second cluster and the first cluster B;

このように、第1クラスタKは数量が最も多く、それを第1クラスタBとして決定し、つまり、第2クラスタの第2サブクラスタにより近い第1サブクラスタは、第1クラスタBに最も多く存在し、第2クラスタを第1クラスタBへとマージすることで、クラスタリング結果をより正確にすることができる。 Thus, the first cluster K has the highest quantity and we determine it as the first cluster B, i.e. the first sub-cluster closer to the second sub-cluster of the second cluster is the most abundant in the first cluster B and merging the second cluster into the first cluster B, the clustering result can be made more accurate.

第1態様によれば、可能な一実施形態において、前記第1クラスタ中心を用いて前記単一の画像データと前記第1クラスタCとをマージするステップは、
前記単一の画像データと第1クラスタ中心Fとの第6類似度を取得するステップであって、前記第1クラスタ中心Fは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第6類似度が第3閾値よりも大きい前記第1クラスタ中心Fの第3数量を決定するステップと、前記K個の第1クラスタのうちの前記第3数量が最大である第1クラスタを前記第1クラスタCとして決定するステップと、前記単一の画像データと前記第1クラスタCとをマージするステップと、を含む。
According to the first aspect, in one possible embodiment, the step of merging said single image data and said first cluster C using said first cluster center comprises:
obtaining a sixth similarity measure between the single image data and a first cluster center F, wherein the first cluster center F is for each first cluster of the K first clusters; being the first cluster center corresponding to a first sub-cluster; and for each first cluster of the K first clusters, within each first cluster, the sixth similarity being the first determining a third quantity of the first cluster center F that is greater than a threshold of 3; and determining the first cluster among the K first clusters with the largest third quantity as the first cluster C. and merging the single image data and the first cluster C.

このように、単一の画像データにより近い第1サブクラスタは、第1クラスタCに最も多く存在し、単一の画像データを第1クラスタCへとマージすることで、クラスタリング結果をより正確にすることができる。 In this way, the first sub-cluster closer to the single image data exists most in the first cluster C, and by merging the single image data into the first cluster C, the clustering result is more accurate. can do.

第1態様によれば、可能な一実施形態において、前記Mは第4閾値以下であり、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージした後、前記増分クラスタリング方法は、
マージした第1クラスタをR個の第3サブクラスタに分割し、前記R個の第3サブクラスタのうちの各第3サブクラスタの第5クラスタ中心を取得するステップであって、前記Rは1以上の整数であるステップと、前記Rが前記第4閾値以下である場合、前記R個の第3サブクラスタを残し、前記R個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するステップと、前記Rが前記第4閾値よりも大きい場合、前記R個の第3サブクラスタのうちの各第3サブクラスタ内の画像データの第4数量を取得するステップと、前記第4数量に基づき、前記R個の第3サブクラスタを大きい順にソートして第4クラスタ系列を得て、前記第4クラスタ系列内の先頭からP個の第3サブクラスタを選択し、前記P個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するステップであって、前記Pは前記第4閾値以下であるステップと、をさらに含む。
According to the first aspect, in one possible embodiment, said M is less than or equal to a fourth threshold, and after merging said second image data set and said first cluster using said first cluster center, said The incremental clustering method is
dividing the merged first cluster into R third sub-clusters and obtaining a fifth cluster center of each third sub-cluster of said R third sub-clusters, wherein said R is 1 and if R is less than or equal to the fourth threshold, then retain the R third subclusters and use the fifth cluster center corresponding to the R third subclusters. updating the first cluster center; and obtaining a fourth quantity of image data in each third sub-cluster of the R third sub-clusters if the R is greater than the fourth threshold. sorting the R third sub-clusters according to the fourth quantity to obtain a fourth cluster sequence, and selecting the first P third sub-clusters in the fourth cluster sequence; and updating the first cluster center using the fifth cluster center corresponding to the P third subclusters, wherein the P is less than or equal to the fourth threshold. .

このように、サブクラスタが多い場合、より多くの画像データを有するサブクラスタを残すことで、サブ中心の量を制限し、外れ値となる画像データの影響を除去することができ、これにより、維持を容易にするのみならず、長時間の大規模増分クラスタリングのシーンにおいても高いクラスタリング効果が得られることを可能にする。 Thus, if there are many sub-clusters, leaving sub-clusters with more image data can limit the amount of sub-centers and remove the effect of outlier image data, thereby: It not only facilitates maintenance, but also enables high clustering effects to be obtained even in long-time large-scale incremental clustering scenes.

第1態様によれば、可能な一実施形態において、前記第1クラスタは前記第1画像データ集合内の画像データをクラスタリングすることで得られるものであり、前記第1クラスタをM個の第1サブクラスタに分割するステップは、
前記第1クラスタ内の画像データ間の第7類似度を取得し、類似度行列を得るステップと、前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するステップと、を含む。
According to the first aspect, in one possible embodiment, said first cluster is obtained by clustering image data in said first image data set, said first cluster being divided into M first The step of dividing into sub-clusters is
obtaining a seventh degree of similarity between image data in the first cluster to obtain a similarity matrix; and dividing the first cluster into the M first sub-clusters based on the similarity matrix. and including.

このように、類似度行列を用いて前記第1クラスタを前記M個の第1サブクラスタに分割してもよい。 Thus, a similarity matrix may be used to divide the first cluster into the M first sub-clusters.

第1態様によれば、可能な一実施形態において、前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するステップは、
前記第1クラスタ内の画像データを頂点として構成される連結グラフを取得するステップと、前記類似度行列からサーチして前記連結グラフの頂点間の前記第7類似度を得るステップと、前記第7類似度が第5閾値よりも大きい複数の頂点を1つの第1サブクラスタとして分割し、前記M個の第1サブクラスタを得るステップと、を含む。
According to the first aspect, in one possible embodiment the step of dividing said first cluster into said M first sub-clusters based on said similarity matrix comprises:
acquiring a connectivity graph configured with image data in the first cluster as vertices; searching from the similarity matrix to obtain the seventh degree of similarity between vertices of the connectivity graph; dividing a plurality of vertices whose similarity is greater than a fifth threshold as one first sub-cluster to obtain the M first sub-clusters.

このように、連結グラフを用いて、前記第7類似度が第5閾値よりも大きい複数の頂点を1つの第1サブクラスタとして分割してもよい。 In this way, a connectivity graph may be used to divide a plurality of vertices for which the seventh similarity is greater than the fifth threshold as one first sub-cluster.

本開示の実施例の第2態様は画像の増分クラスタリング装置を提供する。前記画像の増分クラスタリング装置は、
第1画像データ集合の第1クラスタを取得するように構成される第1取得モジュールと、前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得するように構成される第1分割モジュールであって、前記Mは1以上の整数である第1分割モジュールと、第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするように構成されるマージモジュールと、を含む。
A second aspect of embodiments of the present disclosure provides an apparatus for incremental clustering of images. The apparatus for incremental clustering of images comprises:
a first acquisition module configured to acquire a first cluster of a first image data set; dividing said first cluster into M first sub-clusters; a first segmentation module configured to obtain a first cluster center corresponding to each first subcluster, wherein M is an integer greater than or equal to 1; and obtaining a second image data set. and a merge module configured to merge the second image data set and the first cluster using the first cluster center.

本開示の実施例の第3態様は電子機器を提供し、該電子機器は、入力デバイス及び出力デバイスを含み、1つ又は複数の命令を実現するのに適するプロセッサと、前記プロセッサによりロードされて上記第1態様のいずれかの実施形態のステップを実行するのに適する1つ又は複数の命令が記憶されているコンピュータ記憶媒体と、をさらに含む。 A third aspect of embodiments of the present disclosure provides an electronic apparatus, including an input device and an output device, a processor suitable for implementing one or more instructions, and a processor loaded by the processor. a computer storage medium having stored therein one or more instructions suitable for performing the steps of any embodiment of the first aspect above.

本開示の実施例の第4態様はコンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体は、プロセッサによりロードされて上記第1態様のいずれかの実施形態のステップを実行するのに適する1つ又は複数の命令が記憶されている。 A fourth aspect of embodiments of the present disclosure provides a computer storage medium, said computer storage medium, one or more suitable for being loaded by a processor to perform the steps of any of the embodiments of the first aspect above. instructions are stored.

本開示の実施例の第5態様はコンピュータプログラム製品を提供し、前記コンピュータプログラム製品は、プロセッサによりロードされて上記第1態様のいずれかの実施形態のステップを実行するのに適する1つ又は複数の命令を含む。 A fifth aspect of embodiments of the present disclosure provides a computer program product, said computer program product being one or more suitable to be loaded by a processor to perform the steps of any of the embodiments of the first aspect above. including instructions for

以上から分かるように、本開示の実施例は、第1画像データ集合の第1クラスタを取得し、前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得し、前記Mが1以上の整数であり、第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする。このように、第1クラスタを複数の第1サブクラスタに分割し、第1サブクラスタの第1クラスタ中心に基づいて第1クラスタと第2画像データ集合とのマージを実現しており、複数の第1クラスタ中心(即ちサブ中心)を維持することで、画像データの増加に伴い、クラスタ中心(第1クラスタのクラスタ中心であり、即ちメイン中心である)が新たに追加された画像データの影響を受けてドリフトするという問題を解決し、これはクラスタリング結果をより正確にするのに役立ち、クラスタリング効果が向上する。また、クラスタリング過程で、第2画像データ集合は第1画像データ集合全体と類似度を計算する必要がなくなり、計算複雑性の軽減に役立つ。 As can be seen from the above, embodiments of the present disclosure obtain a first cluster of a first image data set, divide the first cluster into M first sub-clusters, and divide the M first sub-clusters into wherein M is an integer greater than or equal to 1, obtaining a second image data set, using the first cluster centers to obtain the second image Merge the dataset with the first cluster. Thus, the first cluster is divided into a plurality of first sub-clusters, and the merging of the first cluster and the second image data set is realized based on the first cluster center of the first sub-cluster, and the plurality of By maintaining the first cluster center (i.e. sub-center), with the increase of the image data, the cluster center (which is the cluster center of the first cluster, i.e. the main center) is newly added image data influence It solves the problem of drifting with , which helps to make the clustering result more accurate, and the clustering effect is improved. Also, in the clustering process, the second image data set does not need to calculate similarity to the entire first image data set, which helps reduce computational complexity.

本開示の実施例により提供される適用環境の模式図である。1 is a schematic diagram of an application environment provided by an embodiment of the present disclosure; FIG. 本開示の実施例により提供される画像の増分クラスタリング方法のフローチャートである。4 is a flowchart of a method for incremental clustering of images provided by embodiments of the present disclosure; 本開示の実施例により提供される第1クラスタの連結グラフの模式図である。FIG. 4 is a schematic diagram of a connectivity graph of a first cluster provided by an embodiment of the present disclosure; 本開示の実施例により提供される第1クラスタを第1サブクラスタに分割する模式図である。FIG. 4 is a schematic diagram of dividing a first cluster into first sub-clusters provided by an embodiment of the present disclosure; 本開示の実施例により提供される第2画像データ集合のクラスタリング結果の模式図である。FIG. 4 is a schematic diagram of a clustering result of a second image data set provided by an embodiment of the present disclosure; 本開示の実施例により提供される孤立画像データを第1クラスタへとマージする模式図である。FIG. 4 is a schematic diagram of merging isolated image data into a first cluster provided by an embodiment of the present disclosure; 本開示の実施例により提供される第2クラスタと第1クラスタマージとをマージする模式図である。FIG. 4 is a schematic diagram of merging a second cluster and a first cluster merging provided by an embodiment of the present disclosure; 本開示の実施例により提供される第1クラスタ中心を更新するフローチャートである。FIG. 4 is a flow chart of updating a first cluster center provided by an embodiment of the present disclosure; FIG. 本開示の実施例により提供される他の画像の増分クラスタリング方法のフローチャートである。4 is a flowchart of another incremental image clustering method provided by embodiments of the present disclosure; 本開示の実施例により提供される画像の増分クラスタリング装置の構成図である。1 is a block diagram of an incremental clustering device for images provided by an embodiment of the present disclosure; FIG. 本開示の実施例により提供される電子機器の構成図である。1 is a configuration diagram of an electronic device provided by an embodiment of the present disclosure; FIG.

本開示の解決手段を当業者により好適に理解させるために、以下において、本開示の実施例における図面を参照しながら、本開示の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例は全ての実施例ではなく、本開示の実施例の一部であってもよい。本開示の実施例に基づき、当業者が創造的な労力を要することなく、得られた他の全ての実施例は、いずれも本開示の保護範囲に属するものとする。 In order to make the solutions of the present disclosure better understood by those skilled in the art, the following clearly and completely describes the technical solutions in the embodiments of the present disclosure with reference to the drawings in the embodiments of the present disclosure, Of course, the described embodiments may not be all embodiments, but some of the embodiments of the present disclosure. All other embodiments obtained by persons skilled in the art based on the embodiments of the present disclosure without creative efforts shall fall within the protection scope of the present disclosure.

本開示の明細書、特許請求の範囲及び図面における「含む」、「備える」という用語及びそれらのいかなる変形も、非排他的に含むことを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、挙げられたステップ又はユニットに限定されるものではなく、本開示のいくつかの実施例では、挙げられないステップ又はユニットをさらに含み、又は、本開示のいくつかの実施例では、これらのプロセス、方法又は機器に固有の他のステップ又はユニットをさらに含む。また、「第1」、「第2」及び「第3」等の用語は、特定の順序を記述するものではなく、異なる対象を区別するためのものである。 The terms "including", "comprising" and any variations thereof in the specification, claims and drawings of this disclosure are intended to be non-exclusive. For example, a process, method, system, product or apparatus that includes a series of steps or units is not limited to the listed steps or units; or, in some embodiments of the present disclosure, further steps or units specific to these processes, methods or devices. Also, terms such as "first," "second," and "third," do not describe a particular order, but are intended to distinguish between different objects.

実際のシーン、例えば、ソーシャルメディア、セキュリティ等のシーンにおいて、画像がインクリメンタルに生成されることが多いため、増分クラスタリングは分類問題の解決に広く用いられており、従来の増分クラスタリングはいくつかの第1クラスタを維持する必要があり、しかし、異なるクラスタは疎性が異なり、増分クラスタリングの進行に伴い、クラスタ中心がドリフトする可能性は増加し、クラスタリング効果がかえって低下してしまう。 Incremental clustering is widely used in solving classification problems because images are often generated incrementally in real scenes, e.g. social media, security, etc. One cluster needs to be maintained, but different clusters have different sparseness, and with the progress of incremental clustering, the probability of cluster center drift increases and the clustering effect decreases.

本開示の実施例は画像データに対する増分クラスタリング方法を提供し、前記増分クラスタリング方法は図1に示す適用環境に基づいて実施可能であり、図1に示すように、該適用環境は、主に画像処理センタ101及び画像収集機器102を含み、画像処理センタ101はサーバ1011、端末及びデータベースを含むが、これらに限定されない。いくつかのシーンにおいて、画像収集機器102は、例えば顔画像、ビデオ監視画像等の画像を収集するためにゲートチャネル、ショッピングモール、住宅地等のシーンに配置されるカメラ又はカメラヘッドであってもよく、画像処理センタ101は監視センタであってもよく、画像処理センタ101は、ビデオ監視を管理するためにビデオクラウドノード(VCN:Video Cloud Node)1012を導入してもよく、例えば、ディスプレイ1013に画像を表示し、画像をクラスタリングしてからデータベース1014に記憶する。いくつかのシーンにおいて、画像収集機器102はユーザ端末であってもよく、画像収集機器102により収集した画像はユーザが撮影した写真、例えば、ユーザがソーシャルメディアに投稿した写真であってもよく、画像処理センタはソーシャルメディアの処理バックグラウンドであってもよい。画像収集機器102は収集した画像を画像処理センタ101にアップロードし、画像処理センタ101によって特徴抽出、クラスタリング分類、顔認識等の操作を行ってもよく、画像収集機器側の画像が毎日、インクリメンタルに生成され、増分クラスタリングはいくつかのクラスタを維持する必要があるため、画像データの増加と増分クラスタリングの進行に伴い、元々維持されるクラスタのクラスタ中心はドリフトするリスクがあり、これにより、クラスタリング効果は徐々に低下し、このため、サーバ1011は、本開示の実施例により提供される増分クラスタリング方法を実行することで、増分クラスタリングにおいて、クラスタ中心のドリフトによりクラスタリング効果が影響されるという問題を解決することに利用可能である。上記サーバ1011は、独立した物理サーバであってもよく、サーバクラスタ又は分散システムであってもよく、さらに、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、ビッグデータ及び人工知能プラットフォーム等の基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。 An embodiment of the present disclosure provides an incremental clustering method for image data, the incremental clustering method can be implemented based on the application environment shown in FIG. 1, as shown in FIG. It includes a processing center 101 and an image acquisition device 102, the image processing center 101 including but not limited to a server 1011, terminals and databases. In some scenes, the image capture device 102 may be a camera or camera head placed in a scene such as a gated channel, shopping mall, residential area, etc. to capture images such as facial images, video surveillance images, etc. Well, the image processing center 101 may be a surveillance center, and the image processing center 101 may deploy a Video Cloud Node (VCN) 1012 to manage video surveillance, e.g. , and the images are clustered before being stored in database 1014 . In some scenes, the image collection device 102 may be a user terminal, the images collected by the image collection device 102 may be photos taken by the user, such as photos posted on social media by the user, The image processing center may be a social media processing background. The image acquisition device 102 may upload the acquired images to the image processing center 101, and the image processing center 101 may perform operations such as feature extraction, clustering classification, and face recognition. Since the generated and incremental clustering needs to maintain some clusters, as the image data increases and the incremental clustering progresses, there is a risk that the cluster centers of the originally maintained clusters will drift, which causes the clustering effect decreases gradually, so the server 1011 performs the incremental clustering method provided by the embodiments of the present disclosure to solve the problem that the clustering effect is affected by cluster center drift in incremental clustering. available to do. The server 1011 can be an independent physical server, a server cluster or a distributed system, and can also be cloud services, cloud databases, cloud computing, cloud functions, cloud storage, network services, cloud communication, It may be a cloud server that provides basic cloud computing services such as middleware services, domain name services, security services, big data and artificial intelligence platforms.

以下において、関連する図面を参照しながら、本開示の実施例により提供される画像の増分クラスタリング方法を詳しく説明する。 In the following, the incremental clustering method for images provided by the embodiments of the present disclosure will be described in detail with reference to the associated drawings.

図2は、本開示の実施例により提供される画像の増分クラスタリング方法のフローチャートであり、この画像の増分クラスタリング方法はサーバに適用され、図2に示すように、ステップS21からS23を含む。 FIG. 2 is a flowchart of an incremental image clustering method provided by an embodiment of the present disclosure, which is applied to a server and includes steps S21 to S23, as shown in FIG.

S21で、第1画像データ集合の第1クラスタを取得する。 At S21, the first cluster of the first image data set is obtained.

第1画像データ集合とは、現在バッチの画像データより前に、複数のクラスタとしてクラスタリングされた画像データ集合を指し、例えば、画像収集機器がある時刻で一括アップロードした顔画像のデータ(例えば、顔の特徴)は現在バッチのデータであると仮定すると、この前にサーバにアップロードされた顔画像のデータは第1画像データ集合である。第1クラスタは、即ち該第1画像データ集合内の画像データをクラスタリングして得られたクラスタであり、採用するクラスタリングアルゴリズムは、K平均クラスタリングアルゴリズムであってもよく、なお、各クラスタはいずれも対応するクラスタ中心を有し、即ち第2クラスタ中心を有することが理解される。 The first image data set refers to an image data set clustered as a plurality of clusters prior to the current batch of image data. ) is the current batch of data, the facial image data previously uploaded to the server is the first image data set. The first cluster is a cluster obtained by clustering the image data in the first image data set, the clustering algorithm employed may be a K-means clustering algorithm, and each cluster is It is understood to have a corresponding cluster center, ie a second cluster center.

S22で、前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得し、前記Mは1以上の整数である。 At S22, divide the first cluster into M first sub-clusters, obtain a first cluster center corresponding to each first sub-cluster among the M first sub-clusters, wherein M is 1 is an integer equal to or greater than

図3Aは、本開示の実施例により提供される第1クラスタの連結グラフの模式図であり、図3Aに示すように、第1クラスタの連結グラフは、第1クラスタ301及び第2クラスタ中心302を含み、第1クラスタ301は、第1画像データ集合内の画像データをクラスタリングして得られたクラスタであり、第2クラスタ中心302は、各クラスタが有する対応するクラスタ中心である。 FIG. 3A is a schematic diagram of a first cluster connectivity graph provided by an embodiment of the present disclosure, as shown in FIG. , a first cluster 301 is a cluster obtained by clustering the image data in the first image data set, and a second cluster center 302 is a corresponding cluster center of each cluster.

図3Bは、本開示の実施例により提供される第1クラスタを第1サブクラスタに分割する模式図であり、図3Bに示すように、第1クラスタは第1サブクラスタに分割され、第1クラスタ301、第2クラスタ中心302、第1サブクラスタ303及び第1クラスタ中心304が含まれ、第1サブクラスタ303は、第1クラスタ301を分割して得られたサブクラスタであり、第1クラスタ中心304は、各第1サブクラスタのクラスタ中心である。 FIG. 3B is a schematic diagram of dividing a first cluster into first sub-clusters provided by an embodiment of the present disclosure, as shown in FIG. 3B, the first cluster is divided into first sub-clusters, A cluster 301, a second cluster center 302, a first sub-cluster 303 and a first cluster center 304 are included, the first sub-cluster 303 is a sub-cluster obtained by dividing the first cluster 301, and the first cluster Center 304 is the cluster center of each first sub-cluster.

第1サブクラスタは、即ち第1クラスタを分割して得られたサブクラスタであり、第1データ集合の各第1クラスタに対して、第1クラスタ内の画像データ間の類似度、即ち第7類似度を取得し、類似度行列を得て、続いて、第1クラスタ内の画像データを頂点として構成される連結グラフを取得し、図3Aに示すように、連結グラフ内の2つずつの頂点に対して、類似度行列からその類似度をサーチし、第1画像データ集合をクラスタリングする場合に使用される閾値はX、即ち第5閾値である場合、図3Bに示すように、類似度が該Xよりも大きい複数の画像データをより緊密な1つの第1サブクラスタとして分割することで、M個の第1サブクラスタを得て、図3Aに示される第1クラスタは、連結グラフの分析によりM個の第1サブクラスタに分割される。M個の第1サブクラスタを得た後、M個の第1サブクラスタのうちの各第1サブクラスタのクラスタ中心、即ち第1クラスタ中心を取得し、これにより、各第1クラスタは、1つのメインクラスタ中心とM個のサブクラスタ中心で表すことが可能となる。よりコンパクトなサブクラスタで第1クラスタを表すことは、新たに追加された画像データが組み込まれることにつれて単一のメインクラスタ中心の表現能力が低下するという問題の解決に役立つ。 The first sub-cluster is a sub-cluster obtained by dividing the first cluster. Obtain the similarity, obtain the similarity matrix, and then obtain the connection graph configured with the image data in the first cluster as the vertices, and as shown in FIG. For a vertex, search its similarity from the similarity matrix, and if the threshold used in clustering the first image data set is X, the fifth threshold, then the similarity is is larger than the X as one tighter first sub-cluster to obtain M first sub-clusters, and the first cluster shown in FIG. 3A is the connected graph The analysis divides into M first sub-clusters. After obtaining the M first sub-clusters, obtain the cluster center of each first sub-cluster of the M first sub-clusters, i.e. the first cluster center, whereby each first cluster has 1 It can be represented by one main cluster center and M sub-cluster centers. Representing the first cluster with more compact sub-clusters helps solve the problem of declining expressive power of a single main cluster center as newly added image data is incorporated.

S23で、第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする。 At S23, a second image data set is obtained and the first cluster center is used to merge the second image data set and the first cluster.

図4Aは、本開示の実施例により提供される第2画像データ集合のクラスタリング結果の模式図であり、図4Aに示すように、第2画像データ集合のクラスタリング結果は、第2画像データ集合401、第2クラスタ402、孤立画像データ403及び第3クラスタ中心404を含み、そのうち、第2画像データ集合401は、画像収集機器によってアップロードされた現在バッチの画像のデータ集合であり、第2クラスタ402は、第2画像データ集合内の画像データをクラスタリングして得られたクラスタであり、孤立画像データ403は、クラスタリングされていない孤立画像データであり、第3クラスタ中心404は、各第2クラスタが有するクラスタ中心である。 FIG. 4A is a schematic diagram of the clustering result of the second image data set provided by the embodiment of the present disclosure, as shown in FIG. , a second cluster 402, an isolated image data 403 and a third cluster center 404, of which the second image data set 401 is a data set of images of the current batch uploaded by the image acquisition device, and the second cluster 402 is a cluster obtained by clustering the image data in the second image data set, isolated image data 403 is isolated image data that is not clustered, and third cluster center 404 is the center of each second cluster. is the cluster center with

図4Bは、本開示の実施例により提供される孤立画像データを第1クラスタへとマージする模式図であり、図4Bに示すように、孤立画像データを第1クラスタへとマージし、第1クラスタA405及び孤立画像データ403が含まれ、第1クラスタA405は、第1クラスタから決定された第1クラスタAである。 FIG. 4B is a schematic diagram of merging isolated image data into a first cluster provided by an embodiment of the present disclosure, as shown in FIG. Cluster A 405 and isolated image data 403 are included, and the first cluster A 405 is the first cluster A determined from the first cluster.

図4Cは、本開示の実施例により提供される第2クラスタと第1クラスタとをマージする模式図であり、図4Cに示すように、第2クラスタと第1クラスタとをマージし、第1クラスタB406及び第2クラスタ407が含まれ、第1クラスタB406と該第2クラスタ407とは同じクラスタカテゴリに属する。 FIG. 4C is a schematic diagram of merging the second cluster and the first cluster provided by an embodiment of the present disclosure, as shown in FIG. 4C, merging the second cluster and the first cluster; A cluster B 406 and a second cluster 407 are included, the first cluster B 406 and the second cluster 407 belonging to the same cluster category.

第2画像データ集合、即ち画像収集機器によってアップロードされた現在バッチの画像のデータ集合は、画像収集機器によってアップロードされた画像から得られるものである。第1クラスタは、第1クラスタA、第1クラスタB及び第1クラスタCを含み、第2画像データ集合に複数の画像データが含まれる場合、複数の画像データをクラスタリングし、クラスタリング結果を得る。図4Aに示すように、該クラスタリング結果は、クラスタリングされていない孤立画像データ及びいくつかの第2クラスタを含み、いくつかの第2クラスタのうちの各第2クラスタは、いずれも対応するクラスタ中心、即ち第3クラスタ中心を有する。該孤立画像データに対して、第1クラスタから第1クラスタAを決定し、第1クラスタ中心を用いてそれを第1クラスタAへとマージし、つまり、図4Bに示すように、孤立画像データを第1クラスタAに組み込み、該第1クラスタAと該孤立画像データとは同じクラスタカテゴリに属する。各第2クラスタに対して、第1クラスタから第1クラスタBを決定し、第1クラスタ中心を用いてそれを第1クラスタBへとマージし、つまり、図4Cに示すように、クラスタとクラスタのマージを行い、該第1クラスタBと該第2クラスタとは同じクラスタカテゴリに属する。孤立画像データと類似し、第2画像データ集合内に単一の画像データのみ存在する場合、即ち、新たに追加された画像データが単一である場合、第2画像データ集合に対してクラスタリング操作を行う必要がなく、第1クラスタから第1クラスタCを決定し、第1クラスタ中心を用いてそれを第1クラスタCへとマージし、該第1クラスタCと該単一の画像データとは同じクラスタカテゴリに属する。 A second image dataset, ie, the dataset of the current batch of images uploaded by the image capture device, is derived from the images uploaded by the image capture device. The first cluster includes a first cluster A, a first cluster B and a first cluster C. When the second image data set includes a plurality of image data, the plurality of image data are clustered to obtain a clustering result. As shown in FIG. 4A, the clustering result includes unclustered isolated image data and a number of second clusters, each of the number of second clusters each having a corresponding cluster center , that is, has the third cluster center. For the isolated image data, determine the first cluster A from the first cluster, and merge it into the first cluster A using the first cluster center, i.e., as shown in FIG. 4B, the isolated image data is incorporated into the first cluster A, and the first cluster A and the isolated image data belong to the same cluster category. For each second cluster, determine the first cluster B from the first cluster and merge it into the first cluster B using the first cluster center, i.e. cluster and cluster , and the first cluster B and the second cluster belong to the same cluster category. Similar to the isolated image data, if there is only a single image data in the second image data set, i.e. if the newly added image data is single, a clustering operation is performed on the second image data set. , determine the first cluster C from the first cluster, merge it into the first cluster C using the first cluster center, and the first cluster C and the single image data are belong to the same cluster category.

可能な一実施形態において、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする前に、前記画像の増分クラスタリング方法は、
前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップをさらに含む。
In one possible embodiment, prior to merging the second image data set and the first clusters using the first cluster centers, the method for incremental clustering of images comprises:
Further comprising determining K first clusters from the first cluster using the second cluster center.

第2画像データ集合と第1クラスタとをマージする前に、第1クラスタの第2クラスタ中心を用いて全ての第1クラスタを初期選別し、全ての第1クラスタから、K個の第1クラスタを決定し、続いて、さらにK個のクラスタから、上記の第1クラスタA及び第1クラスタBを選択するか、又は第1クラスタCを選択する必要がある。説明すべきは、該K個の第1クラスタは、第2クラスタ中心を用いて全ての第1クラスタをソートした後のtop K個であってもよく、例えば、100個の第1クラスタをソートした後の先頭から20個であり、該K個の第1クラスタは、ソート後の全ての第1クラスタであってもよく、例えば、100個の第1クラスタをソートした後、依然として100個を選択する。第2クラスタ中心を用いて第1クラスタを初期選別することは、第2画像データ集合内の画像データのクラスタカテゴリにより近い第1クラスタ、例えば、上述した第1クラスタA、第1クラスタB及び第1クラスタCを決定するのに役立つ。 Before merging the second image data set and the first clusters, initially sort all the first clusters using the second cluster centers of the first clusters, and from all the first clusters, K first clusters and then select the above first cluster A and first cluster B or select the first cluster C from further K clusters. It should be explained that the K first clusters may be the top K after sorting all the first clusters using the second cluster center, for example sorting 100 first clusters and the K first clusters may be all first clusters after sorting, for example, after sorting 100 first clusters, still 100 select. Initial screening of the first clusters using the second cluster centers may result in the selection of the first clusters that are closer to the cluster category of the image data in the second image data set, e.g. It helps to determine one cluster C.

可能な一実施形態において、前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップは、
前記孤立画像データと前記第2クラスタ中心との第1類似度を取得し、前記第1類似度に基づき、前記第1クラスタを高い順にソートして第1クラスタ系列を得て、前記第1クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、前記第3クラスタ中心と前記第2クラスタ中心との第2類似度を取得し、前記第2類似度に基づき、前記第1クラスタを高い順にソートして第2クラスタ系列を得て、前記第2クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、を含むか、又は、前記単一の画像データと前記第2クラスタ中心との第3類似度を取得し、前記第3類似度に基づき、前記第1クラスタを高い順にソートして第3クラスタ系列を得て、前記第3クラスタ系列内の先頭からK個の第1クラスタを選択するステップを含む。
In one possible embodiment, determining K first clusters from said first cluster using said second cluster center comprises:
obtaining a first similarity between the isolated image data and the center of the second cluster, sorting the first clusters in ascending order based on the first similarity to obtain a first cluster sequence, and obtaining a first cluster sequence; selecting K first clusters from the beginning in the sequence; obtaining a second similarity between the third cluster center and the second cluster center; and based on the second similarity, the first cluster to obtain a second cluster series in descending order, and selecting K first clusters from the top in said second cluster series, or said single image data and said first Obtaining a third similarity with two cluster centers, sorting the first clusters in descending order based on the third similarity to obtain a third cluster sequence, and obtaining a third cluster sequence from the top K clusters in the third cluster sequence selecting the first cluster of .

第2画像データ集合をクラスタリングして孤立画像データ及び複数の第2クラスタを得た場合、孤立画像データに対して、各第1クラスタの第2クラスタ中心との第1類似度を計算し、第2クラスタに対して、その対応する第3クラスタ中心と各第1クラスタの第2クラスタ中心との第2類似度を計算し、それぞれ第1類似度、第2類似度に基づき、全ての第1クラスタを高い順にソートして対応する第1クラスタ系列及び第2クラスタ系列を得て、続いて、第1クラスタ系列及び第2クラスタ系列から、先頭からK個の第1クラスタをそれぞれ選択する。第2画像データ集合内に単一の画像データのみが含まれる場合、単一の画像データと各第1クラスタの第2クラスタ中心との第3類似度を計算し、第3類似度に基づき、全ての第1クラスタを高い順にソートして対応する第3クラスタ系列を得て、続いて、第3クラスタ系列内から先頭からK個の第1クラスタを選択する。 When the second image data set is clustered to obtain isolated image data and a plurality of second clusters, a first similarity between each first cluster and a second cluster center is calculated for the isolated image data; For two clusters, calculate the second similarity between the corresponding third cluster center and the second cluster center of each first cluster, and based on the first similarity and the second similarity, respectively, all the first The clusters are sorted in descending order to obtain the corresponding first cluster series and second cluster series, and then the first K first clusters are selected from the first cluster series and the second cluster series, respectively. if only a single image data is included in the second image data set, calculating a third similarity between the single image data and the second cluster center of each first cluster; based on the third similarity, All the first clusters are sorted in descending order to obtain the corresponding third cluster series, and then the top K first clusters are selected from within the third cluster series.

可能な一実施形態において、前記第1クラスタ中心を用いて前記孤立画像データと前記第1クラスタAとをマージするステップは、
前記孤立画像データと第1クラスタ中心Dとの第4類似度を取得するステップであって、前記第1クラスタ中心Dは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第4類似度が第1閾値よりも大きい前記第1クラスタ中心Dの第1数量を決定するステップと、前記K個の第1クラスタのうちの前記第1数量が最大である第1クラスタを前記第1クラスタAとして決定するステップと、前記孤立画像データと前記第1クラスタAとをマージするステップと、を含む。
In one possible embodiment, the step of merging the isolated image data and the first cluster A using the first cluster center comprises:
obtaining a fourth similarity between the isolated image data and a first cluster center D, wherein the first cluster center D is the first being the first cluster center corresponding to a sub-cluster; and for each first cluster of the K first clusters, within each of the first clusters, the fourth similarity being a first threshold; and determining the first cluster among the K first clusters with the largest first quantity as the first cluster A. and merging the isolated image data and the first cluster A.

孤立画像データのマージについて、選択された先頭からK個の第1クラスタから、第1クラスタAを決定する必要があり、説明すべきは、先頭からK個の第1クラスタは、ソート後の全ての第1クラスタであってもよい。まず、孤立画像データとK個の第1クラスタのうちの各第1クラスタの各第1サブクラスタのクラスタ中心(即ち第1クラスタ中心D)との類似度を計算し、第4類似度として決定し、続いて、K個の第1クラスタを分析し、各第1クラスタ内の、第4類似度が第1閾値よりも大きいことを満たす第1クラスタ中心Dの数量を決定し、第1数量として決定し、該第1数量が最大である第1クラスタを第1クラスタAとして決定し、例えば、K個の第1クラスタのうち、第1クラスタ1はこのような第1クラスタ中心Dを20個有し、第1クラスタ2はこのような第1クラスタ中心Dを18個有し、…、第1クラスタKはこのような第1クラスタ中心Dを15個有し、第1クラスタ1は数量が最も多いため、それを第1クラスタAとして決定し、つまり、孤立画像データにより近い第1サブクラスタは、第1クラスタAに最も多く存在し、孤立画像データを第1クラスタAへとマージすることで、クラスタリング結果をより正確にすることができる。 For the merging of isolated image data, it is necessary to determine the first cluster A from the top K first clusters selected, and it should be explained that the top K first clusters are all may be the first cluster of First, the similarity between the isolated image data and the cluster center of each first sub-cluster of each first cluster out of the K first clusters (that is, the first cluster center D) is calculated and determined as the fourth similarity. and then analyzing the K first clusters, determining the quantity of first cluster centers D in each first cluster that satisfies that the fourth similarity is greater than the first threshold, and determining the first quantity and the first cluster with the largest first quantity is determined as the first cluster A. For example, among the K first clusters, the first cluster 1 has such a first cluster center D as 20 , the first cluster 2 has 18 such first cluster centers D, . . . , the first cluster K has 15 such first cluster centers D, and the first cluster 1 has a quantity is the most abundant, so it is determined as the first cluster A, i.e. the first sub-cluster that is closer to the isolated image data is the most present in the first cluster A, and the isolated image data is merged into the first cluster A. This makes the clustering results more accurate.

可能な一実施形態において、前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするステップは、
前記第2クラスタをN個の第2サブクラスタに分割し、前記N個の第2サブクラスタのうちの各第2サブクラスタに対応する第4クラスタ中心を取得するステップであって、前記Nは1以上の整数であるステップと、前記第4クラスタ中心と第1クラスタ中心Eとの第5類似度を取得するステップであって、前記第1クラスタ中心Eは、K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第5類似度が第2閾値よりも大きい前記第1クラスタ中心Eの第2数量を決定するステップと、前記K個の第1クラスタのうちの前記第2数量が最大である第1クラスタを前記第1クラスタBとして決定するステップと、前記第2クラスタと前記第1クラスタBとをマージするステップと、を含む。
In one possible embodiment, the step of merging said second cluster and said first cluster B using said first cluster center comprises:
dividing the second cluster into N second sub-clusters and obtaining a fourth cluster center corresponding to each second sub-cluster of the N second sub-clusters, wherein N is being an integer greater than or equal to 1; and obtaining a fifth similarity between the fourth cluster center and the first cluster center E, wherein the first cluster center E is one of the K first clusters. and for each first cluster of the K first clusters, within each first cluster, determining a second quantity of said first cluster centers E for which said fifth similarity is greater than a second threshold; determining as the first cluster B; and merging the second cluster and the first cluster B;

クラスタとクラスタのマージについて、選択された先頭からK個の第1クラスタから、第1クラスタBを決定する必要があり、説明すべきは、先頭からK個の第1クラスタは、ソート後の全ての第1クラスタであってもよい。まず、第1クラスタを分割する方式で各第2クラスタをN個の第2サブクラスタに分割し、各第2サブクラスタのクラスタ中心、即ち第4クラスタ中心を計算し、続いて、第4クラスタ中心とK個の第1クラスタのうちの各第1クラスタの各第1サブクラスタのクラスタ中心(即ち第1クラスタ中心E)との類似度を計算し、第5類似度として決定し、さらに、K個の第1クラスタを分析し、各第1クラスタ内の、第5類似度が第2閾値よりも大きいことを満たす第1クラスタ中心Eの数量を決定し、第2数量として決定し、該第2数量が最大である第1クラスタを第1クラスタBとして決定し、例えば、K個の第1クラスタのうち、第1クラスタ1はこのような第1クラスタ中心Eを30個有し、第1クラスタ2はこのような第1クラスタ中心Eを15個有し、…、第1クラスタKはこのような第1クラスタ中心Eを40個有し、第1クラスタKは数量が最も多いため、それを第1クラスタBとして決定し、つまり、第2クラスタの第2サブクラスタにより近い第1サブクラスタは、第1クラスタBに最も多く存在し、第2クラスタを第1クラスタBへとマージすることで、クラスタリング結果をより正確にすることができる。 For the merging of clusters and clusters, it is necessary to determine the first cluster B from the top K first clusters selected, and it should be explained that the top K first clusters are all may be the first cluster of First, divide each second cluster into N second sub-clusters in the manner of dividing the first cluster, calculate the cluster center of each second sub-cluster, i.e. the fourth cluster center, and then the fourth cluster calculating the similarity between the center and the cluster center of each first sub-cluster of each first cluster out of the K first clusters (i.e., the first cluster center E), and determining it as a fifth similarity; analyzing the K first clusters, determining the quantity of the first cluster center E in each first cluster that satisfies that the fifth similarity is greater than the second threshold, and determining it as the second quantity; The first cluster with the largest second quantity is determined as the first cluster B, for example, among the K first clusters, the first cluster 1 has 30 such first cluster centers E; One cluster 2 has 15 such first cluster centers E, ..., the first cluster K has 40 such first cluster centers E, and the first cluster K has the largest number, so Determine it as the first cluster B, i.e. the first sub-cluster closer to the second sub-cluster of the second cluster is most present in the first cluster B, merge the second cluster into the first cluster B This makes the clustering results more accurate.

可能な一実施形態において、前記第1クラスタ中心を用いて前記単一の画像データと前記第1クラスタCとをマージするステップは、
前記単一の画像データと第1クラスタ中心Fとの第6類似度を取得するステップであって、前記第1クラスタ中心Fは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第6類似度が第3閾値よりも大きい前記第1クラスタ中心Fの第3数量を決定するステップと、前記K個の第1クラスタのうちの前記第3数量が最大である第1クラスタを前記第1クラスタCとして決定するステップと、前記単一の画像データと前記第1クラスタCとをマージするステップと、を含む。
In one possible embodiment, merging the single image data and the first cluster C using the first cluster center comprises:
obtaining a sixth similarity measure between the single image data and a first cluster center F, wherein the first cluster center F is for each first cluster of the K first clusters; being the first cluster center corresponding to a first sub-cluster; and for each first cluster of the K first clusters, within each first cluster, the sixth similarity being the first determining a third quantity of the first cluster center F that is greater than a threshold of 3; and determining the first cluster among the K first clusters with the largest third quantity as the first cluster C. and merging the single image data and the first cluster C.

単一の画像データのマージについて、選択された先頭からK個の第1クラスタから、第1クラスタCを決定する必要があり、説明すべきは、先頭からK個の第1クラスタは、ソート後の全ての第1クラスタであってもよい。まず、単一の画像データとK個の第1クラスタのうちの各第1クラスタの各第1サブクラスタのクラスタ中心(即ち第1クラスタ中心F)との類似度を計算し、第6類似度として決定し、続いて、K個の第1クラスタを分析し、各第1クラスタ内の、第6類似度が第3閾値よりも大きいことを満たす第1クラスタ中心Fの数量を決定し、第3数量として決定し、該第3数量が最大である第1クラスタを第1クラスタCとして決定し、つまり、単一の画像データにより近い第1サブクラスタは、第1クラスタCに最も多く存在し、単一の画像データを第1クラスタCへとマージすることで、クラスタリング結果をより正確にすることができる。 For the merging of single image data, from the top K first clusters selected, the first cluster C needs to be determined. may be all the first clusters of First, the similarity between the single image data and the cluster center of each first sub-cluster of each first cluster out of the K first clusters (that is, the first cluster center F) is calculated, and a sixth similarity and then analyzing the K first clusters to determine the number of first cluster centers F in each first cluster that satisfy the sixth similarity greater than the third threshold; 3 quantity, and the first cluster with the largest third quantity is determined as the first cluster C, that is, the first sub-cluster that is closer to the single image data is present in the first cluster C the most. , by merging the single image data into the first cluster C, the clustering result can be more accurate.

可能な一実施形態において、前記Mは第4閾値以下であり、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージした後、図5に示すように、前記画像の増分クラスタリング方法は以下のステップをさらに含む。
S51で、マージした第1クラスタをR個の第3サブクラスタに分割し、前記R個の第3サブクラスタのうちの各第3サブクラスタの第5クラスタ中心を取得し、前記Rは1以上の整数である。
S52で、前記Rが前記第4閾値以下である場合、前記R個の第3サブクラスタを残し、前記R個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新する。
S53で、前記Rが前記第4閾値よりも大きい場合、前記R個の第3サブクラスタのうちの各第3サブクラスタ内の画像データの第4数量を取得する。
S54で、前記第4数量に基づき、前記R個の第3サブクラスタを大きい順にソートして第4クラスタ系列を得て、前記第4クラスタ系列内の先頭からP個の第3サブクラスタを選択し、前記P個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新し、前記Pは前記第4閾値以下である。
In one possible embodiment, said M is less than or equal to a fourth threshold, and after merging said second image data set and said first cluster using said first cluster center, said The image incremental clustering method further includes the following steps.
In S51, divide the merged first cluster into R third sub-clusters, obtain a fifth cluster center of each third sub-cluster among the R third sub-clusters, wherein R is 1 or more; is an integer of
In S52, if the R is less than or equal to the fourth threshold, then the R third sub-clusters are retained, and the fifth cluster centers corresponding to the R third sub-clusters are used for the first cluster centers. to update.
At S53, if the R is greater than the fourth threshold, obtain a fourth quantity of image data in each third sub-cluster of the R third sub-clusters.
At S54, based on the fourth quantity, the R third sub-clusters are sorted in descending order to obtain a fourth cluster sequence, and P third sub-clusters are selected from the top in the fourth cluster sequence. and updating the first cluster center using the fifth cluster center corresponding to the P third sub-clusters, wherein P is less than or equal to the fourth threshold.

孤立画像データ及び第2クラスタをある第1クラスタへとマージした後、又は単一の画像データをある第1クラスタへとマージした後、元の第1クラスタに新しい画像データがクラスタリングされているため、元の第1クラスタのサブ中心を更新する必要がある。具体的には、第1クラスタを分割する方式で、マージした第1クラスタをR個の第3サブクラスタに分割し、各第3サブクラスタの第5クラスタ中心を計算し、Rに基づいて第3サブクラスタの数量を決定し、第3サブクラスタの数量が第4閾値以下、例えば、20個である場合、このR個の第3サブクラスタを残し、このR個の第3サブクラスタの第5クラスタ中心を、マージした後の第1クラスタの新しいサブ中心とし、元の第1クラスタ中心を更新し、マージした後の第1クラスタは、第2クラスタ中心及びR個の第5クラスタ中心で表される。 After merging the isolated image data and the second cluster into a first cluster, or after merging the single image data into a first cluster, the new image data is clustered in the original first cluster. , the subcenters of the original first cluster need to be updated. Specifically, in a method of splitting the first cluster, split the merged first cluster into R third sub-clusters, calculate the fifth cluster center of each third sub-cluster, and based on R Determine the quantity of 3 sub-clusters, and if the quantity of the 3rd sub-cluster is less than or equal to a fourth threshold, e.g., 20, then leave the R 3rd sub-clusters; Let the 5 cluster centers be the new sub-centers of the first cluster after merging, update the original first cluster center, and the first cluster after merging will be the second cluster center and R fifth cluster centers. expressed.

また、第3サブクラスタの数量が第4閾値よりも大きい場合、各第3サブクラスタ内の画像データの数量(即ち第4数量)に基づき、R個の第3サブクラスタを大きい順にソートして第4クラスタ系列を得て、先頭からP個の第3サブクラスタを選択して残し、例えば、先頭から20個の第3サブクラスタのみを残し、残りの第3サブクラスタを捨て、このP個の第3サブクラスタの第5クラスタ中心を、マージした後の第1クラスタの新しいサブ中心とし、元の第1クラスタ中心を更新し、マージした後の第1クラスタは、第2クラスタ中心及びP個の第5クラスタ中心で表される。クラスタをサブクラスタに分割するたびに、事前設定された数量のサブクラスタのみが残されるため、M及びNはいずれも第4閾値以下であり、このように、サブクラスタが多い場合、より多くの画像データを有するサブクラスタを残すことで、サブ中心の量を制限し、外れ値となる画像データの影響を除去することができ、これにより、維持を容易にするのみならず、長時間の大規模増分クラスタリングのシーンにおいても高いクラスタリング効果が得られることを可能にする、ことが理解される。 Also, if the quantity of the third sub-cluster is greater than the fourth threshold, sort the R third sub-clusters in descending order based on the quantity of image data in each third sub-cluster (i.e., the fourth quantity). Obtain a fourth cluster sequence, select and retain the top P third subclusters, for example, keep only the top 20 third subclusters, discard the remaining third subclusters, and select the P as the new sub-center of the first cluster after merging, update the original first cluster center, and the first cluster after merging is the second cluster center and P are represented by the fifth cluster centers. Each time a cluster is split into sub-clusters, only a preset number of sub-clusters are left, so both M and N are below the fourth threshold, thus the more sub-clusters, the more By leaving sub-clusters with image data, we can limit the amount of sub-centers and remove the effect of outlier image data, which not only makes maintenance easier, but also makes it easier to maintain large volumes over time. It is understood that it allows a high clustering effect to be obtained even in the scene of scale increment clustering.

以上から分かるように、本開示の実施例は、第1画像データ集合の第1クラスタを取得し、前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得し、前記Mが1以上の整数であり、第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする。このように、第1クラスタを複数の第1サブクラスタに分割し、第1サブクラスタの第1クラスタ中心に基づいて第1クラスタと第2画像データ集合とのマージを実現しており、複数の第1クラスタ中心(即ちサブ中心)を維持することで、画像データの増加に伴い、クラスタ中心(第1クラスタのクラスタ中心であり、即ちメイン中心である)が新たに追加された画像データの影響を受けてドリフトするという問題を解決し、これはクラスタリング結果をより正確にするのに役立ち、クラスタリング効果が向上する。また、クラスタリング過程で、第2画像データ集合は第1画像データ集合全体と類似度を計算する必要がなくなり、計算複雑性の軽減に役立つ。 As can be seen from the above, embodiments of the present disclosure obtain a first cluster of a first image data set, divide the first cluster into M first sub-clusters, and divide the M first sub-clusters into wherein M is an integer greater than or equal to 1, obtaining a second image data set, using the first cluster centers to obtain the second image Merge the dataset with the first cluster. Thus, the first cluster is divided into a plurality of first sub-clusters, and the merging of the first cluster and the second image data set is realized based on the first cluster center of the first sub-cluster, and the plurality of By maintaining the first cluster center (i.e. sub-center), with the increase of the image data, the cluster center (which is the cluster center of the first cluster, i.e. the main center) is newly added image data influence It solves the problem of drifting with , which helps to make the clustering result more accurate, and the clustering effect is improved. Also, in the clustering process, the second image data set does not need to calculate similarity to the entire first image data set, which helps reduce computational complexity.

図6を参照し、図6は、本開示の実施例により提供される他の画像の増分クラスタリング方法のフローチャートであり、図6に示すように、ステップS61からS66を含む。
S61で、第1画像データ集合の第1クラスタを取得する。
S62で、前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得し、前記Mは1以上の整数である。
S63で、第2画像データ集合を取得する。
S64で、前記第2画像データ集合に複数の画像データが含まれる場合、前記複数の画像データをクラスタリングし、孤立画像データ及び第2クラスタを得る。
S65で、前記第1クラスタ中心を用いて前記孤立画像データを第1クラスタAへとマージし、及び前記第1クラスタ中心を用いて前記第2クラスタと第1クラスタBとをマージする。
S66で、前記第2画像データ集合内に単一の画像データのみ存在する場合、前記第1クラスタ中心を用いて前記単一の画像データを第1クラスタCへとマージする。
Please refer to FIG. 6, which is a flowchart of another incremental clustering method for images provided by an embodiment of the present disclosure, including steps S61 to S66, as shown in FIG.
At S61, the first cluster of the first image data set is obtained.
At S62, divide the first cluster into M first sub-clusters, obtain a first cluster center corresponding to each first sub-cluster of the M first sub-clusters, where M is 1 is an integer equal to or greater than
At S63, a second image data set is obtained.
In S64, if the second image data set contains a plurality of image data, the plurality of image data are clustered to obtain isolated image data and a second cluster.
At S65, the isolated image data is merged into the first cluster A using the first cluster center, and the second cluster and the first cluster B are merged using the first cluster center.
At S66, if there is only a single image data in the second image data set, the single image data is merged into a first cluster C using the first cluster center.

上記ステップS61からS66の実施形態は、図2から図5に示される実施例において説明されており、且つ同じ又は類似の有益な効果が達成でき、ここでは詳しい説明を省略する。 The embodiments of steps S61 to S66 above have been described in the embodiments shown in FIGS. 2 to 5, and can achieve the same or similar beneficial effects, so detailed descriptions are omitted here.

顔認識技術は、深層学習研究の突破により絶えず発展しており、教師あり学習によって得られた顔認識モデルが絶えず突破を遂げたが、大量のラベル無しの顔データに接する際に、どのように正確かつ迅速に分類するかは、経済的及び社会的価値のある大きな課題となる。 Face recognition technology is constantly developing with breakthroughs in deep learning research, and face recognition models obtained by supervised learning have made breakthroughs. Accurate and rapid classification is a big issue with economic and social value.

実際のシーン、例えば、ソーシャルメディア、セキュリティ等の分野では、画像のデータ量が大量であることが多く、そして、データが毎日、インクリメンタルに生成されているため、インクリメンタルなクラスタリング方式はより大きな実用的価値を有する。インクリメンタルなクラスタリング方式は、クラスタリング過程においていくつかのクラスタを維持する必要があり、従来のクラスタリングアルゴリズムは、あるクラスタを単一のクラスタ中心で表し、例えば、クラスタ内の全てのサンプル特徴を平均化してクラスタ中心を得るが、異なるクラスタは疎性が異なり、平均化した単一のクラスタ中心を簡単に用いるような方式は、クラスタ内部の豊富なサンプル情報が失われやすく、増分クラスタリング過程の進行に伴い、クラスタリング効果は徐々に影響を受けるようになる。 In real scenes, such as social media, security, etc., the amount of image data is often large, and the data is generated incrementally every day, so incremental clustering methods are of greater practical use. have value. Incremental clustering schemes need to maintain several clusters in the clustering process, and conventional clustering algorithms represent a cluster by a single cluster center, e.g. Obtaining cluster centers, but different clusters have different sparseness, methods that simply use averaged single cluster centers tend to lose the rich sample information inside the clusters, and as the incremental clustering process progresses, , the clustering effect gradually becomes affected.

顔クラスタリングの実際の適用プロセスにおいて、異なる人物の顔の特徴は特徴空間データにおいて分布が異なり、内部のサンプルが比較的コンパクトであるクラスタもあれば、内部のサンプルが比較的疎らであるクラスタもある。クラスタを単一の中心で表すと、このようなクラスタの内部情報は失われることがあり、増分クラスタリングの進行に伴い、既存サンプルの影響は次第に低下し、新しいサンプルの追加に伴い、クラスタ中心がドリフトするリスクは高くなる。 In the actual application process of face clustering, the facial features of different people have different distributions in the feature space data, some clusters have relatively compact samples inside, and some clusters have relatively sparse samples inside. . When a cluster is represented by a single center, the internal information of such a cluster can be lost, and as incremental clustering progresses, the influence of existing samples tapers off, and as new samples are added, the cluster center becomes The risk of drifting increases.

本開示の実施例により提供される画像の増分クラスタリング方法は、以下のステップを含む。 An image incremental clustering method provided by an embodiment of the present disclosure includes the following steps.

S67で、クラスタサンプル間の類似度を計算し、1つのクラスタをいくつかのより緊密なサブクラスタに分割する。 At S67, the similarity between cluster samples is calculated and a cluster is divided into several tighter sub-clusters.

クラスタサンプル間の類似度を計算すると、類似度行列 Calculating the similarity between cluster samples yields a similarity matrix

Figure 2023502863000002
を得ることができ、クラスタリングに使用される閾値が
Figure 2023502863000002
and the threshold used for clustering is

Figure 2023502863000003
であると仮定すると、より高い閾値
Figure 2023502863000003
, the higher threshold

Figure 2023502863000004
を設定する必要があり、つまり、
Figure 2023502863000004
must be set, i.e.

Figure 2023502863000005
を満たすことで、1つのクラスタをいくつかのより緊密なサブクラスタに分割する。
Figure 2023502863000005
satisfies a cluster into several tighter sub-clusters.

連結グラフ分析に基づく方式でクラスタを分析することで、クラスタの多中心を得てもよい。クラスタの類似度行列を計算し、クラスタリングに使用される類似度閾値よりも高いものを使用することで、1つのクラスタをいくつかのより緊密なサブクラスタに分割することができ、このように、複数のサブクラスタ中心を得ることができ、さらにメイン中心であるクラスタの中心を加えて、クラスタを多中心で表す方式が構成される。 The multicenter of the cluster may be obtained by analyzing the cluster in a manner based on connectivity graph analysis. By computing the cluster similarity matrix and using a similarity threshold higher than the one used for clustering, one cluster can be split into several tighter sub-clusters, thus: Multiple sub-cluster centers can be obtained, and the center of the cluster, which is the main center, is added to form a multi-center representation of the cluster.

連結グラフ分析に基づくクラスタリングの多中心の設計分析によって複数のサブ中心を得るステップは以下を含む。まず、各クラスタに対して、より高い閾値(クラスタリング閾値よりも高くする必要がある)を設定することで、クラスタをいくつかのよりコンパクトな連結サブグラフに分割し、各連結サブグラフに対してサブ中心を計算し、それによって、複数のサブ中心を得ることができ、メイン中心は、依然としてクラスタ全体に対して従来の平均化方法を行うことで取得される。 Obtaining multiple sub-centers by multi-center design analysis of clustering based on connectivity graph analysis includes the following. First, for each cluster, by setting a higher threshold (which should be higher than the clustering threshold), we split the cluster into several more compact connected subgraphs, and sub-center , thereby obtaining multiple sub-centers, and the main center is still obtained by performing the conventional averaging method over the entire cluster.

S68で、増分クラスタリングのプロセスにおいて、新しいバッチのデータが追加されるたびに、新しいデータをクラスタリングし、いくつかのクラスタ及びクラスタリングされていない孤立サンプルを生成する。 At S68, in the process of incremental clustering, each time a new batch of data is added, the new data is clustered to generate a number of clusters and unclustered isolated samples.

S69で、生成されたいくつかのクラスタ及びクラスタリングされていない孤立サンプルと、ステップS67で得られた既存のクラスタリング結果とをクラスタリングマージする。 At S69, some generated clusters and unclustered isolated samples are clustered and merged with the existing clustering results obtained at step S67.

単一のメイン中心及び複数のサブ中心に基づく多中心の増分クラスタリング方法は、メイン中心及び複数のサブ中心を得た上で、増分クラスタリングのプロセスにおいて、まず、メイン中心及び新しい追加されたデータを用いてTopKをサーチして粗選別し、続いて、複数のサブ中心に基づき、さらに、新しいサンプル又は他のクラスタを組み込むか否かを決定する。 The multi-center incremental clustering method based on a single main center and multiple sub-centers obtains the main center and multiple sub-centers, and then, in the process of incremental clustering, first obtains the main center and the new added data Use TopK to search and coarsely filter, and then determine whether to incorporate new samples or other clusters based on multiple subcenters.

このクラスタリングマージのプロセスは、クラスタ間のマージ、及び単一の孤立サンプルのクラスタへの組み込みに関する。孤立サンプル点の組み込みについては、多中心の設計に基づき、まず、低い閾値を設定し、メイン中心でTopKをサーチし、続いて、サブ中心とサンプル点とはクラスタリング閾値 This clustering-merging process involves merging between clusters and incorporating single isolated samples into clusters. For the incorporation of isolated sample points, based on the multi-center design, we first set a low threshold and search TopK at the main center, then the sub-centers and sample points are clustered with the clustering threshold

Figure 2023502863000006
を満たすか否かを判断する。この場合、要件を満たす孤立サンプル点及びクラスタは複数存在し得、要件を満たすサブ中心数が最も多いクラスタを目標クラスタとする。クラスタ間のマージについては、同様に低い閾値でTopKを選別してサーチし、続いて、クラスタ間に閾値要件を満たすサブ中心があるか否かを判断し、要件を満たすクラスタが複数存在する場合、閾値要件を満たすサブ中心数が最も多いクラスタを目標クラスタとする。
Figure 2023502863000006
to determine whether or not it satisfies In this case, a plurality of isolated sample points and clusters satisfying the requirements may exist, and the cluster with the largest number of subcenters satisfying the requirements is set as the target cluster. For merging between clusters, we similarly filter and search TopK with a low threshold, and then determine whether there are subcenters between clusters that satisfy the threshold requirement, and if there are multiple clusters that satisfy the requirement, , the cluster with the largest number of subcenters satisfying the threshold requirement is taken as the target cluster.

多中心に基づく増分クラスタリングアーキテクチャの使用では、多中心メカニズムにおける単一のメイン中心及び複数のサブ中心を総合的に使用し、TopKの近隣でサーチする時に、メイン中心を用いて類似度を計算し、続いて、複数のサブ中心及びクラスタリング待ちの単一のサンプル又はクラスタを用いて類似度を計算し、これにより、単一のサンプルの組み込み又はクラスタのマージが完了したか否かを判別する。該アーキテクチャは、多中心で表す方式の利点を総合的に利用し、計算の複雑性をあまり増やさずに、クラスタリング効果を向上させることができる。 Using a multicenter-based incremental clustering architecture, we synthetically use a single main center and multiple subcenters in the multicenter mechanism, and use the main centers to compute similarities when searching in TopK neighborhoods. , then compute the similarity using multiple sub-centers and a single sample or cluster awaiting clustering, thereby determining whether the incorporation of a single sample or the merging of clusters is complete. The architecture can comprehensively exploit the advantages of the multi-center representation scheme and improve the clustering effect without significantly increasing the computational complexity.

クラスタのマージ又は新しいサンプルの追加の際に、サブ中心を更新する必要があり、計算を簡単化するために、サブ中心のクラスタリングとしてモデル化してもよく、これにより、サブ中心のマージと更新を実現する。また、サブ中心のデータが多すぎるのを防止するために、表されるサンプル点の数に基づいて各サブ中心を大きい順にソートしてもよく、例えば、最大先頭から20個のサブ中心を選択するようにしてもよい。 Upon merging clusters or adding new samples, the sub-centers need to be updated, and for simplicity of computation, may be modeled as sub-center clustering, which allows the merging and updating of sub-centers. come true. Also, to prevent too much data for a sub-center, each sub-center may be sorted in ascending order based on the number of sample points represented, e.g., select the 20 largest sub-centers You may make it

クラスタの多中心の増分更新方式を使用する。実際のシーンにおいて、データ量が増え続けるにつれて、サブ中心のマージと更新、及びサブ中心数の制限によって、サブ中心数の継続的な増加による過度な計算及び記憶の負担を防止することができるとともに、外れ値となる干渉点の影響を低減することができる。 Use cluster multi-centric incremental update strategy. In an actual scene, as the amount of data continues to increase, merging and updating sub-centers and limiting the number of sub-centers can prevent excessive computation and storage burdens caused by the continuous increase in the number of sub-centers. , the influence of outlier interference points can be reduced.

本開示の実施例では、大規模なデータに基づく顔クラスタリングの複雑な状況は十分に考慮されており、
まず、顔クラスタの多中心の構築方式が提供され、このような方式で単一のメイン中心及び複数のサブ中心による顔クラスタの記述を取得することができる。クラスタの記述は1つのクラスタ中心を維持し、クラスタ内部のいくつかのコンパクトなサブクラスタ情報が省略されているという問題、及び、データの継続的な増加につれて、単一のクラスタ中心が維持されることから、クラスタ中心は新しいサンプルによる影響を継続的に受け、中心がドリフトするリスクがあり、クラスタ内部の既存サンプルの影響が次第に弱くなり、中心の表現能力が低下するという問題は解決される。そして、単一のクラスタ中心であると、増分クラスタリングのプロセスにおいて、クラスタ内部のサンプル情報が失われ、増分クラスタリングのプロセスにおいて、通常、各クラスタに対して単一のクラスタ中心を維持し、データの継続的な追加につれて、クラスタ中心と、新しいサンプル又はクラスタとの類似度を計算することで、クラスタのマージ及び更新を行うとともに、クラスタ中心も継続的に更新され、データの継続的な追加につれて、単一の多中心であると、クラスタ内部の豊富なサンプル情報が失われ、ドリフトも発生しやすい結果、時間の経過とともにクラスタリング効果が影響されるという問題も解決される。
Embodiments of the present disclosure fully take into account the complexities of face clustering based on large-scale data,
First, a multi-center construction scheme for face clusters is provided, in which a description of a face cluster with a single main center and multiple sub-centers can be obtained. The problem is that the cluster description maintains one cluster center and some compact sub-cluster information inside the cluster is omitted, and as the data continues to grow, a single cluster center is maintained. This solves the problem that the cluster center is continuously influenced by new samples, there is a risk of the center drifting, and the influence of the existing samples inside the cluster gradually weakens, reducing the expressive power of the center. And with a single cluster center, in the process of incremental clustering, the sample information inside the cluster is lost, and in the process of incremental clustering, we usually maintain a single cluster center for each cluster, and the data Merge and update clusters by calculating the similarity between cluster centers and new samples or clusters as we continue to add, and cluster centers are also continuously updated, and as we continue to add data, A single multicenter also solves the problem that the rich sample information inside the cluster is lost and is also prone to drift, thus affecting the clustering effect over time.

次に、多中心に基づく増分クラスタリングアーキテクチャが提供され、該アーキテクチャによって、多中心で表して増分クラスタリングを行うことにおける計算複雑性とクラスタリング精度のバランスを良好にすることができ、単一のサンプルのクラスタへの組み込み、及びクラスタ間のマージを実現することができ、従来技術における多中心の設定は、大規模データのシーンにおいてクラスタリングの計算速度及び記憶に大きく影響するという問題が解決される。 Next, a multicenter-based incremental clustering architecture is provided, which can strike a good balance between computational complexity and clustering accuracy in performing incremental clustering in terms of multicenter, and for a single sample Embedding into clusters and merging between clusters can be realized, solving the problem that the multi-center setting in the prior art greatly affects the computational speed and storage of clustering in large-scale data scenes.

最後に、多中心の増分更新方式が提供され、該方法は、サブ中心間のマージと更新、及びサブ中心数の制限によって、長時間の大規模増分クラスタリングのシーンにおいても高いクラスタリング効果が得られることを可能にする。該方式により、多中心の数の増加を制限することができるとともに、外れ値の影響を除去することができ、従来技術における、顔写真の特徴が一般的に高次元を有するため、複数の多中心を維持すると、クラスタリング時にメモリ負荷が倍増するという問題、及びTopKの近隣でサーチする時に計算が余計に倍増するという問題は解決される。 Finally, a multi-center incremental update scheme is provided, which can achieve high clustering effect even in long-time large-scale incremental clustering scenes by merging and updating between sub-centers and limiting the number of sub-centers make it possible. The method can limit the increase in the number of multicenters and remove the influence of outliers. Preserving the center solves the problem of doubling the memory load when clustering, and the problem of an extra doubling of computation when searching in TopK neighborhoods.

図2又は図6に示される方法実施例の説明によれば、本開示の実施例は画像の増分クラスタリング装置をさらに提供し、図7を参照し、図7は、本開示の実施例により提供される画像の増分クラスタリング装置の構成図であり、図7に示すように、この画像の増分クラスタリング装置は、
第1画像データ集合の第1クラスタを取得するように構成される第1取得モジュール71と、
前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得するように構成される第1分割モジュール72であって、前記Mは1以上の整数である第1分割モジュール72と、
第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするように構成されるマージモジュール73と、を含む。
According to the description of the method embodiment shown in FIG. 2 or FIG. 6, the embodiment of the present disclosure further provides an apparatus for incremental clustering of images, see FIG. 7, which is provided by the embodiment of the present disclosure. Fig. 7 is a block diagram of an incremental clustering device for images to be processed, and as shown in Fig. 7, the incremental clustering device for images is:
a first acquisition module 71 configured to acquire a first cluster of the first image data set;
a first division configured to divide the first cluster into M first sub-clusters and obtain a first cluster center corresponding to each first sub-cluster of the M first sub-clusters; a first division module 72, wherein M is an integer greater than or equal to 1;
a merge module 73 configured to obtain a second image data set and merge the second image data set and the first cluster using the first cluster center.

可能な一実施形態において、前記第1クラスタは第1クラスタA、第1クラスタB及び第1クラスタCを含み、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする点で、マージモジュール73は、前記第2画像データ集合に複数の画像データが含まれる場合、前記複数の画像データをクラスタリングし、孤立画像データ及び第2クラスタを得て、前記第1クラスタ中心を用いて前記孤立画像データを前記第1クラスタAへとマージし、前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージし、前記第2画像データ集合内に単一の画像データのみ存在する場合、前記第1クラスタ中心を用いて前記単一の画像データを前記第1クラスタCへとマージするように構成される。 In one possible embodiment, said first cluster comprises a first cluster A, a first cluster B and a first cluster C, and said first cluster center is used to divide said second image data set and said first cluster. In terms of merging, the merging module 73 clusters the plurality of image data, if the second image data set includes a plurality of image data, to obtain isolated image data and a second cluster, the first cluster merging the isolated image data into the first cluster A using the center; merging the second cluster and the first cluster B using the first cluster center; into the second image data set It is configured to merge the single image data into the first cluster C using the first cluster center if only a single image data exists.

可能な一実施形態において、前記第1クラスタは対応する第2クラスタ中心を有し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする前に、マージモジュール73は、前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するようにさらに構成される。 In one possible embodiment, the first cluster has a corresponding second cluster center, and before using the first cluster center to merge the second image data set and the first cluster, a merge module 73 is further configured to determine K first clusters from said first cluster using said second cluster center.

可能な一実施形態において、前記第2クラスタは対応する第3クラスタ中心を有し、前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定する点で、マージモジュール73は、前記孤立画像データと前記第2クラスタ中心との第1類似度を取得し、前記第1類似度に基づき、前記第1クラスタを高い順にソートして第1クラスタ系列を得て、前記第1クラスタ系列内の先頭からK個の第1クラスタを選択し、前記第3クラスタ中心と前記第2クラスタ中心との第2類似度を取得し、前記第2類似度に基づき、前記第1クラスタを高い順にソートして第2クラスタ系列を得て、前記第2クラスタ系列内の先頭からK個の第1クラスタを選択するように構成されるか、又は、前記単一の画像データと前記第2クラスタ中心との第3類似度を取得し、前記第3類似度に基づき、前記第1クラスタを高い順にソートして第3クラスタ系列を得て、前記第3クラスタ系列内の先頭からK個の第1クラスタを選択するように構成される。 In one possible embodiment, the merge module, in that said second cluster has a corresponding third cluster center, and said second cluster center is used to determine K first clusters from said first cluster. 73 obtains a first similarity between the isolated image data and the center of the second cluster, sorts the first clusters in descending order based on the first similarity, and obtains a first cluster sequence; Select K first clusters from the top in the first cluster series, obtain a second similarity between the third cluster center and the second cluster center, and obtain the first similarity based on the second similarity sorting the clusters in ascending order to obtain a second cluster sequence, and selecting the top K first clusters in said second cluster sequence; or said single image data and said Obtaining a third similarity with the second cluster center, sorting the first cluster in ascending order based on the third similarity to obtain a third cluster sequence, K from the top in the third cluster sequence first clusters.

可能な一実施形態において、前記第1クラスタ中心を用いて前記孤立画像データと前記第1クラスタAとをマージする点で、マージモジュール73は、前記孤立画像データと第1クラスタ中心Dとの第4類似度を取得し、前記第1クラスタ中心Dは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であり、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第4類似度が第1閾値よりも大きい前記第1クラスタ中心Dの第1数量を決定し、前記K個の第1クラスタのうちの前記第1数量が最大である第1クラスタを前記第1クラスタAとして決定し、前記孤立画像データと前記第1クラスタAとをマージするように構成される。 In one possible embodiment, merging module 73 merges the isolated image data with the first cluster center D in that it uses the first cluster center to merge the isolated image data with the first cluster center D. obtaining 4 similarities, wherein the first cluster center D is the first cluster center corresponding to each first sub-cluster of each first cluster of the K first clusters; determining, for each first cluster of the first clusters, a first quantity of said first cluster centers D within said each first cluster for which said fourth similarity is greater than a first threshold; The first cluster having the largest first quantity among the first clusters is determined as the first cluster A, and the isolated image data and the first cluster A are merged.

可能な一実施形態において、前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージする点で、マージモジュール73は、前記第2クラスタをN個の第2サブクラスタに分割し、前記N個の第2サブクラスタのうちの各第2サブクラスタに対応する第4クラスタ中心を取得し、前記Nは1以上の整数であり、前記第4クラスタ中心と第1クラスタ中心Eとの第5類似度を取得し、前記第1クラスタ中心Eは、K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であり、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第5類似度が第2閾値よりも大きい前記第1クラスタ中心Eの第2数量を決定し、前記K個の第1クラスタのうちの前記第2数量が最大である第1クラスタを前記第1クラスタBとして決定し、前記第2クラスタと前記第1クラスタBとをマージするように構成される。 In one possible embodiment, in merging the second cluster and the first cluster B using the first cluster center, merge module 73 divides the second cluster into N second sub-clusters. dividing to obtain a fourth cluster center corresponding to each second sub-cluster of the N second sub-clusters, wherein N is an integer greater than or equal to 1, the fourth cluster center and the first cluster center; obtain a fifth similarity measure with E, wherein the first cluster center E is the first cluster center corresponding to each first sub-cluster of each first cluster of the K first clusters; for each first cluster of K first clusters, determine a second quantity of said first cluster centers E within said each first cluster for which said fifth similarity is greater than a second threshold; , determining the first cluster having the largest second quantity among the K first clusters as the first cluster B, and merging the second cluster and the first cluster B. be.

可能な一実施形態において、前記第1クラスタ中心を用いて前記単一の画像データと前記第1クラスタCとをマージする点で、マージモジュール73は、前記単一の画像データと第1クラスタ中心Fとの第6類似度を取得し、前記第1クラスタ中心Fは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であり、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第6類似度が第3閾値よりも大きい前記第1クラスタ中心Fの第3数量を決定し、前記K個の第1クラスタのうちの前記第3数量が最大である第1クラスタを前記第1クラスタCとして決定し、そして前記単一の画像データと前記第1クラスタCとをマージするように構成される。 In one possible embodiment, in merging the single image data and the first cluster C using the first cluster center, the merge module 73 merges the single image data and the first cluster center obtaining a sixth similarity measure with F, wherein the first cluster center F is the first cluster center corresponding to each first sub-cluster of each first cluster of the K first clusters; For each first cluster of the K first clusters, determine a third quantity of the first cluster centers F within each first cluster for which the sixth similarity is greater than a third threshold. and determining the first cluster among the K first clusters having the largest third quantity as the first cluster C, and merging the single image data and the first cluster C. configured as

可能な一実施形態において、前記Mは第4閾値以下であり、第1分割モジュール72は、マージした第1クラスタをR個の第3サブクラスタに分割し、前記R個の第3サブクラスタのうちの各第3サブクラスタの第5クラスタ中心を取得し、前記Rは1以上の整数であり、前記Rが前記第4閾値以下である場合、前記R個の第3サブクラスタを残し、前記R個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新し、前記Rが前記第4閾値よりも大きい場合、前記R個の第3サブクラスタのうちの各第3サブクラスタ内の画像データの第4数量を取得し、前記第4数量に基づき、前記R個の第3サブクラスタを大きい順にソートして第4クラスタ系列を得て、前記第4クラスタ系列内の先頭からP個の第3サブクラスタを選択し、前記P個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新し、前記Pは前記第4閾値以下であるようにさらに構成される。 In one possible embodiment, the M is less than or equal to a fourth threshold, and the first splitting module 72 splits the merged first cluster into R third sub-clusters, and dividing the R third sub-clusters into Obtaining a fifth cluster center of each third sub-cluster of said updating the first cluster center with the fifth cluster center corresponding to R third sub-clusters, and if the R is greater than the fourth threshold, one of the R third sub-clusters; obtaining a fourth quantity of image data in each third sub-cluster, sorting the R third sub-clusters according to the fourth quantity in descending order to obtain a fourth cluster sequence; selecting P third subclusters from the top in the sequence, updating the first cluster center using the fifth cluster center corresponding to the P third subclusters, wherein the P is the fourth It is further configured to be less than or equal to the threshold.

可能な一実施形態において、前記第1クラスタをM個の第1サブクラスタに分割する点で、第1分割モジュール72は、前記第1クラスタ内の画像データ間の第7類似度を取得し、類似度行列を得て、前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するように構成される。 In one possible embodiment, in terms of dividing the first cluster into M first sub-clusters, the first division module 72 obtains a seventh similarity measure between image data within the first clusters; It is configured to obtain a similarity matrix and divide the first cluster into the M first sub-clusters based on the similarity matrix.

可能な一実施形態において、前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割する点で、第1分割モジュール72は、前記第1クラスタ内の画像データを頂点として構成される連結グラフを取得し、前記類似度行列からサーチして前記連結グラフの頂点間の前記第7類似度を得て、前記第7類似度が第5閾値よりも大きい複数の頂点を1つの第1サブクラスタとして分割し、前記M個の第1サブクラスタを得るように構成される。 In one possible embodiment, in dividing the first cluster into the M first sub-clusters based on the similarity matrix, the first division module 72 divides the image data in the first cluster into vertices and search from the similarity matrix to obtain the seventh similarity between vertices of the connected graph, and select the vertices where the seventh similarity is greater than a fifth threshold. partitioning as one first sub-cluster to obtain said M first sub-clusters.

本開示の一実施例によれば、図7に示される画像の増分クラスタリング装置における各ユニットの各々又は全部は、1つ又は複数の他のユニットとして統合して構成されてもよく、あるいは、そのうちのある(いくつかの)ユニットは、さらに機能的により小さな複数のユニットに分割して構成されてもよく、どちらも同じ操作が実現可能であり、本開示の実施例の技術的効果の実現に影響しない。上記ユニットは論理機能に基づいて分けられるものであり、実際の適用において、1つのユニットの機能は複数のユニットによって実現されてもよく、又は複数のユニットの機能は1つのユニットによって実現されてもよい。本開示の他の実施例では、画像に基づく増分クラスタリング装置は、他のユニットを含んでもよく、実際の適用において、これらの機能は、他のユニットの協働によって実現されてもよく、複数のユニットの協働によって実現されてもよい。 According to one embodiment of the present disclosure, each or all of the units in the incremental image clustering apparatus shown in FIG. 7 may be configured integrally as one or more other units, or A certain (several) unit may be further divided into a plurality of functionally smaller units, both of which are capable of realizing the same operation, and to achieve the technical effects of the embodiments of the present disclosure. It does not affect. The above units are divided according to their logical functions. In practical application, the function of one unit can be implemented by multiple units, or the function of multiple units can be implemented by one unit. good. In other embodiments of the present disclosure, the image-based incremental clustering device may include other units, and in actual application, these functions may be realized by cooperation of other units, and a plurality of It may be realized by cooperation of units.

本開示の別の実施例によれば、中央処理ユニット(CPU)、ランダムアクセス記憶媒体(RAM)、読み取り専用記憶媒体(ROM)等の処理素子及び記憶素子を含むコンピュータのような汎用コンピューティングデバイス上で、図2又は図6に示される対応する方法に係る各ステップを実行可能なコンピュータプログラム(プログラムコードを含む)を実行することで、図7に示される画像の増分クラスタリング装置を構成し、本開示の実施例の画像の増分クラスタリング方法を実現することができる。前記コンピュータプログラムは、例えば、コンピュータ可読記録媒体に記録され、コンピュータ可読記録媒体を介して上記コンピューティングデバイスにロードされ、コンピューティングデバイス内で実行されることが可能である。 According to another embodiment of the present disclosure, a general purpose computing device, such as a computer, including processing and memory elements such as a central processing unit (CPU), random access storage medium (RAM), read only storage medium (ROM), etc. Constructing an incremental image clustering device shown in FIG. 7 by executing a computer program (including program code) capable of executing the steps of the corresponding method shown in FIG. 2 or FIG. 6 above, The incremental clustering method for images of the embodiments of the present disclosure can be implemented. The computer program can be recorded in a computer-readable recording medium, loaded into the computing device via the computer-readable recording medium, and executed in the computing device, for example.

上記方法実施例及び装置実施例の説明によれば、本開示の実施例は電子機器をさらに提供する。図8を参照し、該電子機器は、少なくともプロセッサ81、入力デバイス82、出力デバイス83及びコンピュータ記憶媒体84を含む。電子機器内のプロセッサ81、入力デバイス82、出力デバイス83及びコンピュータ記憶媒体84はバス又は他の方式を介して接続されてもよい。 According to the above method embodiments and apparatus embodiments, embodiments of the present disclosure further provide an electronic device. Referring to FIG. 8, the electronic device includes at least a processor 81 , an input device 82 , an output device 83 and a computer storage medium 84 . The processor 81, input device 82, output device 83 and computer storage medium 84 within the electronic device may be connected via a bus or other manner.

コンピュータ記憶媒体84は電子機器のメモリに記憶されてもよく、前記コンピュータ記憶媒体84は、プログラム命令を含むコンピュータプログラムを記憶するように構成され、前記プロセッサ81は、前記コンピュータ記憶媒体84に記憶されているプログラム命令を実行するように構成される。プロセッサ81(CPU(Central Processing Unit:中央処理ユニット)とも呼ばれる)は、電子機器のコンピューティングコア及び制御コアであり、1つ又は複数の命令を実現するのに適し、1つ又は複数の命令をロードして実行して対応する方法フロー又は対応する機能を実現するのに適する。 Computer storage medium 84 may be stored in a memory of an electronic device, said computer storage medium 84 being configured to store a computer program including program instructions, said processor 81 being stored in said computer storage medium 84. configured to execute program instructions that A processor 81 (also called a CPU (Central Processing Unit)) is a computing core and control core of an electronic device, suitable for implementing one or more instructions, and executing one or more instructions. It is suitable for loading and executing to implement corresponding method flows or corresponding functions.

一実施例では、本開示の実施例により提供される電子機器のプロセッサ81は、以下の一連の画像の増分クラスタリング処理を行うように構成されてもよい。 In one embodiment, processor 81 of an electronic device provided by embodiments of the present disclosure may be configured to perform the following incremental clustering process for a series of images.

第1画像データ集合の第1クラスタを取得し、
前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得し、前記Mは1以上の整数であり、第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする。
obtaining a first cluster of the first image data set;
dividing the first cluster into M first sub-clusters, obtaining a first cluster center corresponding to each first sub-cluster among the M first sub-clusters, wherein M is an integer greater than or equal to 1; and obtaining a second image data set and merging the second image data set and the first cluster using the first cluster center.

さらに別の実施例では、前記第1クラスタは第1クラスタA、第1クラスタB及び第1クラスタCを含み、プロセッサ81は、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするステップを実行し、前記第2画像データ集合に複数の画像データが含まれる場合、前記複数の画像データをクラスタリングし、孤立画像データ及び第2クラスタを得るステップと、前記第1クラスタ中心を用いて前記孤立画像データを前記第1クラスタAへとマージし、前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするステップと、前記第2画像データ集合内に単一の画像データのみ存在する場合、前記第1クラスタ中心を用いて前記単一の画像データを前記第1クラスタCへとマージするステップと、を含む。 In yet another embodiment, said first clusters include a first cluster A, a first cluster B and a first cluster C, and processor 81 uses said first cluster centers to determine said second image data set and said first cluster. performing the step of merging the image data with one cluster, and if the second image data set includes a plurality of image data, clustering the plurality of image data to obtain isolated image data and a second cluster; merging the isolated image data into the first cluster A using one cluster center and merging the second cluster and the first cluster B using the first cluster center; merging the single image data into the first cluster C using the first cluster center if there is only a single image data in the dataset.

さらに別の実施例では、前記第1クラスタは対応する第2クラスタ中心を有し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする前に、プロセッサ81は、前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップを実行するようにさらに構成される。 In yet another embodiment, said first cluster has a corresponding second cluster center, and prior to merging said second image data set and said first cluster using said first cluster center, processor 81 is further configured to perform the step of determining K first clusters from said first cluster using said second cluster center.

さらに別の実施例では、前記第2クラスタは対応する第3クラスタ中心を有し、プロセッサ81は、前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップを実行し、前記前記孤立画像データと前記第2クラスタ中心との第1類似度を取得し、前記第1類似度に基づき、前記第1クラスタを高い順にソートして第1クラスタ系列を得て、前記第1クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、前記第3クラスタ中心と前記第2クラスタ中心との第2類似度を取得し、前記第2類似度に基づき、前記第1クラスタを高い順にソートして第2クラスタ系列を得て、前記第2クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、を含むか、又は、前記単一の画像データと前記第2クラスタ中心との第3類似度を取得し、前記第3類似度に基づき、前記第1クラスタを高い順にソートして第3クラスタ系列を得て、前記第3クラスタ系列内の先頭からK個の第1クラスタを選択するステップを含む。 In yet another embodiment, said second cluster has a corresponding third cluster center, and processor 81 determines K first clusters from said first cluster using said second cluster center. obtaining a first similarity between the isolated image data and the center of the second cluster, and sorting the first clusters in ascending order based on the first similarity to obtain a first cluster series; , selecting K first clusters from the top in the first cluster sequence; obtaining a second similarity between the third cluster center and the second cluster center; and based on the second similarity, , sorting the first clusters in ascending order to obtain a second cluster sequence, and selecting the top K first clusters in the second cluster sequence; or obtaining a third similarity between the image data and the center of the second cluster, sorting the first clusters in descending order based on the third similarity to obtain a third cluster sequence, and within the third cluster sequence selecting the K first clusters from the beginning of .

さらに別の実施例では、プロセッサ81は、前記第1クラスタ中心を用いて前記孤立画像データと前記第1クラスタAとをマージするステップを実行し、前記孤立画像データと第1クラスタ中心Dとの第4類似度を取得するステップであって、前記第1クラスタ中心Dは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第4類似度が第1閾値よりも大きい前記第1クラスタ中心Dの第1数量を決定するステップと、前記K個の第1クラスタのうちの前記第1数量が最大である第1クラスタを前記第1クラスタAとして決定するステップと、前記孤立画像データと前記第1クラスタAとをマージするステップと、を含む。 In yet another embodiment, processor 81 performs the step of merging said isolated image data with said first cluster A using said first cluster center, and merging said isolated image data with said first cluster center D. obtaining a fourth similarity measure, wherein the first cluster center D is the first cluster center corresponding to each first sub-cluster of each first cluster among the K first clusters; and for each first cluster of said K first clusters, the first of said first cluster centers D within said each first cluster for which said fourth similarity is greater than a first threshold. determining a quantity; determining a first cluster having the largest first quantity among the K first clusters as the first cluster A; and merging.

さらに別の実施例では、プロセッサ81は、前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするステップを実行し、前記第2クラスタをN個の第2サブクラスタに分割し、前記N個の第2サブクラスタのうちの各第2サブクラスタに対応する第4クラスタ中心を取得するステップであって、前記Nは1以上の整数であるステップと、前記第4クラスタ中心と第1クラスタ中心Eとの第5類似度を取得するステップであって、前記第1クラスタ中心Eは、K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第5類似度が第2閾値よりも大きい前記第1クラスタ中心Eの第2数量を決定するステップと、前記K個の第1クラスタのうちの前記第2数量が最大である第1クラスタを前記第1クラスタBとして決定するステップと、前記第2クラスタと前記第1クラスタBとをマージするステップと、を含む。 In yet another embodiment, processor 81 performs the step of merging said second cluster and said first cluster B using said first cluster center, dividing said second cluster into N second sub-clusters. and obtaining a fourth cluster center corresponding to each second sub-cluster of the N second sub-clusters, wherein N is an integer equal to or greater than 1; obtaining a fifth similarity between a cluster center and a first cluster center E, wherein the first cluster center E corresponds to each first sub-cluster of each first cluster among the K first clusters; and for each first cluster of the K first clusters, the fifth similarity within each first cluster is greater than a second threshold. determining a second quantity of the first cluster center E; determining a first cluster having the largest second quantity among the K first clusters as the first cluster B; merging a second cluster with said first cluster B;

さらに別の実施例では、プロセッサ81は、前記第1クラスタ中心を用いて前記単一の画像データと前記第1クラスタCとをマージするステップを実行し、前記単一の画像データと第1クラスタ中心Fとの第6類似度を取得するステップであって、前記第1クラスタ中心Fは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第6類似度が第3閾値よりも大きい前記第1クラスタ中心Fの第3数量を決定するステップと、前記K個の第1クラスタのうちの前記第3数量が最大である第1クラスタを前記第1クラスタCとして決定するステップと、前記単一の画像データと前記第1クラスタCとをマージするステップと、を含む。 In yet another embodiment, processor 81 performs the step of merging said single image data and said first cluster C using said first cluster center, said single image data and said first cluster obtaining a sixth similarity measure with a center F, wherein said first cluster center F corresponds to each first sub-cluster of each first cluster of said K first clusters; and for each first cluster of said K first clusters, said first cluster center within said each first cluster for which said sixth similarity is greater than a third threshold. determining a third quantity of F; determining a first cluster among the K first clusters having the largest third quantity as the first cluster C; and the single image data and said first cluster C.

さらに別の実施例では、前記Mは第4閾値以下であり、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージした後、プロセッサ81は、マージした第1クラスタをR個の第3サブクラスタに分割し、前記R個の第3サブクラスタのうちの各第3サブクラスタの第5クラスタ中心を取得するステップであって、前記Rは1以上の整数であるステップと、前記Rが前記第4閾値以下である場合、前記R個の第3サブクラスタを残し、前記R個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するステップと、前記Rが前記第4閾値よりも大きい場合、前記R個の第3サブクラスタのうちの各第3サブクラスタ内の画像データの第4数量を取得するステップと、前記第4数量に基づき、前記R個の第3サブクラスタを大きい順にソートして第4クラスタ系列を得て、前記第4クラスタ系列内の先頭からP個の第3サブクラスタを選択し、前記P個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するステップであって、前記Pは前記第4閾値以下であるステップと、を実行するようにさらに構成される。 In yet another embodiment, said M is less than or equal to a fourth threshold, and after merging said second image data set and said first cluster using said first cluster center, processor 81 calculates the merged first cluster center dividing a cluster into R third sub-clusters and obtaining a fifth cluster center of each third sub-cluster among the R third sub-clusters, wherein R is an integer greater than or equal to 1; a step, if said R is less than or equal to said fourth threshold, then said first cluster using said fifth cluster center corresponding to said R third sub-clusters, leaving said R third sub-clusters; updating the center; obtaining a fourth quantity of image data in each third sub-cluster of the R third sub-clusters if the R is greater than the fourth threshold; sorting the R third sub-clusters in descending order to obtain a fourth cluster sequence according to a fourth quantity; selecting the first P third sub-clusters in the fourth cluster sequence; updating the first cluster center with the fifth cluster center corresponding to the third sub-cluster, wherein the P is less than or equal to the fourth threshold be done.

さらに別の実施例では、前記第1クラスタは前記第1画像データ集合内の画像データをクラスタリングすることで得られるものであり、プロセッサ81は、前記第1クラスタをM個の第1サブクラスタに分割するステップを実行し、前記第1クラスタ内の画像データ間の第7類似度を取得し、類似度行列を得るステップと、前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するステップと、を含む。 In yet another embodiment, said first cluster is obtained by clustering image data in said first image data set, and processor 81 divides said first cluster into M first sub-clusters. performing a dividing step to obtain a seventh similarity between image data in the first cluster to obtain a similarity matrix; dividing the first cluster into the M th clusters based on the similarity matrix and dividing into one sub-cluster.

さらに別の実施例では、プロセッサ81は、前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するステップを実行し、前記第1クラスタ内の画像データを頂点として構成される連結グラフを取得するステップと、前記類似度行列からサーチして前記連結グラフの頂点間の前記第7類似度を得るステップと、前記第7類似度が第5閾値よりも大きい複数の頂点を1つの第1サブクラスタとして分割し、前記M個の第1サブクラスタを得るステップと、を含む。 In yet another embodiment, processor 81 performs the step of dividing said first cluster into said M first sub-clusters based on said similarity matrix, with image data in said first cluster as vertices obtaining a constructed connectivity graph; searching from the similarity matrix to obtain the seventh similarity between vertices of the connectivity graph; and splitting the vertices as one first sub-cluster to obtain the M first sub-clusters.

例示的には、上記電子機器はコンピュータ、コンピュータホスト、サーバ、クラウドサーバ、サーバクラスタ等であってもよく、電子機器は、プロセッサ81、入力デバイス82、出力デバイス83及びコンピュータ記憶媒体84を含むが、これらに限定されなく、入力デバイス82はキーボード、タッチスクリーン等であってもよく、出力デバイス83はスピーカー、ディスプレイ、無線周波数送信機等であってもよい。当業者であれば、前記模式図は電子機器の例示であり得、電子機器を限定するものではなく、図面より多く又はより少ない部材を含んでもよく、又は何らかの部材、もしくは異なる部材を組み合わせてもよいことが理解される。 Illustratively, the electronic device may be a computer, computer host, server, cloud server, server cluster, etc., although the electronic device includes a processor 81, an input device 82, an output device 83 and a computer storage medium 84. , without limitation, input device 82 may be a keyboard, touch screen, etc., and output device 83 may be a speaker, display, radio frequency transmitter, or the like. Those skilled in the art will appreciate that the schematic diagram may be an illustration of an electronic device, not a limitation of the electronic device, and may include more or fewer members than the drawings, or may combine any or different members. Good thing is understood.

説明すべきは、電子機器のプロセッサ81がコンピュータプログラムを実行すると、上述した画像の増分クラスタリング方法のステップは実現されるため、上述した画像の増分クラスタリング方法の実施例は、いずれも該電子機器に適用され、且ついずれも同じ又は類似の有益な効果を達成できる。 It should be noted that the steps of the above-described incremental image clustering method are realized when the processor 81 of the electronic device executes the computer program, so that any of the above-described incremental image clustering method embodiments can be applied to the electronic device. applied and either can achieve the same or similar beneficial effects.

本開示の実施例はコンピュータプログラム製品をさらに提供し、該コンピュータプログラム製品は、プロセッサにより実行されと、前記実施例のいずれか1つの方法を実現する。該コンピュータプログラム製品はハードウェア、ソフトウェア又はそれらの組み合わせにより実現可能である。本開示のいくつかの実施例では、前記コンピュータプログラム製品はコンピュータ記憶媒体として実現され、本開示の別の実施例では、コンピュータプログラム製品は、例えばソフトウェア開発キット(SDK:Software Development Kit)等のソフトウェア製品として実現される。 An embodiment of the present disclosure further provides a computer program product, which, when executed by a processor, implements the method of any one of the preceding embodiments. The computer program product can be implemented in hardware, software or a combination thereof. In some embodiments of the disclosure, the computer program product is embodied as a computer storage medium, and in other embodiments of the disclosure, the computer program product is software, such as a Software Development Kit (SDK). realized as a product.

本開示の実施例はコンピュータ記憶媒体(Memory)をさらに提供し、前記コンピュータ記憶媒体は、電子機器内の記憶デバイスであり、プログラム及びデータを記憶するように構成される。ここのコンピュータ記憶媒体は端末内の内蔵記憶媒体を含んでもよく、当然、端末によってサポートされる拡張記憶媒体を含んでもよいことが理解される。コンピュータ記憶媒体は記憶空間を提供し、該記憶空間に端末のオペレーティングシステムが記憶されている。且つ、該記憶空間には、プロセッサ81によりロードされて実行されるのに適する1つ又は複数の命令も記憶されており、これらの命令は、1つ以上のコンピュータプログラム(プログラムコードを含む)であってもよい。説明すべきは、ここのコンピュータ記憶媒体は、高速RAMメモリであってもよく、例えば少なくとも1つの磁気ディスクメモリ等の不揮発性メモリ(Non-Volatile Memory)であってもよく、本開示のいくつかの実施例では、前記プロセッサ81から遠く離れて配置された少なくとも1つのコンピュータ記憶媒体であってもよい。一実施例では、上述した画像の増分クラスタリング方法に係る対応するステップを実現するために、プロセッサ81によってコンピュータ記憶媒体に記憶されている1つ又は複数の命令をロードして実行してもよい。 Embodiments of the present disclosure further provide a computer storage medium (Memory), which is a storage device within an electronic device and is configured to store programs and data. It is understood that computer storage media herein may include internal storage media within the terminal as well as, of course, extended storage media supported by the terminal. A computer storage medium provides a storage space in which the operating system of the terminal is stored. Also stored in the memory space is one or more instructions suitable for being loaded and executed by processor 81, which instructions may be one or more computer programs (including program code). There may be. It should be noted that the computer storage medium herein may be high speed RAM memory or may be Non-Volatile Memory, such as at least one magnetic disk memory; , there may be at least one computer storage medium remotely located from the processor 81 . In one embodiment, one or more instructions stored in a computer storage medium may be loaded and executed by processor 81 to implement the corresponding steps of the incremental clustering of images method described above.

例示的には、コンピュータ記憶媒体のコンピュータプログラムは、ソースコード形式、オブジェクトコード形式、実行可能ファイル又は何らかの中間形式等であってもよいコンピュータプログラムコードを含む。前記コンピュータ可読媒体は、前記コンピュータプログラムコードを携帯可能なあらゆる実体又は装置、記録媒体、USBフラッシュディスク、モバイルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、読み取り専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、電気キャリア信号、電気通信信号及びソフトウェア配信媒体等を含むことができる。 By way of example, a computer program on a computer storage medium comprises computer program code, which may be in source code form, object code form, an executable file, or some intermediate form, and the like. The computer-readable medium is any entity or device capable of carrying the computer program code, recording medium, USB flash disk, mobile hard disk, magnetic disk, optical disk, computer memory, read-only memory (ROM), random It may include access memory (RAM), electrical carrier signals, telecommunication signals, software distribution media, and the like.

説明すべきは、コンピュータ記憶媒体のコンピュータプログラムがプロセッサにより実行されると、上記画像の増分クラスタリング方法のステップは実現されるため、上述した画像の増分クラスタリング方法の全ての実施例は、いずれも該コンピュータ記憶媒体に適用され、且ついずれも同じ又は類似の有益な効果を達成できる。 It should be explained that the steps of the above incremental image clustering method are realized when the computer program on the computer storage medium is executed by the processor, so that all the embodiments of the above incremental image clustering method are applicable. applied to computer storage media, and either can achieve the same or similar beneficial effects.

以上、本開示の実施例を詳しく説明した。本明細書において、例を用いて本開示の原理及び実施形態を説明したが、以上の実施例は、本開示の方法及びその核心思想を理解しやすくするために説明するものに過ぎず、当業者であれば、本発明の思想に基づいて、実施形態及び応用範囲のいずれも変化でき、以上より、本明細書の内容は本開示を制限するものと理解すべきではない。 Exemplary embodiments of the present disclosure have been described above in detail. Although the principles and embodiments of the present disclosure have been described herein using examples, the above examples are merely illustrative to facilitate understanding of the methods and core ideas of the present disclosure. A person skilled in the art can change both the embodiment and the scope of application based on the idea of the present invention, and therefore, the content of the present specification should not be understood as limiting the present disclosure.

本実施例では、第1クラスタを複数の第1サブクラスタに分割し、第1サブクラスタの第1クラスタ中心に基づいて第1クラスタと第2画像データ集合とのマージを実現しており、複数の第1クラスタ中心を維持することで、画像データの増加に伴い、クラスタ中心が新たに追加された画像データの影響を受けてドリフトするという問題を解決し、これはクラスタリング結果をより正確にするのに役立ち、クラスタリング効果が向上する。 In this embodiment, the first cluster is divided into a plurality of first sub-clusters, and the merging of the first cluster and the second image data set is realized based on the first cluster center of the first sub-cluster. By maintaining the first cluster center of , it solves the problem that as the image data increases, the cluster center drifts under the influence of the newly added image data, which makes the clustering result more accurate and improve the clustering effect.

以上から分かるように、本開示の実施例は、第1画像データ集合の第1クラスタを取得し、前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得し、前記Mが1以上の整数であり、第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする。このように、第1クラスタを複数の第1サブクラスタに分割し、第1サブクラスタの第1クラスタ中心に基づいて第1クラスタと第2画像データ集合とのマージを実現しており、複数の第1クラスタ中心(即ちサブ中心)を維持することで、画像データの増加に伴い、クラスタ中心(第1クラスタのクラスタ中心であり、即ちメイン中心である)が新たに追加された画像データの影響を受けてドリフトするという問題を解決し、これはクラスタリング結果をより正確にするのに役立ち、クラスタリング効果が向上する。また、クラスタリング過程で、第2画像データ集合は第1画像データ集合全体と類似度を計算する必要がなくなり、計算複雑性の軽減に役立つ。
例えば、本願は以下の項目を提供する。
(項目1)
第1画像データ集合の第1クラスタを取得するステップと、
前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得するステップであって、前記Mは1以上の整数であるステップと、
第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするステップと、を含む、画像の増分クラスタリング方法。
(項目2)
前記第1クラスタは第1クラスタA、第1クラスタB及び第1クラスタCを含み、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするステップは、
前記第2画像データ集合に複数の画像データが含まれる場合、前記複数の画像データをクラスタリングし、孤立画像データ及び第2クラスタを得るステップと、
前記第1クラスタ中心を用いて前記孤立画像データを前記第1クラスタAへとマージし、前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするステップと、
前記第2画像データ集合内に単一の画像データのみ存在する場合、前記第1クラスタ中心を用いて前記単一の画像データを前記第1クラスタCへとマージするステップと、を含む
項目1に記載の画像の増分クラスタリング方法。
(項目3)
前記第1クラスタは対応する第2クラスタ中心を有し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする前に、
前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップをさらに含む
項目2に記載の画像の増分クラスタリング方法。
(項目4)
前記第2クラスタは対応する第3クラスタ中心を有し、前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップは、
前記孤立画像データと前記第2クラスタ中心との第1類似度を取得し、
前記第1類似度に基づき、前記第1クラスタを高い順にソートして第1クラスタ系列を得て、前記第1クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、
前記第3クラスタ中心と前記第2クラスタ中心との第2類似度を取得し、
前記第2類似度に基づき、前記第1クラスタを高い順にソートして第2クラスタ系列を得て、前記第2クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、を含むか、又は、
前記単一の画像データと前記第2クラスタ中心との第3類似度を取得し、
前記第3類似度に基づき、前記第1クラスタを高い順にソートして第3クラスタ系列を得て、前記第3クラスタ系列内の先頭からK個の第1クラスタを選択するステップを含む
項目3に記載の画像の増分クラスタリング方法。
(項目5)
前記第1クラスタ中心を用いて前記孤立画像データと前記第1クラスタAとをマージするステップは、
前記孤立画像データと第1クラスタ中心Dとの第4類似度を取得するステップであって、前記第1クラスタ中心Dは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第4類似度が第1閾値よりも大きい前記第1クラスタ中心Dの第1数量を決定するステップと、
前記K個の第1クラスタのうちの前記第1数量が最大である第1クラスタを前記第1クラスタAとして決定するステップと、
前記孤立画像データと前記第1クラスタAとをマージするステップと、を含む
項目3に記載の画像の増分クラスタリング方法。
(項目6)
前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするステップは、
前記第2クラスタをN個の第2サブクラスタに分割し、前記N個の第2サブクラスタのうちの各第2サブクラスタに対応する第4クラスタ中心を取得するステップであって、前記Nは1以上の整数であるステップと、
前記第4クラスタ中心と第1クラスタ中心Eとの第5類似度を取得するステップであって、前記第1クラスタ中心Eは、K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第5類似度が第2閾値よりも大きい前記第1クラスタ中心Eの第2数量を決定するステップと、
前記K個の第1クラスタのうちの前記第2数量が最大である第1クラスタを前記第1クラスタBとして決定するステップと、
前記第2クラスタと前記第1クラスタBとをマージするステップと、を含む
項目3に記載の画像の増分クラスタリング方法。
(項目7)
前記第1クラスタ中心を用いて前記単一の画像データと前記第1クラスタCとをマージするステップは、
前記単一の画像データと第1クラスタ中心Fとの第6類似度を取得するステップであって、前記第1クラスタ中心Fは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第6類似度が第3閾値よりも大きい前記第1クラスタ中心Fの第3数量を決定するステップと、
前記K個の第1クラスタのうちの前記第3数量が最大である第1クラスタを前記第1クラスタCとして決定するステップと、
前記単一の画像データと前記第1クラスタCとをマージするステップと、を含む
項目3に記載の画像の増分クラスタリング方法。
(項目8)
前記Mは第4閾値以下であり、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージした後、
マージした第1クラスタをR個の第3サブクラスタに分割し、前記R個の第3サブクラスタのうちの各第3サブクラスタの第5クラスタ中心を取得するステップであって、前記Rは1以上の整数であるステップと、
前記Rが前記第4閾値以下である場合、前記R個の第3サブクラスタを残し、前記R個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するステップと、
前記Rが前記第4閾値よりも大きい場合、前記R個の第3サブクラスタのうちの各第3サブクラスタ内の画像データの第4数量を取得するステップと、
前記第4数量に基づき、前記R個の第3サブクラスタを大きい順にソートして第4クラスタ系列を得て、前記第4クラスタ系列内の先頭からP個の第3サブクラスタを選択し、前記P個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するステップであって、前記Pは前記第4閾値以下であるステップと、をさらに含む
項目1から7のいずれか1項に記載の画像の増分クラスタリング方法。
(項目9)
前記第1クラスタは前記第1画像データ集合内の画像データをクラスタリングすることで得られるものであり、前記第1クラスタをM個の第1サブクラスタに分割するステップは、
前記第1クラスタ内の画像データ間の第7類似度を取得し、類似度行列を得るステップと、
前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するステップと、を含む
項目1から7のいずれか1項に記載の画像の増分クラスタリング方法。
(項目10)
前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するステップは、
前記第1クラスタ内の画像データを頂点として構成される連結グラフを取得するステップと、
前記類似度行列からサーチして前記連結グラフの頂点間の前記第7類似度を得るステップと、
前記第7類似度が第5閾値よりも大きい複数の頂点を1つの第1サブクラスタとして分割し、前記M個の第1サブクラスタを得るステップと、を含む
項目9に記載の画像の増分クラスタリング方法。
(項目11)
第1画像データ集合の第1クラスタを取得するように構成される第1取得モジュールと、
前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得するように構成される第1分割モジュールであって、前記Mは1以上の整数である第1分割モジュールと、
第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするように構成されるマージモジュールと、を含む、画像の増分クラスタリング装置。
(項目12)
前記第1クラスタは第1クラスタA、第1クラスタB及び第1クラスタCを含み、前記マージモジュールは、
前記第2画像データ集合に複数の画像データが含まれる場合、前記複数の画像データをクラスタリングし、孤立画像データ及び第2クラスタを得るように構成されるクラスタリングサブモジュールと、
前記第1クラスタ中心を用いて前記孤立画像データを前記第1クラスタAへとマージするように構成される第1マージサブモジュールと、
前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするように構成される第2マージサブモジュールと、
前記第2画像データ集合内に単一の画像データのみ存在する場合、前記第1クラスタ中心を用いて前記単一の画像データを前記第1クラスタCへとマージするように構成される第3マージサブモジュールと、を含む
項目11に記載の画像の増分クラスタリング装置。
(項目13)
前記第1クラスタは対応する第2クラスタ中心を有し、前記マージモジュールは、
前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するように構成される第1決定サブモジュールをさらに含む
項目12に記載の画像の増分クラスタリング装置。
(項目14)
前記第2クラスタは対応する第3クラスタ中心を有し、前記第1決定サブモジュールは、
前記孤立画像データと前記第2クラスタ中心との第1類似度を取得するように構成される第1取得ユニットと、
前記第1類似度に基づき、前記第1クラスタを高い順にソートして第1クラスタ系列を得て、前記第1クラスタ系列内の先頭からK個の第1クラスタを選択するように構成される第1ソートユニットと、
前記第3クラスタ中心と前記第2クラスタ中心との第2類似度を取得するように構成される第2取得ユニットと、
前記第2類似度に基づき、前記第1クラスタを高い順にソートして第2クラスタ系列を得て、前記第2クラスタ系列内の先頭からK個の第1クラスタを選択するように構成される第2ソートユニットと、を含むか、又は
前記単一の画像データと前記第2クラスタ中心との第3類似度を取得するように構成される第3取得ユニットと、
前記第3類似度に基づき、前記第1クラスタを高い順にソートして第3クラスタ系列を得て、前記第3クラスタ系列内の先頭からK個の第1クラスタを選択するように構成される第3ソートユニットと、を含む
項目13に記載の画像の増分クラスタリング装置。
(項目15)
前記第1マージサブモジュールは、
前記孤立画像データと第1クラスタ中心Dとの第4類似度を取得するように構成される第4取得ユニットであって、前記第1クラスタ中心Dは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心である第4取得ユニットと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第4類似度が第1閾値よりも大きい前記第1クラスタ中心Dの第1数量を決定するように構成される第1決定ユニットと、
前記K個の第1クラスタのうちの前記第1数量が最大である第1クラスタを前記第1クラスタAとして決定するように構成される第2決定ユニットと、
前記孤立画像データと前記第1クラスタAとをマージするように構成される第1マージユニットと、を含む
項目13に記載の画像の増分クラスタリング装置。
(項目16)
前記第2マージサブモジュールは、
前記第2クラスタをN個の第2サブクラスタに分割し、前記N個の第2サブクラスタのうちの各第2サブクラスタに対応する第4クラスタ中心を取得するように構成される第1分割ユニットであって、前記Nは1以上の整数である第1分割ユニットと、
前記第4クラスタ中心と第1クラスタ中心Eとの第5類似度を取得するように構成される第5取得ユニットであって、前記第1クラスタ中心Eは、K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心である第5取得ユニットと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第5類似度が第2閾値よりも大きい前記第1クラスタ中心Eの第2数量を決定するように構成される第3決定ユニットと、
前記K個の第1クラスタのうちの前記第2数量が最大である第1クラスタを前記第1クラスタBとして決定するように構成される第4決定ユニットと、
前記第2クラスタと前記第1クラスタBとをマージするように構成される第2マージユニットと、を含む
項目13に記載の画像の増分クラスタリング装置。
(項目17)
前記第3マージサブモジュールは、
前記単一の画像データと第1クラスタ中心Fとの第6類似度を取得するように構成される第6取得ユニットであって、前記第1クラスタ中心Fは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心である第6取得ユニットと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第6類似度が第3閾値よりも大きい前記第1クラスタ中心Fの第3数量を決定するように構成される第5決定ユニットと、
前記K個の第1クラスタのうちの前記第3数量が最大である第1クラスタを前記第1クラスタCとして決定するように構成される第6決定ユニットと、
前記単一の画像データと前記第1クラスタCとをマージするように構成される第3マージユニットと、を含む
項目13に記載の画像の増分クラスタリング装置。
(項目18)
前記Mは第4閾値以下であり、
マージした第1クラスタをR個の第3サブクラスタに分割し、前記R個の第3サブクラスタのうちの各第3サブクラスタの第5クラスタ中心を取得するように構成される第2分割モジュールであって、前記Rは1以上の整数である第2分割モジュールと、
前記Rが前記第4閾値以下である場合、前記R個の第3サブクラスタを残し、前記R個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するように構成される第1更新モジュールと、
前記Rが前記第4閾値よりも大きい場合、前記R個の第3サブクラスタのうちの各第3サブクラスタ内の画像データの第4数量を取得するように構成される第2取得モジュールと、
前記第4数量に基づき、前記R個の第3サブクラスタを大きい順にソートして第4クラスタ系列を得て、前記第4クラスタ系列内の先頭からP個の第3サブクラスタを選択し、前記P個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するように構成される第2更新モジュールであって、前記Pは前記第4閾値以下である第2更新モジュールと、をさらに含む
項目11から17のいずれか1項に記載の画像の増分クラスタリング装置。
(項目19)
前記第1クラスタは前記第1画像データ集合内の画像データをクラスタリングすることで得られるものであり、前記第1分割モジュールは、
前記第1クラスタ内の画像データ間の第7類似度を取得し、類似度行列を得るように構成される取得サブモジュールと、
前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するように構成される分割サブモジュールと、を含む
項目11から17のいずれか1項に記載の画像の増分クラスタリング装置。
(項目20)
前記分割サブモジュールは、
前記第1クラスタ内の画像データを頂点として構成される連結グラフを取得するように構成される第7取得ユニットと、
前記類似度行列からサーチして前記連結グラフの頂点間の前記第7類似度を得るように構成されるサーチユニットと、
前記第7類似度が第5閾値よりも大きい複数の頂点を1つの第1サブクラスタとして分割し、前記M個の第1サブクラスタを得るように構成される第2分割ユニットと、を含む
項目19項に記載の画像の増分クラスタリング装置。
(項目21)
入力デバイス及び出力デバイスを含み、
1つ又は複数の命令を実現するのに適するプロセッサと、
前記プロセッサによりロードされて項目1から10のいずれか1項に記載の方法を実行するのに適する1つ又は複数の命令が記憶されているコンピュータ記憶媒体と、をさらに含む、電子機器。
(項目22)
プロセッサによりロードされて項目1から10のいずれか1項に記載の方法を実行するのに適する1つ又は複数の命令が記憶されている、コンピュータ記憶媒体。
(項目23)
プロセッサによりロードされて項目1から10のいずれか1項に記載の方法を実行するのに適する1つ又は複数の命令を含む、コンピュータプログラム製品。
As can be seen from the above, embodiments of the present disclosure obtain a first cluster of a first image data set, divide the first cluster into M first sub-clusters, and divide the M first sub-clusters into wherein M is an integer greater than or equal to 1, obtaining a second image data set, using the first cluster centers to obtain the second image Merge the dataset with the first cluster. Thus, the first cluster is divided into a plurality of first sub-clusters, and the merging of the first cluster and the second image data set is realized based on the first cluster center of the first sub-cluster, and the plurality of By maintaining the first cluster center (i.e. sub-center), with the increase of the image data, the cluster center (which is the cluster center of the first cluster, i.e. the main center) is newly added image data influence It solves the problem of drifting with , which helps to make the clustering result more accurate, and the clustering effect is improved. Also, in the clustering process, the second image data set does not need to calculate similarity to the entire first image data set, which helps reduce computational complexity.
For example, the present application provides the following items.
(Item 1)
obtaining a first cluster of the first image data set;
dividing the first cluster into M first sub-clusters and obtaining a first cluster center corresponding to each first sub-cluster of the M first sub-clusters, wherein M is a step that is an integer greater than or equal to 1;
obtaining a second image data set and merging the second image data set and the first cluster using the first cluster center.
(Item 2)
wherein said first cluster comprises a first cluster A, a first cluster B and a first cluster C, and merging said second image data set and said first cluster using said first cluster center comprises:
if the second image data set contains a plurality of image data, clustering the plurality of image data to obtain isolated image data and a second cluster;
merging the isolated image data into the first cluster A using the first cluster center and merging the second cluster and the first cluster B using the first cluster center;
merging the single image data into the first cluster C using the first cluster center if there is only a single image data in the second image data set.
A method for incremental clustering of images according to item 1.
(Item 3)
The first cluster has a corresponding second cluster center, and before using the first cluster center to merge the second image data set and the first cluster,
Further comprising determining K first clusters from the first cluster using the second cluster center.
A method for incremental clustering of images according to item 2.
(Item 4)
said second cluster having a corresponding third cluster center, and using said second cluster center to determine K first clusters from said first cluster;
obtaining a first similarity between the isolated image data and the second cluster center;
sorting the first clusters in descending order based on the first similarity to obtain a first cluster sequence, and selecting K first clusters from the top in the first cluster sequence;
obtaining a second similarity between the third cluster center and the second cluster center;
sorting the first clusters in descending order based on the second similarity to obtain a second cluster sequence, and selecting K first clusters from the top in the second cluster sequence. , or
obtaining a third similarity between the single image data and the second cluster center;
sorting the first clusters in descending order based on the third similarity to obtain a third cluster sequence, and selecting the top K first clusters in the third cluster sequence.
A method for incremental clustering of images according to item 3.
(Item 5)
merging the isolated image data and the first cluster A using the first cluster center,
obtaining a fourth similarity between the isolated image data and a first cluster center D, wherein the first cluster center D is the first being the first cluster center corresponding to a sub-cluster;
For each first cluster of the K first clusters, determine a first quantity of the first cluster centers D within each first cluster for which the fourth similarity is greater than a first threshold. and
determining a first cluster among the K first clusters having the largest first quantity as the first cluster A;
merging the isolated image data and the first cluster A.
A method for incremental clustering of images according to item 3.
(Item 6)
merging the second cluster and the first cluster B using the first cluster center,
dividing the second cluster into N second sub-clusters and obtaining a fourth cluster center corresponding to each second sub-cluster of the N second sub-clusters, wherein N is a step that is an integer greater than or equal to 1;
obtaining a fifth similarity between the fourth cluster center and the first cluster center E, wherein the first cluster center E is the first cluster center of each first cluster among the K first clusters; being the first cluster center corresponding to a sub-cluster;
For each first cluster of the K first clusters, determine a second quantity of the first cluster centers E within each first cluster for which the fifth similarity is greater than a second threshold. and
determining, as the first cluster B, a first cluster among the K first clusters that has the largest second quantity;
merging the second cluster and the first cluster B.
A method for incremental clustering of images according to item 3.
(Item 7)
merging the single image data and the first cluster C using the first cluster center;
obtaining a sixth similarity measure between the single image data and a first cluster center F, wherein the first cluster center F is for each first cluster of the K first clusters; being the first cluster center corresponding to a first sub-cluster;
For each first cluster of the K first clusters, determine a third quantity of the first cluster centers F within each first cluster for which the sixth similarity is greater than a third threshold. and
determining, as the first cluster C, the first cluster having the largest third quantity among the K first clusters;
merging the single image data and the first cluster C.
A method for incremental clustering of images according to item 3.
(Item 8)
wherein M is less than or equal to a fourth threshold, and after merging the second image data set and the first cluster using the first cluster center;
dividing the merged first cluster into R third sub-clusters and obtaining a fifth cluster center of each third sub-cluster of said R third sub-clusters, wherein said R is 1 a step that is an integer greater than or equal to
if the R is less than or equal to the fourth threshold, retain the R third sub-clusters and update the first cluster center using the fifth cluster center corresponding to the R third sub-clusters; a step;
obtaining a fourth quantity of image data in each third sub-cluster of the R third sub-clusters, if the R is greater than the fourth threshold;
sorting the R third sub-clusters in ascending order according to the fourth quantity to obtain a fourth cluster sequence, selecting P third sub-clusters from the top in the fourth cluster sequence; updating the first cluster center with the fifth cluster center corresponding to P third subclusters, wherein the P is less than or equal to the fourth threshold.
8. A method for incremental clustering of images according to any one of items 1-7.
(Item 9)
The first cluster is obtained by clustering the image data in the first image data set, and the step of dividing the first cluster into M first sub-clusters comprises:
obtaining a seventh similarity between image data in the first cluster to obtain a similarity matrix;
dividing the first cluster into the M first sub-clusters based on the similarity matrix.
8. A method for incremental clustering of images according to any one of items 1-7.
(Item 10)
dividing the first cluster into the M first sub-clusters based on the similarity matrix;
obtaining a connected graph configured with the image data in the first cluster as vertices;
searching from the similarity matrix to obtain the seventh similarity between vertices of the connectivity graph;
dividing a plurality of vertices whose seventh similarity is greater than a fifth threshold as one first sub-cluster to obtain the M first sub-clusters.
A method for incremental clustering of images according to item 9.
(Item 11)
a first acquisition module configured to acquire a first cluster of the first image data set;
a first division configured to divide the first cluster into M first sub-clusters and obtain a first cluster center corresponding to each first sub-cluster of the M first sub-clusters; a first divided module, wherein M is an integer of 1 or more;
a merge module configured to obtain a second image data set and merge the second image data set and the first cluster using the first cluster center.
(Item 12)
The first cluster includes a first cluster A, a first cluster B and a first cluster C, and the merge module comprises:
a clustering sub-module configured to cluster the plurality of image data to obtain isolated image data and a second cluster, if the second image data set includes a plurality of image data;
a first merging sub-module configured to merge the isolated image data into the first cluster A using the first cluster center;
a second merging sub-module configured to merge the second cluster and the first cluster B using the first cluster center;
a third merge configured to merge the single image data into the first cluster C using the first cluster center if only a single image data exists in the second image data set; contains submodules and
12. Apparatus for incremental clustering of images according to item 11.
(Item 13)
The first cluster has a corresponding second cluster center, the merge module comprising:
further comprising a first determining sub-module configured to determine K first clusters from the first cluster using the second cluster center;
13. Apparatus for incremental clustering of images according to item 12.
(Item 14)
said second cluster having a corresponding third cluster center, said first determining sub-module comprising:
a first obtaining unit configured to obtain a first similarity between the isolated image data and the second cluster center;
A first cluster configured to sort the first clusters in descending order based on the first similarity to obtain a first cluster sequence, and select K first clusters from the top in the first cluster sequence. 1 sorting unit;
a second obtaining unit configured to obtain a second similarity measure between the third cluster center and the second cluster center;
A second cluster configured to sort the first clusters in descending order based on the second similarity to obtain a second cluster sequence, and select K first clusters from the top in the second cluster sequence. 2 sorting units, or
a third obtaining unit configured to obtain a third similarity between the single image data and the second cluster center;
A third cluster configured to sort the first clusters in descending order based on the third similarity to obtain a third cluster sequence, and select K first clusters from the top in the third cluster sequence. 3 sorting units and
14. Apparatus for incremental clustering of images according to item 13.
(Item 15)
The first merging submodule includes:
a fourth obtaining unit configured to obtain a fourth similarity measure between the isolated image data and a first cluster center D, wherein the first cluster center D is one of the K first clusters; a fourth obtaining unit that is the first cluster center corresponding to each first sub-cluster of each first cluster;
For each first cluster of the K first clusters, determine a first quantity of the first cluster centers D within each first cluster for which the fourth similarity is greater than a first threshold. a first determining unit configured to
a second determining unit configured to determine the first cluster among the K first clusters with the largest first quantity as the first cluster A;
a first merging unit configured to merge the isolated image data and the first cluster A.
14. Apparatus for incremental clustering of images according to item 13.
(Item 16)
The second merging submodule includes:
A first division configured to divide the second cluster into N second sub-clusters and obtain a fourth cluster center corresponding to each second sub-cluster of the N second sub-clusters. a first divisional unit, wherein N is an integer of 1 or more;
a fifth obtaining unit configured to obtain a fifth similarity measure between the fourth cluster center and a first cluster center E, wherein the first cluster center E is one of K first clusters a fifth obtaining unit that is the first cluster center corresponding to each first sub-cluster of each first cluster;
For each first cluster of the K first clusters, determine a second quantity of the first cluster centers E within each first cluster for which the fifth similarity is greater than a second threshold. a third determining unit configured to
a fourth determining unit configured to determine the first cluster among the K first clusters with the largest second quantity as the first cluster B;
a second merging unit configured to merge the second cluster and the first cluster B.
14. Apparatus for incremental clustering of images according to item 13.
(Item 17)
The third merging submodule includes:
a sixth obtaining unit configured to obtain a sixth similarity measure between the single image data and a first cluster center F, wherein the first cluster center F is one of the K first clusters a sixth obtaining unit that is the first cluster center corresponding to each first sub-cluster of each first cluster thereof;
For each first cluster of the K first clusters, determine a third quantity of the first cluster centers F within each first cluster for which the sixth similarity is greater than a third threshold. a fifth determining unit configured to
a sixth determining unit configured to determine the first cluster among the K first clusters for which the third quantity is the largest as the first cluster C;
a third merging unit configured to merge the single image data and the first cluster C.
14. Apparatus for incremental clustering of images according to item 13.
(Item 18)
The M is equal to or less than the fourth threshold,
A second splitting module configured to split the merged first cluster into R third sub-clusters and obtain a fifth cluster center of each third sub-cluster of said R third sub-clusters. a second segmented module, wherein R is an integer greater than or equal to 1;
if the R is less than or equal to the fourth threshold, retain the R third sub-clusters and update the first cluster center using the fifth cluster center corresponding to the R third sub-clusters; a first update module configured to:
a second acquisition module configured to acquire a fourth quantity of image data in each third sub-cluster of the R third sub-clusters, if the R is greater than the fourth threshold;
sorting the R third sub-clusters in ascending order according to the fourth quantity to obtain a fourth cluster sequence, selecting P third sub-clusters from the top in the fourth cluster sequence; a second update module configured to update the first cluster center using the fifth cluster center corresponding to P third sub-clusters, wherein the P is less than or equal to the fourth threshold; 2 update modules, further including
Apparatus for incremental clustering of images according to any one of items 11 to 17.
(Item 19)
The first cluster is obtained by clustering the image data in the first image data set, and the first division module includes:
an acquisition sub-module configured to acquire a seventh degree of similarity between image data in the first cluster to obtain a similarity matrix;
a splitting sub-module configured to split the first cluster into the M first sub-clusters based on the similarity matrix.
Apparatus for incremental clustering of images according to any one of items 11 to 17.
(Item 20)
The divided sub-modules are
a seventh obtaining unit configured to obtain a connectivity graph configured with the image data in the first cluster as vertices;
a search unit configured to search from the similarity matrix to obtain the seventh similarity between vertices of the connectivity graph;
a second segmentation unit configured to segment a plurality of vertices with the seventh similarity greater than a fifth threshold as one first sub-cluster to obtain the M first sub-clusters.
20. Apparatus for incremental clustering of images according to item 19.
(Item 21)
including input devices and output devices;
a processor suitable for implementing one or more instructions;
and a computer storage medium loaded by said processor storing one or more instructions suitable for carrying out the method of any one of items 1 to 10.
(Item 22)
A computer storage medium loaded by a processor and storing one or more instructions suitable for carrying out the method of any one of items 1 to 10.
(Item 23)
A computer program product comprising one or more instructions suitable to be loaded by a processor to carry out the method of any one of items 1 to 10.

Claims (23)

第1画像データ集合の第1クラスタを取得するステップと、
前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得するステップであって、前記Mは1以上の整数であるステップと、
第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするステップと、を含む、画像の増分クラスタリング方法。
obtaining a first cluster of the first image data set;
dividing the first cluster into M first sub-clusters and obtaining a first cluster center corresponding to each first sub-cluster of the M first sub-clusters, wherein M is a step that is an integer greater than or equal to 1;
obtaining a second image data set and merging the second image data set and the first cluster using the first cluster center.
前記第1クラスタは第1クラスタA、第1クラスタB及び第1クラスタCを含み、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするステップは、
前記第2画像データ集合に複数の画像データが含まれる場合、前記複数の画像データをクラスタリングし、孤立画像データ及び第2クラスタを得るステップと、
前記第1クラスタ中心を用いて前記孤立画像データを前記第1クラスタAへとマージし、前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするステップと、
前記第2画像データ集合内に単一の画像データのみ存在する場合、前記第1クラスタ中心を用いて前記単一の画像データを前記第1クラスタCへとマージするステップと、を含む
請求項1に記載の画像の増分クラスタリング方法。
wherein said first cluster comprises a first cluster A, a first cluster B and a first cluster C, and merging said second image data set and said first cluster using said first cluster center comprises:
if the second image data set contains a plurality of image data, clustering the plurality of image data to obtain isolated image data and a second cluster;
merging the isolated image data into the first cluster A using the first cluster center and merging the second cluster and the first cluster B using the first cluster center;
merging said single image data into said first cluster C using said first cluster center if only a single image data exists in said second image data set. A method for incremental clustering of images as described in .
前記第1クラスタは対応する第2クラスタ中心を有し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージする前に、
前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップをさらに含む
請求項2に記載の画像の増分クラスタリング方法。
The first cluster has a corresponding second cluster center, and before using the first cluster center to merge the second image data set and the first cluster,
3. The method of incremental clustering of images of claim 2, further comprising determining K first clusters from the first cluster using the second cluster centers.
前記第2クラスタは対応する第3クラスタ中心を有し、前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するステップは、
前記孤立画像データと前記第2クラスタ中心との第1類似度を取得し、
前記第1類似度に基づき、前記第1クラスタを高い順にソートして第1クラスタ系列を得て、前記第1クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、
前記第3クラスタ中心と前記第2クラスタ中心との第2類似度を取得し、
前記第2類似度に基づき、前記第1クラスタを高い順にソートして第2クラスタ系列を得て、前記第2クラスタ系列内の先頭からK個の第1クラスタを選択するステップと、を含むか、又は、
前記単一の画像データと前記第2クラスタ中心との第3類似度を取得し、
前記第3類似度に基づき、前記第1クラスタを高い順にソートして第3クラスタ系列を得て、前記第3クラスタ系列内の先頭からK個の第1クラスタを選択するステップを含む
請求項3に記載の画像の増分クラスタリング方法。
said second cluster having a corresponding third cluster center, and using said second cluster center to determine K first clusters from said first cluster;
obtaining a first similarity between the isolated image data and the second cluster center;
sorting the first clusters in descending order based on the first similarity to obtain a first cluster sequence, and selecting K first clusters from the top in the first cluster sequence;
obtaining a second similarity between the third cluster center and the second cluster center;
sorting the first clusters in descending order based on the second similarity to obtain a second cluster sequence, and selecting K first clusters from the top in the second cluster sequence. , or
obtaining a third similarity between the single image data and the second cluster center;
sorting the first clusters in descending order based on the third similarity to obtain a third cluster sequence, and selecting K first clusters from the top in the third cluster sequence. A method for incremental clustering of images as described in .
前記第1クラスタ中心を用いて前記孤立画像データと前記第1クラスタAとをマージするステップは、
前記孤立画像データと第1クラスタ中心Dとの第4類似度を取得するステップであって、前記第1クラスタ中心Dは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第4類似度が第1閾値よりも大きい前記第1クラスタ中心Dの第1数量を決定するステップと、
前記K個の第1クラスタのうちの前記第1数量が最大である第1クラスタを前記第1クラスタAとして決定するステップと、
前記孤立画像データと前記第1クラスタAとをマージするステップと、を含む
請求項3に記載の画像の増分クラスタリング方法。
merging the isolated image data and the first cluster A using the first cluster center,
obtaining a fourth similarity between the isolated image data and a first cluster center D, wherein the first cluster center D is the first being the first cluster center corresponding to a sub-cluster;
For each first cluster of the K first clusters, determine a first quantity of the first cluster centers D within each first cluster for which the fourth similarity is greater than a first threshold. and
determining a first cluster among the K first clusters having the largest first quantity as the first cluster A;
4. The method of incremental clustering of images of claim 3, comprising merging the isolated image data and the first cluster A.
前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするステップは、
前記第2クラスタをN個の第2サブクラスタに分割し、前記N個の第2サブクラスタのうちの各第2サブクラスタに対応する第4クラスタ中心を取得するステップであって、前記Nは1以上の整数であるステップと、
前記第4クラスタ中心と第1クラスタ中心Eとの第5類似度を取得するステップであって、前記第1クラスタ中心Eは、K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第5類似度が第2閾値よりも大きい前記第1クラスタ中心Eの第2数量を決定するステップと、
前記K個の第1クラスタのうちの前記第2数量が最大である第1クラスタを前記第1クラスタBとして決定するステップと、
前記第2クラスタと前記第1クラスタBとをマージするステップと、を含む
請求項3に記載の画像の増分クラスタリング方法。
merging the second cluster and the first cluster B using the first cluster center,
dividing the second cluster into N second sub-clusters and obtaining a fourth cluster center corresponding to each second sub-cluster of the N second sub-clusters, wherein N is a step that is an integer greater than or equal to 1;
obtaining a fifth similarity between the fourth cluster center and the first cluster center E, wherein the first cluster center E is the first cluster center of each first cluster among the K first clusters; being the first cluster center corresponding to a sub-cluster;
For each first cluster of the K first clusters, determine a second quantity of the first cluster centers E within each first cluster for which the fifth similarity is greater than a second threshold. and
determining, as the first cluster B, a first cluster among the K first clusters that has the largest second quantity;
4. The method of incremental clustering of images of claim 3, comprising merging the second cluster and the first cluster B.
前記第1クラスタ中心を用いて前記単一の画像データと前記第1クラスタCとをマージするステップは、
前記単一の画像データと第1クラスタ中心Fとの第6類似度を取得するステップであって、前記第1クラスタ中心Fは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心であるステップと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第6類似度が第3閾値よりも大きい前記第1クラスタ中心Fの第3数量を決定するステップと、
前記K個の第1クラスタのうちの前記第3数量が最大である第1クラスタを前記第1クラスタCとして決定するステップと、
前記単一の画像データと前記第1クラスタCとをマージするステップと、を含む
請求項3に記載の画像の増分クラスタリング方法。
merging the single image data and the first cluster C using the first cluster center;
obtaining a sixth similarity measure between the single image data and a first cluster center F, wherein the first cluster center F is for each first cluster of the K first clusters; being the first cluster center corresponding to a first sub-cluster;
For each first cluster of the K first clusters, determine a third quantity of the first cluster centers F within each first cluster for which the sixth similarity is greater than a third threshold. and
determining, as the first cluster C, the first cluster having the largest third quantity among the K first clusters;
4. The method of incremental clustering of images of claim 3, comprising merging the single image data and the first cluster C.
前記Mは第4閾値以下であり、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージした後、
マージした第1クラスタをR個の第3サブクラスタに分割し、前記R個の第3サブクラスタのうちの各第3サブクラスタの第5クラスタ中心を取得するステップであって、前記Rは1以上の整数であるステップと、
前記Rが前記第4閾値以下である場合、前記R個の第3サブクラスタを残し、前記R個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するステップと、
前記Rが前記第4閾値よりも大きい場合、前記R個の第3サブクラスタのうちの各第3サブクラスタ内の画像データの第4数量を取得するステップと、
前記第4数量に基づき、前記R個の第3サブクラスタを大きい順にソートして第4クラスタ系列を得て、前記第4クラスタ系列内の先頭からP個の第3サブクラスタを選択し、前記P個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するステップであって、前記Pは前記第4閾値以下であるステップと、をさらに含む
請求項1から7のいずれか1項に記載の画像の増分クラスタリング方法。
wherein M is less than or equal to a fourth threshold, and after merging the second image data set and the first cluster using the first cluster center;
dividing the merged first cluster into R third sub-clusters and obtaining a fifth cluster center of each third sub-cluster of said R third sub-clusters, wherein said R is 1 a step that is an integer greater than or equal to
if the R is less than or equal to the fourth threshold, retain the R third sub-clusters and update the first cluster center using the fifth cluster center corresponding to the R third sub-clusters; a step;
obtaining a fourth quantity of image data in each third sub-cluster of the R third sub-clusters, if the R is greater than the fourth threshold;
sorting the R third sub-clusters in ascending order according to the fourth quantity to obtain a fourth cluster sequence, selecting P third sub-clusters from the top in the fourth cluster sequence; 2. updating the first cluster center with the fifth cluster center corresponding to P third sub-clusters, wherein the P is less than or equal to the fourth threshold. 8. A method for incremental clustering of images according to any one of 1 to 7.
前記第1クラスタは前記第1画像データ集合内の画像データをクラスタリングすることで得られるものであり、前記第1クラスタをM個の第1サブクラスタに分割するステップは、
前記第1クラスタ内の画像データ間の第7類似度を取得し、類似度行列を得るステップと、
前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するステップと、を含む
請求項1から7のいずれか1項に記載の画像の増分クラスタリング方法。
The first cluster is obtained by clustering the image data in the first image data set, and the step of dividing the first cluster into M first sub-clusters comprises:
obtaining a seventh similarity between image data in the first cluster to obtain a similarity matrix;
dividing said first cluster into said M first sub-clusters based on said similarity matrix.
前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するステップは、
前記第1クラスタ内の画像データを頂点として構成される連結グラフを取得するステップと、
前記類似度行列からサーチして前記連結グラフの頂点間の前記第7類似度を得るステップと、
前記第7類似度が第5閾値よりも大きい複数の頂点を1つの第1サブクラスタとして分割し、前記M個の第1サブクラスタを得るステップと、を含む
請求項9に記載の画像の増分クラスタリング方法。
dividing the first cluster into the M first sub-clusters based on the similarity matrix;
obtaining a connected graph configured with the image data in the first cluster as vertices;
searching from the similarity matrix to obtain the seventh similarity between vertices of the connectivity graph;
dividing a plurality of vertices with said seventh similarity greater than a fifth threshold as one first sub-cluster to obtain said M first sub-clusters. clustering method.
第1画像データ集合の第1クラスタを取得するように構成される第1取得モジュールと、
前記第1クラスタをM個の第1サブクラスタに分割し、前記M個の第1サブクラスタのうちの各第1サブクラスタに対応する第1クラスタ中心を取得するように構成される第1分割モジュールであって、前記Mは1以上の整数である第1分割モジュールと、
第2画像データ集合を取得し、前記第1クラスタ中心を用いて前記第2画像データ集合と前記第1クラスタとをマージするように構成されるマージモジュールと、を含む、画像の増分クラスタリング装置。
a first acquisition module configured to acquire a first cluster of the first image data set;
a first division configured to divide the first cluster into M first sub-clusters and obtain a first cluster center corresponding to each first sub-cluster of the M first sub-clusters; a first divided module, wherein M is an integer of 1 or more;
a merge module configured to obtain a second image data set and merge the second image data set and the first cluster using the first cluster center.
前記第1クラスタは第1クラスタA、第1クラスタB及び第1クラスタCを含み、前記マージモジュールは、
前記第2画像データ集合に複数の画像データが含まれる場合、前記複数の画像データをクラスタリングし、孤立画像データ及び第2クラスタを得るように構成されるクラスタリングサブモジュールと、
前記第1クラスタ中心を用いて前記孤立画像データを前記第1クラスタAへとマージするように構成される第1マージサブモジュールと、
前記第1クラスタ中心を用いて前記第2クラスタと前記第1クラスタBとをマージするように構成される第2マージサブモジュールと、
前記第2画像データ集合内に単一の画像データのみ存在する場合、前記第1クラスタ中心を用いて前記単一の画像データを前記第1クラスタCへとマージするように構成される第3マージサブモジュールと、を含む
請求項11に記載の画像の増分クラスタリング装置。
The first cluster includes a first cluster A, a first cluster B and a first cluster C, and the merge module comprises:
a clustering sub-module configured to cluster the plurality of image data to obtain isolated image data and a second cluster, if the second image data set includes a plurality of image data;
a first merging sub-module configured to merge the isolated image data into the first cluster A using the first cluster center;
a second merging sub-module configured to merge the second cluster and the first cluster B using the first cluster center;
a third merge configured to merge the single image data into the first cluster C using the first cluster center if only a single image data exists in the second image data set; 12. The apparatus for incremental clustering of images according to claim 11, comprising: a sub-module.
前記第1クラスタは対応する第2クラスタ中心を有し、前記マージモジュールは、
前記第2クラスタ中心を用いて、前記第1クラスタからK個の第1クラスタを決定するように構成される第1決定サブモジュールをさらに含む
請求項12に記載の画像の増分クラスタリング装置。
The first cluster has a corresponding second cluster center, the merge module comprising:
13. The apparatus for incremental clustering of images according to claim 12, further comprising a first determination sub-module configured to determine K first clusters from the first cluster using the second cluster centers.
前記第2クラスタは対応する第3クラスタ中心を有し、前記第1決定サブモジュールは、
前記孤立画像データと前記第2クラスタ中心との第1類似度を取得するように構成される第1取得ユニットと、
前記第1類似度に基づき、前記第1クラスタを高い順にソートして第1クラスタ系列を得て、前記第1クラスタ系列内の先頭からK個の第1クラスタを選択するように構成される第1ソートユニットと、
前記第3クラスタ中心と前記第2クラスタ中心との第2類似度を取得するように構成される第2取得ユニットと、
前記第2類似度に基づき、前記第1クラスタを高い順にソートして第2クラスタ系列を得て、前記第2クラスタ系列内の先頭からK個の第1クラスタを選択するように構成される第2ソートユニットと、を含むか、又は
前記単一の画像データと前記第2クラスタ中心との第3類似度を取得するように構成される第3取得ユニットと、
前記第3類似度に基づき、前記第1クラスタを高い順にソートして第3クラスタ系列を得て、前記第3クラスタ系列内の先頭からK個の第1クラスタを選択するように構成される第3ソートユニットと、を含む
請求項13に記載の画像の増分クラスタリング装置。
said second cluster having a corresponding third cluster center, said first determining sub-module comprising:
a first obtaining unit configured to obtain a first similarity between the isolated image data and the second cluster center;
A first cluster configured to sort the first clusters in descending order based on the first similarity to obtain a first cluster sequence, and select K first clusters from the top in the first cluster sequence. 1 sorting unit;
a second obtaining unit configured to obtain a second similarity measure between the third cluster center and the second cluster center;
A second cluster configured to sort the first clusters in descending order based on the second similarity to obtain a second cluster sequence, and select K first clusters from the top in the second cluster sequence. 2 sorting units, or a third obtaining unit configured to obtain a third similarity between the single image data and the second cluster centers;
A third cluster configured to sort the first clusters in descending order based on the third similarity to obtain a third cluster sequence, and select K first clusters from the top in the third cluster sequence. 14. The apparatus for incremental clustering of images according to claim 13, comprising: 3 sorting units.
前記第1マージサブモジュールは、
前記孤立画像データと第1クラスタ中心Dとの第4類似度を取得するように構成される第4取得ユニットであって、前記第1クラスタ中心Dは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心である第4取得ユニットと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第4類似度が第1閾値よりも大きい前記第1クラスタ中心Dの第1数量を決定するように構成される第1決定ユニットと、
前記K個の第1クラスタのうちの前記第1数量が最大である第1クラスタを前記第1クラスタAとして決定するように構成される第2決定ユニットと、
前記孤立画像データと前記第1クラスタAとをマージするように構成される第1マージユニットと、を含む
請求項13に記載の画像の増分クラスタリング装置。
The first merging submodule includes:
a fourth obtaining unit configured to obtain a fourth similarity measure between the isolated image data and a first cluster center D, wherein the first cluster center D is one of the K first clusters; a fourth obtaining unit that is the first cluster center corresponding to each first sub-cluster of each first cluster;
For each first cluster of the K first clusters, determine a first quantity of the first cluster centers D within each first cluster for which the fourth similarity is greater than a first threshold. a first determining unit configured to
a second determining unit configured to determine the first cluster among the K first clusters with the largest first quantity as the first cluster A;
14. The apparatus for incremental clustering of images according to claim 13, comprising a first merging unit configured to merge the isolated image data and the first cluster A.
前記第2マージサブモジュールは、
前記第2クラスタをN個の第2サブクラスタに分割し、前記N個の第2サブクラスタのうちの各第2サブクラスタに対応する第4クラスタ中心を取得するように構成される第1分割ユニットであって、前記Nは1以上の整数である第1分割ユニットと、
前記第4クラスタ中心と第1クラスタ中心Eとの第5類似度を取得するように構成される第5取得ユニットであって、前記第1クラスタ中心Eは、K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心である第5取得ユニットと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第5類似度が第2閾値よりも大きい前記第1クラスタ中心Eの第2数量を決定するように構成される第3決定ユニットと、
前記K個の第1クラスタのうちの前記第2数量が最大である第1クラスタを前記第1クラスタBとして決定するように構成される第4決定ユニットと、
前記第2クラスタと前記第1クラスタBとをマージするように構成される第2マージユニットと、を含む
請求項13に記載の画像の増分クラスタリング装置。
The second merging submodule includes:
A first division configured to divide the second cluster into N second sub-clusters and obtain a fourth cluster center corresponding to each second sub-cluster of the N second sub-clusters. a first divisional unit, wherein N is an integer of 1 or more;
a fifth obtaining unit configured to obtain a fifth similarity measure between the fourth cluster center and a first cluster center E, wherein the first cluster center E is one of K first clusters a fifth obtaining unit that is the first cluster center corresponding to each first sub-cluster of each first cluster;
For each first cluster of the K first clusters, determine a second quantity of the first cluster centers E within each first cluster for which the fifth similarity is greater than a second threshold. a third determining unit configured to
a fourth determining unit configured to determine the first cluster among the K first clusters with the largest second quantity as the first cluster B;
14. Apparatus for incremental clustering of images according to claim 13, comprising a second merging unit configured to merge said second cluster and said first cluster B.
前記第3マージサブモジュールは、
前記単一の画像データと第1クラスタ中心Fとの第6類似度を取得するように構成される第6取得ユニットであって、前記第1クラスタ中心Fは、前記K個の第1クラスタのうちの各第1クラスタの各第1サブクラスタに対応する前記第1クラスタ中心である第6取得ユニットと、
前記K個の第1クラスタのうちの各第1クラスタに対して、前記各第1クラスタ内の、前記第6類似度が第3閾値よりも大きい前記第1クラスタ中心Fの第3数量を決定するように構成される第5決定ユニットと、
前記K個の第1クラスタのうちの前記第3数量が最大である第1クラスタを前記第1クラスタCとして決定するように構成される第6決定ユニットと、
前記単一の画像データと前記第1クラスタCとをマージするように構成される第3マージユニットと、を含む
請求項13に記載の画像の増分クラスタリング装置。
The third merging submodule includes:
a sixth obtaining unit configured to obtain a sixth similarity measure between the single image data and a first cluster center F, wherein the first cluster center F is one of the K first clusters a sixth obtaining unit that is the first cluster center corresponding to each first sub-cluster of each first cluster thereof;
For each first cluster of the K first clusters, determine a third quantity of the first cluster centers F within each first cluster for which the sixth similarity is greater than a third threshold. a fifth determining unit configured to
a sixth determining unit configured to determine the first cluster among the K first clusters for which the third quantity is the largest as the first cluster C;
14. Apparatus for incremental clustering of images according to claim 13, comprising a third merging unit configured to merge said single image data and said first cluster C.
前記Mは第4閾値以下であり、
マージした第1クラスタをR個の第3サブクラスタに分割し、前記R個の第3サブクラスタのうちの各第3サブクラスタの第5クラスタ中心を取得するように構成される第2分割モジュールであって、前記Rは1以上の整数である第2分割モジュールと、
前記Rが前記第4閾値以下である場合、前記R個の第3サブクラスタを残し、前記R個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するように構成される第1更新モジュールと、
前記Rが前記第4閾値よりも大きい場合、前記R個の第3サブクラスタのうちの各第3サブクラスタ内の画像データの第4数量を取得するように構成される第2取得モジュールと、
前記第4数量に基づき、前記R個の第3サブクラスタを大きい順にソートして第4クラスタ系列を得て、前記第4クラスタ系列内の先頭からP個の第3サブクラスタを選択し、前記P個の第3サブクラスタに対応する前記第5クラスタ中心を用いて前記第1クラスタ中心を更新するように構成される第2更新モジュールであって、前記Pは前記第4閾値以下である第2更新モジュールと、をさらに含む
請求項11から17のいずれか1項に記載の画像の増分クラスタリング装置。
The M is equal to or less than the fourth threshold,
A second splitting module configured to split the merged first cluster into R third sub-clusters and obtain a fifth cluster center of each third sub-cluster of said R third sub-clusters. a second segmented module, wherein R is an integer greater than or equal to 1;
if the R is less than or equal to the fourth threshold, retain the R third sub-clusters and update the first cluster center using the fifth cluster center corresponding to the R third sub-clusters; a first update module configured to:
a second acquisition module configured to acquire a fourth quantity of image data in each third sub-cluster of the R third sub-clusters, if the R is greater than the fourth threshold;
sorting the R third sub-clusters in ascending order according to the fourth quantity to obtain a fourth cluster sequence, selecting P third sub-clusters from the top in the fourth cluster sequence; a second update module configured to update the first cluster center using the fifth cluster center corresponding to P third sub-clusters, wherein the P is less than or equal to the fourth threshold; 18. Apparatus for incremental clustering of images according to any one of claims 11 to 17, further comprising: 2 update modules.
前記第1クラスタは前記第1画像データ集合内の画像データをクラスタリングすることで得られるものであり、前記第1分割モジュールは、
前記第1クラスタ内の画像データ間の第7類似度を取得し、類似度行列を得るように構成される取得サブモジュールと、
前記類似度行列に基づいて前記第1クラスタを前記M個の第1サブクラスタに分割するように構成される分割サブモジュールと、を含む
請求項11から17のいずれか1項に記載の画像の増分クラスタリング装置。
The first cluster is obtained by clustering the image data in the first image data set, and the first division module includes:
an acquisition sub-module configured to acquire a seventh degree of similarity between image data in the first cluster to obtain a similarity matrix;
a splitting sub-module configured to split the first cluster into the M first sub-clusters based on the similarity matrix. Incremental clustering device.
前記分割サブモジュールは、
前記第1クラスタ内の画像データを頂点として構成される連結グラフを取得するように構成される第7取得ユニットと、
前記類似度行列からサーチして前記連結グラフの頂点間の前記第7類似度を得るように構成されるサーチユニットと、
前記第7類似度が第5閾値よりも大きい複数の頂点を1つの第1サブクラスタとして分割し、前記M個の第1サブクラスタを得るように構成される第2分割ユニットと、を含む
請求項19項に記載の画像の増分クラスタリング装置。
The divided sub-modules are
a seventh obtaining unit configured to obtain a connectivity graph configured with the image data in the first cluster as vertices;
a search unit configured to search from the similarity matrix to obtain the seventh similarity between vertices of the connectivity graph;
a second segmentation unit configured to segment a plurality of vertices with the seventh similarity greater than a fifth threshold as one first sub-cluster to obtain the M first sub-clusters. Item 20. Apparatus for incremental clustering of images according to Item 19.
入力デバイス及び出力デバイスを含み、
1つ又は複数の命令を実現するのに適するプロセッサと、
前記プロセッサによりロードされて請求項1から10のいずれか1項に記載の方法を実行するのに適する1つ又は複数の命令が記憶されているコンピュータ記憶媒体と、をさらに含む、電子機器。
including input devices and output devices;
a processor suitable for implementing one or more instructions;
an electronic device, further comprising a computer storage medium loaded by said processor and storing one or more instructions suitable for carrying out the method of any one of claims 1 to 10.
プロセッサによりロードされて請求項1から10のいずれか1項に記載の方法を実行するのに適する1つ又は複数の命令が記憶されている、コンピュータ記憶媒体。 A computer storage medium storing one or more instructions suitable for being loaded by a processor to carry out the method of any one of claims 1 to 10. プロセッサによりロードされて請求項1から10のいずれか1項に記載の方法を実行するのに適する1つ又は複数の命令を含む、コンピュータプログラム製品。 A computer program product containing one or more instructions suitable to be loaded by a processor to carry out the method of any one of claims 1 to 10.
JP2022524182A 2020-10-30 2020-12-04 Image incremental clustering method and apparatus, electronic device, storage medium and program product Withdrawn JP2023502863A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011185911.8 2020-10-30
CN202011185911.8A CN112257801B (en) 2020-10-30 2020-10-30 Incremental clustering method and device for images, electronic equipment and storage medium
PCT/CN2020/134074 WO2022088390A1 (en) 2020-10-30 2020-12-04 Image incremental clustering method and apparatus, electronic device, storage medium and program product

Publications (1)

Publication Number Publication Date
JP2023502863A true JP2023502863A (en) 2023-01-26

Family

ID=74268958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022524182A Withdrawn JP2023502863A (en) 2020-10-30 2020-12-04 Image incremental clustering method and apparatus, electronic device, storage medium and program product

Country Status (5)

Country Link
JP (1) JP2023502863A (en)
KR (1) KR20220070482A (en)
CN (1) CN112257801B (en)
TW (1) TW202217597A (en)
WO (1) WO2022088390A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327195A (en) * 2021-04-09 2021-08-31 中科创达软件股份有限公司 Image processing method and device, image processing model training method and device, and image pattern recognition method and device
CN113743533B (en) * 2021-09-17 2023-08-01 重庆紫光华山智安科技有限公司 Picture clustering method and device and storage medium
CN117152543A (en) * 2023-10-30 2023-12-01 山东浪潮科学研究院有限公司 Image classification method, device, equipment and storage medium
CN117333926B (en) * 2023-11-30 2024-03-15 深圳须弥云图空间科技有限公司 Picture aggregation method and device, electronic equipment and readable storage medium

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5229744B2 (en) * 2007-12-03 2013-07-03 国立大学法人北海道大学 Image classification device and image classification program
CN102129451B (en) * 2011-02-17 2013-05-01 上海交通大学 Method for clustering data in image retrieval system
WO2012140315A1 (en) * 2011-04-15 2012-10-18 Nokia Corporation Method, apparatus and computer program product for providing incremental clustering of faces in digital images
US9239967B2 (en) * 2011-07-29 2016-01-19 Hewlett-Packard Development Company, L.P. Incremental image clustering
CN103886048B (en) * 2014-03-13 2017-04-26 浙江大学 Cluster-based increment digital book recommendation method
US11176206B2 (en) * 2015-12-01 2021-11-16 International Business Machines Corporation Incremental generation of models with dynamic clustering
CN107798354B (en) * 2017-11-16 2022-11-01 腾讯科技(深圳)有限公司 Image clustering method and device based on face image and storage equipment
CN109886311B (en) * 2019-01-25 2021-08-20 北京奇艺世纪科技有限公司 Incremental clustering method and device, electronic equipment and computer readable medium
CN111062407B (en) * 2019-10-15 2023-12-19 深圳市商汤科技有限公司 Image processing method and device, electronic equipment and storage medium
CN110781957B (en) * 2019-10-24 2023-05-30 深圳市商汤科技有限公司 Image processing method and device, electronic equipment and storage medium
CN110866555A (en) * 2019-11-11 2020-03-06 广州国音智能科技有限公司 Incremental data clustering method, device and equipment and readable storage medium
CN111242040B (en) * 2020-01-15 2022-08-02 佳都科技集团股份有限公司 Dynamic face clustering method, device, equipment and storage medium
CN111460153B (en) * 2020-03-27 2023-09-22 深圳价值在线信息科技股份有限公司 Hot topic extraction method, device, terminal equipment and storage medium

Also Published As

Publication number Publication date
TW202217597A (en) 2022-05-01
CN112257801A (en) 2021-01-22
WO2022088390A1 (en) 2022-05-05
CN112257801B (en) 2022-04-29
KR20220070482A (en) 2022-05-31

Similar Documents

Publication Publication Date Title
CN108132968B (en) Weak supervision learning method for associated semantic elements in web texts and images
JP2023502863A (en) Image incremental clustering method and apparatus, electronic device, storage medium and program product
Wu et al. A novel clustering method for static video summarization
CN105912611B (en) A kind of fast image retrieval method based on CNN
CN110866896B (en) Image saliency target detection method based on k-means and level set super-pixel segmentation
WO2013129580A1 (en) Approximate nearest neighbor search device, approximate nearest neighbor search method, and program
CN106780639B (en) Hash coding method based on significance characteristic sparse embedding and extreme learning machine
CN106157330B (en) Visual tracking method based on target joint appearance model
Xiao et al. mCLOUD: A multiview visual feature extraction mechanism for ground-based cloud image categorization
WO2023108995A1 (en) Vector similarity calculation method and apparatus, device and storage medium
CN110825894A (en) Data index establishing method, data index retrieving method, data index establishing device, data index retrieving device, data index establishing equipment and storage medium
CN109086830B (en) Typical correlation analysis near-duplicate video detection method based on sample punishment
CN108549696B (en) Time series data similarity query method based on memory calculation
CN113591529A (en) Action segmentation model processing method and device, computer equipment and storage medium
Gao et al. Key-frame selection for video summarization: An approach of multidimensional time series analysis
CN113657087B (en) Information matching method and device
CN111611228B (en) Load balancing adjustment method and device based on distributed database
CN113010705A (en) Label prediction method, device, equipment and storage medium
CN110209895B (en) Vector retrieval method, device and equipment
CN111709473A (en) Object feature clustering method and device
Guru et al. Cluster based approaches for keyframe selection in natural flower videos
CN115495606A (en) Image gathering method and system
CN113821657A (en) Artificial intelligence-based image processing model training method and image processing method
CN112800138A (en) Big data classification method and system
JP2017021606A (en) Method, device, and program for searching for dynamic images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220425

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230113