JP2022542127A - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

画像処理方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP2022542127A
JP2022542127A JP2022504708A JP2022504708A JP2022542127A JP 2022542127 A JP2022542127 A JP 2022542127A JP 2022504708 A JP2022504708 A JP 2022504708A JP 2022504708 A JP2022504708 A JP 2022504708A JP 2022542127 A JP2022542127 A JP 2022542127A
Authority
JP
Japan
Prior art keywords
image
features
images
cluster
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2022504708A
Other languages
English (en)
Inventor
チュイビー フアン
タオ モー
チュアン ヤン
チェンチョン クイン
ユハン チェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2022542127A publication Critical patent/JP2022542127A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本開示は、画像処理方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、複数の画像と、前記複数の画像にそれぞれ関連付けられ、前記画像内のオブジェクトの時空間データを決定するための第１のインデックスとを含む画像データセットを取得すること（Ｓ１０）と、前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得ること（Ｓ２０）と、得られた前記クラスタ内の画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトの時空間軌跡情報を決定すること（Ｓ３０）と、を含む。本開示の実施例によれば、オブジェクトの時空間軌跡を迅速かつ効果的に取得することができる。

Description

本願は、２０１９年８月１５日に中国国家知識産権局に提出された、出願番号が２０１９１０７５５６２８．５で、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本願に組み込まれる。
本開示は、コンピュータビジョン技術の分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。
安全な都市の建設に伴って、都市レベルの監視システムは毎日、大量の人の顔写真を撮影している。これらの顔データは、規模が大きく、時間や地域分布が広いなどの特徴を有する。
本開示は、画像処理の発明を提供する。
本開示の一側面によれば、複数の画像と、前記複数の画像にそれぞれ関連付けられ、前記画像内のオブジェクトの時空間データを決定するための第１のインデックスとを含む画像データセットを取得することと、前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得ることと、得られた前記クラスタ内の画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトの時空間軌跡情報を決定することと、を含む画像処理方法が提供される。
いくつかの可能な実施形態では、前記方法は、入力画像の画像特徴を取得することと、前記入力画像の画像特徴に対して量子化処理を実行して、前記入力画像の量子化特徴を得ることと、前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することと、をさらに含む。
いくつかの可能な実施形態では、前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することは、前記入力画像の量子化特徴と前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第３の類似度を取得することと、前記入力画像の量子化特徴との第３の類似度が高いものから順にＫ３（Ｋ３は１以上の整数）個のクラスタ中心を決定することと、前記入力画像の画像特徴と前記Ｋ３個のクラスタ中心の画像特徴との第４の類似度を取得することと、前記Ｋ３個のクラスタ中心のうちのいずれか一つのクラスタ中心の画像特徴と前記入力画像の画像特徴との第４の類似度が最も高くかつ当該第４の類似度が第３の閾値よりも大きいことに応じて、前記入力画像を前記いずれか一つのクラスタ中心に対応するクラスタに追加することと、を含む。
いくつかの可能な実施形態では、前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記クラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することはさらに、前記入力画像の画像特徴との第４の類似度が第３の閾値よりも大きいクラスタ中心が存在しないことに応じて、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて前記分散クラスタリング処理を実行して、少なくとも１つの新しいクラスタを得ることを含む。
いくつかの可能な実施形態では、前記第１のインデックスは、前記画像の収集時間、収集場所、前記画像を収集する画像収集装置の識別子及び前記画像収集装置の取付位置のうちの少なくとも１つを含む。
いくつかの可能な実施形態では、前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得ることは、前記画像データセット内の前記画像の画像特徴を並列分散的に取得することと、前記画像特徴に対して量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることと、前記画像データセット内の前記画像に対応する量子化特徴に基づいて、前記分散クラスタリング処理を実行して、前記少なくとも１つのクラスタを得ることと、を含む。
いくつかの可能な実施形態では、前記画像データセット内の前記画像の画像特徴を並列分散的に取得することは、前記画像データセット内の複数の前記画像をグループ化して、複数の画像グループを得ることと、前記複数の画像グループのそれぞれを、各特徴抽出モデルに入力される画像グループが異なるように複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを用いて、前記特徴抽出モデルに対応する画像グループ内の画像の特徴抽出処理を並列分散的に実行して、前記複数の画像の画像特徴を取得することと、を含む。
いくつかの可能な実施形態では、前記前記画像特徴に対して量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることは、前記複数の画像の画像特徴をグループ化処理して、少なくとも１つの画像の画像特徴を含む複数の第１のグループを得ることと、前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることと、を含む。
いくつかの可能な実施形態では、前記方法は、前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得る前に、前記複数の第１のグループのそれぞれに第２のインデックスを配置し、複数の第２のインデックスを得ることをさらに含み、前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることは、前記複数の第２のインデックスのそれぞれを、各量子化器に割り当てられる前記第２のインデックスが異なるように複数の量子化器に割り当てることと、前記複数の量子化器のそれぞれを用いて、割り当てられた前記第２のインデックスに対応する第１のグループ内の画像特徴の量子化処理を並列的に実行することと、を含む。
いくつかの可能な実施形態では、前記量子化処理は、直積量子化・符号化処理を含む。
いくつかの可能な実施形態では、前記画像データセット内の前記画像に対応する量子化特徴に基づいて、前記分散クラスタリング処理を実行して、前記少なくとも１つのクラスタを得ることは、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することと、前記第１の類似度に基づいて、前記いずれか一つの画像のＫ１近傍画像を決定し、前記Ｋ１近傍画像の量子化特徴は、前記いずれか一つの画像の量子化特徴との第１の類似度が高い順のＫ１（Ｋ１は１以上の整数）個の量子化特徴であることと、前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定することと、を含む。
いくつかの可能な実施形態では、前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定することは、前記Ｋ１近傍画像から、前記いずれか一つの画像の量子化特徴との第１の類似度が第１の閾値よりも大きい第１の画像セットを選択することと、前記第１の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することと、を含む。
いくつかの可能な実施形態では、前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定することは、前記いずれか一つの画像の画像特徴と前記いずれか一つの画像のＫ１近傍画像の画像特徴との第２の類似度を取得することと、前記第２の類似度に基づいて、前記いずれか一つの画像のＫ２（Ｋ２は１以上かつＫ１以下の整数）近傍画像を決定し、前記Ｋ２近傍画像の画像特徴は、前記Ｋ１近傍画像のうち前記いずれか一つの画像の画像特徴との第２の類似度が高い順のＫ２個の画像特徴であることと、前記Ｋ２近傍画像から、前記いずれか一つの画像の画像特徴との前記第２の類似度が第２の閾値よりも大きい第２の画像セットを選択することと、前記第２の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することと、含む。
いくつかの可能な実施形態では、前記方法は、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得する前に、前記画像データセット内の前記複数の画像の量子化特徴をグループ化処理して、少なくとも１つの画像の量子化特徴を含む複数の第２のグループを得ることとをさらに含み、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することは、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することを含む。
いくつかの可能な実施形態では、前記方法は、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得する前に、前記複数の第２のグループのそれぞれに第３のインデックスを配置して、複数の第３のインデックスを得ることをさらに含み、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することは、前記第３のインデックスに基づいて、前記第３のインデックスに対応する類似度演算タスクを構築し、前記類似度演算タスクは、前記第３のインデックスに対応する第２のグループ内の目標画像の量子化特徴と前記目標画像を除くすべての画像の量子化特徴との第１の類似度を取得することであることと、前記複数の第３のインデックスのそれぞれに対応する類似度取得タスクを並列分散的に実行することと、を含む。
いくつかの可能な実施形態では、前記方法は、前記分散クラスタリング処理によって得られた前記クラスタのクラスタ中心を決定することと、前記クラスタ中心に第４のインデックスを配置し、前記第４のインデックスと対応するクラスタ中心を関連付けて記憶することと、をさらに含む。
いくつかの可能な実施形態では、前記分散クラスタリング処理によって得られた前記クラスタのクラスタ中心を決定することは、前記少なくとも１つのクラスタ内の各画像の画像特徴の平均値に基づいて、前記クラスタのクラスタ中心を決定することを含む。
いくつかの可能な実施形態では、前記得られた前記クラスタ内の画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトの時空間軌跡情報を決定することは、前記クラスタ内の各画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトが出現する時間情報と位置情報を決定することと、前記時間情報と位置情報に基づいて、前記オブジェクトの時空間軌跡情報を決定することと、を含む。
いくつかの可能な実施形態では、前記方法は、身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定することをさらに含む。
いくつかの可能な実施形態では、前記身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定することは、前記身分特徴ライブラリ内の既知オブジェクトの量子化特徴を取得することと、前記既知オブジェクトの量子化特徴と前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第５の類似度を決定するとともに、前記クラスタ中心の量子化特徴との第５の類似度が高い順のＫ４個の既知オブジェクトの量子化特徴を決定することと、前記クラスタ中心の画像特徴と対応するＫ４個の既知オブジェクトの画像特徴との第６の類似度を取得することと、前記Ｋ４個の既知オブジェクトのうちの１つの既知オブジェクトの画像特徴と前記クラスタ中心の画像特徴との第６の類似度が最も高く、かつ当該第６の類似度が第４の閾値よりも大きいことに応じて、前記第６の類似度が最も高い前記１つの既知オブジェクトを前記クラスタ中心に対応するクラスタにマッチングすると決定することと、を含む。
いくつかの可能な実施形態では、前記身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定することはさらに、前記Ｋ４個の既知オブジェクトの画像特徴と対応するクラスタ中心の画像特徴との第６の類似度のすべてが前記第４の閾値よりも小さいことに応じて、前記既知オブジェクトにマッチングするクラスタが存在しないと決定することを含む。
本開示の第２の側面によれば、複数の画像と、前記複数の画像にそれぞれ関連付けられ、前記画像内のオブジェクトの時空間データを決定するための第１のインデックスとを含む画像データセットを取得するための取得モジュールと、前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得るためのクラスタリングモジュールと、得られた前記クラスタ内の画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトの時空間軌跡情報を決定するための決定モジュールと、を含む画像処理装置が提供される。
いくつかの可能な実施形態では、前記装置は、入力画像の画像特徴を取得することと、前記入力画像の画像特徴に対して量子化処理を実行して、前記入力画像の量子化特徴を得ることと、前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することとに用いられるインクリメンタルクラスタリングモジュールをさらに含む。
いくつかの可能な実施形態では、前記インクリメンタルクラスタリングモジュールはさらに、前記入力画像の量子化特徴と前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第３の類似度を取得することと、前記入力画像の量子化特徴との第３の類似度が高いものから順にＫ３個のクラスタ中心を決定することと、前記入力画像の画像特徴と前記Ｋ３個のクラスタ中心の画像特徴との第４の類似度を取得することと、前記Ｋ３個（Ｋ３は１以上の整数）のクラスタ中心のうちのいずれか一つのクラスタ中心の画像特徴と前記入力画像の画像特徴との第４の類似度が最も高く、かつ当該第４の類似度が第３の閾値よりも大きい場合、前記入力画像を前記いずれか一つのクラスタ中心に対応するクラスタに追加することとに用いられる。
いくつかの可能な実施形態では、前記インクリメンタルクラスタリングモジュールはさらに、前記入力画像の画像特徴との第４の類似度が第３の閾値よりも大きいクラスタ中心が存在しない場合、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて前記分散クラスタリング処理を実行して、少なくとも１つの新しいクラスタを得ることに用いられる。
いくつかの可能な実施形態では、前記第１のインデックスは、前記画像の収集時間、収集場所、前記画像を収集する画像収集装置の識別子及び前記画像収集装置の取付位置のうちの少なくとも１つを含む。
いくつかの可能な実施形態では、前記クラスタリングモジュールは、前記画像データセット内の前記画像の画像特徴を並列分散的に取得するための第１の分散処理ユニットと、前記画像特徴に対して量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得るための第２の分散処理ユニットと、前記画像データセット内の前記画像に対応する量子化特徴に基づいて、前記分散クラスタリング処理を実行して、前記少なくとも１つのクラスタを得るためのクラスタリングユニットと、を含む。
いくつかの可能な実施形態では、前記第１の分散処理ユニットはさらに、前記画像データセット内の複数の前記画像をグループ化して、複数の画像グループを得ることと、前記複数の画像グループのそれぞれを、各特徴抽出モデルに入力される画像グループが異なるように複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを用いて、前記特徴抽出モデルに対応する画像グループ内の画像の特徴抽出処理を並列分散的に実行して、前記複数の画像の画像特徴を取得することとに用いられる。
いくつかの可能な実施形態では、前記第２の分散処理ユニットはさらに、前記複数の画像の画像特徴をグループ化処理して、少なくとも１つの画像の画像特徴を含む複数の第１のグループを得ることと、前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることとに用いられる。
いくつかの可能な実施形態では、前記第２の分散処理ユニットはさらに、前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得る前に、前記複数の第１のグループのそれぞれに第２のインデックスを配置し、複数の第２のインデックスを得ることと、前記複数の第２のインデックスのそれぞれを、各量子化器に割り当てられる前記第２のインデックスが異なるように複数の量子化器に割り当てることと、前記複数の量子化器のそれぞれを用いて、割り当てられた前記第２のインデックスに対応する第１のグループ内の画像特徴の量子化処理を並列的に実行することとに用いられる。
いくつかの可能な実施形態では、前記量子化処理は、直積量子化・符号化処理を含む。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することと、前記第１の類似度に基づいて、前記いずれか一つの画像のＫ１近傍画像を決定し、前記Ｋ１近傍画像の量子化特徴は、前記いずれか一つの画像の量子化特徴との第１の類似度が高い順のＫ１（Ｋ１は１以上の整数）個の量子化特徴であることと、前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定することとに用いられる。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記Ｋ１近傍画像から、前記いずれか一つの画像の量子化特徴との第１の類似度が第１の閾値よりも大きい第１の画像セットを選択することと、前記第１の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することとに用いられる。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記いずれか一つの画像の画像特徴と前記いずれか一つの画像のＫ１近傍画像の画像特徴との第２の類似度を取得することと、前記第２の類似度に基づいて、前記いずれか一つの画像のＫ２（Ｋ２は１以上かつＫ１以下の整数）近傍画像を決定し、前記Ｋ２近傍画像の画像特徴は、前記Ｋ１近傍画像のうち前記いずれか一つの画像の画像特徴との第２の類似度が高い順のＫ２個の画像特徴であることと、前記Ｋ２近傍画像から、前記いずれか一つの画像の画像特徴との前記第２の類似度が第２の閾値よりも大きい第２の画像セットを選択することと、前記第２の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することとに用いられる。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得する前に、前記画像データセット内の前記複数の画像の量子化特徴をグループ化処理して、少なくとも１つの画像の量子化特徴を含む複数の第２のグループを得ることに用いられ、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することは、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することを含む。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得する前に、前記複数の第２のグループのそれぞれに第３のインデックスを配置して、複数の第３のインデックスを得ることに用いられ、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することは、前記第３のインデックスに基づいて、前記第３のインデックスに対応する類似度演算タスクを構築し、前記類似度演算タスクは、前記第３のインデックスに対応する第２のグループ内の目標画像の量子化特徴と前記目標画像を除くすべての画像の量子化特徴との第１の類似度を取得することであることと、前記複数の第３のインデックスのそれぞれに対応する類似度取得タスクを並列分散的に実行することと、を含む。
いくつかの可能な実施形態では、前記クラスタ中心決定モジュールは、前記分散クラスタリング処理によって得られた前記クラスタのクラスタ中心を決定することと、前記クラスタ中心に第４のインデックスを配置し、前記第４のインデックスと対応するクラスタ中心を関連付けて記憶することとに用いられる。
いくつかの可能な実施形態では、前記クラスタ中心決定モジュールはさらに、前記少なくとも１つのクラスタ内の各画像の画像特徴の平均値に基づいて、前記クラスタのクラスタ中心を決定することに用いられる。
いくつかの可能な実施形態では、前記決定モジュールはさらに、前記クラスタ内の各画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトが出現する時間情報と位置情報を決定することと、前記時間情報と位置情報に基づいて、前記オブジェクトの時空間軌跡情報を決定することとに用いられる。
いくつかの可能な実施形態では、前記装置は、身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定するための身分決定モジュールをさらに含む。
いくつかの可能な実施形態では、前記身分決定モジュールはさらに、前記身分特徴ライブラリ内の既知オブジェクトの量子化特徴を取得することと、前記既知オブジェクトの量子化特徴と前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第５の類似度を決定するとともに、前記クラスタ中心の量子化特徴との第５の類似度が高い順のＫ４個の既知オブジェクトの量子化特徴を決定することと、前記クラスタ中心の画像特徴と対応するＫ４個の既知オブジェクトの画像特徴との第６の類似度を取得することと、前記Ｋ４個の既知オブジェクトのうちの１つの既知オブジェクトの画像特徴と前記クラスタ中心の画像特徴との第６の類似度が最も高く、かつ当該第６の類似度が第４の閾値よりも大きい場合、前記第６の類似度が最も高い前記１つの既知オブジェクトを前記クラスタ中心に対応するクラスタにマッチングすると決定することとに用いられる。
いくつかの可能な実施形態では、前記身分決定モジュールはさらに、前記Ｋ４個の既知オブジェクトの画像特徴と対応するクラスタ中心の画像特徴との第６の類似度のすべてが前記第４の閾値よりも小さい場合、前記既知オブジェクトにマッチングするクラスタが存在しないと決定することに用いられる。
本開示の第３の側面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、第１の側面のいずれか１項に記載の方法を実行するように構成される電子機器が提供される。
本開示の第４の側面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、第１の側面のいずれか１項に記載の方法を実現するコンピュータ読み取り可能な記憶媒体が提供される。
本開示の第５の側面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサは、第１の側面のいずれか１項に記載の方法を実現するための命令を実行するコンピュータプログラムが提供される。
本開示の実施例では、各画像に、対応するインデックス情報を配置し、画像内のオブジェクトの時空間データを決定することができる。この配置に基づいて、異なるオブジェクトの時空間軌跡の解析を実現することができる。画像データセット内の画像に対して分散クラスタリングを行った後、各オブジェクトに対応する画像セット（１つのクラスタは１つのオブジェクトの画像セットに相当する）を得ることができ、当該クラスタ内の各画像に関連付けられたインデックス情報（第１のインデックス）によって当該クラスタに対応するオブジェクトの時空間軌跡情報を得ることができるため、異なるオブジェクトの軌跡解析が実現される。また、本開示の実施例では、分散クラスタリング方法を用いることにより、クラスタリング効率を向上させることができるため、オブジェクトの時空間軌跡を迅速かつ効果的に取得することができる。
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。
以下、図面を参照しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び側面は明瞭になる。
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
本開示の実施例に係る画像処理方法のフローチャートを示す。 本開示の実施例に係る画像処理方法におけるステップＳ２０のフローチャートを示す。 本開示の実施例に係る画像処理方法におけるステップＳ２１のフローチャートを示す。 本開示の実施例に係る画像処理方法におけるステップＳ２２のフローチャートを示す。 本開示の実施例に係る画像処理方法におけるステップＳ２３のフローチャートを示す。 本開示の実施例に係る画像処理方法におけるステップＳ２３３のフローチャートを示す。 本開示の実施例に係る画像処理方法におけるステップＳ２３３の別のフローチャートを示す。 本開示の実施例に係る画像処理方法におけるクラスタインクリメンタル処理を実行するフローチャートを示す。 本開示の実施例に係る画像処理方法におけるステップＳ４３のフローチャートを示す。 本開示の実施例に係る画像処理方法におけるクラスタがマッチングするオブジェクトの身分を決定するフローチャートを示す。 本開示の実施例に係る画像処理装置のブロック図を示す。 本開示の実施例に係る電子機器のブロック図を示す。 本開示の実施例に係る別の電子機器のブロック図を示す。
以下、図面を参照しながら本開示の様々な例示的な実施例、特徴および側面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な側面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましいまたは優れるものであると理解すべきではない。
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。
さらに、本開示では、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムが提供される。これらはいずれも本開示に係る画像処理方法のいずれか１つを実現するために利用できる。対応する技術的解決手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。
本開示の実施例に係る画像処理方法は、任意の画像処理装置に適用することができる。例えば、画像処理方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置などの端末装置、サーバ又は他の処理装置により実行されてもよい。本開示では、これについて一々例を挙げて説明しない。また、いくつかの可能な実施形態では、この画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことで実現されてもよい。
以下、本開示の実施例を詳しく説明する。図１は、本開示の実施例に係る画像処理方法のフローチャートを示す。図１に示すように、前記画像処理方法は、以下のステップを含むことができる。
Ｓ１０：複数の画像と、前記複数の画像にそれぞれ関連付けられ、前記画像内のオブジェクトの時空間データを決定するための第１のインデックスとを含む画像データセットを取得する。
いくつかの可能な実施形態では、画像データセットは、画像収集装置によって収集して取得可能な複数の画像を含むことができる。また、各画像は、同じ画像収集装置によって収集されてもよいし、異なる画像収集装置によって収集されてもよい。本開示では、これについて具体的に限定されない。例えば街、デパート、セキュリティ分野、家、団地や他のエリアに画像収集装置を配置し、配置された画像収集装置によって対応する場所内の画像を収集することができる。本開示の実施例に係る画像は、少なくとも１つの画像収集装置によって収集された画像であってもよい。画像収集装置は、携帯電話、カメラや画像を収集できる他の装置であってもよい。本開示では、これについて一々例を挙げて説明しない。
いくつかの可能な実施形態では、本開示の実施例に係る画像データセット内の画像は、同じ種類のオブジェクト、例えば人物オブジェクトを含むことができる。本開示の実施例に係る画像処理方法によれば、同じ人物オブジェクトの時空間軌跡情報を取得することができる。また、他の実施例では、画像データセット内の画像は、動物などの他の種類のオブジェクトを含むこともできるため、同じ動物の時空間軌跡を決定することができる。本開示では、画像内のオブジェクトの種類について具体的に限定されない。
いくつかの可能な実施形態では、画像データセットを取得する方法としては、画像収集装置に直接接続して、収集された画像を受信することを含んでもよいし、サーバ又は他の電子機器に接続することによって、サーバ又は他の電子機器から送信された画像を受信することを含んでもよい。また、本開示の実施例に係る画像データセット内の画像は、前処理された画像であってもよい。例えば、この前処理は、収集された画像から人の顔を含む画像（顔画像）を切り取ったり、収集された画像から信号対雑音比が低い画像、ぼやけている画像、あるいは人物オブジェクトを含まない画像を削除したりすることができる。以上は例示的な説明に過ぎず、本開示では、画像データセットを取得する具体的な方法について限定されない。
いくつかの可能な実施形態では、画像データセットはさらに、各画像に関連付けられ、画像に対応する時間データ及び空間位置データのうちの少なくとも１つを含む時空間データを決定するための第１のインデックスを含む。例えば、第１のインデックスは、画像の収集時間、収集場所、画像を収集する画像収集装置の識別子及び画像収集装置の取付位置のうちの少なくとも１つを含むことができる。したがって、画像に関連付けられた第１のインデックスによって、画像内のオブジェクトの出現時間、場所などの時空間データ情報を決定することができる。
いくつかの可能な実施形態では、画像収集装置は、画像を収集して収集された画像を送信する際に、さらに当該画像の第１のインデックスを送信し、例えば画像の収集時間、画像の収集場所、画像を収集する画像収集装置（例えばカメラ）の識別子などの情報を送信することができる。画像及び第１のインデックスを受信した後、当該画像と対応する第１のインデックスを関連付けて記憶し、例えばデータベースに記憶することができる。このデータベースは、ローカルデータベースであってもよいし、クラウドデータベースであってもよい。
Ｓ２０：前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得る。
いくつかの可能な実施形態では、画像データセットを取得した後、当該画像データセット内の複数の画像に対して分散クラスタリング処理を実行することができる。画像データセット内の画像は、同じオブジェクトの画像であってもよいし、異なるオブジェクトの画像であってもよい。本開示の実施例では、画像に対して分散クラスタリング処理を行って、複数のクラスタを得ることができる。得られた各クラスタ内の画像は、同じオブジェクトの画像を含む。分散クラスタリング処理によってクラスタリング処理を同時に並列的に実行することができるため、クラスタリング精度が確保された上で、クラスタリング効率がさらに向上される。
いくつかの可能な実施形態では、画像データセット内の画像に対応する特徴情報間の類似度に基づいて、２つの画像が同じオブジェクトを含むか否かを決定することができる。例えば、画像内の人物オブジェクトの顔特徴を抽出して、任意の２つの画像の顔特徴間の類似度を決定し、類似度が閾値よりも大きい２つの画像を、同じオブジェクトを含む画像として決定することができる。これにより、この２つの画像がクラスタリングされて、クラスタリング結果が得られる。また、他の実施例では、各画像の顔特徴のＫ近傍の顔特徴（類似度が最も高いＫ個の顔特徴、Ｋは１以上の整数）を決定し、当該Ｋ近傍の顔特徴から類似度が閾値よりも大きい顔特徴を決定することができる。また、他の方法によってクラスタリング処理を実行することもできる。
Ｓ３０：得られたクラスタ内の各画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトの時空間軌跡情報を決定する。
いくつかの可能な実施形態では、得られた各クラスタに含まれる画像は、同じオブジェクトの画像であるため、このクラスタ内の画像に関連付けられた第１のインデックスに基づいて、このクラスタに対応するオブジェクトの出現時間、位置などの情報を決定することができる。各オブジェクトの時間情報と位置情報によって、このオブジェクトに関する時空間軌跡情報を形成することができる。例えば、時間と位置座標系を確立し、１つのクラスタ内の各画像の第１のインデックスに基づいて、この座標系にオブジェクトの出現時間、場所などの情報を示すことができるため、このオブジェクトの時空間軌跡を直感的に示すことができる。
上記配置によれば、本開示の実施例では、分散クラスタリングのクラスタリング結果に基づいて、各クラスタ内の各画像に関連付けられた第１のインデックスによって、当該クラスタに対応するオブジェクトの時空間軌跡情報を得ることができる。本開示の実施例では、データ内の潜在的な軌跡情報を効果的に掘り起こし、データの価値及びこれらのデータの背後に依存するリソース投入を十分に利用することができる。そして、本開示の実施例では、分散クラスタリングというクラスタリング方法によって、クラスタリング処理速度を向上させることができる。
以下、図面を参照しながら本開示の実施例を詳しく説明する。画像データセットを得た後、画像データセット内の画像に対してクラスタリング処理を実行することができる。図２は、本開示の実施例に係る画像処理方法におけるステップＳ２０のフローチャートを示す。前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得ること（ステップＳ２０）は、
Ｓ２１：前記画像データセット内の前記画像の画像特徴を並列分散的に取得することと、
Ｓ２２：前記画像特徴に対して量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることと、
Ｓ２３：前記画像データセット内の前記画像に対応する量子化特徴に基づいて、前記分散クラスタリング処理を実行して、前記少なくとも１つのクラスタを得ることと、を含むことができる。
いくつかの可能な実施形態では、画像は、顔画像であってもよく、対応する画像特徴は、対応する顔特徴である。ステップＳ２１において、画像の画像特徴を取得する際に、特徴抽出アルゴリズムによって画像の画像特徴を抽出してもよいし、トレーニングにより特徴抽出を実行できるニューラルネットワークを介して当該画像特徴の抽出を実行してもよい。特徴抽出アルゴリズムは、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ、以下、ＰＣＡという）、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ、以下、ＬＤＡという）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、以下、ＩＣＡという）などのアルゴリズムのうちの少なくとも１つを含んでもよいし、顔領域を認識できるとともに顔領域の特徴を得ることができる他のアルゴリズムを用いてもよい。ニューラルネットワークは、ＶＧＧネットワーク（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ Ｎｅｔｗｏｒｋ）などの畳み込みニューラルネットワークであってもよい。畳み込みニューラルネットワークを介して画像に対して畳み込み処理を行って、画像の顔領域の特徴である顔特徴を得る。本開示の実施例では、特徴抽出アルゴリズム及び特徴を抽出するニューラルネットワークについて具体的に限定されず、顔特徴（画像特徴）の抽出を実現できれば、本開示の実施例とすることができる。
また、いくつかの可能な実施形態では、画像特徴の抽出速度を向上させるために、各画像の画像特徴を並列分散的に抽出することができる。
図３は、本開示の実施例に係る画像処理方法におけるステップＳ２１のフローチャートを示す。前記画像データセット内の前記画像の画像特徴を並列分散的に取得すること（ステップＳ２１）は、以下のステップを含むことができる。
Ｓ２１１：前記画像データセット内の複数の前記画像をグループ化して、複数の画像グループを得る。
いくつかの可能な実施形態では、画像データセット内の複数の画像をグループ化し、少なくとも１つの画像を含むことができる複数の画像グループを得ることができる。画像をグループ化する方法は、平均グループ化又はランダムグループ化を含むことができる。得られた画像グループの数は、予め設定された数であってもよく、この数は、以下の特徴抽出モデルの数以下であってもよい。
Ｓ２１２：前記複数の画像グループのそれぞれを、各特徴抽出モデルに入力される画像グループが異なるように複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを用いて、前記特徴抽出モデルに対応する画像グループ内の画像の特徴抽出処理を並列分散的に実行して、前記複数の画像の画像特徴を取得する。
いくつかの可能な実施形態では、得られた複数の画像グループに基づいて、特徴抽出の分散並列処理プロセスを実行することができる。得られた複数の画像グループのそれぞれを特徴抽出モデルのそれぞれに割り当て、特徴抽出モデルを用いて、割り当てられた画像グループ内の画像の特徴抽出処理を実行し、対応する画像の画像特徴を得ることができる。
いくつかの可能な実施形態では、特徴抽出モデルは、上記特徴抽出アルゴリズムを用いて特徴抽出処理を実行してもよいし、特徴抽出モデルは、上記特徴抽出ニューラルネットワークとして構成されて画像特徴を得てもよい。本開示では、これについて具体的に限定されない。
いくつかの可能な実施形態では、複数の特徴抽出モデルを用いて各画像グループの特徴抽出を並列分散的に実行することができる。例えば、各特徴抽出モデルは、１つ以上の画像グループの画像特徴抽出を同時に実行することができるため、特徴抽出の速度を向上させることができる。
いくつかの可能な実施形態では、画像の画像特徴を得た後、画像の第１のインデックスと画像特徴を関連付けて記憶し、第１のインデックスと画像特徴とのマッピング関係を確立し、当該マッピング関係をデータベースに記憶することができる。例えば、監視されたリアルタイム画像ストリームは、フロントエンドの分散特徴抽出モジュール（特徴抽出モデル）に入力することができる。この分散特徴抽出モジュールによって画像特徴を抽出した後、この画像特徴を永続的特徴の形態で時空間情報に基づく特徴データベースに記憶する。すなわち、第１のインデックスと画像特徴を永続的特徴の形態で特徴データベースに記憶する。データベースでは、この永続的特徴は、インデックス構造で記憶され、永続的特徴のデータベースにおける第１のインデックスｋｅｙは、Ｒｅｇｉｏｎ ｉｄ、Ｃａｍｅｒａ ｉｄｘ、Ｃａｐｔｕｒｅｄ ｔｉｍｅ及びＳｅｑｕｅｎｃｅ ｉｄを含むことができる。Ｒｅｇｉｏｎ ｉｄは、カメラ領域の識別子であり、Ｃａｍｅｒａ ｉｄｘは、領域内のカメラｉｄであり、Ｃａｐｔｕｒｅｄ ｔｉｍｅは、画像の収集時間であり、Ｓｅｑｕｅｎｃｅ ｉｄは、重複排除に使用できる自己増加シーケンス識別子（例えば順次配列された数字などの識別子）であり、第１のインデックスは、各画像特徴の唯一の識別子を構成し、画像特徴の時空間情報を含めることができる。第１のインデックスと対応する画像特徴を関連付けて記憶することにより、各画像の画像特徴（永続的特徴）を容易に取得することができるとともに、画像内のオブジェクトの時空間データ情報（時間と位置）を取得することができる。
いくつかの可能な実施形態では、画像の画像特徴を得た後、画像に対して量子化処理を実行し、各画像に対応する量子化特徴を得ることができる。すなわち、ステップＳ２２を実行することができる。本開示の実施例では、直積量子化（Ｐｒｏｄｕｃｔ ｑｕａｎｔｉｚａｔｉｏｎ、以下、ＰＱという）符号化を用いて画像データセット内の各画像の画像特徴に対応する量子化特徴を得ることができる。例えば、ＰＱ量子化器によって当該量子化処理を実行する。ＰＱ量子化器によって量子化処理を実行するプロセスは、画像特徴のベクトル空間を複数の低次元ベクトル空間に分解するデカルト積を含み、分解して得られた低次元ベクトル空間をそれぞれ量子化することにより、各画像特徴は、複数の低次元空間の量子化組み合せ表現を有することになり、すなわち、量子化特徴を得ることができる。本開示では、ＰＱ符号化の具体的なプロセスについて具体的に説明しない。当業者は、従来の技術的手段によって当該量子化プロセスを実現することができる。量子化処理によって画像特徴のデータ圧縮を実現することができる。例えば、本開示の実施例では、画像の画像特徴の次元はＮであってもよく、各次元のデータはｆｌｏａｔ３２浮動小数点数（すなわち、３２ビット浮動小数点数）であってもよい。量子化処理によって得られた量子化特徴の次元はＮであってもよく、各次元のデータはｈａｌｆ浮動小数点数（すなわち、半精度浮動小数点数）であってもよい。すなわち、量子化処理によって特徴のデータ量を低減することができる。
いくつかの可能な実施形態では、１つの量子化器によってすべての画像特徴の量子化処理を実行してもよいし、複数の量子化器によって画像特徴の量子化処理を実行してもよい。すなわち、少なくとも１つの量子化器によってすべての画像の画像特徴に対して量子化処理を実行し、すべての画像に対応する量子化特徴を得ることができる。複数の量子化器によって画像特徴の量子化処理を実行する場合、並列分散的な実行方法を用いて、処理速度を向上させることができる。
以下、量子化処理及びクラスタリング処理のプロセスについて詳しく説明する。上記実施例で説明したように、量子化特徴の取得プロセスを高速化するために、本開示の実施例では、並列分散的な実行方法を用いて前記量子化処理を実行することができる。図４は、本開示の実施例に係る画像処理方法におけるステップＳ２２のフローチャートを示す。前記前記画像特徴に対して量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることは、以下のステップを含むことができる。
Ｓ２２１：前記複数の画像の画像特徴をグループ化処理して、少なくとも１つの画像の画像特徴を含む複数の第１のグループを得る。
本開示の実施例では、画像特徴をグループ化し、各グループの画像特徴の量子化処理を並列分散的に実行し、対応する量子化特徴を得ることができる。複数の量子化器によって画像データセットの画像特徴の量子化処理を実行する場合、当該複数の量子化器を用いて、異なる画像の画像特徴の量子化処理を並列分散的に実行することができるため、量子化処理に必要とされる時間を短縮し、演算速度を向上させることができる。
各画像特徴の量子化処理を並列的に実行する際、画像特徴を複数のグループ（複数の第１のグループ）に分けることができる。当該第１のグループは、上記画像のグループ（画像グループ）と同じであってもよい。すなわち、画像をグループ化する方法によって画像特徴を対応する数のグループに分ける。つまり、得られた画像グループの画像特徴に基づいて画像特徴のグループを直接決定してもよいし、複数の第１のグループを再形成してもよい。本開示では、これについて具体的に限定されない。各第１のグループは、少なくとも１つの画像の画像特徴を含む。本開示では、第１のグループの数について具体的に限定されず、量子化器の数、処理能力及び画像の数に基づいて総合的に決定することができる。当業者は、実際の必要に応じてニューラルネットワークを決定することができる。
また、本開示の実施例では、前記複数の画像の画像特徴をグループ化処理する方法としては、前記複数の画像の画像特徴に対して平均グループ化を実行するか、又は、ランダムグループ化方法を用いて前記複数の画像の画像特徴に対してグループ化を実行することを含むことができる。すなわち、本開示の実施例では、グループの数に応じて画像データセット内の各画像の画像特徴に対して平均グループ化を行ってもよいし、ランダムにグループ化して、複数の第１のグループを得てもよい。複数の画像の画像特徴を複数の第１のグループに分けることができれば、本開示の実施例とすることができる。
いくつかの可能な実施形態では、画像特徴をグループ化して複数の第１のグループを得る場合、さらに各第１のグループに識別子（例えば第２のインデックス）を割り当て、第２のインデックスと第１のグループを関連付けて記憶することができる。例えば、画像データセットの各画像特徴は、画像特徴ライブラリＴ（特徴データベース）として形成し、画像特徴ライブラリＴ内の画像特徴をグループ化し（シャーディング）、ｎ個の第１のグループ｛Ｓ１、Ｓ２、・・・Ｓｎ｝を得ることができる。ここで、Ｓｉは、ｉ個目の第１のグループを表し、ｉは１以上かつｎ以下の整数であり、ｎは、第１のグループの数を表し、ｎは、１以上の整数である。各第１のグループは、少なくとも１つの画像の画像特徴を含むことができる。各第１のグループを容易に区別し、量子化処理を容易にするために、各第１のグループに、対応する第２のインデックス｛Ｉ１１、Ｉ１２、・・・Ｉ１ｎ｝を割り当てることができる。第１のグループＳｉの第１のインデックスは、Ｉ１ｉであってもよい。
Ｓ２２２：前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得る。
いくつかの可能な実施形態では、画像特徴をグループ化して複数の（少なくとも２つの）第１のグループを得た後、各第１のグループ内の画像特徴の量子化処理をそれぞれ並列的に実行することができる。例えば、複数の量子化器によって当該量子化処理を実行し、各量子化器は、１つ以上の第１のグループの画像特徴の量子化処理を実行することができるため、処理速度を向上させることができる。
いくつかの可能な実施形態では、各第１のグループの第２のインデックスに基づいて、各量子化器に、対応する量子化処理タスクを割り当てることもできる。すなわち、各第１のグループの第２のインデックスのそれぞれを、各量子化器に割り当てられる第２のインデックスが異なるように複数の量子化器に割り当てることができる。量子化器によって割り当てられた第２のインデックスに対応する量子化処理タスクをそれぞれ並列的に実行し、すなわち、対応する第１のグループ内の画像特徴の量子化処理を実行する。
また、量子化処理速度をさらに向上させるために、量子化器の数を第２のグループ化の数以上とすることができる。一方、各量子化器に、多くとも１つの第２のインデックスを割り当てることができる。すなわち、各量子化器は、１つの第２のインデックスに対応する第１のグループ内の画像特徴の量子化処理しか実行できない。しかしながら、上述したものは、本開示の実施例の具体的な限定にならない。グループの数、量子化器の数、及び各量子化器に割り当てられた第１のインデックスの数は、異なる必要に応じて設定することができる。
上記実施例で説明したように、量子化処理は、画像特徴のデータ量を低減することができる。本開示の実施例では、量子化処理は、直積量子化（Ｐｒｏｄｕｃｔ ｑｕａｎｔｉｚａｔｉｏｎ、以下、ＰＱという）符号化処理であってもよい。例えば、ＰＱ量子化器によって当該量子化処理を実行する。量子化処理によって画像特徴のデータ圧縮を実現することができる。例えば、本開示の実施例では、画像の画像特徴の次元はＮであってもよく、各次元のデータはｆｌｏａｔ３２浮動小数点数であってもよい。量子化処理によって得られた量子化特徴の次元はＮであってもよく、各次元のデータはｈａｌｆ浮動小数点数であってもよい。すなわち、量子化処理によって画像特徴のデータ量を低減することができる。
上記実施例によれば、量子化処理を並列分散的に実行することができるため、量子化処理の速度を向上させることができる。
画像データセット内の画像の量子化特徴を得た後、量子化特徴と第１のインデックスを関連付けて記憶することにより、第１のインデックス、第２のインデックス、画像、画像特徴及び量子化特徴を関連付けて記憶することができるため、データの読み取りと呼び出しが容易になる。
また、画像の量子化特徴を得た場合、各画像の量子化特徴を用いて当該画像データセットに対してクラスタリング処理を実行することができ、すなわち、ステップＳ２３を実行することができる。画像データセット内の画像は、同じオブジェクトの画像であってもよいし、異なるオブジェクトの画像であってもよい。本開示の実施例では、画像に対してクラスタリング処理を行って、複数のクラスタを得ることができる。得られた各クラスタ内の画像は、同じオブジェクトの画像である。
図５は、本開示の実施例に係る画像処理方法におけるステップＳ２３のフローチャートを示す。前記画像データセット内の前記画像に対応する量子化特徴に基づいて、前記分散クラスタリング処理を実行して、前記少なくとも１つのクラスタを得ること（ステップＳ２３）は、以下のステップを含むことができる。
Ｓ２３１：前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得する。
いくつかの可能な実施形態では、画像の画像特徴に対応する量子化特徴を得た後、量子化特徴に基づいて画像のクラスタリング処理を実行し、すなわち、同じオブジェクトのクラスタ（同じ身分を有するオブジェクトのクラスタ）を得ることができる。本開示の実施例では、まず、任意の２つの量子化特徴間の第１の類似度を得ることができ、第１の類似度は、余弦類似度であってもよい。他の実施例では、他の方法によって量子化特徴間の第１の類似度を決定することもできる。本開示では、これについて具体的に限定されない。
いくつかの可能な実施形態では、１つの演算器によって任意の２つの量子化特徴間の第１の類似度を算出してもよいし、複数の演算器によって各量子化特徴間の第１の類似度を並列分散的に算出してもよい。複数の演算器によって演算を並列的に実行することにより、演算速度を向上させることができる。
同様に、本開示の実施例では、さらに量子化特徴のグループに基づいて各グループの量子化特徴と残りの量子化特徴との第１の類似度を分散的に実行することができる。各画像の量子化特徴をグループ化し、複数の第２のグループを得ることができ、各第２のグループは、少なくとも１つの画像の量子化特徴を含む。直接第１のグループに基づいて第２のグループを決定することができる。すなわち、第１のグループの画像特徴に基づいて対応する量子化特徴を決定し、第１のグループ内の画像特徴に対応する量子化特徴に基づいて第２のグループを直接形成することができる。あるいは、各画像の量子化特徴に基づいて再グループ化し、複数の第２のグループを得ることもできる。同様に、当該グループ化の方法は、平均グループ化であってもよいし、ランダムグループ化であってもよい。本開示では、これについて具体的に限定されない。
複数の第２のグループを得た後、各第２のグループに第３のインデックスを配置して、複数の第３のインデックスを得ることもできる。第３のインデックスによって各第２のグループを区別することができるとともに、第３のインデックスと第２のグループを関連付けて記憶することもできる。例えば、画像データセットの各画像の量子化特徴は、量子化特徴ライブラリＬとして形成することができるし、量子化特徴を上記画像特徴ライブラリＴに関連付けて記憶することもできる。量子化特徴を画像、画像特徴、第１のインデックス、第２のインデックス、第３のインデックスに対応して関連付けて記憶することができる。量子化特徴ライブラリＬ内の量子化特徴をグループ化（シャーディング）することにより、ｍ個の第２のグループ｛Ｌ１、Ｌ２、・・・Ｌｍ｝を得ることができる。ここで、Ｌｊは、ｊ個目の第２のグループを表し、ｊは、１以上かつｍ以下の整数であり、ｍは、第２のグループの数を表し、ｍは、１以上の整数である。各第２のグループを容易に区別し、クラスタリング処理を容易にするために、各第２のグループに、対応する第３のインデックス｛Ｉ２１、Ｉ２２、・・・Ｉ２ｍ｝を割り当てることができる。第２のグループＬｊの第３のインデックスは、Ｉ２ｊであってもよい。
複数の第２のグループを得た後、複数の演算器によって当該複数の第２のグループ内の量子化特徴と残りの量子化特徴との第１の類似度をそれぞれ実行することができる。画像データセットのデータ量は非常に大きい可能性があるため、複数の演算器によって各第２のグループ内のいずれか１つの量子化特徴と残りのすべての量子化特徴との第１の類似度を並列的に実行することができる。
いくつかの可能な実施形態では、複数の演算器を含むことができる。当該演算器は、例えばＣＰＵ、プロセッサ、シングルチップマイクロコンピュータなどの演算処理機能を有する任意の電子デバイスであってもよい。本開示では、これについて具体的に限定されない。各演算器は、１つ以上の第２のグループ内の各量子化特徴と残りのすべての画像の量子化特徴との第１の類似度を算出することができるため、処理速度を向上させることができる。
いくつかの可能な実施形態では、各第２のグループの第３のインデックスに基づいて、各演算器に対応する類似度演算タスクを割り当てることもできる。すなわち、各第２のグループの第３のインデックスをそれぞれ複数の演算器に割り当てることができ、各演算器に割り当てられた第３のインデックスは異なる。演算器によって割り当てられた第３のインデックスに対応する類似度演算タスクをそれぞれ並列的に実行し、類似度演算タスクは、第３のインデックスに対応する第２のグループ内の画像の量子化特徴と当該画像を除くすべての画像の量子化特徴との第１の類似度を取得することである。複数の演算器の並列的な実行により、任意の２つの画像の量子化特徴間の第１の類似度を迅速に得ることができる。
また、類似度演算速度をさらに向上させるために、演算器の数を第２のグループの数以上とすることができる。一方、各演算器に多くとも１つの第３のインデックスを割り当てることができ、各演算器は、１つの第３のインデックスに対応する第２のグループ内の量子化特徴と残りの量子化特徴との第１の類似度演算しか実行できない。しかしながら、上述したものは、本開示の実施例の具体的な限定にならない。グループの数、演算器の数、及び各演算器に割り当てられた第３のインデックスの数は、異なる必要に応じて設定することができる。
Ｓ２３２：前記第１の類似度に基づいて、前記いずれか一つの画像のＫ１近傍画像を決定し、前記Ｋ１近傍画像の量子化特徴は、前記いずれか一つの画像の量子化特徴との第１の類似度が高い順のＫ１（Ｋ１は１以上の整数）個の量子化特徴である。
任意の２つの量子化特徴間の第１の類似度を得た後、いずれか一つの画像のＫ１近傍画像、すなわち、いずれか一つの画像の量子化特徴との第１の類似度が高い順のＫ１個の量子化特徴に対応する画像を取得することができる。当該いずれか一つの画像と第１の類似度が高い順のＫ１個の量子化特徴に対応する画像は、同じオブジェクトを含み得る画像を表す近傍画像である。いずれかの量子化特徴の第１の類似度シーケンスを取得することができる。第１の類似度シーケンスは、当該いずれかの量子化特徴との類似度が高いものから低いものへ、または低いものから高いものへ配列される量子化特徴のシーケンスである。第１の類似度シーケンスを得た後、当該いずれかの量子化特徴との第１の類似度が高い順のＫ１個の量子化特徴を容易に決定し、さらにいずれか一つの画像のＫ１近傍画像を決定することができる。Ｋ１の数は、画像データセット内の画像の数に応じて決定することができ、例えば２０、３０であってもよい。また、他の実施例では、他の数値に設定してもよい。本開示では、これについて具体的に限定されない。
Ｓ２３３：前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定する。
いくつかの可能な実施形態では、各画像のＫ１近傍画像を得た後、後続のクラスタリング処理を実行することができる。例えば、Ｋ１近傍画像を直接用いてクラスタを得てもよいし、Ｋ１近傍画像の画像特徴に基づいてクラスタを得てもよい。図６は、本開示の実施例に係る画像処理方法におけるステップＳ２３３のフローチャートを示す。前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定すること（ステップＳ２３３）は、
Ｓ２３３０１：前記Ｋ１近傍画像から、前記いずれか一つの画像の量子化特徴との第１の類似度が第１の閾値よりも大きい第１の画像セットを選択することと、
Ｓ２３３０２：前記第１の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することと、を含むことができる。
いくつかの可能な実施形態では、各画像のＫ１近傍画像（量子化特徴の第１の類似度が高い順のＫ１個の画像）を得た後、各画像のＫ１近傍画像から第１の類似度が第１の閾値よりも大きい画像を直接選択し、選択された第１の類似度が第１の閾値よりも大きい画像によって第１の画像セットを形成する。第１の閾値は、設定された値であってもよく、例えば９０％であってもよいが、本開示の具体的な限定にならない。第１の閾値の設定により、いずれか一つの画像に最も近い画像を選択することができる。
いずれか一つの画像のＫ１近傍画像から第１の類似度が第１の閾値よりも大きい第１の画像セットを選択した後、当該いずれか一つの画像と選択された第１の画像セット内のすべての画像を第１の状態としてラベリングし、第１の状態にある画像に基づいて１つのクラスタを形成することができる。例えば、画像ＡのＫ１近傍画像から選択された第１の類似度が第１の閾値よりも大きい画像がＡ１とＡ２を含む第１の画像セットである場合、ＡをそれぞれＡ１、Ａ２とともに第１の状態としてラベリングすることができる。Ａ１のＫ１近傍画像から選択された第１の類似度が第１の閾値よりも大きい画像がＢ１を含む第１の画像セットである場合、Ａ１とＢ１を第１の状態としてラベリングすることができる。また、Ａ２のＫ１近傍画像には第１の類似度が第１の閾値よりも大きい画像が存在しない場合、Ａ２を第１の状態としてラベリングしない。以上により、Ａ、Ａ１、Ａ２、Ｂ１を１つのクラスタに分類することができる。すなわち、画像Ａ、Ａ１、Ａ２、Ｂ１には、同じオブジェクトが含まれている。
上記形態により、クラスタリング結果を容易に得ることができる。量子化特徴により画像特徴量が削減されるため、クラスタリング速度を向上させることができる。また、第１の閾値を設定することにより、クラスタリング精度を向上させることができる。
別のいくつかの可能な実施例では、画像特徴の類似度をさらに組み合わせてクラスタリング精度を向上させることができる。図７は、本開示の実施例に係る画像処理方法におけるステップＳ２３３の別のフローチャートを示す。前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定すること（ステップＳ２３３）はさらに、以下のステップを含むことができる。
Ｓ２３３１１：前記いずれか一つの画像の画像特徴と前記いずれか一つの画像のＫ１近傍画像の画像特徴との第２の類似度を取得する。
いくつかの可能な実施形態では、各画像のＫ１近傍画像（量子化特徴の第１の類似度が高い順のＫ１個の画像）を得た後、当該いずれか一つの画像の画像特徴とその対応するＫ１近傍画像の画像特徴との第２の類似度をさらに算出することができる。つまり、いずれか一つの画像のＫ１近傍画像を得た後、当該いずれか一つの画像の画像特徴とＫ１個の近傍画像の画像特徴との第２の類似度をさらに算出することができる。この第２の類似度は、余弦類似度であってもよい。また、他の実施例では、他の方法によって類似度を決定してもよい。本開示では、これについて具体的に限定されない。
Ｓ２３３１２：前記第２の類似度に基づいて、前記いずれか一つの画像のＫ２（Ｋ２は１以上かつＫ１以下の整数）近傍画像を決定し、前記Ｋ２近傍画像の画像特徴は、前記Ｋ１近傍画像のうち前記いずれか一つの画像の画像特徴との第２の類似度が高い順のＫ２個の画像特徴である。
いくつかの可能な実施形態では、いずれか一つの画像の画像特徴と対応するＫ１近傍画像の画像特徴との第２の類似度を取得し、第２の類似度が高い順のＫ２個の画像特徴をさらに選択し、当該Ｋ２個の画像特徴に対応する画像を当該いずれか一つの画像のＫ２近傍画像として決定することができる。Ｋ２の数値は必要に応じて設定することができる。
Ｓ２３３１３：前記Ｋ２近傍画像から、前記いずれか一つの画像の画像特徴との前記第２の類似度が第２の閾値よりも大きい第２の画像セットを選択する。
いくつかの可能な実施形態では、各画像のＫ２近傍画像（画像特徴の第２の類似度が高い順のＫ２個の画像）を得た後、各画像のＫ２近傍画像から第２の類似度が第２の閾値よりも大きい画像を直接選択し、選択された画像によって第２の画像セットを形成することができる。第２の閾値は、設定された値であってもよく、例えば９０％であってもよいが、本開示の具体的な限定にならない。第２の閾値の設定により、いずれか一つの画像に最も近い画像を選択することができる。
Ｓ２３３１４：前記第２の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成する。
いくつかの可能な実施形態では、いずれか一つの画像のＫ２近傍画像から画像特徴間の第２の類似度が第２の閾値よりも大きい第２の画像セットを選択した後、当該いずれか一つの画像と選択された第２の画像セット内のすべての画像を第１の状態としてラベリングし、第１の状態にある画像に基づいて１つのクラスタを形成することができる。例えば、画像ＡのＫ２近傍画像から選択された第２の類似度が第２の閾値よりも大きい画像が画像Ａ３とＡ４である場合、ＡをＡ３、Ａ４とともに第１の状態としてラベリングすることができる。Ａ３のＫ２近傍画像から選択された第２の類似度が第２の閾値よりも大きい画像が画像Ｂ２である場合、Ａ３とＢ２を第１の状態としてラベリングすることができる。また、Ａ４のＫ２近傍画像には第２の類似度が第２の閾値よりも大きい画像が存在しない場合、Ａ４を第１の状態としてラベリングしない。以上により、Ａ、Ａ３、Ａ４、Ｂ２を１つのクラスタに分類することができる。すなわち、画像Ａ、Ａ３、Ａ４、Ｂ２には、同じオブジェクトが含まれている。
上記形態により、クラスタリング結果を容易に得ることができる。量子化特徴により画像特徴量を削減するとともに、量子化特徴により得られたＫ１近傍画像に基づいて画像特徴に最も近いＫ２近傍画像をさらに決定するため、クラスタリング速度を向上させるとともに、クラスタリング精度をさらに向上させることができる。また、量子化特徴、画像特徴間の類似度の算出プロセスでは、並列分散的な演算方法を用いることができるため、クラスタリング速度を向上させることができる。
本開示の実施例では、量子化特徴の特徴量が画像特徴に比べて削減されるため、演算コストが低減される。また、複数の演算器の並列処理により、演算速度をさらに向上させることができる。
画像の少なくとも１つのクラスタを得た後、同じクラスタ内の画像は同じオブジェクト（例えば人物オブジェクト）の画像のセットであると考えられる。クラスタ内の画像に関連付けられた第１のインデックスによって、当該オブジェクトが出現する時間情報及び対応する位置情報を得ることができる。当該時間情報及び位置情報に基づいて当該オブジェクトの時空間軌跡情報をさらに得ることができる。
上述したように、クラスタリング処理を実行した後、少なくとも１つのクラスタを得ることができる。各クラスタ内には、少なくとも１つの画像が含まれてもよく、同じクラスタ内の画像は、同じオブジェクトを含むと考えられる。クラスタリング処理を実行した後、得られた各クラスタのクラスタ中心をさらに決定することができる。いくつかの可能な実施形態では、クラスタ内の各画像の画像特徴の平均値を当該クラスタのクラスタ中心とすることができる。クラスタ中心を得た後、このクラスタ中心に第４のインデックスを割り当て、各クラスタ中心に対応するクラスタを区別することができる。つまり、本開示の実施例の各画像は、画像識別子としての第３のインデックスと、画像特徴の第１のグループの識別子としての第１のインデックスと、量子化特徴の属する第２のグループの識別子としての第２のインデックスと、クラスタの識別子としての第４のインデックスとを含み、上記インデックスや対応する特徴、画像などのデータを関連付けて記憶することができる。他の実施例では、他の特徴データのインデックスも存在するかもしれないが、本開示では、これについて具体的に限定されない。また、画像の第３のインデックス、画像特徴の第１のグループの第１のインデックス、量子化特徴の第２のグループの第２のインデックス及びクラスタの第４のインデックスはすべて異なり、異なる記号識別子で示すことができる。
また、本開示の実施例によって複数のクラスタを得た後、受信した画像に対してクラスタリング処理をさらに行って、受信した画像の属するクラスタを決定し、すなわち、クラスタのインクリメンタル処理を実行することができる。受信した画像にマッチングするクラスタを決定した後、当該受信した画像を対応するクラスタに割り当てることができる。現在のクラスタが当該受信した画像にマッチングしない場合、当該受信した画像を単独で１つのクラスタとするか、又は既存の画像データセットと融合してクラスタリング処理を再実行することができる。
図８は、本開示の実施例に係る画像処理方法におけるクラスタインクリメンタル処理を実行するフローチャートを示す。前記クラスタインクリメンタル処理は、以下のステップを含むことができる。
Ｓ４１：入力画像の画像特徴を取得する。
いくつかの可能な実施形態では、入力画像は、画像収集装置によってリアルタイムで収集された画像であってもよいし、他の装置を介して送信された画像であってもよいし、ローカルに記憶された画像であってもよい。本開示では、これについて具体的に限定されない。入力画像を得た後、入力画像の画像特徴を得ることができる。上記実施例と同様に、特徴収集アルゴリズムによって画像特徴を得てもよいし、畳み込みニューラルネットワークの少なくとも１層の畳み込み処理によって画像特徴を得てもよい。画像は、顔画像であってもよく、対応する画像特徴は、顔特徴である。
Ｓ４２：前記入力画像の画像特徴に対して量子化処理を実行して、前記入力画像の量子化特徴を得る。
画像特徴を得た後、当該画像特徴に対して量子化処理をさらに実行し、対応する量子化特徴を得ることができる。本開示の実施例によって得られた入力画像は、１つであってもよいし、複数であってもよい。画像特徴の取得及び画像特徴の量子化処理を実行する際、並列分散的に実行することにより取得することができる。具体的な並列実行プロセスは、上記実施例に記載のプロセスと同じであるため、ここで繰り返し説明しない。
Ｓ４３：前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定する。
画像の量子化特徴を得た後、当該量子化特徴及び各クラスタのクラスタ中心に基づいて当該入力画像の属するクラスタを決定することができる。具体的なクラスタリング方法は上記プロセスを参照することもできる。
図９は、本開示の実施例に係る画像処理方法におけるステップＳ４３のフローチャートを示す。前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することと（Ｓ４３）は、以下のステップを含むことができる。
Ｓ４３０１：前記入力画像の量子化特徴と前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第３の類似度を取得する。
上述したように、クラスタ内の各画像の画像特徴の平均値に基づいてクラスタのクラスタ中心（クラスタ中心の画像特徴）を決定し、クラスタ中心の量子化特徴を得ることもできる。例えば、クラスタ中心の画像特徴に対して量子化処理を実行して当該クラスタ中心の量子化特徴を得てもよいし、クラスタ内の各画像の量子化特徴に対して平均値処理を実行し、当該クラスタ中心の量子化特徴を得てもよい。
さらに、入力画像と各クラスタのクラスタ中心の量子化特徴との第３の類似度を取得することができる。同様に、この第３の類似度は、余弦類似度であってもよいが、本開示の具体的な限定にならない。
いくつかの可能な実施形態では、複数のクラスタ中心をグループ化し、複数のクラスタ中心群を得ることができる。当該複数のクラスタ中心群をそれぞれ複数の演算器に割り当て、各演算器に割り当てられたクラスタ中心群は異なる。複数の演算器によって各クラスタ中心群内のクラスタ中心と入力画像の量子化特徴との第３の類似度をそれぞれ並列的に実行することにより、処理速度を向上させることができる。
Ｓ４３０２：前記入力画像の量子化特徴との第３の類似度が高いものから順にＫ３（Ｋ３は１以上の整数）個のクラスタ中心を決定する。
入力画像の量子化特徴とクラスタのクラスタ中心の量子化特徴との第３の類似度を得た後、類似度が高いものから順にＫ３個のクラスタ中心を得ることができる。Ｋ３の数は、クラスタの数よりも少ない。得られた当該Ｋ３個のクラスタ中心は、入力画像に最もマッチングするＫ３個のクラスタとして表すことができる。
いくつかの可能な実施形態では、並列分散的に実行することにより入力画像と各クラスタのクラスタ中心の量子化特徴との第３の類似度を得ることができる。すなわち、各クラスタ中心をグループ化し、異なる演算器によって対応するグループのクラスタ中心の量子化特徴と入力画像の量子化特徴との類似度を演算することができるため、演算速度を向上させることができる。
Ｓ４３０３：前記入力画像の画像特徴と前記Ｋ３個のクラスタ中心の画像特徴との第４の類似度を取得する。
いくつかの可能な実施形態では、入力画像の量子化特徴との第４の類似度が高いものから順にＫ３個のクラスタ中心を得るとき、当該入力画像の画像特徴と対応するＫ３個のクラスタ中心の画像特徴との第４の類似度をさらに得ることができる。同様に、この第４の類似度は、余弦類似度であってもよいが、本開示の具体的な限定にならない。
同様に、入力画像の画像特徴と対応するＫ３個のクラスタ中心の画像特徴との第４の類似度を演算する際、並列分散的に実行することにより演算することもできる。例えば、Ｋ３個のクラスタ中心を複数のグループに分け、当該Ｋ３個のクラスタ中心をそれぞれ複数の演算器に割り当て、演算器は、割り当てられたクラスタ中心の画像特徴と入力画像の画像特徴との第４の類似度を実行することができるため、演算速度を向上させることができる。
Ｓ４３０４：前記Ｋ３個のクラスタ中心のうちのいずれか一つのクラスタ中心の画像特徴と前記入力画像の画像特徴との第４の類似度が最も高くかつ当該最も高い第４の類似度が第３の閾値よりも大きい場合、前記入力画像を前記いずれか一つのクラスタ中心に対応するクラスタに追加する。
Ｓ４３０５：前記入力特徴の画像特徴との第４の類似度が第３の閾値よりも大きいクラスタ中心が存在しない場合、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて前記クラスタリング処理を実行して、少なくとも１つの新しいクラスタを得る。
いくつかの可能な実施形態では、入力画像の画像特徴とＫ３個のクラスタ中心の画像特徴との第４の類似度には第３の閾値よりも大きい第４の類似度がある場合、この入力画像は第４の類似度が最も高いクラスタ中心に対応するクラスタにマッチングすると決定することができる。すなわち、この入力画像に含まれるオブジェクトと第４の類似度が最も高いクラスタに対応するオブジェクトは、同じオブジェクトである。この場合、この入力画像をこのクラスタに追加することができる。例えば、このクラスタの識別子を入力画像に割り当て、関連付けて記憶することができるため、入力画像の属するクラスタを決定することができる。
いくつかの可能な実施形態では、入力画像の画像特徴とＫ３個のクラスタ中心の画像特徴との第４の類似度のすべてが第３の閾値よりも小さい場合、入力画像はすべてのクラスタにマッチングしないと決定することができる。この場合、この入力画像を単独のクラスタとしてもよいし、入力画像と既存の画像データセットとを融合して新しい画像データセットを取得し、新しい画像データセットに対してステップＳ２０を再実行してもよい。すなわち、すべての画像に対して分散クラスタリングを再実行し、少なくとも１つの新しいクラスタを得る。このようにして画像データを正確にクラスタリングすることができる。
いくつかの可能な実施形態では、１つのクラスタ内に含まれる画像が変化すると、例えば、新しい入力画像が新たに追加されたり、クラスタリング処理が再実行されたりすると、クラスタのクラスタ中心を再決定することができるため、クラスタ中心の精度が向上し、後続プロセスにおける正確なクラスタリング処理が容易になる。
画像をクラスタリングした後、各クラスタ内の画像にマッチングするオブジェクトの身分をさらに決定することができる。すなわち、身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定することができる。図１０は、本開示の実施例に係る画像処理方法におけるクラスタがマッチングするオブジェクトの身分を決定するフローチャートを示す。前記身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定することは、以下のステップを含む。
Ｓ５１：前記身分特徴ライブラリ内の既知オブジェクトの量子化特徴を取得する。
いくつかの可能な実施形態では、身分特徴ライブラリには、複数の既知身分のオブジェクト情報が含まれており、例えば、既知身分のオブジェクトの顔画像及びオブジェクトの身分情報が含まれてもよく、身分情報は、名前、年齢や仕事などの基本情報を含んでもよい。
また、身分特徴ライブラリには、各既知オブジェクトの画像特徴及び量子化特徴がさらに含まれてもよい。各既知オブジェクトの顔画像に基づいて対応する画像特徴を得ることができ、画像特徴に対して量子化処理を行って量子化特徴を得ることができる。
Ｓ５２：前記既知オブジェクトの量子化特徴と前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第５の類似度を決定するとともに、前記クラスタ中心の量子化特徴との第５の類似度が高い順のＫ４（Ｋ４は１以上の整数）個の既知オブジェクトの量子化特徴を決定する。
いくつかの可能な実施形態では、各既知オブジェクトの量子化特徴を得た後、既知オブジェクトの量子化特徴と得られたクラスタのクラスタ中心の量子化特徴との第５の類似度をさらに得ることができる。第５の類似度は、余弦類似度であってもよいが、本開示の具体的な限定にならない。さらに、各クラスタ中心の量子化特徴との第５の類似度が高い順のＫ４個の既知オブジェクトの量子化特徴を決定することができる。すなわち、身分特徴ライブラリからクラスタ中心の量子化特徴との第５の類似度が高い順のＫ４個の既知オブジェクトを見つけることができ、当該Ｋ４個の既知オブジェクトは、クラスタ中心とのマッチング度合いが高い順のＫ４個の身分であってもよい。
別のいくつかの可能な実施形態では、各既知オブジェクトの量子化特徴との第５の類似度が高い順のＫ４個のクラスタ中心を得ることもできる。当該Ｋ４個のクラスタ中心は、既知オブジェクトの身分とのマッチング度合いが高い順のＫ４個のクラスタ中心に対応する。
同様に、既知オブジェクトの量子化特徴をグループ化し、少なくとも１つの量子化器によって当該既知オブジェクトの量子化特徴と得られたクラスタのクラスタ中心の量子化特徴との第５の類似度を実行することができるため、処理速度を向上させることができる。
Ｓ５３：前記クラスタ中心の画像特徴と対応するＫ４個の既知オブジェクトの画像特徴との第６の類似度を取得する。
いくつかの可能な実施形態では、各クラスタ中心に対応するＫ４個の既知オブジェクトを得た後、各クラスタ中心と対応するＫ４個の既知オブジェクトの画像特徴との第６の類似度をさらに決定することができる。第６の類似度は、余弦類似度であってもよいが、本開示の具体的な限定にならない。
いくつかの可能な実施形態では、既知オブジェクトに対応するＫ４個のクラスタ中心であると決定された場合、既知オブジェクトに対応するＫ４個のクラスタ中心を得た後、当該既知オブジェクトの画像特徴と当該Ｋ４個のクラスタ中心の画像特徴との第６の類似度をさらに決定することができる。第６の類似度は、余弦類似度であってもよいが、本開示の具体的な限定にならない。
Ｓ５４：前記Ｋ４個の既知オブジェクトのうちの１つの既知オブジェクトの画像特徴と前記クラスタ中心の画像特徴との第６の類似度が最も高く、かつ当該第６の類似度が第４の閾値よりも大きい場合、前記第６の類似度が最も高い前記１つの既知オブジェクトを前記クラスタ中心に対応するクラスタにマッチングすると決定する。
Ｓ５５：前記Ｋ４個の既知オブジェクトの画像特徴と対応するクラスタ中心の画像特徴との第６の類似度のすべてが前記第４の閾値よりも小さい場合、前記既知オブジェクトにマッチングするクラスタが存在しないと決定する。
いくつかの可能な実施形態では、クラスタ中心にマッチングするＫ４個の既知オブジェクトであると決定された場合、Ｋ４個の既知オブジェクトの画像特徴には、少なくとも１つの既知オブジェクトの画像特徴と対応するクラスタ中心との第６の類似度が第４の閾値よりも大きいものがあると、第６の類似度が最も高い既知オブジェクトの画像特徴をクラスタ中心に最もマッチングする画像特徴として決定することができる。この場合、当該第６の類似度が最も高い既知オブジェクトの身分を当該クラスタ中心にマッチングする身分として決定することができる。すなわち、当該クラスタ中心に対応するクラスタ内の各画像の身分は、第６の類似度が最も高い既知オブジェクトの身分である。また、既知オブジェクトに対応するＫ４個のクラスタ中心であると決定された場合、既知オブジェクトに対応するＫ４個のクラスタ中心には、既知オブジェクトの画像特徴との第６の類似度が第４の閾値よりも大きいクラスタ中心があると、第６の類似度が最も高いクラスタ中心を当該既知オブジェクトに一致させることができる。すなわち、当該第６の類似度が最も高いクラスタ中心に対応するクラスタは、当該既知オブジェクトの身分にマッチングするため、対応するクラスタのオブジェクトの身分が決定される。
いくつかの可能な実施形態では、クラスタ中心にマッチングするＫ４個の既知オブジェクトであると決定された場合、Ｋ４個の既知オブジェクトと対応するクラスタ中心の画像特徴との第６の類似度のすべてが第４の閾値よりも小さいと、クラスタ中心にマッチングする身分オブジェクトが存在しないことが説明される。また、既知オブジェクトにマッチングするＫ４個のクラスタ中心であると決定された場合、Ｋ４個のクラスタ中心の画像特徴と前記既知オブジェクトの画像特徴との第６の類似度のすべてが第４の閾値よりも小さいと、得られたクラスタには当該既知オブジェクトにマッチングする身分が存在しないことが示される。
以上より、本開示の実施例では、各画像に、対応するインデックス情報を配置し、画像内のオブジェクトの時空間データを決定することができる。この配置に基づいて、異なるオブジェクトの時空間軌跡の解析を実現することができる。画像データセット内の画像をクラスタリングした後、各オブジェクトに対応する画像セット（１つのクラスタは１つのオブジェクトの画像セットに相当する）を得ることができる。当該クラスタ内の各画像に関連付けられたインデックス情報（第１のインデックス）に基づいて、当該クラスタに対応するオブジェクトの時空間軌跡情報を得ることができるため、異なるオブジェクトの軌跡解析を実現することができる。また、本開示の実施例では、分散クラスタリング方法を用いることにより、クラスタリング効率を向上させることができる。
当業者であれば、具体的な実施形態に係る上記方法では、各ステップの記載順序は、実行順序を厳密に限定して実施の過程を限定するものではなく、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
図１１は、本開示の実施例に係る画像処理装置のブロック図を示す。図１１に示すように、前記画像処理装置は、
複数の画像と、前記複数の画像にそれぞれ関連付けられ、前記画像内のオブジェクトの時空間データを決定するための第１のインデックスとを含む画像データセットを取得するための取得モジュール１０と、
前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得るためのクラスタリングモジュール２０と、
得られた前記クラスタ内の画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトの時空間軌跡情報を決定するための決定モジュール３０と、を含む。
いくつかの可能な実施形態では、前記装置は、入力画像の画像特徴を取得することと、前記入力画像の画像特徴に対して量子化処理を実行して、前記入力画像の量子化特徴を得ることと、前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することとに用いられるインクリメンタルクラスタリングモジュールをさらに含む。
いくつかの可能な実施形態では、前記インクリメンタルクラスタリングモジュールはさらに、前記入力画像の量子化特徴と前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第３の類似度を取得することと、前記入力画像の量子化特徴との第３の類似度が高いものから順にＫ３個のクラスタ中心を決定することと、前記入力画像の画像特徴と前記Ｋ３個のクラスタ中心の画像特徴との第４の類似度を取得することと、前記Ｋ３個（Ｋ３は１以上の整数）のクラスタ中心のうちのいずれか一つのクラスタ中心の画像特徴と前記入力画像の画像特徴との第４の類似度が最も高く、かつ当該第４の類似度が第３の閾値よりも大きい場合、前記入力画像を前記いずれか一つのクラスタ中心に対応するクラスタに追加することとに用いられる。
いくつかの可能な実施形態では、前記インクリメンタルクラスタリングモジュールはさらに、前記入力画像の画像特徴との第４の類似度が第３の閾値よりも大きいクラスタ中心が存在しない場合、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて前記分散クラスタリング処理を実行して、少なくとも１つの新しいクラスタを得ることに用いられる。
いくつかの可能な実施形態では、前記第１のインデックスは、前記画像の収集時間、収集場所、前記画像を収集する画像収集装置の識別子及び前記画像収集装置の取付位置のうちの少なくとも１つを含む。
いくつかの可能な実施形態では、前記クラスタリングモジュールは、前記画像データセット内の前記画像の画像特徴を並列分散的に取得するための第１の分散処理ユニットと、前記画像特徴に対して量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得るための第２の分散処理ユニットと、前記画像データセット内の前記画像に対応する量子化特徴に基づいて、前記分散クラスタリング処理を実行して、前記少なくとも１つのクラスタを得るためのクラスタリングユニットと、を含む。
いくつかの可能な実施形態では、前記第１の分散処理ユニットはさらに、前記画像データセット内の複数の前記画像をグループ化して、複数の画像グループを得ることと、前記複数の画像グループのそれぞれを、各特徴抽出モデルに入力される画像グループが異なるように複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを用いて、前記特徴抽出モデルに対応する画像グループ内の画像の特徴抽出処理を並列分散的に実行して、前記複数の画像の画像特徴を取得することとに用いられる。
いくつかの可能な実施形態では、前記第２の分散処理ユニットはさらに、前記複数の画像の画像特徴をグループ化処理して、少なくとも１つの画像の画像特徴を含む複数の第１のグループを得ることと、前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることとに用いられる。
いくつかの可能な実施形態では、前記第２の分散処理ユニットはさらに、前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得る前に、前記複数の第１のグループのそれぞれに第２のインデックスを配置し、複数の第２のインデックスを得ることと、前記複数の第２のインデックスのそれぞれを、各量子化器に割り当てられる前記第２のインデックスが異なるように複数の量子化器に割り当てることと、前記複数の量子化器のそれぞれを用いて、割り当てられた前記第２のインデックスに対応する第１のグループ内の画像特徴の量子化処理を並列的に実行することとに用いられる。
いくつかの可能な実施形態では、前記量子化処理は、直積量子化・符号化処理を含む。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することと、前記第１の類似度に基づいて、前記いずれか一つの画像のＫ１近傍画像を決定し、前記Ｋ１近傍画像の量子化特徴は、前記いずれか一つの画像の量子化特徴との第１の類似度が高い順のＫ１（Ｋ１は１以上の整数）個の量子化特徴であることと、前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定することとに用いられる。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記Ｋ１近傍画像から、前記いずれか一つの画像の量子化特徴との第１の類似度が第１の閾値よりも大きい第１の画像セットを選択することと、前記第１の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することとに用いられる。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記いずれか一つの画像の画像特徴と前記いずれか一つの画像のＫ１近傍画像の画像特徴との第２の類似度を取得することと、前記第２の類似度に基づいて、前記いずれか一つの画像のＫ２（Ｋ２は１以上かつＫ１以下の整数）近傍画像を決定し、前記Ｋ２近傍画像の画像特徴は、前記Ｋ１近傍画像のうち前記いずれか一つの画像の画像特徴との第２の類似度が高い順のＫ２個の画像特徴であることと、前記Ｋ２近傍画像から、前記いずれか一つの画像の画像特徴との前記第２の類似度が第２の閾値よりも大きい第２の画像セットを選択することと、前記第２の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することとに用いられる。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得する前に、前記画像データセット内の前記複数の画像の量子化特徴をグループ化処理して、少なくとも１つの画像の量子化特徴を含む複数の第２のグループを得ることに用いられ、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することは、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することを含む。
いくつかの可能な実施形態では、前記クラスタリングユニットはさらに、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得する前に、前記複数の第２のグループのそれぞれに第３のインデックスを配置して、複数の第３のインデックスを得ることに用いられ、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することは、前記第３のインデックスに基づいて、前記第３のインデックスに対応する類似度演算タスクを構築し、前記類似度演算タスクは、前記第３のインデックスに対応する第２のグループ内の目標画像の量子化特徴と前記目標画像を除くすべての画像の量子化特徴との第１の類似度を取得することであることと、前記複数の第３のインデックスのそれぞれに対応する類似度取得タスクを並列分散的に実行することと、を含む。
いくつかの可能な実施形態では、前記クラスタ中心決定モジュールは、前記分散クラスタリング処理によって得られた前記クラスタのクラスタ中心を決定することと、前記クラスタ中心に第４のインデックスを配置し、前記第４のインデックスと対応するクラスタ中心を関連付けて記憶することとに用いられる。
いくつかの可能な実施形態では、前記クラスタ中心決定モジュールはさらに、前記少なくとも１つのクラスタ内の各画像の画像特徴の平均値に基づいて、前記クラスタのクラスタ中心を決定することに用いられる。
いくつかの可能な実施形態では、前記決定モジュールはさらに、前記クラスタ内の各画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトが出現する時間情報と位置情報を決定することと、前記時間情報と位置情報に基づいて、前記オブジェクトの時空間軌跡情報を決定することとに用いられる。
いくつかの可能な実施形態では、前記装置は、身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定するための身分決定モジュールをさらに含む。
いくつかの可能な実施形態では、前記身分決定モジュールはさらに、前記身分特徴ライブラリ内の既知オブジェクトの量子化特徴を取得することと、前記既知オブジェクトの量子化特徴と前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第５の類似度を決定するとともに、前記クラスタ中心の量子化特徴との第５の類似度が高い順のＫ４個の既知オブジェクトの量子化特徴を決定することと、前記クラスタ中心の画像特徴と対応するＫ４個の既知オブジェクトの画像特徴との第６の類似度を取得することと、前記Ｋ４個の既知オブジェクトのうちの１つの既知オブジェクトの画像特徴と前記クラスタ中心の画像特徴との第６の類似度が最も高く、かつ当該第６の類似度が第４の閾値よりも大きい場合、前記第６の類似度が最も高い前記１つの既知オブジェクトを前記クラスタ中心に対応するクラスタにマッチングすると決定することとに用いられる。
いくつかの可能な実施形態では、前記身分決定モジュールはさらに、前記Ｋ４個の既知オブジェクトの画像特徴と対応するクラスタ中心の画像特徴との第６の類似度のすべてが前記第４の閾値よりも小さい場合、前記既知オブジェクトにマッチングするクラスタが存在しないと決定することに用いられる。
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上述した方法の実施例の説明を参照すればよく、簡潔化のために、ここで詳細な説明を省略する。
本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記方法を実現するコンピュータ読み取り可能な記憶媒体がさらに提供される。コンピュータ読み取り可能な記憶媒体は、揮発性コンピュータ読み取り可能な記憶媒体であってもよいし、不揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、上記方法を実行するように構成される電子機器がさらに提供される。
本開示の実施例では、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサは、上記いずれか１つの実施例に係る画像処理方法を実現するための命令を実行するコンピュータプログラム製品がさらに提供される。
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
図１２は、本開示の実施例に係る電子機器のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
図１２を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
図１３は、本開示の実施例に係る別の電子機器のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図１３を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されいるオペレーティングシステム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各側面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
コンピュータ読み取り可能な記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各側面を実現するようにしてもよい。
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように、装置を製造してもよい。これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施されるプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
論理に違反しない限り、本開示の異なる実施例を互いに組み合わせることができる。異なる実施例はそれぞれ重点を置いて説明されているが、重点を置いて説明されていない部分は他の実施例の記載を参照することができる。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

Claims (45)

  1. 複数の画像と、前記複数の画像にそれぞれ関連付けられ、前記画像内のオブジェクトの時空間データを決定するための第１のインデックスとを含む画像データセットを取得することと、
    前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得ることと、
    得られた前記クラスタ内の画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトの時空間軌跡情報を決定することと、を含むことを特徴とする画像処理方法。
  2. 入力画像の画像特徴を取得することと、
    前記入力画像の画像特徴に対して量子化処理を実行して、前記入力画像の量子化特徴を得ることと、
    前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することと、をさらに含むことを特徴とする請求項１に記載の画像処理方法。
  3. 前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することは、
    前記入力画像の量子化特徴と前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第３の類似度を取得することと、
    前記入力画像の量子化特徴との第３の類似度が高いものから順にＫ３（Ｋ３は１以上の整数）個のクラスタ中心を決定することと、
    前記入力画像の画像特徴と前記Ｋ３個のクラスタ中心の画像特徴との第４の類似度を取得することと、
    前記Ｋ３個のクラスタ中心のうちのいずれか一つのクラスタ中心の画像特徴と前記入力画像の画像特徴との第４の類似度が最も高くかつ当該第４の類似度が第３の閾値よりも大きいことに応じて、前記入力画像を前記いずれか一つのクラスタ中心に対応するクラスタに追加することと、を含むことを特徴とする請求項２に記載の画像処理方法。
  4. 前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記クラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することは、
    前記入力画像の画像特徴との第４の類似度が第３の閾値よりも大きいクラスタ中心が存在しないことに応じて、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて前記分散クラスタリング処理を実行して、少なくとも１つの新しいクラスタを得ることをさらに含むことを特徴とする請求項３に記載の画像処理方法。
  5. 前記第１のインデックスは、前記画像の収集時間、収集場所、前記画像を収集する画像収集装置の識別子及び前記画像収集装置の取付位置のうちの少なくとも１つを含むことを特徴とする請求項１～４のいずれか１項に記載の画像処理方法。
  6. 前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得ることは、
    前記画像データセット内の前記画像の画像特徴を並列分散的に取得することと、
    前記画像特徴に対して量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることと、
    前記画像データセット内の前記画像に対応する量子化特徴に基づいて、前記分散クラスタリング処理を実行して、前記少なくとも１つのクラスタを得ることと、を含むことを特徴とする請求項１～５のいずれか１項に記載の画像処理方法。
  7. 前記画像データセット内の前記画像の画像特徴を並列分散的に取得することは、
    前記画像データセット内の複数の前記画像をグループ化して、複数の画像グループを得ることと、
    前記複数の画像グループのそれぞれを、各特徴抽出モデルに入力される画像グループが異なるように複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを用いて、前記特徴抽出モデルに対応する画像グループ内の画像の特徴抽出処理を並列分散的に実行して、前記複数の画像の画像特徴を取得することと、を含むことを特徴とする請求項６に記載の画像処理方法。
  8. 前記画像特徴に対して量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることは、
    前記複数の画像の画像特徴をグループ化処理して、少なくとも１つの画像の画像特徴を含む複数の第１のグループを得ることと、
    前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることと、を含むことを特徴とする請求項６又は７に記載の画像処理方法。
  9. 前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得る前に、
    前記複数の第１のグループのそれぞれに第２のインデックスを配置し、複数の第２のインデックスを得ることをさらに含み、
    前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることは、
    前記複数の第２のインデックスのそれぞれを、各量子化器に割り当てられる前記第２のインデックスが異なるように複数の量子化器に割り当てることと、
    前記複数の量子化器のそれぞれを用いて、割り当てられた前記第２のインデックスに対応する第１のグループ内の画像特徴の量子化処理を並列的に実行することと、を含むことを特徴とする請求項８に記載の画像処理方法。
  10. 前記量子化処理は、直積量子化・符号化処理を含むことを特徴とする請求項６～９のいずれか１項に記載の画像処理方法。
  11. 前記画像データセット内の前記画像に対応する量子化特徴に基づいて、前記分散クラスタリング処理を実行して、前記少なくとも１つのクラスタを得ることは、
    前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することと、
    前記第１の類似度に基づいて、前記いずれか一つの画像のＫ１近傍画像を決定し、前記Ｋ１近傍画像の量子化特徴は、前記いずれか一つの画像の量子化特徴との第１の類似度が高い順のＫ１（Ｋ１は１以上の整数）個の量子化特徴であることと、
    前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定することと、を含むことを特徴とする請求項６～１０のいずれか１項に記載の画像処理方法。
  12. 前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定することは、
    前記Ｋ１近傍画像から、前記いずれか一つの画像の量子化特徴との第１の類似度が第１の閾値よりも大きい第１の画像セットを選択することと、
    前記第１の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することと、を含むことを特徴とする請求項１１に記載の画像処理方法。
  13. 前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定することは、
    前記いずれか一つの画像の画像特徴と前記いずれか一つの画像のＫ１近傍画像の画像特徴との第２の類似度を取得することと、
    前記第２の類似度に基づいて、前記いずれか一つの画像のＫ２（Ｋ２は１以上かつＫ１以下の整数）近傍画像を決定し、前記Ｋ２近傍画像の画像特徴は、前記Ｋ１近傍画像のうち前記いずれか一つの画像の画像特徴との第２の類似度が高い順のＫ２個の画像特徴であることと、
    前記Ｋ２近傍画像から、前記いずれか一つの画像の画像特徴との前記第２の類似度が第２の閾値よりも大きい第２の画像セットを選択することと、
    前記第２の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することと、を含むことを特徴とする請求項１１に記載の画像処理方法。
  14. 前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得する前に、
    前記画像データセット内の前記複数の画像の量子化特徴をグループ化処理して、少なくとも１つの画像の量子化特徴を含む複数の第２のグループを得ることをさらに含み、
    前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することは、
    前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することを含むことを特徴とする請求項１１～１３のいずれか１項に記載の画像処理方法。
  15. 前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得する前に、
    前記複数の第２のグループのそれぞれに第３のインデックスを配置して、複数の第３のインデックスを得ることをさらに含み、
    前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することは、
    前記第３のインデックスに基づいて、前記第３のインデックスに対応する類似度演算タスクを構築し、前記類似度演算タスクは、前記第３のインデックスに対応する第２のグループ内の目標画像の量子化特徴と前記目標画像を除くすべての画像の量子化特徴との第１の類似度を取得することであることと、
    前記複数の第３のインデックスのそれぞれに対応する類似度取得タスクを並列分散的に実行することと、を含むことを特徴とする請求項１４に記載の画像処理方法。
  16. 前記分散クラスタリング処理によって得られた前記クラスタのクラスタ中心を決定することと、
    前記クラスタ中心に第４のインデックスを配置し、前記第４のインデックスと対応するクラスタ中心を関連付けて記憶することと、をさらに含むことを特徴とする請求項１～１５のいずれか１項に記載の画像処理方法。
  17. 前記分散クラスタリング処理によって得られた前記クラスタのクラスタ中心を決定することは、
    前記少なくとも１つのクラスタ内の各画像の画像特徴の平均値に基づいて、前記クラスタのクラスタ中心を決定することを含むことを特徴とする請求項１６に記載の画像処理方法。
  18. 得られた前記クラスタ内の画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトの時空間軌跡情報を決定することは、
    前記クラスタ内の各画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトが出現する時間情報と位置情報を決定することと、
    前記時間情報と位置情報に基づいて、前記オブジェクトの時空間軌跡情報を決定することと、を含むことを特徴とする請求項１～１７のいずれか１項に記載の画像処理方法。
  19. 身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定することをさらに含むことを特徴とする請求項１～１８のいずれか１項に記載の画像処理方法。
  20. 前記身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定することは、
    前記身分特徴ライブラリ内の既知オブジェクトの量子化特徴を取得することと、
    前記既知オブジェクトの量子化特徴と前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第５の類似度を決定するとともに、前記クラスタ中心の量子化特徴との第５の類似度が高い順のＫ４個の既知オブジェクトの量子化特徴を決定することと、
    前記クラスタ中心の画像特徴と対応するＫ４個の既知オブジェクトの画像特徴との第６の類似度を取得することと、
    前記Ｋ４個の既知オブジェクトのうちの１つの既知オブジェクトの画像特徴と前記クラスタ中心の画像特徴との第６の類似度が最も高く、かつ当該第６の類似度が第４の閾値よりも大きいことに応じて、前記第６の類似度が最も高い前記１つの既知オブジェクトを前記クラスタ中心に対応するクラスタにマッチングすると決定することと、を含むことを特徴とする請求項１９に記載の画像処理方法。
  21. 前記身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定することは、
    前記Ｋ４個の既知オブジェクトの画像特徴と対応するクラスタ中心の画像特徴との第６の類似度のすべてが前記第４の閾値よりも小さいことに応じて、前記既知オブジェクトにマッチングするクラスタが存在しないと決定することをさらに含むことを特徴とする請求項２０に記載の画像処理方法。
  22. 複数の画像と、前記複数の画像にそれぞれ関連付けられ、前記画像内のオブジェクトの時空間データを決定するための第１のインデックスとを含む画像データセットを取得するための取得モジュールと、
    前記画像データセット内の画像に対して分散クラスタリング処理を実行して、少なくとも１つのクラスタを得るためのクラスタリングモジュールと、
    得られた前記クラスタ内の画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトの時空間軌跡情報を決定するための決定モジュールと、を含むことを特徴とする画像処理装置。
  23. 入力画像の画像特徴を取得することと、前記入力画像の画像特徴に対して量子化処理を実行して、前記入力画像の量子化特徴を得ることと、前記入力画像の量子化特徴及び前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心に基づいて、前記入力画像の属するクラスタを決定することとに用いられるインクリメンタルクラスタリングモジュールをさらに含むことを特徴とする請求項２２に記載の画像処理装置。
  24. 前記インクリメンタルクラスタリングモジュールはさらに、前記入力画像の量子化特徴と前記分散クラスタリング処理によって得られた前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第３の類似度を取得することと、前記入力画像の量子化特徴との第３の類似度が高いものから順にＫ３（Ｋ３は１以上の整数）個のクラスタ中心を決定することと、前記入力画像の画像特徴と前記Ｋ３個のクラスタ中心の画像特徴との第４の類似度を取得することと、前記Ｋ３個のクラスタ中心のうちのいずれか一つのクラスタ中心の画像特徴と前記入力画像の画像特徴との第４の類似度が最も高く、かつ当該第４の類似度が第３の閾値よりも大きい場合、前記入力画像を前記いずれか一つのクラスタ中心に対応するクラスタに追加することとに用いられることを特徴とする請求項２３に記載の画像処理装置。
  25. 前記インクリメンタルクラスタリングモジュールはさらに、前記入力画像の画像特徴との第４の類似度が第３の閾値よりも大きいクラスタ中心が存在しない場合、前記入力画像の量子化特徴及び前記画像データセット内の画像の量子化特徴に基づいて前記分散クラスタリング処理を実行して、少なくとも１つの新しいクラスタを得ることに用いられることを特徴とする請求項２４に記載の画像処理装置。
  26. 前記第１のインデックスは、前記画像の収集時間、収集場所、前記画像を収集する画像収集装置の識別子及び前記画像収集装置の取付位置のうちの少なくとも１つを含むことを特徴とする請求項２２～２５のいずれか１項に記載の画像処理装置。
  27. 前記クラスタリングモジュールは、
    前記画像データセット内の前記画像の画像特徴を並列分散的に取得するための第１の分散処理ユニットと、
    前記画像特徴に対して量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得るための第２の分散処理ユニットと、
    前記画像データセット内の前記画像に対応する量子化特徴に基づいて、前記分散クラスタリング処理を実行して、前記少なくとも１つのクラスタを得るためのクラスタリングユニットと、を含むことを特徴とする請求項２２～２６のいずれか１項に記載の画像処理装置。
  28. 前記第１の分散処理ユニットはさらに、前記画像データセット内の複数の前記画像をグループ化して、複数の画像グループを得ることと、
    前記複数の画像グループのそれぞれを、各特徴抽出モデルに入力される画像グループが異なるように複数の特徴抽出モデルに入力し、前記複数の特徴抽出モデルを用いて、前記特徴抽出モデルに対応する画像グループ内の画像の特徴抽出処理を並列分散的に実行して、前記複数の画像の画像特徴を取得することとに用いられることを特徴とする請求項２７に記載の画像処理装置。
  29. 前記第２の分散処理ユニットはさらに、前記複数の画像の画像特徴をグループ化処理して、少なくとも１つの画像の画像特徴を含む複数の第１のグループを得ることと、
    前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得ることとに用いられることを特徴とする請求項２７又は２８に記載の画像処理装置。
  30. 前記第２の分散処理ユニットはさらに、前記複数の第１のグループの画像特徴の量子化処理を並列分散的に実行して、前記画像特徴に対応する量子化特徴を得る前に、前記複数の第１のグループのそれぞれに第２のインデックスを配置し、複数の第２のインデックスを得ることと、
    前記複数の第２のインデックスのそれぞれを、各量子化器に割り当てられる前記第２のインデックスが異なるように複数の量子化器に割り当てることと、
    前記複数の量子化器のそれぞれを用いて、割り当てられた前記第２のインデックスに対応する第１のグループ内の画像特徴の量子化処理を並列的に実行することとに用いられることを特徴とする請求項２９に記載の画像処理装置。
  31. 前記量子化処理は、直積量子化・符号化処理を含むことを特徴とする請求項２７～３０のいずれか１項に記載の画像処理装置。
  32. 前記クラスタリングユニットはさらに、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することと、
    前記第１の類似度に基づいて、前記いずれか一つの画像のＫ１近傍画像を決定し、前記Ｋ１近傍画像の量子化特徴は、前記いずれか一つの画像の量子化特徴との第１の類似度が高い順のＫ１（Ｋ１は１以上の整数）個の量子化特徴であることと、
    前記いずれか一つの画像及び前記いずれか一つの画像のＫ１近傍画像を用いて前記分散クラスタリング処理のクラスタリング結果を決定することとに用いられることを特徴とする請求項２７～３１のいずれか１項に記載の画像処理装置。
  33. 前記クラスタリングユニットはさらに、前記Ｋ１近傍画像から、前記いずれか一つの画像の量子化特徴との第１の類似度が第１の閾値よりも大きい第１の画像セットを選択することと、
    前記第１の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することとに用いられることを特徴とする請求項３２に記載の画像処理装置。
  34. 前記クラスタリングユニットはさらに、前記いずれか一つの画像の画像特徴と前記いずれか一つの画像のＫ１近傍画像の画像特徴との第２の類似度を取得することと、
    前記第２の類似度に基づいて、前記いずれか一つの画像のＫ２（Ｋ２は１以上かつＫ１以下の整数）近傍画像を決定し、前記Ｋ２近傍画像の画像特徴は、前記Ｋ１近傍画像のうち前記いずれか一つの画像の画像特徴との第２の類似度が高い順のＫ２個の画像特徴であることと、
    前記Ｋ２近傍画像から、前記いずれか一つの画像の画像特徴との前記第２の類似度が第２の閾値よりも大きい第２の画像セットを選択することと、
    前記第２の画像セット内のすべての画像と前記いずれか一つの画像を同じオブジェクトが含まれている状態である第１の状態としてラベリングし、第１の状態としてラベリングされた各画像に基づいて１つのクラスタを形成することとに用いられることを特徴とする請求項３２に記載の画像処理装置。
  35. 前記クラスタリングユニットはさらに、前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得する前に、前記画像データセット内の前記複数の画像の量子化特徴をグループ化処理して、少なくとも１つの画像の量子化特徴を含む複数の第２のグループを得ることに用いられ、
    前記画像データセット内のいずれか一つの画像の量子化特徴と残りの画像の量子化特徴との第１の類似度を取得することは、
    前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することを含むことを特徴とする請求項３２～３４のいずれか１項に記載の画像処理装置。
  36. 前記クラスタリングユニットはさらに、前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得する前に、前記複数の第２のグループのそれぞれに第３のインデックスを配置して、複数の第３のインデックスを得ることに用いられ、
    前記第２のグループ内の画像の量子化特徴と前記残りの画像の量子化特徴との第１の類似度を並列分散的に取得することは、
    前記第３のインデックスに基づいて、前記第３のインデックスに対応する類似度演算タスクを構築し、前記類似度演算タスクは、前記第３のインデックスに対応する第２のグループ内の目標画像の量子化特徴と前記目標画像を除くすべての画像の量子化特徴との第１の類似度を取得することであることと、
    前記複数の第３のインデックスのそれぞれに対応する類似度取得タスクを並列分散的に実行することと、を含むことを特徴とする請求項３５に記載の画像処理装置。
  37. 前記クラスタ中心決定モジュールは、前記分散クラスタリング処理によって得られた前記クラスタのクラスタ中心を決定することと、
    前記クラスタ中心に第４のインデックスを配置し、前記第４のインデックスと対応するクラスタ中心を関連付けて記憶することとに用いられることを特徴とする請求項２２～３６のいずれか１項に記載の画像処理装置。
  38. 前記クラスタ中心決定モジュールはさらに、前記少なくとも１つのクラスタ内の各画像の画像特徴の平均値に基づいて、前記クラスタのクラスタ中心を決定することに用いられることを特徴とする請求項３７に記載の画像処理装置。
  39. 前記決定モジュールはさらに、前記クラスタ内の各画像に関連付けられた第１のインデックスに基づいて、前記クラスタに対応するオブジェクトが出現する時間情報と位置情報を決定することと、
    前記時間情報と位置情報に基づいて、前記オブジェクトの時空間軌跡情報を決定することとに用いられることを特徴とする請求項３７に記載の画像処理装置。
  40. 身分特徴ライブラリ内の少なくとも１つのオブジェクトの身分特徴に基づいて、各前記クラスタに対応するオブジェクトの身分を決定するための身分決定モジュールをさらに含むことを特徴とする請求項２２～３９のいずれか１項に記載の画像処理装置。
  41. 前記身分決定モジュールはさらに、前記身分特徴ライブラリ内の既知オブジェクトの量子化特徴を取得することと、
    前記既知オブジェクトの量子化特徴と前記少なくとも１つのクラスタのクラスタ中心の量子化特徴との第５の類似度を決定するとともに、前記クラスタ中心の量子化特徴との第５の類似度が高い順のＫ４個の既知オブジェクトの量子化特徴を決定することと、
    前記クラスタ中心の画像特徴と対応するＫ４個の既知オブジェクトの画像特徴との第６の類似度を取得することと、
    前記Ｋ４個の既知オブジェクトのうちの１つの既知オブジェクトの画像特徴と前記クラスタ中心の画像特徴との第６の類似度が最も高く、かつ当該第６の類似度が第４の閾値よりも大きい場合、前記第６の類似度が最も高い前記１つの既知オブジェクトを前記クラスタ中心に対応するクラスタにマッチングすると決定することとに用いられることを特徴とする請求項４０に記載の画像処理装置。
  42. 前記身分決定モジュールはさらに、前記Ｋ４個の既知オブジェクトの画像特徴と対応するクラスタ中心の画像特徴との第６の類似度のすべてが前記第４の閾値よりも小さい場合、前記既知オブジェクトにマッチングするクラスタが存在しないと決定することに用いられることを特徴とする請求項４１に記載の画像処理装置。
  43. プロセッサと、
    プロセッサにより実行可能な命令を記憶するためのメモリとを含み、
    前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、請求項１～２１のいずれか１項に記載の画像処理方法を実行するように構成されることを特徴とする電子機器。
  44. コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１～２１のいずれか１項に記載の画像処理方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
  45. コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサに、請求項１～２１のいずれか１項に記載の画像処理方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
JP2022504708A 2019-08-15 2020-05-09 画像処理方法及び装置、電子機器並びに記憶媒体 Withdrawn JP2022542127A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910755628.5A CN110502651B (zh) 2019-08-15 2019-08-15 图像处理方法及装置、电子设备和存储介质
CN201910755628.5 2019-08-15
PCT/CN2020/089402 WO2021027344A1 (zh) 2019-08-15 2020-05-09 图像处理方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2022542127A true JP2022542127A (ja) 2022-09-29

Family

ID=68586556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504708A Withdrawn JP2022542127A (ja) 2019-08-15 2020-05-09 画像処理方法及び装置、電子機器並びに記憶媒体

Country Status (5)

Country Link
JP (1) JP2022542127A (ja)
KR (1) KR20220025052A (ja)
CN (1) CN110502651B (ja)
TW (1) TWI761851B (ja)
WO (1) WO2021027344A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502651B (zh) * 2019-08-15 2022-08-02 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111325712B (zh) * 2020-01-20 2024-01-23 北京百度网讯科技有限公司 用于检测图像有效性的方法及装置
CN112270361B (zh) * 2020-10-30 2021-10-22 重庆紫光华山智安科技有限公司 一种人脸数据处理方法、系统、存储介质及设备
CN112686141A (zh) * 2020-12-29 2021-04-20 杭州海康威视数字技术股份有限公司 人员归档方法、装置及电子设备
CN114463565A (zh) * 2021-01-20 2022-05-10 赛维森(广州)医疗科技服务有限公司 宫颈细胞玻片数字图像的识别模型的模型成长方法
CN112949751B (zh) * 2021-03-25 2023-03-24 深圳市商汤科技有限公司 车辆图像聚类及轨迹还原方法
CN113139589B (zh) * 2021-04-12 2023-02-28 网易（杭州）网络有限公司 图片相似度检测方法、装置、处理器及电子装置
TWI803223B (zh) * 2022-03-04 2023-05-21 國立中正大學 於超頻譜影像之物件偵測方法
CN116340991B (zh) * 2023-02-02 2023-11-07 魔萌动漫文化传播(深圳)有限公司 Ip图库素材资源的大数据管理方法、装置以及电子设备
CN117786445B (zh) * 2024-02-26 2024-05-10 山东盈动智能科技有限公司 一种自动化摇纱机运行数据智能处理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4172584B2 (ja) * 2004-04-19 2008-10-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 文字認識結果出力装置、文字認識装置、その方法及びプログラム
WO2009072466A1 (ja) * 2007-12-03 2009-06-11 National University Corporation Hokkaido University 画像分類装置および画像分類プログラム
US8971641B2 (en) * 2010-12-16 2015-03-03 Microsoft Technology Licensing, Llc Spatial image index and associated updating functionality
US9081798B1 (en) * 2012-03-26 2015-07-14 Amazon Technologies, Inc. Cloud-based photo management
CN105022752B (zh) * 2014-04-29 2019-04-05 中国电信股份有限公司 图像检索方法与装置
CN106446797B (zh) * 2016-08-31 2019-05-07 腾讯科技（深圳）有限公司 图像聚类方法及装置
CN107415806A (zh) * 2017-06-06 2017-12-01 高炎华 基于图像识别的智能化警灯
TWM561251U (zh) * 2017-07-24 2018-06-01 正能光電股份有限公司 臉部辨識模組
CN107798354B (zh) * 2017-11-16 2022-11-01 腾讯科技（深圳）有限公司 一种基于人脸图像的图片聚类方法、装置及存储设备
CN108229321B (zh) * 2017-11-30 2021-09-21 北京市商汤科技开发有限公司 人脸识别模型及其训练方法和装置、设备、程序和介质
CN108229335A (zh) * 2017-12-12 2018-06-29 深圳市商汤科技有限公司 关联人脸识别方法和装置、电子设备、存储介质、程序
CN108897777B (zh) * 2018-06-01 2022-06-17 深圳市商汤科技有限公司 目标对象追踪方法及装置、电子设备和存储介质
CN108876817B (zh) * 2018-06-01 2021-08-20 深圳市商汤科技有限公司 交叉轨迹分析方法及装置、电子设备和存储介质
CN109213732B (zh) * 2018-06-28 2022-03-18 努比亚技术有限公司 一种改善相册分类的方法、移动终端及计算机可读存储介质
CN108921876A (zh) * 2018-07-10 2018-11-30 北京旷视科技有限公司 视频处理方法、装置和系统及存储介质
CN109543536B (zh) * 2018-10-23 2020-11-10 北京市商汤科技开发有限公司 图像标识方法及装置、电子设备和存储介质
CN109242048B (zh) * 2018-11-07 2022-04-08 电子科技大学 基于时间序列的视觉目标分布式聚类方法
CN109740660A (zh) * 2018-12-27 2019-05-10 深圳云天励飞技术有限公司 图像处理方法及装置
CN109784221A (zh) * 2018-12-28 2019-05-21 上海依图网络科技有限公司 一种监控方法及装置
CN109800322A (zh) * 2018-12-28 2019-05-24 上海依图网络科技有限公司 一种监控方法及装置
CN109753920B (zh) * 2018-12-29 2021-09-17 深圳市商汤科技有限公司 一种行人识别方法及装置
CN109800744B (zh) * 2019-03-18 2021-08-20 深圳市商汤科技有限公司 图像聚类方法及装置、电子设备和存储介质
CN110046586B (zh) * 2019-04-19 2024-09-27 腾讯科技（深圳）有限公司 一种数据处理方法、设备及存储介质
CN110502651B (zh) * 2019-08-15 2022-08-02 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
TWI761851B (zh) 2022-04-21
KR20220025052A (ko) 2022-03-03
WO2021027344A1 (zh) 2021-02-18
CN110502651B (zh) 2022-08-02
TW202109514A (zh) 2021-03-01
CN110502651A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
JP2022542127A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
JP6926339B2 (ja) 画像のクラスタリング方法及び装置、電子機器並びに記憶媒体
JP7128906B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
TWI754855B (zh) 人臉圖像識別方法、裝置、電子設備及儲存介質
US11120078B2 (en) Method and device for video processing, electronic device, and storage medium
WO2021164469A1 (zh) 目标对象的检测方法、装置、设备和存储介质
CN110134804B (zh) 图像检索方法、装置及存储介质
CN110472091B (zh) 图像处理方法及装置、电子设备和存储介质
WO2021093375A1 (zh) 检测同行人的方法及装置、系统、电子设备和存储介质
CN109389162B (zh) 样本图像筛选方法和装置、电子设备及存储介质
US20220019772A1 (en) Image Processing Method and Device, and Storage Medium
CN109145150B (zh) 目标匹配方法及装置、电子设备和存储介质
JP2016516251A (ja) クラスタリング方法、クラスタリング装置、端末装置、プログラム及び記録媒体
TWI735112B (zh) 圖像生成方法、電子設備和儲存介質
CN109522937B (zh) 图像处理方法及装置、电子设备和存储介质
CN110942046B (zh) 图像检索方法、装置、设备及存储介质
CN113505256B (zh) 特征提取网络训练方法、图像处理方法及装置
TW202036476A (zh) 圖像處理方法及裝置、電子設備和儲存介質
CN109101542B (zh) 图像识别结果输出方法及装置、电子设备和存储介质
CN110909817B (zh) 分布式聚类方法及系统、处理器、电子设备及存储介质
CN110019907B (zh) 一种图像检索方法及装置
WO2023155393A1 (zh) 特征点匹配方法、装置、电子设备、存储介质和计算机程序产品
CN113052240B (zh) 图像处理模型的确定方法、装置、设备及存储介质
CN113326388A (zh) 基于倒排表的数据检索方法、系统、介质及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220124

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20221221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221221