JP2019502982A5 - - Google Patents

Download PDF

Info

Publication number
JP2019502982A5
JP2019502982A5 JP2018526220A JP2018526220A JP2019502982A5 JP 2019502982 A5 JP2019502982 A5 JP 2019502982A5 JP 2018526220 A JP2018526220 A JP 2018526220A JP 2018526220 A JP2018526220 A JP 2018526220A JP 2019502982 A5 JP2019502982 A5 JP 2019502982A5
Authority
JP
Japan
Prior art keywords
memory
image
images
memory modules
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018526220A
Other languages
English (en)
Other versions
JP6721681B2 (ja
JP2019502982A (ja
Filing date
Publication date
Priority claimed from US14/948,892 external-priority patent/US10528613B2/en
Application filed filed Critical
Publication of JP2019502982A publication Critical patent/JP2019502982A/ja
Publication of JP2019502982A5 publication Critical patent/JP2019502982A5/ja
Application granted granted Critical
Publication of JP6721681B2 publication Critical patent/JP6721681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (33)

  1. 画像検索の効率を向上させる方法であって、
    前記第1プロセッサが1つ以上の画像を受信するステップと、
    前記第1プロセッサが、クエリを複数のメモリモジュールに送信するステップであって、前記クエリは、前記1つ以上の画像とマッチングする画像のためのメモリの検索に関するものである、ステップと、
    前記複数のメモリモジュールの各々のプロセッサインメモリ(PIM)が、受信したクエリに応じて、メモリモジュール内のメモリに記憶された画像の検索を実行するステップと、
    各メモリモデルのPIMが、前記検索で得られたマッチング画像を前記第1プロセッサに送信することと、
    前記第1プロセッサが、前記複数のメモリモジュールの各々から受信したマッチング画像の結果と、前記1つ以上の画像との比較を実行するステップであって前記各メモリモジュールのPIMは、前記1つ以上の画像のグローバルディスクリプタを処理して、1つ以上の類似度測定値を得ることと、類似度測定値が閾値を超える1つ以上の画像のローカルディスクリプタを、各メモリモジュールのメモリに記憶された画像と比較してマッチング画像を取得することであって、前記複数のメモリモジュールの各メモリモジュールに記憶された画像が異なる、ことと、によって画像の検索を実行するように構成されている、ステップとを含む、
    方法。
  2. 前記少なくとも1つのメモリモジュールの前記メモリに記憶された画像をアップロード及び分類するステップを更に含む、請求項1の方法。
  3. 像は、前記分類に基づいて、前記複数のメモリモジュールに記憶される、請求項2の方法。
  4. 像は、同じ分類を有する場合に、同一のメモリモジュールに記憶される、請求項2の方法。
  5. 前記少なくとも1つのメモリモジュールによって実行される画像の検索は、グローバルディスクリプタの計算、ローカルディスクリプタの計算、及び、検証判定を実行するステップを含む、請求項1の方法。
  6. 記比較は、前記少なくとも1つのメモリモジュールから受信したマッチング画像をランク付けするステップを含む、請求項1の方法。
  7. 前記第1プロセッサが、複数のメモリモジュールから受信したマッチング画像の最終的なランクを構築するステップを更に含む、請求項6の方法。
  8. 画像検索の効率を向上させるプロセッサであって、
    マッチング画像に関するクエリを複数のメモリモジュールに送信するように構成された回路であって、前記クエリは、マッチングされる1つ以上の検索画像を含む、回路と、
    前記複数のメモリモジュールから検索結果を受信するように構成された回路であって、クエリに応じて前記検索結果が受信される、回路と、
    前記複数のメモリモジュールから受信した検索果の比較を実行するように構成された回路と、を備え、
    前記検索結果は、各メモリモジュールの検索を実行する複数のメモリモジュールの各々のプロセッサインメモリ(PIM)によって生成され、
    前記検索は、1つ以上の検索画像のグローバルディスクリプタを処理して、1つ以上の類似度測定を得ることと、類似度測定値が閾値を超える1つ以上の検索画像のローカルディスクリプタを、各メモリモジュールのメモリに記憶された画像と比較してマッチング画像を取得することであって、前記複数のメモリモジュールの各メモリモジュールに記憶された画像が異なる、ことと、を含む、
    プロセッサ。
  9. 前記複数のメモリモジュールの前記メモリに記憶された画像をアップロード及び分類するように構成された回路を更に含む、請求項8のプロセッサ。
  10. 前記複数のメモリモジュールから受信した検索結果をランク付けするように構成された回路を更に含む、請求項8のプロセッサ。
  11. 前記検索結果の最終的なランクを構築するように構成された回路を更に含む、請求項10のプロセッサ。
  12. 画像検索の効率を向上させるシステムであって、
    それぞれメモリ及びプロセッサインメモリ(PIM)を含む複数のメモリモジュールと、
    前記複数のメモリモジュールと通信可能に接続されたプロセッサと、を備え、
    前記プロセッサは、
    1つ以上の検索画像を受信するように構成された回路と、
    エリを前記複数のメモリモジュールに送信するように構成された回路であって、前記クエリは1つ以上の検索画像を含む、回路と、
    前記検索結果を前記複数のメモリモジュールから受信するように構成された回路と、
    前記複数のメモリモジュールから受信した検索果の比較を実行するように構成された回路と、を含み、
    メモリモジュールのPIMは、
    1つ以上の検索画像のグローバルディスクリプタを処理して、1つ以上の類似度測定を得ることと、
    類似度測定値が閾値を超える1つ以上の検索画像のローカルディスクリプタを、各メモリモジュールのメモリに記憶された画像と比較して検索結果を取得することであって、前記複数のメモリモジュールの各メモリモジュールに記憶された画像が異なる、ことと、
    によって検索を実行するように構成されている、
    システム。
  13. 前記プロセッサは、前記複数のメモリモジュールの前記メモリに記憶された画像をアップロード及び分類するように構成された回路を更に含む、請求項12のシステム。
  14. 像は、前記複数のメモリモジュールの前記メモリに記憶された画像の分類に基づいて、前記複数のメモリモジュールに記憶される、請求項13のシステム。
  15. 像は、同じ分類を有する場合に、同一のメモリモジュールに記憶される、請求項13のシステム。
  16. 前記少なくとも1つのメモリモジュールによって実行される画像の検索は、グローバルディスクリプタの計算、ローカルディスクリプタの計算、及び、検証判定を実行することを含む、請求項12のシステム。
  17. 前記プロセッサは、前記複数のメモリモジュールから受信した検索結果をランク付けするように構成された回路を更に含む、請求項12のシステム。
  18. 前記プロセッサは、前記複数のメモリモジュールから受信した検索結果の最終的なランクを構築するように構成された回路を更に含む、請求項17のシステム。
  19. 第1プロセッサと、複数のメモリモジュールと、を有するプロセッサインメモリ(PIM)システムにおいて実行される、画像検索の効率を向上させる方法であって、
    1つ以上の画像を、これらの画像データによってアップロード及び分類するステップと、
    前記画像データの分類に基づいて、前記画像を分割して前記複数のメモリモジュールに記憶するステップと、
    前記第1プロセッサが、1つ以上のクエリ画像を受信するステップと、
    前記第1プロセッサが、クエリを前記複数のメモリモジュールに送信するステップであって、前記クエリは前記1つ以上のクエリ画像を含む、ステップと、
    前記複数のメモリモジュールの各々のPIM、各メモリモジュール内のメモリに記憶された画像の検索を実行するステップであって、クエリに応じて画像の検索が実行される、ステップと、
    前記複数のメモリモジュールの各々が、検索結果を前記第1プロセッサに送信するステップと、
    前記第1プロセッサが、前記複数のメモリモジュールからの検索果の比較を実行するステップと、を含
    前記画像の検索は、
    1つ以上のクエリ画像のグローバルディスクリプタを処理して、1つ以上の類似度測定を得るステップと、
    類似度測定値が閾値を超える1つ以上のクエリ画像のローカルディスクリプタを、各メモリモジュールに記憶された画像と比較して前記検索結果を得るステップと、を含む、
    方法。
  20. 像は、同じ分類を有する場合に、同一のメモリモジュールに記憶される、請求項19の方法。
  21. 同一のクラスから画像は、前記複数のメモリモジュールに分配される、請求項19の方法。
  22. 前記同一のクラスから画像は、隣接するメモリモジュールに分配される、請求項21の方法。
  23. 前記複数のメモリモジュールによって実行される画像の検索は、グローバルディスクリプタの計算、ローカルディスクリプタの計算、及び、検証判定を実行するステップを含む、請求項19の方法。
  24. グローバルディスクリプタの計算は、前記1つ以上のクエリ画像と、前記1つ以上のクエリ画像と同一のクラスに存在するものとしてカテゴリ化された複数のメモリモジュール内のメモリに記憶された画像と、を比較するステップを含む、請求項23の方法。
  25. 類似度測定値を計算し、前記類似度測定値を閾値と比較するステップを更に含む、請求項24の方法。
  26. 前記類似度測定値が前記閾値を超える場合に、ローカルディスクリプタが計算される、請求項25の方法。
  27. 命令を記憶するコンピュータ可読記憶媒体であって、
    前記命令は、コンピューティングデバイスによって実行されると、
    1つ以上のクエリ画像を受信するステップと、
    エリを複数のメモリモジュールに送信するステップであって、前記クエリは前記1つ以上のクエリ画像を含む、ステップと、
    前記複数のメモリモジュールの各々のプロセッサインメモリ(PIM)が、各メモリモジュール内のメモリに記憶された画像の検索を実行するステップであって、クエリに応じて画像の検索が実行される、ステップと、
    複数のメモリモジュールから受信した検索果の比較を実行するステップであって、前記画像の検索は前記複数のメモリモジュールの各PIMによって実行される、ステップと、
    1つ以上のクエリ画像のグローバルディスクリプタを処理して、1つ以上の類似度測定を得るステップと、
    類似度測定値が閾値を超える1つ以上のクエリ画像のローカルディスクリプタを、各メモリモジュールに記憶された画像と比較して前記検索結果を得るステップと、
    を含む動作を前記コンピューティングデバイスに実行させて、画像検索の効率を向上させる、
    コンピュータ可読記憶媒体。
  28. 前記複数のメモリモジュールの前記メモリに記憶された画像をアップロード及び分類するステップを更に含む、請求項27のコンピュータ可読記憶媒体。
  29. 同一のクラスから画像は、前記複数のメモリモジュールに記憶される、請求項28のコンピュータ可読記憶媒体。
  30. 同一のクラスから画像は、同一のメモリモジュールに記憶される、請求項28のコンピュータ可読記憶媒体。
  31. 画像の検索は、グローバルディスクリプタの計算、ローカルディスクリプタの計算、及び、検証判定を実行するステップを含む、請求項27のコンピュータ可読記憶媒体。
  32. 前記比較は、前記複数のメモリモジュールから受信した検索結果をランク付けするステップを含む、請求項27のコンピュータ可読記憶媒体。
  33. 前記検索結果の最終的なランクを構築するステップを更に含む、請求項32のコンピュータ可読記憶媒体。
JP2018526220A 2015-11-23 2016-09-19 並列検索動作を実行する方法及び装置 Active JP6721681B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/948,892 US10528613B2 (en) 2015-11-23 2015-11-23 Method and apparatus for performing a parallel search operation
US14/948,892 2015-11-23
PCT/US2016/052454 WO2017091282A1 (en) 2015-11-23 2016-09-19 Method and apparatus for performing a parallel search operation

Publications (3)

Publication Number Publication Date
JP2019502982A JP2019502982A (ja) 2019-01-31
JP2019502982A5 true JP2019502982A5 (ja) 2019-10-31
JP6721681B2 JP6721681B2 (ja) 2020-07-15

Family

ID=58719626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018526220A Active JP6721681B2 (ja) 2015-11-23 2016-09-19 並列検索動作を実行する方法及び装置

Country Status (6)

Country Link
US (1) US10528613B2 (ja)
EP (1) EP3380957A4 (ja)
JP (1) JP6721681B2 (ja)
KR (1) KR20180075674A (ja)
CN (1) CN108369594B (ja)
WO (1) WO2017091282A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9997232B2 (en) 2016-03-10 2018-06-12 Micron Technology, Inc. Processing in memory (PIM) capable memory device having sensing circuitry performing logic operations
EP3343432B1 (en) * 2016-12-29 2024-03-20 Elektrobit Automotive GmbH Generating training images for machine learning-based object recognition systems
US10908820B2 (en) * 2017-09-14 2021-02-02 Samsung Electronics Co., Ltd. Host-based and client-based command scheduling in large bandwidth memory systems
KR102453542B1 (ko) 2018-02-21 2022-10-12 삼성전자주식회사 스킵 연산 모드를 지원하는 메모리 장치 및 그 동작 방법
JP7326667B2 (ja) * 2018-07-31 2023-08-16 マーベル アジア ピーティーイー、リミテッド ストレージエッジにおけるメタデータ生成
KR20200025200A (ko) 2018-08-29 2020-03-10 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US11625245B2 (en) * 2018-09-28 2023-04-11 Intel Corporation Compute-in-memory systems and methods
JP6938698B2 (ja) * 2019-03-22 2021-09-22 ネイバー コーポレーションNAVER Corporation イメージ検索のためのマルチグローバルディスクリプタを組み合わせるフレームワーク
US11334617B2 (en) * 2019-09-25 2022-05-17 Mercari, Inc. Paint-based image search
KR20210092078A (ko) 2020-01-15 2021-07-23 삼성전자주식회사 병렬 연산 처리를 수행하는 메모리 장치 및 그 동작방법, 그리고 메모리 장치를 제어하는 메모리 컨트롤러의 동작방법
US11586380B2 (en) 2020-09-09 2023-02-21 Micron Technology, Inc. Memory systems including examples of calculating hamming distances for neural network and data center applications
US11636285B2 (en) 2020-09-09 2023-04-25 Micron Technology, Inc. Memory including examples of calculating hamming distances for neural network and data center applications
US11609853B2 (en) 2020-09-09 2023-03-21 Micron Technology, Inc. Memory controllers including examples of calculating hamming distances for neural network and data center applications
US11893278B2 (en) 2021-02-08 2024-02-06 Samsung Electronics Co., Ltd. Memory controller and memory control method for generating commands based on a memory request

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003088033A1 (en) * 2002-04-09 2003-10-23 University Of Rochester Multiplier-based processor-in-memory architectures for image and graphics processing
JP3789395B2 (ja) * 2002-06-07 2006-06-21 富士通株式会社 パケット処理装置
US8473532B1 (en) * 2003-08-12 2013-06-25 Louisiana Tech University Research Foundation Method and apparatus for automatic organization for computer files
US7684651B2 (en) 2006-08-23 2010-03-23 Microsoft Corporation Image-based face search
US7840076B2 (en) * 2006-11-22 2010-11-23 Intel Corporation Methods and apparatus for retrieving images from a large collection of images
US8180788B2 (en) 2008-06-05 2012-05-15 Enpulz, L.L.C. Image search engine employing image correlation
KR101622360B1 (ko) 2008-06-06 2016-05-19 톰슨 라이센싱 이미지들의 유사성 검색을 위한 시스템 및 방법
US8583898B2 (en) 2009-06-12 2013-11-12 Cray Inc. System and method for managing processor-in-memory (PIM) operations
EP2462518A1 (en) * 2009-08-07 2012-06-13 Google, Inc. User interface for presenting search results for multiple regions of a visual query
US9477636B2 (en) 2009-10-21 2016-10-25 Micron Technology, Inc. Memory having internal processors and data communication methods in memory
US8433140B2 (en) * 2009-11-02 2013-04-30 Microsoft Corporation Image metadata propagation
US8352494B1 (en) * 2009-12-07 2013-01-08 Google Inc. Distributed image search
JP4588114B1 (ja) * 2010-02-18 2010-11-24 克己 井上 情報絞り込み検出機能を備えたメモリ、その使用方法、このメモリを含む装置。
US8521721B2 (en) * 2010-09-14 2013-08-27 Microsoft Corporation Custom operators for a parallel query engine
US9645854B2 (en) * 2010-12-15 2017-05-09 Advanced Micro Devices, Inc. Dynamic work partitioning on heterogeneous processing devices
US20120233141A1 (en) * 2011-03-09 2012-09-13 Mckesson Financial Holdings Apparatus, method and computer-readable storage medium for searching patient studies
US8832077B1 (en) * 2011-05-04 2014-09-09 Google Inc. Selectively retrieving search results in accordance with different logical relationships
US20130006999A1 (en) * 2011-06-30 2013-01-03 Copyright Clearance Center, Inc. Method and apparatus for performing a search for article content at a plurality of content sites
JP4976578B1 (ja) * 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
CN102542058B (zh) * 2011-12-29 2013-04-03 天津大学 一种融合全局与局部视觉特征的层次化地标识别方法
US8949253B1 (en) 2012-05-24 2015-02-03 Google Inc. Low-overhead image search result generation
US20140089609A1 (en) 2012-09-26 2014-03-27 Advanced Micro Devices, Inc. Interposer having embedded memory controller circuitry
US9442854B2 (en) * 2012-11-15 2016-09-13 Elwha Llc Memory circuitry including computational circuitry for performing supplemental functions
CN111881374A (zh) * 2012-12-12 2020-11-03 谷歌有限责任公司 基于组合查询提供搜索结果
US20140310314A1 (en) * 2013-04-16 2014-10-16 Samsung Electronics Co., Ltd. Matching performance and compression efficiency with descriptor code segment collision probability optimization
US9910864B2 (en) * 2014-01-22 2018-03-06 Stmicroelectronics S.R.L. Method for object recognition, corresponding system, apparatus and computer program product
CN105045761B (zh) * 2015-08-26 2018-08-28 福建恒天晨光节能服务有限公司 一种数据中心的高速并行处理架构

Similar Documents

Publication Publication Date Title
JP2019502982A5 (ja)
WO2022068196A1 (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
Simonyan et al. Learning local feature descriptors using convex optimisation
JP6721681B2 (ja) 並列検索動作を実行する方法及び装置
JP6211407B2 (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
US20150095391A1 (en) Determining a Product Vector for Performing Dynamic Time Warping
KR101581112B1 (ko) 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치
JP2014512057A (ja) 視覚探索のための堅牢な特徴マッチング
US9842279B2 (en) Data processing method for learning discriminator, and data processing apparatus therefor
TW201546636A (zh) 註解顯示器輔助裝置及輔助方法
KR20220017497A (ko) 이미지 특징 추출 및 네트워크의 훈련 방법, 장치 및 기기
JP6460926B2 (ja) 撮影画像に写る物体を検索するシステム及び方法
JP5518856B2 (ja) 改良された画像認識用の支援装置
CN110442749B (zh) 视频帧处理方法及装置
CN111695572A (zh) 一种基于卷积层特征提取的船只检索方法及装置
JP2016009391A (ja) 情報処理装置ならびにその特徴点選択方法、装置およびプログラム
US20170309004A1 (en) Image recognition using descriptor pruning
JP6017277B2 (ja) 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法
JP2014225168A (ja) 特徴点集合で表される画像間の類似度を算出するプログラム、装置及び方法
JP6271092B2 (ja) 信号の埋め込みを生成する方法およびシステム
CN111984812B (zh) 一种特征提取模型生成方法、图像检索方法、装置及设备
Zhou et al. A practical spatial re-ranking method for instance search from videos
US9390347B2 (en) Recognition device, method, and computer program product
Wang et al. Semantic Indexing and Multimedia Event Detection: ECNU at TRECVID 2012.
JP2017102869A (ja) 重要度算出装置、方法、及びプログラム