JP2019502982A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2019502982A5 JP2019502982A5 JP2018526220A JP2018526220A JP2019502982A5 JP 2019502982 A5 JP2019502982 A5 JP 2019502982A5 JP 2018526220 A JP2018526220 A JP 2018526220A JP 2018526220 A JP2018526220 A JP 2018526220A JP 2019502982 A5 JP2019502982 A5 JP 2019502982A5
- Authority
- JP
- Japan
- Prior art keywords
- memory
- image
- images
- memory modules
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 claims 4
- 230000004044 response Effects 0.000 claims 4
- 238000000034 method Methods 0.000 claims 2
Claims (33)
- 画像検索の効率を向上させる方法であって、
前記第1プロセッサが1つ以上の画像を受信するステップと、
前記第1プロセッサが、クエリを複数のメモリモジュールに送信するステップであって、前記クエリは、前記1つ以上の画像とマッチングする画像のためのメモリの検索に関するものである、ステップと、
前記複数のメモリモジュールの各々のプロセッサインメモリ(PIM)が、受信したクエリに応じて、各メモリモジュール内のメモリに記憶された画像の検索を実行するステップと、
各メモリモデルのPIMが、前記検索で得られたマッチング画像を前記第1プロセッサに送信することと、
前記第1プロセッサが、前記複数のメモリモジュールの各々から受信したマッチング画像の結果と、前記1つ以上の画像との比較を実行するステップであって、前記各メモリモジュールのPIMは、前記1つ以上の画像のグローバルディスクリプタを処理して、1つ以上の類似度測定値を得ることと、類似度測定値が閾値を超える1つ以上の画像のローカルディスクリプタを、各メモリモジュールのメモリに記憶された画像と比較してマッチング画像を取得することであって、前記複数のメモリモジュールの各メモリモジュールに記憶された画像が異なる、ことと、によって画像の検索を実行するように構成されている、ステップとを含む、
方法。 - 前記少なくとも1つのメモリモジュールの前記メモリに記憶された画像をアップロード及び分類するステップを更に含む、請求項1の方法。
- 画像は、前記分類に基づいて、前記複数のメモリモジュールに記憶される、請求項2の方法。
- 画像は、同じ分類を有する場合に、同一のメモリモジュールに記憶される、請求項2の方法。
- 前記少なくとも1つのメモリモジュールによって実行される画像の検索は、グローバルディスクリプタの計算、ローカルディスクリプタの計算、及び、検証判定を実行するステップを含む、請求項1の方法。
- 前記比較は、前記少なくとも1つのメモリモジュールから受信したマッチング画像をランク付けするステップを含む、請求項1の方法。
- 前記第1プロセッサが、複数のメモリモジュールから受信したマッチング画像の最終的なランクを構築するステップを更に含む、請求項6の方法。
- 画像検索の効率を向上させるプロセッサであって、
マッチング画像に関するクエリを複数のメモリモジュールに送信するように構成された回路であって、前記クエリは、マッチングされる1つ以上の検索画像を含む、回路と、
前記複数のメモリモジュールから検索結果を受信するように構成された回路であって、クエリに応じて前記検索結果が受信される、回路と、
前記複数のメモリモジュールから受信した検索結果の比較を実行するように構成された回路と、を備え、
前記検索結果は、各メモリモジュールの検索を実行する複数のメモリモジュールの各々のプロセッサインメモリ(PIM)によって生成され、
前記検索は、1つ以上の検索画像のグローバルディスクリプタを処理して、1つ以上の類似度測定を得ることと、類似度測定値が閾値を超える1つ以上の検索画像のローカルディスクリプタを、各メモリモジュールのメモリに記憶された画像と比較してマッチング画像を取得することであって、前記複数のメモリモジュールの各メモリモジュールに記憶された画像が異なる、ことと、を含む、
プロセッサ。 - 前記複数のメモリモジュールの前記メモリに記憶された画像をアップロード及び分類するように構成された回路を更に含む、請求項8のプロセッサ。
- 前記複数のメモリモジュールから受信した検索結果をランク付けするように構成された回路を更に含む、請求項8のプロセッサ。
- 前記検索結果の最終的なランクを構築するように構成された回路を更に含む、請求項10のプロセッサ。
- 画像検索の効率を向上させるシステムであって、
それぞれメモリ及びプロセッサインメモリ(PIM)を含む複数のメモリモジュールと、
前記複数のメモリモジュールと通信可能に接続されたプロセッサと、を備え、
前記プロセッサは、
1つ以上の検索画像を受信するように構成された回路と、
クエリを前記複数のメモリモジュールに送信するように構成された回路であって、前記クエリは1つ以上の検索画像を含む、回路と、
前記検索結果を前記複数のメモリモジュールから受信するように構成された回路と、
前記複数のメモリモジュールから受信した検索結果の比較を実行するように構成された回路と、を含み、
各メモリモジュールのPIMは、
1つ以上の検索画像のグローバルディスクリプタを処理して、1つ以上の類似度測定を得ることと、
類似度測定値が閾値を超える1つ以上の検索画像のローカルディスクリプタを、各メモリモジュールのメモリに記憶された画像と比較して検索結果を取得することであって、前記複数のメモリモジュールの各メモリモジュールに記憶された画像が異なる、ことと、
によって検索を実行するように構成されている、
システム。 - 前記プロセッサは、前記複数のメモリモジュールの前記メモリに記憶された画像をアップロード及び分類するように構成された回路を更に含む、請求項12のシステム。
- 画像は、前記複数のメモリモジュールの前記メモリに記憶された画像の分類に基づいて、前記複数のメモリモジュールに記憶される、請求項13のシステム。
- 画像は、同じ分類を有する場合に、同一のメモリモジュールに記憶される、請求項13のシステム。
- 前記少なくとも1つのメモリモジュールによって実行される画像の検索は、グローバルディスクリプタの計算、ローカルディスクリプタの計算、及び、検証判定を実行することを含む、請求項12のシステム。
- 前記プロセッサは、前記複数のメモリモジュールから受信した検索結果をランク付けするように構成された回路を更に含む、請求項12のシステム。
- 前記プロセッサは、前記複数のメモリモジュールから受信した検索結果の最終的なランクを構築するように構成された回路を更に含む、請求項17のシステム。
- 第1プロセッサと、複数のメモリモジュールと、を有するプロセッサインメモリ(PIM)システムにおいて実行される、画像検索の効率を向上させる方法であって、
1つ以上の画像を、これらの画像データによってアップロード及び分類するステップと、
前記画像データの分類に基づいて、前記画像を分割して前記複数のメモリモジュールに記憶するステップと、
前記第1プロセッサが、1つ以上のクエリ画像を受信するステップと、
前記第1プロセッサが、クエリを前記複数のメモリモジュールに送信するステップであって、前記クエリは前記1つ以上のクエリ画像を含む、ステップと、
前記複数のメモリモジュールの各々のPIMが、各メモリモジュール内のメモリに記憶された画像の検索を実行するステップであって、クエリに応じて画像の検索が実行される、ステップと、
前記複数のメモリモジュールの各々が、検索結果を前記第1プロセッサに送信するステップと、
前記第1プロセッサが、前記複数のメモリモジュールからの検索結果の比較を実行するステップと、を含み、
前記画像の検索は、
1つ以上のクエリ画像のグローバルディスクリプタを処理して、1つ以上の類似度測定を得るステップと、
類似度測定値が閾値を超える1つ以上のクエリ画像のローカルディスクリプタを、各メモリモジュールに記憶された画像と比較して前記検索結果を得るステップと、を含む、
方法。 - 画像は、同じ分類を有する場合に、同一のメモリモジュールに記憶される、請求項19の方法。
- 同一のクラスからの画像は、前記複数のメモリモジュールに分配される、請求項19の方法。
- 前記同一のクラスからの画像は、隣接するメモリモジュールに分配される、請求項21の方法。
- 前記複数のメモリモジュールによって実行される画像の検索は、グローバルディスクリプタの計算、ローカルディスクリプタの計算、及び、検証判定を実行するステップを含む、請求項19の方法。
- グローバルディスクリプタの計算は、前記1つ以上のクエリ画像と、前記1つ以上のクエリ画像と同一のクラスに存在するものとしてカテゴリ化された複数のメモリモジュール内のメモリに記憶された画像と、を比較するステップを含む、請求項23の方法。
- 類似度測定値を計算し、前記類似度測定値を閾値と比較するステップを更に含む、請求項24の方法。
- 前記類似度測定値が前記閾値を超える場合に、ローカルディスクリプタが計算される、請求項25の方法。
- 命令を記憶するコンピュータ可読記憶媒体であって、
前記命令は、コンピューティングデバイスによって実行されると、
1つ以上のクエリ画像を受信するステップと、
クエリを複数のメモリモジュールに送信するステップであって、前記クエリは前記1つ以上のクエリ画像を含む、ステップと、
前記複数のメモリモジュールの各々のプロセッサインメモリ(PIM)が、各メモリモジュール内のメモリに記憶された画像の検索を実行するステップであって、クエリに応じて画像の検索が実行される、ステップと、
前記複数のメモリモジュールから受信した検索結果の比較を実行するステップであって、前記画像の検索は前記複数のメモリモジュールの各PIMによって実行される、ステップと、
1つ以上のクエリ画像のグローバルディスクリプタを処理して、1つ以上の類似度測定を得るステップと、
類似度測定値が閾値を超える1つ以上のクエリ画像のローカルディスクリプタを、各メモリモジュールに記憶された画像と比較して前記検索結果を得るステップと、
を含む動作を前記コンピューティングデバイスに実行させて、画像検索の効率を向上させる、
コンピュータ可読記憶媒体。 - 前記複数のメモリモジュールの前記メモリに記憶された画像をアップロード及び分類するステップを更に含む、請求項27のコンピュータ可読記憶媒体。
- 同一のクラスからの画像は、前記複数のメモリモジュールに記憶される、請求項28のコンピュータ可読記憶媒体。
- 同一のクラスからの画像は、同一のメモリモジュールに記憶される、請求項28のコンピュータ可読記憶媒体。
- 画像の検索は、グローバルディスクリプタの計算、ローカルディスクリプタの計算、及び、検証判定を実行するステップを含む、請求項27のコンピュータ可読記憶媒体。
- 前記比較は、前記複数のメモリモジュールから受信した検索結果をランク付けするステップを含む、請求項27のコンピュータ可読記憶媒体。
- 前記検索結果の最終的なランクを構築するステップを更に含む、請求項32のコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/948,892 US10528613B2 (en) | 2015-11-23 | 2015-11-23 | Method and apparatus for performing a parallel search operation |
US14/948,892 | 2015-11-23 | ||
PCT/US2016/052454 WO2017091282A1 (en) | 2015-11-23 | 2016-09-19 | Method and apparatus for performing a parallel search operation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019502982A JP2019502982A (ja) | 2019-01-31 |
JP2019502982A5 true JP2019502982A5 (ja) | 2019-10-31 |
JP6721681B2 JP6721681B2 (ja) | 2020-07-15 |
Family
ID=58719626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018526220A Active JP6721681B2 (ja) | 2015-11-23 | 2016-09-19 | 並列検索動作を実行する方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10528613B2 (ja) |
EP (1) | EP3380957A4 (ja) |
JP (1) | JP6721681B2 (ja) |
KR (1) | KR20180075674A (ja) |
CN (1) | CN108369594B (ja) |
WO (1) | WO2017091282A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9997232B2 (en) | 2016-03-10 | 2018-06-12 | Micron Technology, Inc. | Processing in memory (PIM) capable memory device having sensing circuitry performing logic operations |
EP3343432B1 (en) * | 2016-12-29 | 2024-03-20 | Elektrobit Automotive GmbH | Generating training images for machine learning-based object recognition systems |
US10908820B2 (en) * | 2017-09-14 | 2021-02-02 | Samsung Electronics Co., Ltd. | Host-based and client-based command scheduling in large bandwidth memory systems |
KR102453542B1 (ko) | 2018-02-21 | 2022-10-12 | 삼성전자주식회사 | 스킵 연산 모드를 지원하는 메모리 장치 및 그 동작 방법 |
JP7326667B2 (ja) * | 2018-07-31 | 2023-08-16 | マーベル アジア ピーティーイー、リミテッド | ストレージエッジにおけるメタデータ生成 |
KR20200025200A (ko) | 2018-08-29 | 2020-03-10 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 동작 방법 |
US11625245B2 (en) * | 2018-09-28 | 2023-04-11 | Intel Corporation | Compute-in-memory systems and methods |
JP6938698B2 (ja) * | 2019-03-22 | 2021-09-22 | ネイバー コーポレーションNAVER Corporation | イメージ検索のためのマルチグローバルディスクリプタを組み合わせるフレームワーク |
US11334617B2 (en) * | 2019-09-25 | 2022-05-17 | Mercari, Inc. | Paint-based image search |
KR20210092078A (ko) | 2020-01-15 | 2021-07-23 | 삼성전자주식회사 | 병렬 연산 처리를 수행하는 메모리 장치 및 그 동작방법, 그리고 메모리 장치를 제어하는 메모리 컨트롤러의 동작방법 |
US11586380B2 (en) | 2020-09-09 | 2023-02-21 | Micron Technology, Inc. | Memory systems including examples of calculating hamming distances for neural network and data center applications |
US11636285B2 (en) | 2020-09-09 | 2023-04-25 | Micron Technology, Inc. | Memory including examples of calculating hamming distances for neural network and data center applications |
US11609853B2 (en) | 2020-09-09 | 2023-03-21 | Micron Technology, Inc. | Memory controllers including examples of calculating hamming distances for neural network and data center applications |
US11893278B2 (en) | 2021-02-08 | 2024-02-06 | Samsung Electronics Co., Ltd. | Memory controller and memory control method for generating commands based on a memory request |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003088033A1 (en) * | 2002-04-09 | 2003-10-23 | University Of Rochester | Multiplier-based processor-in-memory architectures for image and graphics processing |
JP3789395B2 (ja) * | 2002-06-07 | 2006-06-21 | 富士通株式会社 | パケット処理装置 |
US8473532B1 (en) * | 2003-08-12 | 2013-06-25 | Louisiana Tech University Research Foundation | Method and apparatus for automatic organization for computer files |
US7684651B2 (en) | 2006-08-23 | 2010-03-23 | Microsoft Corporation | Image-based face search |
US7840076B2 (en) * | 2006-11-22 | 2010-11-23 | Intel Corporation | Methods and apparatus for retrieving images from a large collection of images |
US8180788B2 (en) | 2008-06-05 | 2012-05-15 | Enpulz, L.L.C. | Image search engine employing image correlation |
KR101622360B1 (ko) | 2008-06-06 | 2016-05-19 | 톰슨 라이센싱 | 이미지들의 유사성 검색을 위한 시스템 및 방법 |
US8583898B2 (en) | 2009-06-12 | 2013-11-12 | Cray Inc. | System and method for managing processor-in-memory (PIM) operations |
EP2462518A1 (en) * | 2009-08-07 | 2012-06-13 | Google, Inc. | User interface for presenting search results for multiple regions of a visual query |
US9477636B2 (en) | 2009-10-21 | 2016-10-25 | Micron Technology, Inc. | Memory having internal processors and data communication methods in memory |
US8433140B2 (en) * | 2009-11-02 | 2013-04-30 | Microsoft Corporation | Image metadata propagation |
US8352494B1 (en) * | 2009-12-07 | 2013-01-08 | Google Inc. | Distributed image search |
JP4588114B1 (ja) * | 2010-02-18 | 2010-11-24 | 克己 井上 | 情報絞り込み検出機能を備えたメモリ、その使用方法、このメモリを含む装置。 |
US8521721B2 (en) * | 2010-09-14 | 2013-08-27 | Microsoft Corporation | Custom operators for a parallel query engine |
US9645854B2 (en) * | 2010-12-15 | 2017-05-09 | Advanced Micro Devices, Inc. | Dynamic work partitioning on heterogeneous processing devices |
US20120233141A1 (en) * | 2011-03-09 | 2012-09-13 | Mckesson Financial Holdings | Apparatus, method and computer-readable storage medium for searching patient studies |
US8832077B1 (en) * | 2011-05-04 | 2014-09-09 | Google Inc. | Selectively retrieving search results in accordance with different logical relationships |
US20130006999A1 (en) * | 2011-06-30 | 2013-01-03 | Copyright Clearance Center, Inc. | Method and apparatus for performing a search for article content at a plurality of content sites |
JP4976578B1 (ja) * | 2011-09-16 | 2012-07-18 | 楽天株式会社 | 画像検索装置およびプログラム |
CN102542058B (zh) * | 2011-12-29 | 2013-04-03 | 天津大学 | 一种融合全局与局部视觉特征的层次化地标识别方法 |
US8949253B1 (en) | 2012-05-24 | 2015-02-03 | Google Inc. | Low-overhead image search result generation |
US20140089609A1 (en) | 2012-09-26 | 2014-03-27 | Advanced Micro Devices, Inc. | Interposer having embedded memory controller circuitry |
US9442854B2 (en) * | 2012-11-15 | 2016-09-13 | Elwha Llc | Memory circuitry including computational circuitry for performing supplemental functions |
CN111881374A (zh) * | 2012-12-12 | 2020-11-03 | 谷歌有限责任公司 | 基于组合查询提供搜索结果 |
US20140310314A1 (en) * | 2013-04-16 | 2014-10-16 | Samsung Electronics Co., Ltd. | Matching performance and compression efficiency with descriptor code segment collision probability optimization |
US9910864B2 (en) * | 2014-01-22 | 2018-03-06 | Stmicroelectronics S.R.L. | Method for object recognition, corresponding system, apparatus and computer program product |
CN105045761B (zh) * | 2015-08-26 | 2018-08-28 | 福建恒天晨光节能服务有限公司 | 一种数据中心的高速并行处理架构 |
-
2015
- 2015-11-23 US US14/948,892 patent/US10528613B2/en active Active
-
2016
- 2016-09-19 KR KR1020187016566A patent/KR20180075674A/ko not_active Application Discontinuation
- 2016-09-19 WO PCT/US2016/052454 patent/WO2017091282A1/en active Application Filing
- 2016-09-19 EP EP16869027.9A patent/EP3380957A4/en active Pending
- 2016-09-19 JP JP2018526220A patent/JP6721681B2/ja active Active
- 2016-09-19 CN CN201680072449.6A patent/CN108369594B/zh active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019502982A5 (ja) | ||
WO2022068196A1 (zh) | 跨模态的数据处理方法、装置、存储介质以及电子装置 | |
Simonyan et al. | Learning local feature descriptors using convex optimisation | |
JP6721681B2 (ja) | 並列検索動作を実行する方法及び装置 | |
JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
US20150095391A1 (en) | Determining a Product Vector for Performing Dynamic Time Warping | |
KR101581112B1 (ko) | 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치 | |
JP2014512057A (ja) | 視覚探索のための堅牢な特徴マッチング | |
US9842279B2 (en) | Data processing method for learning discriminator, and data processing apparatus therefor | |
TW201546636A (zh) | 註解顯示器輔助裝置及輔助方法 | |
KR20220017497A (ko) | 이미지 특징 추출 및 네트워크의 훈련 방법, 장치 및 기기 | |
JP6460926B2 (ja) | 撮影画像に写る物体を検索するシステム及び方法 | |
JP5518856B2 (ja) | 改良された画像認識用の支援装置 | |
CN110442749B (zh) | 视频帧处理方法及装置 | |
CN111695572A (zh) | 一种基于卷积层特征提取的船只检索方法及装置 | |
JP2016009391A (ja) | 情報処理装置ならびにその特徴点選択方法、装置およびプログラム | |
US20170309004A1 (en) | Image recognition using descriptor pruning | |
JP6017277B2 (ja) | 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 | |
JP2014225168A (ja) | 特徴点集合で表される画像間の類似度を算出するプログラム、装置及び方法 | |
JP6271092B2 (ja) | 信号の埋め込みを生成する方法およびシステム | |
CN111984812B (zh) | 一种特征提取模型生成方法、图像检索方法、装置及设备 | |
Zhou et al. | A practical spatial re-ranking method for instance search from videos | |
US9390347B2 (en) | Recognition device, method, and computer program product | |
Wang et al. | Semantic Indexing and Multimedia Event Detection: ECNU at TRECVID 2012. | |
JP2017102869A (ja) | 重要度算出装置、方法、及びプログラム |