JP2021005417A - 検証装置、方法、及びプログラム - Google Patents
検証装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2021005417A JP2021005417A JP2020167625A JP2020167625A JP2021005417A JP 2021005417 A JP2021005417 A JP 2021005417A JP 2020167625 A JP2020167625 A JP 2020167625A JP 2020167625 A JP2020167625 A JP 2020167625A JP 2021005417 A JP2021005417 A JP 2021005417A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correspondence
- partial region
- subregion
- cosine similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012795 verification Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 description 41
- 238000012545 processing Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
まず、本発明の実施の形態における原理について説明する。
図1は、本発明の実施の形態に係る検証装置100の構成の一例を示すブロック図である。図1に示す検証装置100は、入力部110、特徴抽出部120、対応候補計算部130、検証部140、出力部150を備える。
本実施の形態における検証装置100の各処理部について説明する。
次に、本実施の形態における検証装置100の処理について説明する。本発明の実施形態における処理は、大きくオフライン処理とオンライン処理に分かれている。前者は参照データベース160に格納されている各参照画像について、少なくとも一度実施されていればよい処理であり、後者は実際に検索を行う際に、クエリ画像が入力されたことをトリガとして実施する処理である。以降、順に説明する。
以降、各処理の詳細処理について、本実施の形態における一例を説明する。
まず、入力された画像に対して、部分領域と特徴量ベクトルを抽出する方法について説明する。
次に、異なる2枚の画像間に規定された部分領域同士の対応候補を求める処理について説明する。本発明の実施の形態の一例においては、クエリ画像とそれぞれの参照画像との間で、対応する部分領域を決定するために用いる処理である。
・・・(1)
コサイン類似度sim(Qi, Rj)は、-1から1までの値を取り、値が大きいほど特徴量ベクトル間が近いことを表す。本発明の実施の形態においては、特徴量ベクトルの近い部分領域の組み合わせを発見することを目的としているため、この値が高いものだけを考慮すればよい。この観点から、コサイン類似度sim(Qi, Rj)が一定の閾値以上の値を持つことを条件とする。この閾値は、例えば0.5などとするのが好適である。
参照画像の部分領域Rjに着目したとき、これに最も近い(最も類似度の高い)クエリ画像の部分領域がQiであったとする。このとき、反対に、クエリ画像の部分領域Qiに着目したとき、これに最も近い参照画像の部分領域もやはりRjであることを条件とする。
続いて、部分領域の幾何情報に基づいて、求めた部分領域の対応候補の対応の適否を判定する。すなわち、対応候補計算部130で求めた対応候補のうち、有効な対応ではない(つまり、物体から抽出された部分領域同士の対応ではない)と考えられる部分領域の組み合わせである対応候補を削除する。
110 入力部
120 特徴抽出部
130 対応候補計算部
140 検証部
150 出力部
160 参照データベース
170 クエリ画像
Claims (4)
- 第一の画像と第二の画像との対応を検証する検証装置であって、
前記第一の画像と前記第二の画像の各々について、少なくとも一つ以上の畳み込み層を含む畳み込みニューラルネットワークを適用し、画像の複数の部分領域ごとに前記畳み込み層の出力を求める特徴抽出部と、
前記第一の画像と第二の画像の各々について前記部分領域ごとに求められた前記畳み込み層の出力に基づいて、前記第一の画像の前記部分領域のそれぞれと、前記第二の画像の前記部分領域のそれぞれとの各組み合わせについて、前記畳み込み層の出力のコサイン類似度を求め、
前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせについて前記コサイン類似度が所定の閾値よりも高い値となり、かつ、前記部分領域Aiに対して最大のコサイン類似度となる前記第二の画像の部分領域が前記部分領域Bjと一致し、かつ、前記部分領域Bjに対して最大のコサイン類似度となる前記第一の画像の部分領域が前記部分領域Aiと一致する場合に、前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせを対応候補として各々選定する対応候補計算部と、
前記対応候補の各々についての部分領域の画像中の位置座標に基づいて、前記対応候補の適否を判定し、前記対応候補が適当である場合には前記対応候補を対応として出力する検証部と、
を備えることを特徴とする検証装置。 - 前記検証部は、前記対応候補の各々についての部分領域の画像中の位置座標に基づいて、他の対応候補についての部分領域の組み合わせにおける相対的な位置関係との一貫性に応じて、前記対応候補の適否を判定する請求項1記載の検証装置。
- 第一の画像と第二の画像との対応を検証する検証装置における検証方法であって、
特徴抽出部が、前記第一の画像と前記第二の画像の各々について、少なくとも一つ以上の畳み込み層を含む畳み込みニューラルネットワークを適用し、画像の複数の部分領域ごとに前記畳み込み層の出力を求め、
対応候補計算部が、前記第一の画像と第二の画像の各々について前記部分領域ごとに求められた前記畳み込み層の出力に基づいて、前記第一の画像の前記部分領域のそれぞれと、前記第二の画像の前記部分領域のそれぞれとの各組み合わせについて、前記畳み込み層の出力のコサイン類似度を求め、
前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせについて前記コサイン類似度が所定の閾値よりも高い値となり、かつ、前記部分領域Aiに対して最大のコサイン類似度となる前記第二の画像の部分領域が前記部分領域Bjと一致し、かつ、前記部分領域Bjに対して最大のコサイン類似度となる前記第一の画像の部分領域が前記部分領域Aiと一致する場合に、前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせを対応候補として各々選定し、
検証部が、前記対応候補の各々についての部分領域の画像中の位置座標に基づいて、前記対応候補の適否を判定し、前記対応候補が適当である場合には前記対応候補を対応として出力する
ことを特徴とする検証方法。 - コンピュータを、請求項1又は2に記載の検証装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020167625A JP7016130B2 (ja) | 2020-10-02 | 2020-10-02 | 検証装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020167625A JP7016130B2 (ja) | 2020-10-02 | 2020-10-02 | 検証装置、方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017147068A Division JP6793925B2 (ja) | 2017-07-28 | 2017-07-28 | 検証装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021005417A true JP2021005417A (ja) | 2021-01-14 |
JP7016130B2 JP7016130B2 (ja) | 2022-02-04 |
Family
ID=74099467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020167625A Active JP7016130B2 (ja) | 2020-10-02 | 2020-10-02 | 検証装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7016130B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04299474A (ja) * | 1991-03-27 | 1992-10-22 | Nec Corp | 画像マッチング方式 |
JP2003323618A (ja) * | 2002-04-30 | 2003-11-14 | Sharp Corp | 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体 |
JP2008134791A (ja) * | 2006-11-28 | 2008-06-12 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
JP2014229063A (ja) * | 2013-05-22 | 2014-12-08 | 日本電信電話株式会社 | 画像検索装置、方法、及びプログラム |
JP2016025625A (ja) * | 2014-07-24 | 2016-02-08 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016099835A (ja) * | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017059144A (ja) * | 2015-09-18 | 2017-03-23 | Kddi株式会社 | 情報端末装置、プログラム及びデータ構造 |
JP2017062781A (ja) * | 2015-09-22 | 2017-03-30 | ゼロックス コーポレイションXerox Corporation | 深層cnnプーリング層を特徴として用いる、類似度に基づく重要な対象の検知 |
-
2020
- 2020-10-02 JP JP2020167625A patent/JP7016130B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04299474A (ja) * | 1991-03-27 | 1992-10-22 | Nec Corp | 画像マッチング方式 |
JP2003323618A (ja) * | 2002-04-30 | 2003-11-14 | Sharp Corp | 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体 |
JP2008134791A (ja) * | 2006-11-28 | 2008-06-12 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
JP2014229063A (ja) * | 2013-05-22 | 2014-12-08 | 日本電信電話株式会社 | 画像検索装置、方法、及びプログラム |
JP2016025625A (ja) * | 2014-07-24 | 2016-02-08 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016099835A (ja) * | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017059144A (ja) * | 2015-09-18 | 2017-03-23 | Kddi株式会社 | 情報端末装置、プログラム及びデータ構造 |
JP2017062781A (ja) * | 2015-09-22 | 2017-03-30 | ゼロックス コーポレイションXerox Corporation | 深層cnnプーリング層を特徴として用いる、類似度に基づく重要な対象の検知 |
Non-Patent Citations (1)
Title |
---|
柴山 祐輝、外4名: ""大規模なデータセットの構築のための画像のフィルタリング手法"", 情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM), vol. Vol.2017-CVIM-207, No.30, JPN6020028167, 3 May 2017 (2017-05-03), JP, pages 1 - 5, ISSN: 0004673315 * |
Also Published As
Publication number | Publication date |
---|---|
JP7016130B2 (ja) | 2022-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101531618B1 (ko) | 이미지들의 비교 방법 및 시스템 | |
JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
US8406535B2 (en) | Invariant visual scene and object recognition | |
Li | A Practical $ O (N^ 2) $ O (N 2) Outlier Removal Method for Correspondence-Based Point Cloud Registration | |
JP6793925B2 (ja) | 検証装置、方法、及びプログラム | |
Erinc et al. | Anytime merging of appearance-based maps | |
Sghaier et al. | Efficient machine-learning based 3d face identification system under large pose variation | |
Sugimura et al. | Three-dimensional point cloud object detection using scene appearance consistency among multi-view projection directions | |
Paradowski et al. | Local keypoints and global affine geometry: Triangles and ellipses for image fragment matching | |
CN113343920A (zh) | 人脸识别照片的分类方法、装置、电子设备和存储介质 | |
Li et al. | A non-rigid 3D model retrieval method based on scale-invariant heat kernel signature features | |
Qi et al. | Fast and robust homography estimation method with algebraic outlier rejection | |
JP6482505B2 (ja) | 検証装置、方法、及びプログラム | |
JP7156643B2 (ja) | 姿勢推定装置、学習装置、方法、及びプログラム | |
Nanni et al. | Ensemble of shape descriptors for shape retrieval and classification | |
JP7016130B2 (ja) | 検証装置、方法、及びプログラム | |
Maier et al. | Ground truth accuracy and performance of the matching pipeline | |
Rodríguez et al. | Robust homography estimation from local affine maps | |
Han et al. | Grid graph-based large-scale point clouds registration | |
Dubenova et al. | D-InLoc++: Indoor Localization in Dynamic Environments | |
JP6832268B2 (ja) | 検証装置、方法、及びプログラム | |
Zhou et al. | USuperGlue: an unsupervised UAV image matching network based on local self-attention | |
Nayef et al. | Efficient symbol retrieval by building a symbol index from a collection of line drawings | |
Varga et al. | On fast point cloud matching with key points and parameter tuning | |
Shen et al. | LTM: efficient learning with triangular topology constraint for feature matching with heavy outliers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220117 |