JP2017059144A - 情報端末装置、プログラム及びデータ構造 - Google Patents
情報端末装置、プログラム及びデータ構造 Download PDFInfo
- Publication number
- JP2017059144A JP2017059144A JP2015185361A JP2015185361A JP2017059144A JP 2017059144 A JP2017059144 A JP 2017059144A JP 2015185361 A JP2015185361 A JP 2015185361A JP 2015185361 A JP2015185361 A JP 2015185361A JP 2017059144 A JP2017059144 A JP 2017059144A
- Authority
- JP
- Japan
- Prior art keywords
- information
- recognition
- similar
- feature
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000012795 verification Methods 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 49
- 239000013589 supplement Substances 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000010606 normalization Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 239000000047 product Substances 0.000 description 7
- 239000003599 detergent Substances 0.000 description 6
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003205 fragrance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010014970 Ephelides Diseases 0.000 description 1
- 241000255777 Lepidoptera Species 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
第二照合部6における、候補情報に属する各認識対象の部分特徴情報と、撮像画像の特徴情報と、の類似性を評価することで照合情報を得る処理(前述の第二処理)に関して、第一実施形態では当該特徴情報同士をその距離等で評価して類似度を算出していた。これに代えて、あるいはこれに加えて、以下のように画素情報で評価される領域類似性を考慮するようにしてもよい。
第一照合部5では、互いに類似している認識対象が列挙されたものが得られるという想定で、候補情報を求めている。しかしながら、当該候補情報を求めた際に、ノイズ等の影響により、撮像画像とは似ていると判定されたものの、他の認識対象とは非類似となっているような認識対象(非類似認識対象とする)が含まれてしまっている恐れもある。
第二照合部6において部分特徴情報を選別するに際して、より確実に、候補情報の認識対象間における微差部分に相当する、適切な特徴情報のみを選別したものとして部分特徴情報を得るようにし、その他の不要な特徴情報が誤って部分特徴情報を構成するものとして選別されないようにすべく、第一実施形態において次の追加処理を行うようにしてもよい。
第一実施形態において、第二照合部6において部分特徴情報を求める際に、候補情報内の各認識対象について、特徴情報が他の認識対象の特徴情報と一致しているかを判断することで、一致判断が得られた特徴情報以外を部分特徴情報として選別した。当該一致判断に関しては、(1)少なくとも1つの他の認識対象の特徴情報と一致している場合に一致判断を下すようにしてもよいし、(2)所定数以上の他の認識対象の特徴情報と一致している場合に一致判断を下すようにしてもよい。なお、前述の図5及び図6の例は、当該前者(1)による一致判断を下した例となっている。
第一実施形態では、第一照合部5において候補情報を求めることで、記憶部4に記憶されている複数の認識対象の中から撮像画像の認識対象に類似している複数の認識対象を、いわば「動的」に、選別するという処理を実施していた。これに代えて、いわば「静的」に、予め記憶部4に記憶させる際に、データ構造として、複数の認識対象のうちいずれのもの同士が類似対象であるかという情報も各認識対象に紐付けて記憶させておくようにしてもよい。
上記の(補足5)では記憶部4において各認識対象に類似対象列挙情報を予め、いわば「静的」に記憶させておくものとした。これに代えて、記憶部4では類似対象列挙情報は記憶させておかずに、第一照合部5においていわば「動的」に、類似認識対象情報に相当するものとしての逸脱認識対象を求めたうえで、上記の(補足5)の(処理1)又は(処理2)と同様の候補情報の追加等を行うようにしてもよい。
算出部3において特徴点及び局所画像特徴量として特徴情報を算出するための画像の色チャネルに関しては、画像がRGB等の所定の複数の色チャネルで構成されている場合に、その一部分のみを用いるようにしてもよい。この場合、第一照合部5及び第二照合部6で特徴情報同士の類似性を評価するに際しても、算出部3で用いたのと同様の一部分の色チャネルを用いるようにする。
Claims (12)
- 撮像対象を撮像して撮像画像を得る撮像部と、
前記撮像画像より特徴点及び当該特徴点近傍の局所画像特徴量を算出して特徴情報として出力する算出部と、
複数の認識対象につきそれぞれ、その画像より前記算出部が算出するのと同種の特徴情報を記憶しているデータベースにアクセスして得た各認識対象の特徴情報と、前記撮像画像より算出された特徴情報と、の類似性を評価し、類似していると判定された認識対象を列挙したものとして候補情報を得る第一照合部と、
前記候補情報に列挙された各認識対象同士の間で、その特徴情報同士の一致を判定し、当該一致の判定がなされなかった特徴情報を、前記候補情報に列挙された各認識対象における部分特徴情報として求め、当該求めた各認識対象の部分特徴情報と前記撮像画像より算出された特徴情報との類似性を評価し、類似していると判定された部分特徴情報に対応する認識対象を、前記撮像画像における撮像対象に該当するものとして決定する第二照合部と、を備えることを特徴とする情報端末装置。 - 前記第二照合部は、前記候補情報に列挙された各認識対象同士の間で、その特徴情報同士の一致を判定するに際して、
各特徴情報が、所定数以上の他の認識対象における特徴情報と類似していると判定される場合に、当該特徴情報に関して一致を判定することを特徴とする請求項1に記載の情報端末装置。 - 前記第二照合部は、前記求めた各認識対象の部分特徴情報と前記撮像画像より算出された特徴情報との類似性を評価するに際して、
当該部分特徴情報と当該特徴情報との距離、及び/又は、該部分特徴情報の特徴点の近傍の部分領域と当該特徴情報の特徴点の近傍の部分領域との一致性、に基づいて評価することを特徴とする請求項1または2に記載の情報端末装置。 - 前記第二照合部は、前記部分特徴情報を求める対象としての前記候補情報に列挙された認識対象に関して、
当該候補情報内における各認識対象同士の特徴情報の類似性を評価することにより、互いに類似する他の認識対象とは非類似であると判定された認識対象が存在する場合には、
当該非類似であると判定された認識対象を、前記部分特徴情報を求める対象から除外することを特徴とする請求項1ないし3のいずれかに記載の情報端末装置。 - 前記第二照合部は、前記候補情報に列挙された各認識対象同士の間で、その特徴情報同士の一致を判定するに際して、予め、
各認識対象の特徴情報の解像度を正規化したうえで、当該一致を判定することを特徴とする請求項1ないし4のいずれかに記載の情報端末装置。 - 前記第二照合部は、前記解像度を正規化するに際して、
各認識対象の特徴情報における特徴点の座標を、前記撮像画像の特徴情報における特徴点の座標へと変換する関係を求め、当該変換する関係に基づいて正規化することを特徴とする請求項5に記載の情報端末装置。 - 前記データベースにおいては、複数の認識対象につきそれぞれ、その画像より前記算出部が算出するのと同種の特徴情報に加えてさらに、自身と類似する他の認識対象を列挙した類似対象列挙情報が記憶されており、
前記第一照合部は、前記類似性を評価し、類似していると判定された認識対象を列挙したものとして候補情報を得たうえでさらに、
当該候補情報に列挙された各認識対象について、その類似対象列挙情報を参照し、当該候補情報に含まれない認識対象としての逸脱認識対象が存在している場合には、当該逸脱認識対象を、当該候補情報に対して追加することを特徴とする請求項1ないし6のいずれかに記載の情報端末装置。 - 前記データベースにおいては、複数の認識対象につきそれぞれ、その画像より前記算出部が算出するのと同種の特徴情報に加えてさらに、自身と類似する他の認識対象を列挙した類似対象列挙情報が記憶されており、
前記第一照合部は、前記類似性を評価し、類似していると判定された認識対象を列挙したものとして候補情報を得るに際して、
前記類似性を評価する対象を、前記データベースにおいて類似対象列挙情報によって互いに類似するものとされる一連の認識対象のうち、一部分のみに限定したうえで、当該一部分の認識対象のうち少なくとも1つに関して、前記類似していると判定された場合には、当該類似対象列挙情報によって互いに類似するものとされる一連の認識対象を列挙したものとして前記候補情報を得ることを特徴とする請求項1ないし6のいずれかに記載の情報端末装置。 - 前記データベースにおいては、複数の認識対象につきそれぞれ、その画像より前記算出部が算出するのと同種の特徴情報に加えてさらに、当該認識対象に関するテキスト情報が記憶されており、
前記第一照合部は、前記類似性を評価し、類似していると判定された認識対象を列挙したものとして候補情報を得たうえでさらに、
当該候補情報に列挙された各認識対象について、そのテキスト情報を用いて前記データベースを検索することにより、当該候補情報に含まれない認識対象としての逸脱認識対象であって、当該テキスト情報が類似していると判定される逸脱認識対象を前記データベースより発見した場合には、当該逸脱認識対象を、当該候補情報に対して追加することを特徴とする請求項1ないし6のいずれかに記載の情報端末装置。 - 前記算出部は、予め指定された特定の色チャネルのみを用いて前記特徴情報を算出し、
前記第一照合部は、前記特定の色チャネルのみを用いて前記類似性を評価し、
前記第二照合部では、前記特定の色チャネルのみを用いて前記一致を判定し、前記類似性を評価することを特徴とする請求項1ないし9のいずれかに記載の情報端末装置。 - コンピュータを請求項1ないし10のいずれかに記載の情報端末装置として機能させることを特徴とするプログラム。
- 複数の認識対象につきそれぞれ、その画像より算出される特徴情報と、自身と類似する他の認識対象を列挙した類似対象列挙情報と、を紐付けたデータ構造であって、
撮像対象を撮像して撮像画像を得る撮像部と、
前記撮像画像より特徴点及び当該特徴点近傍の局所画像特徴量を算出して特徴情報として出力する算出部と、
複数の認識対象につきそれぞれ前記データ構造に即したデータを記憶しているデータベースにアクセスして得た各認識対象の特徴情報と、前記撮像画像より算出された特徴情報と、の類似性を評価し、類似していると判定された認識対象を列挙したものとして候補情報を得る第一照合部と、
前記候補情報に列挙された各認識対象同士の間で、その特徴情報同士の一致を判定し、当該一致の判定がなされなかった特徴情報を、前記候補情報に列挙された各認識対象における部分特徴情報として求め、当該求めた各認識対象の部分特徴情報と前記撮像画像より算出された特徴情報との類似性を評価し、類似していると判定された部分特徴情報に対応する認識対象を、前記撮像画像における撮像対象に該当するものとして決定する第二照合部と、を備えることを特徴とする情報端末装置において、
前記第一照合部は、前記類似性を評価し、類似していると判定された認識対象を列挙したものとして候補情報を得たうえでさらに、当該候補情報に列挙された各認識対象について、その類似対象列挙情報を参照し、当該候補情報に含まれない認識対象としての逸脱認識対象が存在している場合には、当該逸脱認識対象を、当該候補情報に対して追加する、または、
前記第一照合部は、前記類似性を評価し、類似していると判定された認識対象を列挙したものとして候補情報を得るに際して、前記類似性を評価する対象を、前記データベースにおいて類似対象列挙情報によって互いに類似するものとされる一連の認識対象のうち、一部分のみに限定したうえで、当該一部分の認識対象のうち少なくとも1つに関して、前記類似していると判定された場合には、当該類似対象列挙情報によって互いに類似するものとされる一連の認識対象を列挙したものとして前記候補情報を得る、ことを特徴とするデータ構造。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015185361A JP6541226B2 (ja) | 2015-09-18 | 2015-09-18 | 情報端末装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015185361A JP6541226B2 (ja) | 2015-09-18 | 2015-09-18 | 情報端末装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017059144A true JP2017059144A (ja) | 2017-03-23 |
JP6541226B2 JP6541226B2 (ja) | 2019-07-10 |
Family
ID=58391662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015185361A Active JP6541226B2 (ja) | 2015-09-18 | 2015-09-18 | 情報端末装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6541226B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119001A (ja) * | 2019-01-18 | 2020-08-06 | 株式会社パン・パシフィック・インターナショナルホールディングス | 情報処理装置、情報処理方法、及びプログラム |
JP2020194443A (ja) * | 2019-05-29 | 2020-12-03 | 株式会社マーケットヴィジョン | 画像処理システム |
CN112150464A (zh) * | 2020-10-23 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、电子设备及存储介质 |
JP2021005417A (ja) * | 2020-10-02 | 2021-01-14 | 日本電信電話株式会社 | 検証装置、方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007080184A (ja) * | 2005-09-16 | 2007-03-29 | Canon Inc | 画像処理装置及び方法 |
JP2011096136A (ja) * | 2009-10-30 | 2011-05-12 | Canon Inc | オブジェクト識別装置及びオブジェクト識別方法 |
WO2014132349A1 (ja) * | 2013-02-27 | 2014-09-04 | 株式会社日立製作所 | 画像解析装置、画像解析システム、画像解析方法 |
JP2015164012A (ja) * | 2014-02-28 | 2015-09-10 | 日本電信電話株式会社 | カテゴリ識別器生成装置、カテゴリ識別装置及びコンピュータプログラム |
JP2015179423A (ja) * | 2014-03-19 | 2015-10-08 | キヤノン株式会社 | 人物登録装置、人物認識装置及びプログラム |
-
2015
- 2015-09-18 JP JP2015185361A patent/JP6541226B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007080184A (ja) * | 2005-09-16 | 2007-03-29 | Canon Inc | 画像処理装置及び方法 |
JP2011096136A (ja) * | 2009-10-30 | 2011-05-12 | Canon Inc | オブジェクト識別装置及びオブジェクト識別方法 |
WO2014132349A1 (ja) * | 2013-02-27 | 2014-09-04 | 株式会社日立製作所 | 画像解析装置、画像解析システム、画像解析方法 |
JP2015164012A (ja) * | 2014-02-28 | 2015-09-10 | 日本電信電話株式会社 | カテゴリ識別器生成装置、カテゴリ識別装置及びコンピュータプログラム |
JP2015179423A (ja) * | 2014-03-19 | 2015-10-08 | キヤノン株式会社 | 人物登録装置、人物認識装置及びプログラム |
Non-Patent Citations (2)
Title |
---|
大町 真一郎: "品質を考慮した印刷文字認識手法", 情報処理学会論文誌, vol. 第38巻 第12号, JPN6019016815, 15 December 1997 (1997-12-15), JP, pages 2490 - 2498, ISSN: 0004030835 * |
松本 祥: "距離画像におけるVisual Wordsの局所空間配置を用いた形状マッチングによる机下に収納された椅", SSII2014 第20回画像センシングシンポジウム 講演論文集 [CD−ROM], JPN6019016812, 12 June 2014 (2014-06-12), JP, pages 102 - 1, ISSN: 0004030834 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119001A (ja) * | 2019-01-18 | 2020-08-06 | 株式会社パン・パシフィック・インターナショナルホールディングス | 情報処理装置、情報処理方法、及びプログラム |
JP2020194443A (ja) * | 2019-05-29 | 2020-12-03 | 株式会社マーケットヴィジョン | 画像処理システム |
JP2021005417A (ja) * | 2020-10-02 | 2021-01-14 | 日本電信電話株式会社 | 検証装置、方法、及びプログラム |
JP7016130B2 (ja) | 2020-10-02 | 2022-02-04 | 日本電信電話株式会社 | 検証装置、方法、及びプログラム |
CN112150464A (zh) * | 2020-10-23 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、电子设备及存储介质 |
CN112150464B (zh) * | 2020-10-23 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6541226B2 (ja) | 2019-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109670591B (zh) | 一种神经网络的训练方法及图像匹配方法、装置 | |
US20210256054A1 (en) | Textual and image based search | |
US10210423B2 (en) | Image match for featureless objects | |
US7769248B2 (en) | Method and apparatus for representing and searching for an object using shape | |
US20160180441A1 (en) | Item preview image generation | |
CN106933867B (zh) | 一种图像查询方法和装置 | |
US20160180193A1 (en) | Image-based complementary item selection | |
JP5963609B2 (ja) | 画像処理装置、画像処理方法 | |
Tonioni et al. | Product recognition in store shelves as a sub-graph isomorphism problem | |
JP6541226B2 (ja) | 情報端末装置及びプログラム | |
US11816923B2 (en) | Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium | |
US20130148849A1 (en) | Image processing device and method | |
Wang et al. | Real-time hand posture recognition based on hand dominant line using kinect | |
Zhao et al. | Character‐object interaction retrieval using the interaction bisector surface | |
JP2024045510A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP5536124B2 (ja) | 画像処理システム及び画像処理方法 | |
Bhardwaj et al. | Palette power: Enabling visual search through colors | |
CN105190689A (zh) | 包括基于毗连特征的对象检测和/或双边对称对象分段的图像处理 | |
JP5865043B2 (ja) | 情報処理装置、情報処理方法 | |
CN115471416A (zh) | 目标识别方法、存储介质及设备 | |
CN111008210B (zh) | 商品识别方法、装置、编解码器及存储装置 | |
Elakkiya et al. | Interactive real time fuzzy class level gesture similarity measure based sign language recognition using artificial neural networks | |
JP6946912B2 (ja) | 推定プログラム、推定装置、及び推定方法 | |
US7761438B1 (en) | Method and apparatus for representing and searching for an object using shape | |
Le | Automatic 3D Hand Pose Estimation Based on YOLOv7 and HandFoldingNet from Egocentric Videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6541226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |