JP6403207B2 - Information terminal equipment - Google Patents
Information terminal equipment Download PDFInfo
- Publication number
- JP6403207B2 JP6403207B2 JP2015014506A JP2015014506A JP6403207B2 JP 6403207 B2 JP6403207 B2 JP 6403207B2 JP 2015014506 A JP2015014506 A JP 2015014506A JP 2015014506 A JP2015014506 A JP 2015014506A JP 6403207 B2 JP6403207 B2 JP 6403207B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- disturbance
- feature
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 50
- 238000004364 calculation method Methods 0.000 claims description 46
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000012937 correction Methods 0.000 claims description 34
- 238000000926 separation method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 13
- 230000002093 peripheral effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 10
- 101100153168 Arabidopsis thaliana TIC21 gene Proteins 0.000 description 6
- 101100273813 Homo sapiens CDKN1A gene Proteins 0.000 description 6
- 108700038981 SUMO-1 Proteins 0.000 description 6
- 101100083337 Schizosaccharomyces pombe (strain 972 / ATCC 24843) pic1 gene Proteins 0.000 description 6
- 102100026940 Small ubiquitin-related modifier 1 Human genes 0.000 description 6
- 101100496169 Arabidopsis thaliana CLH1 gene Proteins 0.000 description 3
- 101150047265 COR2 gene Proteins 0.000 description 3
- 101100044057 Mesocricetus auratus SYCP3 gene Proteins 0.000 description 3
- 101100467189 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) QCR2 gene Proteins 0.000 description 3
- 101100080600 Schizosaccharomyces pombe (strain 972 / ATCC 24843) nse6 gene Proteins 0.000 description 3
- 101150111293 cor-1 gene Proteins 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像部により撮像された対象を認識するのに利用できる特徴情報を算出する情報端末装置に関し、特に、特徴点検出に用いる画像と特徴量算出に用いる画像とを分離することで、外乱に対する頑健性を向上させる情報端末装置に関する。 The present invention relates to an information terminal device that calculates feature information that can be used to recognize an object imaged by an imaging unit, and in particular, by separating an image used for feature point detection and an image used for feature amount calculation, The present invention relates to an information terminal device that improves robustness against disturbance.
画像から対象を認識する技術は、配布や提示が容易な媒体に記載されたアナログ情報からデジタル情報に変換させることが可能であり、利用者の利便性を向上させることができる。当該技術としては、以下の非特許文献１のものが公開されている。 A technique for recognizing an object from an image can convert analog information described in a medium that can be easily distributed and presented from digital information to digital information, and can improve user convenience. As the technique, the following Non-Patent Document 1 is disclosed.
非特許文献１では、画像から特徴点を検出し、特徴点周辺から特徴量（局所画像特徴量）を算出した上で、事前に蓄積しておいた特徴量と照合することによって、対象の種類および相対的な位置関係を認識する。 In Non-Patent Document 1, a feature point is detected from an image, a feature amount (local image feature amount) is calculated from around the feature point, and then compared with a feature amount accumulated in advance, And recognize the relative positional relationship.
一方、上記のような特徴点及び特徴量に基づく認識に関してさらに、認識精度を向上させる技術や頑健性を獲得する技術としては、以下の特許文献１〜３のようなものが公開されている。 On the other hand, regarding the recognition based on the above feature points and feature amounts, the following patent documents 1 to 3 are disclosed as techniques for improving recognition accuracy and techniques for obtaining robustness.
特許文献１では、同一の対象を撮像した複数の画像間における特徴点の誤対応を低減するため、特徴点を頂点としたドロネー三角形分割とトポロジー評価によって認識率向上を図る。 In Patent Document 1, in order to reduce erroneous correspondence of feature points between a plurality of images taken of the same object, the recognition rate is improved by Delaunay triangulation using the feature points as vertices and topology evaluation.
特許文献２では、特徴量の判別性能を評価することによって、有効な特徴量を選別する手法を開示している。 Patent Document 2 discloses a method for selecting effective feature amounts by evaluating the feature amount discrimination performance.
特許文献３では、特徴点およびエッジの位置関係の類似度を判定することで、特徴点の対応付けを高精度化する。 In Patent Document 3, the correspondence between feature points is improved by determining the similarity of the positional relationship between feature points and edges.
しかしながら、以上のような非特許文献１や特許文献１〜３といった従来技術には、利用者の撮像の仕方が認識精度に大きく影響するという課題があった。具体的には、ボケやブレ、テカリなどの外乱によって十分な数の特徴点を検出できないと認識処理が全く機能しないという課題がある。 However, the conventional techniques such as Non-Patent Document 1 and Patent Documents 1 to 3 described above have a problem that the user's imaging method greatly affects the recognition accuracy. Specifically, there is a problem that the recognition process does not function at all if a sufficient number of feature points cannot be detected due to disturbances such as blurring, blurring, and shine.
ここで、当該課題への対策として、ウィナーフィルタ(Wiener filter)やルーシーリチャードソンフィルタ(Lucy-Richardson filter)等の画像復元の既存手法を前処理として適用するということも考えられる。しかし、当該前処理を施すとリンギング状の特有のノイズが発生するため、特徴点を検出できたとしても特徴量を正しく算出できず認識できないという新たな問題を引き起こしてしまう。 Here, as a countermeasure against the problem, it may be possible to apply an existing image restoration method such as a Wiener filter or a Lucy-Richardson filter as a preprocessing. However, if the pre-processing is performed, ringing-like noise is generated, which causes a new problem that even if a feature point can be detected, the feature amount cannot be correctly calculated and recognized.
本発明の目的は、上記従来技術の課題に鑑み、撮像の仕方その他に起因する外乱がある場合であっても、撮像した画像から撮像対象を高精度に認識可能な特徴情報を算出することのできる情報端末装置を提供することにある。 An object of the present invention is to calculate feature information capable of recognizing an imaging target with high accuracy from a captured image even when there is a disturbance caused by the imaging method and others in view of the above-described problems of the prior art. It is to provide an information terminal device that can be used.
上記目的を達成するため、本発明は、情報端末装置であって、撮像を行い撮像画像を得る撮像部と、前記撮像画像に対して特徴点検出に対する外乱の補正を行い第一の補正画像を生成すると共に、前記撮像画像に対して特徴量算出に対する外乱の補正を行い第二の補正画像を生成する分離部と、前記第一の補正画像より特徴点を検出し、その座標情報を得る検出部と、前記第二の補正画像において前記座標情報に該当する各位置より特徴量を算出することで、前記撮像画像に対する特徴情報を得る算出部と、を備えることを特徴とする。 In order to achieve the above object, the present invention provides an information terminal device, an imaging unit that captures an image and obtains a captured image, and corrects a disturbance for feature point detection on the captured image to obtain a first corrected image. And generating a second corrected image by correcting disturbance for the feature amount calculation on the captured image, and detecting a feature point from the first corrected image and obtaining coordinate information thereof And a calculation unit that obtains feature information for the captured image by calculating a feature amount from each position corresponding to the coordinate information in the second corrected image.
本発明によれば、特徴点検出に対する外乱の補正と特徴量算出に対する外乱の補正とを分けて実施したうえで特徴点検出及び特徴量算出を行うので、撮像の仕方その他に起因する外乱がある場合であっても、撮像した画像から撮像対象を高精度に認識可能な特徴情報を算出することができる。 According to the present invention, disturbance correction for feature point detection and disturbance correction for feature quantity calculation are performed separately, and feature point detection and feature quantity calculation are performed. Even in this case, it is possible to calculate feature information that can recognize the imaging target with high accuracy from the captured image.
図１は、一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置1は、撮像部2、分離部3、検出部4、算出部5、記憶部6、認識部7及び提示部8を備える。 情報端末装置1としては撮像部2を備える任意の情報端末を利用することができ、携帯端末の他、タブレット型端末、デスクトップ型又はラップトップ型のコンピュータその他を利用することができる。 FIG. 1 is a functional block diagram of an information terminal device according to an embodiment. The information terminal device 1 includes an imaging unit 2, a separation unit 3, a detection unit 4, a calculation unit 5, a storage unit 6, a recognition unit 7, and a presentation unit 8. As the information terminal device 1, any information terminal including the imaging unit 2 can be used, and in addition to a portable terminal, a tablet type terminal, a desktop type or laptop type computer, or the like can be used.
図２は、情報端末装置1の各部（特に、分離部3、検出部4及び算出部5）で処理される各情報の模式的な例と当該処理の流れとを示す図である。以下、図２を適宜参照しながら、図１の情報端末装置1の各部の処理内容を説明する。 FIG. 2 is a diagram illustrating a schematic example of each piece of information processed by each unit (particularly, the separation unit 3, the detection unit 4, and the calculation unit 5) of the information terminal device 1 and the flow of the processing. Hereinafter, the processing content of each part of the information terminal device 1 of FIG. 1 is demonstrated, referring FIG. 2 suitably.
（撮像部2について）
撮像部2は、撮像対象を撮像して、その撮像画像を分離部3へ出力する。ここで、撮像対象には、記憶部6にその特徴量が予め記憶され認識部7によって認識される予め既知の認識対象が含まれるよう、ユーザ等が撮像部2により撮像を行う。認識対象は物体その他の任意の対象であってよく、例えば、特徴等が既知の模様を持つマーカーや印刷物、立体物等であってよい。撮像部2としては、携帯端末に標準装備されるデジタルカメラ等を用いることができる。
(About imaging unit 2)
The imaging unit 2 images the imaging target and outputs the captured image to the separation unit 3. Here, the imaging unit 2 performs imaging by the imaging unit 2 so that the imaging target includes a previously known recognition target whose feature amount is stored in advance in the storage unit 6 and recognized by the recognition unit 7. The recognition target may be an object or any other target, and may be, for example, a marker having a pattern with known characteristics, a printed material, a three-dimensional object, or the like. As the imaging unit 2, a digital camera or the like that is provided as a standard in a mobile terminal can be used.
図２の例では、[1]に記憶部6に予め参照画像PIC10によりその特徴量が抽出され記憶された認識対象R1（例として矢印状の形状を有する）が示され、矢印線L12で結ぶように[2]に当該認識対象R1を対象OBJ1として実際に撮像した撮像画像PIC1が示されている。 In the example of FIG. 2, the recognition target R1 (having an arrow-like shape as an example) in which the feature amount is previously extracted and stored in the storage unit 6 by the reference image PIC10 is shown in [1] and connected by an arrow line L12. As shown in [2], a captured image PIC1 actually captured with the recognition target R1 as the target OBJ1 is shown.
（分離部3について）
分離部3は、撮像部2で撮像された撮像画像の外乱を補正して補正画像を生成する。この際、外乱の種類に応じて２種類の別個の補正を行い、２種類の補正画像をそれぞれ生成する。具体的には、検出部4における検出処理に適した第一の補正画像と、算出部5における算出処理に適した第二の補正画像と、を生成する。第一の補正画像は検出部4に出力され、第二の補正画像は算出部5に出力される。
(About separation part 3)
The separation unit 3 corrects the disturbance of the captured image captured by the imaging unit 2 and generates a corrected image. At this time, two types of correction are performed according to the type of disturbance, and two types of corrected images are generated. Specifically, a first correction image suitable for the detection process in the detection unit 4 and a second correction image suitable for the calculation process in the calculation unit 5 are generated. The first corrected image is output to the detection unit 4, and the second corrected image is output to the calculation unit 5.
以下、（１）、（２）と見出しを設けて、当該２種類の補正処理をそれぞれ説明する。 Hereinafter, the headings (1) and (2) will be provided, and the two types of correction processing will be described.
（１）第一の補正画像
検出部4での検出処理に適した第一の補正画像生成においては、ボケやブレ等の外乱によって特徴点を得ることが困難であるという前提に立ち、特徴点座標を正確に再構成するため、外乱の種別や強度を推定し、当該強度に応じた補正処理を行う。当該推定及び補正はそれぞれ以下の通りである。
(1) First corrected image In the first corrected image generation suitable for the detection process in the detection unit 4, it is assumed that it is difficult to obtain a feature point due to disturbance such as blurring and blurring. In order to accurately reconstruct the coordinates, the type and intensity of the disturbance are estimated and correction processing corresponding to the intensity is performed. The estimation and correction are as follows.
（１−１）推定
外乱の推定については、点広がり関数（PSF; Point Spread Function）を推定する既存手法を利用することができる。点広がり関数は点光源を撮像した撮像画像の輝度分布に相当し、ボケ及びブレとその強度を統一的に記述するものであるので、点広がり関数を推定することによりボケ及びブレとその強度とを統一的に推定することができる。
(1-1) Estimation For estimating the disturbance, an existing method for estimating a point spread function (PSF) can be used. Since the point spread function corresponds to the luminance distribution of a captured image obtained by imaging a point light source, and blur and blur and its intensity are described in a unified manner, the blur and blur and its intensity are estimated by estimating the point spread function. Can be estimated uniformly.
あるいは、周波数領域に変換し高周波の有無若しくは割合を基準として判断してもよい。すなわち、高周波成分が少ないほど外乱の度合いが大きいとして推定してよい。ここで、高周波成分の方向分布により、外乱の種類を特定方向のブレ又は特に方向性のないボケ等として推定することもできる。あるいは、検出部4における検出処理と同様の処理を、補正を適用しない撮像画像（撮像部2の出力）に対して適用し、検出された特徴点数を基準とすることもできる。すなわち、当該検出された特徴点数が少ないほど外乱の度合いが大きいとして推定してよい。ここで、特徴点（の周辺）が特定方向のエッジとして構成されている場合等であれば、上記と同様に外乱におけるボケ・ブレの方向等を推定することもできる。 Or you may convert into a frequency domain and may judge on the basis of the existence or ratio of a high frequency. That is, it may be estimated that the smaller the high-frequency component, the greater the degree of disturbance. Here, according to the direction distribution of the high frequency component, the type of disturbance can also be estimated as blurring in a specific direction or a blur having no directivity. Alternatively, the same process as the detection process in the detection unit 4 can be applied to a captured image to which no correction is applied (output of the imaging unit 2), and the number of detected feature points can be used as a reference. That is, the smaller the number of detected feature points, the greater the degree of disturbance may be estimated. Here, if the feature point (the vicinity thereof) is configured as an edge in a specific direction, the blur / blur direction in the disturbance can be estimated in the same manner as described above.
（１−２）補正
外乱の補正については、PSFのデコンボリューション演算によりボケ・ブレを低減する。あるいは、ラプラシアンフィルタ等を使った鮮鋭化を適用してもよい。フィルタの形状やサイズはボケの種類や強度に応じて変化させてもよい。
(1-2) Correction For disturbance correction, blur and blur are reduced by PSF deconvolution calculation. Alternatively, sharpening using a Laplacian filter or the like may be applied. The shape and size of the filter may be changed according to the type and intensity of blur.
上記では外乱としてボケ・ブレの推定及び補正について説明したが、これに代えて、またはこれに加えて、外乱としてホワイトバランスや露光調整の乱れを推定及び補正してもよい。当該推定及び補正には、撮像画像に対するヒストグラム調整等の既存技術を利用することができる。 In the above description, blur and blur estimation and correction have been described as disturbances. However, instead of or in addition to this, white balance and exposure adjustment disturbances may be estimated and corrected as disturbances. For the estimation and correction, an existing technique such as histogram adjustment for a captured image can be used.
なお、当該補正により生成される第一の補正画像を対象として、検出部4において特徴点を過剰に検出できるよう、当該補正は強めに適用することが好ましい。これは、以下のような観点に基づく。 Note that it is preferable to apply the correction more strongly so that the detection unit 4 can detect excessive feature points for the first correction image generated by the correction. This is based on the following viewpoint.
すなわち、分離部3及び検出部4において仮に正確な特徴点の情報を再構成できなくとも、さらに後段にある認識部7で記憶部6の特徴量と照合するため、不正確な情報の影響は当該照合において排除可能である。一方、本来は特徴点であるのにもかかわらず検出部4で検出漏れとなると、後段側の構成においても当該検出漏れに対処することは不可能である。このような観点より、補正を強めに適用することが好ましい。 That is, even if the separation unit 3 and the detection unit 4 cannot reconstruct accurate feature point information, the recognition unit 7 in the subsequent stage collates with the feature amount of the storage unit 6, so the influence of inaccurate information is It can be eliminated in the verification. On the other hand, if a detection omission occurs in the detection unit 4 even though it is originally a feature point, it is impossible to deal with the omission of detection even in the configuration on the subsequent stage side. From such a viewpoint, it is preferable to apply the correction more strongly.
なお、外乱が発生していない若しくは軽微であると判定される場合は、補正処理を省略し、撮像部2で得た撮像画像をそのまま第一の補正画像として検出部4へと出力するようにしてもよい。当該判定は、推定した外乱の大きさに対して所定の閾値判定等により行えばよい。 When it is determined that no disturbance has occurred or is slight, the correction process is omitted, and the captured image obtained by the imaging unit 2 is output as it is to the detection unit 4 as the first corrected image. May be. The determination may be performed by a predetermined threshold determination or the like for the estimated disturbance magnitude.
また、撮像部2により得た撮像画像に外乱が発生していない若しくは軽微であることが事前に既知であるような場合（例えば、撮像者の撮像スキルが高いことが既知の場合）には、上記の閾値判定も省略し、補正処理を常に省略して撮像部2の撮像画像をそのまま第一の補正画像として出力してもよい。 In addition, in the case where it is known in advance that the captured image obtained by the imaging unit 2 is not disturbed or is slight (for example, when it is known that the imaging skill of the photographer is high) The above threshold determination may also be omitted, the correction process may be omitted, and the captured image of the imaging unit 2 may be output as it is as the first corrected image.
（２）第二の補正画像
一方、算出部5での算出処理に適した第二の補正画像生成においては、反射光やホワイトノイズ等の外乱によって特徴量の整合性が失われるという前提に立ち、特徴量を正確に再構成するため、外乱の種別や強度を推定し、当該強度に応じた補正処理を行う。外乱ごとの当該推定及び補正はそれぞれ以下の通りである。
(2) Second Corrected Image On the other hand, in the generation of the second corrected image suitable for the calculation process in the calculation unit 5, it is assumed that the consistency of the feature amount is lost due to disturbance such as reflected light and white noise. In order to accurately reconstruct the feature amount, the type and intensity of the disturbance are estimated, and correction processing corresponding to the intensity is performed. The estimation and correction for each disturbance are as follows.
（２−１）ホワイトノイズ等の外乱
ホワイトノイズ等の強度推定については、周波数領域の高周波成分の均一性を基準とし、より均一なほどノイズが大きいとして推定すればよい。同外乱の補正については、推定された強度に応じたウィンドウサイズのメディアンフィルタによりホワイトノイズを低減すればよい。
(2-1) Disturbances such as white noise The intensity estimation of white noise or the like may be estimated based on the uniformity of high-frequency components in the frequency domain, and the more uniform the noise is. For correcting the disturbance, white noise may be reduced by a median filter having a window size corresponding to the estimated intensity.
（２−２）反射光の外乱
反射光については、高輝度領域および当該周辺領域において特徴量を正確に算出できないため、高輝度領域および当該周辺領域から特徴量を算出しないようマスク領域を設定する。当該マスク領域は、輝度に対する閾値判定によって設定すればよい。さらに領域の形状及び／又は大きさ等を考慮して設定してもよい。
(2-2) Disturbance of reflected light For reflected light, since the feature amount cannot be accurately calculated in the high-luminance region and the surrounding region, a mask region is set so that the feature amount is not calculated from the high-luminance region and the surrounding region. . The mask area may be set by threshold determination for luminance. Further, it may be set in consideration of the shape and / or size of the region.
（２−３）細かな文字領域に対するマスク領域の設定
上記のように反射光に対して設定したのと同様の、特徴量の算出対象から除外されるマスク領域を、細かな文字領域に対して設定するようにしてもよい。なお、細かな文字領域は上記のホワイトノイズ等や反射光とは異なり、ユーザの撮像等に起因する外乱ではないが、後段の認識部7における認識の精度を低下させる原因となりうるという点からは、外乱と同様に対処すべきものとなる。具体的には以下のような事情で、細かな文字領域は認識精度低下の原因となりうる。
(2-3) Setting of Mask Area for Fine Character Area The mask area excluded from the feature amount calculation target is set for the fine character area in the same manner as set for the reflected light as described above. You may make it set. Unlike the above white noise and reflected light, the fine character area is not a disturbance caused by the user's imaging etc. , As well as disturbances. Specifically, a fine character area can cause a reduction in recognition accuracy due to the following circumstances.
例えば、高速化・省メモリ化の観点から、検出する特徴点数（算出部5で算出する特徴量数）に上限を設定している場合、文字領域に特徴点が多く出過ぎてしまうと、本来取るべき特徴点（及び当該特徴点に対応する特徴量）が取れないため、認識率が低下する傾向がある。具体例としては、認識対象がある特定の飲料商品の瓶であり、ユーザが実際にその瓶を撮影した際に、栄養成分その他に関して記載された食品表示の箇所にある細かな文字領域より、多数の特徴点が検出される場合が挙げられる。 For example, from the viewpoint of speeding up and saving memory, if an upper limit is set for the number of feature points to be detected (the number of feature amounts calculated by the calculation unit 5), if there are too many feature points in the character area, it is originally taken Since the feature points (and the feature amounts corresponding to the feature points) that should be removed cannot be obtained, the recognition rate tends to decrease. As a specific example, there is a bottle of a specific beverage product with a recognition target, and when the user actually shoots the bottle, there are many more than the fine character areas in the food display portion described regarding nutritional components and others. There are cases where feature points are detected.
なお、後段の記憶部6では当該瓶の特徴量を、細かな文字領域となっている食品表示欄以外の箇所（当該瓶の模様やロゴ等の箇所で、大きな文字が含まれていてもよい）より予め算出したうえで記憶していることが前提である。ここで、細かな文字領域において特徴量を検出したとしても、同じような特徴量が多数検出され、認識性能に劣った特徴量となってしまうことがあるという考察に基づき、記憶部6に記憶させる管理者等が細かな文字領域を排除したうえで記憶させるものとする。 It should be noted that in the latter storage unit 6, the characteristic amount of the bottle is included in a portion other than the food display column that is a fine character area (a large character may be included in a portion such as the pattern or logo of the bottle) ) Is preliminarily calculated and stored in advance. Here, even if feature amounts are detected in a fine character area, a large number of similar feature amounts are detected and stored in the storage unit 6 based on the consideration that the feature amounts may be inferior in recognition performance. It is assumed that the administrator or the like to be memorized deletes the fine character area.
細かな文字領域の検出処理に関しては、OCR(光学文字認識)分野等における既存手法で文字領域を検出し、当該検出された文字領域のサイズに対して閾値判定で小さいと判定された場合に、細かな文字領域であるものとして判断するようにすればよい。ここで、文字領域の検出に際しては、文字認識の処理は省略してもよい。 Regarding the detection process of fine character areas, when the character area is detected by an existing method in the field of OCR (optical character recognition) or the like, and the size of the detected character area is determined to be small by the threshold determination, What is necessary is just to judge as a fine character area. Here, the character recognition process may be omitted when the character region is detected.
以上、撮像画像に対してホワイトノイズ等を低減する処理を施した画像において、反射光の領域及び／又は細かな文字の領域として処理対象から除外すべきマスク領域の情報を紐付けた画像が、第二の補正画像として算出部5へと出力される。後述する算出部5では、マスク領域内にある特徴点からは特徴量を算出しない。 As described above, in an image obtained by performing processing for reducing white noise or the like on a captured image, an image in which information of a mask region to be excluded from a processing target as a region of reflected light and / or a fine character region is associated. The second corrected image is output to the calculation unit 5. The calculation unit 5 to be described later does not calculate the feature amount from the feature points in the mask area.
なお、外乱が発生していない若しくは軽微である場合は、補正処理を省略して撮像部2の撮像画像をそのまま第二の補正画像として出力してもよい。省略するか否かは推定した外乱の大きさに対する閾値判定によればよい。ホワイトノイズ等及び反射光のそれぞれの外乱につき、個別に省略するか否かを判断するようにしてもよい。 If no disturbance is generated or is slight, the correction process may be omitted and the captured image of the imaging unit 2 may be output as it is as the second corrected image. Whether or not to omit the threshold value may be determined by threshold determination with respect to the estimated magnitude of the disturbance. Whether or not white noise or the like and the disturbance of the reflected light are individually omitted may be determined.
また、撮像部2により得た撮像画像に外乱が発生していない若しくは軽微であることが事前に既知であるような場合には、上記の閾値判定も省略し、補正処理を常に省略して撮像部2の撮像画像をそのまま第二の補正画像として出力してもよい。 Also, when it is known in advance that there is no disturbance in the captured image obtained by the imaging unit 2 or that it is known in advance, the above threshold determination is also omitted, and the correction process is always omitted and imaging is performed. The captured image of unit 2 may be output as it is as the second corrected image.
以上、分離部3の処理に関して図２の例では、[2]の撮像画像PIC1より矢印線L23で示すように生成された第一の補正画像COR1が[3]に示され、[2]の撮像画像PIC1より矢印線L25で示すように生成された第二の補正画像COR2が[5]に示されている。 As described above, in the example of FIG. 2 regarding the processing of the separation unit 3, the first corrected image COR1 generated as shown by the arrow line L23 from the captured image PIC1 of [2] is shown in [3], A second corrected image COR2 generated from the captured image PIC1 as indicated by an arrow line L25 is shown in [5].
図２に例示するように、撮像画像PIC1には外乱としてボケ・ブレ等BL1があるが、第一の補正画像COR1ではボケ・ブレ等BL1が消失ないし低減している。また、撮像画像PIC1には外乱としてホワイトノイズ等WH1と反射光の領域RF1とがあるが、第二の補正画像COR2ではホワイトノイズ等WH1が消失ないし低減すると共に、反射光の領域RF1及びその周辺領域がマスク領域M1として区別を与えられている。 As illustrated in FIG. 2, the captured image PIC1 has a blur / blur BL1 as a disturbance, but the blur / blur BL1 disappears or is reduced in the first corrected image COR1. The captured image PIC1 has white noise etc. WH1 and reflected light area RF1 as disturbances, but in the second corrected image COR2, the white noise etc. WH1 disappears or decreases, and the reflected light area RF1 and its surroundings The area is given a distinction as a mask area M1.
（検出部4について）
検出部4は、分離部3で補正して得られた第一の補正画像から認識対象の特徴点を検出する。当該検出する特徴点には、認識対象におけるコーナーなどの特徴的な点を利用できる。検出部4において検出された複数の特徴点座標は、座標情報として算出部5へ出力する。検出手法としては、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)などの特徴的な点を検出する既存手法が利用できる。
(About detector 4)
The detection unit 4 detects a feature point to be recognized from the first corrected image obtained by correction by the separation unit 3. A characteristic point such as a corner in the recognition target can be used as the characteristic point to be detected. The plurality of feature point coordinates detected by the detection unit 4 are output to the calculation unit 5 as coordinate information. As detection methods, existing methods for detecting characteristic points such as SIFT (Scale-Invariant Feature Transform) and SURF (Speeded Up Robust Features) can be used.
なお、検出部4では第一の補正画像を対象として特徴点を検出するので、当該画像に認識対象以外の領域があれば、当該領域から認識対象以外の特徴点が検出されうる。ただし、認識対象以外の特徴点に関しては、その特徴量が後段の認識部7においては照合されない可能性が高い。 Note that since the detection unit 4 detects feature points for the first corrected image, if there is a region other than the recognition target in the image, the feature points other than the recognition target can be detected from the region. However, for feature points other than the recognition target, there is a high possibility that the feature amount will not be collated in the recognition unit 7 at the subsequent stage.
図２の例では、[3]の第一の補正画像COR1を対象として検出部4が検出した結果の例が、矢印線L34で示す[4]において座標情報POS1として示されている。当該例示される座標情報POS1は「○」で示す5か所の座標の情報となっており、全て[2]の対象OBJ1を構成するエッジとなっている。上記のように一般には、対象以外からも特徴点は検出されうる。 In the example of FIG. 2, an example of a result of detection by the detection unit 4 with respect to the first corrected image COR1 of [3] is indicated as coordinate information POS1 in [4] indicated by an arrow line L34. The exemplified coordinate information POS1 is information of five coordinates indicated by “◯”, and all are edges constituting the target OBJ1 of [2]. As described above, generally, feature points can be detected from other than the target.
（算出部5について）
算出部5は、検出部4で検出された特徴点座標を中心として、分離部3で補正して得られた第二の補正画像から特徴量を算出する。算出部5において算出された複数の特徴量は特徴情報として認識部7へ出力する。算出手法としては、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)などの特徴的な量を算出する既存手法が利用できる。
(About calculation unit 5)
The calculation unit 5 calculates a feature amount from the second corrected image obtained by correction by the separation unit 3 with the feature point coordinates detected by the detection unit 4 as the center. The plurality of feature amounts calculated by the calculation unit 5 are output to the recognition unit 7 as feature information. As a calculation method, an existing method for calculating a characteristic quantity such as SIFT (Scale-Invariant Feature Transform) or SURF (Speeded Up Robust Features) can be used.
図２の例では、算出部5の処理が[6]に示されている。すなわち、矢印線L46で示すように、検出部4にて得た座標情報POS1で指定される一連の座標位置において、矢印線L56で示すように分離部3にて得た第二の補正画像COR2を対象（特徴量を算出するための局所領域の画素の参照対象）として特徴量を算出することで、一連の特徴量F1が得られている。さらに、矢印線L16に示すように、後段の認識部7では特徴量F1を用いることで、撮像画像PIC1における対象OBJ1が認識対象R1に該当するものであるとの認識結果を得ることができる。 In the example of FIG. 2, the process of the calculation unit 5 is shown in [6]. That is, as indicated by the arrow line L46, at the series of coordinate positions specified by the coordinate information POS1 obtained by the detection unit 4, the second correction image COR2 obtained by the separation unit 3 as indicated by the arrow line L56. As a target (reference target of a pixel in the local region for calculating the feature value), a feature value F1 is obtained. Further, as indicated by the arrow line L16, the recognition unit 7 at the subsequent stage can obtain a recognition result that the target OBJ1 in the captured image PIC1 corresponds to the recognition target R1 by using the feature amount F1.
本発明においてはこのように、従来技術とは異なり、特徴点検出と特徴量算出とを異なる画像（それぞれ第一の補正画像と第二の補正画像）で実施する。従って、検出処理に適した第一の補正画像生成が撮像画像を著しく劣化させたとしても、第二の補正画像を対象とする特徴量算出は影響を受けないという効果が得られる。これにより、撮像画像が外乱の影響を受けている場合であっても、特徴点を頑健に検出したうえで外乱の影響を低減した特徴量を算出部5において算出することができ、後段の認識部7において頑健に認識を実施することができる。 Thus, in the present invention, unlike the conventional technique, the feature point detection and the feature amount calculation are performed with different images (first corrected image and second corrected image, respectively). Therefore, even if the first corrected image generation suitable for the detection process significantly deteriorates the captured image, the feature amount calculation for the second corrected image is not affected. As a result, even if the captured image is affected by disturbances, the feature points with reduced influence of disturbances can be calculated in the calculation unit 5 after robustly detecting the feature points, and the subsequent recognition is performed. In part 7, recognition can be carried out robustly.
（記憶部6について）
記憶部6は、事前に１つ以上の所定の認識対象から特徴量を算出し提示情報と紐づけて認識対象毎に対象情報として記憶しておく。当該紐付ける提示情報は、後段の提示部8において例えば拡張現実表示を行うためのものとして、認識対象に応じた所定の情報（画像、映像、音声、テキストその他）を紐付けておくことができる。例えば認識対象が特定の商品であれば、対応するクーポン情報を提示情報として紐付けておくことができる。
(About storage unit 6)
The storage unit 6 calculates feature amounts from one or more predetermined recognition targets in advance, associates them with presentation information, and stores them as target information for each recognition target. The associated presentation information can be associated with predetermined information (image, video, audio, text, etc.) according to the recognition target, for example, for performing augmented reality display in the presentation unit 8 at the subsequent stage. . For example, if the recognition target is a specific product, the corresponding coupon information can be associated as the presentation information.
なお、事前に算出される特徴量に関しては、認識対象に人工的な外乱を加えたうえで算出し、記憶部6に記憶するようにしてもよい。人工的外乱を加えた後、分離部3における第二の補正画像の生成処理におけるのと同等の補正処理を適用した上で、特徴量を算出・記憶することもできる。これらの際、人工的な外乱の種別や強度に応じて複数の特徴量を格納してもよい。すなわち、特徴量を人工的な外乱の種別や強度と紐付けて記憶するようにしてもよい。認識部7へ特徴量を出力する際には、分離部3における第二の補正画像の生成処理の際に推定された外乱の種別や強度に応じた特徴量に限定することにより、認識部7での認識精度を向上させるようにしてもよい。すなわち、外乱によって特徴量自体が変化する場合もあるので、認識率向上に寄与する。また、外乱が大きいのに小さいと誤判定された場合の備えにもなる。 Note that the feature amount calculated in advance may be calculated after adding an artificial disturbance to the recognition target and stored in the storage unit 6. After applying the artificial disturbance, the feature amount can be calculated and stored after applying the same correction process as that in the second correction image generation process in the separation unit 3. In these cases, a plurality of feature quantities may be stored according to the type and intensity of the artificial disturbance. That is, the feature amount may be stored in association with the type and intensity of the artificial disturbance. When outputting the feature value to the recognition unit 7, the recognition unit 7 is limited to the feature value according to the type and intensity of the disturbance estimated in the generation process of the second corrected image in the separation unit 3. The recognition accuracy may be improved. That is, the feature amount itself may change due to disturbance, which contributes to an improvement in recognition rate. It also provides for a case where it is erroneously determined that the disturbance is small even though the disturbance is large.
なお、上記のように人工的な外乱を加えたうえで特徴量を算出し、記憶するに際して、特徴量を算出するための特徴点の座標に関しても、人工的な外乱を加えた後に分離部3における第一の補正画像の生成処理におけるのと同等の補正処理を適用した認識対象の画像より検出しておけばよい。 In addition, when calculating and storing the feature amount after adding an artificial disturbance as described above, the coordinates of the feature points for calculating the feature amount are also added after the artificial disturbance is applied. What is necessary is just to detect from the image of the recognition object to which the correction process equivalent to the generation process of the 1st correction image in is applied.
（認識部7について）
認識部7は、算出部5で算出された特徴情報と記憶部6に記憶された特徴情報とを比較することで、撮像部2で得た撮像画像内における認識対象を認識する。すなわち、記憶部6で記憶されている1つ以上の所定の認識対象のいずれに、撮像画像内の対象が該当するのかを特定する。認識部7ではさらに、特定した認識対象に対応する提示情報を記憶部6から読み込み、提示部8へと出力する。
(About recognition unit 7)
The recognition unit 7 recognizes the recognition target in the captured image obtained by the imaging unit 2 by comparing the feature information calculated by the calculation unit 5 with the feature information stored in the storage unit 6. That is, it is specified which one of one or more predetermined recognition objects stored in the storage unit 6 corresponds to the object in the captured image. The recognition unit 7 further reads presentation information corresponding to the identified recognition target from the storage unit 6 and outputs it to the presentation unit 8.
ここで、特徴情報同士を比較する際には、各種の周知手法を利用することができ、算出部5の算出した特徴情報に最も近い特徴情報を記憶部6の中から決定し、対応する認識対象を特定することができる。例えば、RANSAC(Random Sample Consensus)等により、特徴情報を構成している各特徴量をそれぞれ個別にマッチングすることを試みながら外れ値を排除することで、全体として最もマッチングしているものを特定する手法を用いてもよい。あるいは、BoVW（バグオブビジュアルワード）のヒストグラム同士の類似度を算出してもよい。 Here, when comparing feature information, various well-known methods can be used. Feature information closest to the feature information calculated by the calculation unit 5 is determined from the storage unit 6 and the corresponding recognition is performed. The target can be specified. For example, by using RANSAC (Random Sample Consensus) etc., the outliers are excluded while trying to individually match each feature quantity that constitutes the feature information, thereby identifying the best match as a whole. A technique may be used. Alternatively, the similarity between histograms of BoVW (bug of visual word) may be calculated.
なお、認識部7は、特徴情報の対応関係から認識対象と撮像部2の相対的位置関係を計算し提示情報の一つとして出力してもよい。この場合、上記の個別のマッチングにより対応関係を求めると共に、記憶部6に特徴量を記憶しておくに際してさらにその画像情報の座標情報を紐付けて予め記憶しておき、撮像画像における一連の座標との間で周知の平面射影変換の関係を求めることにより、相対的位置関係を計算することができる。 Note that the recognizing unit 7 may calculate the relative positional relationship between the recognition target and the imaging unit 2 from the correspondence relationship of the feature information and output it as one of the presentation information. In this case, the correspondence is obtained by the individual matching described above, and when the feature amount is stored in the storage unit 6, the coordinate information of the image information is further linked and stored in advance, and a series of coordinates in the captured image is stored. The relative positional relationship can be calculated by obtaining a well-known planar projective transformation relationship between the two.
（提示部8について）
提示部8は、認識部7が出力した提示情報をユーザに対して提示する。当該提示の態様は、提示情報の種類に応じた態様で提示すればよい。例えば画像、映像、テキスト等であれば表示し、音声であれば再生すればよく、これらの組み合わせで提示してもよい。具体的にどのように提示するかに関しても、提示情報内に定義しておき、記憶部6に予め記憶させておけばよい。
(About Presentation Unit 8)
The presentation unit 8 presents the presentation information output by the recognition unit 7 to the user. What is necessary is just to show the aspect of the said presentation in the aspect according to the kind of presentation information. For example, an image, video, text or the like may be displayed, and if it is a sound, it may be reproduced, or a combination thereof may be presented. The specific presentation method may be defined in the presentation information and stored in the storage unit 6 in advance.
当該提示する際、提示情報が画像、映像等の表示するものであれば、撮像部2で得た撮像画像に重畳させて提示するようにしてもよい。認識部7において相対的位置関係を計算した場合であれば、周知の拡張現実表示により、撮像画像内に実在する立体のように提示するようにしてもよい。この場合、当該提示する立体の情報を予め記憶部6に記憶させておけばよい。 When presenting, the presentation information may be displayed superimposed on the captured image obtained by the imaging unit 2 as long as the presentation information is an image, video, or the like. If the relative positional relationship is calculated in the recognition unit 7, it may be presented as a three-dimensional object that exists in the captured image by a known augmented reality display. In this case, it is only necessary to store the three-dimensional information to be presented in the storage unit 6 in advance.
以上、本発明によれば、撮像対象を撮像部2で撮像することで、ユーザは提示部8を参照し、撮像対象に関連する情報を読み取る等して知ることができる。また、特徴点検出に用いる画像と特徴量算出に用いる画像を分離することで、撮像画像に外乱が加わる場合であっても高精度な認識が可能となる。 As described above, according to the present invention, by imaging the imaging target with the imaging unit 2, the user can know by reading the information related to the imaging target with reference to the presentation unit 8. Further, by separating the image used for feature point detection and the image used for feature amount calculation, highly accurate recognition is possible even when a disturbance is applied to the captured image.
以下、本発明における補足的事項を（１）〜（６）として説明する。 Hereinafter, supplementary matters in the present invention will be described as (1) to (6).
（１）図１に示した情報端末装置1の各部2〜8のうちの任意の一部分を、情報端末装置1には備わらない外部構成として、例えば外部のサーバが当該一部分の機能を担うようにしてもよい。例えば、記憶部6及び／又は認識部7の機能を外部のサーバ等が担うようにしてもよい。このような場合も、情報端末装置1と当該外部のサーバとの間で通信を行い必要な情報を送受することで、以上説明したような情報端末装置1の機能と同様の機能を実現することができる。 (1) As an external configuration in which any part of the units 2 to 8 of the information terminal device 1 shown in FIG. 1 is not provided in the information terminal device 1, for example, an external server is responsible for the part of the function It may be. For example, an external server or the like may perform the functions of the storage unit 6 and / or the recognition unit 7. Even in such a case, the function similar to the function of the information terminal device 1 as described above is realized by communicating between the information terminal device 1 and the external server and transmitting / receiving necessary information. Can do.
（２）図１に示した情報端末装置1では、各部2〜8を全て備えることで最終的に提示部8において提示情報をユーザに提示する処理を行うものとしたが、その途中までの処理を行う構成のみを備えて情報端末装置1を提供することも可能である。 (2) In the information terminal device 1 shown in FIG. 1, all the units 2 to 8 are provided so that the presentation unit 8 finally performs the process of presenting the presentation information to the user. It is also possible to provide the information terminal device 1 with only the configuration for performing the above.
例えば、情報端末装置1が算出部5までの各部2〜5を備える構成の場合、情報端末装置1では撮像画像より外乱に対して頑健な特徴情報を算出することが可能である。当該算出した特徴情報は、各部6〜8による認識処理及び提示処理以外の用途にも利用可能である。 For example, when the information terminal device 1 includes the respective units 2 to 5 up to the calculation unit 5, the information terminal device 1 can calculate characteristic information that is more robust against disturbance than the captured image. The calculated feature information can be used for purposes other than the recognition process and the presentation process by the units 6 to 8.
また例えば、情報端末装置1が認識部7までの各部2〜7を備える構成の場合、情報端末装置1では撮像画像より外乱に対して頑健に撮像対象の認識結果を得ることができる。この場合、記憶部6では認識対象に対して提示情報を紐付けて記憶しておかなくともよい。当該得た認識結果は、提示部8による提示情報の提示以外の用途にも利用可能である。 For example, when the information terminal device 1 is configured to include the respective units 2 to 7 up to the recognition unit 7, the information terminal device 1 can obtain the recognition result of the imaging target more robustly against disturbance than the captured image. In this case, the storage unit 6 may not store the presentation information associated with the recognition target. The obtained recognition result can be used for purposes other than presentation of presentation information by the presentation unit 8.
（３）情報端末装置1では、リアルタイムの映像を処理対象としてもよいし、ある1時刻の画像のみを処理対象としてもよい。すなわち、撮像部2において一連の撮像画像をリアルタイムに撮像されている映像の各時刻におけるフレームとして得て、提示部8における情報提示までの一連の処理をリアルタイムで実施するようにしてもよいし、撮像部2においてユーザ指示に従ってある1時刻のみの撮像画像を得て、当該1つの撮像画像のみを対象として提示部8における情報提示までの一連の処理を実施するようにしてもよい。 (3) In the information terminal device 1, real-time video may be processed, or only an image at a certain time may be processed. That is, the imaging unit 2 may obtain a series of captured images as a frame at each time of a video imaged in real time, and a series of processing up to information presentation in the presentation unit 8 may be performed in real time. The imaging unit 2 may obtain a captured image at only one time according to a user instruction, and may perform a series of processes from information presentation to the presentation unit 8 for only the one captured image.
（４）本発明は、コンピュータを情報端末装置1の各部2〜8の全て又はその任意の一部分として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが情報端末装置1の各部の機能に対応する命令を実行することとなる。 (4) The present invention can also be provided as a program that causes a computer to function as all of the units 2 to 8 of the information terminal device 1 or any part thereof. The computer can adopt a known hardware configuration such as a CPU (Central Processing Unit), a memory, and various I / Fs, and the CPU executes instructions corresponding to the functions of the respective units of the information terminal device 1. It will be.
（５）分離部3において第二の補正画像を生成するに際し、細かな文字領域をマスク領域として設定する場合、以下のような種々の実施形態が可能である。 (5) When the second corrected image is generated in the separation unit 3, when a fine character area is set as a mask area, various embodiments as described below are possible.
（５−１）マスクとして設定された細かな文字領域の情報を前もって検出部4に出力しておき、検出部4では第一の補正画像より特徴点を検出するに際して、当該細かな文字領域は、検出処理を試みる対象から省略するようにしてもよい。この場合、マスク領域における特徴点算出処理を省略できるので、処理を高速化することができる。 (5-1) Information on a fine character area set as a mask is output to the detection unit 4 in advance, and when the detection unit 4 detects a feature point from the first corrected image, the fine character area is Alternatively, the detection process may be omitted from the target. In this case, since the feature point calculation process in the mask area can be omitted, the process can be speeded up.
（５−２）さらに、検出部4で上記のように省略した結果、特徴点数が不足してしまうこともありうる。不足しているか否かは、検出した特徴点数が所定数以下であるか否かで判定すればよい。不足していると判定された場合には、検出部4では細かな文字領域であるものとして処理対象から省いた領域に対して、特徴点の検出処理を行うことで、特徴点数を補充するようにしてもよい。 (5-2) Furthermore, as a result of omitting the detection unit 4 as described above, the number of feature points may be insufficient. Whether or not it is insufficient may be determined based on whether or not the number of detected feature points is a predetermined number or less. If it is determined that there is a shortage, the detection unit 4 replenishes the number of feature points by performing feature point detection processing on the region that is excluded from the processing target as a fine character region. It may be.
（５−３）上記のように特徴点数を補充する際は、細かな文字領域としてマスクされた全体を一括で対象として特徴点を検出するようにしてもよいし、優れた特徴量が算出される可能性の高い特徴点から逐次的に検出して、検出された総数が所定数（上記の不足判定数と同じ数でもよいし、別の数でもよい）に到達する又は当該所定数を超えるまで当該逐次的に検出することを継続するようにしてもよい。 (5-3) When the number of feature points is replenished as described above, feature points may be detected collectively for the whole masked as a fine character region, or an excellent feature amount is calculated. Feature points that are likely to be detected sequentially, and the total number detected reaches a predetermined number (may be the same as the above-mentioned deficiency determination number or another number) or exceeds the predetermined number The sequential detection may be continued until the above.
上記のように逐次的に検出することを継続する際は、マスクされた細かな文字領域のうち、文字サイズが大きい領域から順次、検出処理を行うようにすればよい。ここで、領域の文字サイズの判断に関しては、分離部3でマスク設定する際にマスク領域内の各領域のサイズを求めているので、当該求めたサイズの情報に従って判断することが可能である。 When the detection is sequentially performed as described above, the detection process may be sequentially performed from the masked fine character region in the region having the larger character size. Here, regarding the determination of the character size of the area, since the size of each area in the mask area is obtained when the mask is set by the separation unit 3, it can be determined according to the information on the obtained size.
（６）上記（５）とは異なり、細かな文字領域をマスク領域として最初から設定することを必ずしも必要とはしないが、上記（５−３）と同様の結果（優れた認識結果）を得るべく、次のようにしてもよい。すなわち、検出部4にて検出される特徴点の個数が所定閾値を超える場合、算出部5において、特徴量を算出する個数が当該所定閾値を超えないように、撮像画像においてより細かい文字領域であると判定される領域にある位置より順次、特徴量を算出する対象から除外するようにしてもよい。こうして、細かい文字領域における認識性能の悪い特徴量を排除ないし制限することが可能となる。ここで、文字領域における文字の細かさ（小ささ）は上述のように、文字領域を検出したうえでそのサイズの小ささとして求めればよい。また、当該除外することは、検出部4の特徴点検出の時点で実施するようにしてもよい。当該（６）及び（５）は組み合わせて実施してもよい。 (6) Unlike (5) above, it is not always necessary to set a fine character area as a mask area from the beginning, but the same result (excellent recognition result) as in (5-3) above is obtained. Therefore, it may be as follows. That is, when the number of feature points detected by the detection unit 4 exceeds a predetermined threshold, the calculation unit 5 uses a finer character region in the captured image so that the number of feature amounts to be calculated does not exceed the predetermined threshold. You may make it exclude from the object which calculates a feature-value sequentially from the position in the area | region determined to be. In this way, it is possible to eliminate or limit feature amounts with poor recognition performance in fine character areas. Here, the fineness (smallness) of the character in the character region may be obtained as a small size after detecting the character region as described above. Further, the exclusion may be performed at the time of detection of feature points by the detection unit 4. The (6) and (5) may be implemented in combination.
1…情報端末装置、2…撮像部、3…分離部、4…検出部、5…算出部、6…記憶部、7…認識部、8…提示部 DESCRIPTION OF SYMBOLS 1 ... Information terminal device, 2 ... Imaging part, 3 ... Separation part, 4 ... Detection part, 5 ... Calculation part, 6 ... Memory | storage part, 7 ... Recognition part, 8 ... Presentation part
Claims (13)
前記撮像画像に対して特徴点検出に対する外乱の補正を行い第一の補正画像を生成すると共に、前記撮像画像に対して特徴量算出に対する外乱の補正を行い第二の補正画像を生成する分離部と、
前記第一の補正画像より特徴点を検出し、その座標情報を得る検出部と、
前記第二の補正画像において前記座標情報に該当する各位置より特徴量を算出することで、前記撮像画像に対する特徴情報を得る算出部と、を備えることを特徴とする情報端末装置。 An imaging unit that captures an image and obtains a captured image;
A separation unit that corrects disturbance for feature point detection with respect to the captured image to generate a first corrected image, and corrects disturbance with respect to feature amount calculation for the captured image to generate a second corrected image. When,
Detecting a feature point from the first corrected image and obtaining the coordinate information;
An information terminal device comprising: a calculation unit that obtains feature information for the captured image by calculating a feature amount from each position corresponding to the coordinate information in the second corrected image.
前記算出部では、前記特徴量を算出するに際して、前記マスク領域内にある位置からの算出は行わないことを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。 When generating the second corrected image, the separation unit sets a high-luminance region and its peripheral region in the captured image as a reflected light region as a mask region, and / or a threshold determination in the captured image. Set the area that is judged to be a fine character area as a mask area,
The information terminal device according to claim 1, wherein the calculation unit does not perform calculation from a position in the mask area when calculating the feature amount.
前記撮像画像に対して特徴量算出に対する外乱の補正を行うことを省略して前記撮像画像をそのまま前記第二の補正画像として生成する、または、
前記撮像画像に対する特徴量算出に対する外乱の大きさを推定し、当該推定した外乱が小さいと判定される場合に、前記撮像画像に対して特徴量算出に対する外乱の補正を行うことを省略して前記撮像画像をそのまま前記第二の補正画像として生成する、ことを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。 The separation unit is
Omitting the correction of the disturbance for the feature amount calculation on the captured image and generating the captured image as it is as the second corrected image, or
Estimating the magnitude of the disturbance for the feature amount calculation for the captured image, and omitting correcting the disturbance for the feature amount calculation for the captured image when it is determined that the estimated disturbance is small 9. The information terminal device according to claim 1, wherein the captured image is generated as it is as the second corrected image.
前記算出部が算出した特徴情報が、前記記憶部の記憶しているいずれの特徴情報に該当するかを特定することにより、前記撮像画像に撮像されている認識対象を特定する認識部と、をさらに備えることを特徴とする請求項１ないし１０のいずれかに記載の情報端末装置。 A storage unit that stores feature amounts calculated for each of one or more predetermined recognition targets as feature information of each recognition target;
A recognition unit that identifies a recognition target imaged in the captured image by identifying which feature information stored in the storage unit corresponds to the feature information calculated by the calculation unit; The information terminal device according to claim 1, further comprising:
前記分離部は、前記第二の補正画像を生成するに際して、前記撮像画像における前記特徴量算出に対する外乱の種別及び／又は強度を推定し、
前記認識部は、前記算出部が算出した特徴情報が、前記記憶部の記憶しているいずれの特徴情報に該当するかを特定するに際して、前記分離部が前記推定した外乱の種別及び／又は強度に紐付いた特徴情報の中から特定することを特徴とする請求項１１に記載の情報端末装置。 The storage unit further corrects the feature amount calculated after applying an artificial disturbance to an image of a predetermined recognition target, or further correcting the feature amount by adding an artificial disturbance to an image of a predetermined imaging target. The feature amount calculated in step 1 is stored in association with the type and / or intensity of the added artificial disturbance,
When generating the second corrected image, the separation unit estimates a type and / or intensity of disturbance for the feature amount calculation in the captured image,
When the recognizing unit identifies which characteristic information stored in the storage unit the characteristic information calculated by the calculating unit corresponds to the type and / or intensity of the estimated disturbance by the separation unit The information terminal device according to claim 11, wherein the information terminal device is specified from characteristic information associated with the information terminal.
前記認識部はさらに、前記特定した認識対象に対応する提示情報を前記記憶部より読み出し、
前記読み出した提示情報を提示する提示部をさらに備えることを特徴とする請求項１１または１２に記載の情報端末装置。 The storage unit further stores presentation information corresponding to each recognition target,
The recognition unit further reads presentation information corresponding to the identified recognition target from the storage unit,
The information terminal device according to claim 11, further comprising a presentation unit that presents the read presentation information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015014506A JP6403207B2 (en) | 2015-01-28 | 2015-01-28 | Information terminal equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015014506A JP6403207B2 (en) | 2015-01-28 | 2015-01-28 | Information terminal equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016139320A JP2016139320A (en) | 2016-08-04 |
| JP6403207B2 true JP6403207B2 (en) | 2018-10-10 |
Family
ID=56559213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015014506A Active JP6403207B2 (en) | 2015-01-28 | 2015-01-28 | Information terminal equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6403207B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6904922B2 (en) * | 2018-05-30 | 2021-07-21 | Kddi株式会社 | Information processing equipment and programs |
| JP7147544B2 (en) * | 2018-12-19 | 2022-10-05 | 京セラドキュメントソリューションズ株式会社 | Information processing device and information processing method |
| JP7409123B2 (en) * | 2020-02-04 | 2024-01-09 | 富士電機株式会社 | beverage dispensing equipment |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5036084B2 (en) * | 2010-10-14 | 2012-09-26 | シャープ株式会社 | Video processing apparatus, video processing method, and program |
| JP6261199B2 (en) * | 2013-06-21 | 2018-01-17 | キヤノン株式会社 | Information processing apparatus, information processing method, and computer program |
-
2015
- 2015-01-28 JP JP2015014506A patent/JP6403207B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016139320A (en) | 2016-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10672142B2 (en) | Object recognition apparatus, method for recognizing object, and non-transitory computer-readable storage medium for storing program | |
| JP7297018B2 (en) | System and method for line detection with a vision system | |
| KR101469398B1 (en) | Text-based 3d augmented reality | |
| CN106650662B (en) | Target object shielding detection method and device | |
| US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
| KR101333871B1 (en) | Method and arrangement for multi-camera calibration | |
| JP6230751B1 (en) | Object detection apparatus and object detection method | |
| US9082192B2 (en) | Text image trimming method | |
| CN111091590B (en) | Image processing method, device, storage medium and electronic equipment | |
| TW202024997A (en) | Two-dimensional code identification method, apparatus, and device | |
| TW201437925A (en) | Object identification device, method, and storage medium | |
| JP5671928B2 (en) | Learning device, learning method, identification device, identification method, and program | |
| US10970845B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN109241345B (en) | Video positioning method and device based on face recognition | |
| US20140270362A1 (en) | Fast edge-based object relocalization and detection using contextual filtering | |
| US20170330301A1 (en) | Information embedding device, information detecting device, information embedding method, and information detecting method | |
| CN109479082A (en) | Image processing method and device | |
| US9256792B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5656768B2 (en) | Image feature extraction device and program thereof | |
| JP6403207B2 (en) | Information terminal equipment | |
| US9785839B2 (en) | Technique for combining an image and marker without incongruity | |
| US10999513B2 (en) | Information processing apparatus having camera function, display control method thereof, and storage medium | |
| KR20110087620A (en) | Layout based page recognition method for printed medium | |
| KR20160000533A (en) | The method of multi detection and tracking with local feature point for providing information of an object in augmented reality | |
| CN111091513B (en) | Image processing method, device, computer readable storage medium and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160823 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180906 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6403207 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |