JP2023069743A - Article recognition device and article recognition method - Google Patents
Article recognition device and article recognition method Download PDFInfo
- Publication number
- JP2023069743A JP2023069743A JP2021181847A JP2021181847A JP2023069743A JP 2023069743 A JP2023069743 A JP 2023069743A JP 2021181847 A JP2021181847 A JP 2021181847A JP 2021181847 A JP2021181847 A JP 2021181847A JP 2023069743 A JP2023069743 A JP 2023069743A
- Authority
- JP
- Japan
- Prior art keywords
- article
- area
- information
- region
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、物品認識装置及び物品認識方法に関する。 The present invention relates to an article recognition device and an article recognition method.
従来、例えば、物流倉庫において、商品の仕分けやケースのパレタイズ、デパレタイズなどの工程において、人手に代わる手段として、ピッキングロボット等のロボットが用いられることがある。ピッキングロボットは、先端にグリッパー等が付いたロボットアームを有し、センサで取得された情報に基づいて、物品の把持や操作などを行う。 2. Description of the Related Art Conventionally, in distribution warehouses, for example, robots such as picking robots are sometimes used as a means to replace human labor in processes such as product sorting and case palletizing and depalletizing. A picking robot has a robot arm with a gripper or the like attached to its tip, and grips or manipulates an article based on information acquired by a sensor.
ピッキングロボットのピッキング性能を左右する機能として、センサで取得した情報を解析するための物品認識機能が挙げられる。物品認識機能は、一般的に、センサで取得した作業シーンの２次元画像及び３次元点群を与えると、その作業シーン内の物品の位置姿勢を推定することができる。それゆえ、物品認識機能は、ピッキングロボットによるその後の物品の正確な把持や操作にとって重要な役割を担う。 A function that affects the picking performance of a picking robot is an item recognition function for analyzing information acquired by a sensor. The article recognition function can generally estimate the position and orientation of an article in the work scene given a two-dimensional image and a three-dimensional point cloud of the work scene acquired by a sensor. Therefore, the item recognition function plays an important role for the subsequent accurate gripping and manipulation of the item by the picking robot.
物品認識機能による物品認識の難易度は、認識対象の物品の形状や、サイズ、表面の模様、配置、照明等の環境要因などによって変わるが、複数の物品が互いに密着して整列されている状況においては、その難易度はより高くなってしまう。複数の物品が互いに密着して整列される状況は、例えば、入荷直後の物流倉庫において、容器に商品（物品）が詰まっている場合や、段ボール箱が密に積み上げられている場合などにおいて起こる。 The degree of difficulty of item recognition by the item recognition function varies depending on the shape, size, surface pattern, placement, lighting, and other environmental factors of the item to be recognized. , the difficulty becomes even higher. A situation in which a plurality of articles are arranged in close contact with each other occurs, for example, in a distribution warehouse immediately after arrival, when goods (articles) are packed in containers, or when cardboard boxes are densely stacked.
物品同士が密着していると、その間の隙間は非常に小さくなるため、デプスセンサによる隙間検出が難しくなる。高精度のデプスセンサを採用することによって、非常に小さい隙間も検出可能となる場合もあるが、高精度のデプスセンサは非常に高価格であるため、その分生産コストが上昇してしまう。また、高精度のデプスセンサを採用した場合であっても、隙間の大きさによっては、安定した計測が望めない場合もある。 When the articles are in close contact with each other, the gap between them becomes very small, making it difficult for the depth sensor to detect the gap. By adopting a highly accurate depth sensor, it may be possible to detect even a very small gap, but the highly accurate depth sensor is very expensive, so the production cost increases accordingly. Moreover, even when a highly accurate depth sensor is employed, there are cases where stable measurement cannot be expected depending on the size of the gap.
また、物品間の隙間は２次元画像上では画素値が同程度の直線として見えるため、２次元画像での直線検出を行って物品の境界を特定することによって、物品認識性能を向上させる案も考えられる。しかし、物品の表面に模様がある場合であって、その模様が直線的である場合は、物品認識機能を有する物品認識装置がその模様を物品境界と誤って判定してしまい、物品の誤分離を招く危険性がある。 In addition, since the gaps between items can be seen as straight lines with similar pixel values on a 2D image, there is also a plan to improve the item recognition performance by detecting the lines in the 2D image and identifying the boundaries of the items. Conceivable. However, if there is a pattern on the surface of the article and the pattern is straight, an article recognition device having an article recognition function may erroneously determine the pattern as an article boundary, resulting in erroneous separation of the article. there is a risk of causing
密着して整列された物品（以下、「密整列物品」とも称する）の認識技術において、認識対象物品の情報を活用するアプローチも存在する。物品認識に活用が可能な情報としては、物品の形状やサイズ、表面の模様などが挙げられる。これらの情報を事前に得られれば、センサで取得したデータと、事前に得た認識対象物品の情報との照合処理により、物品をより正確に検出することも可能となる。しかし、認識対象物品の情報を事前に準備する場合、取り扱う物品の種類が多くなると、認識対象物品の情報の取得（準備）にかかるコストは膨大なものとなってしまう。 In the recognition technology of closely aligned articles (hereinafter also referred to as "closely aligned articles"), there is also an approach that utilizes information of recognition target articles. Information that can be used for product recognition includes the shape, size, and surface pattern of the product. If such information can be obtained in advance, it is possible to detect the article more accurately by collating the data obtained by the sensor with the information of the article to be recognized obtained in advance. However, when preparing information on recognition target articles in advance, the cost of acquiring (preparing) information on recognition target articles becomes enormous when the number of types of articles to be handled increases.
認識対象物品の情報の取得にかかる時間を削減する手法として、認識対象物品の情報の一部を、センサで取得したデータから抽出する手法も考えられる。例えば、特許文献１には、画像から取得した輪郭データから各ワークの位置及び姿勢を検出し、画像中のワーク部分の画像であるマスタ画像パターンと、各ワーク部分の画像とのパターンマッチングが成功した場合に、各ワークの位置及び姿勢を出力するワーク位置認識装置が開示されている。 As a method for reducing the time required to acquire information on a recognition target article, a method of extracting part of the information on the recognition target article from data acquired by a sensor is also conceivable. For example, in Patent Document 1, the position and orientation of each workpiece are detected from contour data obtained from an image, and pattern matching between the master image pattern, which is the image of the workpiece portion in the image, and the image of each workpiece portion is successful. A work position recognition device is disclosed that outputs the position and orientation of each work when the work is done.
特許文献１に記載のワーク位置認識装置は、ワーク上面の各マーク又は模様も対象としてパターンマッチングを行う。これにより、ワーク位置認識装置は、検出した各ワークの位置及び姿勢に、誤った検出結果が含まれていないか検証する。しかしながら、与えられた認識対象データから認識対象物品の模様情報を抽出するには、まず、認識対象物品の候補領域を特定する必要がある。 The workpiece position recognition device described in Patent Document 1 performs pattern matching on each mark or pattern on the upper surface of the workpiece as well. Thereby, the work position recognition device verifies whether or not the detected position and orientation of each work include an erroneous detection result. However, in order to extract the pattern information of the recognition target article from the given recognition target data, first, it is necessary to specify the candidate area of the recognition target article.
このとき、候補領域特定のための情報として、物品の形状の情報は与えられていたとしても、物品のサイズ情報は与えられていない状況も想定される。このような状況下において、物品認識装置が密整列物品を対象として物品認識を行う場合、密整列物品の整列面を実現する物品の配置パターンの数が膨大な数となってしまうことも想定され得る。この場合、物品認識装置は、密整列物品における各物品の境界を適切に検出して、物品を正しく切り出すことが難しくなる。このような状況を避けるために、物品のサイズ情報を事前に取得する場合、事前取得にコストがかかってしまう。 At this time, even if information on the shape of the article is given as information for specifying the candidate area, a situation is assumed in which size information on the article is not given. Under such circumstances, when an article recognition device performs article recognition on densely-aligned articles, it is conceivable that the number of article arrangement patterns that realize the alignment surface of densely-arranged articles will become enormous. obtain. In this case, it becomes difficult for the article recognition device to properly detect the boundaries of the articles in the closely aligned articles and cut out the articles correctly. If the size information of the article is to be acquired in advance to avoid such a situation, the prior acquisition costs a lot.
本発明は、上記の状況を考慮してなされたものであり、本発明の目的は、認識対象物品の模様やサイズなどの情報を事前に用意することなく、密接して整列された複数の物品の各物品を適切に認識できるようにすることにある。 The present invention has been made in consideration of the above situation, and an object of the present invention is to provide a method for recognizing a plurality of articles closely aligned without preparing information such as patterns and sizes of articles to be recognized in advance. to appropriately recognize each article.
本発明の一態様に係る物品認識装置は、互いに密着して配列された複数の物品の整列面と対応する画像を含む２次元画像において画素が連続して存在する領域を多角形近似することによって得られる物品領域の情報が入力される入力部と、所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成するテンプレート画像生成部と、テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、物品領域における物品の面の位置及びサイズを含む物品面情報を取得して出力する物品面情報取得部と、を備える。 An article recognition device according to an aspect of the present invention performs polygonal approximation of an area in which pixels are continuously present in a two-dimensional image including an image corresponding to an alignment surface of a plurality of articles arranged in close contact with each other. an input unit for inputting information about the obtained product region; a pattern amount of a pattern region in which pixels having a predetermined value or more are densely packed is equal to or greater than a predetermined first threshold value; a template image generation unit that generates a template image using information about an area having the smallest distance from the nearest angle to the area of the template image; an article surface information acquisition unit that acquires and outputs article surface information including the position and size of the article surface in the article area using information on the similar area.
また、本発明の一態様に係る物品認識方法は、入力部に、互いに密着して配列された複数の物品の整列面と対応する画像を含む２次元画像において画素が連続して存在する領域を多角形近似することによって得られる物品領域の情報が入力される手順と、テンプレート画像生成部が、所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成する手順と、物品面情報取得部が、テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、物品領域における物品の面の位置及びサイズを含む物品面情報を取得して出力する手順と、を含む。 Further, in the article recognition method according to an aspect of the present invention, the input unit inputs a region in which pixels are continuously present in a two-dimensional image including an image corresponding to an alignment surface of a plurality of articles arranged in close contact with each other. A procedure for inputting information of an article region obtained by polygonal approximation; A procedure for generating a template image using information of an area having a minimum distance from the nearest angle to its own area, among the corners forming the article area; and obtaining and outputting article surface information including the position and size of the surface of the article in the article area using information of one or more similar areas whose similarity is greater than or equal to a predetermined second threshold.
本発明の少なくとも一態様によれば、認識対象物品の模様やサイズなどの情報を事前に用意することなく、密接して整列された複数の物品の各物品を適切に認識できるようになる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to at least one aspect of the present invention, it is possible to appropriately recognize each of a plurality of closely aligned articles without preparing information such as patterns and sizes of recognition target articles in advance.
Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
以下、本発明を実施するための形態（以下、「実施形態」と称する）の例について、添付図面を参照しながら説明する。本発明は実施形態に限定されるものではなく、実施形態における種々の数値等は例示である。また、本明細書及び図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付することとし、重複する説明は省略する。 Hereinafter, examples of modes for carrying out the present invention (hereinafter referred to as "embodiments") will be described with reference to the accompanying drawings. The present invention is not limited to the embodiments, and various numerical values and the like in the embodiments are examples. In addition, in the present specification and drawings, the same components or components having substantially the same functions are denoted by the same reference numerals, and overlapping descriptions are omitted.
［物品認識装置の構成］
まず、図１を参照して、本発明の一実施形態に係る物品認識装置の構成について説明する。図１は、本発明の一実施形態に係る物品認識装置１０の概略構成を示すブロック図である。
[Configuration of Article Recognition Device]
First, referring to FIG. 1, the configuration of an article recognition device according to one embodiment of the present invention will be described. FIG. 1 is a block diagram showing a schematic configuration of an
図１に示すように、本実施形態の物品認識装置１０は、物品領域受付部１１と、認識処理部１２と、物品面情報出力部１３と、を含む。
As shown in FIG. 1 , the
本実施形態における物品認識装置１０には、互いに密着して整列された複数の物品の整列面に対応する、物品領域の情報が入力される。そして、物品認識装置１０は、物品認識処理の実行時に、物品領域の中から、各物品の面（以下、「物品面」とも称する）の情報を取得する際に使用する、テンプレートマッチング用のテンプレート画像を抽出する。そして、物品認識装置１０は、抽出したテンプレート画像との類似度が所定の閾値以上の類似領域を物品領域の中から抽出し、該類似領域の情報に基づいて、整列面を構成する各物品の物品面の情報（位置、サイズ等）を取得する。
The
つまり、本実施形態に係る物品認識装置１０は、物品認識処理の実行時に抽出したテンプレート画像を用いて、物品領域内における各物品面の情報を求めるため、物品認識処理の対象となる物品が有する模様の情報や、物品のサイズの情報などが事前に与えられる必要はない。
In other words, the
なお、本実施形態に係る物品認識装置１０は、物品領域が同種の物品の面（物品面）で構成される場合に最も高い物品認識性能を得られるが、物品領域が二種類以上の物品面で構成される場合にも、適用可能である。
The
物品領域受付部１１（入力部の一例）は、物品領域の情報を受け付ける。物品領域は、互いに密着して整列された複数の物品の整列面の、センサによる撮影画像から、整列面の部分を抽出した情報である。センサは、例えば、ＲＧＢ－Ｄ（Red Green Blue-Depth）カメラ等で構成され、３次元点群と対応する２次元画像を、撮影画像として出力する。 The article area reception unit 11 (an example of an input unit) receives information on an article area. The article area is information obtained by extracting the portion of the alignment surface from the sensor-captured images of the alignment surfaces of a plurality of articles aligned in close contact with each other. The sensor is composed of, for example, an RGB-D (Red Green Blue-Depth) camera or the like, and outputs a two-dimensional image corresponding to the three-dimensional point cloud as a captured image.
センサによる撮影画像は、一般的に、輪郭が長方形等の多角形で表現される。該撮影画像が、一つ以上の同種の物品面によって構成される領域を内部に含む場合、その領域を切り出して輪郭を多角形近似することによって、複数の物品が密着して整列されている整列面と対応する、物品領域の情報を得ることができる。 An image captured by a sensor is generally represented by a polygon whose outline is a rectangle or the like. When the photographed image contains an area composed of one or more article surfaces of the same type, an alignment in which a plurality of articles are closely aligned by cutting out the area and approximating the contour to a polygon. Information of the article area, corresponding to the surface, can be obtained.
そして、物品領域受付部１１は、取得した物品領域の情報を、認識処理部１２に出力する。物品領域における画素値は、スカラー量や多次元ベクトル量などで表現される。例えば、物品領域がＲＧＢ画像で表されている場合には、画素値は３次元ベクトルで表現される。
The article
なお、本実施形態に係る物品認識装置１０に入力される物品領域の情報には、物品領域内において他の種類の模様と重複しない特徴的な模様を含むものであることが求められる。本実施形態に係る物品認識装置１０は、物品に含まれる特徴的な模様を含む部分領域と、該部分領域と物品領域の最近接角との間の距離の情報を用いて、テンプレート画像を生成するためである。物品領域の最近接角は、物品領域を構成するいくつかの角の中で、着目する部分領域に最も近い位置にある角である。
It should be noted that the article area information input to the
つまり、本実施形態に係る物品領域は、物品領域内において他の種類の模様と重複しない特徴的な模様を含み、模様領域以外の領域の画素値が所定の一定値である一種類以上の多角形が、２次元平面上に敷き詰められることによって構成されたものであると言える。 That is, the article area according to the present embodiment includes a characteristic pattern that does not overlap with other types of patterns in the article area, and one or more types of multi-color patterns in which pixel values in areas other than the pattern area are predetermined constant values. It can be said that the squares are formed by laying them on a two-dimensional plane.
ここで、図２を参照して、物品領域の例について説明する。図２は、物品領域の例を示す図である。図２Ａには、長方形形状の物品２１１が６つ密着して整列されてなる、長方形形状の物品領域２１を示す。物品２１１は、一つの黒色の星形模様と、二本の直線模様とを含む。
An example of an article region will now be described with reference to FIG. FIG. 2 is a diagram showing an example of an article area. FIG. 2A shows a
図２Ｂには、図２Ａに示した物品２１１が５つ密接して整列されてなる、十角形形状の物品領域２２を示す。物品領域２２において、各物品２１１を構成する各辺は、互いに垂直又は水平に配置されている。図２Ｃには、平行四辺形形状の物品２３１が５つ密着して整列されてなる、八角形形状の物品領域２３を示す。物品２３１は、一つの黒色の星形模様と、一本の直線模様とを含む。
FIG. 2B shows a decagonal
図１に戻って説明を続ける。認識処理部１２は、物品領域における一つ以上の物品面の位置を計算して、計算した物品面の位置の情報を物品面情報出力部１３に出力する。物品面の位置は、物品領域内において物品面が占める領域を特定するために必要な情報であり、例えば、物品面の頂点座標等がある。
Returning to FIG. 1, the description continues. The
認識処理部１２は、模様量計算部１２ａと、テンプレート候補抽出部１２ｂと、テンプレート候補評価部１２ｃと、テンプレート決定部１２ｄと、類似領域検出部１２ｅと、類似領域評価部１２ｆと、物品面情報取得部１２ｇと、テンプレート候補情報保持部１２ｈと、を含む。
The
模様量計算部１２ａは、物品領域受付部１１から入力された物品領域における、模様量の分布を計算する。模様量は、所定の領域に含まれる画像の模様度合いを表す指標であり、物品領域を構成する２次元画像の画素値から計算される。模様度合いは、その領域が何かしらの模様を構成している確率の高さを示し、該模様は、例えば、図２Ａ及びＢに示す星形模様等の模様である。
The pattern
模様量は、例えば、隣接画素との画素値の差を表す輝度勾配、人間の目の付きやすさを定量化した顕著性、ＳＩＦＴ（Scale Invariant Feature Transform）に代表される局所画像特徴量、ニューラルネットワーク等を用いて計算される画像特徴量等によって示される。もしくは、模様量は、これらの内の一つ以上を組み合わせたものによって示されてもよい。 The pattern amount includes, for example, a luminance gradient that represents the difference in pixel value from adjacent pixels, saliency that quantifies how easy it is for the human eye to notice, a local image feature value represented by SIFT (Scale Invariant Feature Transform), a neural It is indicated by an image feature amount or the like calculated using a network or the like. Alternatively, the pattern amount may be indicated by a combination of one or more of these.
テンプレート候補抽出部１２ｂは、模様量（又は模様量の密度）が予め定められた所定の閾値（第１閾値の一例）以上となる、物品領域内の一つ以上の部分領域を、テンプレート画像の候補（以下、「テンプレート候補」と称する）として抽出する。模様量に適用する閾値は、模様を含む物品の実際の撮影画像から得られる情報等に基づいて、任意の値に設定が可能である。模様量の密度とは、模様として検知された複数の画像の密集度合いを示す。
The template
テンプレート候補評価部１２ｃは、テンプレート候補抽出部１２ｂで抽出されたテンプレート候補のそれぞれに対して、最近接角、すなわち、物品領域を構成するいくつかの角の中で最も近い角との間の距離を計算する。
The template
テンプレート候補情報保持部１２ｈは、一つ以上のテンプレート候補と、該テンプレート候補に対応する一つ以上の距離（最近接角との距離）との対応情報を保持する。また、テンプレート候補情報保持部１２ｈは、次のテンプレート決定部１２ｄによって生成されたテンプレート画像、もしくは、物品面情報取得部１２ｇによって取得された物品面情報に基づいて生成された画像を保持する。テンプレート候補情報保持部１２ｈに保持されるテンプレート画像、又は、物品面情報に基づき生成された画像は、２回目以降に行われる類似領域検出部１２ｅ、類似領域評価部１２ｆ及び物品面情報取得部１２ｇによる処理においても用いられる。
The template candidate
テンプレート決定部１２ｄ（テンプレート画像生成部の一例）は、テンプレート候補情報保持部１２ｈを参照して、物品領域の最近接角からの距離が最小となるテンプレート候補を、テンプレート画像生成用のテンプレートに決定する。そして、選択したテンプレート候補からテンプレート画像を生成する。
The
類似領域検出部１２ｅは、テンプレート候補情報保持部１２ｈが抽出したテンプレート画像を用いて、物品領域内の一つ以上の類似領域を検出する。類似領域は、テンプレート画像との類似度が所定の閾値（第２閾値の一例）以上の画像が含まれる領域である。類似度の高さを図る閾値には、テンプレート画像との類似度として期待する類似度を適宜設定可能である。
The similar
類似領域評価部１２ｆは、類似領域検出部１２ｅによって検出された類似領域のうちの、物品領域の最近接角との距離が最小となる類似領域を対象として、その物品領域と最近接角との間の相対的位置関係（相対的位置関係情報の一例）を計算する。相対的位置関係は、着目する類似領域を含む物品面の中のどの位置にその類似領域が存在しているかを特定するための情報であり、例えば、着目する類似領域における所定の点と、その物品領域の最近接角との間の変位を表す２次元ベクトル等によって示される。
Among the similar regions detected by the similar
物品面情報取得部１２ｇは、類似領域評価部１２ｆによって計算された相対的位置関係に基づいて、物品領域内の一つ以上の物品面の情報（位置及びサイズ）を計算する。そして、物品面情報取得部１２ｇは、得た一つ以上の物品面の情報（以下、「物品面情報」とも称する）を、物品面情報出力部１３に出力する。
The article surface
物品面情報出力部１３は、認識処理部１２から入力された、一つ以上の物品面の情報を、外部のロボット（図示略）等に出力する。
The article surface
［計算機のハードウェア構成例］
次に、図１に示した物品認識装置１０を構成するハードウェアの構成について、図３を参照して説明する。図３は、物品認識装置１０を構成するハードウェアの構成例を示すブロック図である。
[Computer hardware configuration example]
Next, the hardware configuration of the
図３に示す計算機２００は、物品認識装置１０で使用されるコンピュータとして用いられるハードウェアである。計算機２００は、プロセッサ２０１と、メモリ２０２と、補助記憶装置２０３と、入力装置２０４と、出力装置２０５と、通信ＩＦ（Interface）２０６と、を含む。計算機２００を構成する各要素は、バス３７により相互に通信可能に接続される。
A
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Multi-Functional Peripherals）等によって構成され、メモリ２０２に格納されているプログラムを読みだして実行することにより、本実施形態に係る物品認識処理（物品認識装置１０の各部によって実行される各処理）を実行する。
The
メモリ２０２は、例えば、不揮発性の記憶素子と揮発性の記憶素子とで構成される。不揮発性の記憶素子は、例えばＲＯＭ（Read Only Memory）で構成され、ＲＯＭには、変更する必要のないプログラムが格納される。揮発性の記憶素子は、例えばＲＡＭ（Random Access Memory）で構成され、ＲＡＭは、プロセッサ２０１が実行するプログラム及びプログラム実行時に使用するデータが一時的に格納される。
The
なお、本実施形態では、メモリ２０２に格納されるプログラムは、物品認識処理を実行するプログラムであることを想定しているが、その他の種々のプログラムも格納されてよい。また、メモリ２０２には、プログラム実行のための入力データや出力データも格納される。
In this embodiment, it is assumed that the program stored in the
補助記憶装置２０３は、例えば磁気記憶装置（HDD：Hard Disk Drive）等の不揮発性の大容量な記憶装置を含み、プロセッサ２０１が実行するプログラム及びプログラム実行時に使用されるデータ（データベース等を含む）を記憶する。本実施形態における物品認識処理のプログラムは、例えば、予め補助記憶装置２０３に記憶されていて、そこから読みだされて、メモリ２０２にロードされて、プロセッサ２０１によって実行される。すなわち、メモリ２０２又は補助記憶装置２０３は、計算機２００によって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記憶媒体の一例として用いられる。
The
入力装置２０４は、キーボード又はマウス等で構成され、不図示のオペレータからの入力を受け付ける入力部である。計算機２００は、プログラムの実行や入力データの指定などの指示を、入力装置２０４を介して受け付ける。
The
出力装置２０５は、情報を表示する表示装置又は情報を印字するプリンタ等で構成され、プログラムの実行結果を可視的に出力する。例えば、出力装置２０５には、物品面情報出力部１３（図１参照）から出力される物品面位置等が表示又は出力される。
The
通信ＩＦ２０６は、物品認識装置１０と他の装置とを接続して通信を制御するネットワークインターフェース装置である。
The communication IF 206 is a network interface device that connects the
なお、この計算機２００のハードウェア構成は、単体の計算機で構成されてもよいし、計算機２００を構成するプロセッサ２０１、メモリ２０２、補助記憶装置２０３、入力装置２０４、出力装置２０５、通信ＩＦ２０６の一つ以上の構成部位が、不図示のネットワークによって接続された一つ以上の計算機で構成されてもよい。
The hardware configuration of this
［テンプレート候補抽出部による処理］
次に、図４を参照して、テンプレート候補抽出部１２ｂ（図１参照）によるテンプレート候補抽出処理について説明する。図４は、テンプレート候補抽出部１２ｂによるテンプレート候補抽出処理の概要を示す図である。
[Processing by Template Candidate Extraction Unit]
Next, template candidate extraction processing by the template
テンプレート候補抽出部１２ｂは、模様量計算部１２ａで計算された模様量分布に基づいて、模様量又は模様量の密度が所定の閾値値以上となる物品領域内の一つ以上の部分領域を、テンプレート候補として抽出する。図４の左側に示す例では、物品領域２１において、星形模様を含むテンプレート候補Ｔｃ１～Ｔｃ５が抽出された例を示しており、テンプレート候補Ｔｃ１～Ｔｃ５は、それぞれ破線の矩形枠によって示されている。なお、テンプレート候補抽出部１２ｂが抽出するテンプレート候補は、形状やサイズが互いに異なっていてもよく、互いに重なりがあってもよい。
Based on the pattern amount distribution calculated by the pattern
テンプレート候補として抽出される画像は、単一の物品に属していることが好ましい。テンプレート候補として抽出される画像が、複数の物品にまたがって形成される画像である場合、そのテンプレート画像を用いて抽出される類似領域は、複数の物品の情報を反映したものとなってしまう。そして、このような類似領域の情報に基づいて抽出される物品面の情報は、個々の物品に対応したものとはならなくなってしまう。 Images extracted as template candidates preferably belong to a single article. If an image extracted as a template candidate is an image formed across a plurality of articles, the similar region extracted using the template image will reflect information on the plurality of articles. Then, the information on the surface of the article extracted based on the information on the similar region does not correspond to the individual article.
物品の境界付近に特徴的な模様がある場合は特に、複数の物品にまたがる領域の画像が、テンプレート候補として抽出されることも想定される。図４の左側に示す例では、テンプレート候補Ｔｃ２及びテンプレート候補Ｔｃ５が、この例に該当する。 It is also assumed that an image of an area spanning multiple articles is extracted as a template candidate, especially when there is a characteristic pattern near the boundary of the article. In the example shown on the left side of FIG. 4, template candidate Tc2 and template candidate Tc5 correspond to this example.
複数の物品にまたがるテンプレート候補は、単一の物品に属するものと比べて、物品境界に由来する直線模様が現れやすい。そして、このような直線模様は、テンプレート候補の領域を分断する位置に配置されている。したがって、テンプレート候補の領域を分断する位置に直線模様があるテンプレート候補を、テンプレート候補から除外することにより、複数の物品にまたがる領域の画像が、テンプレート候補として抽出されてしまうことを防ぐことができる。 A template candidate that spans a plurality of articles is more likely to have a linear pattern derived from the article boundary than a template candidate that belongs to a single article. Such a linear pattern is arranged at a position dividing the region of the template candidate. Therefore, by excluding template candidates having a linear pattern at a position dividing the template candidate region from the template candidates, it is possible to prevent an image of a region that spans multiple articles from being extracted as a template candidate. .
図４の右側に、テンプレート候補の領域を分断する位置に直線模様があるテンプレート候補を、テンプレート候補から除外された後の物品領域２１Ａの例を示す。図４の右側に示す物品領域２１Ａにおいては、図４の左側に示されていたテンプレート候補Ｔｃ２及びＴｃ５が、テンプレート候補から外れている。テンプレート候補抽出部１２ｂは、テンプレート候補Ｔｃ１，Ｔｃ３及びＴｃ４の情報を、テンプレート候補評価部１２ｃに出力する。
The right side of FIG. 4 shows an example of the
［テンプレート候補評価部及びテンプレート決定部による処理］
次に、図５～図７を参照して、テンプレート候補評価部１２ｃ及びテンプレート決定部１２ｄによる処理について説明する。図５～図７は、テンプレート候補評価部１２ｃ及びテンプレート決定部１２ｄによる処理の概要を示す図である。
[Processing by Template Candidate Evaluation Unit and Template Determination Unit]
Next, processing by the template
テンプレート候補評価部１２ｃは、テンプレート候補抽出部１２ｂによって抽出されたテンプレート候補それぞれに対して、物品領域の角の中で最も近い角（最近接角）との間の距離を計算する。テンプレート候補評価部１２ｃは、この距離として、例えば物品領域において着目する角と、テンプレート候補内の着目する画素との間の２次元ユークリッド距離の最小値等を計算する。
The template
ここで、テンプレート候補評価部１２ｃは、テンプレート候補との距離の計算対象となる物品領域の角として、物品領域の角の最小角度との差分が所定の閾値（第３閾値の一例）未満となる角度を有する角のみを選択する。この処理は、次のテンプレート決定部１２ｄにおいて行われるテンプレート決定処理において、複数のテンプレート候補の中から、単一の物品に属するテンプレート候補を抽出できるようにする目的において行われる。
Here, the template
上記の目的に即した結果が得られるには、最近接角との距離の計算時に着目した物品領域における角が、複数の物品によって占められる角ではなく、単一の物品によって占められる角である必要がある。複数の物品によって占められる角を、選択（着目）する対象から外すために、テンプレート候補評価部１２ｃは、物品領域の角の角度の最小値を特定し、該最小値との差分が所定の閾値以上となる角度を有する角を、選択対象から除外することを行う。物品領域の角の最小角度と着目する角の角度との差分に対応付けられる閾値には、テンプレート候補を適切に決定することを可能とする任意の値を設定可能である。
To achieve results consistent with the above objectives, the corners in the article region of interest when calculating the distance to the closest angle should be corners occupied by a single article rather than corners occupied by multiple articles. There is a need. In order to exclude corners occupied by a plurality of articles from targets to be selected (focused), the template
複数の物品によって占められる角の角度は、単一の物品で占められる角の角度に比べて小さいため、このような処理を行うことにより、最近接角との距離の計算時に着目する角の中から、複数の物品で占められる角を除外することができる。ただし、この処理が成立するには、物品面の角の最小角度が、物品領域角の最小角度と一致していることが条件となる。 Since the angle of the corner occupied by multiple articles is smaller than the angle of the corner occupied by a single article, by performing such processing, it is possible to , we can exclude corners that are occupied by multiple items. However, in order for this process to work, the minimum angle of the corners of the article surface must match the minimum angle of the article area angles.
図５の左側に示す物品領域２２と、右側に示す物品領域２３との両方において、最近接角との距離の計算対象として選択（着目）された角は、黒丸印で示される。図７の左側に示す物品領域２２においては、内角の角度が９０度である角のみが選択されており、９０度よりも大きい２７０度の角度を有する角は、選択から外れている。
In both the
また、図５の右側に示す物品領域２３においては、内角の角度が６０度の角のみが選択されており、６０度よりも大きい１２０度の角及び２４０度の角は、角の選択から外れている。テンプレート候補評価部１２ｃによってこのような処理が行われることにより、複数の物品によって占められる角を、最近接角との距離の計算時に選択（着目）する対象から外すことが可能となる。
In addition, in the
図６に、最近接角との距離が矢印によって示された物品領域２１を示す。図６において、テンプレート候補Ｔｃ１～Ｔｃ５は一点鎖線又は実線の矩形枠により示され、物品領域２１の最近接角からの距離に対応する２次元ベクトルは、実線の矢印によって示されている。実線の矩形枠により示されるテンプレート候補Ｔｃ１は、最近接角Ｃｃ１からの距離Ｄ１が最小である領域である。一方、一点鎖線の矩形枠により示されるテンプレート候補Ｔｃ２～Ｔｃ５は、それぞれの最近接角Ｃｃ２～Ｃｃ４からの距離Ｄ２～Ｄ５が、最小ではない領域である。
FIG. 6 shows the
このような、最近接角Ｃｃ２～Ｃｃ４からの距離Ｄ２～Ｄ５が最小でないテンプレート候補Ｔｃ２～Ｔｃ５の中には、複数の物品にまたがるテンプレート候補が含まれる可能性がある。実際に、テンプレート候補Ｔｃ２及びテンプレート候補Ｔｃ５は、複数の物品にまたがっている。このようなテンプレート候補が、テンプレート決定部１２ｄによってテンプレート画像として決定され、該テンプレート画像を用いて物品面の位置が計算された場合、物品の境界が誤って検出されてしまい、物品が誤分離されてしまう可能性がある。
Such template candidates Tc2 to Tc5 whose distances D2 to D5 from the nearest angles Cc2 to Cc4 are not the smallest may include template candidates that span multiple articles. In fact, the template candidate Tc2 and the template candidate Tc5 span multiple articles. When such a template candidate is determined as a template image by the
なお、上述したように、最近接角からの距離が最小であるテンプレート候補をテンプレート画像として選択することにより、物品の境界の誤認識の発生を防ぐことが可能であるが、テンプレート候補評価部１２ｃがテンプレート候補の領域を変形することにより、単一の物品に属するテンプレート候補のみを選択可能とする確率を、より高めることができる。 As described above, by selecting the template candidate whose distance from the nearest angle is the shortest as the template image, it is possible to prevent misrecognition of the boundary of the article. By transforming the region of the template candidate, the probability that only template candidates belonging to a single article can be selected can be increased.
複数の物品にまたがるテンプレート候補は、互いに隣接する物品の境界付近にある模様をそれぞれ含むことによって現れ得る。そのため、テンプレート候補評価部１２ｃが、テンプレート候補の領域を、より狭い部分領域に制限されるように変形（縮小）すれば、テンプレート候補を、単一の物品に属するテンプレート候補のみに絞ることが可能になる。
Candidate templates that span multiple articles may appear by each including patterns near the boundaries of adjacent articles. Therefore, if the template
テンプレートの変形は、例えば、テンプレート候補を物品領域の最近接角の方向に所定の割合だけ縮小することによって行うことができる。縮小の大きさは、例えば、１／２等の固定の大きさに設定されてもよく、検出された模様の大きさに基づいて任意の大きさに設定されてもよい。あるいは、テンプレート候補の領域を分断する直線模様を含まなくなる大きさに縮小することによって、テンプレート候補の領域を変形してもよい。 The deformation of the template can be performed, for example, by shrinking the template candidate by a predetermined percentage in the direction of the nearest angle of the article area. The size of reduction may be set, for example, to a fixed size such as 1/2, or may be set to an arbitrary size based on the size of the detected pattern. Alternatively, the template candidate area may be deformed by reducing the size to a size that does not include the linear pattern that divides the template candidate area.
図７に、テンプレート候補の領域の変形処理の概要を示す。図７の左側に示す物品領域２４及び右側に示す物品領域２４Ａは、一つの星形模様と二本の直線模様とを含む物品２４１が４つ密着して整列することによって構成される領域である。
FIG. 7 shows an overview of the deformation processing of the template candidate area. An
図７の左側には、３つのテンプレート候補Ｔｃ１１～Ｔｃ１３が実線の矩形枠により示されている。これらのテンプレート候補Ｔｃ１１～Ｔｃ１３のうち、最近接角との距離が最も短いのは、テンプレート候補Ｔｃ１１である。しかしながら、テンプレート候補Ｔｃ１１は、複数の物品にまたがっている。 On the left side of FIG. 7, three template candidates Tc11 to Tc13 are indicated by solid-line rectangular frames. Among these template candidates Tc11 to Tc13, template candidate Tc11 has the shortest distance to the nearest angle. However, the template candidate Tc11 extends over multiple articles.
図７の右側に、テンプレート候補評価部１２ｃが、テンプレート候補Ｔｃ１１～Ｔｃ１３の各領域を、それぞれの最近接角の方向に縮小した場合における物品領域２４Ａの例を示す。図７の右側に示す物品領域２４において、縮小前のテンプレート候補Ｔｃ１１～Ｔｃ１３は一点鎖線の矩形枠によって示され、縮小後のテンプレート候補Ｔｃ１１′～Ｔｃ１３′は実線の矩形枠によって示される。最近接角の方向に領域が縮小されたテンプレート候補Ｔｃ１１′～Ｔｃ１３′の中には、複数の物品をまたぐものがなくなっていることがわかる。
The right side of FIG. 7 shows an example of an
テンプレート決定部１２ｄは、最近接角との距離が最も小さいテンプレート候補を、テンプレート画像の生成に使用するテンプレートに決定する。
The
ここで、テンプレート決定部１２ｄが、物品領域の最近接角からの距離が小さいテンプレート候補を選択することによって得られる効果について説明する。物品領域の角の付近の領域は、物品領域の内部（内側）の領域よりも、単一の物品によって占められている可能性が高い。したがって、角の付近に存在するテンプレート候補は、物品領域の内部の領域に存在するテンプレート候補よりも、単一の物品に属する可能性は高くなる。
Here, the effect obtained by the
一方、複数の物品にまたがる位置に存在するテンプレート候補に基づいて生成されたテンプレート画像は、複数の物品にまたがっている可能性が高い。したがって、そのテンプレート画像に基づいて計算された物品面の位置は、実際の物品面の位置とは異なってしまう可能性が高くなる。つまり、互いに密着して整列された個々の物品を正しく分離できなくなってしまう。このような誤分離の発生を防ぐ目的において、本実施形態のテンプレート決定部１２ｄは、物品領域の最近接角からの距離が小さいテンプレート候補を選択して、テンプレート画像を生成する。
On the other hand, there is a high possibility that a template image generated based on a template candidate existing at a position that spans multiple articles will span multiple articles. Therefore, the position of the article surface calculated based on the template image is highly likely to be different from the actual position of the article surface. In other words, it becomes impossible to properly separate the individual articles that are closely aligned with each other. In order to prevent such erroneous separation from occurring, the
なお、テンプレート画像は、テンプレート決定部１２ｄによって選択されたテンプレート候補と必ずしも一致する必要はない。例えば、形状については、選択されたテンプレート候補を囲むバウンディングボックスでも構わない。また、構成要素については、以降の類似度計算を可能にするものであれば、対応する領域の画素値そのものでなくても、画素値から計算される何らかの画像特徴量でも構わない。
Note that the template image does not necessarily have to match the template candidate selected by the
［類似領域検出部による処理］
次に、類似領域検出部１２ｅ（図１参照）による処理について説明する。類似領域検出部１２ｅは、テンプレート決定部１２ｄによって決定されたテンプレート画像と類似する、物品領域内の一つ以上の領域（類似領域）を検出する。類似領域検出部１２ｅは、画素値、又は、該画素値に基づいて計算される画像特徴量から計算されるテンプレート画像との類似度が、所定の閾値（第２閾値の一例）以上となる領域を、類似領域として抽出（検出）する。
[Processing by similar region detection unit]
Next, processing by the similar
類似領域検出部１２ｅは、テンプレート画像及び該テンプレート画像を含む物品領域を２次元空間上で、類似領域を任意の角度分回転して得られる画像群を、物品領域内で走査することにより取得する。ここでの回転角度は、物品面の形状に応じて任意の角度を選択することができる。
The similar
例えば、図２Ａに示した物品領域２１や図２Ｂに示した物品領域２２においては、テンプレート画像を回転される角度が、９０度、１８０度、２７０度の３種類あれば、物品領域２１又は２２内におけるテンプレート画像との類似領域を検出可能である。また、図２Ｃに示した物品領域２３においては、テンプレート画像を回転される角度が、６０度、１２０度、１８０度、２４０度、３００度の５種類あれば、物品領域２３内におけるテンプレート画像との類似領域を検出可能である。
For example, in the
なお、類似領域検出部１２ｅが抽出した類似領域の中にも、複数の物品面にまたがる領域が含まれる場合がある。そこで、本実施形態では、類似領域検出部１２ｅは、類似領域の検出精度をより向上させる目的で、各類似領域を拡大して得られる領域の情報を用いて、改めて類似度の評価を行う。この類似度の評価時に用いる閾値は、類似領域検出時において類似度を測る際に用いた閾値と異なっていても構わない。
It should be noted that the similar region extracted by the similar
図８に、二つの星形模様と二本の直線模様とを有する物品２５１が３つ密着して整列された物品領域２５を示す。図８の左側において、テンプレート画像Ｔｐ１１は実線の矩形枠により示され、テンプレート候補Ｔｃ２１～Ｔｃ２５は、一点鎖線の矩形枠によって示される。
FIG. 8 shows an
テンプレート画像Ｔｐ１１は、物品領域２５の最近接角Ｃｃ２１との距離Ｄ２１が最も短く、かつ、複数の物品面をまたがない領域であるため、テンプレート決定部１２ｄによってテンプレート画像に決定された。
The template image Tp11 has the shortest distance D21 to the closest angle Cc21 of the
図８の中央には、テンプレート画像Ｔｐ１１を用いて抽出された類似領域Ｆｓ１１～Ｆｓ１５が、実線の矩形枠によって示される。しかしながら、図８の中央に示す例においては、物品領域２５Ａに含まれる３つの物品面（物品２５１の物品面）のそれぞれに、類似領域が二つずつ含まれてしまっている。このような類似領域に基づいて物品面の位置が計算された場合、物品の境界が誤認識されてしまう。
In the center of FIG. 8, similar regions Fs11 to Fs15 extracted using the template image Tp11 are indicated by solid-line rectangular frames. However, in the example shown in the center of FIG. 8, each of the three article surfaces (the article surface of the article 251) included in the
図８の右側には、類似領域検出部１２ｅが、各類似領域に対応するその領域の一部の情報を用いて、改めて類似度の評価を行った後における、物品領域２５Ｂの例を示す。図８の右側に示す例では、類似領域検出部１２ｅは、まず、類似領域Ｆｓ１１～Ｆｓ１６のうち、物品領域２５の最近接角Ｃｃ１２からの距離Ｄ２２（図８中央）が最小となる類似領域Ｆｓ１１に着目し、該類似領域Ｆｓ１１を最近接角Ｃｃ１２の方向に拡大することにより、類似領域Ｆｓ１１′（拡大類似領域の一例）を得る。
The right side of FIG. 8 shows an example of an
また、類似領域検出部１２ｅは、その他の類似領域Ｆｓ１２～Ｆｓ１６においても、同様の拡大を行うことにより、類似領域Ｆｓ１２′～Ｆｓ１６′（拡大類似領域の一例）を得る。その他の類似領域Ｆｓ１２～Ｆｓ１６の拡大は、テンプレート画像を得るために施した回転の角度を考慮して行われる必要がある。そして、類似領域検出部１２ｅは、類似領域Ｆｓ１１の拡大領域Ｆｓ１１′（第１拡大領域の一例）と、類似領域Ｆｓ１２′～Ｆｓ１６′との類似度を計算する。
The similar
類似領域Ｆｓ１２′、Ｆｓ１４′及びＦｓ１６′は、物品面内に直線模様を含まないため、物品面内に直線模様を含む類似領域Ｆｓ１１′との類似度は低くなる。類似領域検出部１２ｅは、このような、類似領域Ｆｓ１１′との類似度が所定の閾値（第４閾値の一例）未満となる類似領域を、類似領域から外す、すなわち、破棄する。図８の右側において、破棄された類似領域Ｆｓ１２′、Ｆｓ１４′及びＦｓ１６′は破線の矩形枠により示され、破棄されていない類似領域Ｆｓ１３′及びＦｓ１５′は実線の矩形枠により示される。
Since similar areas Fs12', Fs14' and Fs16' do not include a linear pattern in the article plane, the degree of similarity with similar area Fs11' including a linear pattern in the article plane is low. The similar
類似領域検出部１２ｅによって、このような類似領域の再評価が行われることにより、一つの物品面に属した類似領域Ｆｓ１３′及びＦｓ１５′のみが、類似領域として扱われるようになる。
Such re-evaluation of similar regions by the similar
［類似領域評価部による処理］
次に、類似領域評価部１２ｆ（図１参照）による処理について、図９を参照して説明する。図９は、類似領域評価部１２ｆによる処理の概要を示す図である。
[Processing by similar region evaluation unit]
Next, processing by the similar
類似領域評価部１２ｆは、類似領域評価部１２ｆによって抽出された類似領域の中で、物品領域の最近接角との距離が最小となる類似領域を対象として、その類似領域の最近接角との間の相対的位置関係を計算する。
Among the similar regions extracted by the similar
ここでいう相対的位置関係は、例えば、着目する類似領域の所定の点とその物品領域最近接角との間の変位を表す２次元ベクトルによって示される。この２次元ベクトルを用いることによって、着目する類似領域を含む物品面の中のどこにその類似領域が位置しているかを特定することができる。 The relative positional relationship referred to here is indicated by, for example, a two-dimensional vector representing the displacement between a predetermined point of the similar area of interest and the closest angle of the article area. By using this two-dimensional vector, it is possible to specify where the similar area is located in the article plane containing the similar area of interest.
また、類似領域評価部１２ｆは、物品領域の最近接角を求める際に選択する物品領域の角を、物品領域の角の最小角度からの差分が所定の閾値未満となる角度とすることにより、選択される角を、単一の物品によって占められる角に限定することができる。
Further, the similar
上述したように、類似領域評価部１２ｆは、最近接角との間の相対的位置関係を計算する対象として、テンプレート画像に対応する類似領域ではなく、物品領域の最近接角との距離が最小となる類似領域を選択する。これは、テンプレート候補の選択条件が追加されたりしたこと等が要因となり、テンプレート画像が、物品領域の角を示す物品面に含まれないテンプレート候補から生成されてしまった場合にも、適切に物品面位置を計算できるようにするためである。
As described above, the similar
図９に示す物品領域２１においては、物品領域の最近接角との距離が最小となる類似領域Ｆｓ１は実線の矩形枠によって示され、それ以外の類似領域Ｆｓ２～Ｆｓ６は一点鎖線の矩形枠によって表されている。
In the
また、図９には、物品領域の最近接角からの距離が最小である類似領域Ｆｓ１と、その最近接角Ｃｃ１との間の相対的位置関係を表す２次元変位ベクトルＲ１が、実線の矢印によって表されている。この２次元変位ベクトルＲ１を各類似領域にもあてはめることにより、類似領域評価部１２ｆは、各類似領域に対応する物品面の角の位置を計算することができる。つまり、各類似領域の端部から、２次元変位ベクトルによって示される距離だけ離れた位置にある角を、該類似領域に対応する物品面の角（以下、「物品角」とも称する）に特定することができる。物品角の位置は、図９においては黒丸で示される。
Further, in FIG. 9, a two-dimensional displacement vector R1 representing the relative positional relationship between the similar region Fs1 having the shortest distance from the closest angle of the article region and its closest angle Cc1 is indicated by a solid arrow. is represented by By applying this two-dimensional displacement vector R1 to each similar region, the similar
［物品面情報取得部による処理］
次に、図１０～図１３を参照して、物品面情報取得部１２ｇによる処理について説明する。図１０～図１３は、物品面情報取得部１２ｇによる処理の概要を示す図である。
[Processing by article surface information acquisition unit]
Next, referring to FIGS. 10 to 13, processing by the article surface
物品面情報取得部１２ｇは、類似領域評価部１２ｆによって計算された各類似領域における物品角との相対的位置関係と、各類似領域との情報に基づいて、物品領域内における一つ以上の物品面の位置及びサイズを計算し、物品面情報として取得する。
The article surface
具体的には、物品面情報取得部１２ｇは、類似領域評価部１２ｆで取得された物品角の情報に基づいて、物品面の位置及びサイズを計算する。物品面の位置及びサイズは、物品領域の多角形形状の情報と、物品面の角に特定された角が、物品領域の角のうちのどの角に対応するかの情報と、に基づいて、多角形形状を相似拡大縮小することにより求めることができる。物品面の形状は、物品角の頂点からのびる２辺の長さ（の比）によって規定される。
Specifically, the article surface
具体的には、物品面情報取得部１２ｇは、まず、物品角同士の距離、及び、各物品角の頂点から物品領域の角までの距離に基づいて、物品角の頂点からのびる２辺の長さの候補を決定する。そして、決定した候補の長さを初期値として、２辺の長さを以下（１）～（３）等の条件を満たす長さに調整する。
（１）物品同士の重なりを生じさせない長さ、又は、物品同士が重なる部分の面積が所定の閾値以下となる長さ
（２）物品領域の外にはみ出さない長さ、又は、物品領域からはみ出す部分の長さが所定の閾値以下となる長さ
（３）物品角の頂点からのびる２辺の長さによって特定される各物品面が物品領域に占める面積を、最大にすることが可能な長さ
Specifically, based on the distance between the article corners and the distance from the vertex of each article angle to the corner of the article region, the article surface
(1) A length that does not cause overlapping of articles, or a length that makes the area of the overlapping portion of articles smaller than a predetermined threshold (2) A length that does not protrude outside the article area, or is within the article area (3) It is possible to maximize the area occupied by each article face specified by the length of two sides extending from the vertex of the article angle in the article area. length
なお、物品面情報取得部１２ｇは、これらのうちの一つの条件を用いて物品角の頂点からのびる２辺の長さを決定してもよく、一つ以上の条件を組み合わせてもよい。また、物品面の形状に関する情報が事前に与えられる場合には、その情報を用いることにより、物品面のサイズ（物品角の頂点からのびる２辺の長さ）の探索時間を削減することができる。
The article surface
ここで、図１０を参照して、物品領域内の各物品面の位置及びサイズの特定（以下、「物品面の特定」とも称する）例について説明する。図１０は、物品面情報取得部１２ｇによる物品領域内の各物品面の特定例を示す図である。
Here, with reference to FIG. 10, an example of specifying the position and size of each article surface in the article area (hereinafter also referred to as "specifying the article surface") will be described. FIG. 10 is a diagram showing an example of identification of each article surface within an article area by the article surface
なお、図１０に示す例では、物品面の形状が長方形である場合の例を挙げるが、物品面の形状が平行四辺形等である場合にも、同様の処理を適用可能である。図１０の最上段に示す物品領域２６は、３つの物品２６１によって構成される。物品２６１は、一つの星形模様と、二本の直線模様とを有する。また、物品領域２６においては、各物品面の物品角の位置が特定されており、図１０において各物品角は黒丸印で示されている。また、図１０において、物品角の頂点からのびる２辺の長さによって定まる物品面の形状及びサイズは、右下がりの斜線模様の領域の形状及び大きさによって示される。
In the example shown in FIG. 10, an example in which the shape of the article surface is a rectangle is given, but similar processing can also be applied when the shape of the article surface is a parallelogram or the like. The
図１０の中段の左側に示す物品領域２６Ａにおいては、物品角の頂点からのびる２辺のうち、長辺の長さが長すぎることによって、物品同士の重なりと、物品面の物品領域２６Ａからのはみだしとが生じている。
In the
図１０の中段の右側に示す物品領域２６Ｂにおいては、物品角の頂点からのびる２辺の長さが短すぎることにより、物品同士の重なりは生じていないが、物品領域２６Ｂにおいて物品面が占める面積が小さくなっている。
In the
一方、図１０の最下段に示す物品領域２６Ｃにおいては、物品角の頂点からのびる２辺の長さが適切に設定されていることにより、物品面同士の重なりや、物品面の物品領域２６からのはみだしなどが生じておらず、かつ、物品面が物品領域２６Ｃに占める割合も最大となっている。
On the other hand, in the
なお、物品面情報取得部１２ｇは、画素値に基づいて計算した物品面同士の類似度の情報も用いて、物品面の探索を行ってもよい。図１１は、種類の異なる物品が含まれる物品領域における物品面の特定例を示す図である。
Note that the article surface
図１１に示す物品領域２７には、一つの星形模様と二本の直線模様とを含む二つの物品２７１と、一本の直線模様と、該一本の直線模様に直交する二本の直線模様とを含む一つの物品２７２と、で構成される。また、物品領域２７においては、黒丸印によって示される二つの物品角が特定されているものとする。
In the
二つの物品角のそれぞれからのびる２辺の長さを推定する場合において、上記（１）～（３）の条件のみを用いた場合、図１１の右上に示す物品領域２７Ａのように、物品２７１の物品面が物品２７２にかかってしまっていても、条件をクリアしてしまう。
When estimating the length of the two sides extending from each of the two article corners, if only the above conditions (1) to (3) are used, the
ここで、特定された物品面同士の類似度が所定の閾値以上となる長さ、という条件（条件（４）とする）を追加してみる。この場合、物品角Ｃａ１１を含む物品面２７１１と、物品角Ｃａ１２を含む物品面２７１２とは、物品２７２にかかる部分の画素値がそれぞれ異なっているため、画素値に基づき判定された類似度は低くなる。したがって、物品面情報取得部１２ｇは、物品面２７１１及び２７１２を構成する２辺の長さは適切でないと判断する。
Here, let us add a condition (referred to as condition (4)) that the length is such that the similarity between the identified product surfaces is equal to or greater than a predetermined threshold. In this case, the
一方、上記（１）～（４）のすべての条件を満たす２辺の長さを適用した場合、図１１の右下に示す物品領域２７Ｂに示すように、物品領域２７１３及び２７１４は、それぞれ、物品２７１の位置及びサイズを適切に反映したものとなる。
On the other hand, when two side lengths that satisfy all the above conditions (1) to (4) are applied, as shown in the
なお、上述した実施形態における物品認識方法のように、物品領域の最近接角と類似領域との相対的位置関係の情報を用いることなく、物品面の位置や大きさなどを計算することも可能である。しかしながら、物品領域の最近接角と類似領域との相対的位置関係の情報がなく、類似領域の位置のみが分かっている状況においては、２辺の長さに加えて、物品領域における類似領域の位置の情報も探索する必要が生ずる。つまり、物品の探索次元は「４」となってしまう。これに対して、本実施形態では、物品角の頂点からのびる２辺の長さを探索するのみでよいため、探索の次元は「２」となり、探索時間の削減が可能となる。 It is also possible to calculate the position, size, etc. of the surface of the article without using information on the relative positional relationship between the closest angle of the article area and the similar area, as in the article recognition method in the above-described embodiment. is. However, in a situation where there is no information about the relative positional relationship between the closest angle of the article area and the similar area and only the position of the similar area is known, in addition to the length of the two sides, Location information also needs to be searched. In other words, the search dimension of the article becomes "4". On the other hand, in the present embodiment, it is only necessary to search for the length of two sides extending from the vertex of the article angle, so the dimension of the search becomes "2", and the search time can be reduced.
なお、探索時間削減の観点からは、同種の物品の物品角同士、又は、類似領域同士の相対的な位置関係や、物品角の頂点から物品領域の輪郭上の点までの距離などの情報に基づいて、２辺の長さの候補値を求めることも可能である。例えば、図１０に示した物品領域２６においては、物品角Ｃａ１と物品領域２６の左下角との間の距離は、物品２６１の長辺の長さと一致している。また、物品角Ｃａ２と物品角Ｃａ３との間の距離は、物品２６１の短辺の長さ、及び、物品角Ｃａ３と物品領域２６の右下角との間の距離と一致している。つまり、同種の物品の物品角同士、又は、類似領域同士の相対的な位置関係や、物品角の頂点から物品領域の輪郭上の点までの距離などの情報も用いることにより、物品面の探索精度をより向上させることが可能となる。
From the viewpoint of reducing the search time, information such as the relative positional relationship between object corners of the same type of article or between similar areas, and the distance from the vertex of the article corner to the point on the contour of the article area. Based on this, it is also possible to obtain candidate values for the length of the two sides. For example, in the
また、隣り合う二つの物品面のそれぞれの物品角が、物品領域において対角の位置にある場合には、物品角の頂点を起点とする２辺がのびる方向は２通り存在し得る。このような場合には、上記（１）～（４）の条件をすべて満たしていても、物品面を正しく特定できていない状況が生じ得る。 Also, when the article angles of two adjacent article surfaces are diagonally opposite each other in the article area, there are two possible directions in which the two sides extend from the vertex of the article angle. In such a case, even if all of the above conditions (1) to (4) are satisfied, a situation may arise in which the article surface cannot be specified correctly.
図１２は、隣り合う二つの物品面のそれぞれの物品角が、物品領域において対角の位置にある物品領域における、物品面の特定例を示す図である。図１２に示す物品領域２８は、一本の直線模様と一つの星形模様とを含む物品２８１を二つ含む。図１２に示すように、物品領域２８に含まれる物品２８１の物品角Ｃａ２１と、物品２８１の物品角Ｃａ２２とは、互いに対角の位置にある。
FIG. 12 is a diagram showing a specific example of an article surface in an article area in which the respective article angles of two adjacent article surfaces are at diagonal positions in the article area. The
この場合、物品角Ｃａ２１及びＣａ２２のそれぞれからのばす２辺の方向の選択肢には、図１２の中央に示す物品領域２８Ａのように、２辺のうちの長辺が物品領域２８Ａの縦方向を分割する方向と、図１２の右側に示す物品領域２８Ｂのように、長辺が物品領域２８Ｂの横方向を分割する方向と、の二種類がある。
In this case, the options for the directions of the two sides extending from the article angles Ca21 and Ca22 include an
このようなケースにおいては、物品領域２８を分断する直線模様が存在する方向を、２辺のうちの長辺が配置される方向に設定することにより、実際の２つの物品２８１の境界と同じ位置で、物品面２８１１と物品面２８２２とを切り分けることができる。図１２の中央に示す物品領域２８Ａが、この例に該当する。
In such a case, by setting the direction in which the linear pattern that divides the
図１３は、物品領域における物品面の適切な特定例を示す図である。図１３に示す物品領域２９においては、上述した（１）～（４）の条件のいずれか又は組み合わせ、あるいはすべてを満たす長さに、物品角の頂点からのびる２辺の長さが決定されている。それゆえ、物品領域２９においては、物品面同士の重なりや、物品面の物品領域２９からのはみ出しが生じていない。さらに、物品領域２９においては、各物品面内の模様が、物品面同士で一致しており、物品面が物品領域２９のほぼ全面を覆うことができている。
FIG. 13 is a diagram showing an example of proper identification of the article surface in the article area. In the
物品面情報取得部１２ｇ（図１参照）は、このようにして取得した物品領域内の各物品面の位置及びサイズの情報を、物品面情報出力部１３に出力する。
The article surface
［物品認識装置による物品認識方法］
次に、図１４を参照して、本実施形態に係る物品認識装置１０（図１参照）による物品認識方法について説明する。図１４は、物品認識装置１０による物品認識処理の手順の例を示すフローチャートである。
[Item Recognition Method by Article Recognition Apparatus]
Next, with reference to FIG. 14, an article recognition method by the article recognition device 10 (see FIG. 1) according to this embodiment will be described. FIG. 14 is a flow chart showing an example of the procedure of article recognition processing by the
まず、物品認識装置１０の模様量計算部１２ａは、物品領域受付部１１から物品領域の情報を受け取ると、物品領域における模様量の分布を計算する（ステップＳ１）。上述したように、模様量とは、所定の領域の模様度合いを表す指標であり、物品領域を構成する２次元画素値から計算される。
First, the pattern
次いで、テンプレート候補抽出部１２ｂは、ステップＳ１で計算された模様量の分布に基づいて、模様量（又は模様量の密度）が所定の閾値以上となる物品領域内の一つ以上の部分領域を、テンプレート候補として抽出する（ステップＳ２）。
Next, the template
次いで、テンプレート候補評価部１２ｃは、ステップＳ２で抽出された一つ以上のテンプレート候補それぞれに対して、最近接角との間の距離を計算する（ステップＳ３）。そして、テンプレート候補と、該テンプレート候補に対応する距離（最近接角との距離）の情報との対応情報が、テンプレート候補情報保持部１２ｈに保存される。
Next, the template
次いで、テンプレート決定部１２ｄは、テンプレート候補情報保持部１２ｈを参照して、未選択のテンプレート候補が一つ以上あるかどうかを判定する（ステップＳ４）。ステップＳ４で、未選択のテンプレート候補はないと判定された場合（ステップＳ４がＮＯ判定の場合）、物品認識装置１０による物品認識処理は終了する。なお、テンプレート決定部１２ｄは、未選択のテンプレート候補の有無に関わらず、演算時間の制約等の理由によって以降の処理を行うことができないと判定した場合にも、ここで処理を終了しても構わない。
Next, the
一方、ステップＳ４で、未選択のテンプレート候補があると判定された場合（ステップＳ４がＹＥＳ判定の場合）、テンプレート決定部１２ｄは、ステップＳ３で計算された最近接角との距離が最小であるテンプレート候補を選択し、該テンプレート候補に基づいてテンプレート画像を生成する（ステップＳ５）。
On the other hand, when it is determined in step S4 that there is an unselected template candidate (when step S4 determines YES), the
次いで、テンプレート決定部１２ｄは、ステップＳ５で生成されたテンプレート画像が所定の条件を満たすかどうかを判定する（ステップＳ６）。所定の条件には、例えば、テンプレート画像の面積が、不図示のピックアップロボットが部品を吸着又は把持する場合における、吸着／把持部分の面積以上である、等が考えられる。ステップＳ６で、テンプレート画像は所定の条件を満たしていないと判定された場合、テンプレート決定部１２ｄは、ステップＳ４に戻って処理を行う。
Next, the
一方、ステップＳ６で、テンプレート画像は所定の条件を満たすと判定された場合（ステップＳ６がＹＥＳ判定の場合）、類似領域検出部１２ｅは、テンプレート画像と類似する物品領域内における一つ以上の領域を、類似領域として検出する（ステップＳ７）。上述したように、類似領域検出部１２ｅは、画素値又は画素値に基づいて計算される画像特徴量から計算されるテンプレート画像との類似度が、所定の閾値以上となる領域を、類似領域として検出する。このとき、類似領域検出部１２ｅは、テンプレート画像及び物品領域を２次元空間上で任意の角度分回転して得られる画像群も対象として、テンプレート画像との類似度が高い領域を探索する。
On the other hand, when it is determined in step S6 that the template image satisfies the predetermined condition (when step S6 determines YES), the similar
また、類似領域検出部１２ｅが検出する類似領域の中には、ステップＳ５でテンプレート画像を生成するために選択されたテンプレート候補に対応する領域が少なくとも含まれる。
Further, the similar regions detected by the similar
なお、類似領域検出部１２ｅは、上述したように、類似領域の検出後に、物品領域の最近接角からの距離が最小となる類似領域を最近接角の方向に拡大した領域の情報を用いて、その他の類似領域との類似度を再評価してもよい。そして、類似度が低い領域を、類似領域から外してもよい。
Note that, as described above, after detecting the similar region, the similar
例えば、物品領域受付部１１（図１参照）が受け付けた物品領域の情報にノイズが含まれていた場合、テンプレート候補との距離が近くない物品領域の角が最近接角として誤認識されてしまう状況も生じ得る。このような場合、最近接角との距離が最小であるテンプレート候補が選択されるべきところ、この条件を満たさないテンプレート候補が誤って選択されてしまうことが起こり得る。 For example, if noise is included in the information on the article area received by the article area reception unit 11 (see FIG. 1), the corner of the article area that is not close to the template candidate will be erroneously recognized as the closest angle. Situations can arise. In such a case, a template candidate that does not satisfy this condition may be erroneously selected when the template candidate with the smallest distance to the nearest angle should be selected.
類似領域検出部１２ｅによって、上記再評価が行われることにより、期待されるテンプレート候補とは異なるテンプレート候補が選択された場合にも、誤選択されたテンプレート候補に基づくテンプレート画像との類似度の情報を用いて誤って検出された類似領域を、破棄することができる。
As a result of the re-evaluation performed by the similar
次いで、類似領域評価部１２ｆは、ステップＳ７で得られた一つ以上の類似領域の中で、物品領域の最近接角との距離が最小となる類似領域を対象として、その物品領域の最近接角との間の相対的位置関係を計算する（ステップＳ８）。相対的位置関係は、上述したように、着目する類似領域を含む物品領域の中のどこにその類似領域が位置しているかを特定するために用いられる情報であり、例えば、着目する類似領域の所定の点と、その類似領域の最近接角との間の変位を表す２次元ベクトル等によって示される。
Next, among the one or more similar regions obtained in step S7, the similar
ステップＳ８で、類似領域評価部１２ｆが、テンプレート画像に対応する類似領域ではなく、物品領域最近接角からの距離が小さい類似領域に着目する理由は、テンプレート決定部１２ｄによって決定されたテンプレート候補が適切でない場合に対応するためである。このような処理が行われることにより、例えば、物品領域を構成する角とは異なる角を含むテンプレート候補が、テンプレート決定部１２ｄによって誤って選択されていた場合にも、算出される相対的位置関係を、物品領域を構成する角に属する最近接角との間の情報とすることができる。
The reason why the similar
また、類似領域評価部１２ｆは、ここで、類似領域との間の相対的位置関係の算出対象とする最近接角の選択対象から、物品領域を構成する角の最小角度との差分が所定の閾値以上となる角を外す処理を行ってもよい。このような処理が行われることにより、複数の物品によって占められる角が、最近接角として誤って選択されてしまうことを防ぐことができる。
Further, the similar
次いで、物品面情報取得部１２ｇは、ステップＳ８で得られた相対的位置関係、及び、ステップＳ７で得られた一つ以上の類似領域の情報に基づいて、物品領域内の一つ以上の物品面の情報（位置及びサイズ等）を取得する（ステップＳ９）。物品面情報取得部１２ｇは、相対的位置関係を利用することによって、一つ以上の類似領域それぞれに対して、その領域を含む物品面の角の位置を特定することができる。そして、物品面情報取得部１２ｇは、類似領域を含む物品面の多角形形状を相似拡大縮小することにより、物品面のサイズを計算（探索）する。
Next, the article surface
次いで、物品面情報取得部１２ｇは、ステップＳ９で計算された物品面の情報が、所定の条件を満たすか否かを判定する（ステップＳ１０）。所定の条件は、上述した（１）～（４）の条件である。物品面情報取得部１２ｇは、ステップＳ９で計算された物品面の情報（物品角の頂点からのびる２辺の長さ（又は比））が、（１）～（４）の条件のいずれか又は組み合わせ、あるいは、すべてを満たすか否かを判定する。
Next, the product surface
なお、物品面情報取得部１２ｇは、ステップＳ１０の判定の代わりに、演算時間の制約に応じた判定を行っても構わない。すなわち、物品面情報取得部１２ｇは、物品面の情報が所定の条件を満たすか否かに関わらず、演算時間の制約等の理由によって以降の処理を行うことができないと判定した場合にも、ここで処理を終了しても構わない。
It should be noted that the article surface
ステップＳ１０で、物品面の情報は所定の条件を満たさないと判定された場合（ステップＳ１０がＮＯ判定の場合）、物品面情報取得部１２ｇは、ステップＳ５で選択されたテンプレート候補をテンプレート候補情報保持部１２ｈから除外した上で、ステップＳ４に戻って処理を行う。つまり、次の未選択のテンプレート候補があるか否かを判定する。
If it is determined in step S10 that the information on the article side does not satisfy the predetermined condition (NO determination in step S10), the article side
一方、ステップＳ１０で、物品面の情報は所定の条件を満たすと判定された場合（ステップＳ１０がＹＥＳ判定の場合）、物品面情報取得部１２ｇは、ステップＳ１０で条件を満たした物品面の情報を、物品面情報出力部１３を介して、不図示のピッキングロボット等の外部に出力する（ステップＳ１１）。ステップＳ１１の処理後、物品認識装置１０による物品認識処理は終了する。
On the other hand, when it is determined in step S10 that the information on the article side satisfies the predetermined condition (when the determination in step S10 is YES), the article side
上述した物品認識装置１０は、物品領域受付部１１と、テンプレート決定部１２ｄと、物品面情報取得部１２ｇと、を含む。物品領域受付部１１には、物品領域の情報が入力される。物品領域は、互いに密着して配列された複数の物品の整列面と対応する画像を含む２次元画像において画素が連続して存在する領域を多角形近似することによって得られる領域である。
The
テンプレート決定部１２ｄは、所定値以上の画素が密集した模様領域の模様量が所定の閾値（第１閾値）以上であり、かつ、物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いて、テンプレート画像を生成する。物品面情報取得部１２ｇは、テンプレート画像との類似度が所定の閾値（第２閾値）以上である一つ以上の類似領域の情報を用いて、物品領域における物品の面の位置及びサイズを含む物品面情報を取得して出力する。
The
したがって、本実施形態に係る物品認識装置１０は、認識対象物品の模様やサイズなどの情報が事前に用意されていなくても、物品領域から得られる情報に基づいて生成したテンプレート画像及び類似領域の情報に基づいて、密接して整列された複数の物品の各物品を適切に認識できる。
Therefore, the
また、本実施形態の物品認識装置１０のテンプレート候補抽出部１２ｂは、模様領域の模様量が所定の閾値以上であり、かつ、物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いて、物品領域の中から、テンプレート画像生成用のテンプレート候補を抽出する。
Further, the template
このような条件を満たす領域は、単一の物品の面に属する領域である可能性が高い。つまり、本実施形態では、単一の物品の面に属する領域に対応していると想定されるテンプレート候補に基づいて、整列面を構成する各物品の物品面情報を計算するため、本実施形態によれば、整列面を構成する各物品面の情報を適切に取得することが可能となる。 Areas satisfying such conditions are likely to belong to a single article face. In other words, in this embodiment, since the article surface information of each article forming the alignment surface is calculated based on the template candidate assumed to correspond to the area belonging to the surface of a single article, the present embodiment According to this, it is possible to appropriately acquire information on each article surface that constitutes the alignment surface.
ここで、本実施形態に係る物品認識装置１０に対して、所定の条件を満たす情報が入力された場合における、出力内容の特徴について説明する。本実施形態に係る物品認識装置１０が認識可能な物品は、同一の物品の面内において他の模様と重複しない特徴的な模様を有し、該模様のある領域や、該模様とは種類の異なる模様が存在する領域以外の領域の画素値が、一定の値である物品である。
Here, characteristics of output contents when information satisfying a predetermined condition is input to the
また、物品面の形状は、多角形を構成するいずれかの角、及び、その角からのびる２辺の長さの比が与えられた場合に特定が可能な形状である必要がある。本実施形態では、このような物品が互いに密着して整列された整列面の撮影画像が、物品認識装置１０に入力される。しかしながら、物品認識装置１０に入力されるのは、実際の整列面の撮影画像ではなく、疑似的に生成された画像であってもよい。
In addition, the shape of the surface of the article must be a shape that can be specified when one of the corners forming a polygon and the ratio of the lengths of two sides extending from that corner are given. In the present embodiment, a photographed image of an alignment surface in which such articles are aligned in close contact with each other is input to the
本実施形態に係る物品認識装置１０（の物品面情報出力部１３）から出力される物品面の情報には、物品領域の角を含んだ物品面の位置及びサイズの情報が少なくとも含まれる。本実施形態に係る物品認識装置１０は、物品領域内の特徴的な模様を含む領域の中における、物品領域の最近接角からの距離が最小となる領域は、物品領域を構成するいずれかの角を含んでいることを想定して、物品認識処理を行っている。
The article surface information output from (the article surface
したがって、物品認識装置１０から出力される物品面の情報には、物品領域の角を含む物品面の位置（及びサイズ）の情報は必ず含まれる。それゆえ、物品を認識する他の装置から出力される情報に、物品領域の角を含む物品面の位置（及びサイズ）の情報が含まれているか否かを調べることによって、該装置が、本実施形態に係る物品認識装置１０と同様の物品認識処理を行っているか否かを判断することができる。
Therefore, the information on the article surface output from the
図１５は、物品認識装置１０から出力される物品面の情報の例を示す図である。図１５Ａに示す物品領域３０は、一つの星形模様を有する物品３０１が４つ敷き詰められて構成される。物品領域３０においては、星形模様の領域以外の領域における画素値は、一定であるものとする。つまり、物品の境界部分の画素値も、境界以外の領域における画素値と同一であるとする。このような特徴を有する物品領域は、単載パレットを対象としたデパレタイズ処理の実行時に現れ得る。
FIG. 15 is a diagram showing an example of information on the surface of an article output from the
このような物品領域３０の情報が入力された場合、本実施形態に係る物品認識装置１０から出力される情報は、図１５の右上に示した物品領域３０Ａに含まれる物品面３０１１Ａ～３０１４Ａの情報、又は、図１５の右下に示した物品領域３０Ｂに含まれる物品面３０１１Ｂ～３０１４Ｂの情報等となる。そして、物品領域３０Ａにおいては、物品面２０１１Ａ～３０１４Ａのいずれもが物品領域３０の角のいずれかを含んでおり、物品領域３０Ｂにおいては、物品面３０１２Ｂが物品領域３０Ｂの角を含んでいる。
When the information of the
図１５Ａの右下に示す物品領域３０Ｂにおいては、物品面３０１１Ｂ～３０１４Ｂが物品領域３０Ｂに占める割合が少なくなった場合にも、いずれかの物品面（この場合は物品面３０１２Ｂ）の角は、物品領域３０Ｂの角を含んでいる。
In the
次に、一つの物品の面内に特徴的な模様が繰り返し存在する物品によって構成される物品領域における、物品面の特定処理について、図１５Ｂ及び図１５Ｃを参照して説明する。 Next, the process for specifying the surface of an article in an article area composed of articles in which characteristic patterns are repeatedly present within the surface of one article will be described with reference to FIGS. 15B and 15C.
図１５Ｂに示す物品領域３１は、星形模様を含む物品３１１が３つと、雷模様を含む物品３１２が二つと、黒丸模様を含む物品３１３が３つとで構成される。図１５Ｃに示す物品領域３２も、星形模様を含む物品３２１が３つと、雷模様を含む物品３２２が二つと、黒丸模様を含む物品３２３が３つとで構成される。このような物品領域３１、３２は、例えば、混載パレットを対象としたデパレタイズ処理の実行時において現れ得る。ここで、星形の模様のコントラストが最も大きいことにより、物品認識装置１０によって、星形模様のみを含む領域がテンプレート候補として選ばれたとする。
The
この場合、物品認識装置１０からは、図１５Ｂの右側の物品領域３１に示される情報が出力される。具体的には、物品領域３１の角を含む物品面３１１１と、物品面３１１１に類似した物品面３１１２及び３１１３と、の情報が出力される。そして、物品領域３１の角の近傍には、テンプレート候補の抽出に用いた星形模様が現れる。
In this case, the
一方、コントラストが最大である模様が、星形模様ではなく雷型模様であった場合、物品認識装置１０からは、図１５Ｃの右側の物品領域３２に示される情報が出力される。具体的には、物品領域３２の角を含む物品面３２１１と、物品面３２１１に類似した物品面３２１２との情報が出力される。そして、物品領域３２の角の近傍には、テンプレート候補の抽出に用いた雷型模様が現れる。
On the other hand, if the pattern with the highest contrast is not the star pattern but the lightning pattern, the
しかし、図１５Ｂに示した物品領域３１、及び、図１５Ｃに示した物品領域３２のいずれにおいても、特定された物品面は、実際の物品の面とは異なっている。つまり、本実施形態に係る物品認識装置１０に入力される情報において、物品の面に含まれる特徴的な模様が複数存在する場合には、実際の物品と対応する適切な物品面情報を得ることができない。
However, in both the
［物品認識装置の適用例］
次に、図１６を参照して、本実施形態に係る物品認識装置１０の適用例について説明する。図１６は、物品認識装置１０が適用される作業シーンの例を示す図である。図１６には、認識対象の４つの物品４０が、作業台４１の上に密着して整列されている。センサ４２は、例えばＲＧＢ－Ｄセンサ等によって構成され、作業台４１の上部に設置される。センサ４２は、作業台４１上に整列された物品４０を撮影することにより、物品４０の整列面の３次元点群４３と、該３次元点群４３に対応する２次元画像４４と、を、物品認識装置１０（図１６においては図示略）に送信する。
[Example of application of article recognition device]
Next, an application example of the
物品４０が密着して整列された整列面は、３次元点群４３においては、物品間の隙間が検出されずに連続領域として現れる場合がある。一方、２次元画像４４においては、物品境界が形成する直線と、直線模様による直線との区別がつかない場合がある。しかしながら、本実施形態に係る物品認識装置１０によれば、このような３次元点群に対応する２次元画像が入力された場合にも、整列面を構成する各物品の位置を適切に認識することができる。
The alignment surface on which the
なお、本実施形態に係る物品認識装置１０の認識対象の物品は、センサ４２に対面する側の物品の面が平面である物品に限定されない。例えば、２次元画像内の整列面を多角形近似することが可能な形状を有する物品であれば、どのような物品であってもよい。
Note that the article to be recognized by the
図１７は、本発明の変形例に係る物品が円柱形状である場合における作業シーンの例を示す図である。図１７の左側に示す例においては、円柱形状の物品５０が、３つ密着して整列されており、その上面がセンサ４２によって撮影される。この場合、センサ４２による撮影画像は、図１７の右側に示すように、３つの長方形が整列した物品領域を撮影したものとなる。つまり、本実施形態に係る物品認識装置１０が認識することが可能な撮影画像となる。
FIG. 17 is a diagram showing an example of a work scene when an article according to a modification of the present invention has a columnar shape. In the example shown on the left side of FIG. 17, three
また、物品認識装置１０は、このような３次元の物品を対象とした場合に、３次元の物品面情報を出力してもよい。図１８は、本発明の変形例に係る物品認識装置１０Ａの概略構成例を示すブロック図である。
Further, the
図１８に示すように、物品認識装置１０Ａは、データ受付部１５と、３次元物品領域特定部１６と、２次元物品領域特定部１７と、物品領域受付部１１と、認識処理部１２Ａと、テンプレート候補情報保持部１２ｈと、３次元物品面情報取得部１８と、３次元物品情報出力部１９と、を含む。
As shown in FIG. 18, the
データ受付部１５は、互いに密着して整列された部品の整列面を撮影して得られた３次元点群と対応する、２次元画像を受け付ける。そして、データ受付部１５は、３次元物品領域特定部１６に出力する。２次元画像は、不図示のセンサによる撮影画像である。
The
３次元物品領域特定部１６は、データ受付部１５から入力された２次元画像における、３次元点群と対応する画素が連続する領域（連続領域）を特定して、２次元物品領域特定部１７に出力する。２次元物品領域特定部１７は、３次元物品領域特定部１６によって特定された連続領域に対応する２次元画像内の２次元領域を多角形近似して、多角形の枠によって囲まれる２次元画素集合を特定する。そして、２次元物品領域特定部１７は、特定した２次元画素集合を、物品領域として物品領域受付部１１に出力する。
The three-dimensional article
物品領域受付部１１は、２次元物品領域特定部１７から入力された物品領域の情報を、認識処理部１２に出力する。認識処理部１２は、上述した実施形態に係る認識処理部１２と同一であるため、ここでは詳細な説明は省略する。
The article
認識処理部１２は、２次元空間上における物品面の位置やサイズなどの物品面情報を生成して、該物品面情報を３次元物品面情報取得部１８に出力する。３次元物品面情報取得部１８は、認識処理部１２から入力された２次元の物品面情報と、データ受付部１５が不図示のセンサから受け取った３次元点群と対応する２次元画像と、に基づいて、２次元の物品面の情報に対応する３次元空間上での物品面の情報を取得する。
The
具体的には、３次元物品面情報取得部１８は、２次元の物品面の位置、サイズに対応する、３次元空間上での物品面の位置、サイズ及び姿勢を計算して取得する。そして、３次元物品面情報取得部１８は、取得した３次元の物品面の情報を、３次元物品面情報出力部１９を介して、外部のピッキングロボット等に出力する。
Specifically, the three-dimensional article surface
テンプレート候補情報保持部１２ｈは、上述した実施形態に係るテンプレート候補情報保持部１２ｈと同一であるため、ここではその説明は省略する。
The template candidate
図１９は、本変形例に係る物品認識装置１０Ａによる物品認識処理の手順の例を示すフローチャートである。
FIG. 19 is a flow chart showing an example of the procedure of article recognition processing by the
まず、３次元物品領域特定部１６（図１８参照）は、データ受付部１５から入力された２次元画像の中から、３次元点群における画素の連続領域を抽出して、３次元物品領域として特定する（ステップＳ２１）。
First, the three-dimensional article area identification unit 16 (see FIG. 18) extracts a continuous area of pixels in a three-dimensional point cloud from the two-dimensional image input from the
次いで、２次元物品領域特定部１７は、ステップＳ２１で特定された３次元物品領域の中で、未選択のものがあるか否かを判定する（ステップＳ２２）。ステップＳ２２で、未選択の３次元物品領域はないと判定された場合（ステップＳ２２がＮＯ判定の場合）、２次元物品領域特定部１７は、認識対象の物品の情報がデータに含まれていないと判断して、ここで処理を終了する。
Next, the 2D article
一方、ステップＳ２２で、未選択の３次元物品領域があると判定された場合（ステップＳ２２がＹＥＳ判定の場合）、２次元物品領域特定部１７は、ステップＳ１６で特定された３次元物品領域に対応する２次元物品領域を計算する（ステップＳ２３）。具体的には、２次元物品領域特定部１７は、ステップＳ１６で特定された３次元物品領域に対応する領域を２次元画像内から抽出して該領域の輪郭を多角形近似することにより、該領域を２次元物品領域に特定する。ここで、３次元物品領域が傾きを有するものである場合、２次元物品領域特定部１７は、その傾きを補正する処理を行っても構わない。
On the other hand, when it is determined in step S22 that there is an unselected three-dimensional article area (when step S22 determines YES), the two-dimensional article
なお、ステップＳ２３の処理は、二つ以上の３次元物品領域を対象として並列で実行することも可能であり、この場合は、演算時間の削減が期待できる。 It should be noted that the process of step S23 can be executed in parallel for two or more three-dimensional article areas, in which case a reduction in computation time can be expected.
次いで、認識処理部１２は、ステップＳ２３で特定された２次元物品領域に含まれる、一つ以上の物品面の位置又はサイズ等の物品面情報を取得する（ステップＳ２４）。次いで、３次元物品面情報取得部１８は、ステップＳ２４で取得された２次元の物品面情報に対応する３次元の物品面情報を取得する（ステップＳ２５）。具体的には、３次元物品面情報取得部１８は、２次元の物品面情報に示される物品面の位置の情報と、データ受付部１５に入力された３次元点群と対応する２次元画像の情報と、に基づいて、２次元の物品面情報に対応する３次元の物品面情報（物品面の位置、サイズ、姿勢等）を取得する
Next, the
３次元物品面情報取得部１８によって得られる３次元の物品面の位置又は姿勢等の情報は、３次元点群における物品面の領域を特定するために必要な情報である。例えば、物品面が平面で構成される場合には、３次元の物品面の位置又は姿勢等には、物品面を構成する多角形角における３次元の位置又は姿勢等が該当する。
Information such as the position or orientation of the three-dimensional article surface obtained by the three-dimensional article surface
次いで、３次元物品面情報取得部１８は、ステップＳ２５で取得された３次元物品面情報は、所定の条件を満たしているか否かを判定する（ステップＳ２６）。所定の条件には、上述した実施形態で述べた（１）～（４）の条件等がある。ステップＳ２６で、３次元物品面情報は所定の条件を満たしていないと判定された場合（ステップＳ２６がＮＯ判定の場合）、処理の対象としていた物品領域の情報が破棄された上で、ステップＳ２１に戻って処理が行われる。
Next, the 3D article surface
一方、ステップＳ２６で、３次元物品面情報は所定の条件を満たしていると判定された場合（ステップＳ２６がＹＥＳ判定の場合）、３次元物品面情報取得部１８は、データ受付部１５（図１８参照）が受け付けた３次元点群内に、未選択の連続領域があるか否かを判定する（ステップＳ２７）。
On the other hand, when it is determined in step S26 that the three-dimensional article surface information satisfies the predetermined condition (when step S26 determines YES), the three-dimensional article surface
ステップＳ２７で、未選択の連続領域はあると判定された場合（ステップＳ２７がＹＥＳ判定の場合）、３次元物品面情報取得部１８は、ステップＳ２１に戻って処理を行う。一方、ステップＳ２７で、未選択の連続領域はないと判定された場合（ステップＳ２７がＮＯ判定の場合）、３次元物品面情報取得部１８は、ステップＳ２６の条件を満たした３次元の物品面情報を、３次元物品面情報出力部１９を介して外部に出力する（ステップＳ２８）。
When it is determined in step S27 that there is an unselected continuous region (when step S27 determines YES), the 3D article surface
なお、３次元点群内に未選択の連続領域が残っていた場合であっても、演算時間に関する制約などがある場合には、ステップＳ２１に戻らずに、ステップＳ２８の処理が行われても構わない。 Note that even if unselected continuous regions remain in the three-dimensional point cloud, if there are restrictions on the computation time, the process of step S28 may be performed without returning to step S21. I do not care.
ステップＳ２６がＮＯ判定の場合、又は、ステップＳ２７がＹＥＳ判定であった後に、ステップＳ２１の処理が行われる場合、２次元物品領域特定部１７以降の各部において行われる処理では、テンプレート候補情報保持部１２ｈに保存された画像の情報を再度利用することができる。例えば、密整列された物品の集まりが、複数の撮影画像内にそれぞれ存在する場合等においても、一つの撮影画像から得た物品面の模様情報等を、他の撮影画像においても活用することができる。このような処理が行われることにより、物品の認識精度を向上させたり、演算時間を削減させたりすることができる。
If the determination in step S26 is NO, or if the process in step S21 is performed after the determination in step S27 is YES, the process performed in each part after the two-dimensional article
次に、図２０を参照して、本実施形態に係る物品認識装置１０を、ピッキングロボットによるピッキング対象の物品の認識処理を行う装置に適用した例について説明する。図２０は、物品認識装置１０を、ピッキングロボットによるピッキング対象の物品の認識処理を行う装置に適用した場合における、作業シーンの例を示す図である。
Next, with reference to FIG. 20, an example in which the
図２０に示す例では、本実施形態に係る物品認識装置１０は、計算機２００により実現される。計算機２００は、入力装置２０４（図２参照）であるマウス２０４と、出力装置２０５である表示装置２０５と、を有する。計算機２００の通信ＩＦ２０６（図２参照）には、通信線２０６１を介して、ピッキングロボット３００及びセンサ４２が接続される。
In the example shown in FIG. 20 , the
ピッキングロボット３００は、計算機２００による物品認識の結果を受け取って所定の動作を行う。センサ４２は、作業台４１の上に置かれて、ピッキングロボット３００によるピッキング動作の対象となる物品４０を含む作業シーンを撮像する。なお、センサ４２や計算機２００などは、ピッキングロボット３００と一体に形成されてもよい。
The picking
図２０に示すピッキングロボット３００の動作が行われるまでの流れは、例えば次のようなものとなる。まず、センサ４２が取得した３次元点群に対応する２次元画像に対して、物品認識装置１０が物品認識処理を実行して、認識の結果を得る。次いで、物品認識装置１０は、認識の結果を適切なプログラムによって解析し、適切なロボット動作を誘起する情報を得る。そして、物品認識装置１０は、その情報をピッキングロボット３００に送信して、ピッキングロボット３００に動作を行わせる。
For example, the flow until the operation of the picking
物品認識装置１０は、ピッキングロボット３００に、例えば、物品４０の把持や、把持した物品４０を所定の位置に移動させる動作を行わせる。なお、ピッキングロボット３００が、本実施形態に係る物品認識装置１０による物品認識処理の結果に基づいて動作を行っているとすれば、ピッキングロボット３００により把持される対象の物品４０の少なくとも一つには、物品領域の角を含む物品面を有する部品が含まれることになる。
The
したがって、ピッキングロボット３００によって把持された物品の特徴を調べることにより、ピッキングロボットに指示を出す物品の認識装置が、本実施形態に係る物品認識装置１０による物品認識処理と同様の処理を行っているか否かを判断することができる。
Therefore, by examining the characteristics of the item gripped by the picking
なお、図２０には、作業シーンは固定された例を示しているが、本発明はこれに限定されない。作業シーンは適宜変更されてもよく、実際の製造ラインのように刻々と変化する作業シーンにおいて、本実施形態に係る物品認識装置１０による物品認識処理を適用することも可能である。
Although FIG. 20 shows an example in which the work scene is fixed, the present invention is not limited to this. The work scene may be changed as appropriate, and it is possible to apply the article recognition processing by the
また、例えば、上述した実施形態及び変形例は、本発明を分かりやすく説明するために装置（物品認識装置）の構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。 Further, for example, the above-described embodiments and modifications are detailed and specific descriptions of the configuration of the device (item recognition device) in order to explain the present invention in an easy-to-understand manner. It is not limited to
また、図１において実線の矢印で示した制御線又は情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, the control lines or information lines indicated by solid arrows in FIG. 1 indicate those considered necessary for explanation, and do not necessarily indicate all the control lines or information lines on the product. In practice, it may be considered that almost all configurations are interconnected.
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。 In addition, in this specification, processing steps describing time-series processing refer to processing performed in time-series according to the described order, as well as processing performed in parallel or individually, even if processing is not necessarily performed in time-series. It also includes processing (eg, parallel processing or processing by objects) that is executed in parallel.
また、上述した本開示の一実施形態にかかる物品認識装置の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、一つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。 Also, each component of the article recognition device according to the embodiment of the present disclosure described above may be implemented in any hardware as long as each hardware can transmit and receive information to and from each other via a network. Also, a process performed by a certain processing unit may be implemented by one piece of hardware, or may be implemented by distributed processing by a plurality of pieces of hardware.
１０…物品認識装置、１１…物品領域受付部、１２…認識処理部、１２ａ…模様量計算部、１２ｂ…テンプレート候補抽出部、１２ｃ…テンプレート候補評価部、１２ｄ…テンプレート決定部、１２ｅ…類似領域検出部、１２ｆ…類似領域評価部、１２ｇ…物品面情報取得部、１２ｈ…テンプレート候補情報保持部、１３…物品面情報出力部
REFERENCE SIGNS LIST 10: article recognition device 11: article area reception unit 12:
Claims (8)
所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、前記物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成するテンプレート画像生成部と、
前記テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、前記物品領域における前記物品の面の位置及びサイズを含む物品面情報を取得して出力する物品面情報取得部と、を備える
物品認識装置。 An input unit for inputting information on an article area obtained by polygonal approximation of an area in which pixels are continuously present in a two-dimensional image containing an image corresponding to an alignment surface of a plurality of articles arranged in close contact with each other. and,
A pattern amount of a pattern area in which pixels of a predetermined value or more are densely packed is a predetermined first threshold value or more, and the distance from the nearest angle to the own area, among the corners forming the article area, is the smallest. a template image generation unit that generates a template image using information of a certain area;
Acquiring and outputting article surface information including the position and size of the surface of the article in the article area using information of one or more similar areas whose degree of similarity to the template image is equal to or higher than a predetermined second threshold and an article surface information acquisition unit that acquires an article recognition device.
前記物品領域における前記多角形のサイズは、前記多角形のいずれかの角の頂点からのびる２辺の長さの比によって規定され、
前記物品面情報取得部から出力される前記物品面情報には、前記一種類以上の多角形における、前記物品領域の角に対応する角の位置の情報が含まれる
請求項１に記載の物品認識装置。 The article area includes a pattern that does not overlap with other types of patterns in the article area, and one or more types of polygons having a predetermined constant pixel value in an area other than the pattern area are laid out on a two-dimensional plane. is composed by being
The size of the polygon in the article area is defined by the ratio of the lengths of two sides extending from the apex of one of the corners of the polygon,
2. The article recognition according to claim 1, wherein the article surface information output from the article surface information acquisition unit includes information on the positions of corners corresponding to the corners of the article region in the one or more types of polygons. Device.
前記物品面情報取得部は、前記類似領域評価部が計算した前記相対的位置関係情報、及び、一つ以上の前記類似領域の情報を用いて、前記物品面情報を取得する
請求項１又は２に記載の物品認識装置。 Further comprising a similar region evaluation unit that calculates relative positional relationship information between the one or more similar regions and the closest angle to its own region,
3. The product surface information acquisition unit acquires the product surface information using the relative positional relationship information calculated by the similar region evaluation unit and information of one or more similar regions. Article recognition device according to.
請求項３に記載の物品認識装置。 The closest angle to be calculated for the distance from the own region or the relative positional relationship information is the angle at which the angle difference from the minimum angle of the corners forming the article region is less than a predetermined third threshold. The article recognition device according to claim 3.
請求項１又は２に記載の物品認識装置。 3. The article recognition device according to claim 1, wherein the template image generation unit excludes a region having a linear pattern that divides its own region from candidates for templates that are sources of the template image.
請求項５に記載の物品認識装置。 6. The article according to claim 5, wherein the template image generating unit reduces the template candidate area in a direction having the closest angle to its own area for each of the one or more template candidates. recognition device.
請求項３に記載の物品認識装置。 The similar region evaluation unit expands each of the one or more similar regions in the direction of the closest angle to obtain an enlarged similar region, and obtains an enlarged similar region, the first similar region having the smallest distance from the closest angle to its own region. 4. The article recognition device according to claim 3, wherein an enlarged similar area having a degree of similarity less than a predetermined fourth threshold value with respect to one enlarged similar area is excluded from targets of the similar area.
テンプレート画像生成部が、所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、前記物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成する手順と、
物品面情報取得部が、前記テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、前記物品領域における前記物品の面の位置及びサイズを含む物品面情報を取得して出力する手順と、を含む
物品認識方法。 Information on the article area obtained by polygonal approximation of the area where pixels are continuously present in a two-dimensional image containing an image corresponding to the alignment surface of a plurality of articles arranged in close contact with each other is input to the input unit. and
The template image generation unit determines that the pattern amount of a pattern area in which pixels of a predetermined value or more are densely packed is a predetermined first threshold value or more, and the closest angle to the own area among the corners forming the article area. a procedure for generating a template image using information of the area with the minimum distance from
An article surface information acquisition unit obtains an article including the position and size of the surface of the article in the article area using information of one or more similar areas having a degree of similarity with the template image equal to or greater than a second threshold. and a procedure for acquiring and outputting face information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021181847A JP2023069743A (en) | 2021-11-08 | 2021-11-08 | Article recognition device and article recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021181847A JP2023069743A (en) | 2021-11-08 | 2021-11-08 | Article recognition device and article recognition method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023069743A true JP2023069743A (en) | 2023-05-18 |
Family
ID=86328242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021181847A Pending JP2023069743A (en) | 2021-11-08 | 2021-11-08 | Article recognition device and article recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023069743A (en) |
-
2021
- 2021-11-08 JP JP2021181847A patent/JP2023069743A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9483707B2 (en) | Method and device for recognizing a known object in a field of view of a three-dimensional machine vision system | |
| US20180260669A1 (en) | Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program | |
| US11794343B2 (en) | System and method for height-map-based grasp execution | |
| EP3376433B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JPH0685183B2 (en) | Identification method of 3D object by 2D image | |
| US11654571B2 (en) | Three-dimensional data generation device and robot control system | |
| CN111199562A (en) | System and method for rapid object detection while robotic picking | |
| CN113191174B (en) | Article positioning method and device, robot and computer readable storage medium | |
| CN113284178B (en) | Object stacking method, device, computing equipment and computer storage medium | |
| JP6172432B2 (en) | Subject identification device, subject identification method, and subject identification program | |
| US10311564B2 (en) | Image processing device, image sensor, and image processing method | |
| CN115661064A (en) | Container identification method based on combination of image and point cloud | |
| JPH07103715A (en) | Method and apparatus for recognizing three-dimensional position and attitude based on visual sense | |
| JP2023069743A (en) | Article recognition device and article recognition method | |
| CN116309882A (en) | Tray detection and positioning method and system for unmanned forklift application | |
| US20230297068A1 (en) | Information processing device and information processing method | |
| US20210374664A1 (en) | Method and apparatus for tracking, damage detection and classification of a shipping object using 3d scanning | |
| Peng et al. | Real time and robust 6D pose estimation of RGBD data for robotic bin picking | |
| Gajdošech et al. | Towards Deep Learning-based 6D Bin Pose Estimation in 3D Scans | |
| Zrira et al. | Evaluation of PCL's Descriptors for 3D Object Recognition in Cluttered Scene | |
| CN114972495A (en) | Grabbing method and device for object with pure plane structure and computing equipment | |
| WO2015136716A1 (en) | Image processing device, image sensor, and image processing method | |
| Thamer et al. | A 3d-robot vision system for automatic unloading of containers | |
| JP7456521B2 (en) | Object recognition device, object recognition method, program | |
| JP7189586B2 (en) | Robotic system for object size detection |