JP2021012613A - Detection reader, method for reading detection, and program - Google Patents
Detection reader, method for reading detection, and program Download PDFInfo
- Publication number
- JP2021012613A JP2021012613A JP2019127311A JP2019127311A JP2021012613A JP 2021012613 A JP2021012613 A JP 2021012613A JP 2019127311 A JP2019127311 A JP 2019127311A JP 2019127311 A JP2019127311 A JP 2019127311A JP 2021012613 A JP2021012613 A JP 2021012613A
- Authority
- JP
- Japan
- Prior art keywords
- inspected
- unit
- information
- detection unit
- inspected object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims description 18
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 238000011068 loading method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 9
- 238000003860 storage Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、段ボール箱等の被検査物を検知して当該被検査物に関する情報を読み取る検知読取装置、検知読取方法及びプログラムに関する。 The present invention relates to a detection reading device, a detection reading method, and a program that detect an inspected object such as a corrugated cardboard box and read information about the inspected object.
従来から、倉庫に入庫された商品等は担当者が確認し、パソコン等の端末に入力することが行われている。商品の管理を自動化するためにＲＦＩＤを利用することも提案されており、例えば特許文献１では、一定周期で探索電波を発信するとともに、受信した応答電波からタグＩＤ及び電波強度を読み取るＲＦＩＤリーダと、受信したタグＩＤのそれぞれについて、電波強度の時間的変化を調べることにより通過した物品のタグＩＤを特定する解析処理部と、物品の通過を検知する通過検知部とが設けられ、電波強度の最大値と通過検知部の検出値とから通過した物品のタグＩＤを特定する技術が提案されている。 Conventionally, a person in charge confirms a product or the like stored in a warehouse and inputs it to a terminal such as a personal computer. It has also been proposed to use RFID to automate product management. For example, in Patent Document 1, an RFID reader that transmits a search radio wave at regular intervals and reads a tag ID and radio wave strength from a received response radio wave. For each of the received tag IDs, an analysis processing unit that identifies the tag ID of the article that has passed by examining the temporal change of the radio wave intensity and a passage detection unit that detects the passage of the article are provided, and the radio wave intensity is determined. A technique for specifying the tag ID of a passing article from the maximum value and the detection value of the passage detection unit has been proposed.
しかしながら、ＲＦＩＤ等を導入する場合には導入コストや維持コストがかかってしまうことから、コストを抑えた態様で、商品等を管理することが望まれている。 However, when RFID or the like is introduced, introduction cost and maintenance cost are incurred, so it is desired to manage products and the like in a manner of suppressing the cost.
本発明は、低コストで商品等を管理するための装置等を提供する。 The present invention provides an apparatus or the like for managing products or the like at low cost.
本発明による検知読取装置は、
積載された被検査物を側方からの画像を撮影する第一撮影部と、
前記画像から積載された被検査物の段数を検知する第一検知部と、
ある段に存在している被検査物を個別に検知する第二検知部と、
前記第二検知部において個別に検知された前記被検査物における被検査物関連情報を読み取る読取部と、
を備えてもよい。
The detection / reading device according to the present invention
The first shooting unit that takes a side image of the loaded object to be inspected,
The first detection unit that detects the number of stages of the object to be inspected loaded from the image,
A second detector that individually detects the object to be inspected that exists at a certain stage,
A reading unit that reads information related to the inspected object in the inspected object that is individually detected by the second detection unit.
May be provided.
本発明による検知読取装置は、
前記被検査物における被検査物関連情報の位置を検知する位置検知部を備え、
前記読取部は、前記位置検知部で検知された被検査物関連情報を読み取ってもよい。
The detection / reading device according to the present invention
A position detection unit for detecting the position of information related to the inspected object in the inspected object is provided.
The reading unit may read information related to the object to be inspected detected by the position detecting unit.
本発明による検知読取装置において、
前記第一検知部は、前記被検査物が載置された載置部及び前記被検査物の上端よりも上方にある上方領域に関する情報も用いて、前記被検査物の段数を検知してもよい。
In the detection and reading device according to the present invention
Even if the first detection unit detects the number of stages of the inspected object by using the information about the mounting portion on which the inspected object is placed and the upper region above the upper end of the inspected object. Good.
本発明による検知読取装置において、
前記第一検知部は、前記被検査物の面又は前記被検査物の間の境界に関する情報を用いて前記被検査物の段数を検知してもよい。
In the detection and reading device according to the present invention
The first detection unit may detect the number of stages of the inspected object by using the information regarding the surface of the inspected object or the boundary between the inspected objects.
本発明による検知読取装置において、
前記位置検知部は、前記被検査物関連情報として、前記被検査物のバーコード情報の位置を検知してもよい。
In the detection and reading device according to the present invention
The position detection unit may detect the position of the bar code information of the inspected object as the inspected object-related information.
本発明による検知読取装置において、
前記位置検知部は、前記被検査物関連情報として、前記被検査物の有効期限情報の位置を検知してもよい。
In the detection and reading device according to the present invention
The position detection unit may detect the position of the expiration date information of the inspected object as the inspected object-related information.
本発明による検知読取装置は、
積載された被検査物の上方から見た画像を撮影する第二撮影部と、
前記第二撮影部で撮影された画像から前記被検査物の積み付け方法を検知する第三検知部と、を備えてもよい。
The detection / reading device according to the present invention
The second imaging unit that captures the image seen from above the loaded object to be inspected,
A third detection unit that detects the method of loading the object to be inspected from the image captured by the second imaging unit may be provided.
本発明による検知読取装置において、
前記第一検知部は、前記画像から被検査物の領域を抽出し、抽出した当該被検査物の領域の情報を用いて積載された前記被検査物の段数を検知してもよい。
In the detection and reading device according to the present invention
The first detection unit may extract a region of the inspected object from the image and detect the number of stages of the inspected object loaded by using the information of the extracted region of the inspected object.
本発明による検知読取方法は、
第一撮影部によって、積載された被検査物を側方からの画像を撮影する工程と、
第一検知部によって、前記画像から積載された被検査物の段数を検知する工程と、
第二検知部によって、ある段に存在している被検査物を個別に検知する工程と、
読取部によって、前記第二検知部において個別に検知された前記被検査物における被検査物関連情報を読み取る工程と、
を備えてもよい。
The detection and reading method according to the present invention
The process of taking a side image of the loaded object to be inspected by the first imaging unit,
The process of detecting the number of stages of the object to be inspected loaded from the image by the first detection unit,
The process of individually detecting the inspected object existing in a certain stage by the second detection unit,
A step of reading the information related to the inspected object in the inspected object individually detected by the second detection unit by the reading unit.
May be provided.
本発明によるプログラムは、
情報処理装置にインストールされるプログラムであって、
前記プログラムがインストールされた情報処理装置は、
積載された被検査物を側方からの画像を撮影する第一撮影部と、
前記画像から積載された被検査物の段数を検知する第一検知部と、
ある段に存在している被検査物を個別に検知する第二検知部と、
前記第二検知部において個別に検知された前記被検査物における被検査物関連情報を読み取る読取部と、
を備えてもよい。
The program according to the present invention
A program installed in an information processing device
The information processing device in which the program is installed
The first shooting unit that takes a side image of the loaded object to be inspected,
The first detection unit that detects the number of stages of the object to be inspected loaded from the image,
A second detector that individually detects the object to be inspected that exists at a certain stage,
A reading unit that reads information related to the inspected object in the inspected object that is individually detected by the second detection unit.
May be provided.
本発明において、撮影された画像から積載された被検査物の段数を検知し、ある段に存在している被検査物を個別に検知し、個別に検知された被検査物における被検査物関連情報を読み取る態様を採用する場合には、被検査物関連情報を精度よく取得することができる。 In the present invention, the number of stages of the inspected object loaded is detected from the captured image, the inspected object existing in a certain stage is individually detected, and the inspected object related to the individually detected inspected object. When the mode of reading the information is adopted, the information related to the inspected object can be acquired with high accuracy.
第１の実施の形態
《構成》
本実施の形態の検知読取装置は、一つの装置から構成されてもよいし複数の装置から構成されてもよい。検知読取装置は、入荷だけではなく、出荷、検品等で用いることができる。検知読取装置は、卸売業者で利用されてもよいし、製造業者で利用されてもよい。
First Embodiment << Configuration >>
The detection / reading device of the present embodiment may be composed of one device or a plurality of devices. The detection / reading device can be used not only for receiving, but also for shipping, inspection, and the like. The detection / reading device may be used by a wholesaler or a manufacturer.
図１に示すように、本実施の形態の検知読取装置は、被検査物２００を側方から見た画像を撮影する第一撮影部１１０と、画像から積載された被検査物２００の段数を検知する第一検知部１０と、ある段に存在している被検査物２００を個別に検知する第二検知部２０と、被検査物２００における被検査物関連情報の位置を検知する位置検知部４０と、位置検知部４０で検知された被検査物関連情報を読み取る読取部５０と、を有してもよい。検知読取装置は、様々な制御を行う制御部６０と、様々な情報の記憶を行う記憶部９０と、出力を行う出力部８０と、を有してもよい。被検査物２００が搬入される又は出荷される倉庫等は暗所であることもあることから、照明部材１５０が設けられてもよい。被検査物２００は商品や製品であり、典型的には商品や製品の入れられた段ボール箱である。 As shown in FIG. 1, the detection / reading device of the present embodiment has a first photographing unit 110 that captures an image of the object 200 to be inspected from the side, and the number of stages of the object 200 to be inspected loaded from the image. The first detection unit 10 for detection, the second detection unit 20 for individually detecting the inspected object 200 existing at a certain stage, and the position detection unit for detecting the position of the inspected object-related information in the inspected object 200. 40 may have a reading unit 50 for reading information related to the object to be inspected detected by the position detection unit 40. The detection / reading device may include a control unit 60 that performs various controls, a storage unit 90 that stores various information, and an output unit 80 that outputs various information. Since the warehouse or the like in which the object to be inspected 200 is carried in or shipped may be a dark place, the lighting member 150 may be provided. The object 200 to be inspected is a product or product, and is typically a corrugated cardboard box containing the product or product.
第一検知部１０は、被検査物２００が載置された例えばパレット等からなる載置部２１０及び被検査物２００の上端よりも上方にある上方領域に関する情報も用いて、被検査物２００の段数を検知してもよい。この場合、第一検知部１０は、被検査物２００とは異なる画像からなる上方領域及び下方領域を検知することで、被検査物２００の上端及び下端を検知してもよい。同様に、第一検知部１０は、被検査物２００とは異なる画像からなる側方領域（第一撮影部１１０から見たときの被検査物２００の左右領域）を検知することで、被検査物２００の両側端を検知してもよい。 The first detection unit 10 also uses information about the mounting unit 210 made of, for example, a pallet or the like on which the object to be inspected 200 is placed and the upper region above the upper end of the object to be inspected 200, and the first detection unit 10 of the object to be inspected 200. The number of stages may be detected. In this case, the first detection unit 10 may detect the upper end and the lower end of the inspected object 200 by detecting the upper region and the lower region made of an image different from the inspected object 200. Similarly, the first detection unit 10 detects a side region (the left and right regions of the inspected object 200 when viewed from the first photographing unit 110) composed of an image different from the inspected object 200 to be inspected. Both ends of the object 200 may be detected.
第一検知部１０は、第一撮影部１１０による画像から被検査物２００の領域を抽出してもよい。この場合、第一検知部１０は、載置部２１０の領域及び上方領域を削除するとともに、被検査物２００の側方領域を削除して、図５（ｂ）で示すように被検査物２００を抜き出した画像を生成してもよい。なお、画像から被検査物２００の領域を検知する機能は第一検知部１０とは異なる例えば被検査物検知部によって実現されてもよい。 The first detection unit 10 may extract the region of the inspected object 200 from the image taken by the first photographing unit 110. In this case, the first detection unit 10 deletes the region of the mounting portion 210 and the upper region, deletes the lateral region of the object to be inspected 200, and deletes the inspected object 200 as shown in FIG. 5 (b). An image extracted from the above may be generated. The function of detecting the region of the inspected object 200 from the image may be realized by, for example, an inspected object detecting unit different from the first detection unit 10.
このように被検査物２００の領域を抽出することで、被検査物２００の個数を誤って算出することを防止できる。パレット等からなる載置部２１０、上方領域及び側方領域を検知する際には制御部６０がクラス分類を行ってもよい。 By extracting the region of the inspected object 200 in this way, it is possible to prevent the number of the inspected objects 200 from being erroneously calculated. The control unit 60 may classify the mounting unit 210 made of a pallet or the like, and the control unit 60 when detecting the upper region and the lateral region.
第一検知部１０は、第一撮影部１１０による画像を載置部２１０の領域、被検査物２００の領域及び上方領域の３つの領域に分割するように検知してもよい（図５（ａ）参照）。また、例えば被検査物２００が高く積まれており上方領域が画像に入っていない場合には、第一撮影部１１０による画像を載置部２１０の領域及び被検査物２００の領域の２つの領域に分割するようにして検知してもよい。載置部２１０が画像に入っていない場合には、第一撮影部１１０による画像を被検査物２００の領域及び上方領域の２つの領域に分割するようにして検知してもよい。 The first detection unit 10 may detect the image by the first photographing unit 110 so as to divide it into three regions: a region of the mounting portion 210, a region of the object to be inspected 200, and an upper region (FIG. 5 (a). )reference). Further, for example, when the object to be inspected 200 is piled up high and the upper region is not included in the image, the image by the first photographing unit 110 is placed in two regions, the region of the mounting portion 210 and the region of the object to be inspected 200. It may be detected by dividing it into. When the mounting unit 210 is not included in the image, the image taken by the first photographing unit 110 may be detected by dividing the image into two regions, an region of the object 200 to be inspected and an upper region.
第一検知部１０は、被検査物２００の面（図３参照）及び／又は被検査物２００の間の境界（図２参照）に関する情報を用いて被検査物２００の段数を検知してもよい。第二検知部２０は、被検査物２００の面及び／又は被検査物２００の間の境界に関する情報を用いて、ある段に配置されている被検査物２００の個数を検知してもよい（図４参照）。 Even if the first detection unit 10 detects the number of stages of the inspected object 200 by using the information about the surface of the inspected object 200 (see FIG. 3) and / or the boundary between the inspected objects 200 (see FIG. 2). Good. The second detection unit 20 may detect the number of the inspected objects 200 arranged in a certain stage by using the information about the surface of the inspected object 200 and / or the boundary between the inspected objects 200 ( (See FIG. 4).
第一検知部１０及び／又は第二検知部２０はディープラーニングのような機械的学習を行う人工知能機能を有してもよい。機械的学習を行うことで、精度よく被検査物２００の段数及び個数を算出できるようになる。第一検知部１０及び／又は第二検知部２０は画像の特徴量から、被検査物２００間の境界を導き出すようにしてもよい。 The first detection unit 10 and / or the second detection unit 20 may have an artificial intelligence function that performs mechanical learning such as deep learning. By performing mechanical learning, it becomes possible to accurately calculate the number of stages and the number of objects to be inspected 200. The first detection unit 10 and / or the second detection unit 20 may derive the boundary between the objects to be inspected 200 from the feature amount of the image.
第一検知部１０で検知された段数の画像及び第二検知部２０で個数の画像の各々が記憶部９０に出力されて記憶されてもよい。 Each of the image of the number of stages detected by the first detection unit 10 and the number of images detected by the second detection unit 20 may be output to the storage unit 90 and stored.
位置検知部４０は、被検査物関連情報として、被検査物２００のバーコード情報の位置を検知してもよい（図６参照）。位置検知部４０は、被検査物関連情報として、被検査物２００の消費期限、賞味期限等の有効期限情報の位置を検知してもよい（図７参照）。被検査物関連情報は、これらに限られることはなく、被検査物２００の商品名、製造元等が含まれてもよい。このように位置検知部４０によって位置が検知された被検査物関連情報に対して、第一撮影部１１０によって拡大された画像が取得されてもよい（図６及び図７参照）。そして、読取部５０によって拡大された画像が読み取られてもよい。ただし、このような態様に限られることはなく、画像は拡大されなくてもよい。なお、取得された画像は、演算量を減少させるために例えば制御部６０で縮小するようにしてもよい。 The position detection unit 40 may detect the position of the barcode information of the inspected object 200 as the inspected object-related information (see FIG. 6). The position detection unit 40 may detect the position of the expiration date information such as the expiration date and the expiration date of the inspected object 200 as the information related to the inspected object (see FIG. 7). The information related to the inspected object is not limited to these, and may include the trade name, the manufacturer, and the like of the inspected object 200. An enlarged image may be acquired by the first photographing unit 110 with respect to the information related to the object to be inspected whose position is detected by the position detecting unit 40 in this way (see FIGS. 6 and 7). Then, the magnified image may be read by the reading unit 50. However, the present invention is not limited to such an aspect, and the image does not have to be enlarged. The acquired image may be reduced by, for example, the control unit 60 in order to reduce the amount of calculation.
位置検知部４０はディープラーニングのような機械的学習を行う人工知能機能を有してもよい。機械的学習を行うことで、精度よく被検査物関連情報を抽出できるようになる。 The position detection unit 40 may have an artificial intelligence function that performs mechanical learning such as deep learning. By performing mechanical learning, it becomes possible to extract information related to the inspected object with high accuracy.
読取部５０で読み取られたバーコードの数値列に対して、制御部６０はチェックディジットの検査を行ってもよい。例えば、バーコードの種類としてJAN／ITFを区別せずに同一視する場合は、複数形式を統一してもよい（なお、JAN／ITFを同一視しない場合も当然ある。）。チェックディジットの検査をパスした正しいバーコードのみを数え上げて、多数決で多いバーコード情報を採用するようにしてもよい。この場合には、たまたまチェックディジットの検査を通過した読み間違え等による情報を除外することができる。なお、バーコード情報としては二次元コードも含まれる。 The control unit 60 may inspect the check digit with respect to the numerical string of the barcode read by the reading unit 50. For example, when JAN / ITF are identified as the type of barcode without distinction, a plurality of formats may be unified (note that JAN / ITF may not be identified). Only the correct barcodes that have passed the check digit inspection may be counted, and a large number of barcode information may be adopted by majority vote. In this case, information due to misreading or the like that happens to pass the check digit inspection can be excluded. The bar code information also includes a two-dimensional code.
消費期限、賞味期限等の有効期限情報は共通の規格や書式が存在しないため、出現しうる正規表現を想定し出現確度の高いものからランク付けを行ってもよい。例えば、2019年4月23日＞2019年4月＞2019.04.23＞2019.04というように有効期限情報をランク付けしておいてもよい。読取部５０は、各ランクで読み出せた数とランクの高低の重みから算出されるスコアに基づいて、確度の高い消費期限を採用するようにしてもよい。例えば2019年4月23日で10個、2019年4月で10個読み出せた場合には、ランクの高さを優先して2019年4月23日が有効期限情報であると読取部５０は判断してもよい。このような態様に限られることはなく、例えば2019年4月23日で4個、2019年4月で10個読み出せた場合には、個数の多さを優先して2019年4月が有効期限情報であると読取部５０は判断してもよい。 Since there is no common standard or format for expiration date information such as expiration date and expiration date, regular expressions that may appear may be assumed and ranking may be performed from the one with the highest probability of appearance. For example, the expiration date information may be ranked as follows: April 23, 2019> April 2019> 2019.04.23> 2019.04. The reading unit 50 may adopt a highly accurate expiration date based on the score calculated from the number read in each rank and the weight of high and low ranks. For example, if 10 items can be read on April 23, 2019 and 10 items can be read on April 2019, the reader 50 will give priority to the higher rank and say that April 23, 2019 is the expiration date information. You may judge. It is not limited to such a mode. For example, if 4 pieces can be read on April 23, 2019 and 10 pieces can be read in April 2019, April 2019 is effective with priority given to the large number of pieces. The reading unit 50 may determine that it is the deadline information.
仮に読取部５０によって過去の日付のみ検出された場合には、イレギュラーな入荷又は出荷であると制御部６０が判断してもよい。未来と過去の日付が両方検出された場合は、過去の日付は製造年月日であると制御部６０が判断するようにしてもよい。制御部６０は、１９００年等の非現実的な年数（数値）が検出されたときには異常な年数であるとして処理してもよい。 If the reading unit 50 detects only the past date, the control unit 60 may determine that the arrival or shipment is irregular. When both the future date and the past date are detected, the control unit 60 may determine that the past date is the date of manufacture. When an unrealistic number of years (numerical value) such as 1900 is detected, the control unit 60 may treat it as an abnormal number of years.
第一検知部１０で検知された被検査物２００の段数と、第二検知部２０で検知されたある段に配置されている被検査物２００の個数から、パレット等の載置部２１０に載置されている被検査物２００の個数を集計する集計部７０が設けられてもよい（図１参照）。 Based on the number of stages of the object to be inspected 200 detected by the first detection unit 10 and the number of objects to be inspected 200 arranged in a certain stage detected by the second detection unit 20, it is placed on the mounting unit 210 such as a pallet. A totaling unit 70 for totaling the number of placed objects 200 to be inspected may be provided (see FIG. 1).
段ボール箱等の被検査物２００の段数、個数等の被検査物２００に関する個数情報や、読取部５０によって読み取られたバーコード情報や有効期限情報等の被検査物関連情報は記憶部９０で記憶されてもよい。 The storage unit 90 stores the number information related to the inspected object 200 such as the number and number of stages of the inspected object 200 such as a cardboard box, and the inspected object-related information such as the barcode information and the expiration date information read by the reading unit 50. May be done.
記憶部９０に記憶されている情報や集計部７０で集計された情報等は出力部８０によって出力されてもよい。出力部８０は表示画面１６０（図１参照）に情報を出力してもよいし、印刷物に情報を出力してもよい。出力部８０は、被検査物２００の段数推定結果、被検査物２００の個数推定結果、バーコード情報の読み取り結果、有効期限情報の読み取り結果等の各結果の一覧を出力してもよい。出力部８０は、確度に応じて異なる態様で各結果（推定結果）を出力してもよい。例えば、確度が第一閾値以上の推定結果は第一色（例えば緑色）で表示又は印刷されるようにして出力し、確度が第二閾値（第一閾値＞第二閾値）以下の推定結果は第三色（例えば赤色）で表示又は印刷されるようにして出力し、確度が第一閾値未満第二閾値超過の推定結果は第二色（例えば黄色）で表示又は印刷されるようにして出力してもよい。 The information stored in the storage unit 90, the information aggregated by the aggregation unit 70, and the like may be output by the output unit 80. The output unit 80 may output information to the display screen 160 (see FIG. 1), or may output information to printed matter. The output unit 80 may output a list of each result such as the step number estimation result of the inspected object 200, the number estimation result of the inspected object 200, the reading result of the barcode information, and the reading result of the expiration date information. The output unit 80 may output each result (estimated result) in a different manner depending on the accuracy. For example, the estimation result whose accuracy is equal to or higher than the first threshold value is output so as to be displayed or printed in the first color (for example, green), and the estimation result whose accuracy is lower than the second threshold value (first threshold value> second threshold value) is output. Output so that it is displayed or printed in the third color (for example, red), and the estimation result that the accuracy is less than the first threshold and exceeds the second threshold is output so that it is displayed or printed in the second color (for example, yellow). You may.
出力部８０は、一覧結果とともに実際の画像も同時に出力するようにしてもよい。このような態様を採用する場合には、実際の画像との整合を作業者が容易に確認できる。このため、実際の画像に基づいて正しいかどうかが適宜修正されることを期待でき、人工知能機能を採用している場合には、採用しているモデルでの学習効率を高めることができる。 The output unit 80 may output the actual image at the same time as the list result. When such an aspect is adopted, the operator can easily confirm the matching with the actual image. Therefore, it can be expected that the correctness is appropriately corrected based on the actual image, and when the artificial intelligence function is adopted, the learning efficiency in the adopted model can be improved.
出力部８０は、採用されなかったバーコード情報及び／又は有効期限情報も出力してもよい。例えば、数が少なかったため統計量の結果として採用されなかったバーコード情報を出力してもよいし、ランク付けや個数の結果として採用されなかった有効期限情報を出力してもよい。この場合には、採用されなかったバーコード情報及び／又は有効期限情報が正しかったかどうかも確認することができる。このため、例えば、人工知能機能を採用している場合においては学習効率をより高めることができる。 The output unit 80 may also output the bar code information and / or the expiration date information that has not been adopted. For example, barcode information that was not adopted as a result of statistics because the number was small may be output, or expiration date information that was not adopted as a result of ranking or number may be output. In this case, it is also possible to confirm whether the bar code information and / or the expiration date information that has not been adopted is correct. Therefore, for example, when the artificial intelligence function is adopted, the learning efficiency can be further improved.
図８に示すように、第一撮影部１１０は複数設けられてもよく、例えば載置部２１０に載置された被検査物２００を搬送するベルトコンベアを挟むようにして両側に第一撮影部１１０が設けられ、載置部２１０に載置された被検査物２００を両側面から撮影するようにしてもよい。この場合には、被検査物２００に印字又は貼り付けられているバーコード情報や有効期限情報をより確実に取得することができる。また、載置部２１０に載置された被検査物２００を搬送するベルトコンベアの長手方向の延長線上に第一撮影部１１０が設けられてもよい。この場合は、載置部２１０に載置された被検査物２００を正面から見た画像を撮影でき、被検査物２００に印字又は貼り付けられているバーコード情報や有効期限情報をより確実に取得することができる。 As shown in FIG. 8, a plurality of first photographing units 110 may be provided. For example, the first photographing units 110 are provided on both sides so as to sandwich a belt conveyor that conveys the object to be inspected 200 placed on the mounting unit 210. The object 200 to be inspected, which is provided and placed on the mounting portion 210, may be photographed from both sides. In this case, the barcode information and the expiration date information printed or pasted on the object to be inspected 200 can be obtained more reliably. Further, the first photographing unit 110 may be provided on an extension line in the longitudinal direction of the belt conveyor that conveys the object to be inspected 200 placed on the mounting unit 210. In this case, an image of the inspected object 200 mounted on the mounting portion 210 as viewed from the front can be taken, and the barcode information and the expiration date information printed or affixed to the inspected object 200 can be more reliably obtained. Can be obtained.
載置部２１０に載置された被検査物２００が所定の位置に位置付けられたときに、第一撮影部１１０が自動で撮影を行ってもよい。被検査物２００が所定の位置に位置付けられたことを検知するための制御用検知部４５が設けられてもよい（図１参照）。制御用検知部４５は画像検知装置、測距センサー、重量センサー及び物理スイッチのいずれか１つ以上を含んでもよい。 When the object to be inspected 200 placed on the mounting unit 210 is positioned at a predetermined position, the first imaging unit 110 may automatically perform imaging. A control detection unit 45 for detecting that the object to be inspected 200 is positioned at a predetermined position may be provided (see FIG. 1). The control detection unit 45 may include any one or more of an image detection device, a distance measuring sensor, a weight sensor, and a physical switch.
載置部２１０はベルトコンベアのような搬送部２２０で搬送されてもよい。載置部２１０に載置された被検査物２００が所定の位置に位置付けられたと制御部６０が判断した場合には、制御部６０は搬送部２２０による搬送を停止させ、その後で第一撮影部１１０によって載置部２１０に載置された被検査物２００の撮影を行うようにしてもよい。 The mounting portion 210 may be conveyed by a conveying portion 220 such as a belt conveyor. When the control unit 60 determines that the object 200 to be inspected placed on the mounting unit 210 is positioned at a predetermined position, the control unit 60 stops the transportation by the transportation unit 220, and then the first photographing unit The object to be inspected 200 placed on the mounting portion 210 may be photographed by the 110.
第一撮影部１１０は静止画を撮影してもよいが、このような態様に限られることはなく、動画を撮影してもよい。 The first photographing unit 110 may take a still image, but is not limited to such an aspect, and may take a moving image.
図９に示すように、パレット等からなる載置部２１０が段ボール箱等の被検査物２００の間に入ることもある。この場合には、境界を認識できないといった第二検知部２０からの情報を用いて、被検査物２００の間に載置部２１０が配置されていることを検知してもよい。また、水平方向における被検査物２００の間に空間が存在することもある。この場合には、当該空間に被検査物２００があるものとして第二検知部２０が検知を行ってもよい。ただし、この場合には読取部５０による読み取りを行うことはできないことから、その結果に基づいて、空間が存在していると制御部６０が判断してもよい。また、水平方向における被検査物２００の間が空間になっている場合には、当該空間が存在することを第二検知部２０が検知してもよい。 As shown in FIG. 9, a mounting portion 210 made of a pallet or the like may enter between the objects to be inspected 200 such as a cardboard box. In this case, it may be detected that the mounting unit 210 is arranged between the objects to be inspected 200 by using the information from the second detection unit 20 that the boundary cannot be recognized. In addition, there may be a space between the objects to be inspected 200 in the horizontal direction. In this case, the second detection unit 20 may perform detection assuming that the object to be inspected 200 is in the space. However, in this case, since the reading unit 50 cannot perform reading, the control unit 60 may determine that the space exists based on the result. Further, when there is a space between the objects to be inspected 200 in the horizontal direction, the second detection unit 20 may detect the existence of the space.
仮に第一検知部１０によって被検査物２００の上端の上方領域と載置部２１０だけが検知された場合には、その間の領域に被検査物２００の側面が存在すると第一検知部１０は判断してもよい。 If only the upper region above the upper end of the object to be inspected 200 and the mounting portion 210 are detected by the first detection unit 10, the first detection unit 10 determines that the side surface of the object to be inspected 200 exists in the area between them. You may.
第一検知部１０、第二検知部２０、後述する第三検知部３０、位置検知部４０、読取部５０、制御部６０、集計部７０等は一つのユニット（制御ユニット）を構成してもよいし、これらは複数のユニット（制御ユニット）によって実現されてもよい。また、第一検知部１０、第二検知部２０、位置検知部４０、読取部５０、制御部６０、集計部７０等は回路構成によって実現されてもよい。 Even if the first detection unit 10, the second detection unit 20, the third detection unit 30, the position detection unit 40, the reading unit 50, the control unit 60, the aggregation unit 70, etc., which will be described later, form one unit (control unit). Alternatively, these may be realized by a plurality of units (control units). Further, the first detection unit 10, the second detection unit 20, the position detection unit 40, the reading unit 50, the control unit 60, the aggregation unit 70, and the like may be realized by a circuit configuration.
《方法》
本実施の形態の被検査物検知方法について説明する。なお、上記と重複することになるので簡単に説明するに留めるが、上記「構成」で述べた全ての態様を「方法」において適用することができる。なお、図５（ａ）は第一撮影部１１０によって撮影された画像であり（ただし、第一領域、第二領域、第三領域及びこれらを示す一点鎖線は実際に撮影された画像では表示されない。これらは説明のために付け加えている情報に過ぎない。）、図５（ｂ）は図５（ａ）で撮影された画像のうち被検査物２００の存在する領域だけを切り取った画像であり、図５（ｃ）は図５（ｂ）の被検査物２００を段毎に分解（分割）した画像であり、図５（ｄ）は図５（ｃ）の被検査物２００を個別に分解（分割）した図である。本実施の形態では、一例として、このような態様で画像処理が行われてもよい。
"Method"
The method of detecting an inspected object according to this embodiment will be described. In addition, since it overlaps with the above, only a brief description will be given, but all the aspects described in the above "configuration" can be applied in the "method". Note that FIG. 5A is an image taken by the first photographing unit 110 (however, the first region, the second region, the third region, and the alternate long and short dash line indicating these are not displayed in the actually captured image. These are only information added for the sake of explanation.), FIG. 5 (b) is an image obtained by cutting out only the area where the inspected object 200 exists from the image taken in FIG. 5 (a). 5 (c) is an image obtained by disassembling (dividing) the inspected object 200 of FIG. 5 (b) for each stage, and FIG. 5 (d) shows the inspected object 200 of FIG. 5 (c) being individually decomposed. It is a (divided) figure. In the present embodiment, as an example, image processing may be performed in such an embodiment.
第一撮影部１１０によって、積載された段ボール箱等の被検査物２００を側方から見た画像が撮影される（図５（ａ）及び図１０のＳ１参照）。 An image of the loaded corrugated cardboard box or the like to be inspected 200 viewed from the side is photographed by the first photographing unit 110 (see FIG. 5A and S1 of FIG. 10).
次に、第一検知部１０によって、被検査物２００が載置された載置部２１０と、被検査物２００の上方領域及び被検査物２００の側方領域に関する情報を用いて、段ボール箱等の被検査物２００が検知される（図１０のＳ２参照）。この際、被検査物２００が載置された載置部２１０と、被検査物２００の上方領域及び被検査物２００の側方領域を検知し、これらが対象画像から除外してもよい（図５（ｂ）参照）。 Next, the first detection unit 10 uses information about the mounting unit 210 on which the object to be inspected 200 is placed, the upper region of the object to be inspected 200, and the lateral region of the object to be inspected 200, such as a cardboard box. The object to be inspected 200 is detected (see S2 in FIG. 10). At this time, the mounting portion 210 on which the inspected object 200 is placed, the upper region of the inspected object 200 and the lateral region of the inspected object 200 may be detected and excluded from the target image (FIG. FIG. 5 (b)).
次に、第一検知部１０によって、被検査物２００の面又は被検査物２００の間の境界に関する情報を用いて、積載された被検査物２００の段数とその位置が検知される（図５（ｃ）及び図１０のＳ３参照）。 Next, the first detection unit 10 detects the number of stages of the loaded object 200 and its position using the information regarding the surface of the object 200 to be inspected or the boundary between the objects 200 to be inspected (FIG. 5). (C) and S3 in FIG. 10).
次に、第二検知部２０によって、被検査物２００の面又は被検査物２００の間の境界に関する情報を用いて、各段に存在している被検査物２００が個別に検知される（図５（ｄ）及び図１０のＳ１１参照）。 Next, the second detection unit 20 individually detects the inspected object 200 existing in each stage by using the information regarding the surface of the inspected object 200 or the boundary between the inspected objects 200 (FIG. 5 (d) and S11 in FIG. 10).
次に、位置検知部４０によって、被検査物２００における被検査物関連情報の位置が検知される（図６、図７及び図１０のＳ１２参照）。被検査物関連情報は、例えば段ボール箱に貼られたバーコード情報や有効期限情報である。なお図１０では、有効期限情報として消費期限を用いている。図１０の右側のバーコードに関するフローで示すように、被検査物２００における被検査物関連情報の位置検出を行わない態様を採用することもできる。 Next, the position detection unit 40 detects the position of the information related to the inspected object in the inspected object 200 (see S12 in FIGS. 6, 7 and 10). The information related to the inspected object is, for example, bar code information or expiration date information affixed to a cardboard box. In FIG. 10, the expiration date is used as the expiration date information. As shown in the flow related to the barcode on the right side of FIG. 10, it is also possible to adopt a mode in which the position of the information related to the inspected object in the inspected object 200 is not detected.
次に、読取部５０によって、位置検知部４０で検知された被検査物関連情報が読み取られる（図６、図７及び図１０のＳ１３参照）。位置検出及び被検査物関連情報の読み取りは、図１０で示すように並行して行われてもよい。このように並行に処理を行うことで、処理時間を短くすることができる。 Next, the reading unit 50 reads the information related to the object to be inspected detected by the position detecting unit 40 (see S13 in FIGS. 6, 7 and 10). The position detection and the reading of the information related to the inspected object may be performed in parallel as shown in FIG. By performing the processing in parallel in this way, the processing time can be shortened.
次に、段ボール箱等の被検査物２００の段数、個数等の被検査物個数情報と、読取部５０によって読み取られたバーコード情報や有効期限情報等の被検査物関連情報が記憶部９０で記憶されて、管理される。段数、個数等の被検査物個数情報は集計部７０によって集計されてもよい。また、これら被検査物個数情報及び被検査物関連情報は出力部８０によって出力され、表示画面１６０に表示されたり、印刷部によって印刷されたりする。 Next, the storage unit 90 stores information on the number of objects to be inspected such as the number and number of stages of the object to be inspected 200 such as a cardboard box, and information related to the object to be inspected such as bar code information and expiration date information read by the reading unit 50. It is remembered and managed. Information on the number of objects to be inspected, such as the number of stages and the number of steps, may be aggregated by the aggregation unit 70. Further, the information on the number of objects to be inspected and the information related to the objects to be inspected are output by the output unit 80, displayed on the display screen 160, or printed by the printing unit.
《効果》
次に、上述した構成からなる本実施の形態による効果であって、未だ説明していないものを中心に説明する。
"effect"
Next, the effects of the present embodiment having the above-described configuration, which have not been described yet, will be mainly described.
第一撮影部１１０で撮影された画像から積載された被検査物２００の段数を検知し、ある段に存在している被検査物２００を個別に検知する態様を採用することで、被検査物２００の個数に関する情報を取得できる。また、このように被検査物を個別に検知し、個別に検知された被検査物における被検査物関連情報を読み取る態様を採用することで、被検査物関連情報を精度よく取得することができる。 By detecting the number of stages of the inspected object 200 loaded from the image taken by the first photographing unit 110 and individually detecting the inspected object 200 existing in a certain stage, the inspected object is inspected. Information about the number of 200 can be obtained. Further, by adopting a mode in which the inspected object is individually detected and the inspected object-related information in the individually detected inspected object is read, the inspected object-related information can be acquired accurately. ..
位置検知部４０で被検査物２００における被検査物関連情報の位置を検知し、当該被検査物関連情報を読み取る態様を採用することで、被検査物関連情報を精度よく取得することができる。図５（ｄ）に示すように、ある段に存在している被検査物２００を個別に区切ることで被検査物２００を特定する態様を採用する場合には、被検査物関連情報の位置を検知しやすくなり、その精度を高めることができる。 By adopting a mode in which the position detection unit 40 detects the position of the inspected object-related information in the inspected object 200 and reads the inspected object-related information, the inspected object-related information can be acquired with high accuracy. As shown in FIG. 5D, when the aspect of specifying the inspected object 200 by individually dividing the inspected object 200 existing in a certain stage is adopted, the position of the inspected object-related information is determined. It becomes easier to detect and its accuracy can be improved.
本態様では、精度よく被検査物関連情報を取得できることから、事前に登録された画像情報と対比（マッチング）させることなく、読み取られた被検査物関連情報を単純に記憶部９０で記憶するようにしてもよい。このように事前に登録された画像情報と対比させないことで、事前に画像情報を登録する必要もなくなり、導入コストや維持コストを下げることができる。 In this embodiment, since the inspected object-related information can be acquired with high accuracy, the read inspected object-related information is simply stored in the storage unit 90 without being compared (matched) with the image information registered in advance. It may be. By not comparing with the image information registered in advance in this way, it is not necessary to register the image information in advance, and the introduction cost and the maintenance cost can be reduced.
位置検知部４０が、被検査物関連情報の位置を検知し、被検査物２００のバーコード情報や被検査物２００の有効期限情報の位置を検知する態様を採用した場合には、様々なデザインがある中でバーコードの位置や有効期限情報の位置を特定して抽出することで、読み出し精度及び読み取り速度を向上させることができる。 When the position detection unit 40 detects the position of the information related to the inspected object and detects the position of the barcode information of the inspected object 200 and the expiration date information of the inspected object 200, various designs are adopted. By identifying and extracting the position of the barcode and the position of the expiration date information in the presence, the reading accuracy and the reading speed can be improved.
被検査物２００が載置された載置部２１０及び被検査物２００の上端よりも上方にある上方領域に関する情報も用いて、被検査物２００の段数を検知する態様を採用した場合には、一段又は複数段で積載された被検査物２００の下端にある載置部２１０を認識し、かつ被検査物２００の上端にある空間領域を認識することから、被検査物２００の下端及び上端をより精度よく特定でき、被検査物２００の段数を精度よく検知できる。 When the mode of detecting the number of stages of the inspected object 200 is adopted by using the information about the mounting portion 210 on which the inspected object 200 is placed and the upper region above the upper end of the inspected object 200, Since the mounting portion 210 at the lower end of the inspected object 200 loaded in one or more stages is recognized and the spatial area at the upper end of the inspected object 200 is recognized, the lower end and the upper end of the inspected object 200 are recognized. It can be specified more accurately, and the number of stages of the object to be inspected 200 can be detected with high accuracy.
第一検知部１０によって段数を検知する前に、被検査物２００が載置された載置部２１０及び被検査物２００の上端よりも上方にある上方領域を検知し、対象画像から除外する態様を採用する場合には（図５（ｂ）参照）、段数を検知する際に誤って載置部２１０及び被検査物２００の上端よりも上方にある上方領域における情報を誤って用いてしまう可能性を除外できる。また、第一検知部１０によって段数を検知する前又は個数を検知する前に、被検査物２００の側端よりも側方にある空間領域を検知し、対象画像から除外してもよい。この場合には、被検査物２００の個数を検知する際に被検査物２００の側端よりも側方にある空間領域における情報を誤って用いてしまう可能性を除外できる。 A mode in which the mounting portion 210 on which the inspected object 200 is placed and the upper region above the upper end of the inspected object 200 are detected and excluded from the target image before the number of stages is detected by the first detection unit 10. In the case of adopting (see FIG. 5B), it is possible to mistakenly use the information in the upper region above the upper end of the mounting portion 210 and the inspected object 200 when detecting the number of stages. Gender can be excluded. Further, before the number of steps is detected by the first detection unit 10 or before the number of steps is detected, the spatial area on the side of the side end of the object to be inspected 200 may be detected and excluded from the target image. In this case, it is possible to exclude the possibility that the information in the spatial region on the side of the side end of the inspected object 200 is erroneously used when detecting the number of the inspected objects 200.
被検査物２００の面又は被検査物２００の間の境界に関する情報を用いて被検査物２００の段数を検知する態様を採用した場合には、画像認識だけによって積載された被検査物２００の段数を検知することができ、事前に登録された画像情報と対比（マッチング）させる必要もない。また、本態様によれば、例えば積み上げ方向を変えることで高さの異なるようにして被検査物２００が積まれていても、段数を高い精度で検知することができる。 When the mode of detecting the number of stages of the inspected object 200 by using the information about the surface of the inspected object 200 or the boundary between the inspected objects 200 is adopted, the number of stages of the inspected object 200 loaded only by image recognition is adopted. Can be detected, and there is no need to compare (match) with the image information registered in advance. Further, according to this aspect, even if the objects to be inspected 200 are stacked in different heights by changing the stacking direction, the number of stages can be detected with high accuracy.
位置検知部４０によって、被検査物関連情報として、被検査物２００のバーコード情報の位置を検知する態様を採用した場合には、被検査物２００のバーコード情報の位置を検知したうえで、当該バーコード情報にフォーカスして情報を読み取ることができる（図６参照）。このため、例えば制御部６０によって制御された第一撮影部１１０がバーコード情報が存在すると考えられる箇所を拡大した画像を取得し、その結果として高い画像解像度でバーコード情報を取得することができる。なお、第一撮影部１１０で撮影された箇所にバーコード情報が存在しないと位置検知部４０が判断した場合には、バーコード情報が存在しない旨の情報が位置検知部４０から制御部６０や記憶部９０等に出力されてもよい。 When the position detection unit 40 adopts a mode of detecting the position of the bar code information of the inspected object 200 as the information related to the inspected object 200, the position of the bar code information of the inspected object 200 is detected and then detected. The information can be read by focusing on the barcode information (see FIG. 6). Therefore, for example, the first photographing unit 110 controlled by the control unit 60 can acquire an enlarged image of a portion where the barcode information is considered to exist, and as a result, the barcode information can be acquired with a high image resolution. .. When the position detection unit 40 determines that the barcode information does not exist at the location photographed by the first imaging unit 110, the position detection unit 40 sends information to the control unit 60 or the like that the barcode information does not exist. It may be output to the storage unit 90 or the like.
位置検知部４０によって、被検査物関連情報として、被検査物２００の有効期限情報の位置を検知する態様を採用した場合には、被検査物２００の有効期限情報の位置を検知したうえで、当該有効期限情報にフォーカスして情報を読み取ることができる（図７参照）。このため、例えば制御部６０によって制御された第一撮影部１１０が有効期限情報が存在すると考えられる箇所を拡大した画像を取得し、その結果として高い画像解像度で有効期限情報を取得することができる。なお、第一撮影部１１０で撮影された箇所に有効期限情報が存在しないと位置検知部４０が判断した場合には、有効期限情報が存在しない旨の情報が位置検知部４０から制御部６０や記憶部９０等に出力されてもよい。 When the position detection unit 40 adopts a mode of detecting the position of the expiration date information of the inspected object 200 as the information related to the inspected object, the position of the expiration date information of the inspected object 200 is detected and then detected. The information can be read by focusing on the expiration date information (see FIG. 7). Therefore, for example, the first photographing unit 110 controlled by the control unit 60 can acquire an enlarged image of a portion where the expiration date information is considered to exist, and as a result, can acquire the expiration date information with a high image resolution. .. When the position detection unit 40 determines that the expiration date information does not exist at the location photographed by the first photographing unit 110, the position detection unit 40 sends information to the control unit 60 or the like that the expiration date information does not exist. It may be output to the storage unit 90 or the like.
有効期限情報は数値の羅列のみで構成されることもあることから、位置検知部４０は有効期限である可能性がある数値情報を複数取得してもよい。この場合、位置検知部４０は有効期限である可能性がある数値情報の全ての位置を検知し、読取部５０がその全てを読み取ってもよいし、一定以上の可能性（確度）のある数値情報だけを読取部５０が読み取ってもよい。また、有効期限である可能性が最も高い数値情報だけを読取部５０が読み取ってもよい。 Since the expiration date information may be composed of only a list of numerical values, the position detection unit 40 may acquire a plurality of numerical information that may have an expiration date. In this case, the position detection unit 40 may detect all the positions of the numerical information that may have expired, and the reading unit 50 may read all of them, or a numerical value having a certain possibility (accuracy) or more. Only the information may be read by the reading unit 50. Further, the reading unit 50 may read only the numerical information having the highest possibility of the expiration date.
第２の実施の形態
次に、本発明の第２の実施の形態について説明する。
Second Embodiment Next, a second embodiment of the present invention will be described.
本実施の形態では、図１１に示すように、積載された被検査物２００の上方から見た画像を撮影する第二撮影部１２０が設けられている。また、第二撮影部１２０で撮影された画像（図１２参照）から被検査物２００の積み付け方法を検知する第三検知部３０が設けられている。本実施の形態では、集計部７０は、積み付け方法を考慮して、被検査物２００の個数を集計してもよい。その他については、第１の実施の形態と同様であり、第１の実施の形態で採用したあらゆる構成を第２の実施の形態でも採用することができる。 In the present embodiment, as shown in FIG. 11, a second photographing unit 120 for photographing an image seen from above of the loaded object 200 to be inspected is provided. In addition, a third detection unit 30 is provided to detect the method of loading the inspected object 200 from the image (see FIG. 12) taken by the second imaging unit 120. In the present embodiment, the totaling unit 70 may total the number of objects to be inspected 200 in consideration of the loading method. Others are the same as those in the first embodiment, and any configuration adopted in the first embodiment can be adopted in the second embodiment.
載置部２１０に載置された被検査物２００が所定の位置に位置付けられたときに、第一撮影部１１０及び第二撮影部１２０が自動で撮影を行ってもよい。載置部２１０に載置された被検査物２００が所定の位置に位置付けられたと制御部６０が判断した場合には、制御部６０が搬送部２２０による搬送を停止させ、その後で第一撮影部１１０及び第二撮影部１２０によって載置部２１０に載置された被検査物２００の撮影を行うようにしてもよい。第二撮影部１２０によって撮影される動画は静止画であってもよいし動画であってもよい。 When the object to be inspected 200 placed on the mounting unit 210 is positioned at a predetermined position, the first imaging unit 110 and the second imaging unit 120 may automatically perform imaging. When the control unit 60 determines that the object 200 to be inspected placed on the mounting unit 210 is positioned at a predetermined position, the control unit 60 stops the transfer by the transfer unit 220, and then the first photographing unit The object to be inspected 200 placed on the mounting unit 210 may be photographed by the 110 and the second imaging unit 120. The moving image captured by the second photographing unit 120 may be a still image or a moving image.
第三検知部３０は機械的学習を行う人工知能機能を有してもよい。このように機械的学習を行うことで、第三検知部３０は精度よく積み付け方法を決定できるようになる。 The third detection unit 30 may have an artificial intelligence function for performing mechanical learning. By performing the mechanical learning in this way, the third detection unit 30 can accurately determine the loading method.
本実施の形態によれば、積み付け方法を考慮したうえで、個々の被検査物２００を検知することができる。ただし、このような態様に限られることはなく、被検査物関連情報として取得されたバーコード情報や商品名情報に基づいて積み付け方法を記憶部９０から読み出してもよい。この場合には、第二撮影部１２０を導入する必要がなくなる。他方、第二撮影部１２０を採用した場合には、画像情報に基づいて積み付け方法を認識できることから、バーコード情報や商品名情報と積み付け方法とを関連付けた情報を記憶部９０で記憶させる必要がない点で有益である。 According to the present embodiment, the individual inspected object 200 can be detected in consideration of the loading method. However, the present invention is not limited to this aspect, and the loading method may be read from the storage unit 90 based on the barcode information and the product name information acquired as the information related to the inspected object. In this case, it is not necessary to introduce the second photographing unit 120. On the other hand, when the second photographing unit 120 is adopted, since the loading method can be recognized based on the image information, the storage unit 90 stores the barcode information and the information associated with the product name information and the loading method. It is beneficial in that it is not necessary.
上述した各実施の形態の記載及び図面の開示は、特許請求の範囲に記載された発明を説明するための一例に過ぎず、上述した実施の形態の記載又は図面の開示によって特許請求の範囲に記載された発明が限定されることはない。例えば、ＲＦＩＤのような部材を導入しつつ、上述した各実施の形態の態様を採用してもよい。 The description of each embodiment and the disclosure of the drawings described above are merely examples for explaining the invention described in the claims, and the description of the above-described embodiments or the disclosure of the drawings is included in the claims. The described invention is not limited. For example, while introducing a member such as RFID, the embodiment of each of the above-described embodiments may be adopted.
１０ 第一検知部
２０ 第二検知部
３０ 第三検知部
４０ 位置検知部
５０ 読取部
１１０ 第一撮影部
１２０ 第二撮影部
１５０ 照明部材
２００ 被検査物
２１０ 載置部
２２０ 搬送部
10 1st detection unit 20 2nd detection unit 30 3rd detection unit 40 Position detection unit 50 Reading unit 110 1st imaging unit 120 2nd imaging unit 150 Lighting member 200 Inspected object 210 Mounting unit 220 Transport unit
Claims (10)
前記画像から積載された被検査物の段数を検知する第一検知部と、
ある段に存在している被検査物を個別に検知する第二検知部と、
前記第二検知部において個別に検知された前記被検査物における被検査物関連情報を読み取る読取部と、
を備える、検知読取装置。 The first shooting unit that takes a side image of the loaded object to be inspected,
The first detection unit that detects the number of stages of the object to be inspected loaded from the image,
A second detector that individually detects the object to be inspected that exists at a certain stage,
A reading unit that reads information related to the inspected object in the inspected object that is individually detected by the second detection unit.
A detection and reading device.
前記読取部は、前記位置検知部で検知された被検査物関連情報を読み取る、請求項１に記載の検知読取装置。 A position detection unit for detecting the position of information related to the inspected object in the inspected object is provided.
The detection / reading device according to claim 1, wherein the reading unit reads information related to an inspected object detected by the position detection unit.
前記第二撮影部で撮影された画像から前記被検査物の積み付け方法を検知する第三検知部と、を備える、請求項１乃至６のいずれか１項に記載の検知読取装置。 The second imaging unit that captures the image seen from above the loaded object to be inspected,
The detection / reading device according to any one of claims 1 to 6, further comprising a third detection unit that detects a method of loading the object to be inspected from an image taken by the second imaging unit.
第一検知部によって、前記画像から積載された被検査物の段数を検知する工程と、
第二検知部によって、ある段に存在している被検査物を個別に検知する工程と、
読取部によって、前記第二検知部において個別に検知された前記被検査物における被検査物関連情報を読み取る工程と、
を備える検知読取方法。 The process of taking a side image of the loaded object to be inspected by the first imaging unit,
The process of detecting the number of stages of the object to be inspected loaded from the image by the first detection unit,
The process of individually detecting the inspected object existing in a certain stage by the second detection unit,
A step of reading the information related to the inspected object in the inspected object individually detected by the second detection unit by the reading unit.
A detection and reading method comprising.
前記プログラムがインストールされた情報処理装置は、
積載された被検査物を側方からの画像を撮影する第一撮影部と、
前記画像から積載された被検査物の段数を検知する第一検知部と、
ある段に存在している被検査物を個別に検知する第二検知部と、
前記第二検知部において個別に検知された前記被検査物における被検査物関連情報を読み取る読取部と、
を備えるプログラム。 A program installed in an information processing device
The information processing device in which the program is installed
The first shooting unit that takes a side image of the loaded object to be inspected,
The first detection unit that detects the number of stages of the object to be inspected loaded from the image,
A second detector that individually detects the object to be inspected that exists at a certain stage,
A reading unit that reads information related to the inspected object in the inspected object that is individually detected by the second detection unit.
Program with.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019127311A JP6854854B2 (en) | 2019-07-09 | 2019-07-09 | Detection and reading device, detection and reading method and program |
| JP2021042474A JP2021114300A (en) | 2019-07-09 | 2021-03-16 | Detection reading device, detection reading method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019127311A JP6854854B2 (en) | 2019-07-09 | 2019-07-09 | Detection and reading device, detection and reading method and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021042474A Division JP2021114300A (en) | 2019-07-09 | 2021-03-16 | Detection reading device, detection reading method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021012613A true JP2021012613A (en) | 2021-02-04 |
| JP6854854B2 JP6854854B2 (en) | 2021-04-07 |
Family
ID=74226110
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019127311A Active JP6854854B2 (en) | 2019-07-09 | 2019-07-09 | Detection and reading device, detection and reading method and program |
| JP2021042474A Pending JP2021114300A (en) | 2019-07-09 | 2021-03-16 | Detection reading device, detection reading method and program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021042474A Pending JP2021114300A (en) | 2019-07-09 | 2021-03-16 | Detection reading device, detection reading method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6854854B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0753054A (en) * | 1993-08-10 | 1995-02-28 | Mitsubishi Electric Corp | Automatic unloading device |
| JP2001088912A (en) * | 1999-09-20 | 2001-04-03 | Fujitsu General Ltd | Stocktaking managing method and stocktaking system by image recognition |
| JP2011150460A (en) * | 2010-01-20 | 2011-08-04 | Hitachi Information & Control Solutions Ltd | System and method for managing warehousing/shipping |
| JP2014218313A (en) * | 2013-05-01 | 2014-11-20 | 學思行數位行銷股▲分▼有限公司 | Image recognition system for inventory control and marketing |
| JP2018047544A (en) * | 2015-11-13 | 2018-03-29 | 株式会社東芝 | Conveyance device and conveyance method |
| JP2018116533A (en) * | 2017-01-19 | 2018-07-26 | 北海道Ｎｓソリューションズ株式会社 | Mobile terminal device, system, information processing method and program |
| JP2019040227A (en) * | 2017-08-22 | 2019-03-14 | 株式会社日立製作所 | Inventory management system |
-
2019
- 2019-07-09 JP JP2019127311A patent/JP6854854B2/en active Active
-
2021
- 2021-03-16 JP JP2021042474A patent/JP2021114300A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0753054A (en) * | 1993-08-10 | 1995-02-28 | Mitsubishi Electric Corp | Automatic unloading device |
| JP2001088912A (en) * | 1999-09-20 | 2001-04-03 | Fujitsu General Ltd | Stocktaking managing method and stocktaking system by image recognition |
| JP2011150460A (en) * | 2010-01-20 | 2011-08-04 | Hitachi Information & Control Solutions Ltd | System and method for managing warehousing/shipping |
| JP2014218313A (en) * | 2013-05-01 | 2014-11-20 | 學思行數位行銷股▲分▼有限公司 | Image recognition system for inventory control and marketing |
| JP2018047544A (en) * | 2015-11-13 | 2018-03-29 | 株式会社東芝 | Conveyance device and conveyance method |
| JP2018116533A (en) * | 2017-01-19 | 2018-07-26 | 北海道Ｎｓソリューションズ株式会社 | Mobile terminal device, system, information processing method and program |
| JP2019040227A (en) * | 2017-08-22 | 2019-03-14 | 株式会社日立製作所 | Inventory management system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021114300A (en) | 2021-08-05 |
| JP6854854B2 (en) | 2021-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6709320B6 (en) | Accounting method and accounting equipment by convolutional neural network image recognition technology | |
| US7602288B2 (en) | Method for slap-and-ship RFID labeling | |
| CN104627591B (en) | Intelligent storage outbound risk control system | |
| JP2006103813A (en) | Article tracking information storing method and article tracking information storing system | |
| US10055626B2 (en) | Data reading system and method with user feedback for improved exception handling and item modeling | |
| US9375758B2 (en) | Sorting device and sorting method | |
| US9298997B1 (en) | Signature-guided character recognition | |
| US8295583B2 (en) | System and method for automatic recognition of undetected assets | |
| SE1051090A1 (en) | checkout counter | |
| US10584962B2 (en) | System and method for validating physical-item security | |
| US20240103447A1 (en) | Product identification system and method | |
| WO2016158438A1 (en) | Inspection processing apparatus, method, and program | |
| US20240127012A1 (en) | Camera enabled portal | |
| KR20150075562A (en) | Apparatus for reading a bar code | |
| JP6854854B2 (en) | Detection and reading device, detection and reading method and program | |
| JP2012174101A (en) | Label inspection system, label inspection apparatus and label inspection program | |
| JP2023115304A (en) | Counter, control method, and program | |
| JP4536548B2 (en) | X-ray inspection apparatus and stored information extraction system | |
| US20220101296A1 (en) | Article deduction apparatus, article deduction method, and program | |
| CN104138846A (en) | Sorting system and sorting method | |
| AU2020359438A1 (en) | X-ray detection of meat | |
| US20210311010A1 (en) | Device for inspecting article having substantially circular side surface, and device for turning article | |
| US20240029017A1 (en) | Information processing device, information processing method, and recording medium | |
| JP6699890B2 (en) | Luggage inspection system | |
| US10181108B1 (en) | Item attribute collection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6854854 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |