JP2021025853A - Size measuring device, size measuring method, and program - Google Patents
Size measuring device, size measuring method, and program Download PDFInfo
- Publication number
- JP2021025853A JP2021025853A JP2019142920A JP2019142920A JP2021025853A JP 2021025853 A JP2021025853 A JP 2021025853A JP 2019142920 A JP2019142920 A JP 2019142920A JP 2019142920 A JP2019142920 A JP 2019142920A JP 2021025853 A JP2021025853 A JP 2021025853A
- Authority
- JP
- Japan
- Prior art keywords
- size
- image
- value
- camera
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、物体の実サイズを測定する技術に関する。 The present invention relates to a technique for measuring the actual size of an object.
一般のコンシューマーが宅配便のような荷物配達サービスを利用する場合、その配送料は、荷物のサイズ(例えば、幅、長さ、高さの和など)や重量に応じて設定される。一方で、B2Bの物流の場合は、荷物の数がきわめて多いため、一つ一つの荷物のサイズを計測することは現実的でなく、単純に荷物の個数に応じて配送料が決められることが多い。B2Bでも荷物のサイズに応じた適切な報酬(配送料)の設定が望まれているが、現時点ではこれを実現する手段がない。 When a general consumer uses a parcel delivery service such as a courier service, the parcel delivery fee is set according to the size (for example, sum of width, length, height, etc.) and weight of the parcel. On the other hand, in the case of B2B logistics, it is not realistic to measure the size of each package because the number of packages is extremely large, and the shipping fee may be determined simply according to the number of packages. There are many. Even in B2B, it is desired to set an appropriate reward (delivery charge) according to the size of the package, but at present, there is no means to realize this.
なお、特許文献1には、収容室内の荷置き台上に載せられた荷物を収容室内に設置されたカメラで撮影し、得られた画像から荷物の幅、長さ、高さを測定する測定装置が開示されている。しかしながら、この測定装置は、測定可能な荷物が収容室内に収容可能なサイズのものに限られるため、汎用性に欠けるという問題がある。また、測定対象となる荷物を一つずつ収容室内の所定の位置に位置決めした状態で測定を行わなければならないため、多数の荷物のサイズを測定する目的には適さない。
In addition, in
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、多数の物体のサイズ測定に好適な技術を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique suitable for measuring the size of a large number of objects.
上記目的を達成するために本発明は、以下の構成を採用する。 In order to achieve the above object, the present invention adopts the following configuration.
本発明の第一側面は、測定エリアに存在する物体を撮影するカメラと、前記カメラから前記物体までの距離を測定するセンサと、情報処理装置と、を有し、前記情報処理装置は、前記カメラで得られた画像から前記物体を抽出する抽出部と、前記センサで測定された測定距離に基づいて、前記画像から抽出された前記物体の実サイズを推定するサイズ推定部と、を有するサイズ測定装置を提供する。 The first aspect of the present invention includes a camera that captures an object existing in a measurement area, a sensor that measures the distance from the camera to the object, and an information processing device. A size having an extraction unit that extracts the object from an image obtained by a camera, and a size estimation unit that estimates the actual size of the object extracted from the image based on the measurement distance measured by the sensor. A measuring device is provided.
この構成によれば、測定エリア(例えば、カメラ及びセンサの視野内)に存在する物体であれば、厳密に位置決めすることなく、実サイズを測定することができる。したがって、例えば、コンベアなどの搬送手段で多数の物体を搬送し、順次測定エリアを通過させながら各物体の実サイズを測定する、というように、多数の物体の実サイズの測定を効率的かつ高速に行うことができる。 According to this configuration, any object existing in the measurement area (for example, within the field of view of the camera and the sensor) can measure the actual size without strict positioning. Therefore, for example, a large number of objects are conveyed by a conveyor or the like, and the actual size of each object is measured while sequentially passing through the measurement area. Therefore, the actual size of a large number of objects can be measured efficiently and at high speed. Can be done.
前記サイズ推定部は、前記測定距離に基づいて前記画像上の長さを実空間上の長さに換算することによって、前記画像と平行な面内における前記物体の実サイズを計算してもよい。換算の方法はどのようなものでよい。例えば、前記サイズ推定部は、前記カメラから前記物体までの距離の値と、前記画像上の長さと実空間上の長さの換算比と、が対応付けられたテーブルを用いて、前記画像上の長さを実空間上の長さに換算してもよい。あるい
は、前記サイズ推定部は、前記カメラから前記物体までの距離の値と、前記画像上の長さと実空間上の長さの換算比と、の相関関係を学習したモデルを用いて、前記画像上の長さを実空間上の長さに換算してもよい。あるいは、前記サイズ推定部は、前記カメラから前記物体までの距離の値と前記カメラのパラメータとを用いた幾何学計算によって、前記画像上の長さを実空間上の長さに換算してもよい。
The size estimation unit may calculate the actual size of the object in a plane parallel to the image by converting the length on the image into the length in the real space based on the measurement distance. .. Any conversion method may be used. For example, the size estimation unit uses a table in which the value of the distance from the camera to the object and the conversion ratio of the length on the image and the length in the real space are associated with each other on the image. The length of may be converted to the length in real space. Alternatively, the size estimation unit uses a model that learns the correlation between the value of the distance from the camera to the object and the conversion ratio of the length on the image and the length in the real space, and uses the image. The above length may be converted to the length in real space. Alternatively, the size estimation unit may convert the length on the image into the length in the real space by geometric calculation using the value of the distance from the camera to the object and the parameters of the camera. Good.
前記サイズ推定部は、前記測定距離と予め設定された基準距離の差から、前記画像の奥行方向における前記物体の実サイズを計算してもよい。センサの測定距離から物体の奥行方向のサイズを計算する方が、カメラの画像から物体の奥行方向のサイズを推定する方法よりも、高速にかつ高精度に物体の実サイズを求めることができる。 The size estimation unit may calculate the actual size of the object in the depth direction of the image from the difference between the measurement distance and the preset reference distance. It is possible to obtain the actual size of an object faster and more accurately by calculating the size of the object in the depth direction from the measurement distance of the sensor than by estimating the size of the object in the depth direction from the image of the camera.
前記サイズ推定部は、前記測定エリア内に前記物体が存在しないときに前記センサで測定された値に基づいて前記基準距離を設定してもよい。基準距離の設定が自動化されることにより、利便性を向上することができる。 The size estimation unit may set the reference distance based on the value measured by the sensor when the object is not present in the measurement area. Convenience can be improved by automating the setting of the reference distance.
前記サイズ測定装置は、前記測定エリアを通過するように搬送される物体のサイズを測定するものであり、前記情報処理装置は、前記センサの測定値を監視し、前記測定値の変化により前記測定エリア内への物体の進入を検知する検知部をさらに有してもよい。 The size measuring device measures the size of an object conveyed so as to pass through the measuring area, and the information processing device monitors the measured value of the sensor and measures the measured value according to a change in the measured value. It may further have a detection unit that detects the entry of an object into the area.
前記情報処理装置は、前記検知部により前記物体の進入が検知されたことをトリガとして、当該物体の実サイズの推定に用いる画像を取得してもよい。これにより、必要な画像を適切なタイミングで取得することができる。 The information processing device may acquire an image used for estimating the actual size of the object, triggered by the detection of the entry of the object by the detection unit. As a result, the required image can be acquired at an appropriate timing.
前記検知部は、前記センサの測定値が、前記測定エリア内に物体が存在しないときに得られる基準値から、前記基準値よりも小さい第1の値、前記第1の値よりも小さい第2の値へと段階的に変化した場合に、複数の物体が重なっていると判定してもよい。 In the detection unit, the measured value of the sensor is a first value smaller than the reference value and a second value smaller than the first value from the reference value obtained when no object exists in the measurement area. When the value gradually changes to the value of, it may be determined that a plurality of objects overlap.
前記検知部により複数の物体の重なりが検知された場合に、前記サイズ推定部は、前記第1の値に対応する高さの第1の物体の上に、前記第1の値と前記第2の値の差に対応する高さの第2の物体が重なっているとみなし、前記第1の物体と前記第2の物体それぞれの実サイズを推定してもよい。これにより、重なって搬送されている複数の物体についても実サイズの測定が可能となる。あるいは、前記検知部により複数の物体の重なりが検知された場合に、前記サイズ推定部は、前記複数の物体の実サイズの推定ができない旨を通知する制御を行ってもよい。複数の物体が重なっている場合には実サイズの推定精度が低下する可能性があるからである。通知に気づいたオペレータが物体の重なりを解消するなどの対処をとることで、各々の物体の実サイズをより高精度に測定できると期待できる。 When the detection unit detects the overlap of a plurality of objects, the size estimation unit puts the first value and the second on the first object having a height corresponding to the first value. The actual size of each of the first object and the second object may be estimated by assuming that the second objects having the height corresponding to the difference in the values of are overlapped. This makes it possible to measure the actual size of a plurality of objects that are transported in an overlapping manner. Alternatively, when the detection unit detects the overlap of a plurality of objects, the size estimation unit may perform control to notify that the actual size of the plurality of objects cannot be estimated. This is because the estimation accuracy of the actual size may decrease when a plurality of objects overlap. It can be expected that the operator who notices the notification can measure the actual size of each object with higher accuracy by taking measures such as eliminating the overlap of the objects.
前記センサは赤外線センサであってもよい。赤外線センサを用いることで、比較的安価な構成で高精度な距離測定を行うことができる。 The sensor may be an infrared sensor. By using an infrared sensor, it is possible to perform highly accurate distance measurement with a relatively inexpensive configuration.
本発明は、上記手段の少なくとも一部を有するサイズ測定装置として捉えてもよいし、サイズ測定装置を構成する情報処理装置として捉えてもよい。また、本発明は、上記処理の少なくとも一部を含むサイズ測定方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。 The present invention may be regarded as a size measuring device having at least a part of the above means, or may be regarded as an information processing device constituting the size measuring device. Further, the present invention can be regarded as a size measuring method including at least a part of the above processing, a program for realizing such a method, or a recording medium on which the program is recorded. The present invention can be constructed by combining each of the above means and treatments with each other as much as possible.
本発明によれば、多数の物体のサイズ測定に好適な技術を提供することが可能である。 According to the present invention, it is possible to provide a technique suitable for measuring the size of a large number of objects.
<適用例>
図1を参照して、本発明の適用例の一つについて説明する。図1は、本発明の実施形態に係るサイズ測定装置10を、物体のサイズ(寸法)の自動測定に適用した例を示している。
<Application example>
One of the application examples of the present invention will be described with reference to FIG. FIG. 1 shows an example in which the
図1の例では、搬送装置(例えばコンベア)11の上方にサイズ測定装置10が設置されており、搬送装置11によって次々と搬送される物体(例えば段ボール箱などの荷物)14が所定の測定エリア13を通過するときに、サイズ測定装置10によって当該物体14のサイズが非接触でリアルタイムに測定される。測定結果(サイズ情報)は、サイズ測定装置10から上位システム12へと送信される。上位システム12は、例えば、各荷物の情報を管理するデータベース、各荷物の配送料を決済するためのPOSシステム、パレットやトラックなどへの荷物の積載割り当てを設計するシステムなどである。
In the example of FIG. 1, a
このようなサイズ測定装置10によれば、多数の物体の個々の実サイズを自動的に測定できるため、例えば、配送センターなどにおいて荷物のサイズに応じた配送料を自動で設定するといった目的などに好ましく利用することができる。
According to such a
<第1実施形態>
図2を参照して、本発明の実施形態に係るサイズ測定装置10の具体的な構成例を説明する。以後、説明の便宜から、物体14が載置される面(図2の例ではコンベアの表面)を「基準面R」とよび、物体14の搬送方向をX方向、基準面Rに平行でかつX方向に垂直な方向をY方向、基準面Rに垂直な方向をZ方向とよぶ。
<First Embodiment>
A specific configuration example of the
サイズ測定装置10は、概略、カメラ20と、センサ21と、情報処理装置22とを有している。図2では、カメラ20とセンサ21と情報処理装置22を別体で構成し、それぞれをケーブルで接続した構成例を示したが、具体的なハードウェア構成はこれに限られない。例えば、カメラ20とセンサ21と情報処理装置22のうちの2つ又は全部を一体化してもよい。あるいは、ケーブル接続ではなく、無線で接続してもよい。例えば、複数列のコンベアにそれぞれカメラ20とセンサ21を設置し、それらから得られる情報を一台の情報処理装置22で処理してもよい。
The
(カメラ20)
カメラ20は、物体14を撮影するための撮像装置である。本実施形態では、カメラ20は、その光軸がZ方向と平行になるよう設置され、基準面Rの上方から物体14を撮影
し、物体14の上視画像を得る。
(Camera 20)
The
カメラ20としては、モノクロカメラとカラーカメラのいずれを用いてもよい。また、用途によっては、可視光以外の電磁波をとらえるカメラ(例えば赤外線カメラ、X線カメラなど)を用いてもよい。カメラ20は所定の時間間隔(例えば30fps)で画像を取り込んでもよいし、外部装置(例えば情報処理装置22又はセンサ21)からの制御信号に従って画像を取り込んでもよい。カメラ20で得られた画像は、情報処理装置22に入力される。
As the
(センサ21)
センサ21は、カメラ20から物体14までの距離を測定するための測定装置である。センサ21の測定結果(距離情報)は、情報処理装置22に入力される。
(Sensor 21)
The
センサ21としては、いかなる方式の距離センサを用いてもよく、例えば、赤外線センサ、超音波センサ、レーザ変位センサ、ToFセンサなどを用いてもよい。本実施形態では、十分な精度が得られる、低コストである、小型である、などの理由から、赤外線センサを用いる。
As the
センサ21は、その光軸がカメラ20の光軸と平行になるように調整された状態で、カメラ20に対し固定されるとよい。これにより、カメラ20とセンサ21の相対的な位置関係が固定されるため、カメラ20及びセンサ21の設置やキャリブレーションの作業が容易になる。
The
(情報処理装置22)
情報処理装置22は、カメラ20で得られた物体14の画像と、センサ21で測定された物体14までの距離情報とに基づいて、物体14の実サイズを推定(計算)するための装置である。図2に示すように、本実施形態の情報処理装置22は、主な構成として、画像取得部220、距離情報取得部221、検知部222、抽出部223、サイズ推定部224、出力部225を有している。画像取得部220は、カメラ20から画像を取得する機能を有する。距離情報取得部221は、センサ21から距離情報を取得する機能を有する。検知部222は、測定対象となる物体14が測定エリア内に進入したことを検知する機能を有する。抽出部223は、カメラ20の画像から物体14を抽出する機能を有する。サイズ推定部224は、センサ21で測定された距離に基づいて物体14の実サイズを推定する機能を有する。出力部225は、サイズ推定部224で推定された物体14の実サイズの情報を出力する機能を有する。
(Information processing device 22)
The
情報処理装置22は、例えば、CPU(プロセッサ)、メモリ、不揮発性の記憶装置を少なくとも具備する汎用的なコンピュータにより構成してもよい。その場合、上述した符号220〜225の構成は、記憶装置に格納されたプログラムをメモリに読み込み、CPUが実行することにより、ソフトウェア的に実現される。情報処理装置22の構成はこれに限られず、例えば、分散コンピューティングやクラウドコンピューティングの技術を利用し、複数の装置によって符号220〜225の構成が実現されてもよい。あるいは、符号220〜225の構成の一部又は全部をFPGAやASICのような回路によって実現してもよい。
The
(サイズ測定)
図3のフローチャートを参照して、サイズ測定装置10によるサイズ測定処理の流れを説明する。
(Size measurement)
The flow of the size measurement process by the
ステップS30において、距離情報取得部221は、センサ21から測定値を取り込む
。図4は、センサ21の測定値の変化を模式的に示すグラフであり、横軸が時間[sec]、縦軸が測定値[cm]である。センサ21の光軸上に物体14が存在しない場合は、センサ21(あるいはカメラ20)から基準面Rまでの距離が測定値として得られ、センサ21の光軸を物体14が横切っているあいだは、センサ21(あるいはカメラ20)から物体14の上面までの距離が測定値として得られる。段ボール箱のように直方体形状の物体14では上面の高さが一定のため、センサ21の測定値は図4のようにステップ状に変化する。
In step S30, the distance
ステップS31において、検知部222は、センサ21の測定値の変化を監視する。図4に示すように測定値が有意に変化(減少)した場合に、検知部222は、測定エリア内に測定対象の物体14が進入したと判定する。測定値が有意に変化したか否かの判定はどのように行ってもよい。例えば、測定値の微分が閾値を下回ったか否かで判定してもよいし、直近n回(nは1以上の整数)の測定値の平均と予め記憶した基準面Rに対応する測定値(基準距離)との差が閾値を超えたか否かで判定してもよい。
In step S31, the
ステップS30及びS31は、測定エリアへの物体14の進入を監視するための処理であり、物体14が検知されるまで繰り返し実行される。その繰り返し周期は、物体14の搬送速度や物体14のサイズなどに応じて適宜設定すればよい。
Steps S30 and S31 are processes for monitoring the entry of the
検知部222により物体14が検知されると、ステップS32において、画像取得部220がカメラ20から画像を取り込む。図5Aは、カメラ20から取り込まれた画像の例である。物体14を上方から視た画像が得られていることがわかる。なお、物体14はコンベア上に整列して配置されている必要はなく、図5Aに示すように、任意の位置・向きで配置されていて構わない。
When the
ステップS33において、抽出部223は、画像から物体14を抽出する。物体抽出にはどのようなアルゴリズムを用いてもよい。例えば、テンプレートマッチングやニューラルネットワークによる物体検出、背景差分法による動体検出、輪郭検出などを好ましく利用できる。例えば、測定対象となる物体14が直方体(箱)形状であるという前提条件が成立する場合には、画像に写る物体14の形状は方形に限定される。本実施形態では、そのような前提の下、抽出部223は、コーナー検出法により方形の4つの頂点を検出することによって物体14の外形を抽出する。この方法は、処理が軽いとともに、物体14の回転・サイズ・形状に対しロバストであるという利点がある。したがって、コンベア上にランダムに配置された多数の物体14をリアルタイムに測定する、といった用途に好適である。図5Bは、物体14の抽出結果の例を示している。点P1〜点P4が物体14の上面の4つの頂点である。
In step S33, the
ステップS34において、サイズ推定部224は、XY平面内(画像と平行な面内)における物体14の実サイズを推定する。
In step S34, the
図6にサイズ推定の原理を示す。ここでは、直方体形状の物体14を想定し、実サイズを幅W[cm]、長さL[cm]、高さH[cm]で表す。高さHは、Z方向に平行な辺の寸法であり、幅Wと長さLは、物体14の上面(方形)の2辺の寸法である。また、画像上のサイズを幅w[pixel]、長さl[pixel]で表す。図6に示す2つの物体は、幅Wと長さLは同じであるが、高さHのみ異なる(H1<H2)。図6に示すように、物体の高さHが異なるとカメラ20から物体上面までの距離Dが変わるため(D1>D2)、同じ長さL[cm]の物体であっても、画像上での長さl[pixel]は異なる(l1<l2)。すなわち、画像上でのサイズは実サイズを正確に表すものではない。そこで、サイズ推定部224は、センサ21で得られた物体上面までの測定距離Dに基づいて、画像上の長さ[pixel]と実空間上の長さ[cm]の換算比を求める。この換
算比がわかれば、画像上の物体14の幅w[pixel]と長さl[pixel]から、物体14の実サイズである、幅W[cm]と長さL[cm]を計算することができる。なお、幅Wと長さLに限らず、XY平面内におけるサイズに関しては(例えば、物体上面の対角線の長さなど)同様の方法により計算可能である。
FIG. 6 shows the principle of size estimation. Here, assuming a
画像上の長さと実空間上の長さの換算比の求め方はどのような方法でもよい。例えば、図7Aに示すような、カメラから物体までの距離Dと、画像上の長さと実空間上の長さの換算比と、が対応付けられたテーブル70を参照して、物体14の測定値に応じた換算比を取得してもよい。このテーブル70は、高さの異なる複数のサンプルを測定した実験結果から作成してもよいし、シミュレーション結果から作成してもよい。また、図7Bに示すように、カメラから物体までの距離の値と、画像上の長さと実空間上の長さの換算比と、の相関関係を学習したモデル71を用いてもよい。物体14の測定値をこのモデル71に入力すると、その測定値に応じた換算比が得られる。このモデル71は、高さの異なる複数のサンプルを測定した実験結果を用いた機械学習によって生成してもよいし、シミュレーションにより作成してもよい。あるいは、テーブルやモデルを用いずに、カメラから物体までの距離の値とカメラのパラメータとを用いた幾何学計算によって、画像上の長さを実空間上の長さに換算してもよい。
Any method can be used to obtain the conversion ratio between the length on the image and the length on the real space. For example, the measurement of the
ステップS35において、サイズ推定部224は、Z方向(画像の奥行方向)における物体14の実サイズを推定する。具体的には、サイズ推定部224は、物体14の測定値(カメラから物体上面までの距離)と基準距離の差から、物体14の高さH[cm]を計算する。「基準距離」は、カメラ20から基準面Rまでの距離である。基準距離の値については、例えば、測定エリア内に物体が存在しないときのセンサ21の測定値に基づいて設定してもよいし、ユーザが手入力してもよい。カメラ20及びセンサ21の位置が変わった場合や装置メンテナンスの場合などに、測定エリア内に物体が存在しないときのセンサ21の測定値に基づいて、カメラ20の設置高さ(カメラ20と基準面Rのあいだの距離)を自動キャリブレーションしてもよい。基準距離の設定が自動化されることにより、利便性を向上することができる。
In step S35, the
ステップS36において、出力部225は、測定結果を出力する。測定結果は、物体14の幅W、長さL、高さHのうち少なくともいずれかの情報を含んでいるとよい。また、測定結果が、カメラ20の画像、センサ21の測定値、基準距離の値、画像上の幅wと長さlなどの情報を含んでいてもよい。測定結果の出力先は、前述した上位システム、表示装置、オペレータが携帯する端末など、測定結果の用途や目的に応じて適宜選択できる。
In step S36, the
以上述べた本実施形態の構成によれば、測定エリア(例えば、カメラ及びセンサの視野内)に存在する物体であれば、厳密に位置決めすることなく、実サイズを測定することができる。したがって、例えば、コンベアなどの搬送装置で多数の物体を搬送し、順次測定エリアを通過させながら各物体の実サイズを測定する、というように、多数の物体の実サイズの測定を効率的かつ高速に行うことができる。また、物体の高さHについては、センサで得られた距離情報から計算するので、他の方法(例えばカメラの画像からデプス計算を行う方法など)に比べて、高速にかつ高精度に物体の高さを求めることができる。また、検知部222により物体14が検知されたことをトリガとして、必要な場合にのみ画像の取得及びサイズ推定処理が行われるので、CPUやメモリなどのリソースの効率的な利用が可能となる。
According to the configuration of the present embodiment described above, if the object exists in the measurement area (for example, within the field of view of the camera and the sensor), the actual size can be measured without strict positioning. Therefore, for example, a large number of objects are conveyed by a transfer device such as a conveyor, and the actual size of each object is measured while sequentially passing through the measurement area. Therefore, the actual size of a large number of objects can be measured efficiently and at high speed. Can be done. Further, since the height H of the object is calculated from the distance information obtained by the sensor, the height of the object is calculated faster and more accurately than other methods (for example, a method of calculating the depth from the image of the camera). The height can be calculated. Further, since the image acquisition and the size estimation process are performed only when necessary by using the detection of the
<第2実施形態>
第2実施形態では、検知部222が、センサ21の測定値の変化に基づいて「物体の重なり」を判定する。以下では、第1実施形態と異なる部分を中心に説明し、第1実施形態と同じ構成については説明を省略する。
<Second Embodiment>
In the second embodiment, the
図8Aに示すように、2つの物体14a、14bが離れて配置されている場合、センサ21の測定値は図8Bに示すように変化する。他方、図9Aに示すように、2つの物体14a、14bが上下に重なっている場合、センサ21の測定値は図9Bに示すように変化する。図8Bと図9Bからわかるように、物体14aと14bが離れている場合は、測定値が、基準値Vr(物体が存在しないときの測定値)から物体14aの高さHaに対応する値Vaに下がり、再び基準値Vrに戻った後に、物体14bの高さHbに対応する値Vbに下がる、という変化を示すのに対し、物体14aと14bが重なっている場合は、測定値が、基準値Vrから、第1の値Va、第2の値(Va+Vb−Vr)へと段階的に減少する。ここで、第1の値Vaは、カメラ20から下側の物体14aの上面までの距離を表し、第2の値(Va+Vb−Vr)は、カメラ20から上側の物体14bの上面までの距離を表す。測定対象となる物体が直方体形状であるという前提条件の下では、図9Bのような測定値の変化が観測された場合には、2つの物体が重なっているとみなすことができる。
As shown in FIG. 8A, when the two
サイズ推定部224は、検知部222により複数の物体の重なりが検知された場合に、第1の実施形態とは異なる処理(例外処理)を実行するとよい。例外処理としては、例えば、以下のような処理を行うことが可能である。
When the
(1) 第1の値Vaに対応する高さHaの第1の物体14aの上に、第1の値Vaと第2の値(Va+Vb−Vr)の差に対応する高さHbの第2の物体14bが重なっているとみなし、第1の物体14aと第2の物体14bそれぞれの実サイズを推定する処理。
(1) On the
(2) 複数の物体の実サイズの推定ができない旨を通知する制御を行う処理。 (2) A process of controlling to notify that the actual size of a plurality of objects cannot be estimated.
例外処理(1)は、重なって搬送されている物体についても、各々の実サイズを自動的に測定できる、という利点がある。ただし、物体同士の色が極めて類似しているために画像から物体間の境界を判別することが難しいケースなど、シーンによっては、重なった物体の実サイズの推定精度が著しく低下する可能性がある。そのような場合は、例外処理(2)を実行する方が好ましい。そして、通知に気づいたオペレータが物体の重なりを解消するなどの対処をとることで、各々の物体の実サイズをより高精度に測定できると期待できる。 The exception handling (1) has an advantage that the actual size of each of the objects being transported in an overlapping manner can be automatically measured. However, depending on the scene, such as when it is difficult to distinguish the boundary between objects from the image because the colors of the objects are very similar, the accuracy of estimating the actual size of the overlapping objects may be significantly reduced. .. In such a case, it is preferable to execute the exception handling (2). Then, it can be expected that the operator who notices the notification can measure the actual size of each object with higher accuracy by taking measures such as eliminating the overlap of the objects.
<変形例>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、直方体形状の物体を例示したが、測定対象の形状は直方体に限られない。画像に現れる物体の形状が方形でない場合は、物体の外接矩形やバウンディングボックスを仮定し、その実サイズを計算してもよい。また、物体の上面の高さは一定でない場合は、センサ21によって上面内の複数個所の距離測定を行い、それらの統計値から物体の高さを計算してもよい。
<Modification example>
The above-described embodiment is merely an example of a configuration example of the present invention. The present invention is not limited to the above-mentioned specific form, and various modifications can be made within the scope of its technical idea. For example, in the above embodiment, a rectangular parallelepiped object is illustrated, but the shape to be measured is not limited to the rectangular parallelepiped. If the shape of the object appearing in the image is not square, the actual size may be calculated assuming the circumscribed rectangle or bounding box of the object. If the height of the upper surface of the object is not constant, the
<付記1>
(1) 測定エリア(13)に存在する物体(14)を撮影するカメラ(20)と、
前記カメラ(20)から前記物体(14)までの距離を測定するセンサ(21)と、
情報処理装置(22)と、を有し、
前記情報処理装置(22)は、
前記カメラ(20)で得られた画像から前記物体(14)を抽出する抽出部(223)と、
前記センサ(21)で測定された測定距離に基づいて、前記画像から抽出された前記
物体(14)の実サイズを推定するサイズ推定部(224)と、を有する
ことを特徴とするサイズ測定装置(10)。
<
(1) A camera (20) for photographing an object (14) existing in the measurement area (13), and
A sensor (21) that measures the distance from the camera (20) to the object (14),
It has an information processing device (22) and
The information processing device (22)
An extraction unit (223) that extracts the object (14) from the image obtained by the camera (20), and
A size measuring device including a size estimating unit (224) that estimates the actual size of the object (14) extracted from the image based on the measurement distance measured by the sensor (21). (10).
10:サイズ測定装置
11:搬送装置(コンベア)
12:上位システム
13:測定エリア
14、14a、14b:物体
20:カメラ
21:センサ
22:情報処理装置
220:画像取得部
221:距離情報取得部
222:検知部
223:抽出部
224:サイズ推定部
225:出力部
R:基準面
10: Size measuring device 11: Conveyor device (conveyor)
12: Upper system 13:
Claims (15)
前記カメラから前記物体までの距離を測定するセンサと、
情報処理装置と、を有し、
前記情報処理装置は、
前記カメラで得られた画像から前記物体を抽出する抽出部と、
前記センサで測定された測定距離に基づいて、前記画像から抽出された前記物体の実サイズを推定するサイズ推定部と、を有する
ことを特徴とするサイズ測定装置。 A camera that captures objects in the measurement area,
A sensor that measures the distance from the camera to the object,
Has an information processing device,
The information processing device
An extraction unit that extracts the object from the image obtained by the camera,
A size measuring device comprising a size estimating unit that estimates the actual size of the object extracted from the image based on the measurement distance measured by the sensor.
ことを特徴とする請求項1に記載のサイズ測定装置。 The size estimation unit is characterized by calculating the actual size of the object in a plane parallel to the image by converting the length on the image into the length in the real space based on the measurement distance. The size measuring device according to claim 1.
ことを特徴とする請求項2に記載のサイズ測定装置。 The size estimation unit uses a table in which the value of the distance from the camera to the object and the conversion ratio of the length on the image and the length in the real space are associated with each other, and the length on the image is used. The size measuring device according to claim 2, wherein the image is converted into a length in real space.
ことを特徴とする請求項2に記載のサイズ測定装置。 The size estimation unit uses a model that learns the correlation between the value of the distance from the camera to the object and the conversion ratio of the length on the image and the length in the real space on the image. The size measuring device according to claim 2, wherein the length is converted into a length in real space.
ことを特徴とする請求項2に記載のサイズ測定装置。 The size estimation unit is characterized in that the length on the image is converted into the length in the real space by geometric calculation using the value of the distance from the camera to the object and the parameters of the camera. The size measuring device according to claim 2.
ことを特徴とする請求項1〜5のうちいずれか1項に記載のサイズ測定装置。 One of claims 1 to 5, wherein the size estimation unit calculates the actual size of the object in the depth direction of the image from the difference between the measurement distance and the preset reference distance. The size measuring device described in.
ことを特徴とする請求項6に記載のサイズ測定装置。 The size measuring device according to claim 6, wherein the size estimating unit sets the reference distance based on a value measured by the sensor when the object does not exist in the measuring area.
前記情報処理装置は、前記センサの測定値を監視し、前記測定値の変化により前記測定エリア内への物体の進入を検知する検知部をさらに有する
ことを特徴とする請求項1〜7のうちいずれか1項に記載のサイズ測定装置。 The size measuring device measures the size of an object conveyed so as to pass through the measuring area.
Of claims 1 to 7, the information processing device further includes a detection unit that monitors the measured value of the sensor and detects the entry of an object into the measurement area by changing the measured value. The size measuring device according to any one item.
ことを特徴とする請求項8に記載のサイズ測定装置。 The size measuring device according to claim 8, wherein the information processing device acquires an image used for estimating the actual size of the object, triggered by the detection of the entry of the object by the detection unit. ..
ことを特徴とする請求項8又は9に記載のサイズ測定装置。 In the detection unit, the measured value of the sensor is a first value smaller than the reference value and a second value smaller than the first value from the reference value obtained when no object exists in the measurement area. The size measuring device according to claim 8 or 9, wherein it is determined that a plurality of objects are overlapped when the value gradually changes to the value of.
前記サイズ推定部は、前記第1の値に対応する高さの第1の物体の上に、前記第1の値と前記第2の値の差に対応する高さの第2の物体が重なっているとみなし、前記第1の物体と前記第2の物体それぞれの実サイズを推定する
ことを特徴とする請求項10に記載のサイズ測定装置。 When the detection unit detects the overlap of a plurality of objects,
In the size estimation unit, a second object having a height corresponding to the difference between the first value and the second value is superimposed on the first object having a height corresponding to the first value. The size measuring device according to claim 10, wherein the actual size of each of the first object and the second object is estimated.
前記サイズ推定部は、前記複数の物体の実サイズの推定ができない旨を通知する制御を行う
ことを特徴とする請求項10に記載のサイズ測定装置。 When the detection unit detects the overlap of a plurality of objects,
The size measuring device according to claim 10, wherein the size estimating unit controls to notify that the actual size of the plurality of objects cannot be estimated.
ことを特徴とする請求項1〜12のうちいずれか1項に記載のサイズ測定装置。 The size measuring device according to any one of claims 1 to 12, wherein the sensor is an infrared sensor.
前記画像から前記物体を抽出するステップと、
センサにより前記カメラから前記物体までの距離を測定するステップと、
前記センサで測定された測定距離に基づいて、前記画像から抽出された前記物体の実サイズを推定するステップと、を有する
ことを特徴とするサイズ測定方法。 The steps to acquire an image from a camera that captures an object in the measurement area,
The step of extracting the object from the image and
A step of measuring the distance from the camera to the object by a sensor, and
A size measuring method comprising a step of estimating the actual size of the object extracted from the image based on the measurement distance measured by the sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019142920A JP2021025853A (en) | 2019-08-02 | 2019-08-02 | Size measuring device, size measuring method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019142920A JP2021025853A (en) | 2019-08-02 | 2019-08-02 | Size measuring device, size measuring method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021025853A true JP2021025853A (en) | 2021-02-22 |
Family
ID=74665088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019142920A Pending JP2021025853A (en) | 2019-08-02 | 2019-08-02 | Size measuring device, size measuring method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021025853A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021081431A (en) * | 2020-11-18 | 2021-05-27 | Necプラットフォームズ株式会社 | Baggage accepting system and baggage accepting method |
JP2023043090A (en) * | 2021-09-15 | 2023-03-28 | 株式会社Sayコンピュータ | Mobile terminal and size measurement method using mobile terminal |
-
2019
- 2019-08-02 JP JP2019142920A patent/JP2021025853A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021081431A (en) * | 2020-11-18 | 2021-05-27 | Necプラットフォームズ株式会社 | Baggage accepting system and baggage accepting method |
JP2023043090A (en) * | 2021-09-15 | 2023-03-28 | 株式会社Sayコンピュータ | Mobile terminal and size measurement method using mobile terminal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3335002B1 (en) | Volumetric estimation methods, devices and systems | |
CN109844807B (en) | Method, system and apparatus for segmenting and sizing objects | |
EP3434626B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
US10789569B1 (en) | System to determine item footprint | |
WO2022105231A1 (en) | Warehousing management method and apparatus, warehouse management system and electronic system | |
US10860855B2 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
US10675659B2 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
CN113167569B (en) | Volume measurement device, system, method, and program | |
JP5780083B2 (en) | Inspection device, inspection system, inspection method and program | |
US11017548B2 (en) | Methods, systems, and apparatuses for computing dimensions of an object using range images | |
US10471474B2 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
JP2021025853A (en) | Size measuring device, size measuring method, and program | |
JP7111172B2 (en) | POSITION DETECTION DEVICE, POSITION DETECTION SYSTEM, REMOTE CONTROLLER, REMOTE CONTROL SYSTEM, POSITION DETECTION METHOD, AND PROGRAM | |
US11117744B1 (en) | Determination of untidy item return to an inventory location | |
EP3434625B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
JP2020114778A (en) | Projection instruction device, goods assort system and projection instruction method | |
Nilsson | 3D-vision guided robotics for material handling | |
US10635869B2 (en) | Projection instruction device, parcel sorting system, and projection instruction method |