JP2021109257A - Cargo handling control device and sensor device - Google Patents
Cargo handling control device and sensor device Download PDFInfo
- Publication number
- JP2021109257A JP2021109257A JP2020001064A JP2020001064A JP2021109257A JP 2021109257 A JP2021109257 A JP 2021109257A JP 2020001064 A JP2020001064 A JP 2020001064A JP 2020001064 A JP2020001064 A JP 2020001064A JP 2021109257 A JP2021109257 A JP 2021109257A
- Authority
- JP
- Japan
- Prior art keywords
- article
- articles
- unit
- wave
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 58
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 24
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007340 echolocation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229920006300 shrink film Polymers 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明の実施形態は、荷役制御装置、及びセンサ装置に関する。 Embodiments of the present invention relate to a cargo handling control device and a sensor device.
従来、物流倉庫等に設置され、カメラの撮像画像に基づいて、荷物等の物品を把持して当該物品を移動させる荷役システムの荷役制御装置、及びセンサ装置が知られている。 Conventionally, a cargo handling control device and a sensor device of a cargo handling system that is installed in a distribution warehouse or the like and grips an article such as a baggage and moves the article based on an image captured by a camera are known.
複数の物品がシート状の覆い物によってまとめられている場合であっても、物品の移動を良好に行なうことができる荷役制御装置、及びセンサ装置を提供する。 Provided are a cargo handling control device and a sensor device capable of satisfactorily moving articles even when a plurality of articles are grouped by a sheet-like covering.
実施形態の荷役制御装置は、送受信部と、制御部と、を備える。送受信部は、載置部に戴置された物品を把持して当該物品を移動させる荷役装置に設けられ、前記載置部が存在する方向に超音波または電波を送信波として送信し、前記送信波の反射波を受信する。制御部は、前記載置部に戴置された物品の撮像画像に基づいて、前記載置部に物品が複数存在することを認識した場合に、当該撮像画像に基づいた認識結果及び前記送受信部の前記反射波の受信結果に基づいて、複数の物品がシート状の覆い物でまとめられているか否かを判定し、当該判定した結果に基づいて、前記荷役装置を制御する。 The cargo handling control device of the embodiment includes a transmission / reception unit and a control unit. The transmission / reception unit is provided in a cargo handling device that grips an article placed on the mounting unit and moves the article, transmits ultrasonic waves or radio waves as a transmission wave in the direction in which the above-mentioned placement unit exists, and transmits the above-mentioned transmission / reception unit. Receive the reflected wave of the wave. When the control unit recognizes that there are a plurality of articles in the pre-described placement unit based on the captured image of the article placed on the pre-described placement unit, the control unit and the recognition result based on the captured image and the transmission / reception unit Based on the reception result of the reflected wave, it is determined whether or not a plurality of articles are put together by a sheet-like covering, and the cargo handling device is controlled based on the determination result.
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。 Hereinafter, exemplary embodiments of the present invention will be disclosed. The configurations of the embodiments shown below, as well as the actions, results, and effects produced by such configurations, are examples. The present invention can be realized by a configuration other than the configurations disclosed in the following embodiments, and at least one of various effects based on the basic configuration and derivative effects can be obtained. ..
（第１の実施形態）
図１は、第１の実施形態の荷役システムの構成の一例を示す図である。図２は、第１の実施形態のセンサ装置の超音波送信素子及び超音波受信素子の配置例を示した図である。
(First Embodiment)
FIG. 1 is a diagram showing an example of a configuration of a cargo handling system according to the first embodiment. FIG. 2 is a diagram showing an arrangement example of an ultrasonic transmitting element and an ultrasonic receiving element of the sensor device of the first embodiment.
図１に示すように、荷役システム１は、荷役装置１０と、センサ装置２０と、カメラ３０と、フレーム４０と、を備える。また、荷役装置１０は、移動装置５０と、制御装置６０と、を備える。また、センサ装置２０、カメラ３０、および制御装置６０は、荷役制御装置７０を構成している。ここで、制御装置６０と、カメラ３０、センサ装置２０および移動装置５０とは、例えば、シリアルケーブルやＬＡＮ（Local Area Network）等を介して接続される。
As shown in FIG. 1, the cargo handling system 1 includes a cargo handling device 10, a
以下の説明において、本実施形態の荷役システム１における上下方向とは、例えば、下方向は、重力が向かう方向ベクトルを含んでおり、上方向は、当該下方向と反対方向であって、荷役装置１０が物品Ｗ１を持ち上げる方向とする。 In the following description, the vertical direction in the cargo handling system 1 of the present embodiment includes, for example, a downward direction including a direction vector toward which gravity is directed, and an upward direction is a direction opposite to the downward direction, and the cargo handling device. 10 is the direction in which the article W1 is lifted.
荷役装置１０は、パレット２の上面２ａ上に載置された物品Ｗ１を目的地（不図示）に荷役（移動）するための装置である。本実施形態の目的地は、物品Ｗ１の移動先であればよく、例えばコンベアが考えられる。パレット２は、フレーム４０が設置された床面Ｇに配置されている。すなわち、パレット２は、フレーム４０を基準として規定の位置に位置されており、当該規定の位置に位置されたパレット２の上面２ａの全領域が、物品Ｗ１の載置領域Ｒ１である。パレット２は、載置部の一例である。なお、載置部（載置領域Ｒ１）は、これに限定されない。載置部（載置領域Ｒ１）は、例えば、床面Ｇ等に設けられていてもよい。床面Ｇは、水平方向に広がっている。載置領域Ｒ１には、複数の物品Ｗ１が載置されうる。物品Ｗ１は、例えば、ペットボトル、段ボール等の箱等である。本実施形態においては、１以上の物品Ｗ１を含む複数の荷物を指す場合に、物品群Ｗという。パレット２は、フォークリフト等により、移動される。物品Ｗ１は、対象物や荷物等とも称される。
The cargo handling device 10 is a device for cargo handling (moving) the article W1 placed on the upper surface 2a of the
フレーム４０は、四角枠状の下枠部材４１と、四角枠状の上枠部材４２と、四つ（複数）の柱部材４３と、を有する。なお、図１では、四つの柱部材４３のうち二つが示されている。下枠部材４１は、床面Ｇに固定されている。上枠部材４２は、下枠部材４１の上方に設けられている。四つの柱部材４３は、下枠部材４１の四つの角部と上枠部材４２の四つの角部とを接続している。下枠部材４１内の床面Ｇにパレット２が配置されている。すなわち、パレット２は、フレーム４０内に配置されている。
The frame 40 has a square frame-shaped
カメラ３０は、パレット２の上方に設けられている。具体的には、カメラ３０は、フレーム４０の上枠部材４２に取付部材（不図示）を介して固定されている。カメラ３０は、上枠部材４２の枠内の中央部に配置されている。カメラ３０は、一例として３Ｄカメラである。
The
カメラ３０は、パレット２の載置領域Ｒ１に載置された物品群Ｗを上方から撮像し、撮像によって得られた撮像画像を制御装置６０に出力する。カメラ３０の撮像範囲は、少なくとも物品群Ｗを含むように設定されている。カメラ３０は、物品Ｗ１とカメラ３０との間の距離を測定可能である。カメラ３０は、撮像装置および距離測定装置の一例である。
The
移動装置５０は、パレット２、およびコンベアの周囲に配置されている。
The moving
移動装置５０は、基台１１１と、基台１１１に支持されたアーム部１１２と、アーム部１１２の先端に設けられた把持部１１３と、を備える。
The moving
基台１１１は、床面Ｇに固定された筐体である。
The
アーム部１１２は、一例として多関節ロボットアームである。アーム部１１２は、把持部１１３によって保持された物品Ｗ１を上下方向に移動する動作、および水平方向に移動する動作を実行可能に構成されている。 The arm portion 112 is, for example, an articulated robot arm. The arm portion 112 is configured to be able to perform an operation of moving the article W1 held by the grip portion 113 in the vertical direction and an operation of moving the article W1 in the horizontal direction.
例えば、アーム部１１２は、１軸または２軸回りに回動可能な複数の関節により連結された３つの可動部１１２ａ〜１１２ｄで構成される。可動部１１２ａは、基台１１１から延出している。可動部１１２ｂは、可動部１１２ａから延出している。可動部１１２ｃは、可動部１１２ｂから延出している。可動部１１２ｄは、可動部１１２ｃから延出している。以後、可動部１１２ｄにおける可動部１１２ｃ側の端部（基端部）から、可動部１１２ｄにおける可動部１１２ｃとは反対側の端部（先端部）へ向かう方向を、Ｄ１方向とも称する。
For example, the arm portion 112 is composed of three movable portions 112a to 112d connected by a plurality of joints that can rotate around one or two axes. The movable portion 112a extends from the
アーム部１１２（可動部１１２ｄ）の先端には、把持部１１３が取り付けられている。把持部１１３は、物品Ｗ１を挟み込んで把持する。把持部１１３は、例えば、ベース部１１３ａと、ベース部１１３ａからＤ１方向に突出した複数のアーム１１３ｂと、を備え、複数のアーム１１３ｂによって物品Ｗ１を挟み込んで把持する。なお、物品Ｗ１の把持は、挟持による把持方法に限定されない。例えば、把持部１１３は、負圧によって物品Ｗ１を吸着把持してもよい。また、把持部１１３は、２つの物品Ｗ１を一度に把持してもよい。なお、把持部１１３は、把持機構や保持部とも称される。
A grip portion 113 is attached to the tip of the arm portion 112 (
センサ装置２０は、超音波を用いて、例えばエコーロケーション技術等により、物品検出を行う。センサ装置２０は、移動装置５０の先端部（把持部１１３）に設けられ、パレット２に載置された物品群Ｗの上方等から当該物品群Ｗをセンシングし、そのセンシング結果を制御装置６０に出力する。
The
図２に示すように、センサ装置２０は、ハウジング２２と、超音波送信素子２３（図２）と、超音波受信素子２４（図２）と、を有する。ハウジング２２は、把持部１１３のベース部１１３ａの側面に固定されている。超音波送信素子２３および超音波受信素子２４は、素子群２５を構成している。把持部１１３を有するアーム部１１２は、超音波送信素子２３と超音波受信素子２４とを組み合わせた超音波センサユニットの向きを変更可能な駆動機構の一例を示したものとなる。
As shown in FIG. 2, the
図２に示すように、超音波送信素子２３は、一例として、１個設けられている。超音波送信素子２３は、ハウジング２２の取付面２２ａに配置されている。超音波送信素子２３は、アンテナ素子によって構成されている。超音波送信素子２３は、送信素子の一例である。なお、超音波送信素子２３の個数は、上記に限定されない。
As shown in FIG. 2, one ultrasonic
超音波受信素子２４の個数は、一例として、３個（複数）設けられている。超音波受信素子２４は、取付面２２ａにおいて超音波送信素子２３の周囲に配置されている。超音波受信素子２４は、超音波送信素子２３から送信された超音波の反射波を受信する。超音波受信素子２４は、アンテナ素子によって構成されている。超音波受信素子２４は、受信素子の一例である。なお、超音波受信素子２４の個数は、上記に限定されない。
As an example, the number of the ultrasonic
本実施形態のセンサ装置２０は、超音波受信素子２４を３個設けることとした。そして、センサ装置２０は、超音波送信素子２３が送信した超音波の反射波を、３個の超音波受信素子２４の各々が受信したタイミングの違いに応じて、センサ装置２０と、超音波を反射波として反射させた対象物と、の間の相対的な位置関係を認識できる。
The
具体的には、センサ装置２０は、超音波送信素子２３から、物品群Ｗに含まれる物品Ｗ１の上方等から物品Ｗ１に対して超音波を送信した場合に、物品Ｗ１で反射した反射波を、３個の超音波受信素子２４が受信する。そして、センサ装置２０は、３個の超音波受信素子２４の各々が受信した反射波に基づいて、センサ装置２０を基準とした、物品群Ｗに含まれる物品Ｗ１の相対的な位置を検出する。
Specifically, the
次に、センサ装置２０における超音波の伝搬経路について説明する。
Next, the propagation path of ultrasonic waves in the
図３は、第１の実施形態のセンサ装置２０から送信された超音波の伝搬経路の一例を示す図である。図３中の矢印は、超音波の伝播経路の一例を示す。図３に示すように、例えば、センサ装置２０の超音波送信素子２３は、パレット２の載置領域Ｒ１（図１参照）の方向に対して超音波を送信する。パレット２の載置領域Ｒ１に物品Ｗ１が存在する場合、超音波送信素子２３は、物品Ｗ１の斜め上方から物品Ｗ１に向けて超音波３１を送信することになる。波形３３は、超音波３１の波の形状を示している。超音波３１は、物品Ｗ１の上部のエッジ部Ｗ１ａで反射する。そして、センサ装置２０の超音波受信素子２４は、エッジ部Ｗ１ａで反射した反射波３２を受信する。波形３４は、反射波３２の波の形状を示している。反射波３２の波形３４は、減衰や反射等の影響で、超音波３１の波形３３と比べて振幅が小さくなる。しかしながら、超音波受信素子２４が受信した反射波のうち、エッジ部Ｗ１ａで反射した反射波３２の波形３４は、振幅が最も大きい（最も信号強度が大きい）。換言すれば、本実施形態のセンサ装置２０は、超音波受信素子２４が受信した反射波に基づいて、物品Ｗ１のエッジ部Ｗ１ａを検出できる。
FIG. 3 is a diagram showing an example of a propagation path of ultrasonic waves transmitted from the
図４は、制御装置６０およびセンサ装置２０のハードウェア構成の一例を示す図である。図４に示すように、センサ装置２０は、超音波送信素子２３及び超音波受信素子２４の他に、送信制御部３０１、オペアンプ３０２、オペアンプ３０５、混合器３０６および処理部３０７等を備える。本実施形態においては、超音波送信素子２３及び超音波受信素子２４の組み合わせを、超音波センサユニット（送受信部の一例）とも称する。
FIG. 4 is a diagram showing an example of the hardware configuration of the
送信制御部３０１は、使用する超音波の周波数（超音波波形）に応じた周波数信号を生成して送信する。送信制御部３０１で生成された周波数信号は、オペアンプ３０２を介して増幅された後、超音波送信素子２３に入力される。また、送信制御部３０１で生成された周波数信号は、混合器３０６にも入力される。より具体的には、送信制御部３０１は、バースト信号またはチャープ信号を超音波送信素子２３に送信する。これにより、超音波送信素子２３から送信される超音波が、バースト波またはチャープ波となる。送信制御部３０１は、信号生成部とも称される。
The
超音波送信素子２３および超音波受信素子２４は、上述のようにそれぞれアンテナ素子によって構成されている。超音波送信素子２３は、周波数信号に応じた超音波（超音波）として送信し、その反射波を超音波受信素子２４が受信する。超音波受信素子２４で受信された反射波は、オペアンプ３０２を介して増幅された後、反射波信号として混合器３０６に入力される。
The ultrasonic
混合器３０６は、入力された周波数信号および反射波信号の両信号に対して所定の式に基づいて相関を算出し、処理部３０７に出力する。相関を算出するための所定の式は、どのような式を用いてもよく、周知の手法による式でもよい。
The
処理部３０７は、混合器３０６から入力される信号を超音波送信素子２３（超音波受信素子２４）毎に検波した後、検出信号としてセンサインタフェース１２６に出力することができる。また、処理部３０７は、ＣＰＵがプログラムを実行することにより実現されてもよいし、専用のハードウェアによって構成されてもよい。処理部３０７は、演算・検波モジュールとも称される。
The
さらに、処理部３０７は、超音波受信素子２４によって受信された対象物（ある物品Ｗ１）からの反射波に基づいて、対象物（ある物品Ｗ１）と、当該対象物と隣接した物品Ｗ１とがシート状の覆い物Ｂ（図１）によってまとめられているかを判定する。なお、処理の詳細は後述する。
Further, the
上記の構成により、センサ装置２０では、センシング範囲内に存在する物品Ｗ１をセンシングし、そのセンシング結果を検出信号として制御装置６０（センサインタフェース１２６）に出力する。かかる検出信号は、センシング範囲内に存在する物品Ｗ１の上面、側面およびエッジ部Ｗ１ａ等の形状を超音波強度（電波強度）等の測定値で表したものとなる。また、センサ装置２０は、処理部３０７の処理結果を制御装置６０に送信する。
With the above configuration, the
図１に戻って、制御装置６０は、移動装置５０、センサ装置２０、およびカメラ３０を制御する装置である。すなわち、制御装置６０は、荷役システム１全体を制御する装置である。制御装置６０は、カメラ３０の撮像結果およびセンサ装置２０のセンシング結果に基づき、移動装置５０の動作を制御する。制御装置６０は、移動装置５０と一体的に設けられてもよいし、移動装置５０と別体として設けられてもよい。
Returning to FIG. 1, the
なお、本実施形態では、移動装置５０と制御装置６０とを荷役装置としたが、これに限らず、移動装置５０を荷役装置としてもよい。
In the present embodiment, the moving
次に、上述した制御装置６０の構成について説明する。
Next, the configuration of the
図４に示すように、制御装置６０は、プロセッサ１２１、表示部１２２、操作部１２３、カメラインタフェース１２４、移動装置インタフェース１２５、センサインタフェース１２６、通信部１２７、および記憶部１２８を備える。
As shown in FIG. 4, the
プロセッサ１２１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等の制御装置である。表示部１２２は、例えば、液晶ディスプレイ、タッチパネル式ディスプレイ等の表示デバイス（出力装置）によって実現される。操作部１２３は、キーボードやポインティングデバイス等の入力デバイス（入力装置）によって実現される。なお、操作部１２３は、表示部１２２の画面上に設けられるタッチパネルであってもよい。
The
カメラインタフェース１２４は、カメラ３０と通信可能に接続するインタフェースとする。プロセッサ１２１は、カメラインタフェース１２４に接続されたカメラ３０を制御する。移動装置インタフェース１２５は、移動装置５０と通信可能に接続するインタフェースとする。プロセッサ１２１は、移動装置インタフェース１２５に接続された移動装置５０を制御する。センサインタフェース１２６は、センサ装置２０と通信可能に接続するインタフェースとする。プロセッサ１２１は、センサインタフェース１２６に接続されたセンサ装置２０を制御する。
The
制御装置６０の通信部１２７は、外部装置と接続するための通信インタフェースである。通信部１２７は、プロセッサ１２１の制御の下、外部装置との間で各種データの授受を行う。外部装置としては、例えば、荷役システムを監視する監視装置が考えられる。そして、通信部１２７は、異常が生じた場合に、監視装置に異常が生じた旨の通知を行う。
The
記憶部１２８は、例えば、ＲＡＭ（Random Access Memory）等の主記憶装置、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部１２８は、荷役装置１０の動作に係るプログラムや設定情報等を記憶する。また、記憶部１２８は、移動装置５０の上下方向および水平方向の移動限界位置や、アーム部１１２の可動範囲、把持部１１３の把持可能な物品Ｗ１の寸法の上限および下限等を示した限界情報を記憶する。また、記憶部１２８は、物品Ｗ１のサイズ（寸法）や形状等を示した荷物情報を記憶する。
The storage unit 128 is realized by, for example, a main storage device such as a RAM (Random Access Memory), a semiconductor memory element such as a flash memory, or an auxiliary storage device such as a hard disk. The storage unit 128 stores programs, setting information, and the like related to the operation of the cargo handling device 10. Further, the storage unit 128 shows limit information indicating the vertical and horizontal movement limit positions of the moving
次に、図５を参照して、制御装置６０の機能構成の構成について説明する。ここで、図５は、制御装置６０とセンサ装置２０の機能構成の一例を示す図である。本実施形態においては、制御装置６０のプロセッサ１２１と、センサ装置２０の処理部３０７と、の組み合わせを、制御部の例として示した場合について説明する。しかしながら、制御部の例を、制御装置６０のプロセッサ１２１と、センサ装置２０の処理部３０７と、の組み合わせに、制限するものではなく、例えば、制御装置６０のプロセッサ１２１のみで実現してもよい。制御装置６０のプロセッサ１２１のみで実現する場合、センサ装置２０が備える算出部３０７ａ及び物品判定部３０７ｂが、プロセッサ１２１内で実現される。
Next, the configuration of the functional configuration of the
図５に示すように、制御装置６０においては、プロセッサ１２１が記憶部１２８に記憶されたプログラムを実行することで、認識部１２１１、移動制御部１２１２、出力部１２１６を機能部として実現する。また、移動制御部１２１２は、計画部１２１４、計画実行部１２１５を含み、計画部１２１４は、把持決定部１２１４ａを含む。
As shown in FIG. 5, in the
認識部１２１１は、カメラ３０で撮像された撮像画像を取得する。認識部１２１１は、カメラインタフェース１２４を介して撮像画像を直接取得してもよいし、カメラインタフェース１２４を介して一時的に記憶部１２８に記憶された撮像画像を取得してもよい。
The recognition unit 1211 acquires the captured image captured by the
認識部１２１１は、取得した撮像画像に基づいて、パレット２上に置かれた物品Ｗ１を認識する。例えば、本実施形態の認識部１２１１は、取得した撮像画像に対して画像処理を行うことで、撮像されている物品の輪郭を抽出し、当該輪郭に基づいて、パレット２上に置かれた物品Ｗ１を認識する。なお、本実施形態の認識部１２１１は、さらに、記憶部１２８に記憶された荷物情報で示されている物品Ｗ１のサイズ（寸法）や形状と、抽出された輪郭と、を比較することで、パレット２上に置かれた物品Ｗ１を認識してもよい。さらには、認識部１２１１は、カメラ３０が設けられた位置と、撮像画像に写っている物品Ｗ１の位置と、に基づいて、実際の３次元空間上における、パレット２上に置かれた物品Ｗ１の位置情報を特定する。物品Ｗ１の位置情報には、物品Ｗ１のエッジ部Ｗ１ａの位置情報も含まれている。
The recognition unit 1211 recognizes the article W1 placed on the
そして、認識部１２１１は、上記の撮像画像に基づいた認識結果を、センサインタフェース１２６を介して、センサ装置２０に送信する。これにより、センサ装置２０の処理部３０７は、認識された物品Ｗ１のサイズや形状、位置情報を把握できる。
Then, the recognition unit 1211 transmits the recognition result based on the captured image to the
センサ装置２０の処理部３０７は、例えば、ＣＰＵ、及びＲＯＭやＲＡＭ等のメモリの組み合わせで実現してもよい。処理部３０７は、混合器３０６から入力される信号を超音波送信素子２３（超音波受信素子２４）毎に検波するだけではなく、当該ＣＰＵが、ＲＯＭに格納されているプログラムを読み込み、実行することで、算出部３０７ａと、物品判定部３０７ｂと、を実現する。
The
算出部３０７ａは、混合器３０６から入力される信号を取得する。算出部３０７ａは、取得した信号に基づいて、物品Ｗ１のエッジ部とセンサ装置２０との間の距離を算出すると共に、センサ装置２０を基準とした物品Ｗ１のエッジ部の位置情報を算出する。
The
算出部３０７ａは、制御装置６０から、実際の３次元空間上における、センサ装置２０の位置情報を取得する。ところで、制御装置６０の移動制御部１２１２は、アーム部１１２を制御している。このため、制御装置６０の移動制御部１２１２は、アーム部１１２を制御した場合に、制御された後のアーム部１１２の関節毎の角度に基づいて、センサ装置２０の位置情報を算出する。移動制御部１２１２は、算出したセンサ装置２０の位置情報を、センサ装置２０に送信する。これにより、本実施形態の算出部３０７ａは、制御装置６０から、実際の３次元空間上のセンサ装置２０の位置情報を取得する。算出部３０７ａは、実際の３次元空間上のセンサ装置２０の位置情報と、センサ装置２０を基準とした物品Ｗ１のエッジ部の位置情報と、に基づいて、実際の３次元空間上における物品Ｗ１のエッジ部の位置情報を算出する。
The
物品判定部３０７ｂは、制御装置６０から送信された、認識部１２１１による認識結果に基づいて、パレット２上に置かれた物品Ｗ１が複数存在するか否かを判定する。物品判定部３０７ｂは、パレット２上に置かれた物品Ｗ１が複数存在すると判定した場合に、認識部１２１１による撮像画像に基づいた認識結果、及び超音波センサユニットによる反射波の受信結果に基づいて、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられているか否かを判定する。
The article determination unit 307b determines whether or not there are a plurality of articles W1 placed on the
本実施形態の物品判定部３０７ｂは、認識結果として撮像画像により認識された複数の物品Ｗ１のエッジ部の位置と、反射波の受信結果に基づいて定められる、反射波が反射したエッジ部の位置と、に基づいて、複数の物品Ｗ１が、シート状の覆い物Ｂでまとめられているか否かを判定する。 The article determination unit 307b of the present embodiment is determined based on the positions of the edge portions of the plurality of articles W1 recognized by the captured image as the recognition result and the reception result of the reflected wave, and the positions of the edge portions where the reflected wave is reflected. Based on the above, it is determined whether or not the plurality of articles W1 are put together by the sheet-shaped covering B.
つまり、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられている場合には、まとめられた複数の物品Ｗ１の組み合わせにおけるエッジ部からのみ反射波を受信する。これに対し、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられていない場合には、複数の物品Ｗ１の各々のエッジ部から反射波を受信する。 That is, when a plurality of articles W1 are grouped by a sheet-shaped covering B, the reflected wave is received only from the edge portion in the combination of the grouped articles W1. On the other hand, when the plurality of articles W1 are not grouped by the sheet-shaped covering B, the reflected wave is received from each edge portion of the plurality of articles W1.
そこで、物品判定部３０７ｂは、撮像画像で認識された、複数の物品Ｗ１の各々のエッジ部の位置と、反射波が反射した複数の物品Ｗ１の各々のエッジ部の位置と、が略一致する場合に、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられていないと判定する。一方、物品判定部３０７ｂは、撮像画像で認識された、複数の物品Ｗ１の各々のエッジ部に対応する位置に、反射波が反射したエッジ部が存在しない場合に、換言すれば撮像画像と反射波との間で、エッジ部の位置が略一致しない場合に、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられていると判定する。そして、物品判定部３０７ｂによる判定結果を、制御装置６０の移動制御部１２１２に送信する。
Therefore, in the article determination unit 307b, the position of each edge portion of the plurality of articles W1 recognized in the captured image and the position of each edge portion of the plurality of articles W1 to which the reflected wave is reflected substantially coincide with each other. In this case, it is determined that the plurality of articles W1 are not grouped by the sheet-shaped covering B. On the other hand, when the article determination unit 307b does not have an edge portion where the reflected wave is reflected at a position corresponding to each edge portion of the plurality of articles W1 recognized in the captured image, in other words, the captured image and the reflection. When the positions of the edge portions do not substantially match with the waves, it is determined that the plurality of articles W1 are grouped by the sheet-shaped covering B. Then, the determination result by the article determination unit 307b is transmitted to the
物品判定部３０７ｂは、シート状の覆い物Ｂでまとめられているか否かを考慮して、認識した物品Ｗ１の中から移動対象物を決定する。移動対象物の決定の手法は、例えば、一番上にある物品Ｗ１を選定するなど、種々の公知の技術を採用することができる。 The article determination unit 307b determines a moving object from the recognized articles W1 in consideration of whether or not the sheet-shaped covering B is put together. As a method for determining the moving object, various known techniques can be adopted, for example, selecting the article W1 at the top.
計画部１２１４は、認識部１２１１による物品Ｗ１の認識結果、および物品判定部３０７ｂによって決定された移動対象物を示す情報を、受信する。物品Ｗ１の認識結果は、一例として、物品群Ｗに含まれる物品Ｗ１の個数と、物品Ｗ１の各々の寸法、形状、デザイン、梱包特徴、および積載特徴、位置である。また、物品Ｗ１の各々の位置は、パレット２上の水平方向の位置、および高さ方向の位置である。また、物品Ｗ１の各々の位置は、把持部１１３からの相対距離によって表されてもよい。
The planning unit 1214 receives the recognition result of the article W1 by the recognition unit 1211 and the information indicating the moving object determined by the article determination unit 307b. As an example, the recognition result of the article W1 is the number of articles W1 included in the article group W, and the dimensions, shape, design, packing features, loading features, and positions of each of the articles W1. Further, each position of the article W1 is a position in the horizontal direction and a position in the height direction on the
計画部１２１４は、認識部１２１１の認識結果および物品判定部３０７ｂの判定結果に基づいて、移動装置５０のアーム部１１２および把持部１１３の駆動機構を動作させるための行動計画を導出（算出）する。
The planning unit 1214 derives (calculates) an action plan for operating the drive mechanism of the arm unit 112 and the grip unit 113 of the moving
詳細には、計画部１２１４の把持決定部１２１４ａは、認識部１２１１の画像認識結果および物品判定部３０７ｂの判定結果に基づいて、把持部１１３の把持対象物（すなわち移動対象物）の把持位置を決定する。例えば、把持決定部１２１４ａは、覆い物Ｂによって一つにまとめられている複数の物品Ｗ１が移動対象物の場合には、当該一つにまとめられた複数の物品Ｗ１のいずれかの位置を把持位置とする。一方、把持決定部１２１４ａは、覆い物Ｂによって一つにまとめられている複数の物品Ｗ１が移動対象物ではなく、物品Ｗ１の各々が移動対象物の場合には、移動対象物である物品Ｗ１のいずれかの位置を把持位置とする。把持位置は、例えば、アームでつかむタイプのロボットの場合には把持対象物のエッジ部Ｗ１ａであり、吸着タイプのロボットの場合には把持対象物の中央である。このように、把持の方法に合わせて把持位置を変更してよい。 Specifically, the gripping determination unit 1214a of the planning unit 1214 determines the gripping position of the gripping object (that is, the moving object) of the gripping unit 113 based on the image recognition result of the recognition unit 1211 and the determination result of the article determination unit 307b. decide. For example, when the plurality of articles W1 grouped together by the covering B are objects to be moved, the gripping determination unit 1214a grips any position of the plurality of articles W1 grouped together. Position. On the other hand, in the gripping determination unit 1214a, when the plurality of articles W1 grouped by the covering B are not moving objects and each of the articles W1 is a moving object, the moving object W1 The gripping position is any of the above positions. The gripping position is, for example, the edge portion W1a of the gripping object in the case of a robot that grips with an arm, and the center of the gripping object in the case of a suction type robot. In this way, the gripping position may be changed according to the gripping method.
また、計画部１２１４は、画像認識結果または判定結果に基づいて、把持対象物を、把持部１１３が把持可能か否かを判定する。例えば、計画部１２１４は、物品Ｗ１の寸法が、記憶部１２８に記憶された移動装置５０の限界情報に定義された把持部１１３の把持可能な物品Ｗ１の寸法の上限から下限の範囲に含まれない場合に、当該物品Ｗ１の把持を回避すると判定する。この場合、計画部１２１４は、行動計画を導出せずに、把持を回避することを、出力部１２１６に送出する。また、計画部１２１４は、把持を回避する対象である物品Ｗ１が映り込んだ撮像画像を、出力部１２１６に送出する。
Further, the planning unit 1214 determines whether or not the gripping unit 113 can grip the gripping object based on the image recognition result or the determination result. For example, in the planning unit 1214, the dimension of the article W1 is included in the range from the upper limit to the lower limit of the dimension of the grippable article W1 of the grip portion 113 defined in the limit information of the moving
出力部１２１６は、計画部１２１４から物品Ｗ１の把持を回避することを通知された場合に、外部装置に把持回避の報知情報を出力する。例えば、出力部１２１６は、把持回避の理由と、把持回避される物品Ｗ１が映り込んだ撮像画像とを、外部装置に出力する。また、計画部１２１４は、把持回避の理由と、把持回避される物品Ｗ１が映り込んだ撮像画像とを、制御装置６０の表示部１２２に表示させてもよい。
The
計画部１２１４は、把持対象物を把持部１１３に把持させると判定した場合は、行動計画を導出し、導出した行動計画を、計画実行部１２１５に送出する。例えば、計画部１２１４は、把持対象物に設定された１または複数の物品Ｗ１をコンベアまで移動する経路（最短経路）を示した行動計画を導出する。なお、計画部１２１４は、２つ以上の物品Ｗ１を同時に把持して移動させる行動計画を導出してもよい。行動計画の導出の手法は、公知の技術を採用することができる。
When the planning unit 1214 determines that the gripping object is to be gripped by the gripping unit 113, the planning unit 1214 derives an action plan and sends the derived action plan to the
計画実行部１２１５は、計画部１２１４で導出された行動計画に基づいて、移動装置５０の動作（駆動機構）を制御する。例えば、計画実行部１２１５は、行動計画に基づき移動装置５０の動作を制御することで、移動対象物の物品Ｗ１を行動計画に示された経路でコンベアまで移動させる。また、行動計画は、計画部１２１４によって、物品判定部３０７ｂによる判定結果と認識部１２１１による認識結果とに基づいて導出されているため、換言すれば、計画実行部１２１５は、判定結果と認識結果とに基づいて、物品Ｗ１を把持するよう制御する。計画実行部１２１５の制御対象は、アーム部１１２および把持部１１３の駆動機構である。
The
上述した機能構成により、荷役装置１０では、パレット２に置かれた物品Ｗ１を、目的地に荷役（移動）させることができる。
With the above-described functional configuration, the cargo handling device 10 can handle (move) the article W1 placed on the
次に、荷役システム１が実行する荷役処理の流れを説明する。図６は、第１の実施形態の荷役システム１が実行する荷役処理のフローチャートである。 Next, the flow of cargo handling processing executed by the cargo handling system 1 will be described. FIG. 6 is a flowchart of cargo handling processing executed by the cargo handling system 1 of the first embodiment.
図６に示すように、認識部１２１１が移動対象物を決定する（Ｓ１１）。次に、送信制御部３０１が周波数信号を超音波送信素子２３に送信し、超音波送信素子２３が超音波を送信する（Ｓ１２）。
As shown in FIG. 6, the recognition unit 1211 determines the moving object (S11). Next, the
次に、超音波受信素子２４が超音波の反射波を受信し、算出部３０７ａは、センサ装置２０から超音波の反射地点までの距離（以後、第１の算出距離とも称する）を算出する（Ｓ１３）。
Next, the ultrasonic
算出部３０７ａが実行する、センサ装置２０から超音波の反射地点までの第１の算出距離の算出処理（距離算出処理）を、図７〜図１０を参照して詳細に説明する。図７および図８は、第１の実施形態のセンサ装置２０が実行する距離算出処理を説明するための図であって、隣接する複数の物品Ｗ１が覆い物Ｂによって覆われ、一つにまとめられている例を示す図である。図９および図１０は、第１の実施形態のセンサ装置２０が実行する距離算出処理を説明するための図であって、隣接する複数の物品Ｗ１が覆い物Ｂで覆われておらず、一つにまとめられていない例を示す図である。なお、図１，図７〜図１０では、隣り合う二つの物品Ｗ１が離間した状態が示されているが、実際には隣り合う二つの物品Ｗ１は接触していてもよい。また、図７，９において、矢印は、反射波の進行方向の一例を示し、波形状は、反射波の波形を模式的に示している。ここで、覆い物Ｂは、透明または半透明のビニールシート等である。覆い物Ｂは、まとめ物、ラッピングシート（シート）、シュリンクフィルム（フィルム）とも称される。
The calculation process (distance calculation process) of the first calculated distance from the
超音波送信素子２３によって空気中に送信される超音波すなわち空気中に放射される送信信号をｆ（ｔ）としたときに、超音波受信素子２４は、受信信号（反射波）ｘ（ｔ）を到達時間Ｔだけ遅れたタイミングで受信する。算出部３０７ａは、超音波受信素子２４が受信した受信信号（反射波）ｘ（ｔ）に対して、送信信号ｆ（ｔ）との相関をとることで、超音波の反射地点を算出する。
When the ultrasonic wave transmitted into the air by the ultrasonic
算出部３０７ａは、相関値が、設定された閾値以上の場合に、超音波送信素子２３から送信された送信信号の反射波を超音波受信素子２４が受信したと判定する。送信信号の送信時から相関値のピーク地点までの時間に音速を乗算した値の半分が超音波受信素子２４から超音波の反射地点までの第１の算出距離となる。
When the correlation value is equal to or greater than the set threshold value, the
算出部３０７ａは、３個の超音波受信素子２４でそれぞれ受信した受信信号に対して、送信信号との相関値を算出して、超音波受信素子２４から反射地点までの第１の算出距離を算出する。
The
ここで、超音波の波長に対して物品Ｗ１の表面の凹凸は十分に小さいため、物品Ｗ１の表面では、超音波は、鏡面反射（正反射）する。このため、物品Ｗ１の斜め上方から送信された超音波における、センサ装置２０が受信する物品Ｗ１からの反射波は、物品Ｗ１のエッジ部Ｗ１ａで反射した信号となる。これは、物品Ｗ１が覆い物Ｂによって覆われた場合も同様である。
Here, since the unevenness of the surface of the article W1 is sufficiently small with respect to the wavelength of the ultrasonic wave, the ultrasonic wave is specularly reflected (normally reflected) on the surface of the article W1. Therefore, the reflected wave from the article W1 received by the
このように、センサ装置２０で受信できる反射波は、物品Ｗ１のエッジ部Ｗ１ａや覆い物Ｂのエッジ部Ｂａでの反射波となる。このため、図７，８に示すように、隣接する複数の物品Ｗ１が覆い物Ｂで覆われて一つにまとめられている場合には、超音波受信素子２４は、複数の物品Ｗ１のうち端に位置する物品Ｗ１の外側のエッジ部Ｗ１ａに対応して形成された覆い物Ｂのエッジ部Ｂａの反射波のみを受信する。つまり、この場合、超音波受信素子２４は、覆い物Ｂにおける、複数の物品Ｗ１のエッジ部Ｗ１ａのうち互いに隣り合うエッジ部Ｗ１ａ（図８中の領域Ｃ中のエッジ部Ｗ１ａ）を覆った部分Ｂｂ（図８）の反射波は、超音波受信素子２４に到達しない。
As described above, the reflected wave that can be received by the
一方、図９，１０に示すように、隣接する複数の物品Ｗ１が覆い物Ｂで覆われておらず一つにまとめられていない場合には、超音波受信素子２４は、複数の物品Ｗ１のそれぞれのエッジ部Ｗ１ａからの反射波を受信する。
On the other hand, as shown in FIGS. 9 and 10, when the plurality of adjacent articles W1 are not covered with the covering B and are not combined into one, the
図６に戻って、Ｓ１４にて、算出部３０７ａは、各超音波受信素子２４から反射地点迄の各第１の算出距離から、反射位置を算出する。詳細には、３個の超音波受信素子２４から反射地点迄の距離がそれぞれ分かるため、算出部３０７ａは、３個の超音波受信素子２４のそれぞれの設置位置を中心とし、第１の算出距離を半径とした３個の球の交点の位置を算出する。そして、算出部３０７ａは、算出された３個の球の交点の位置を、反射地点の位置として算出する。
Returning to FIG. 6, in S14, the
次に、物品判定部３０７ｂは、認識部１２１１によって認識された、移動対象物である物品Ｗ１、及び隣接する他の物品Ｗ１（以後、隣接物品Ｗ１とも称する）のエッジ部Ｗ１ａの位置と、算出された反射地点の位置と、が一致するか否かを判定する（Ｓ１５）。物品Ｗ１及び隣接物品Ｗ１のエッジ部Ｗ１ａは、認識部１２１１によって撮像画像データから認識されたものとする。なお、本実施形態では、エッジ部Ｗ１ａの位置と、算出された反射地点の位置と、が一致するか否かを例に示したが、一致するか否かに制限するものではなく、略一致するか否かを判断できれば良い。例えば、エッジ部Ｗ１ａの位置と、算出された反射地点の位置と、の類似度が所定の閾値より高いか否かを判断してもよい。 Next, the article determination unit 307b calculates the positions of the article W1 which is a moving object and the edge portion W1a of another adjacent article W1 (hereinafter, also referred to as an adjacent article W1) recognized by the recognition unit 1211. It is determined whether or not the position of the reflected point is the same (S15). It is assumed that the edge portion W1a of the article W1 and the adjacent article W1 is recognized from the captured image data by the recognition unit 1211. In the present embodiment, whether or not the position of the edge portion W1a and the calculated position of the reflection point match is shown as an example, but it is not limited to whether or not they match, and they are substantially the same. It is only necessary to be able to determine whether or not to do so. For example, it may be determined whether or not the degree of similarity between the position of the edge portion W1a and the calculated position of the reflection point is higher than a predetermined threshold value.
物品Ｗ１及び隣接物品Ｗ１のエッジ部Ｗ１ａから反射波を受信した場合、物品Ｗ１と隣接物品Ｗ１と、が覆い物Ｂでまとめられていない、換言すれば物品Ｗ１と隣接物品Ｗ１とは、個別の物品と判定できる。ところで、物品Ｗ１及び隣接物品Ｗ１のエッジ部Ｗ１ａは、撮像画像に基づいた認識結果から把握できる。従って、撮像画像に基づいた認識結果である、物品Ｗ１及び隣接物品Ｗ１のエッジ部Ｗ１ａの位置から反射波を受信した場合には、覆い物Ｂでまとめられていないと判定できる。そこで、本実施形態の物品判定部３０７ｂは、撮像画像に基づいた認識結果である隣接物品Ｗ１のエッジ部Ｗ１ａの位置と、算出された反射地点の位置とが一致する場合には、物品Ｗ１と隣接物品Ｗ１と、は個別の物品であると判定する。よって、物品判定部３０７ｂは、移動対象物に決定された物品Ｗ１と隣接する他の物品Ｗ１のエッジ部Ｗ１ａの位置と、算出された反射地点の位置とが一致すると判定した場合には（Ｓ１５：Ｙｅｓ）、当該隣接する他の物品Ｗ１は個別の物品であると判定する。そして、把持決定部１２１４ａは、当該判定結果に基づいて、Ｓ１１で決定された移動対象物の把持位置を決定する（Ｓ１６）。このように、移動対象物が覆い物Ｂによって一つにまとめられていないと判定された場合、物品Ｗ１と、隣接する他の物品Ｗ１と、をそれぞれ別の移動対象物として処理される。 When the reflected wave is received from the edge portion W1a of the article W1 and the adjacent article W1, the article W1 and the adjacent article W1 are not grouped by the covering B, in other words, the article W1 and the adjacent article W1 are separate. It can be judged as an article. By the way, the edge portion W1a of the article W1 and the adjacent article W1 can be grasped from the recognition result based on the captured image. Therefore, when the reflected wave is received from the position of the edge portion W1a of the article W1 and the adjacent article W1, which is the recognition result based on the captured image, it can be determined that the reflection wave is not collected by the covering B. Therefore, the article determination unit 307b of the present embodiment sets the article W1 when the position of the edge portion W1a of the adjacent article W1 which is the recognition result based on the captured image and the position of the calculated reflection point match. It is determined that the adjacent article W1 and the adjacent article W1 are individual articles. Therefore, when the article determination unit 307b determines that the position of the edge portion W1a of the other article W1 adjacent to the article W1 determined as the moving object and the position of the calculated reflection point match (S15). : Yes), it is determined that the other adjacent article W1 is an individual article. Then, the gripping determination unit 1214a determines the gripping position of the moving object determined in S11 based on the determination result (S16). In this way, when it is determined that the moving objects are not grouped together by the covering object B, the article W1 and the other adjacent articles W1 are processed as separate moving objects.
一方、物品判定部３０７ｂは、移動対象物に決定された物品Ｗ１と隣接する他の物品Ｗ１のエッジ部Ｗ１ａの位置と、算出された反射地点の位置とが一致しないと判定した場合には（Ｓ１５：Ｎｏ）、Ｓ１８に進む。Ｓ１８にて、物品判定部３０７ｂは、移動対象物に決定された物品Ｗ１と隣接物品Ｗ１との組み合わせを一つの移動対象物と判断する（Ｓ１８）。すなわち、この場合、把持決定部１２１７ａは、移動対象物に決定された物品Ｗ１と、当該移動対象物に決定された物品Ｗ１と隣接する他の物品Ｗ１とは、覆い物Ｂによって覆われて一つにまとめられていると判定し、隣接物品Ｗ１を移動対象物に加える。つまり、移動対象物が更新される。 On the other hand, when the article determination unit 307b determines that the position of the edge portion W1a of the other article W1 adjacent to the article W1 determined as the moving object does not match the calculated position of the reflection point ( S15: No), proceed to S18. In S18, the article determination unit 307b determines that the combination of the article W1 determined as the moving object and the adjacent article W1 is one moving object (S18). That is, in this case, in the grip determination unit 1217a, the article W1 determined as the moving object and the other article W1 adjacent to the article W1 determined as the moving object are covered with the covering B. It is determined that they are grouped together, and the adjacent article W1 is added to the moving object. That is, the moving object is updated.
そして、物品判定部３０７ｂは、認識結果に基づいて、他に隣接物品Ｗ１が存在するか否かを判定する（Ｓ１９）。他に隣接物品Ｗ１が存在すると判定した場合（Ｓ１９：Ｙｅｓ）、センサ装置２０の処理部３０７は、Ｓ１８で一つと判断された移動対象物と、他の隣接物品Ｗ１と、についてエッジ部を検出し（Ｓ２０）、再びＳ１５に戻り、Ｓ１５以降の処理を実行する。
Then, the article determination unit 307b determines whether or not there is another adjacent article W1 based on the recognition result (S19). When it is determined that there is another adjacent article W1 (S19: Yes), the
一方、物品判定部３０７ｂは、認識結果に基づいて、他に隣接物品Ｗ１が存在しないと判定した場合（Ｓ１９：Ｎｏ）、把持決定部１２１４ａは、当該判定結果に基づいて、Ｓ１８で一つと判断された移動対象物の把持位置を決定する（Ｓ２１）。 On the other hand, when the article determination unit 307b determines that there is no other adjacent article W1 based on the recognition result (S19: No), the grip determination unit 1214a determines that the article is one in S18 based on the determination result. The gripping position of the moved object is determined (S21).
このように、制御装置６０は、移動対象物からの反射波（超音波信号）に基づいて、覆い物Ｂで複数の物品Ｗ１が覆われているか否かを判定できるため、移動対象物の正しい大きさを認識できる。これにより、把持決定部１２１４ａは、移動対象物の適切な把持位置を決定することができる。
In this way, the
Ｓ１６及びＳ２１の処理の後に、移動制御部１２１２は、移動対象物を把持部１１３に把持させて、移動対象物を移動装置５０によって移動させる（Ｓ１７）。そしては、荷役システム１は、Ｓ１１に戻り、上記の処理を繰り返し実行する。
After the processing of S16 and S21, the
以上のように、本実施形態では、制御装置６０が備える認識部１２１１及び移動制御部１２１２と、センサ装置２０が備える、算出部３０７ａ及び物品判定部３０７ｂと、を組み合わせることで、制御部を実現する。当該制御部は、上述した構成を組み合わせることで、パレット２（載置部）に載置された物品Ｗ１の撮像画像に基づいて、パレット２に物品Ｗ１が複数存在することを認識した場合に、当該認識結果及び超音波センサユニットの反射波の受信結果に基づいて、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられているか否かを判定し、判定結果に基づいて、移動装置５０を制御する。よって、本実施形態によれば、複数の物品Ｗ１がシート状の覆い物Ｂによって覆われて覆い物Ｂによって一つにまとめられている場合であっても、移動対象物の適切な把持位置を決定することができるので、物品Ｗ１の移動を良好に行なうことができる。
As described above, in the present embodiment, the control unit is realized by combining the recognition unit 1211 and the
また、本実施形態では、センサ装置２０の超音波センサユニット（送受信部）は、送信波を送信する１個の超音波送信素子２３（送信素子）と、反射波を受信する複数個の超音波受信素子２４（受信素子）と、を有する。よって、超音波受信素子２４が１個の場合と比較して、隣接する複数の物品Ｗ１がシート状の覆い物Ｂによって覆われて覆い物Ｂによって一つにまとめられているかの判定の精度が向上しやすい。
Further, in the present embodiment, the ultrasonic sensor unit (transmission / reception unit) of the
また、本実施形態では、送信制御部３０１が、超音波送信素子２３を駆動させる際にバースト波またはチャープ波を使用する。バースト波を使用することで、反射波の有無によって物品の有無を判定できるという利点と、センサ装置２０の移動速度の算出が容易に実施できるという利点がある。また、特定の周波数のみを送信する安価なセンサ装置２０を実現できる。チャープ信号は、送受信可能な周波数帯域の広い超音波センサが必要になるが、対象物までの距離の算出の分解能の向上と、耐雑音性を向上することができる。
Further, in the present embodiment, the
（第１の変形例）
第１の実施形態においては、１個の超音波送信素子２３と、３個の超音波受信素子２４と、を備える例について説明した。しかしながら、超音波送信素子２３と超音波受信素子２４との配置は、様々な態様が考えられる。そこで、第１の変形例では、第１の実施形態とは異なる、超音波送信素子２３と超音波受信素子２４との配置例について説明する。図１１は、第１の実施形態の第１の変形例におけるセンサ装置の超音波送信素子２３と超音波受信素子２４との配置例を示した図である。
(First modification)
In the first embodiment, an example including one ultrasonic
図１１に示すように、本変形例では、超音波送信素子２３の個数と超音波受信素子２４の個数とが、それぞれ１個である。本変形例は、複数の超音波受信素子２４を備えていない。このため、本変形例は、３次元空間上の位置の代わりに、距離に基づいて、覆い物Ｂで一つにまとめられているか否かを判断する。
As shown in FIG. 11, in this modification, the number of the
上記構成の本変形例では、物品判定部３０７ｂは、算出したセンサ装置２０から超音波の反射地点までの第１の算出距離と、制御装置６０の認識部１２１１がカメラ３０の出力に基づいて算出した、センサ装置２０から移動対象物のエッジ部Ｗ１ａまでの第２の算出距離と、を比較して、隣接する複数の物品Ｗ１が覆い物Ｂで覆われて一つにまとめられているかを判定する。具体的には、物品判定部３０７ｂは、第１の算出距離と第２の算出距離とが一致する場合には反射点が存在し、隣接物品Ｗ１は個別の物品であると判定する。すなわち、この場合、物品判定部３０７ｂは、隣接する複数の物品Ｗ１が覆い物Ｂで覆われて一つにまとめられていないと判定する。一方、物品判定部３０７ｂは、第１の算出距離と第２の算出距離とが一致しない場合には、移動対象物に決定された物品Ｗ１と、当該移動対象物に決定された物品Ｗ１と隣接する他の物品Ｗ１とは、覆い物Ｂによって覆われて一つにまとめられていると判定し、隣接物品Ｗ１を移動対象物に加える。つまり、移動対象物が更新される。
In this modification of the above configuration, the article determination unit 307b is calculated based on the calculated first calculated distance from the
以上のように、本変形例では、超音波送信素子２３（送信素子）の個数と超音波受信素子２４（受信素子）の個数が、それぞれ１個である。よって、超音波送信素子２３と超音波受信素子２４で構成される超音波センサユニットの小型化がしやすい。
As described above, in this modification, the number of the ultrasonic transmitting elements 23 (transmitting elements) and the number of the ultrasonic receiving elements 24 (receiving elements) are one each. Therefore, it is easy to miniaturize the ultrasonic sensor unit composed of the
なお、上述した実施形態及び本変形例では、超音波送信素子２３と超音波受信素子２４とが別個に設けられているが、これに限定されない。例えば、一つの超音波素子が、超音波の送受信を行なってもよい。すなわち、一つの超音波素子が、超音波送信素子２３と超音波受信素子２４とを兼ねてもよい。
In the above-described embodiment and this modification, the ultrasonic
（第２の変形例）
次に、第１の実施形態の第２の変形例を説明する。本変形例では、送信制御部３０１は、センサ装置２０とパレット２（載置部）に載置された物品Ｗ１との間の距離に応じて、超音波の送信形態を変更する。例えば、送信制御部３０１は、センサ装置２０とパレット２（載置部）に載置された物品Ｗ１との間の距離に応じて、超音波の送信信号の長さや送信間隔を変更する。センサ装置２０と物品Ｗ１との間の距離は、カメラ３０によって測定された検出が用いられる。
(Second modification)
Next, a second modification of the first embodiment will be described. In this modification, the
ここで、センサ装置２０と物品Ｗ１との間の距離が比較的遠い場合には、センサ装置２０が超音波（信号）を送信して物品Ｗ１の反射波を受信するまでの超音波の伝搬経路が長いため、当該伝搬距離に応じて送信信号が減衰する。このため、チャープ波を送信する場合には、受信時の信号強度を確保するために、ある一定以上の長さの信号長でセンサ装置２０の超音波送信素子２３を駆動させる必要がある。
Here, when the distance between the
一方、センサ装置２０と物品Ｗ１との間の距離が比較的近い場合には、伝搬距離が短くなり受信できる信号強度が増加するため、チャープ波を送信する場合には、信号長を短くできる。信号長を短くすることで、反射波から求める相関値のピーク地点を容易に検出でき、センサ装置２０から物品Ｗ１までの距離の検出精度を向上できる。また、この場合に、超音波（送信信号）を送信する間隔を短くすることで、物品Ｗ１の反射波を受信（取得）する回数が増加するので、精度よく反射地点を検出することができる。
On the other hand, when the distance between the
以上のように、センサ装置２０と物品Ｗ１との間の距離が長い程、超音波の送信信号の長さを長くする。
As described above, the longer the distance between the
（第２の実施形態）
次に、第２の実施形態を図１２〜図１４を参照して説明する。図１２は、第２の実施形態のセンサ装置の超音波送信素子と超音波受信素子との配置例を示した図である。図１３は、第２の実施形態の反射波の到来方向の検出方法を説明するための図である。図１４は、第２の実施形態の荷役システムが実行する荷役処理のフローチャートである。
(Second Embodiment)
Next, the second embodiment will be described with reference to FIGS. 12 to 14. FIG. 12 is a diagram showing an arrangement example of an ultrasonic transmitting element and an ultrasonic receiving element of the sensor device of the second embodiment. FIG. 13 is a diagram for explaining a method of detecting the arrival direction of the reflected wave of the second embodiment. FIG. 14 is a flowchart of cargo handling processing executed by the cargo handling system of the second embodiment.
図１２に示すように、本実施形態では、複数の超音波受信素子２４は、第１の直線Ｌ１に沿って並べられた複数個の超音波受信素子２４Ａと、第１の直線Ｌ１と交差する第２の直線Ｌ２に沿って並べられた複数個の超音波受信素子２４Ｂと、を含む。換言すると、複数の超音波受信素子２４は、Ｄ２方向に沿って並べられた複数個の超音波受信素子２４Ａと、Ｄ２方向と交差するＤ３に沿って並べられた複数個の超音波受信素子２４Ｂと、を含む。一例として、第１の直線Ｌ１（Ｄ２方向）、第２の直線Ｌ２（Ｄ３方向）、およびＤ１方向は、互いに直交している。また、第１の直線Ｌ１と第２の直線との交点に位置する超音波受信素子２４は、超音波受信素子２４Ａおよび超音波受信素子２４Ｂを兼ねる。また、超音波受信素子２４Ａの個数および超音波受信素子２４Ｂの個数は、同じである。超音波受信素子２４Ａは、第１の受信素子の一例であり、超音波受信素子２４Ｂは、第２の受信素子の一例である。なお、本実施形態は、第１の直線Ｌ１と、第１の直線Ｌ１と交差する第２の直線Ｌ２と、に沿って超音波受信素子２４を並べる例について説明するが、複数の直線に沿って超音波受信素子２４を並べる手法に制限するものではなく、一つの直線に沿って超音波受信素子２４を並べてもよい。
As shown in FIG. 12, in the present embodiment, the plurality of ultrasonic
算出部３０７ａは、複数の超音波受信素子２４の反射波の受信結果に基づいて、センサ装置２０を基準とした、超音波の反射地点の位置を算出する。超音波の反射地点とは、上述した実施形態と同様に、反射波が反射するエッジ部の位置とする。以下に、算出部３０７ａによる超音波の反射地点の位置の算出方法を図１３を参照して説明する。
The
本実施形態では、受信信号（反射波）に対して、ビームフォーミング法を用いた演算を実施することで、超音波の反射地点の位置を算出する。図１３に示すように、反射波を平面波と仮定した場合に、超音波受信素子２４と超音波受信素子２４との間の距離ｄ０と音速ｃを用いて、式（１）より遅延時間ｔ０を求めることができる。角度θとは、複数の超音波受信素子２４が直線上に並べられた方向と、複数の超音波受信素子２４のうち基準となる超音波受信素子２４から目的地までの方向と、の間の角度とする。
ｔ０＝ｄ０・ＳＩＮθ／ｃ ・・・（１）
In the present embodiment, the position of the reflection point of the ultrasonic wave is calculated by performing the calculation using the beamforming method on the received signal (reflected wave). As shown in FIG. 13, when the reflected wave is assumed to be a plane wave, the delay time t0 is calculated from the equation (1) by using the distance d0 and the sound velocity c between the
t0 = d0 ・ SINθ / c ・ ・ ・ (1)
ビームフォーミング法を用いた演算を行う方向（Ｄ２方向、Ｄ３方向）ごとに、各超音波受信素子２４の遅延時間を求め、各受信信号に対して求めた遅延時間だけ遅延させた信号全てを加算することで、各方向（Ｄ２方向、Ｄ３方向）にビームフォーミング法を用いて演算した際の受信信号を作成できる。
The delay time of each ultrasonic receiving
超音波の反射地点が、センサ装置２０の正面に存在しない場合、複数の超音波受信素子２４で受信した反射波を示す信号をそのまま加算すると、それぞれの反射波は位相が異なるため、目的の信号を得る事ができない。このため、反射地点に強く反応した反射波を示す信号を算出するためには、超音波受信素子２４毎に算出された遅延時間ｔ０を考慮する必要がある。そこで、算出部３０７ａは、超音波受信素子２４の各々が受信した反射波を示す信号に対して、超音波受信素子２４毎に算出された遅延時間ｔ０を遅延させた後、遅延させた反射波を示す信号を全て加算する。
When the ultrasonic reflection point does not exist in front of the
これにより、反射地点に強く反応した反射波を示す信号を得ることができる。本実施形態においては、算出部３０７ａは、複数の角度θの各々に対応する遅延パターン（角度θ毎の超音波受信素子２４の各々の遅延時間の組み合わせ）を備えておく。そして、算出部３０７ａは、複数の超音波受信素子２４で受信した反射波を示す信号に対して、複数の遅延パターンを用いて調整することで、反射地点に強く反応する、反射波を示す信号を得られる。そして、算出部３０７ａは、反射地点に強く反応した時に適用された遅延パターンの角度θから、反射地点が存在する方向を認識できる。
As a result, it is possible to obtain a signal indicating a reflected wave that strongly reacts to the reflection point. In the present embodiment, the
そして、算出部３０７ａは、反射地点が存在する方向、及び反射地点までの距離を組み合わせることで、センサ装置２０を基準とした、反射地点の位置、換言すれば、反射が反射した（移動対象物の）エッジ部の位置を算出できる。
Then, the
ビームフォーミングは、超音波受信素子２４を直線状に設置した軸の方向しか反射地点が存在する方向を判定できない。このため、本実施形態では、２軸方向を検出（算出）するために、図１２に示すような十字状に超音波受信素子２４を配置した。超音波受信素子２４の個数を増加することで、虚像の低減効果が期待でき、物品Ｗ１からの反射波の数が多い場合にそれぞれの反射の分離が容易になるという利点がある。
Beamforming can determine the direction in which the reflection point exists only in the direction of the axis in which the ultrasonic
次に、本実施形態の荷役システム１が実行する荷役処理を図１４を参照して説明する。 Next, the cargo handling process executed by the cargo handling system 1 of the present embodiment will be described with reference to FIG.
本実施形態の荷役処理は、図１４に示すように、Ｓ１１〜Ｓ１３の後にＳ２１を行なう。Ｓ２１にて、物品判定部３０７ｂは、受信した受信信号に対してビームフォーミング処理を行い、各方向（Ｄ２方向、Ｄ３方向）の受信信号を作成し、十字状に配置された超音波受信素子２４の２つの配列方向（Ｄ２方向、Ｄ３方向）でそれぞれ反射波の到来方向、換言すれば反射地点が存在する方向を算出する（Ｓ２１）。そして、物品判定部３０７ｂは、到来時間差を考慮して求めた超音波受信素子２４から反射地点までの距離と、算出した反射地点が存在する方向とから、反射地点の位置を算出する（Ｓ１４）。到来時間差とは、超音波を送信してから受信するまでの超音波受信素子２４間の時間差とする。本実施形態の算出部３０７ａは、複数の超音波受信素子２４の到来時間の平均に基づいて反射地点までの距離を算出することで、到来時間差を考慮した、反射地点までの距離を算出できる。他の例としては、算出部３０７ａは、特定の超音波受信素子２４（例えば、図１３において遅延時間ｔ０＝０となる超音波受信素子２４）が反射波を受信するまでの到来時間に基づいて、反射地点までの距離を算出してもよい。そして、Ｓ１５以降の処理が行なわれる。
In the cargo handling process of this embodiment, as shown in FIG. 14, S21 is performed after S11 to S13. In S21, the article determination unit 307b performs beam forming processing on the received received signal, creates a received signal in each direction (D2 direction, D3 direction), and arranges the
以上のように、本実施形態では、超音波送信素子２３と超音波受信素子２４とを組み合わせた超音波センサユニット（送受信部）は、第１の直線Ｌ１に沿って並べられた複数個の超音波受信素子２４Ａ（第１の受信素子）と、第１の直線Ｌ１と交差する第２の直線Ｌ２に沿って並べられた複数個の超音波受信素子２４（第２の受信素子）と、を有する。物品判定部３０７ｂ（判定部）は、超音波受信素子２４Ａの反射波の受信結果と超音波受信素子２４の反射波の受信結果とに基づいて、センサ装置２０に対する反射波の到来方向を検出する。よって、物品Ｗ１の位置の検出の精度が向上する。
As described above, in the present embodiment, the ultrasonic sensor unit (transmission / reception unit) in which the ultrasonic
（第３の実施形態）
上述した実施形態においては、次に、第３の実施形態を図１５を参照して説明する。図１５は、第３の実施形態の制御装置及びセンサ装置の機能構成の一例を示す図である。なお、第１の実施形態と同じ構成については同一符号を割り当て、説明を省略する。
(Third Embodiment)
In the above-described embodiment, the third embodiment will be described next with reference to FIG. FIG. 15 is a diagram showing an example of the functional configuration of the control device and the sensor device of the third embodiment. The same reference numerals are assigned to the same configurations as those in the first embodiment, and the description thereof will be omitted.
図１５に示すように、本実施形態では、移動制御部１２１２は、指向性制御部１２１８を有する。指向性制御部１２１８は、パレット２に載置された物品Ｗ１に向けて超音波が送信されるようにセンサ装置２０の向きを制御する。指向性制御部１２１８は、カメラ３０の撮像画像に基づいて、パレット２に載置された物品Ｗ１に向けて超音波が送信されるように、移動装置５０のアーム部１１２を制御する。指向性制御部１２１８は、超音波送信素子２３と超音波受信素子２４とを組み合わせた超音波センサユニットの向きを変更可能な駆動機構の一例を示したものである。
As shown in FIG. 15, in the present embodiment, the
ここで、一般的に超音波センサは正面方向の感度が高く、側面方向では感度が低下する。このため、超音波センサが物品Ｗ１の方向を向いていない場合に、反射波を受信できない可能性がある。この問題に対して、本実施形態では、移動制御部１２１２の指向性制御部１２１８が、パレット２に載置された物品Ｗ１に向けて超音波が送信されるようにセンサ装置２０の向きを制御するので、センサ装置２０が反射波を精度よく受信することができる。
Here, generally, an ultrasonic sensor has a high sensitivity in the front direction and a low sensitivity in the side direction. Therefore, if the ultrasonic sensor is not facing the direction of the article W1, there is a possibility that the reflected wave cannot be received. In response to this problem, in the present embodiment, the directivity control unit 1218 of the
なお、把持部１１３に対するセンサ装置２０の姿勢をモータ等の駆動源の駆動力によって変化させる姿勢変化機構を設けてもよい。この場合、指向性制御部１２１８は、姿勢変化機構の駆動源を制御することにより、パレット２に載置された物品Ｗ１に向けて超音波が送信されるようにセンサ装置２０の向きを制御してもよい。また、この場合、姿勢変化機構は、把持部１１３に対してセンサ装置２０を回転させる構成であってよい。
A posture change mechanism that changes the posture of the
以上説明したとおり、上記実施形態によれば、複数の物品Ｗ１がシート状の覆い物Ｂによって覆われて覆い物Ｂによって一つにまとめられている場合であっても、物品Ｗ１の移動を良好に行なうことができる。 As described above, according to the above embodiment, even when a plurality of articles W1 are covered with a sheet-shaped covering B and are grouped together by the covering B, the movement of the articles W1 is good. Can be done.
上述の各実施形態の制御装置６０で実行されるプログラムおよびセンサ装置２０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
The program executed by the
また、上述の各実施形態の制御装置６０で実行されるプログラムおよびセンサ装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の各実施形態の制御装置６０で実行されるプログラムおよびセンサ装置２０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の各実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
Further, the program executed by the
上述の各実施形態の制御装置６０で実行されるプログラムは、上述した各部（取得部、認識部、移動制御部、出力部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部、認識部、移動制御部、出力部が主記憶装置上に生成されるようになっている。
The program executed by the
上述の各実施形態のセンサ装置２０で実行されるプログラムは、上述した各部（距離測定部、位置認識部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、距離測定部、位置認識部が主記憶装置上に生成されるようになっている。
The program executed by the
なお、上記実施形態では、センサ装置２０は、超音波に替えて電波（ミリ波）を送受信して、物品Ｗ１を検出してもよい。この場合には、センサ装置２０は、超音波送信素子２３および超音波受信素子２４に替えて、電波送信素子と電波受信素子とを有する。
In the above embodiment, the
また、上記実施形態では、物品判定部３０７ｂ（判定部）がセンサ装置２０に設けられた例が示されたが、これに限定されない。例えば、物品判定部３０７ｂは、制御装置６０に設けられてもよい。
Further, in the above embodiment, an example in which the article determination unit 307b (determination unit) is provided in the
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
２…パレット（載置部）、１０…荷役装置、２３…超音波送信素子（送信素子）、２４…超音波受信素子（受信素子）、２４Ａ…超音波受信素子（第１の受信素子）、２４Ｂ…超音波受信素子（第２の受信素子）、５０…移動装置、７０…荷役制御装置、３０１…送信制御部、３０７ａ…算出部、３０７ｂ…物品判定部（判定部）、１２１１…認識部、１２１２…移動制御部（制御部）、Ｂ…覆い物、Ｌ１…第１の直線、Ｌ２…第２の直線、Ｗ１…物品。 2 ... Palette (mounting part), 10 ... Cargo handling device, 23 ... Ultrasonic transmitting element (transmitting element), 24 ... Ultrasonic receiving element (receiving element), 24A ... Ultrasonic receiving element (first receiving element), 24B ... Ultrasonic receiving element (second receiving element), 50 ... Moving device, 70 ... Cargo handling control device, 301 ... Transmission control unit, 307a ... Calculation unit, 307b ... Article judgment unit (judgment unit), 1211 ... Recognition unit , 1212 ... Movement control unit (control unit), B ... Cover, L1 ... First straight line, L2 ... Second straight line, W1 ... Article.
Claims (10)
前記載置部に戴置された物品の撮像画像に基づいて、前記載置部に物品が複数存在することを認識した場合に、当該撮像画像に基づいた認識結果及び前記送受信部の前記反射波の受信結果に基づいて、複数の物品がシート状の覆い物でまとめられているか否かを判定し、当該判定した結果に基づいて、前記荷役装置を制御する制御部と、
を備えた荷役制御装置。 It is provided in a cargo handling device that grips an article placed on a mounting portion and moves the article, transmits ultrasonic waves or radio waves as a transmission wave in the direction in which the above-mentioned placement portion exists, and reflects a wave of the transmitted wave. And the transmitter / receiver that receives
When it is recognized that there are a plurality of articles in the above-mentioned placement portion based on the captured image of the article placed on the above-mentioned placement portion, the recognition result based on the captured image and the reflected wave of the transmission / reception portion. Based on the reception result of, it is determined whether or not a plurality of articles are put together by a sheet-like covering, and based on the determination result, a control unit that controls the cargo handling device, and a control unit.
Cargo handling control device equipped with.
請求項１に記載の荷役制御装置。 The control unit further reflects the reflected wave, which is determined based on the position of each edge portion of the plurality of articles recognized by the captured image and the reception result of the reflected wave as the recognition result. Based on the position of the edge portion, it is determined whether or not the plurality of articles are put together by the sheet-like covering.
The cargo handling control device according to claim 1.
請求項２に記載の荷役制御装置。 Further, in the control unit, the position of each edge portion of the plurality of articles recognized by the captured image and the position of each edge portion of the plurality of articles to which the reflected wave is reflected substantially coincide with each other. In some cases, it is determined that the plurality of articles are not grouped by the sheet-like covering.
The cargo handling control device according to claim 2.
請求項３に記載の荷役制御装置。 Further, in the control unit, the position of each edge portion of the plurality of articles recognized by the captured image and the position of each edge portion of the plurality of articles to which the reflected wave is reflected do not substantially match. In some cases, it is determined that the plurality of articles are put together by the sheet-like covering.
The cargo handling control device according to claim 3.
前記送信素子の個数と前記受信素子の個数が、それぞれ１個である、請求項１〜４のいずれか一つに記載の荷役制御装置。 The transmission / reception unit includes a transmission element that transmits the transmission wave and a reception element that receives the reflected wave.
The cargo handling control device according to any one of claims 1 to 4, wherein the number of transmitting elements and the number of receiving elements are one each.
前記制御部は、前記複数の受信素子から受信した複数の受信結果の演算結果に基づいて、前記反射波が反射したエッジ部の位置を算出する、
請求項５に記載の荷役制御装置。 The transmitter / receiver has at least a plurality of receiving elements arranged in a substantially straight line, and has at least a plurality of receiving elements.
The control unit calculates the position of the edge portion where the reflected wave is reflected based on the calculation result of the plurality of reception results received from the plurality of receiving elements.
The cargo handling control device according to claim 5.
請求項１〜７のうちいずれか一つに記載の荷役制御装置。 The transmission form of the transmission wave is changed according to the distance between the transmission / reception unit and the article placed on the above-mentioned storage unit.
The cargo handling control device according to any one of claims 1 to 7.
撮像部が撮像した撮像画像に基づいた前記載置部に存在する物品の認識結果において、前記載置部に物品が複数存在することが示されている場合に、当該撮像画像に基づいた認識結果及び前記送受信部の前記反射波の受信結果に基づいて、複数の物品がシート状の覆い物でまとめられているか否かを判定する制御部と、
を備えたセンサ装置。 It is provided in a cargo handling device that grips an article placed on a mounting portion and moves the article, transmits ultrasonic waves or radio waves as a transmission wave in the direction in which the above-mentioned placement portion exists, and reflects a wave of the transmitted wave. And the transmitter / receiver that receives
When the recognition result of the article existing in the pre-described placement portion based on the captured image captured by the imaging unit indicates that a plurality of articles are present in the pre-described placement portion, the recognition result based on the captured image. And a control unit that determines whether or not a plurality of articles are put together by a sheet-like covering based on the reception result of the reflected wave of the transmission / reception unit.
Sensor device equipped with.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020001064A JP7493941B2 (en) | 2020-01-07 | 2020-01-07 | Cargo handling control device and sensor device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020001064A JP7493941B2 (en) | 2020-01-07 | 2020-01-07 | Cargo handling control device and sensor device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021109257A true JP2021109257A (en) | 2021-08-02 |
| JP7493941B2 JP7493941B2 (en) | 2024-06-03 |
Family
ID=77058692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020001064A Active JP7493941B2 (en) | 2020-01-07 | 2020-01-07 | Cargo handling control device and sensor device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7493941B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024057627A1 (en) * | 2022-09-13 | 2024-03-21 | 株式会社日立製作所 | Object recognition device, robot system, and object recognition method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6536110B2 (en) | 2015-03-20 | 2019-07-03 | セイコーエプソン株式会社 | Robot control device and control method |
-
2020
- 2020-01-07 JP JP2020001064A patent/JP7493941B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024057627A1 (en) * | 2022-09-13 | 2024-03-21 | 株式会社日立製作所 | Object recognition device, robot system, and object recognition method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7493941B2 (en) | 2024-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8725285B2 (en) | Robot system and transfer method | |
| US20150127162A1 (en) | Apparatus and method for picking up article randomly piled using robot | |
| US10175354B2 (en) | Object detection apparatus | |
| JP7433915B2 (en) | Sensor devices and cargo handling systems | |
| JPWO2008026463A1 (en) | Position measurement system, robot, position measurement method, and sound source position calculation program | |
| JP6828579B2 (en) | Environmental maintenance robot and its control program | |
| CN105549018B (en) | Object test equipment | |
| CN114026462A (en) | Electronic device and control method thereof | |
| JP2021109257A (en) | Cargo handling control device and sensor device | |
| JPH02170004A (en) | Three-dimensional position measuring instrument | |
| JP7042703B2 (en) | Information processing equipment, unloading system equipped with information processing equipment, and information processing program | |
| US20170011521A1 (en) | Systems and methods for a dual modality sensor system | |
| US10324565B2 (en) | Optical proximity sensor | |
| US11774585B2 (en) | Estimating a location of an object in close proximity to an ultrasonic transducer | |
| JP2020165858A (en) | Object detector | |
| JP2011212818A (en) | Environment recognition robot | |
| WO2024057627A1 (en) | Object recognition device, robot system, and object recognition method | |
| JPH0854926A (en) | Guidance device for autonomous mobile robot | |
| KR20180076450A (en) | Apparatus and method for preventing collision of robot | |
| Uehara et al. | Multiple Objects Detection Using an Airborne Ultrasonic Phased Array with MUSIC Method | |
| WO2015138396A1 (en) | Systems and methods for a dual modality sensor system | |
| JP2023162799A (en) | Information processor, information processing method, program, and system | |
| WO2022269984A1 (en) | Control device, control method, and program | |
| Llata et al. | Three-dimensional robotic vision using ultrasonic sensors | |
| JPH05257530A (en) | Method and device for correcting bearing and position of moving robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240522 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7493941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |