JP2022066611A - Information processing device, information processing method, program, and unloading system - Google Patents

Information processing device, information processing method, program, and unloading system Download PDF

Info

Publication number
JP2022066611A
JP2022066611A JP2022039288A JP2022039288A JP2022066611A JP 2022066611 A JP2022066611 A JP 2022066611A JP 2022039288 A JP2022039288 A JP 2022039288A JP 2022039288 A JP2022039288 A JP 2022039288A JP 2022066611 A JP2022066611 A JP 2022066611A
Authority
JP
Japan
Prior art keywords
article
sensor
robot arm
height
lrf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022039288A
Other languages
Japanese (ja)
Inventor
昌孝 佐藤
Masataka Sato
武 瀧口
Takeshi Takiguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2022039288A priority Critical patent/JP2022066611A/en
Publication of JP2022066611A publication Critical patent/JP2022066611A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/02—Devices for feeding articles or materials to conveyors
    • B65G47/04—Devices for feeding articles or materials to conveyors for feeding articles
    • B65G47/12—Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • B65G59/04—De-stacking from the top of the stack by suction or magnetic devices

Abstract

PROBLEM TO BE SOLVED: To derive height of a hoisted-up article.
SOLUTION: An information processing device comprises: a first interface that acquires information that indicates a position attitude of a robot arm that grips and moves an article; a second interface that acquires output information of a sensor that measures distance from the sensor to the article gripped by the robot arm, at sensor height at which the sensor is arranged; and a control section that derives height of the article gripped by the robot arm. The control section, when detecting that the article is moved beyond sensor height by the robot arm, on the basis of the output information acquired by the second interface, makes the first interface acquire information that indicates a position attitude of the robot arm, and derives the height of the article on the basis of the acquired position attitude, the sensor height, time elapsing until the position attitude is acquired after detecting that the article is moved beyond the sensor height and movement speed of the robot arm.
SELECTED DRAWING: Figure 5
COPYRIGHT: (C)2022,JPO&INPIT

Description

本発明の実施形態は、情報処理装置、情報処理装置を備える荷降しシステム、及び情報処理プログラムに関する。 An embodiment of the present invention relates to an information processing apparatus, an unloading system including the information processing apparatus, and an information processing program.

物流倉庫などの現場において、収納された商品等の荷物を搬送用コンベア等に荷降しする場合に、荷降し装置が用いられることがある。例えば、ロボットアーム、及びロボットアームの先端に設けられる、物品を把持する把持部を有する荷降し装置が知られている。 At a site such as a distribution warehouse, an unloading device may be used when unloading a package such as a stored product on a transport conveyor or the like. For example, a robot arm and an unloading device provided at the tip of the robot arm and having a grip portion for gripping an article are known.

このような荷降し装置において、ロボットアームが把持する物品の高さを検出するには、把持する物体の上面の位置、及び距離を検出する三次元カメラ等のセンサに加えて、把持する物体の側面を検出するための別の三次元カメラ等のセンサを設ける必要がある。しかしながら、該別のセンサを設けるためのコストが増加する問題や、該センサから得られる画像情報を処理するための処理時間が増加する問題がある。 In such an unloading device, in order to detect the height of the article held by the robot arm, in addition to a sensor such as a three-dimensional camera that detects the position and distance of the upper surface of the object to be held, the object to be held It is necessary to provide another sensor such as a three-dimensional camera for detecting the side surface of the robot. However, there is a problem that the cost for providing the other sensor increases and there is a problem that the processing time for processing the image information obtained from the sensor increases.

特開２０１０－１２５６７号公報Japanese Unexamined Patent Publication No. 2010-12567

本発明は、上記の課題を解決するために、三次元カメラ等の高価なセンサを用いずにロボットアームが把持している物品の高さを導出できる情報処理装置、情報処理装置を備える荷降しシステム、及び情報処理プログラムを提供することを目的とする。 In order to solve the above problems, the present invention is provided with an information processing device and an information processing device capable of deriving the height of an article held by a robot arm without using an expensive sensor such as a three-dimensional camera. The purpose is to provide a robotic system and an information processing program.

実施形態によれば、情報処理装置は、物品を把持して移動させるロボットアームの位置姿勢を示す情報を取得する第１インタフェースと、センサが配置されたセンサ高さにおける、前記センサから前記ロボットアームが把持している物品までの距離を測定するセンサの出力情報を取得する第２インタフェースと、前記第２インタフェースにより取得する前記センサの出力情報に基づいて前記物品が前記ロボットアームにより前記センサ高さを超えたことを検出した場合、前記第１インタフェースにより前記ロボットアームの位置姿勢を示す情報を取得し、取得した位置姿勢と、前記センサ高さと、前記物品が前記センサ高さを超えたことを検出してから前記位置姿勢を取得するまでの時間及び前記ロボットアームの移動速度とに基づいて前記物品の高さを導出する制御部と、を有する。 According to the embodiment, the information processing apparatus has a first interface for acquiring information indicating the position and orientation of the robot arm that grips and moves the article, and the robot arm from the sensor at the sensor height at which the sensor is arranged. Based on the second interface that acquires the output information of the sensor that measures the distance to the article held by the robot and the output information of the sensor that is acquired by the second interface, the article is the height of the sensor by the robot arm. When it is detected that the robot arm exceeds the height, information indicating the position / orientation of the robot arm is acquired by the first interface, and the acquired position / orientation, the sensor height, and the article exceed the sensor height. It has a control unit for deriving the height of the article based on the time from the detection to the acquisition of the position and the posture and the moving speed of the robot arm.

図１は、荷降しシステムの一例を概略的に示す模式図である。FIG. 1 is a schematic diagram schematically showing an example of an unloading system. 図２は、荷降しシステムの構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of the unloading system. 図３は、物品引き抜き検知及び物品高さ測定の一例を示すフローチャートである。FIG. 3 is a flowchart showing an example of article pull-out detection and article height measurement. 図４Ａは、荷降しシステムの動作の一例を示す図である。FIG. 4A is a diagram showing an example of the operation of the unloading system. 図４Ｂは、荷降しシステムの動作の一例を示す図である。FIG. 4B is a diagram showing an example of the operation of the unloading system. 図４Ｃは、荷降しシステムの動作の一例を示す図である。FIG. 4C is a diagram showing an example of the operation of the unloading system. 図４Ｄは、荷降しシステムの動作の一例を示す図である。FIG. 4D is a diagram showing an example of the operation of the unloading system. 図４Ｅは、荷降しシステムの動作の一例を示す図である。FIG. 4E is a diagram showing an example of the operation of the unloading system. 図５は、物品高さ測定の第１の方法を説明するための図である。FIG. 5 is a diagram for explaining a first method of measuring the height of an article. 図６Ａは、物品高さ測定の第２の方法を説明するための図であって、荷降しシステムの動作の一例を示す模式図である。FIG. 6A is a diagram for explaining a second method of measuring the height of an article, and is a schematic diagram showing an example of the operation of the unloading system. 図６Ｂは、物品高さ測定の第２の方法を説明するための図であって、ＬＲＦによる物品検出における距離と時間との関係の一例を示す図である。FIG. 6B is a diagram for explaining a second method of measuring the height of an article, and is a diagram showing an example of the relationship between distance and time in article detection by LRF.

本発明の実施形態について、図面を参照して説明する。以下の説明では、荷降しシステムにおけるレーザーレンジファインダ（ＬＲＦ）を用いた荷物の抜き取り検知及び荷物の高さ測定の手法を提案する。 An embodiment of the present invention will be described with reference to the drawings. In the following description, we propose a method for detecting baggage extraction and measuring baggage height using a laser range finder (LRF) in an unloading system.

図１は、実施形態に係る荷降しシステム１の一例を概略的に示す模式図である。図１に示されるように、Ｘ方向とＹ方向（水平方向）、及びＺ方向（鉛直方向又は上下方向）を定義する。 FIG. 1 is a schematic diagram schematically showing an example of an unloading system 1 according to an embodiment. As shown in FIG. 1, the X direction, the Y direction (horizontal direction), and the Z direction (vertical direction or vertical direction) are defined.

荷降しシステム１は、物流現場などで用いられる、ロボットによる荷降しを行うシステムである。荷降しシステム１は、ロボットアーム１０と、第１距離センサ２と、第２距離センサ３と、第２距離センサ昇降機構４と、制御システム２０とを有している。荷降しシステム１は、例えば荷降し対象の荷物である物品５１を搬送用コンベア４０に搬送するシステムである。搬送用コンベア４０は、荷降し後の物品５１を搬送する搬送機構である。 The unloading system 1 is a system used at a distribution site or the like for unloading by a robot. The unloading system 1 includes a robot arm 10, a first distance sensor 2, a second distance sensor 3, a second distance sensor elevating mechanism 4, and a control system 20. The unloading system 1 is, for example, a system for transporting an article 51, which is a load to be unloaded, to a transport conveyor 40. The conveyor 40 for transport is a transport mechanism that transports the article 51 after unloading.

ロボットアーム１０は、物品を移動させる装置である。本実施形態では、ロボットアーム１０は、物品群５０の荷降しに用いられる。ここで、物品群５０とは、１以上の物品を含み、例えば、複数の物品が鉛直方向（Ｚ方向）に積み重ねられた段が水平方向（Ｘ方向、Ｙ方向、又はその両方）に複数並べられたもの（物品のスタック）を指す。ロボットアーム１０は、ネットワーク３０を介して、制御システム２０と通信する。ロボットアーム１０は、制御システム２０の後述するロボット制御装置６０（図２参照）により動作を制御される。ロボットアーム１０は、アーム機構１１と、アーム機構１１の先端に設けられた把持部１２とを有している。 The robot arm 10 is a device for moving an article. In this embodiment, the robot arm 10 is used for unloading the article group 50. Here, the article group 50 includes one or more articles, and for example, a plurality of steps in which a plurality of articles are stacked in the vertical direction (Z direction) are arranged in the horizontal direction (X direction, Y direction, or both). Refers to what has been done (stack of goods). The robot arm 10 communicates with the control system 20 via the network 30. The operation of the robot arm 10 is controlled by a robot control device 60 (see FIG. 2) described later in the control system 20. The robot arm 10 has an arm mechanism 11 and a grip portion 12 provided at the tip of the arm mechanism 11.

アーム機構１１は、例えば、複数のアームと、アーム間を連結している複数の関節機構とを有している。関節機構は、ロボット制御装置６０の制御により動作し、連結している２つのアームの相対的な角度を変化させる。すなわち、関節機構の動作によってアームが移動する。 The arm mechanism 11 has, for example, a plurality of arms and a plurality of joint mechanisms connecting the arms. The joint mechanism operates under the control of the robot control device 60 and changes the relative angle between the two connected arms. That is, the arm moves by the operation of the joint mechanism.

把持部１２は、物品を把持する。例えば、把持部１２は、物品に吸着する吸着パッドを含む。吸着パッドの数は、１つでもよいし、複数であってもよい。吸着パッドが物品の表面に接した状態で、ロボット制御装置６０の制御により吸着パッド内が負圧にされると、吸着パッドは、物品の表面に吸着（真空吸着）する。吸着パッド内の負圧が解除されると、吸着パッドは物品をリリースする。このように、把持部１２は、例えば吸着によって物品を把持する。 The grip portion 12 grips the article. For example, the grip portion 12 includes a suction pad that sucks on an article. The number of suction pads may be one or a plurality. When the inside of the suction pad is made negative pressure by the control of the robot control device 60 while the suction pad is in contact with the surface of the article, the suction pad is sucked (vacuum suction) on the surface of the article. When the negative pressure in the suction pad is released, the suction pad releases the article. In this way, the grip portion 12 grips the article by, for example, adsorption.

あるいは、把持部１２は、物品を把持するグリッパを含むものであってよい。グリッパは、例えば、複数の指と、複数の指を連結している複数の関節機構とを備える。関節機構は、ロボット制御装置６０の制御により動作し、関節機構の動作に連動して指が動作するように構成されてよい。グリッパは、例えば、複数の指による２点以上の接点で、対向する複数の方向から物品に対して力を加える。これにより、把持部１２は、指と物品との間に生じる摩擦によって物品を把持する。 Alternatively, the grip portion 12 may include a gripper that grips the article. The gripper comprises, for example, a plurality of fingers and a plurality of joint mechanisms connecting the plurality of fingers. The joint mechanism operates under the control of the robot control device 60, and may be configured such that the finger moves in conjunction with the movement of the joint mechanism. The gripper applies a force to an article from a plurality of opposing directions, for example, at two or more points of contact by a plurality of fingers. As a result, the grip portion 12 grips the article by the friction generated between the finger and the article.

把持部１２として、吸着による把持機構である吸着パッド、挟持による把持機構であるグリッパを挙げたが、把持部１２はこれに限定されない。物品群５０の物品を把持可能な種々の把持機構を採用してよい。 As the gripping portion 12, a suction pad which is a gripping mechanism by suction and a gripper which is a gripping mechanism by pinching are mentioned, but the gripping portion 12 is not limited to this. Various gripping mechanisms capable of gripping the articles of the article group 50 may be adopted.

第１距離センサ２は、物品群５０の各物品までの距離を計測するセンサである。第１距離センサ２は、ネットワーク３０を介して、制御システム２０と通信する。第１距離センサ２は、ロボット制御装置６０により動作を制御される。第１距離センサ２は、図１に示されるように、荷降し対象の物品群５０の上方に配置される。第１距離センサ２は、例えば、異なる２点から物品を撮像した際の視差に基づいて物品までの距離を計測するステレオカメラである。第１距離センサ２は、物品群５０のなかからロボットアーム１０が把持する把持対象物品を決定するために用いられる。 The first distance sensor 2 is a sensor that measures the distance to each article in the article group 50. The first distance sensor 2 communicates with the control system 20 via the network 30. The operation of the first distance sensor 2 is controlled by the robot control device 60. As shown in FIG. 1, the first distance sensor 2 is arranged above the article group 50 to be unloaded. The first distance sensor 2 is, for example, a stereo camera that measures the distance to an article based on the parallax when the article is imaged from two different points. The first distance sensor 2 is used to determine the article to be gripped by the robot arm 10 from the article group 50.

第２距離センサ３は、例えばレーザーレンジファインダ（ＬＲＦ）である。以下、第２距離センサ３をＬＲＦ３、第２距離センサ昇降機構４をＬＲＦ昇降機構４として説明する。また、第１距離センサ２を単に距離センサ２と称する。ＬＲＦ３は、物品群５０の近傍に配置される。ＬＲＦ３は、ネットワーク３０を介して、制御システム２０と通信する。ＬＲＦ３は、制御システム２０の後述する情報処理装置７０（図２参照）により動作を制御される。ＬＲＦ３は、例えば半導体レーザーからレーザー光を発振して照射し、例えば物品群５０の物品である対象物までの距離を測定する。測定された距離の値に基づいて、物品の有無が判断される。例えばＬＲＦ３により有効な値が検出された場合に、物品が存在すると判断される。有効な値とは、測定された距離の値が、対象物である把持する物品が存在し得る範囲の値である。ＬＲＦ３は、物品群５０が設置されている範囲全体を測定範囲（ＬＲＦ監視範囲）とする。ＬＲＦ監視範囲は、例えば図１にＬＲＦ３を始点とする所定の角度範囲のドット領域で示されている。なお、ＬＲＦ３以外の距離センサ、あるいは物品の有無を検知可能な他の一次元センサを採用してもよい。 The second distance sensor 3 is, for example, a laser range finder (LRF). Hereinafter, the second distance sensor 3 will be referred to as an LRF3, and the second distance sensor elevating mechanism 4 will be referred to as an LRF elevating mechanism 4. Further, the first distance sensor 2 is simply referred to as a distance sensor 2. LRF3 is placed in the vicinity of the article group 50. The LRF 3 communicates with the control system 20 via the network 30. The operation of the LRF 3 is controlled by the information processing device 70 (see FIG. 2) described later of the control system 20. The LRF3 oscillates and irradiates a laser beam, for example, from a semiconductor laser, and measures the distance to an object, which is an article of the article group 50, for example. The presence or absence of an article is determined based on the measured distance value. For example, if a valid value is detected by LRF3, it is determined that the article is present. A valid value is a value within the range in which the measured distance value may be the object to be grasped. The LRF3 has the entire range in which the article group 50 is installed as the measurement range (LRF monitoring range). The LRF monitoring range is shown in FIG. 1, for example, as a dot region in a predetermined angle range starting from LRF3. A distance sensor other than LRF3 or another one-dimensional sensor capable of detecting the presence or absence of an article may be adopted.

ＬＲＦ昇降機構４は、ＬＲＦ３を上下方向に移動させるリフト機構である。ＬＲＦ昇降機構４は、例えば、鉛直方向に延びた支柱５と、支柱に鉛直方向に形成されたスリット６と、スリット６に嵌め込まれて上下移動可能な台座７とを有している。台座７の上にＬＲＦ３が載置されている。ＬＲＦ昇降機構４は、ネットワーク３０を介して、制御システム２０と通信する。ＬＲＦ昇降機構４は、情報処理装置７０により動作を制御される。例えば、ＬＲＦ昇降機構４の不図示のモータが、情報処理装置７０の制御により駆動され、台座７及びその上のＬＲＦ３を上昇又は降下させる。つまり、ＬＲＦ昇降機構４の動作により、ＬＲＦ３はＬＲＦ測定位置であるセンサ高さを変更可能である。 The LRF elevating mechanism 4 is a lift mechanism that moves the LRF 3 in the vertical direction. The LRF elevating mechanism 4 has, for example, a support column 5 extending in the vertical direction, a slit 6 formed in the support column in the vertical direction, and a pedestal 7 fitted in the slit 6 and movable up and down. LRF3 is placed on the pedestal 7. The LRF elevating mechanism 4 communicates with the control system 20 via the network 30. The operation of the LRF elevating mechanism 4 is controlled by the information processing device 70. For example, a motor (not shown) of the LRF elevating mechanism 4 is driven by the control of the information processing apparatus 70 to raise or lower the pedestal 7 and the LRF 3 on the pedestal 7. That is, the LRF 3 can change the sensor height, which is the LRF measurement position, by the operation of the LRF elevating mechanism 4.

荷降し対象である物品は、図１に示されるように、物品群５０として搬送用コンベア４０の近傍に配置されている。物品群５０は、サイズの異なる種々の物品を含んでよいし、あるいは、同一サイズの複数の物品を含んでよい。 As shown in FIG. 1, the articles to be unloaded are arranged in the vicinity of the transport conveyor 40 as the article group 50. The article group 50 may include various articles of different sizes, or may include a plurality of articles of the same size.

搬送用コンベア４０は、物流現場で用いられる一般的なベルトコンベアである。荷降し後の物品が搬送用コンベア４０で搬送される。 The conveyor 40 for transportation is a general belt conveyor used at a distribution site. The goods after unloading are transported by the transport conveyor 40.

図２は、荷降しシステム１の構成の一例を示すブロック図である。制御システム２０は、例えば、ロボット制御装置６０と、情報処理装置７０とを含む。 FIG. 2 is a block diagram showing an example of the configuration of the unloading system 1. The control system 20 includes, for example, a robot control device 60 and an information processing device 70.

ロボット制御装置６０は、通信インタフェース６１と、プロセッサ６２と、メモリ６３と、ストレージ６４とを有している。これらは、バスライン６５を介して通信可能である。 The robot control device 60 has a communication interface 61, a processor 62, a memory 63, and a storage 64. These can communicate via the bus line 65.

通信インタフェース６１は、外部機器との通信に用いるインタフェースである。通信インタフェース６１は、例えばロボットアーム１０及び距離センサ２と通信するための通信規格などに対応した端子及び回路を備える。通信インタフェース６１は、プロセッサ６２の制御に基づいて、ロボットアーム１０及び距離センサ２と通信する。 The communication interface 61 is an interface used for communication with an external device. The communication interface 61 includes terminals and circuits corresponding to, for example, communication standards for communicating with the robot arm 10 and the distance sensor 2. The communication interface 61 communicates with the robot arm 10 and the distance sensor 2 under the control of the processor 62.

プロセッサ６２は、例えば、ＣＰＵ（Central Processing Unit）により構成される。メモリ６３は、読み出し専用のデータメモリであるＲＯＭ（Read Only Memory）又はデータを一時的に記憶するＲＡＭ（Random Access Memory）を含む。ストレージ６４は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの大容量ストレージであってよい。メモリ６３又はストレージ６４は、荷降しシステム１の各機器の制御プログラムや各種データを記憶している。プロセッサ６２は、メモリ６３又はストレージ６４に記憶されているプログラム等に基づいて種々の処理を行う。つまり、プロセッサ６２は、ソフトウェア機能部として各種プログラムを実行する。プロセッサ６２に代わって、ハードウェア機能部としてのＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）などが用いられてもよい。 The processor 62 is configured by, for example, a CPU (Central Processing Unit). The memory 63 includes a ROM (Read Only Memory) which is a read-only data memory or a RAM (Random Access Memory) for temporarily storing data. The storage 64 may be a large-capacity storage such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive). The memory 63 or the storage 64 stores a control program and various data of each device of the unloading system 1. The processor 62 performs various processes based on a program or the like stored in the memory 63 or the storage 64. That is, the processor 62 executes various programs as a software function unit. Instead of the processor 62, an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array) as a hardware functional unit may be used.

情報処理装置７０は、通信インタフェース７１と、プロセッサ７２と、メモリ７３と、ストレージ７４とを有している。これらは、バスライン７５を介して通信可能である。 The information processing device 70 has a communication interface 71, a processor 72, a memory 73, and a storage 74. These can communicate via the bus line 75.

通信インタフェース７１は、外部機器との通信に用いるインタフェースである。通信インタフェース７１は、例えばＬＲＦ３及びＬＲＦ昇降機構４と通信するための通信規格などに対応した端子及び回路を備える。通信インタフェース７１は、プロセッサ７２の制御に基づいて、ＬＲＦ３及びＬＲＦ昇降機構４と通信する。 The communication interface 71 is an interface used for communication with an external device. The communication interface 71 includes terminals and circuits corresponding to, for example, communication standards for communicating with the LRF 3 and the LRF elevating mechanism 4. The communication interface 71 communicates with the LRF 3 and the LRF elevating mechanism 4 under the control of the processor 72.

プロセッサ７２は、例えば、ＣＰＵにより構成される。メモリ７３は、読み出し専用のデータメモリであるＲＯＭ又はデータを一時的に記憶するＲＡＭを含む。ストレージ７４は、ＨＤＤ又はＳＳＤなどの大容量ストレージであってよい。メモリ７３又はストレージ７４は、荷降しシステム１の各機器の制御プログラムや各種データを記憶している。プロセッサ７２は、メモリ７３又はストレージ７４に記憶されているプログラム等に基づいて種々の処理を行う。つまり、プロセッサ７２は、ソフトウェア機能部として各種プログラムを実行する。プロセッサ７２に代わって、ハードウェア機能部としてのＡＳＩＣ又はＦＰＧＡなどが用いられてもよい。 The processor 72 is composed of, for example, a CPU. The memory 73 includes a ROM that is a read-only data memory or a RAM that temporarily stores data. The storage 74 may be a large-capacity storage such as an HDD or an SSD. The memory 73 or the storage 74 stores a control program and various data of each device of the unloading system 1. The processor 72 performs various processes based on a program or the like stored in the memory 73 or the storage 74. That is, the processor 72 executes various programs as a software function unit. Instead of the processor 72, an ASIC or FPGA as a hardware functional unit may be used.

なお、制御システム２０において、ロボット制御装置６０と情報処理装置７０とが通信可能である。ロボット制御装置６０と情報処理装置７０とは、通信インタフェース６１、７１により通信する。 In the control system 20, the robot control device 60 and the information processing device 70 can communicate with each other. The robot control device 60 and the information processing device 70 communicate with each other through the communication interfaces 61 and 71.

制御システム２０は、図示しない操作端末を有している。操作端末は、例えば、画面表示と制御システム２０（ロボット制御装置６０と情報処理装置７０との少なくとも一方）への指示入力とに用いられるタッチパネルであってよい。操作端末は、タッチパネルに代わって、ディスプレイなどの表示装置とキーボード又はマウスなどの入力装置とを有してもよい。 The control system 20 has an operation terminal (not shown). The operation terminal may be, for example, a touch panel used for screen display and instruction input to the control system 20 (at least one of the robot control device 60 and the information processing device 70). The operation terminal may have a display device such as a display and an input device such as a keyboard or a mouse instead of the touch panel.

制御システム２０は、ロボットアーム１０及び距離センサ２の動作を制御する第１制御部としてのロボット制御装置６０と、ＬＲＦ３及びＬＲＦ昇降機構４の動作を制御する第２制御部としての情報処理装置７０とを含むとして説明しているが、制御システム２０に含まれる制御部の数はこれに限定されない。１つの制御装置、又は互いに通信可能な複数の制御部がそれぞれの機器の制御を実行してもよい。 The control system 20 includes a robot control device 60 as a first control unit that controls the operations of the robot arm 10 and the distance sensor 2, and an information processing device 70 as a second control unit that controls the operations of the LRF 3 and the LRF elevating mechanism 4. However, the number of control units included in the control system 20 is not limited to this. One control device or a plurality of control units capable of communicating with each other may execute control of each device.

図３及び図４Ａ乃至図４Ｅを参照して、荷降しシステム１の荷降し動作における物品引き抜き検知及び物品高さ測定の一例について説明する。荷降しシステム１では、例えば、制御システム２０の情報処理装置７０が、ロボットアーム１０の荷降し動作における物品群５０からの物品引き抜きを検知して、ロボットアーム１０の位置姿勢に基づいて、引き抜いた物品の高さを導出する。なお、図４Ａ乃至図４Ｅでは、ＬＲＦ昇降機構４及びロボットアーム１０を簡略化して図示している。 An example of the article pull-out detection and the article height measurement in the unloading operation of the unloading system 1 will be described with reference to FIGS. 3 and 4A to 4E. In the unloading system 1, for example, the information processing device 70 of the control system 20 detects the withdrawal of articles from the article group 50 in the unloading operation of the robot arm 10, and is based on the position and orientation of the robot arm 10. Derive the height of the pulled out article. In FIGS. 4A to 4E, the LRF elevating mechanism 4 and the robot arm 10 are shown in a simplified manner.

図３は、制御システム２０による物品引き抜き検知及び物品高さ測定の一例を示すフローチャートである。例えば、ユーザーが不図示の操作端末から荷降し開始指示を入力することにより、制御システム２０による荷降し動作が開始される。 FIG. 3 is a flowchart showing an example of article pull-out detection and article height measurement by the control system 20. For example, when the user inputs an unloading start instruction from an operation terminal (not shown), the unloading operation by the control system 20 is started.

ステップＳ１１からステップＳ１５までの処理は、情報処理装置７０による、ＬＲＦ３を物品群５０のうち最も高い位置の物品の上面の高さよりも所定量高い高さに合わせる高さ合わせ処理である。 The process from step S11 to step S15 is a height adjustment process in which the information processing apparatus 70 adjusts the LRF3 to a height that is a predetermined amount higher than the height of the upper surface of the article at the highest position in the article group 50.

ステップＳ１１において、情報処理装置７０は、ＬＲＦ３がＬＲＦ測定位置（センサ高さ）で測定した、ＬＲＦ３から物品群５０の物品までの距離に基づいて、ＬＲＦ測定位置における物品の有無を判定する。ＬＲＦ測定位置に物品がないと判定された場合には（ステップＳ１１－Ｎｏ）、処理はステップＳ１２に進む。ここで、ＬＲＦ測定位置に物品がないと判定された場合とは、ＬＲＦ３が物品群５０のうち最も高い位置の物品の上面の高さよりも高い位置に位置している場合である。 In step S11, the information processing apparatus 70 determines the presence or absence of an article at the LRF measurement position based on the distance from the LRF 3 to the article of the article group 50 measured by the LRF 3 at the LRF measurement position (sensor height). If it is determined that there is no article at the LRF measurement position (step S11-No), the process proceeds to step S12. Here, the case where it is determined that there is no article at the LRF measurement position is the case where the LRF 3 is located at a position higher than the height of the upper surface of the article at the highest position in the article group 50.

ステップＳ１２において、情報処理装置７０は、ＬＲＦ昇降機構４を動作させて、ＬＲＦ３を所定量下降させる。 In step S12, the information processing apparatus 70 operates the LRF elevating mechanism 4 to lower the LRF 3 by a predetermined amount.

次いで、ステップＳ１３において、情報処理装置７０は、ＬＲＦ３がＬＲＦ測定位置（センサ高さ）で測定した、ＬＲＦ３から物品群５０の物品までの距離に基づいて、ＬＲＦ測定位置における物品の有無を再度判定する。ＬＲＦ測定位置に物品がないと判定された場合には（ステップＳ１３－Ｎｏ）、処理はステップＳ１２に戻る。ＬＲＦ測定位置に物品があると判定された場合には（ステップＳ１３－Ｙｅｓ）、処理はステップＳ１４に進む。 Next, in step S13, the information processing apparatus 70 again determines the presence or absence of an article at the LRF measurement position based on the distance from the LRF 3 to the article of the article group 50 measured by the LRF 3 at the LRF measurement position (sensor height). do. If it is determined that there is no article at the LRF measurement position (step S13-No), the process returns to step S12. If it is determined that there is an article at the LRF measurement position (step S13-Yes), the process proceeds to step S14.

ステップＳ１１においてＬＲＦ測定位置に物品があると判定された場合（ステップＳ１１－Ｙｅｓ）、あるいは、ステップＳ１３においてＬＲＦ測定位置に物品があると判定された場合（ステップＳ１３－Ｙｅｓ）、処理はステップＳ１４に進む。ここで、ＬＲＦ測定位置に物品があると判定された場合とは、ＬＲＦ３が物品群５０のうち最も高い位置の物品の上面の高さ以下の位置に位置している場合である。 If it is determined in step S11 that there is an article at the LRF measurement position (step S11-Yes), or if it is determined in step S13 that there is an article at the LRF measurement position (step S13-Yes), the process is step S14. Proceed to. Here, the case where it is determined that the article is at the LRF measurement position is the case where the LRF 3 is located at a position equal to or lower than the height of the upper surface of the article at the highest position in the article group 50.

ステップＳ１４において、情報処理装置７０は、ＬＲＦ昇降機構４を動作させて、ＬＲＦ３を所定量上昇させる。例えば図４Ａに示されるように、ＬＲＦ昇降機構４により、ＬＲＦ３が矢印Ａ１で示される鉛直方向に移動される。 In step S14, the information processing apparatus 70 operates the LRF elevating mechanism 4 to raise the LRF 3 by a predetermined amount. For example, as shown in FIG. 4A, the LRF elevating mechanism 4 moves the LRF 3 in the vertical direction indicated by the arrow A1.

次いで、ステップＳ１５において、情報処理装置７０は、ＬＲＦ３がＬＲＦ測定位置（センサ高さ）で測定した、ＬＲＦ３から物品群５０の物品までの距離に基づいて、ＬＲＦ測定位置における物品の有無を再度判定する。ＬＲＦ測定位置に物品があると判定された場合には（ステップＳ１５－Ｙｅｓ）、処理はステップＳ１４に戻る。ＬＲＦ測定位置に物品がないと判定された場合には（ステップＳ１５－Ｎｏ）、処理はステップＳ１６に進む。 Next, in step S15, the information processing apparatus 70 again determines the presence or absence of an article at the LRF measurement position based on the distance from the LRF 3 to the article of the article group 50 measured by the LRF 3 at the LRF measurement position (sensor height). do. If it is determined that there is an article at the LRF measurement position (step S15-Yes), the process returns to step S14. If it is determined that there is no article at the LRF measurement position (step S15-No), the process proceeds to step S16.

以上のステップＳ１１からステップＳ１５により、ＬＲＦ３の測定位置（ＬＲＦ測定位置）、すなわちセンサ高さが、物品群５０のうち最も高い位置の物品の上面の高さよりも所定量高い高さに合わせられる。例えば図４Ａでは、ＬＲＦ３は、高さＨ１に高さ合わせされている。 From step S11 to step S15, the measurement position (LRF measurement position) of LRF3, that is, the sensor height is adjusted to a height that is a predetermined amount higher than the height of the upper surface of the article at the highest position in the article group 50. For example, in FIG. 4A, LRF3 is height-adjusted to height H1.

ステップＳ１６からステップＳ１９までの処理は、ロボット制御装置６０及び情報処理装置７０による、ロボットアーム１０が物品群５０のうち最も高い物品を把持して引き抜く際の物品の引き抜きを検知する処理である。本実施形態では、ＬＲＦ３が上述のようにして所定の高さに位置決めされるのを待ってから、ロボット制御装置６０がロボットアーム１０を動作させる。つまり、ロボット制御装置６０は、ステップＳ１５までの処理を完了した旨を情報処理装置７０から受けた後にステップＳ１６の処理に進む。 The process from step S16 to step S19 is a process of detecting the pulling out of the article when the robot arm 10 grips and pulls out the tallest article in the article group 50 by the robot control device 60 and the information processing device 70. In the present embodiment, the robot control device 60 operates the robot arm 10 after waiting for the LRF 3 to be positioned at a predetermined height as described above. That is, the robot control device 60 proceeds to the process of step S16 after receiving from the information processing device 70 that the process up to step S15 has been completed.

ステップＳ１６において、ロボット制御装置６０は、制御プログラムにしたがってロボットアーム１０を動作させて、物品群５０のうち最も高い位置にある物品を引き上げる。以下、ロボット制御装置６０による、物品群５０のうち最も高い位置にある物品の特定の一例について説明する。 In step S16, the robot control device 60 operates the robot arm 10 according to the control program to pull up the article at the highest position in the article group 50. Hereinafter, an example of specifying the article at the highest position in the article group 50 by the robot control device 60 will be described.

ロボット制御装置６０は、距離センサ２を動作させる。例えばステレオカメラである距離センサ２が、異なる２点から撮像した際の視差に基づいて距離センサ２と物品群５０の各物品との距離を計測する。ロボット制御装置６０は、距離センサ２が計測した距離情報を取得することにより、物品群５０の各物品の位置を検知する。すなわち、ロボット制御装置６０は、３次元空間における物品の位置情報を表す物品位置情報を取得する。 The robot control device 60 operates the distance sensor 2. For example, the distance sensor 2 which is a stereo camera measures the distance between the distance sensor 2 and each article of the article group 50 based on the parallax when images are taken from two different points. The robot control device 60 detects the position of each article in the article group 50 by acquiring the distance information measured by the distance sensor 2. That is, the robot control device 60 acquires the article position information representing the position information of the article in the three-dimensional space.

そして、ロボット制御装置６０は、取得した物品位置情報に基づいて、ロボットアーム１０で把持する物品として、上面位置が最も高い物品をロボットアーム１０の把持対象物品と決定する。把持対象物品は１つに限定されず、複数であってもよい。 Then, the robot control device 60 determines, based on the acquired article position information, the article having the highest upper surface position as the article to be gripped by the robot arm 10 as the article to be gripped by the robot arm 10. The number of articles to be gripped is not limited to one, and may be a plurality.

ロボット制御装置６０は、かくして決定した把持対象物品をロボットアーム１０の把持部１２で把持して鉛直方向へ引き上げる動作をロボットアームに行わせる。例えば図４Ａに示されるように、把持部１２の吸着バッドが、物品群５０のうち上面が最も高い位置にある物品５１の上面に接触する。そして、例えば図４Ｂに示されるように、吸着パッドが物品５１を吸着した状態で、物品５１が鉛直方向（矢印Ａ２で示される方向）に引き上げられる。 The robot control device 60 causes the robot arm to perform an operation of gripping the object to be gripped thus determined by the gripping portion 12 of the robot arm 10 and pulling it up in the vertical direction. For example, as shown in FIG. 4A, the suction pad of the grip portion 12 comes into contact with the upper surface of the article 51 in which the upper surface of the article group 50 is at the highest position. Then, for example, as shown in FIG. 4B, the article 51 is pulled up in the vertical direction (direction indicated by the arrow A2) in a state where the suction pad sucks the article 51.

ステップＳ１７において、情報処理装置７０は、ＬＲＦ３がＬＲＦ測定位置（センサ高さ）で測定した、ＬＲＦ３から物品群５０の物品までの距離に基づいて、ＬＲＦ測定位置における物品の有無を判定する。ＬＲＦ測定位置に物品がないと判定された場合には（ステップＳ１７－Ｎｏ）、処理はステップＳ１６に戻る。ＬＲＦ測定位置に物品があると判定された場合には（ステップＳ１７－Ｙｅｓ）、処理はステップＳ１８に進む。ここで、ＬＲＦ測定位置に物品があると判定された場合とは、ロボットアーム１０の把持部１２が把持対象物品を把持して引き上げ始めている状態を表す。これは、例えば図４Ｂに示される状態である。 In step S17, the information processing apparatus 70 determines the presence or absence of an article at the LRF measurement position based on the distance from the LRF 3 to the article of the article group 50 measured by the LRF 3 at the LRF measurement position (sensor height). If it is determined that there is no article at the LRF measurement position (step S17-No), the process returns to step S16. If it is determined that there is an article at the LRF measurement position (step S17-Yes), the process proceeds to step S18. Here, the case where it is determined that the article is at the LRF measurement position means a state in which the grip portion 12 of the robot arm 10 grips the article to be gripped and starts pulling it up. This is, for example, the state shown in FIG. 4B.

ステップＳ１８において、ロボット制御装置６０は、制御プログラムにしたがってロボットアーム１０を動作させて、例えば図４Ｃに示されるように、把持部１２で把持している物品５１を鉛直方向（矢印Ａ３に示される方向）にさらに引き上げる。 In step S18, the robot control device 60 operates the robot arm 10 according to the control program to hold the article 51 gripped by the grip portion 12 in the vertical direction (indicated by the arrow A3), for example, as shown in FIG. 4C. Further pull up in the direction).

ステップＳ１９において、情報処理装置７０は、ＬＲＦ３がＬＲＦ測定位置（センサ高さ）で測定した、ＬＲＦ３から物品群５０の物品までの距離に基づいて、ＬＲＦ測定位置における物品の有無を判定する。ＬＲＦ測定位置に物品があると判定された場合には（ステップＳ１９－Ｙｅｓ）、処理はステップＳ１８に戻る。ＬＲＦ測定位置に物品がないと判定された場合には（ステップＳ１９－Ｎｏ）、処理はステップＳ２０に進む。ここで、ＬＲＦ測定位置に物品がないと判定された場合とは、ロボットアーム１０の把持部１２が物品を引き上げ切った、すなわち引き抜き完了状態を表す。これは、例えば図４Ｃに示される状態である。 In step S19, the information processing apparatus 70 determines the presence or absence of an article at the LRF measurement position based on the distance from the LRF 3 to the article of the article group 50 measured by the LRF 3 at the LRF measurement position (sensor height). If it is determined that there is an article at the LRF measurement position (step S19-Yes), the process returns to step S18. If it is determined that there is no article at the LRF measurement position (step S19-No), the process proceeds to step S20. Here, the case where it is determined that there is no article at the LRF measurement position indicates that the grip portion 12 of the robot arm 10 has pulled up the article completely, that is, the drawing is completed. This is, for example, the state shown in FIG. 4C.

ステップＳ１９までの処理で、物品群５０の物品のうち上面の高さが最も高い物品の引き抜きが完了しているため、物品群５０の物品のうち上面の高さが最も高い物品は、物品５１から物品５２に変わっている。したがって、ＬＲＦ測定位置が再度物品群５０の物品のうち上面の高さが最も高い物品に合わせられる必要がある。しかしながら、ＬＲＦ３がＬＲＦ昇降機構４によって下げられる下端位置に既に達している場合には、ＬＲＦ３をこれ以上下げることができず、所望のＬＲＦ測定位置に高さ合わせできない可能性がある。 In the process up to step S19, the article having the highest top surface height among the articles in the article group 50 has been pulled out, so that the article having the highest top surface height among the articles in the article group 50 is the article 51. Has changed to article 52. Therefore, it is necessary that the LRF measurement position is again adjusted to the article having the highest height of the upper surface among the articles of the article group 50. However, if the LRF3 has already reached the lower end position lowered by the LRF elevating mechanism 4, the LRF3 cannot be lowered any further, and there is a possibility that the height cannot be adjusted to the desired LRF measurement position.

そこで、ステップＳ２０において、情報処理装置７０は、ＬＲＦ３がまだ下げられるか否かを判定する。つまり、ＬＲＦ３がＬＲＦ昇降機構４によって下げられる下端位置に達しているか否かが判定される。まだ下げられると判定された場合には（ステップＳ２０－Ｙｅｓ）、処理はステップＳ１２に進む。ステップＳ１２以後、ＬＲＦ３のＬＲＦ測定位置が物品群５０の最も高い位置にある物品の上面の高さよりも幾分高い高さに合わせられて、再度の物品引き抜き検知が行われる。例えば図４Ｄに示されるように、ＬＲＦ３がＬＲＦ昇降機構４の動作により矢印Ａ４で示されるように下降されて新たな高さＨ２（Ｈ２＜Ｈ１）に高さ合わせされて、物品群５０の物品５２の引き抜き、及び引き抜き検知が行われる。 Therefore, in step S20, the information processing apparatus 70 determines whether or not the LRF3 is still lowered. That is, it is determined whether or not the LRF 3 has reached the lower end position lowered by the LRF elevating mechanism 4. If it is determined that it is still lowered (step S20-Yes), the process proceeds to step S12. After step S12, the LRF measurement position of the LRF3 is adjusted to a height slightly higher than the height of the upper surface of the article at the highest position of the article group 50, and the article withdrawal detection is performed again. For example, as shown in FIG. 4D, the LRF3 is lowered by the operation of the LRF elevating mechanism 4 as shown by the arrow A4 and height-adjusted to a new height H2 (H2 <H1), so that the articles of the article group 50 The withdrawal of 52 and the withdrawal detection are performed.

一方、ステップＳ２０において、ＬＲＦ３がこれ以上下げられないと判定された場合には（ステップＳ２０－Ｎｏ）、処理はステップＳ１６に進む。この場合には、ステップＳ１６以後、ＬＲＦ３が下端位置に位置している状態で、すなわち、ＬＲＦ３が下端位置に固定された状態で、再度の物品引き抜き検知が行われる。例えば図４Ｅに示されるように、ＬＲＦ３が下端位置の高さＨ３に固定されて、物品群５０の物品５３の引き抜き、及び引き抜き検知が行われる。 On the other hand, if it is determined in step S20 that the LRF3 cannot be lowered any more (step S20-No), the process proceeds to step S16. In this case, after step S16, the article withdrawal detection is performed again with the LRF3 located at the lower end position, that is, with the LRF3 fixed at the lower end position. For example, as shown in FIG. 4E, the LRF3 is fixed at the height H3 at the lower end position, and the article 53 of the article group 50 is pulled out and the pull-out detection is performed.

ステップＳ１９における物品引き抜き検知の後、ステップＳ２０とともにステップＳ２１の処理が行われる。ステップＳ２１からステップＳ２３までの処理は、物品引き抜き検知後に、ロボットアーム１０の把持部１２が把持している物品の高さを導出する処理である。 After the article withdrawal detection in step S19, the process of step S21 is performed together with step S20. The process from step S21 to step S23 is a process of deriving the height of the article gripped by the gripping portion 12 of the robot arm 10 after the article withdrawal is detected.

ステップＳ２１において、情報処理装置７０は、引き抜き検知に伴い、ロボットアーム１０の位置姿勢を算出する指令を出す。例えば、情報処理装置７０が、引き抜き検知（ステップＳ１９－Ｙｅｓ）により時刻Ｔに物品の引き抜きを検知して、ロボット制御装置６０にロボットアーム１０の位置姿勢を算出する指令を送信する。ロボット制御装置６０は、情報処理装置７０からの指令を受けてロボットアーム１０の位置姿勢を算出する。 In step S21, the information processing apparatus 70 issues a command to calculate the position and orientation of the robot arm 10 in accordance with the extraction detection. For example, the information processing apparatus 70 detects the extraction of an article at time T by the extraction detection (step S19-Yes), and transmits a command to calculate the position and orientation of the robot arm 10 to the robot control device 60. The robot control device 60 calculates the position and posture of the robot arm 10 in response to a command from the information processing device 70.

ステップＳ２２において、情報処理装置７０は、ロボット制御装置６０が算出したロボットアーム１０の位置姿勢を取得する。ここで、ロボット制御装置６０が算出したロボットアーム１０の位置姿勢ＶＥＣＴＯＲ＿ａｒｍは、時刻Ｔ＋ｄＴにおけるロボットアーム１０の位置姿勢である。ここで、ｄＴは、処理時間、通信時間、又はその両方による遅延を表す。取得される位置姿勢ＶＥＣＴＯＲ＿ａｒｍは、物品の引き抜きを検知した時刻Ｔでのロボットアーム１０の位置姿勢ではなく、ロボット制御装置６０による処理時間又はロボット制御装置６０及び情報処理装置７０の通信時間等に由来する遅延ｄＴ後の時刻Ｔ＋ｄＴのロボットアーム１０の位置姿勢である。 In step S22, the information processing device 70 acquires the position and orientation of the robot arm 10 calculated by the robot control device 60. Here, the position / orientation VECTOR_arm of the robot arm 10 calculated by the robot control device 60 is the position / orientation of the robot arm 10 at time T + dT. Here, dT represents a delay due to processing time, communication time, or both. The acquired position / orientation VECTOR_arm is derived from the processing time by the robot control device 60 or the communication time of the robot control device 60 and the information processing device 70, etc., not the position / orientation of the robot arm 10 at the time T when the pulling out of the article is detected. It is the position and orientation of the robot arm 10 at the time T + dT after the delay dT.

ステップＳ２３において、情報処理装置７０は、ステップＳ２２で取得したロボットアーム１０の位置姿勢に基づいて、ロボットアーム１０の把持部１２が把持している物品の高さを導出する。例えば、情報処理装置７０が、ステップＳ２２で取得したロボットアーム１０の位置姿勢ＶＥＣＴＯＲ＿ａｒｍに基づいて、ロボットアーム１０が把持している物品５１の高さｈ＿ｉｔｅｍを求める。ここで、位置姿勢ベクトルＶＥＣＴＯＲ＿ａｒｍは、地面に対する把持部１２の座標と吸着面を示す単位ベクトル（各ベクトルの角度）を表す。 In step S23, the information processing apparatus 70 derives the height of the article gripped by the grip portion 12 of the robot arm 10 based on the position and posture of the robot arm 10 acquired in step S22. For example, the information processing apparatus 70 obtains the height h_item of the article 51 held by the robot arm 10 based on the position / posture VECTOR_arm of the robot arm 10 acquired in step S22. Here, the position / orientation vector VECTOR_arm represents the coordinates of the grip portion 12 with respect to the ground and the unit vector (angle of each vector) indicating the suction surface.

図５を参照して、ステップＳ２３における物品高さ測定の第１の方法について説明する。 With reference to FIG. 5, the first method of measuring the height of the article in step S23 will be described.

物品５１の引き抜きが検知された時刻ｔ＝ＴにおけるＬＲＦ３の高さをｈ＿ｌｒｆとする。その後、時刻ｔ＝Ｔ＋ｄＴにおけるロボットアーム１０の位置姿勢ＶＥＣＴＯＲ＿ａｒｍが取得される。ここで、ロボットアームの位置姿勢ＶＥＣＴＯＲ＿ａｒｍは、時刻ｔ＝Ｔ＋ｄＴでのロボットアーム１０のアーム機構１１の例えばハンド高さ位置をｈ＿ｈａｎｄにおける位置姿勢ベクトルである。なお、ハンドはアーム機構１１の先端と同義である。 Let h_lrf be the height of LRF3 at the time t = T when the withdrawal of the article 51 is detected. After that, the position / orientation VECTOR_arm of the robot arm 10 at time t = T + dT is acquired. Here, the position / posture VECTOR_arm of the robot arm is a position / posture vector in which, for example, the hand height position of the arm mechanism 11 of the robot arm 10 at time t = T + dT is h_hand. The hand is synonymous with the tip of the arm mechanism 11.

ロボットアーム１０が速度Ｖｚで高速移動している場合、遅延ｄＴの間にもロボットアーム１０は動き続けている。このため、ロボットアーム１０の位置姿勢ベクトルが算出された時刻ｔ＝Ｔ＋ｄＴでは、ロボットアーム１０が把持している物品５１の下端高さは、図５に示されるようにアーム行き過ぎ距離Ｌ＝Ｖｚ・ｄＴの分だけ上方に移動している。したがって、時刻ｔ＝Ｔ＋ｄＴにおける物品５１の下端高さをｈ＿ｉｔｅｍ＿ｂｏｔｔｏｍ＝ｈ＿ｌｒｆ＋Ｌとする。 When the robot arm 10 is moving at a high speed of Vz, the robot arm 10 continues to move even during the delay dT. Therefore, at the time t = T + dT when the position / orientation vector of the robot arm 10 is calculated, the height of the lower end of the article 51 held by the robot arm 10 is the arm excess distance L = Vz. It is moving upward by the amount of dT. Therefore, the height of the lower end of the article 51 at time t = T + dT is set to h_item_bottom = h_lrf + L.

ロボットアーム１０の把持部１２で物品を把持する際に、ロボット制御装置６０は、把持対象物品の上面の情報を距離センサ２から取得している。ロボット制御装置６０は、把持対象物品の上面のどの位置を把持部１２が把持するのか認識しているため、ロボット制御装置６０では、把持部１２の中心軸から把持対象物品の上面の四隅までの距離が算出可能である。把持部１２の吸着部の厚さを一定とすれば、ロボット制御装置６０は、把持対象物品の上面の四隅の座標を算出することができ、また、把持部１２の角度から、最も下端にある１点の座標を特定可能である。 When gripping an article with the grip portion 12 of the robot arm 10, the robot control device 60 acquires information on the upper surface of the article to be gripped from the distance sensor 2. Since the robot control device 60 recognizes which position on the upper surface of the grip target article the grip portion 12 grips, the robot control device 60 extends from the central axis of the grip portion 12 to the four corners of the upper surface of the grip target article. The distance can be calculated. If the thickness of the suction portion of the grip portion 12 is constant, the robot control device 60 can calculate the coordinates of the four corners of the upper surface of the article to be gripped, and is at the lowermost end from the angle of the grip portion 12. The coordinates of one point can be specified.

ロボットアーム１０の把持部１２の吸着面の頂点のうち、上述のようにして特定された、最も下端にある１点から、ロボットアーム１０の位置姿勢ＶＥＣＴＯＲ＿ａｒｍと、これと逆方向に延びるベクトルＶＥＣＴＯＲ＿ｖｅｒｔｅｘとが求まる。また、物品５１の下端高さの水平面をＰｌａｎｅ＿ｉｔｅｍ＿ｂｏｔｔｏｍとする。ロボットアーム１０の位置姿勢の逆ベクトルＶＥＣＴＯＲ＿ｖｅｒｔｅｘと、物品５１の下端高さの水平面Ｐｌａｎｅ＿ｉｔｅｍ＿ｂｏｔｔｏｍとの交点を求めることで、物品高さｈ＿ｉｔｅｍを導出可能である。例えば、ロボットアーム１０の位置姿勢ＶＥＣＴＯＲ＿ａｒｍの座標を上記最も下端にある１点の座標に平行移動し、ロボットアーム１０の位置姿勢ＶＥＣＴＯＲ＿ａｒｍが有するベクトル成分のうち、吸着面の法線ベクトルに相当する成分の延長線と、物品５１の下端高さの水平面Ｐｌａｎｅ＿ｉｔｅｍ＿ｂｏｔｔｏｍとの交点を求めることで、物品高さｈ＿ｉｔｅｍを導出可能である。 The position-posture VECTOR_arm of the robot arm 10 and the vector VECTOR_vertex extending in the opposite direction from the one at the lowermost end identified as described above among the vertices of the suction surface of the grip portion 12 of the robot arm 10. Is sought. Further, the horizontal plane at the lower end height of the article 51 is defined as Plane_item_bottom. The article height h_item can be derived by finding the intersection of the inverse vector VECTOR_vertex of the position and orientation of the robot arm 10 and the horizontal plane Plane_item_bottom at the lower end height of the article 51. For example, the coordinates of the position / orientation VECTOR_arm of the robot arm 10 are translated in parallel with the coordinates of the one point at the lowermost end, and among the vector components of the position / orientation VECTOR_arm of the robot arm 10, the components corresponding to the normal vector of the suction surface. The article height h_item can be derived by finding the intersection of the extension line of the article 51 and the horizontal plane Plane_item_bottom at the lower end height of the article 51.

以上のことから、制御システム２０は、情報処理装置７０により時刻ｔ＝Ｔで物品５１の引き抜きを検知して、引き抜き検知を受けてロボット制御装置６０によりロボットアーム１０の位置姿勢ＶＥＣＴＯＲ＿ａｒｍを算出する。ここで算出されるロボットアーム１０の位置姿勢ＶＥＣＴＯＲ＿ａｒｍは、処理時間や通信時間による遅延ｄＴのため、時刻ｔ＝Ｔ＋ｄＴにおける位置姿勢のベクトルである。また、情報処理装置７０は、例えばロボット制御装置６０がもつロボットアーム１０の制御情報から、ロボットアーム１０の把持部１２の吸着面の頂点のうち、最も下端にある１点の三次元位置座標を取得する。また、情報処理装置７０は、時刻ｔ＝ＴでのＬＲＦ３の高さｈ＿ｌｒｆに、遅延ｄＴにおけるアーム行き過ぎ距離Ｌ、すなわちアーム移動速度Ｖｚと遅延ｄＴとの積を加えることで、時刻ｔ＝Ｔ＋ｄＴでの物品５１の下端高さにある平面Ｐｌａｎｅ＿ｉｔｅｍ＿ｂｏｔｔｏｍを特定する。そして、情報処理装置７０は、上述のような法線ベクトル成分の延長線と平面Ｐｌａｎｅ＿ｉｔｅｍ＿ｂｏｔｔｏｍとの交点を算出することで、物品５１の高さｈ＿ｉｔｅｍを算出する。 From the above, the control system 20 detects the pulling out of the article 51 at time t = T by the information processing device 70, receives the pulling out detection, and calculates the position / orientation VECTOR_arm of the robot arm 10 by the robot control device 60. The position / orientation VECTOR_arm of the robot arm 10 calculated here is a vector of the position / orientation at time t = T + dT because of the delay dT due to the processing time and the communication time. Further, the information processing device 70 obtains the three-dimensional position coordinates of one point at the lowermost end of the apex of the suction surface of the grip portion 12 of the robot arm 10 from the control information of the robot arm 10 possessed by the robot control device 60, for example. get. Further, the information processing apparatus 70 adds the product of the arm overshoot distance L at the delay dT, that is, the arm moving speed Vz and the delay dT to the height h_lrf of the LRF3 at the time t = T, so that the information processing device 70 at the time t = T + dT. The plane Plane_item_bottom at the lower end height of the article 51 of the article 51 is specified. Then, the information processing apparatus 70 calculates the height h_item of the article 51 by calculating the intersection of the extension line of the normal vector component as described above and the plane Plane_item_bottom.

つまり、情報処理装置７０は、アーム行き過ぎ距離Ｌを用いて物品高さを補正することで、遅延ｄＴによる物品高さへの影響を打ち消して物品高さを精度よく算出する。 That is, the information processing apparatus 70 corrects the article height by using the arm excess distance L to cancel the influence of the delay dT on the article height and calculate the article height accurately.

例えば、第１の方法では、情報処理装置７０は、物品を把持して移動させるロボットアームの位置姿勢を示す情報を取得する第１インタフェースと、ＬＲＦ３が配置されたＬＲＦ測定位置（センサ高さ）における、ＬＲＦ３からロボットアーム１０が把持している物品までの距離を測定するＬＲＦ３の出力情報を取得する第２インタフェースとを備える。第１インタフェース及び第２インタフェースは、例えば、情報処理装置７０の通信インタフェース７１である。また、情報処理装置７０のプロセッサ７２は、第２インタフェースにより取得するＬＲＦ３の出力情報に基づいて物品がロボットアーム１０によりＬＲＦ測定位置（センサ高さ）を超えたことを検出した場合、第１インタフェースによりロボットアーム１０の位置姿勢を示す情報を取得し、取得した位置姿勢と、ＬＲＦ測定位置と、物品がＬＲＦ測定位置を超えたことを検出してから位置姿勢を取得するまでの時間及びロボットアーム１０の移動速度とに基づいて物品の高さを導出する。 For example, in the first method, the information processing apparatus 70 has a first interface for acquiring information indicating the position and orientation of a robot arm that grips and moves an article, and an LRF measurement position (sensor height) in which the LRF3 is arranged. The second interface for acquiring the output information of the LRF3 for measuring the distance from the LRF3 to the article held by the robot arm 10 is provided. The first interface and the second interface are, for example, the communication interface 71 of the information processing apparatus 70. Further, when the processor 72 of the information processing apparatus 70 detects that the article exceeds the LRF measurement position (sensor height) by the robot arm 10 based on the output information of the LRF 3 acquired by the second interface, the first interface The information indicating the position and orientation of the robot arm 10 is acquired, the acquired position and orientation, the LRF measurement position, the time from the detection that the article exceeds the LRF measurement position to the acquisition of the position and orientation, and the robot arm. The height of the article is derived based on the moving speed of 10.

本実施形態によれば、情報処理装置７０は、ロボットアーム１０で把持して引き抜いた物品の高さを導出する。情報処理装置７０は、ロボットアーム１０で把持している物品の引き抜きを検知してからロボットアーム１０の位置姿勢を取得するまでにロボットアーム１０が移動した距離を、ロボットアーム１０の移動速度Ｖｚ及び処理時間又は通信時間由来の遅延ｄＴから算出し、算出した距離に基づく補正を物品高さに与えることで、物品高さを導出することが可能となる。したがって、ロボットアーム１０が高速移動していても物品高さを精度よく求めることが可能となる。 According to the present embodiment, the information processing apparatus 70 derives the height of the article grasped and pulled out by the robot arm 10. The information processing apparatus 70 determines the distance traveled by the robot arm 10 from the detection of the pulling out of the article held by the robot arm 10 to the acquisition of the position and orientation of the robot arm 10 by the moving speed Vz of the robot arm 10 and the movement speed Vz of the robot arm 10. It is possible to derive the article height by calculating from the delay dT derived from the processing time or the communication time and giving a correction based on the calculated distance to the article height. Therefore, even if the robot arm 10 is moving at high speed, it is possible to accurately obtain the height of the article.

第１の方法では、アーム行き過ぎ距離Ｌ＝Ｖｚ・ｄＴを算出する際のロボットアーム１０の移動速度Ｖｚの値の持つ誤差が小さく、ｄＴも比較的小さい値であるため、導出される物品高さに誤差が生じにくい。 In the first method, the error of the moving speed Vz value of the robot arm 10 when calculating the arm excess distance L = Vz · dT is small, and dT is also a relatively small value, so that the height of the article to be derived is derived. Is less likely to cause an error.

本実施形態では、物品の引き抜き検知のためにロボットアーム１０とＬＲＦ３とを組み合わせたことにより、引き抜き動作の無駄を削減してロボットアーム１０の動作経路計画の最適化を図ることができる。例えば、距離センサ２は、物品群５０のなかからロボットアーム１０が把持する把持対象物品として決定するために用いることはできるものの、情報から撮像される画像情報のみを物品の引き抜きの検出に用いることは難しい。本実施形態では、物品までの距離を測定するセンサ、例えばＬＲＦ３を用いることで、ＬＲＦ監視範囲における物品の有無に基づいて引き抜き動作を確認することが可能である。 In the present embodiment, by combining the robot arm 10 and the LRF3 for detecting the pulling out of an article, it is possible to reduce the waste of the pulling out operation and optimize the operation path plan of the robot arm 10. For example, although the distance sensor 2 can be used to determine the article to be gripped by the robot arm 10 from the article group 50, only the image information captured from the information is used to detect the extraction of the article. Is difficult. In the present embodiment, by using a sensor that measures the distance to the article, for example, LRF3, it is possible to confirm the pulling operation based on the presence or absence of the article in the LRF monitoring range.

例えば物品群５０の物品の側面を検出可能な三次元カメラ等のセンサを用いれば、物品群５０の物品の引き抜きの検出及び高さの測定は可能である。しかしながら、そのようなセンサは高価であり、物流現場での使用は実際的でない。また、そのようなセンサでの画像認識に要する処理時間を考えると、高速移動するロボットアーム１０で把持している物品の引き抜きや高さ測定に用いることは実用的でない。本実施形態では、比較的安価な一次元センサ、例えば物品までの距離を測定するＬＲＦ３を用いることで、ロボットアーム１０が把持している物品の高さを導出することができる。本実施形態では、画像認識に要する処理時間の問題も生じない。 For example, if a sensor such as a three-dimensional camera capable of detecting the side surface of the article of the article group 50 is used, it is possible to detect the pulling out of the article of the article group 50 and measure the height. However, such sensors are expensive and impractical for use in distribution sites. Further, considering the processing time required for image recognition by such a sensor, it is not practical to use it for pulling out or measuring the height of an article held by the robot arm 10 moving at high speed. In the present embodiment, the height of the article held by the robot arm 10 can be derived by using a relatively inexpensive one-dimensional sensor, for example, LRF3 for measuring the distance to the article. In the present embodiment, there is no problem of processing time required for image recognition.

また、本実施形態では、ＬＲＦ３はＬＲＦ昇降機構４により上下方向に移動する。ＬＲＦ３のＬＲＦ測定位置を物品群５０のうち最も高い物品の上面の高さに合わせて順次移動させていくことで、ロボットアーム１０による引き抜き動作の無駄を削減することができる。 Further, in the present embodiment, the LRF 3 moves in the vertical direction by the LRF elevating mechanism 4. By sequentially moving the LRF measurement position of the LRF 3 according to the height of the upper surface of the tallest article in the article group 50, it is possible to reduce the waste of the pulling operation by the robot arm 10.

図６Ａ及び図６Ｂを参照して、物品高さ測定の第２の方法について説明する。第２の方法では、情報処理装置７０は、図３に示されるステップＳ２１からステップＳ２３に代わって、ＬＲＦ３が物品を検出した検出開始時刻（ステップＳ１７－Ｙｅｓ）から物品を検出しなくなった検出終了時刻（ステップＳ１９－Ｎｏ）までの所要時間と物品の移動速度とに基づいて、物品の高さを導出する。 A second method of measuring the height of an article will be described with reference to FIGS. 6A and 6B. In the second method, the information processing apparatus 70 stops detecting the article from the detection start time (step S17-Yes) when the LRF3 detects the article instead of the steps S21 to S23 shown in FIG. The height of the article is derived based on the time required until the time (step S19-No) and the moving speed of the article.

図６Ａに示されるように、物品５４を把持しているロボットアーム１０が上方に速度Ｖｚで高速移動している場合に物品５４の高さｈ＿ｉｔｅｍを求めることを考える。図６Ｂには、ＬＲＦ３による物品検出における距離Ｓと時間ｔとの関係の一例が示される。 As shown in FIG. 6A, it is considered to obtain the height h_item of the article 54 when the robot arm 10 holding the article 54 is moving upward at a high speed of Vz. FIG. 6B shows an example of the relationship between the distance S and the time t in the article detection by LRF3.

例えば、ＬＲＦ３からの距離Ｓ＝ｓ１にロボットアーム１０の把持対象物品である物品５４が存在するとする。ロボットアーム１０が物品５４を鉛直方向に引き上げているとき、情報処理装置７０は、例えば図６Ｂに示されるように、ＬＲＦ監視範囲にある距離ｓ１の点において、時刻ｔ＝ｔ１から時刻ｔ＝ｔ２まで物品５４を検出する。検出開始時刻ｔ１は、引き抜き開始時刻とみなされ、検出終了時刻ｔ２は、引き抜き終了時刻とみなされる。引き抜き終了時刻と引き抜き開始時刻との差であるｔ２－ｔ１が、物品５４の引き抜きに要した時間である。したがって、例えば鉛直方向に速度Ｖｚでまっすぐ引き抜かれた物品５４の高さは、ｈ＿ｉｔｅｍ＝Ｖｚ・（ｔ２－ｔ１）で算出される。 For example, it is assumed that the article 54, which is the article to be gripped by the robot arm 10, exists at a distance S = s1 from the LRF3. When the robot arm 10 is pulling up the article 54 in the vertical direction, the information processing apparatus 70 takes time t = t1 to time t = t2 at a distance s1 within the LRF monitoring range, for example, as shown in FIG. 6B. Detects article 54 up to. The detection start time t1 is regarded as the extraction start time, and the detection end time t2 is regarded as the extraction end time. T2-t1, which is the difference between the withdrawal end time and the withdrawal start time, is the time required for withdrawing the article 54. Therefore, for example, the height of the article 54 drawn straight in the vertical direction at a velocity Vz is calculated by h_item = Vz · (t2-t1).

第２の方法では、情報処理装置７０は、物品を把持して移動させるロボットアームの移動速度を取得する第１インタフェースと、ＬＲＦ３が配置されたＬＲＦ測定位置における、ＬＲＦ３からロボットアーム１０が把持している物品までの距離を測定するＬＲＦ３の出力情報を取得する第２インタフェースと、を備える。第１インタフェース及び第２インタフェースは、例えば、情報処理装置７０の通信インタフェース７１である。情報処理装置７０のプロセッサ７２は、第２インタフェースにより取得するＬＲＦ３の出力情報に基づいてＬＲＦ３が物品を検出した検出開始時刻から物品を検出しなくなった検出終了時刻までの所要時間を特定し、特定した所要時間と当該所要時間におけるロボットアーム１０の移動速度とに基づいて物品の高さを導出する。 In the second method, the information processing apparatus 70 grips the robot arm 10 from the LRF 3 at the first interface for acquiring the moving speed of the robot arm that grips and moves the article and the LRF measurement position where the LRF 3 is arranged. It is provided with a second interface for acquiring output information of LRF3 for measuring the distance to the article. The first interface and the second interface are, for example, the communication interface 71 of the information processing apparatus 70. The processor 72 of the information processing apparatus 70 identifies and specifies the required time from the detection start time when the LRF3 detects the article to the detection end time when the article is no longer detected based on the output information of the LRF3 acquired by the second interface. The height of the article is derived based on the required time and the moving speed of the robot arm 10 in the required time.

つまり、第２の方法では、ロボットアーム１０による物品の引き抜き前後のＬＲＦ３の検出時間と、ロボットアーム１０の移動速度Ｖｚとから、物品の高さを求めることができる。情報処理装置７０は、ＬＲＦ３の検出結果に基づく物品通過の所要時間と、ロボット制御装置６０から取得されるロボットアーム１０の移動速度とから、物品高さを算出する。特に、第２の方法では、ロボットアーム１０の位置姿勢を示す情報を取得することなく、簡便な手法で物品の高さが求められる。 That is, in the second method, the height of the article can be obtained from the detection time of LRF3 before and after the article is pulled out by the robot arm 10 and the moving speed Vz of the robot arm 10. The information processing apparatus 70 calculates the article height from the time required for passing the article based on the detection result of the LRF 3 and the moving speed of the robot arm 10 acquired from the robot control device 60. In particular, in the second method, the height of the article can be obtained by a simple method without acquiring information indicating the position and orientation of the robot arm 10.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１…荷降しシステム、２…距離センサ、３…レーザーレンジファインダ（ＬＲＦ）、４…ＬＲＦ昇降機構、１０…ロボットアーム、１１…アーム機構、１２…把持部、２０…制御システム、３０…ネットワーク、４０…搬送用コンベア、５０…物品群、５１，５２，５３，５４…物品、６０…ロボット制御装置、７０…情報処理装置。

1 ... Unloading system, 2 ... Distance sensor, 3 ... Laser range finder (LRF), 4 ... LRF elevating mechanism, 10 ... Robot arm, 11 ... Arm mechanism, 12 ... Grip part, 20 ... Control system, 30 ... Network , 40 ... Conveyor conveyor, 50 ... Article group, 51, 52, 53, 54 ... Articles, 60 ... Robot control device, 70 ... Information processing device.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の原出願の分割直前の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
物品を把持して移動させるロボットアームの位置姿勢を示す情報を取得する第１インタフェースと、
センサが配置されたセンサ高さにおける、前記センサから前記ロボットアームが把持している物品までの距離を測定するセンサの出力情報を取得する第２インタフェースと、
前記第２インタフェースにより取得する前記センサの出力情報に基づいて前記物品が前記ロボットアームにより前記センサ高さを超えたことを検出した場合、前記第１インタフェースにより前記ロボットアームの位置姿勢を示す情報を取得し、取得した位置姿勢と、前記センサ高さと、前記物品が前記センサ高さを超えたことを検出してから前記位置姿勢を取得するまでの時間及び前記ロボットアームの移動速度とに基づいて前記物品の高さを導出する制御部と、
を具備する情報処理装置。
［Ｃ２］
物品を把持して移動させるロボットアームの移動速度を取得する第１インタフェースと、
センサが配置されたセンサ高さにおける、前記センサから前記ロボットアームが把持している物品までの距離を測定するセンサの出力情報を取得する第２インタフェースと、
前記第２インタフェースにより取得する前記センサの出力情報に基づいて前記センサが前記物品を検出した検出開始時刻から前記物品を検出しなくなった検出終了時刻までの所要時間を特定し、前記所要時間と前記所要時間における前記ロボットアームの移動速度とに基づいて前記物品の高さを導出する制御部と、
を具備する情報処理装置。
［Ｃ３］
［Ｃ１］又は［Ｃ２］に記載の情報処理装置と、
前記物品を把持する把持部を有する、前記ロボットアームと、
前記センサと、
前記ロボットアームの動作を制御するロボット制御装置と、
前記センサの動作を制御するセンサ制御装置と、
を具備する、荷降しシステム。
［Ｃ４］
前記センサを昇降させるセンサ昇降機構をさらに具備し、
前記センサ制御装置は、前記センサ昇降機構を動作させて、前記センサ高さを前記物品の上面の高さに基づいて変更させる、［Ｃ３］に記載の荷降しシステム。
［Ｃ５］
物品を把持して移動させるロボットアームが引き上げている物品の高さを導出することをコンピュータに実行させるプログラムであって、
センサが配置されたセンサ高さにおける、前記センサから前記ロボットアームが把持している物品までの距離を測定するセンサの出力情報に基づいて、前記物品が前記ロボットアームにより前記センサ高さを超えたことを検出し、
前記ロボットアームの位置姿勢を取得し、
取得した位置姿勢と、前記センサ高さと、前記物品が前記センサ高さを超えたことを検出してから前記位置姿勢を取得するまでの時間及び前記ロボットアームの移動速度とに基づいて前記物品の高さを導出する、プログラム。
［Ｃ６］
物品を把持して移動させるロボットアームが引き上げている物品の高さを導出することをコンピュータに実行させるプログラムであって、
センサが配置されたセンサ高さにおける、前記センサから前記ロボットアームが把持している物品までの距離を測定するセンサの出力情報を取得し、
取得した出力情報に基づいて前記センサが前記物品を検出した検出開始時刻から前記物品を検出しなくなった検出終了時刻までの所要時間を特定し、
前記所要時間と前記所要時間における前記ロボットアームの移動速度とに基づいて前記物品の高さを導出する、プログラム。
Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
Hereinafter, the invention described in the claims immediately before the division of the original application of the present application will be added.
[C1]
A first interface for acquiring information indicating the position and posture of a robot arm that grips and moves an article, and
A second interface for acquiring the output information of the sensor that measures the distance from the sensor to the article held by the robot arm at the sensor height where the sensor is arranged, and
When it is detected by the robot arm that the article exceeds the height of the sensor based on the output information of the sensor acquired by the second interface, the information indicating the position and orientation of the robot arm is transmitted by the first interface. Based on the acquired position / orientation, the sensor height, the time from the detection that the article exceeds the sensor height to the acquisition of the position / orientation, and the moving speed of the robot arm. A control unit that derives the height of the article,
Information processing device equipped with.
[C2]
The first interface for acquiring the moving speed of the robot arm that grips and moves the article, and
A second interface for acquiring the output information of the sensor that measures the distance from the sensor to the article held by the robot arm at the sensor height where the sensor is arranged, and
Based on the output information of the sensor acquired by the second interface, the required time from the detection start time when the sensor detects the article to the detection end time when the article is no longer detected is specified, and the required time and the said A control unit that derives the height of the article based on the moving speed of the robot arm in a required time, and a control unit.
Information processing device equipped with.
[C3]
The information processing apparatus according to [C1] or [C2] and
With the robot arm having a grip portion for gripping the article,
With the sensor
A robot control device that controls the operation of the robot arm,
A sensor control device that controls the operation of the sensor, and
Equipped with an unloading system.
[C4]
Further equipped with a sensor elevating mechanism for elevating and lowering the sensor,
The unloading system according to [C3], wherein the sensor control device operates the sensor elevating mechanism to change the height of the sensor based on the height of the upper surface of the article.
[C5]
A program that causes a computer to derive the height of an article being pulled up by a robot arm that grips and moves the article.
The article exceeds the sensor height by the robot arm based on the output information of the sensor that measures the distance from the sensor to the article held by the robot arm at the sensor height where the sensor is arranged. Detects that
Acquire the position and posture of the robot arm,
The article is based on the acquired position / posture, the sensor height, the time from the detection that the article exceeds the sensor height to the acquisition of the position / posture, and the moving speed of the robot arm. A program that derives the height.
[C6]
A program that causes a computer to derive the height of an article being pulled up by a robot arm that grips and moves the article.
The output information of the sensor that measures the distance from the sensor to the article held by the robot arm at the sensor height where the sensor is placed is acquired.
Based on the acquired output information, the time required from the detection start time when the sensor detects the article to the detection end time when the article is no longer detected is specified.
A program for deriving the height of the article based on the required time and the moving speed of the robot arm in the required time.

Claims (6)

物品を把持して移動させるロボットアームの位置姿勢を示す情報を取得する第１インタフェースと、
センサが配置されたセンサ高さにおける、前記センサから前記ロボットアームが把持している物品までの距離を測定するセンサの出力情報を取得する第２インタフェースと、 前記第２インタフェースにより取得する前記センサの出力情報に基づいて前記物品が前記ロボットアームにより前記センサ高さを超えたことを検出した場合、前記第１インタフェースにより前記ロボットアームの位置姿勢を示す情報を取得し、取得した位置姿勢と、前記センサ高さと、前記物品が前記センサ高さを超えたことを検出してから前記位置姿勢を取得するまでの時間及び前記ロボットアームの移動速度とに基づいて前記物品の高さを導出する制御部と、
を具備する情報処理装置。 A first interface for acquiring information indicating the position and posture of a robot arm that grips and moves an article, and
A second interface for acquiring the output information of the sensor for measuring the distance from the sensor to the article held by the robot arm at the sensor height where the sensor is arranged, and the sensor acquired by the second interface. When it is detected by the robot arm that the article exceeds the sensor height by the robot arm based on the output information, information indicating the position / orientation of the robot arm is acquired by the first interface, and the acquired position / orientation and the said position / orientation. A control unit that derives the height of the article based on the sensor height, the time from detecting that the article exceeds the sensor height to acquiring the position and orientation, and the moving speed of the robot arm. When,
Information processing device equipped with. 物品を把持して移動させるロボットアームの移動速度を取得する第１インタフェースと、
センサが配置されたセンサ高さにおける、前記センサから前記ロボットアームが把持している物品までの距離を測定するセンサの出力情報を取得する第２インタフェースと、 前記第２インタフェースにより取得する前記センサの出力情報に基づいて前記センサが前記物品を検出した検出開始時刻から前記物品を検出しなくなった検出終了時刻までの所要時間を特定し、前記所要時間と前記所要時間における前記ロボットアームの移動速度とに基づいて前記物品の高さを導出する制御部と、
を具備する情報処理装置。 The first interface for acquiring the moving speed of the robot arm that grips and moves the article, and
A second interface for acquiring the output information of the sensor for measuring the distance from the sensor to the article held by the robot arm at the sensor height where the sensor is arranged, and the sensor acquired by the second interface. Based on the output information, the required time from the detection start time when the sensor detects the article to the detection end time when the article is no longer detected is specified, and the required time and the moving speed of the robot arm in the required time are used. A control unit that derives the height of the article based on
Information processing device equipped with. 請求項１又は２に記載の情報処理装置と、
前記物品を把持する把持部を有する、前記ロボットアームと、
前記センサと、
前記ロボットアームの動作を制御するロボット制御装置と、
前記センサの動作を制御するセンサ制御装置と、
を具備する、荷降しシステム。 The information processing apparatus according to claim 1 or 2,
With the robot arm having a grip portion for gripping the article,
With the sensor
A robot control device that controls the operation of the robot arm,
A sensor control device that controls the operation of the sensor, and
Equipped with an unloading system. 前記センサを昇降させるセンサ昇降機構をさらに具備し、
前記センサ制御装置は、前記センサ昇降機構を動作させて、前記センサ高さを前記物品の上面の高さに基づいて変更させる、請求項３に記載の荷降しシステム。 Further equipped with a sensor elevating mechanism for elevating and lowering the sensor,
The unloading system according to claim 3, wherein the sensor control device operates the sensor elevating mechanism to change the height of the sensor based on the height of the upper surface of the article. 物品を把持して移動させるロボットアームが引き上げている物品の高さを導出することをコンピュータに実行させるプログラムであって、
センサが配置されたセンサ高さにおける、前記センサから前記ロボットアームが把持している物品までの距離を測定するセンサの出力情報に基づいて、前記物品が前記ロボットアームにより前記センサ高さを超えたことを検出し、
前記ロボットアームの位置姿勢を取得し、
取得した位置姿勢と、前記センサ高さと、前記物品が前記センサ高さを超えたことを検出してから前記位置姿勢を取得するまでの時間及び前記ロボットアームの移動速度とに基づいて前記物品の高さを導出する、プログラム。 A program that causes a computer to derive the height of an article being pulled up by a robot arm that grips and moves the article.
The article exceeds the sensor height by the robot arm based on the output information of the sensor that measures the distance from the sensor to the article held by the robot arm at the sensor height where the sensor is arranged. Detects that
Acquire the position and posture of the robot arm,
The article is based on the acquired position / posture, the sensor height, the time from the detection that the article exceeds the sensor height to the acquisition of the position / posture, and the moving speed of the robot arm. A program that derives the height. 物品を把持して移動させるロボットアームが引き上げている物品の高さを導出することをコンピュータに実行させるプログラムであって、
センサが配置されたセンサ高さにおける、前記センサから前記ロボットアームが把持している物品までの距離を測定するセンサの出力情報を取得し、
取得した出力情報に基づいて前記センサが前記物品を検出した検出開始時刻から前記物品を検出しなくなった検出終了時刻までの所要時間を特定し、
前記所要時間と前記所要時間における前記ロボットアームの移動速度とに基づいて前記物品の高さを導出する、プログラム。

A program that causes a computer to derive the height of an article being pulled up by a robot arm that grips and moves the article.
The output information of the sensor that measures the distance from the sensor to the article held by the robot arm at the sensor height where the sensor is placed is acquired.
Based on the acquired output information, the time required from the detection start time when the sensor detects the article to the detection end time when the article is no longer detected is specified.
A program for deriving the height of the article based on the required time and the moving speed of the robot arm in the required time.
JP2022039288A 2018-06-15 2022-03-14 Information processing device, information processing method, program, and unloading system Pending JP2022066611A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022039288A JP2022066611A (en) 2018-06-15 2022-03-14 Information processing device, information processing method, program, and unloading system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018114848A JP7042703B2 (en) 2018-06-15 2018-06-15 Information processing equipment, unloading system equipped with information processing equipment, and information processing program
JP2022039288A JP2022066611A (en) 2018-06-15 2022-03-14 Information processing device, information processing method, program, and unloading system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018114848A Division JP7042703B2 (en) 2018-06-15 2018-06-15 Information processing equipment, unloading system equipped with information processing equipment, and information processing program

Publications (1)

Publication Number Publication Date
JP2022066611A true JP2022066611A (en) 2022-04-28

Family

ID=68842283

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018114848A Active JP7042703B2 (en) 2018-06-15 2018-06-15 Information processing equipment, unloading system equipped with information processing equipment, and information processing program
JP2022039288A Pending JP2022066611A (en) 2018-06-15 2022-03-14 Information processing device, information processing method, program, and unloading system

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018114848A Active JP7042703B2 (en) 2018-06-15 2018-06-15 Information processing equipment, unloading system equipped with information processing equipment, and information processing program

Country Status (2)

Country Link
JP (2) JP7042703B2 (en)
WO (1) WO2019240273A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816754B2 (en) 2020-03-13 2023-11-14 Omron Corporation Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
CN113666036A (en) * 2020-05-14 2021-11-19 泰科电子(上海)有限公司 Automatic unstacking system
JP2023088461A (en) * 2021-12-15 2023-06-27 株式会社日立製作所 Work device and control method of work device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5665416U (en) * 1979-10-25 1981-06-01
JP2726534B2 (en) * 1989-12-29 1998-03-11 横浜ゴム株式会社 Measuring method for moving objects
JPH09248779A (en) * 1996-03-08 1997-09-22 Showa Electric Wire & Cable Co Ltd Defective product detecting device and method thereof
JPH11291187A (en) * 1998-04-14 1999-10-26 Kobe Steel Ltd Load position attitude recognizing device
JP3202706B2 (en) 1998-11-24 2001-08-27 株式会社ノダ Outer wall mounting bracket
KR20090003251U (en) * 2007-10-02 2009-04-07 (주)새텍 Laser scanner removal device
JP5665416B2 (en) 2010-08-20 2015-02-04 松本油脂製薬株式会社 Reinforcing fiber sizing agent and its use
JP6710622B2 (en) * 2015-11-13 2020-06-17 株式会社東芝 Transfer device and transfer method

Also Published As

Publication number Publication date
JP2019217570A (en) 2019-12-26
WO2019240273A1 (en) 2019-12-19
JP7042703B2 (en) 2022-03-28

Similar Documents

Publication Publication Date Title
JP2022066611A (en) Information processing device, information processing method, program, and unloading system
JP6632106B1 (en) Control device, transfer device, program, and control method
US10053305B2 (en) Article handling apparatus and method of operating the same
JP7286272B2 (en) Information processing device, information processing method and program
US20180215540A1 (en) Variable article holding device, transfer device, robot handling system, and method for controlling transfer device
JP4565023B2 (en) Article take-out device
KR20210087065A (en) Automatic package registration system, device and method
JP6000029B2 (en) Handling system, handling method and program
JP2019509559A (en) Box location, separation, and picking using a sensor-guided robot
US11257033B2 (en) Inventory verification device
US20190126473A1 (en) Information processing apparatus and robot arm control system
JP2016196077A (en) Information processor, information processing method, and program
WO2019240272A1 (en) Load-lowering system, load-lowering control device, method for controlling load-lowering system, and computer-readable storage medium
JP6773588B2 (en) Transport device
JP2020083584A (en) Unloading device, unloading method and program
JP6666764B2 (en) Work recognition method and random picking method
US20220219922A1 (en) Unloading apparatus and unloading method
JP2019199335A (en) Information processing device, information processing program, and sorting system
US20210162606A1 (en) Picking system, information processing device, and computer readable storage medium
JP7163116B2 (en) Information processing equipment and picking system
JP7021620B2 (en) Manipulators and mobile robots
JP2022079739A (en) Unloading controlling device, unloading controlling method and unloading controlling program
JP7286524B2 (en) Picking robot, picking method and program
CN115139325B (en) Object grasping system
JP2023063110A (en) Picking system, picking device, control device, program and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230801