JP2007015814A - Equipment carrying-in-and-out system - Google Patents
Equipment carrying-in-and-out system Download PDFInfo
- Publication number
- JP2007015814A JP2007015814A JP2005198685A JP2005198685A JP2007015814A JP 2007015814 A JP2007015814 A JP 2007015814A JP 2005198685 A JP2005198685 A JP 2005198685A JP 2005198685 A JP2005198685 A JP 2005198685A JP 2007015814 A JP2007015814 A JP 2007015814A
- Authority
- JP
- Japan
- Prior art keywords
- carry
- carrying
- exhibition
- crane
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Control And Safety Of Cranes (AREA)
- Jib Cranes (AREA)
Abstract
Description
この発明は、画像処理技術を応用してトラッククレーン、ラフタークレーン等の移動クレーンにより、他の工場等により製造された制御盤等の機器を建屋内の電気室に搬入したり、或いは不用となった制御盤等の機器を建屋外に搬出するシステムに関し、特に搬入、搬出の対象物である機器（例えば、各種制御盤、操作盤、各種機械装置、部品）及び搬入、搬出場所の近傍にＩＴＶカメラ或いはビデオカメラ等を設置して、収得されたデジタル画像を演算処理することにより、搬入、搬出の為の移動クレーン等の操作支援システム或いは自動化システムに関するものである。 The present invention applies image processing technology to a crane such as a truck crane, a rough terrain crane, etc., and brings equipment such as a control panel manufactured by another factory into an electrical room in the building or is unnecessary. In particular, a system for carrying out equipment such as control panels to the outside of the building, especially ITV in the vicinity of equipment (for example, various control panels, operation panels, various mechanical devices, parts) that are objects to be carried in and carried out, and places where carry in and out are carried out. The present invention relates to an operation support system or an automation system such as a moving crane for loading and unloading by installing a camera or a video camera and processing an acquired digital image.
従来の機器搬入方法は、移動クレーンのロープに取り付けられたフックに搬入機器を掛けて吊り上げ、移動クレーンのブームを起伏、旋回させて例えば搬入位置である搬入バルコニーに吊り降ろしていた。この時、クレーン操作員は、搬入位置である搬入バルコニーの裏面しか見えない為、或いは吊り荷である搬入機器の水平、垂直位置を見難い為、地上側および搬入バルコニー側で搬入機器と搬入バルコニーとの位置関係を合図する作業員の助けを借りて、クレーン作業を行っていた。 In the conventional equipment carrying-in method, a carrying equipment is hung on a hook attached to a rope of a moving crane, the boom of the moving crane is raised and lowered, and is hung on a carrying-in balcony which is a carrying-in position, for example. At this time, the crane operator can only see the back side of the loading balcony that is the loading position, or it is difficult to see the horizontal and vertical positions of the loading equipment that is a suspended load, so the loading equipment and the loading balcony are on the ground side and the loading balcony side. With the help of the workers who signaled the positional relationship, the crane work was being carried out.
しかしながら、このような移動クレーンを利用した従来の機器搬入出方法では、次ぎの不具合が生じていた。
（ａ）搬入バルコニー上で合図する作業員は地上側のクレーン操作員に判るように合図を行う必要があり、搬入バルコニー上の安全柵を外した端に立って合図をすることになり、作業に夢中になり油断すると地上へ落下する危険があった。
（ｂ）また、地上側の作業員はクレーン操作員に吊り荷の水平位置、揺れ状態、判る範囲での垂直位置等を合図する必要があり、しばしば、禁止されている作業行為ではあるが、吊り荷の下部の位置に入ったりして合図をすることもあり、ロープ切れ等の場合には非常に危険が伴う作業を行っていた。
（ｃ）更には、作業コストを安く抑える為、作業人員削減等の要求も日々大きいものであった。
However, in the conventional equipment loading / unloading method using such a moving crane, the following problems have occurred.
(A) The worker who signals on the carrying-in balcony needs to make a signal so that the crane operator on the ground side can understand. There was a danger of falling to the ground if I was crazy about it.
(B) Also, the ground-side workers need to signal the crane operator the horizontal position of the suspended load, the shaking condition, the vertical position within the range to be understood, etc. In some cases, it was signaled by entering the lower part of the suspended load, and in the case of a rope breakage, etc., it was very dangerous work.
(C) Furthermore, in order to keep the work cost low, demands for reducing the number of workers have been increasing day by day.
このような状況を鑑み、クレーン作業の自動化にＩＴＶカメラを利用し画像処理を応用したシステムが種々提案されている（例えば、特許文献１，２参照）。
しかし、それらは、工場内を横行、走行する天井クレーン、港等のガントリークレーン、自動倉庫等、移動範囲が固定され、画像の利用も２次元の濃淡画像を扱うものがほとんどであった。
In view of such a situation, various systems using an ITV camera and applying image processing to crane work automation have been proposed (see, for example,
However, most of them use a two-dimensional grayscale image with a fixed moving range, such as overhead cranes that traverse and run in factories, gantry cranes such as harbors, and automatic warehouses.
しかし、ＩＴＶカメラ等を利用した画像処理装置を応用した従来のシステムでは、工場内を横行、走行する天井クレーン、港等のガントリークレーン、自動倉庫等、移動範囲が固定されたクレーンに適用するものであり、トラッククレーン、ラフタークレーン等の移動クレーンに適用できるものではなかった。
しかも、従来のシステムでは、画像の利用も２次元の濃淡画像を扱うものがほとんどであり、精度の面で十分なものではなかった。
However, the conventional system using an image processing apparatus using an ITV camera or the like is applied to a crane having a fixed moving range, such as an overhead crane traversing and traveling in a factory, a gantry crane in a port, an automatic warehouse, etc. It was not applicable to mobile cranes such as truck cranes and rough terrain cranes.
In addition, most of the conventional systems use two-dimensional grayscale images, and the accuracy is not sufficient.
この発明は、新たな設備を設けることなく、ＩＴＶカメラ或いはビデオカメラ等を利用して、設置が容易で、安価で、且つ簡単な基準構造物を撮像し、パーソナルコンピュータおよび専用画像処理ソフトウェアを追加することのみで、立体的な基準構造物の３次元変換座標を計測基準とすることにより、トラッククレーン等の移動クレーンにより、各種機械装置や制御盤等の機器を地上から階上の電気室等への搬入する場合、搬入バルコニー等に搬入する場合、或いは逆に搬出する場合の高い信頼性で移動クレーンの操作支援、或いは自動化運転をする機器搬入出システムを提供することにある。 This invention uses an ITV camera or a video camera without providing new equipment, and is easy to install, inexpensive, and captures a simple reference structure, and adds a personal computer and dedicated image processing software. By simply using the three-dimensional transformation coordinates of the three-dimensional reference structure as a measurement reference, various cranes such as truck cranes can be used to move various mechanical devices and control panels from the ground to electrical rooms on the floor, etc. It is an object to provide an equipment carry-in / out system for supporting operation of a mobile crane or performing an automatic operation with high reliability when carrying in, carrying into a carry-in balcony or the like, or carrying out in reverse.
この発明においては、固定位置に設けられて、少なくとも１軸の寸法が既知の直交３軸を有する基準構造物と、ブームの旋回およびブーム起伏機能を持つ移動クレーンにより吊り上げられた少なくとも１軸の既知寸法を有し、かつその既知寸法部が上記基準構造物の直交３軸の少なくとも１面に平行な搬入出品、または、該移動クレーンにより吊り上げられた少なくとも直交２軸の既知寸法を有する搬入出品とを同時に撮像する撮像手段と、上記撮像手段により取得された画像データを記憶する記憶手段と、上記基準構造物の直交３軸とその既知寸法および上記搬入出品の既知寸法に基づいて上記画像データの２次元座標を３次元座標に変換する演算処理手段と、上記画像データを表示する表示装置とを備え、上記演算処理手段により変換された上記３次元座標に基づいて、上記基準構造物と上記搬入出品の既知寸法部との３次元の位置関係を求め、上記基準構造物の直交３軸を基準座標とした上記搬入出品の搬入出位置と上記搬入出品の現在位置とを上記表示装置に表示することにより、上記移動クレーンの運転支援を行う。 In the present invention, at least one known axis lifted by a reference structure provided at a fixed position and having three orthogonal axes whose dimensions of at least one known axis are known, and a boom having a boom turning and boom raising / lowering function. A delivery exhibit having a dimension and a known dimension portion parallel to at least one surface of three orthogonal axes of the reference structure, or a delivery exhibit having a known dimension of at least two orthogonal axes lifted by the moving crane; Imaging means for simultaneously capturing images, storage means for storing image data acquired by the imaging means, three orthogonal axes of the reference structure, their known dimensions, and the known dimensions of the carry-in exhibition. Computation processing means for converting two-dimensional coordinates into three-dimensional coordinates and a display device for displaying the image data are provided and converted by the arithmetic processing means. Based on the three-dimensional coordinates, a three-dimensional positional relationship between the reference structure and the known dimension part of the carry-in exhibition is obtained, and the carry-in / out of the carry-in exhibition using the three orthogonal axes of the reference structure as the reference coordinates By displaying the position and the current position of the carry-in listing on the display device, driving assistance of the mobile crane is performed.
この発明によれば、機器を外部から建物内の電気室等に搬入、搬出時の作業員の省力化、さらにはトラッククレーン等の移動クレーン操作の支援、或いは自動化が可能となる。 According to the present invention, it is possible to save the labor of workers when carrying in and out of equipment from the outside to an electric room in a building, and to support or automate operation of a moving crane such as a truck crane.
実施の形態１．
この発明の実施の形態１による機器搬入出システムの適用例および動作原理について図１乃至図８を参照しつつ説明する。
An application example and operation principle of the equipment carry-in / out system according to the first embodiment of the present invention will be described with reference to FIGS.
図１はこの発明の実施の形態１に係る機器搬入出システムの一適用例を示す斜視図、図２はこの発明の実施の形態１に係る機器搬入出システムの他の適用例を示す斜視図、図３は図２における搬出作業をＩＴＶカメラにより異なる角度から撮像する様子を示す斜視図である。
図１では、移動クレーン１２が、地上に置かれた搬入出品（搬入出機器）である制御盤８を吊り上げて、搬入出建物３の搬入位置である２階バルコニー９に搬入する様子を示している。この移動クレーン１２による制御盤８の搬入動作がＩＴＶカメラ４により撮像されている。
図２では、移動クレーン１２が、搬入出建物３の２階バルコニー９に置かれた制御盤８を吊り上げて、搬出位置である地上に搬出する様子を示している。また、図３では、２階バルコニー９の底の部分がＩＴＶカメラ４により撮像されていることを示している。
1 is a perspective view showing an application example of an equipment carry-in / out system according to
FIG. 1 shows a state in which the
FIG. 2 shows a state in which the
そして、クレーン操作員１２Ａが、後述するように、ＩＴＶカメラ４による撮像画像を画像処理して得られる情報を利用して、移動クレーン１２のブーム１１の起伏、旋回、伸縮等の操作を行い、搬入出機器を搬入位置或いは搬出位置に搬入出することになる。
Then, as will be described later, the
なお、図１乃至図３において、搬入出建物３には、窓１，２や今回利用していない１階搬入出口７が設けられている。そして、２階搬入出口５の２階バルコニー９には、安全柵６が設置されている。また、各図中、２階バルコニー９に搬入された制御盤８、あるいは地上に搬出された制御盤８を、便宜的に制御盤８Ａとして示している。また、移動クレーン１２は、伸縮自在に構成されたブーム１１、ブーム１１の起伏駆動する駆動シリンダー１１Ａ、搬入出機器を吊り上げるためのロープ１０およびフック１３等を備えている。
1 to 3, the loading /
つぎに、本発明を実施する為の基本要素である座標系基準および搬入出機器の目印である基準寸法の取り方について図４乃至図６を参照しつつ説明する。
図４乃至図６はそれぞれこの発明の実施の形態１に係る機器搬入出システムを利用して制御盤８を２階バルコニー９に搬入する様子を示す斜視図である。各図において、搬入位置として２階搬入出口５および２階バルコニー９を利用している。
Next, a coordinate system reference that is a basic element for carrying out the present invention and a method of taking a reference dimension that is a mark of the loading / unloading apparatus will be described with reference to FIGS.
4 to 6 are perspective views showing how the
まず、図４では、既知寸法Ｌａ、Ｌｂ、Ｌｃを持つ直交３軸の座標基準（Ｘ，Ｙ，Ｚ）を搬入位置の点Ｏ１０を原点とするようにとり、座標基準の高さ方向（Ｘ軸）に平行な制御盤８の辺１４（既知寸法Ｌｎを持つ）を制御盤８（搬入出機器）の基準寸法にとっている。そして、座標基準と制御盤８の基準寸法とに基づいて、ＩＴＶカメラ４により撮像された２次元画像を演算により３次元画像に変換することにより搬入位置と制御盤８の３次元位置との偏差を計算するようにしている。ここで、２階搬入出口５および２階バルコニー９が既知寸法Ｌａ、Ｌｂ、Ｌｃの直交３軸をもつ基準構造物となる。
First, in FIG. 4, a coordinate reference (X, Y, Z) of three orthogonal axes having known dimensions La, Lb, and Lc is set so that the point O10 at the loading position is the origin, and the height direction of the coordinate reference (X axis) The side 14 (having a known dimension Ln) of the
図５は、２階搬入出口５および２階バルコニー９の寸法が未知であったり、これらの構造物から直交３軸の座標基準を抽出することが困難な場合に対応するものである。この場合、既知寸法Ｌａ、Ｌｂ、Ｌｃを持つ基準構造物としての基準直方体（或いは立方体）２１を２階バルコニー９に設置し、この基準直方体２１により座標基準を取得している。この時、座標基準の原点は基準直方体（或いは立方体）２１の点Ｏとなる。また、制御盤８の高さ方向（Ｘ軸）に平行な辺１４（既知寸法Ｌｎを持つ）を搬入出機器の基準寸法とすることは図４と同じである。
なお、基準直方体２１が搬入出作業の障害となる場合には、基準座標を取得した後、撤去も可能である。
FIG. 5 corresponds to the case where the dimensions of the second-floor loading /
If the reference rectangular parallelepiped 21 becomes an obstacle to the carrying-in / out operation, it is possible to remove it after obtaining the reference coordinates.
図６は、図５と同様に、２階搬入出口５および２階バルコニー９の寸法が未知であったり、これらの構造物から直交３軸の座標基準を抽出することが困難な場合に対応するものである。この場合、既知寸法Ｌａ、Ｌｂ、Ｌｃを持つ基準直方体（或いは立方体）２１を地上に設置し、この基準直方体２１により座標基準を取得している。この時、座標基準の原点は基準直方体（或いは立方体）２１の点Ｏとなる。また、制御盤８の高さ方向（Ｘ軸）の辺１４（既知寸法Ｌｎを持つ）を搬入出機器の基準寸法とすることは図４と同じである。
6 corresponds to the case where the dimensions of the second-floor loading /
つぎに、この発明におけるＩＴＶカメラ４により取得した２次元画像から３次元距離を計算する基本原理について図７および図８を参照しつつ説明する。
Next, the basic principle for calculating the three-dimensional distance from the two-dimensional image acquired by the ITV
（計算原理）
まず、直交３軸の座標基準は、搬入出建物３の２階バルコニー９、あるいは搬入出建物３の近傍の地上面に設置されている基準直方体２１の既知寸法Ｌａ、Ｌｂ、Ｌｃを有する３辺とする。なお、前述したように、２階搬入出口５および２階バルコニー９の構造物から直交３軸の座標基準を抽出できれば、２階搬入出口５および２階バルコニー９の建物の一部の構造物から座標基準を抽出してもよい。また、基準直方体２１は、Ｌａ＝Ｌｂ＝Ｌｃを満たす基準立方体であってもよいが、ここでは、直方体のうちの特殊形状に立方体が含まれるものと見なして、以下、代表的に基準直方体２１と総称する。
一方、移動クレーン１２により吊り上げられた制御盤８のＸ軸と平行となる高さ方向の辺１４を既知の基準寸法Ｌｎとする。Ｌｎは通常、地上面に対して垂直になる。
(Calculation principle)
First, the coordinate reference of three orthogonal axes is three sides having known dimensions La, Lb, Lc of the reference
On the other hand, a
ここで、基準直方体２１の底面（Ｏ、Ｆ、Ｇ、Ｅ）は、地上面に対して平行な位置関係を満たしているものとする。
また、基準直方体２１の各頂点間の辺の長さは、以下の３つの式を満たす関係にある。
ＯＡ＝ＢＥ＝ＤＦ＝ＣＧ＝Ｌａ
ＯＦ＝ＡＤ＝ＢＣ＝ＥＧ＝Ｌｂ
ＯＥ＝ＡＢ＝ＣＤ＝ＦＧ＝Ｌｃ
図７および図８に示される基準直方体２１において、各辺を実３次元（Ｘ，Ｙ，Ｚ）座標に変換すると、辺ＯＡはＸ軸、辺ＯＥはＺ軸、辺ＯＦはＹ軸となる。
Here, it is assumed that the bottom surfaces (O, F, G, E) of the reference
Further, the lengths of the sides between the vertices of the reference
OA = BE = DF = CG = La
OF = AD = BC = EG = Lb
OE = AB = CD = FG = Lc
In the reference
このとき、搬入出機器である制御盤８の各辺を画像処理により抽出した基準寸法Ｌnと、基準直方体２１との３次元距離関係は、Ｘ軸距離Ｏ〜Ｘ１（＝Ｌｘ）、Ｙ軸距離Ｚ１〜Ｏ１（＝Ｌｙ）、Ｚ軸距離Ｘ１〜Ｚ１（＝Ｌｚ）で表すものとする。なお、制御盤８の各辺を画像処理して基準寸法Ｌnを抽出しているが、既知寸法Ｌｎを持つ基準物を制御盤８に貼り付け等により設置して基準寸法Ｌnとしてもよい。
基準直方体２１（基準構造物）の底面および上面は、地上面と平行な座標面に対して平行であり、基準直方体２１は、地上面（座標面）に対して垂直方向の既知寸法を有する。
また、後述するように、ＩＴＶカメラ４には、図４９、５０、５２に示したようにＰＣ（パソコン）１０２〜１０２Ｃが接続されており、ＰＣ１０２〜１０２Ｃは、ＩＴＶカメラ４により取得された画像データを記憶する記憶手段１２９，１２９Ａ，１３０，１３０Ａと、画像データに含まれる基準直方体２１（基準構造体）および制御盤８（搬入出機器）の基準寸法、設定された搬入出位置の撮像された２次元座標（基準直方体２１を基準として得られる）を３次元座標に変換する演算処理手段１２８，１２８Ａとを含み、得られた３次元座標に基づいて搬入出位置と制御盤８の現在値の３次元の座標位置を求めることにより、それらの偏差を計測する。
At this time, the three-dimensional distance relationship between the reference dimension Ln obtained by image processing for each side of the
The bottom and top surfaces of the reference cuboid 21 (reference structure) are parallel to a coordinate plane parallel to the ground surface, and the reference cuboid 21 has a known dimension perpendicular to the ground surface (coordinate plane).
Further, as will be described later, the
図７および図８には、搬入出建物３の近傍の地上面などの固定位置に設けられた基準直方体２１と、移動クレーン１２に吊り上げられて空中に浮かんだ基準寸法Ｌｎを持つ制御盤８を、デジタル式の１台のＩＴＶカメラ４（その他、一般のビデオカメラからなり、以下、単に「カメラ４」ともいう）で同時に撮影した場合に、基準画像において得られる２次元座標（ｕ，ｖ）と、実３次元座標（Ｘ，Ｙ，Ｚ）との関係が示されている。
図８において、ｕ、ｖ座標値は、カメラ画像の２次元座標を示している。周知のように、デジタルカメラの２次元座標は、画素数によって決定し、ｕ軸１０２４分解、ｖ軸１０２４分解とすると、総画素数は約百万画素となる。
図８においては、カメラ４で収得した２次元座標上において、基準直方体２１の点Ｏの座標を（ｕ２，ｖ８）とし、制御盤８と関係する点Ｘ１の座標を（ｕ２，ｖ９）とし、点Ｚ１の座標を（ｕ５，ｖ１２）としている。また、制御盤８の下部Ｏ１の座標を（ｕ６，ｖ１１）とし、制御盤８の上部Ｔ１の座標を（ｕ６，ｖ１０）としている。
つまり、図８に示す画像上において、制御盤８の基準寸法の上部Ｔ１から下部Ｏ１までのｖ軸方向の長さ（ｖ１０〜ｖ１１）は、実３次元座標上での長さＬｎとなる。
7 and 8, a reference
In FIG. 8, the u and v coordinate values indicate the two-dimensional coordinates of the camera image. As is well known, the two-dimensional coordinates of a digital camera are determined by the number of pixels. When u-axis 1024 decomposition and v-axis 1024 decomposition are performed, the total number of pixels is about 1 million pixels.
In FIG. 8, on the two-dimensional coordinates obtained by the
That is, in the image shown in FIG. 8, the length (v10 to v11) in the v-axis direction from the upper part T1 to the lower part O1 of the reference dimension of the
図７および図８では、基準直方体２１の画像（２次元座標）から実際の３次元座標への変換原理を示している。
図７において、基準直方体２１の各頂点Ｏ、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇの画像の２次元座標と実３次元座標とを対比させると、以下のように、各頂点の２次元画像座標（左側）と３次元実座標（右側）とを、それぞれ、並列に表記することができる。
Ｏ（ｕ２，ｖ８）（０，０，０）
Ａ（ｕ２，ｖ４）（Ｌａ，０，０）
Ｂ（ｕ１，ｖ２）（Ｌａ，０，Ｌｃ）
Ｃ（ｕ３，ｖ１）（Ｌａ，Ｌｂ，Ｌｃ）
Ｄ（ｕ４，ｖ３）（Ｌａ，Ｌｂ，０）
Ｅ（ｕ１，ｖ６）（０，０，Ｌｃ）
Ｆ（ｕ４，ｖ７）（０，Ｌｂ，０）
Ｇ（ｕ３，ｖ５）（０，Ｌｂ，Ｌｃ）
7 and 8 show the principle of conversion from the image (two-dimensional coordinates) of the reference cuboid 21 to the actual three-dimensional coordinates.
In FIG. 7, when the two-dimensional coordinates of the images of the vertices O, A, B, C, D, E, F, and G of the reference cuboid 21 are compared with the real three-dimensional coordinates, Two-dimensional image coordinates (left side) and three-dimensional real coordinates (right side) can be written in parallel.
O (u2, v8) (0,0,0)
A (u2, v4) (La, 0, 0)
B (u1, v2) (La, 0, Lc)
C (u3, v1) (La, Lb, Lc)
D (u4, v3) (La, Lb, 0)
E (u1, v6) (0, 0, Lc)
F (u4, v7) (0, Lb, 0)
G (u3, v5) (0, Lb, Lc)
図８には、基準直方体２１および空中に吊り上げられた制御盤８の基準寸法Ｌｎを含む画像（２次元座標）から実際の３次元座標への変換時の各座標位置が示されている。
図８においては、上記各頂点座標に加えて、制御盤８の基準寸法Ｌnの位置関係を示す各点Ｘ１、Ｚ１、Ｏ１、Ｔ１に対しても、以下のように、２次元座標（左側）と、実３次元座標（右側）とを対比させて、それぞれ、並列に表記することができる。
Ｘ１（ｕ２，ｖ９）（Ｌｘ，０，０）
Ｚ１（ｕ５，ｖ１２）（Ｌｘ，０，Ｌｚ）
Ｏ１（ｕ６，ｖ１１）（Ｌｘ，Ｌｙ，Ｌｚ）
Ｔ１（ｕ６，ｖ１０）（Ｌｘ＋Ｌｎ，Ｌｙ，Ｌｚ）
なお、各点Ｘ１、Ｚ１、Ｏ１、Ｔ１の表記座標において、各記号には、±符号が含まれる。
FIG. 8 shows each coordinate position at the time of conversion from an image (two-dimensional coordinates) including the
In FIG. 8, in addition to the above vertex coordinates, the two-dimensional coordinates (left side) are also given to the points X1, Z1, O1, and T1 indicating the positional relationship of the reference dimension Ln of the
X1 (u2, v9) (Lx, 0, 0)
Z1 (u5, v12) (Lx, 0, Lz)
O1 (u6, v11) (Lx, Ly, Lz)
T1 (u6, v10) (Lx + Ln, Ly, Lz)
In the notation coordinates of each point X1, Z1, O1, and T1, each symbol includes a ± sign.
次に、既知の寸法Ｌａ、Ｌｂ、Ｌｃ、Ｌｎから、座標変換により、未知の寸法Ｌｘ、Ｌｙ、Ｌｚを算出する方法の一例について、公知文献「３次元ビジョン」（徐剛および辻三郎、共立出版、１９９８年）を参考として説明する。
未知の寸法Ｌｘ、Ｌｙ、Ｌｚの算出手順の要旨は、以下の（１ａ）〜（１ｄ）で表される。
（１ａ）３次元座標系から画像座標系への変換を、３×４の変換行列Ｐで表す。
（１ｂ）基準直方体の頂点（６点以上）の座標と、各頂点の画像上での座標を得る。
（１ｃ）各頂点の対応関係から、変換行列Ｐを求める。
（１ｄ）変換行列Ｐと基準寸法Ｌｎの画像上の座標とにより、制御盤の基準寸法の下部Ｏ１の３次元座標（Ｌｘ，Ｌｙ，Ｌｚ）を算出する。
Next, as an example of a method for calculating the unknown dimensions Lx, Ly, and Lz from the known dimensions La, Lb, Lc, and Ln by coordinate transformation, a well-known document “3D Vision” (Xu Go and Saburo Kyoritsu, Kyoritsu Publishing) 1998)).
The gist of the calculation procedure of the unknown dimensions Lx, Ly, and Lz is expressed by the following (1a) to (1d).
(1a) The transformation from the three-dimensional coordinate system to the image coordinate system is represented by a 3 × 4 transformation matrix P.
(1b) Obtain the coordinates of the vertices (6 points or more) of the reference cuboid and the coordinates of each vertex on the image.
(1c) A transformation matrix P is obtained from the correspondence between the vertices.
(1d) The three-dimensional coordinates (L x , L y , L z ) of the lower part O1 of the reference dimension of the control panel are calculated from the transformation matrix P and the coordinates on the image of the reference dimension L n .
（準備）
ついで、上記算出手順（１ａ）〜（１ｄ）について、具体的に説明する。
まず、座標系を設定する。
３次元座標系で、直方体の１頂点を原点として、辺をＸ、Ｙ、Ｚ軸にとると、８個の頂点の座標は、それぞれ、（０，０，０）、（Ｌａ，０，０）、（０，Ｌｂ，０）、（０，０，Ｌｃ）、（Ｌａ，Ｌｂ，０）、（Ｌａ，０，Ｌｃ）、（０，Ｌｂ，Ｌｃ）、（Ｌａ，Ｌｂ，Ｌｃ）となる。
上記頂点座標のうち、ＩＴＶカメラ８から見えているｎ個の頂点座標を（Ｘｉ，Ｙｉ，Ｚｉ）と表す（ｉ＝１、２，・・・ｎ）。
また、画像座標系で、写真画像上にｕ軸、ｖ軸をとり、このとき、見えているｉ個目の頂点は、（ｕｉ，ｖｉ）に写るとする。
（１ａ）まず、３次元座標系から画像座標系への変換は、以下の式（１）のように、変換行列Ｐで表現することができる。
(Preparation)
Next, the calculation procedures (1a) to (1d) will be specifically described.
First, the coordinate system is set.
In a three-dimensional coordinate system, when one vertex of a rectangular parallelepiped is set as the origin and the sides are taken as X, Y, and Z axes, the coordinates of the eight vertices are (0, 0, 0), (L a , 0, 0), (0, L b , 0), (0, 0, L c ), (L a , L b , 0), (L a , 0, L c ), (0, L b , L c ) , (L a , L b , L c ).
Among the vertex coordinates, n vertex coordinates visible from the
In the image coordinate system, the u-axis and the v-axis are taken on the photographic image, and the i-th apex that is visible at this time is assumed to appear in (u i , v i ).
(1a) First, the transformation from the three-dimensional coordinate system to the image coordinate system can be expressed by a transformation matrix P as in the following equation (1).
なお、式（１）において、αｕ、αｖは、焦点距離に画像のスケールファクタを乗じたものであり、θは画像座標系のｕ、ｖ軸のなす角（通常は９０度）、（ｕ０，ｖ０）は画像中心（以上、カメラの内部パラメータ）、Ｒは３次元の回転を表す３×３の行列、ｔは平行移動を表す３次元の縦ベクトル（以上は、外部パラメータ）である。また、ｓはスカラである。 In equation (1), α u and α v are the focal lengths multiplied by the image scale factor, and θ is the angle (usually 90 degrees) formed by the u and v axes of the image coordinate system. u 0 , v 0 ) is the image center (the camera internal parameter), R is a 3 × 3 matrix representing three-dimensional rotation, and t is a three-dimensional vertical vector representing parallel movement (the above is an external parameter). It is. S is a scalar.
（１ｂ）続いて、直方体のｉ個目の頂点の変換は、以下の式（２）のようになる。 (1b) Subsequently, the conversion of the i-th vertex of the rectangular parallelepiped is expressed by the following equation (2).
（１ｃ）また、変換行列Ｐを決定する。式（１）を展開してｓｉを消去すれば、以下の式（３）となる。 (1c) Also, the transformation matrix P is determined. If equation (1) is expanded and s i is deleted, equation (3) below is obtained.
ここで、ｎ個の頂点についてまとめると、以下の式（４）となる。 Here, when the n vertices are put together, the following expression (4) is obtained.
このとき、変換行列Ｐの成分からなるベクトルｐは、ＢＴＢの最小の固有値に対応する固有ベクトルとして求められる。
さらに、｜｜（ｐ３１，ｐ３２，ｐ３３）｜｜で各要素を除し、スケールを調整して変換行列Ｐとする。以降、変換行列Ｐは既知となる。
At this time, the vector p composed of the components of the transformation matrix P is obtained as an eigenvector corresponding to the smallest eigenvalue of B T B.
Furthermore, each element is removed by || (p 31 , p 32 , p 33 ) ||, and the scale is adjusted to obtain a transformation matrix P. Thereafter, the transformation matrix P is known.
（１ｄ）最後に、（Ｌｘ，Ｌｙ，Ｌｚ）を算出する。このとき、未知寸法の３次元座標を（Ｌｘ，Ｌｙ，Ｌｚ）、（Ｌｘ＋Ｌｎ，Ｌｙ，Ｌｚ）とし、これらの画像上の座標を（ｕＡ，ｖＡ）、（ｕＢ，ｖＢ）とすると、変換行列Ｐにより、以下の式（５）となる。 (1d) Finally, (L x , L y , L z ) is calculated. At this time, the three-dimensional coordinates of the unknown dimension are (L x , L y , L z ) and (L x + L n , L y , L z ), and the coordinates on these images are (u A , v A ), Assuming (u B , v B ), the following equation (5) is obtained from the transformation matrix P.
式（５）を展開してｓＡ、ｓＢを消去し、さらに、（Ｌｘ，Ｌｙ，Ｌｚ）について整理すると、以下の式（６）が得られる。 When formula (5) is expanded to eliminate s A and s B , and further arranged for (L x , L y , L z ), the following formula (6) is obtained.
以下、式（６）を解いて、（Ｌｘ，Ｌｙ，Ｌｚ）を得る。 Hereinafter, Equation (6) is solved to obtain (L x , L y , L z ).
実施の形態２．
この実施の形態２は、上記の実施の形態１を拡張したものであり、その２つの適用例を図９および図１０に示し、その原理を図１１に従って説明する。
The second embodiment is an extension of the first embodiment. Two application examples are shown in FIGS. 9 and 10, and the principle thereof will be described with reference to FIG.
図９は、図４に示した搬入構成図の内、制御盤８の高さ方向を搬入出機器の基準寸法とする代わりに、地上面（ＹＺ面）に平行な制御盤８の幅、或いは奥行きの１辺１４Ａを搬入出機器の基準寸法Ｌｎとした構成図である。この場合、基準寸法Ｌｎの線分は必ずしも直交３軸の座標基準のＹ軸およびＺ軸とは必ずしも平行とならないが、ＹＺ面に平行な線分である必要がある。
図１０は、図６に示した構成図の内、搬出時の構成図を示す。搬入出建物３の地上の近傍に置かれた基準直方体（或いは立方体）２１を座標基準、２階バルコニー９上の制御盤８の高さ方向を搬入出機器の基準寸法Ｌｎとし、搬出位置１４Ｂを特定する為に地上面（ＹＺ面）のＯ２０の位置に既知寸法を持つ基準寸法Ｌｎ１をＹＺ面に平行な地面に置いた構成図である。この場合も、基準寸法Ｌｎ１の線分は必ずしも直交３軸の座標基準のＹ軸およびＺ軸とは必ずしも平行とならないが、ＹＺ面に平行な線分である必要がある。
9 shows the width of the
FIG. 10 shows a configuration diagram at the time of carrying out of the configuration diagram shown in FIG. The reference cuboid (or cube) 21 placed near the ground of the carry-in / out building 3 is the coordinate reference, the height direction of the
以下、図１１に基づいて、実施の形態２におけるＩＴＶカメラ４で取得した２次元画像から３次元距離を計算する原理について説明する。
まず、上記実施の形態１で説明した方法により、基準直方体２１に設定したワールド座標系の任意の点Ｍ＝（Ｘ，Ｙ，Ｚ）を画像上の点m=(u，v)に投影する３×４の透視投影変換行列Ｐ＝［pij］が求まる。即ち、
Hereinafter, the principle of calculating the three-dimensional distance from the two-dimensional image acquired by the
First, by the method described in the first embodiment, an arbitrary point M = (X, Y, Z) in the world coordinate system set in the reference
或いは Or
ここで、式(８)を整理してｓを消去すると、式（９）となる。 Here, when formula (8) is arranged and s is deleted, formula (9) is obtained.
そして、式（９）において、Ｘ項および定数項を移項して、式（１０）となる。 Then, in Expression (9), the X term and the constant term are moved to become Expression (10).
そして、式（１０）において、ＹおよびＺについて解くことにより、ＹおよびＺは変数Ｘの一次式（式（１１））で表される。 Then, by solving for Y and Z in equation (10), Y and Z are represented by a linear equation of variable X (equation (11)).
（解法）
今、図１１においてＹＺ面上にある底辺の両端Ａ１およびＢ１の座標値を（ＸＡ，ＹＡ，ＺＡ）および（ＸＢ，ＹＢ，ＺＢ）とすると（この時、Ｘ座標は等しい）、式（１２）が得られる。
(solution)
If the coordinate values of both ends A1 and B1 on the YZ plane in FIG. 11 are (X A , Y A , Z A ) and (X B , Y B , Z B ) (the X coordinate is Is equal to), equation (12) is obtained.
ところで、辺Ａ１Ｂ１の長さはＬｎであるから、 By the way, since the length of the side A1B1 is Ln,
となり、ＸＡについて２次方程式が得られ、これを解くことにより、（ＸＡ、ＹＡ、ＺＡ）および（ＹＢ、ＺＢ）が求められる。
解は２通りあるが、両者は投影中心に関して点対象の関係にあり、基準直方体２１と同じ側にあるものが解となる。また、Ｌx、Ｌy、ＬzはＸＡ、ＹＡ、ＺＡに他ならない。
また、
Next, the quadratic equation is obtained for X A, by solving this, (X A, Y A, Z A) and (Y B, Z B) is obtained.
There are two solutions, but both are point objects with respect to the projection center, and the solution on the same side as the reference
Also,
である。 It is.
実施の形態３．
この実施の形態３は、上記実施の形態１を拡張したものであり、その適用例を図１２に示し、その原理を図１３に従って説明する。
The third embodiment is an extension of the first embodiment. An application example thereof is shown in FIG. 12, and the principle thereof will be described with reference to FIG.
図１２は、図４に示した搬入構成図の内、吊り上げた制御盤８或いは搬入機器（例えば図６６の８Ａ）が傾斜し、制御盤８の各辺の基準寸法の線分が基準座標系の３面（ＸＹ、ＹＺ、ＺＸ）のいずれとも平行とならない場合、図１４の（ａ）に示した直交２軸の既知寸法を有する画像を描いた紙或いは板１４Ｂを制御盤８に貼り付けて２軸の基準寸法Ｌｎとした場合の構成図である。また、図１４の（ｂ）に示されるように、１辺を寸法Ｌｎとする正方形の紙或いは板１４Ｃを制御盤に貼り付けて直交する２辺を基準寸法Ｌｎとするようにしてもよい。さらに、図１４の（ｃ）に示される基準直方体２１を搬入出建物３の地上階に設置して、直交３軸の座標基準を抽出するようにしてもよい。
FIG. 12 is a block diagram of the carry-in configuration shown in FIG. 4 in which the lifted
以下、図１３に基づき本実施の形態３の場合のＩＴＶカメラ４により取得した２次元画像から３次元距離を計算する原理を述べる。
上記実施の形態１のケースで述べたように、透視投影変換行列Ｐ＝［pij］が求まっている場合に、ワールド座標系の任意の点Ｍ＝（Ｘ,Ｙ,Ｚ）とその投影像m=(u,v)との間には以下の関係式（式（１５））が成り立つ。
Hereinafter, the principle of calculating the three-dimensional distance from the two-dimensional image acquired by the
As described in the case of the first embodiment, when the perspective projection transformation matrix P = [pij] is obtained, an arbitrary point M = (X, Y, Z) in the world coordinate system and its projection image m The following relational expression (formula (15)) holds between = (u, v).
（解法）
図１３のＡＢＣワールド座標値とそれらの投影像の画像座標値を以下のようにおく。
(ＸＡ，ＹＡ，ＹＡ) → (ｕＡ，ｖＡ)
(ＸＢ，ＹＢ，ＹＢ) → (ｕＢ，ｖＢ)
(ＸＣ，ＹＣ，ＹＣ) → (ｕＣ，ｖＣ)
これらを式（１５）に代入して以下の連立方程式を得る。
(solution)
The ABC world coordinate values of FIG. 13 and the image coordinate values of the projected images are set as follows.
(X A , Y A , Y A ) → (u A , v A )
(X B , Y B , Y B ) → (u B , v B )
(X C , Y C , Y C ) → (u C , v C )
By substituting these into equation (15), the following simultaneous equations are obtained.
また、辺Ａ１Ｂ１および辺Ａ１Ｃ１の長さがＬｎであり、両者が直交していることから Moreover, since the length of side A1B1 and side A1C1 is Ln and both are orthogonal to each other
となり、これらを９個の式を連立して解くことにより、ＸＡ、ＹＡ、ＺＡ、ＸＢ、ＹＢ、ＺＢ、ＸＣ、ＹＣ、ＺＣが求まる。
最終的に１２個の方程式を解くことになるので、解は１２通りある。投影中心に関して鏡像関係にあるものを除くと６通り、さらに、一部の点がカメラの後方に来るものを除けば限定できる。この条件で一意にならない場合、第４の点（例えばＤ１点）を用いれば一意に求めることができる。
By solving these nine equations simultaneously, X A , Y A , Z A , X B , Y B , Z B , X C , Y C , Z C can be obtained.
Since 12 equations are finally solved, there are 12 solutions. There are six ways except for those that are mirror images with respect to the projection center. If it is not unique under this condition, it can be uniquely determined by using a fourth point (for example, D1 point).
実施の形態４．
上記実施の形態１〜３では、基準直方体の直交３軸が既知寸法Ｌａ，Ｌｂ，Ｌｃを有するものとして計算しているが、この実施の形態４では、基準直方体の直交３軸の１軸のみが既知寸法Ｌａを有するものとして説明する。つまり、１軸（既知寸法Ｌａ）と２組の消失点（図１５のＰｘ、Ｐｙ、Ｐｚのいずれか２組）の位置座標が明確化すれば、基準直方体の未知寸法Ｌｂ、Ｌｃ、或いは図８におけるＬｎも計算することができる。
以下、その計算方法の一例を特開平９−２３７３３５５号公報（画像合成装置）等を参考として図１５に基づいて説明する。なお、図１５において、２１Ａは２次元画像座標、２１は１軸の寸法Ｌａのみ既知の直交３軸を有する基準直方体、焦点距離ｆは視点２１Ｂから画像２１Ａへの垂線との交点、即ち画像中心Ｏｉ（０，０）との距離である。
以下の解法では上方向にｖ軸をとって説明する。
In the first to third embodiments, calculation is performed on the assumption that the three orthogonal axes of the reference cuboid have known dimensions La, Lb, and Lc. In the fourth embodiment, only one of the three orthogonal axes of the reference cuboid is calculated. Will be described as having a known dimension La. That is, if the position coordinates of one axis (known dimension La) and two sets of vanishing points (any two of Px, Py, and Pz in FIG. 15) are clarified, the unknown dimensions Lb, Lc of the reference rectangular parallelepiped or the figure Ln at 8 can also be calculated.
Hereinafter, an example of the calculation method will be described with reference to FIG. 15 with reference to Japanese Patent Laid-Open No. 9-2373355 (image synthesis apparatus). In FIG. 15, 21A is a two-dimensional image coordinate, 21 is a reference cuboid having three known orthogonal axes with only one dimension La, and a focal length f is an intersection with a perpendicular from the viewpoint 21B to the
The following solution will be described by taking the v-axis upward.
（解法）
通常、取得画像は、
（１）画像中心（ｕ０，ｖ０）は一般に取得画像の中心である。取得画像の中心に画像座表系の原点Ｏｉ（０，０）をとる（ｕ０＝ｖ０＝０）。
（２）画像の縦方向、横方向の１画素当たりの単位長（αｕ＝αｖ）は同じである。
（３）画像の両軸（ｕ，ｖ）のなす角（θ）は９０°である。
の条件が成立するので、
原点Ｏ（０，０，０）、既知点Ａ（Ｌａ、０，０）が、それぞれＰｏ（ｕｏ，ｖｏ）、ＰＡ（ｕａ，ｖａ）に投影され、Ｘ軸消失点、Ｙ軸消失点が、それぞれＰｘ（ｕＸ，ｖＸ）、Ｐｙ（ｕＹ，ｖＹ）であるとする。
(solution)
The acquired image is usually
(1) The image center (u 0 , v 0 ) is generally the center of the acquired image. The origin Oi (0, 0) of the image coordinate system is taken at the center of the acquired image (u 0 = v 0 = 0).
(2) The unit length (αu = αv) per pixel in the vertical and horizontal directions of the image is the same.
(3) The angle (θ) formed by both axes (u, v) of the image is 90 °.
Because the condition of
The origin O (0, 0, 0) and the known point A (La, 0, 0) are projected onto Po (u o , v o ) and PA (u a , v a ), respectively, and the X-axis vanishing point, Y Assume that the axis vanishing points are Px (uX, vX) and Py (uY, vY), respectively.
この場合、前述の式（１）は、以下の式（１８）となる。 In this case, the above-described formula (1) becomes the following formula (18).
まず、視点位置から画像平面状の消失点に向かうベクトルｅＸ，ｅＹ First, vectors e X and e Y from the viewpoint position toward the vanishing point on the image plane
を考えると、これらは、世界座標系のそれぞれＸ軸、Ｙ軸に平行で互いに直交するので、 Since these are parallel to the X and Y axes of the world coordinate system and are orthogonal to each other,
であり、これにより焦点距離ｆを求めることができる。
さらに、世界座標系でのＸ軸方向のベクトルは、（１，０，０）と表現されるので、ｋをパラメータとして、
Thus, the focal length f can be obtained.
Furthermore, the vector in the X-axis direction in the world coordinate system is expressed as (1, 0, 0).
同様に、Ｙ軸方向のベクトル（０，１，０）について、 Similarly, for the vector (0, 1, 0) in the Y-axis direction,
また、視点位置からＺ軸方向に向かうベクトルｅＺは、 In addition, the vector e Z from the viewpoint position in the Z-axis direction is
になるので、 So that
となり、回転行列Ｒが定まる。
つぎに、原点については、
Thus, the rotation matrix R is determined.
Next, for the origin,
より、ｓを消去して、 Deletes s,
同様に、既知点Ａについては、 Similarly, for the known point A,
より、ｓを消去して、 Deletes s,
式（２６）、式（２７）より、 From Equation (26) and Equation (27),
となるので、この式によりｔを決定する。以上により、透視投影変換行列Ｐが定まる。
この透視投影変換行列Ｐを式（１８）に代入し、未知点Ｆ（０，Ｌｂ、０）がＰＢ（ｕｂ，ｖｂ）に投影されているときには
Therefore, t is determined by this equation. As described above, the perspective projection transformation matrix P is determined.
When this perspective projection transformation matrix P is substituted into Expression (18), and the unknown point F (0, L b , 0) is projected onto PB (u b , v b )
より、ｓを消去して、 Deletes s,
により、Ｌｂが求まる。この時、Ｌｂは２組求まるが、異なる場合は平均をとるなどして平滑する。
以下同様な計算方法により、Ｌｃ、或いは搬入出品の基準寸法Ｌｎの３次元位置を計算できる。
また、基準直方体の直交３軸Ｌａ，Ｌｂ，Ｌｃの２組の寸法が既知で、１つの消失点の座標が明確な場合も、同様にして計算できる。つまり、基準直方体の直交３軸のうちの１軸、或いは２軸の寸法が既知であり、消失点の画像座標が明確化できれば、上記実施の形態１〜３と同等の結果が得られる。この場合も、透視投影変換行列Ｐの計算は電源投入時１度計算するのみでよい。
また、以下の各実施の形態では、基準直方体の直交３軸の３軸の寸法Ｌａ，Ｌｂ，Ｌｃが既知として説明する。
Thus, Lb is obtained. At this time, two sets of Lb are obtained, but if they are different, they are smoothed by taking an average or the like.
Thereafter, the same calculation method can be used to calculate the three-dimensional position of the reference dimension Ln of Lc or the incoming listing.
Further, when two sets of orthogonal three axes La, Lb, and Lc of the reference rectangular parallelepiped are known and the coordinates of one vanishing point are clear, the calculation can be similarly performed. That is, if the dimensions of one or two of the three orthogonal axes of the reference cuboid are known and the image coordinates of the vanishing point can be clarified, the same result as in the first to third embodiments can be obtained. In this case as well, the perspective projection transformation matrix P need only be calculated once when the power is turned on.
In the following embodiments, the three-axis dimensions La, Lb, and Lc of the three orthogonal axes of the reference rectangular parallelepiped are assumed to be known.
実施の形態５．
上記実施の形態１〜３を利用した実際の制御システム構成図の一例を図４９〜図５３に示し、その制御フローチャートの１例を図５４〜図６７に示し、またカメラ制御ＰＣ（パソコン）１０２の表示画面の一例、実際の座標基準、搬入、搬出位置等の設定、計測寸法の一例を図１６〜図２７に示す。
One example of an actual control system configuration diagram using the first to third embodiments is shown in FIGS. 49 to 53, one example of a control flowchart thereof is shown in FIGS. 54 to 67, and a camera control PC (personal computer) 102 is shown. FIGS. 16 to 27 show an example of the display screen, an example of actual coordinate reference, setting of the carry-in and carry-out positions, and measurement dimensions.
（ＰＣ画面の実施例１：３次元ＸＹＺ軸表示）
図１６はこの発明の実施の形態５に係る機器搬入出システムにおけるカメラ制御パソコンのメニュー画面の実施例１を示す図である。このメニュー画面には、搬入出建物３の近傍の固定位置に設置されたＩＴＶカメラ４で撮像されたライブ画像１６と、画像メニュー５０とが表示されている。そして、画像メニュー５０には、「ＸＹＺ座標系設定」、「搬入位置設定」、「搬出位置設定」、「搬入搬出品設定」、「クレーン旋回位置設定」、「クレーン選択」、「定数設定」、「計測寸法表示」、「搬入搬出支援画面表示」等のメニューが準備されている。それらのメニューをマウス１０８、或いはキーボード、ライトペン等により指定することにより、各々のメニューに対応する画面に切り替わるようにプログラムが構成されている。このプログラムのフローチャートを図５４のステップ２００〜ステップ２２７に示す。
(Example of PC screen 1: 3D XYZ axis display)
FIG. 16 is a diagram showing Example 1 of the menu screen of the camera control personal computer in the equipment carry-in / out system according to
（ＸＹＺ座標系設定画面）
まず、マウス１０８により図１６の画像メニュー５０から「ＸＹＺ座標系設定」を指定すると、カメラ制御ＰＣ１０２の画面は図１７に示されるＸＹＺ座標系設定画面に切り替わる。そして、図１７の画像メニュー５１から「ＸＹＺ座標系設定」を選択すると、ＩＴＶカメラ４にて撮像されたライブ画像１６Ａ上にＸＹＺポインター１７が現れる。このＸＹＺポインター１７をマウス１０８等でクリックアンドドロップによりＸＹＺ座標系の基準となる構造物、例えば、２階搬入出口５および２階バルコニー９の部分に移動し、図１７中「１７Ａ」の如く、既知寸法Ｌａ、Ｌｂ、Ｌｃに合わせる。この合わせ作業が終了した後、画像メニュー５１から「基準寸法設定」を選択し、既知寸法Ｌａ、Ｌｂ、Ｌｃを入力する。入力後、誤りがなければ、画像メニュー５１から「ＸＹＺ座標系確立」を選択する。また、誤りがあれば、画像メニュー５１から「ＸＹＺ座標系取消」を選択し、再設定を行なう。
(XYZ coordinate system setting screen)
First, when “XYZ coordinate system setting” is designated from the
このシステムでは、図６に示した基準直方体２１を利用していないが、基準直方体２１を利用するシステムでは、基準直方体２１をＸＹＺポインター１７で指示をすることになる。これらの操作により、実施の形態１〜３に示した解法、或いは図１５に示した消失点Ｐx、Ｐy、Ｐzを利用した実施の形態４に示した解法の適用が可能となり、取得画像の３次元座標基準がもとまる。この場合、消失点は既知の直交関係にある６頂点が確定しておれば求めることができる。図４および図１８ではＰ１、Ｐ２、Ｏ１０、Ｍ１、Ｍ２、Ｍ３点が相当する。この演算により、例えば、図４のＰ５、Ｐ６が求まる。
つまり、２階搬入出口５および２階バルコニー９により構成された搬入出建物３の構造物の一部は、基準直方体２１と等価になる。
In this system, the reference cuboid 21 shown in FIG. 6 is not used. However, in the system using the
That is, a part of the structure of the loading /
（搬入位置設定画面）
ついで、マウス１０８により図１７の画像メニュー５１から「次画面へ」を指定すると、カメラ制御ＰＣ１０２の画面は図１８に示される搬入位置設定画面に切り替わる。そして、図１８の画像メニュー５４から「搬入位置形状選択」を選択し、ライブ画像１６Ｃの下部のメニューバー５３の「ＹＺ面」を選択し、さらに方形「５３Ｂ」を選択することにより、ライブ画像１６ＣにＹＺ面長方形画像１９が現れる。ついで、このＹＺ面長方形画像１９をマウス１０８等でクリックアンドドロップにより搬入場所を画像上で指定する。図１８では、搬入位置１９Ａを２階バルコニー９のＯ１０、Ｍ１、Ｍ２、Ｍ３としている。そして、画像メニュー５４から「搬入位置寸法設定」を選択し、Ｏ１０〜Ｍ３、Ｏ１０〜Ｍ１の寸法をＬy、Ｌzとして入力する。その時、Ｌxは設定不要である。この画面では、Ｌy＝Ｌb、Ｌz＝Ｌcとなる。ついで、画面をチェックし問題なければ、画像メニュー５４から「搬入位置確立」を選択し、誤りがあれば、「搬入位置取消」を選択し、再設定を行なう。
(Loading position setting screen)
Next, when “go to the next screen” is designated from the
また、画像メニュー５４から「座標位置表示」を選択すれば、座標系原点Ｏ１０に対する搬入位置の３次元座標が上記実施の形態１，２にて説明した方式により計算、表示される。ここで、図１８では座標系原点Ｏ１０と搬入位置は同じ位置の為、搬入位置の３次元座標は（０，０，０）である。なお、基準直方体２１を地上に置いた場合には、搬入位置の３次元座標は所定の値が表示される。
If “display coordinate position” is selected from the
（搬出位置設定画面）
ここで、搬出モードの時は、図１６に示されるメニュー画面に戻り、画像メニュー５０から「搬出位置設定」を選択する。これにより、カメラ制御ＰＣ１０２の画面は、図１９に示される搬出位置設定画面に切り替わる。そして、図１９において、画像メニュー５４Ａから「搬出位置形状選択」を選択し、ライブ画像１６Ｄの下部のメニューバー５３の「ＹＺ面」を選択し、ついで「方形」５３Ｂの方形を選択することにより、ＹＺ面長方形画像１９がライブ画像１６Ｄに現れる。搬出位置は通常、地上面であったり、トラックの荷台上であったりするので、その目印として、所定の寸法Ｌｎ1を持つポール２１Ａ、或いはＹＺ面に平行な画像１４Ｂが地面に置いてある。そして、メニューバー５３の「Ｘ軸」を選択することによりＸ軸直線１８がライブ画像１６Ｄ中に現れ、また「ＹＺ面」を選択し、さらに「方形」５３Ｂを選択することによりＹＺ面長方形画像１９がライブ画像１６Ｄ中に現れる。
(Unloading position setting screen)
Here, in the carry-out mode, the screen returns to the menu screen shown in FIG. 16 and “Set carry-out position” is selected from the
ついで、マウス１０８等でクリックアンドドロップにより、Ｘ軸直線１８をポール２１Ａに移動し、或いはＹＺ面長方形画像１９を画像１４Ｂに移動して、搬出場所を画像上で特定する。そして、画像メニュー５４Ａから「搬出位置寸法設定」を選択し、Ｌｎの寸法をＬｎx（Ｘ軸平行）、ＬｎyまたはＬｎz（ＹＺ面平行）として入力する。その時は寸法が不明な軸の設定は不要である。また、前述したように画面をチェックし問題なければ、画像メニュー５４Ａから「搬出位置確立」を選択する。もし、誤りがあれば、画像メニュー５４Ａから「搬出位置取消」を選択し、再設定を行なう。さらに、画像メニュー５４Ａから「座標位置表示」を選択すれば、座標系原点Ｏ１０に対する搬出位置の３次元座標を上記の実施の形態１，２にて説明した方式により計算し、Ｏ２０表示（Ｌx2、Ｌy2、Ｌz2）を行なう。
Next, by clicking and dropping with the
（搬入搬出品設定画面）
ついで、図１９の画像メニュー５４Ａから「次画面へ」を選択し、或いは画像メニュー５４Ａから「メニュー画面」を選択し、さらに図１６の画像メニュー５０から「搬入搬出品設定」を選択する。これにより、カメラ制御ＰＣ１０２の画面は、図２０に示される搬入搬出品設定画面に切り替わる。
そして、図２０の画像メニュー５４Ｂから「搬出位置形状選択」を選択し、ライブ画像１６Ｂの下部のメニューバー５３から「Ｘ軸」を選択し、さらに「直線」５３Ａを選択することにより、直線画像１８がライブ画像１６Ｂ中に現れる。また、メニューバー５３から「ＹＺ面」を選択し、さらに「方形」５３Ｂを選択することにより、ＹＺ面長方形画像１９がライブ画像１６Ｂ中に現れる。それらの画像１８，１９を制御盤８の画像上に貼り付ける。図２０中、画像１８，１９の貼り付け画像を１８Ａ，１９Ｃとして示している。ついで、画像メニュー５４Ｂから「搬入出品寸法設定」を選択し、Ｌn、或いはＷ，Ｄを入力する。そして、搬入出品が制御盤８等の直方体の場合で、かつ、底面がＹＺ面と平行な場合には、前述の実施の形態１，２によりＬn、或いはＷ，Ｄの１軸の寸法を入力するのみでＯnの３次元座標を特定することができる。
また、図２０では、搬入出品としてメニューバー５３の直方体５３Ｃを選択し、貼り付けてもよい。
(Incoming carry-in exhibition setting screen)
Next, “go to next screen” is selected from the
20 is selected from the
In FIG. 20, the
次に、画像メニュ−５４Ｂから「吊り位置オフセット設定」を選択し、Ｘ、Ｙ、Ｚ軸のオフセット値を入力する。ここで、吊り位置オフセットについて図２１および図２２を用いて説明する。
Next, “hang position offset setting” is selected from the
制御盤８を搬入位置基準（図２１および図２２ではＯ１０）に搬入する場合、Ｏ１０と制御盤８の高さ方向の辺ＬｎのＯｎ点座標との距離を計算して目標値との偏差にしているが、実際には２階バルコニー９上のＬｎを所定値ずらしたＬｎ１点を目標値にする必要がある。これを吊り位置オフセットという。その値がＹ軸のオフセット値Ｏｎ１〜Ｙ１=Ｌy4およびＺ軸のオフセット値Ｏn１〜Ｚ1=Ｌz4である。Ｘ軸のオフセット値は記載していないが、２階バルコニー９のＹ軸およびＺ軸オフセット値を考慮した搬入位置１９ＢのＸ軸上方の所定位置（Ｘ軸オフセット）を目標値として移動クレーン１２を操作し、制御盤８がその所定位置に移動された後、ロープ１０を下げ、制御盤８を搬入位置１９Ｂに下ろす。従って、搬入する場合は座標軸基準Ｏ１０と制御盤８の原点Ｏｎのオフセットを考慮したＸ１軸原点Ｏｎ１点との偏差を零になるように移動クレーン１２を操作、或いは自動運転すれば良い。Ｏｎ１点の３次元座標は図２２に示すように（−Ｌｘn，Ｌｙｎ-Ｌy4，−Ｌｚｎ+Ｌz4）となる。
When the
また、座標系基準の直方体２１を地上に設置した場合の搬入位置原点Ｏ１０、搬入品基準Ｏｎ、２階バルコニー９のＹ軸およびＺ軸オフセット値（Ｌy4、Ｌz4）の関係を図２３および図２４に示す。移動クレーン１２の制御をする為には、Ｏ１０(Ｌｘ1，Ｌy1、Ｌz1)を目標値、Ｏn1(Ｌxn，Ｌyn−Ｌy４、−Ｌzｎ＋Ｌy４)（但し、Ｌxnの初期値は０）を制御対象の現在値として制御すれば良いことになる。
そこで、図３３の搬入、搬出支援画面に移行し、そのＸＹＺ表示５７に、目標値の座標値にＯ１０の座標(Ｌｘ1，Ｌy1、Ｌz1)を表示し、現在値の座標値にＯn1の座標(Ｌxn，Ｌyn−Ｌy４、−Ｌzｎ＋Ｌy４)を表示し、ＸＹＺ座標値の目標値と現在値とを比較し、その偏差が０になるようにクレーンの駆動を制御したり、手動運転時の支援を行なう。
Further, FIG. 23 and FIG. 24 show the relationship between the carry-in position origin O10, the carry-in product reference On, the Y-axis and Z-axis offset values (Ly4, Lz4) of the
33, the
（移動禁止領域設定画面）
次に、図２０の画像メニュー５４Ｂから「次画面へ」を選択し、或いは「メニュー画面へ」を選択し、さらに図１６の画像メニュー５０から「移動禁止領域設定」を選択する。これにより、カメラ制御ＰＣ１０２の画面は、図２５に示される移動禁止領域設定画面に切り替わる。この移動禁止領域設定画面は、制御盤８（搬入出品）が搬入出建物３や２階バルコニー９と干渉しないように、吊り荷である制御盤８の位置を監視する為のものである。そして、移動クレーン１２等の操作ミス等により、制御盤８と移動禁止領域との距離が所定値以下となった場合に異常警報を鳴らすと共に、移動クレーン１２の駆動を緊急停止する。
(Movement prohibited area setting screen)
Next, “Go to the next screen” is selected from the
図２５の画像メニュー５５から「移動禁止領域形状選択」を選択し、ライブ画像１６Ｅの下部のメニューバー５３から「ＸＹ面」或いは「ＸＺ面」を選択した後、「方形」５３Ｂを選択する。これにより、ライブ画像１６ＥにＸＹ面長方形画像或いはＸＺ面長方形２０が現れる。このＸＹ面長方形画像を２階バルコニー９の下部の移動禁止領域（Ｏ１０、Ｎ２、Ｎ３、Ｍ１）および（Ｍ２、Ｍ３、Ｎ５、Ｎ４）に貼り付ける。また、ＸＺ面長方形画像２０を２階バルコニー９の下部の移動禁止領域（Ｍ1、Ｍ２、Ｎ４、Ｎ３）および搬入出建物３の壁面（Ｐ３、Ｐ４、Ｎ７、Ｎ６）に貼り付ける。なお、図２５中、画像２０の貼り付け画像を２０Ａ，２０Ｂとして示している。
そして、前述したように画面をチェックし問題なければ、画像メニュー５５から「移動禁止領域確立」を選択する。もし、誤りがあれば、画像メニュー５５から「移動禁止領域取消」を選択し、再設定を行なう。
25, “Movement prohibited area shape selection” is selected from the
If the screen is checked and there is no problem as described above, “establishment of movement prohibited area” is selected from the
図２６は、図２３に示した搬入出建物３の近傍に基準直方体２１を置いて座標系基準とした状態の２階バルコニー９の下部を移動禁止領域に設定した場合の三次元座標値を示す。また、図２７は、図２６に示した２階バルコニー９の下部を移動禁止領域に設定した画像に更に、搬入出建物３の壁面（Ｐ３、Ｐ４、Ｎ７、Ｎ６）も移動禁止領域に設定した場合の三次元座標値を示す。また、図２５の画像メニュー５５の「移動禁止領域寸法設定」には、Ｘ＝、Ｙ＝、Ｚ＝が記載されているが、設定した面が３次元座標原点からメニューバー５３のＸ軸、Ｙ軸、Ｚ軸の直線５３Ａ、および、ＸＹ面、ＹＺ面、ＺＸ面の方形５３Ｂで連続して設定されておれば、それらの設定は不要となり、演算により座標値を計算することが出来る。
FIG. 26 shows three-dimensional coordinate values when the lower part of the second-
なお、これらの設定或いは計測した３次元座標値は、図１６に示されるメニュー画面の画像メニュー５０から「計測寸法表示」を選択することにより、図２２、図２４、図２６および図２７に示されるように、画面表示することができる。
These three-dimensional coordinate values set or measured are shown in FIG. 22, FIG. 24, FIG. 26 and FIG. 27 by selecting “Measurement dimension display” from the
（ＰＣ画面の実施例２：搬入出バルコニーがない場合の画面例）
ここでは、上記実施の形態１を利用し、２階バルコニー９がない搬入出口に制御盤８を搬入、搬出する場合における座標基準、搬入・搬出位置の設定、計測寸法の一例を図２８乃至図３２を用いて説明する。
(Example 2 of PC screen: Screen example when there is no carry-in / out balcony)
Here, FIG. 28 to FIG. 28 show examples of coordinate reference, setting of loading / unloading positions, and measurement dimensions when the
図２８および図２９は、制御盤８を「特許第3066821号」（物品の揚重装置）の図３および図４等に示されたウェートバランサー２２を介して移動クレーン１２により吊り下げ搬入作業を行なう場合の搬入動作図を示している。このウェートバランサー２２には制御盤８とその重量に対して、平行バランスをとるようにアーム長が変化する釣り合い錘２３が取り付けられている。このウェートバランサー２２を利用した場合、吊り中心にあるロープ１０およびフック１３は制御盤８のＹＺ面の座標位置は異なる為、図２９に示したように２階バルコニーの無い搬入出口５Ａにも搬入出することができる。この場合は２階バルコニーが無い為、構造物を座標基準とすることは出来ない。そこで、搬入出建物３の近傍に図６，２３，２４と同じように基準直方体２１を設置する必要がある。その時の座標系の一例を図３０に示す。搬入位置基準Ｏ１０を２階搬入出口５Ａの１辺としている。又、制御盤８の基準既知寸法Ｌnを図６、２３、２４の基準既知寸法Ｌnとは異なった辺としている。その時の制御盤８の原点Ｏｎのオフセット（Ly4,Ｌz4）を考慮した各要素の３次元座標寸法の関係を図３１に示す。また、移動禁止領域Ｐ３−Ｐ４−Ｎ７−Ｎ６を追加した図を図３２に示す。
28 and 29, the
このよう各要素の３次元座標寸法をとれば、上述のＰＣ画面の実施例１と同様に移動クレーン１２を制御できる。
なお、これらの設定或いは計測した３次元座標値は、ＰＣ画面の実施例１で述べたように、図１６に示されるメニュー画面の画像メニュー５０から「計測寸法表示」を選択することにより、図３１および図３２に示されるように、画面表示することが出来る。
If the three-dimensional coordinate dimensions of each element are taken as described above, the moving
These three-dimensional coordinate values set or measured can be obtained by selecting “Measurement dimension display” from the
（ＰＣ画面の実施例３：クレーン駆動系表示）
図３３は移動クレーンを運転する場合の搬入、搬出支援画面（ＸＹＺ表示）の一例を説明する図、図３４はクレーン駆動系表示の搬入出支援画面を表示する為に必要なクレーン旋回位置設定定画面を説明する図、図３５はクレーン駆動系表示の搬入出支援画面を説明する図である。
(Example 3 of PC screen: Crane drive system display)
FIG. 33 is a diagram for explaining an example of a loading / unloading support screen (XYZ display) when a mobile crane is operated, and FIG. 34 is a crane turning position setting setting necessary for displaying the loading / unloading support screen of the crane drive system display. FIG. 35 is a diagram for explaining a screen, and FIG. 35 is a diagram for explaining a loading / unloading support screen for crane drive system display.
図３３および図３５に示される搬入、搬出支援画面は、図１６に示されるメニュー画面の画像メニュー５０から「搬入搬出支援画面表示」を選択することにより表示される。「ＸＹＺ表示」と「クレーン駆動系表示」との切り替えは、図３３および図３５における表示選択メニュー５６により、切り替え可能となる。また、図３３および図３５における目標値選択メニュー５６Ａにより「搬入、搬出品上部」、「搬入、搬出位置前方」、「搬入、搬出位置上部」および「搬入、搬出位置」の表示を切り替えることができる。これらの位置の詳細は図３９に示す。図３９における「８Ａ１」の位置が「搬入、搬出品上部」、「８Ａ２」の位置が「搬入、搬出位置前方」、「８Ａ３」の位置（図省略）が「搬入、搬出位置上部」、「８Ａ４」の位置が「搬入、搬出位置」となる。自動運転の場合はそれらの目標値は搬入、搬出品が目標値の所定範囲内に入った時、次の目標値に自動的に変更される。
The carry-in / carry-out support screen shown in FIGS. 33 and 35 is displayed by selecting “carry-in / carry-out support screen display” from the
（クレーン旋回位置設定、クレーン選択、定数選択、クレーン旋回面設定）
図３５に示される搬入、搬出支援画面（クレーン駆動系表示）は、図１６のメニュー画面の画像メニュー５０における「クレーン旋回位置設定」および「クレーン選択、定数選択」が既に選択・設定されている必要がある。また、図３４における画像メニュー５８に示された各メニューを設定する必要がある。
(Crane turning position setting, crane selection, constant selection, crane turning surface setting)
In the loading / unloading support screen (crane drive system display) shown in FIG. 35, “crane turning position setting” and “crane selection, constant selection” in the
まず、図３４のクレーン旋回位置設定画面において、画像メニュー５８から「クレーン旋回面設定」を選択すると、ライブ画像１６ＦにＹＺ面に平行な長方形５９が表われる。そして、その長方形５９をドラッグアンドドロップにより画面中の移動クレーン１２の旋回面５９Ａにあわせ、その１辺Ｌdの長さを設定する。また、画像メニュー５８から「クレーン旋回中心設定」を選択することにより、ライブ画像１６ＦにＸ軸と平行な直線６０が表われ、その直線６０をドラッグアンドドロップにより画面中の移動クレーン１２の旋回面上の旋回中心に合わせる。ライブ画像１６Ｆ中、直線６０Ａが旋回中心に合わせられた直線である。その時、旋回中心Ｏ３０は自動的に旋回面として設定した長方形５９Ａ上に設定されることになる。これらの設定により、旋回中心の３次元座標は上記実施の形態２に示した計算方法により特定される。
なお、画面中のクレーン画像上の旋回中心にＸＹ面、ＸＺ面或いはＸＹ面と平行な既知寸法を有する部材が写っている場合には旋回面の設定は不要であり、その既知寸法を有する部材の画像に直線６０を合わせ、既知寸法Ｌｄを設定するのみでも良い。
First, when “crane turning plane setting” is selected from the
When a member having a known dimension parallel to the XY plane, XZ plane, or XY plane is shown at the turning center on the crane image in the screen, the setting of the turning plane is unnecessary, and the member having the known dimension. It is also possible to align the straight line 60 with the image and set the known dimension Ld.
ここで、移動クレーン１２の構造により、移動クレーン１２の旋回中心とブーム１１の下端の位置が異なるものがある。この場合、図３４の画像メニュー５８から「クレーン旋回中心〜ブーム間長さ設定」を選択し、移動クレーン１２の旋回中心とブーム１１の下端の位置との間の長さＬb1を設定する必要がある。図３８におけるＯ３０〜Ｑ５の長さがＬb1に相当する。
これらの設定終了後、画面をチェックし問題なければ、画像メニュー５８から「クレーン旋回位置確立」を選択し、誤りがあれば「クレーン旋回位置取消」を選択し、再設定を行なう。さらに、画像メニュー５８から「座標位置表示」を選択することにより、原点Ｏ１０に対する、制御盤８（搬入出品）の現在地Ｏｎ、クレーン旋回中心位置Ｏ３０等の３次元座標値を表示する。その１例を図３７および図３８に示す。図３７はクレーン旋回中心とブーム１１の下端が同一点Ｏ３０にある場合の３次元座標値を示している。この場合はＬｂ１＝０である。また、図３８はクレーンの旋回中心とブーム１１の下端の位置が異なる場合の３次元座標値を示している。
Here, depending on the structure of the moving
After these settings are completed, the screen is checked, and if there is no problem, “establish crane turning position” is selected from the
次に、図３９〜図４８に従って、制御盤８の搬入出位置１９Ａ、現在値３次元座標８、８Ａ１、８Ａ２の時点のクレーンの駆動系要素に変換する方法を説明する。
図３９は制御盤８を２階バルコニー９に移設する場合の移動順序を示す斜視図、図４０はその時のクレーンのブーム１１の動きを示した斜視図である。図４１および図４２は図４０の上面図である。ここで、図３９〜図４８は搬入動作の例を示しているので、これら図の説明では制御盤８（搬入出品）は搬入品、２階バルコニー９は搬入バルコニーと呼ぶ。
Next, according to FIGS. 39 to 48, a method of converting into the crane drive system elements at the time of the carry-in / out
FIG. 39 is a perspective view showing the movement sequence when the
まず、搬入品８は、図３９および図４０に示したように、搬入品８の上部にブーム１１の先端を位置決めし、ロープ１０により「８Ａ１」の位置に搬入品８を吊り上げる。そして、搬入品８を搬入位置１９Ａの前方位置１９Ｅに、ブーム延長、旋回、起伏したりしながら移動させる。そして、ブーム延長、旋回駆動軸をクリープ速度にて搬入位置１９Ａの上部へ搬入品８を移動させ、ロープ１０を下げ、搬入位置１９Ａへ搬入品８を下ろす。この動作状態を図４０ではＳ２１→Ｓ２２→Ｓ２３→Ｓ２４→Ｓ２５と変化させる。Ｓ２１→Ｓ２２の移動ではロープ吊り上げ動作、Ｓ２２→Ｓ２３の移動ではブーム伸縮、旋回、起伏動作、Ｓ２３→Ｓ２４の移動はブーム旋回、伸縮、Ｓ２４→Ｓ２５ではロープ吊り下げ動作となる。また、ブーム長は（Ｏ３０〜Ｓ１）→（Ｏ３０〜Ｓ２）→（Ｏ３０〜Ｓ３）となる。搬入品８の基準線分はＬｎ→Ｌｎ2→Ｌｎ3→Ｌｎ4→Ｌｎ1のごとく刻々と移動する。その場合、Ｌｎ、Ｌｎ2、Ｌｎ3、Ｌｎ4、Ｌｎ1は、３次元画像ではＸ軸に平行で長さの等しい既知寸法であるが、搬入品８は初期値として設定した座標状態から刻々と変化するので、設定した基準線分の取得画像上で抽出する必要がある。その一般的な抽出方法としては、たとえば、カラー画像を収得し、フィルタにより濃淡画像に変換し、濃淡画像から濃度値のｕ軸、ｖ軸方向の１次微分（または、２次微分）によってエッジを強調させる方法、勾配ベクトルを用いて勾配ベクトルの大きさおよび方向の各値を抽出する方法、ハフ（Ｈｏｕｇｈ）変換により線分長さＬｎを抽出する方法、ならびに、パターンマッチング法などが利用される。これにより、線分長さＬｎが２値線分化されて抽出される。
First, as shown in FIGS. 39 and 40, the carry-in
これらの線分抽出処理においては、前述した図１４（ａ）および図１４（ｂ）等の画像を周囲画像と比較して濃淡の明確な色を利用して描いた紙１４Ｂ，１４Ｃ等を搬入品８に貼り付けるとかすることにより、刻々の基準線分Ｌｎ＊の抽出を容易にすることができる。この基準線分の抽出方法により既述の計算方法により搬入品８の刻々の３次元現在位置を計算することが出来る。
ここで利用される抽出方法については、公知の既刊参考書、例えば画像処理工学基礎編（谷口慶冶編、共立出版、２００１年）に記載された画像処理を適用することができるうえ、この発明に直接関連しないので、詳述を省略する。
In these line segment extraction processes, the
As for the extraction method used here, image processing described in a known published reference book, for example, the basic edition of image processing engineering (Keiji Taniguchi, Kyoritsu Shuppan, 2001) can be applied. Detailed description is omitted because it is not directly related to.
図４０に示した搬入品８および移動クレーン１２のブーム１１，１１Ａ，１１Ｂの変化の斜視図の上面図を図４１および図４２に示す。図４０と図４１の正面図は基本的に同じものであるが、図４１は搬入品８を置く搬入バルコニー（Ｏ１０，Ｍ１，Ｍ２，Ｍ３）のオフセットの設定値を、Ｙ軸をＬy4とし、Ｚ軸をＬz4としたものである。その時、搬入位置は原点Ｏ１０からＹ軸をＬy4およびＺ軸をＬz4の位置である。つまり、搬入品８の現在値を計算する場合、搬入品基準線分Ｌｎ＊の位置ＯｎをＳ２点ではＹ軸はＬy4、Ｚ軸はＬc＋Ｌz4だけずらした位置を目標値とし、Ｓ３点ではＹ軸はＬy4、Ｚ軸Ｌz4の位置を目標値として、搬入品８の中心位置Ｓ１をＳ１→Ｓ２→Ｓ３の如く移動させるように制御する。
The top view of the perspective view of the change of the
図４２は搬入品８を置く搬入位置の中心を搬入バルコニー（Ｏ１０，Ｍ１，Ｍ２，Ｍ３）の中心位置としたものである。その時、搬入位置基準は原点Ｏ１０からＹ軸をＬb/2、Ｚ軸をＬc/2とした位置である。つまり、搬入品８の現在値を計算する場合、搬入品基準線分Ｌｎ＊の位置からｄ／２，ｗ／２の位置、即ち、搬入品８のＹＺ面のセンターＳ１をＳ２点ではＹ軸はＬb/2、Ｚ軸はＬc＋Ｌc/2=3Ｌc/2だけ移動した位置を目標値とし、Ｓ３点ではＹ軸をＬb/2、Ｚ軸をＬc/2の位置を目標値として、搬入品８の中心位置Ｓ１をＳ１→Ｓ２→Ｓ３の如く移動させるように制御するようにしたものである。
In FIG. 42, the center of the carry-in position where the carry-in
図４１ではクレーンのブーム長のＹＺ面への投影は１１（ブーム長=BL1）→１１Ａ（ブーム長=BL2）→１１Ｂ（ブーム長=BL3）の如く変化する。図４２ではクレーンのブーム長のＹＺ面への投影は１１（ブーム長=BL1）→１１Ｃ（ブーム長=BL４）→１１Ｄ（ブーム長=BL５）の如く変化する。なお、図４１および図４２では、搬入物８の１辺は搬入出建物３、或いは搬入位置に対して平行として記載してあるが、実際はＳ２、Ｓ３位置では平行とならない為、搬入位置の大きさは搬入品８に対して大きくする必要がある。（厳密には搬入品８のＸ軸中心の回転を考慮すると搬入位置の１辺は搬入品８のＹＺ面対角線の長さ以上にする必要がある）。
In FIG. 41, the projection of the boom length of the crane on the YZ plane changes as 11 (boom length = BL1) → 11A (boom length = BL2) → 11B (boom length = BL3). In FIG. 42, the projection of the crane boom length on the YZ plane changes as 11 (boom length = BL1) → 11C (boom length = BL4) → 11D (boom length = BL5). In FIG. 41 and FIG. 42, one side of the carry-in
（ブームの旋回中心とブームの下端が一致する場合）
次に、ブーム１１の旋回中心とブーム１１の下端が一致する場合、図４１に旋回角θ、起伏角Φ、搬入品８の高さＬｘ*を追加した斜視図を図４３に示す。図４３のＳ２０位置は図２１〜図２４等のＯｎに相当する。また、Ｓ２０，Ｓ２１，Ｓ２２はＩＴＶカメラ画像から計算により、また、クレーン旋回中心Ｏ３０、搬入位置前方Ｓ２３、搬入位置上部Ｓ２４、搬入位置Ｓ２５はＩＴＶカメラ画像、及び、初期設定により３次元座標原点Ｏ１０（０，０，０）に対する３次元座標値を特定できる。そこで、これらのＸＹＺ座標値を利用して、移動クレーン１２の駆動要素であるブーム長、旋回角および起伏角に変換することができる。
図４４は、図４３におけるクレーン駆動要素に変換する為の計算要素のみを記載した図であり、座標原点をＯ３０としている。この時、搬入品８のＳ１０１位置の３次元座標を（Ｘ０，Ｙ０，Ｚ０）（ＩＴＶカメラ画像より計算）、ロープ長をＬ０（クレーン取付の検出器により測定）、ブーム長ＢＬ、旋回角θ、起伏角Φとした時、
(When the pivot center of the boom matches the lower end of the boom)
Next, FIG. 43 shows a perspective view in which the turning angle θ, the undulation angle Φ, and the height Lx * of the
FIG. 44 is a diagram in which only calculation elements for conversion to the crane drive elements in FIG. 43 are described, and the coordinate origin is O30. At this time, the three-dimensional coordinates of the S101 position of the
となる。この式（３２）を所定のサンプリング速度にて刻々と計算することによりにより、図３５の搬入、搬出支援画面におけるクレーン駆動系表示５７Ａに、駆動要素の目標値Ｓ２０〜Ｓ２５を表示することができる。さらに、クレーン駆動系表示５７Ａに、クレーンの駆動要素の現在値（クレーン取り付けの専用検出器により検出）を表示し、駆動要素の目標値と現在値とを比較し、偏差が０になるようにクレーンの駆動系を制御したり、手動運転時の支援を行なう。
また、搬入位置前方Ｓ２３（高さLX6）から搬入位置上部Ｓ２４（高さLX6）への移動時、Ｘ，Ｙ軸はそのままでＺ軸目標値を刻々と
（−LC−LZ4−w/2 ＋△Z・t） （ｔ：サンプリング周期）
のように（−LZ4−w/2）まで変化させるように、ブーム長ＢL、旋回角θを制御することにより、図４１および図４２に示したように搬入品８、又はブーム１１の先端のＳ２→Ｓ３とＺ軸に平行に移動させることができる。
なお、Ｓ２→Ｓ３の移動をＺ軸に平行に移動させる理由は、搬入出バルコニーの幅が狭い場合に効果を奏する。即ち、搬入位置の前方位置からブーム長を変化させないとブーム先端が図４１および図４２のＳ４点に移動し、安全柵６に接触したり、搬入品８が搬入バルコニー９からはみ出したりする場合がある為である。
It becomes. By calculating the equation (32) every moment at a predetermined sampling speed, the target values S20 to S25 of the drive elements can be displayed on the crane
In addition, when moving from the loading position forward S23 (height LX6) to the loading position upper part S24 (height LX6), the X and Y axes remain unchanged and the Z-axis target value is gradually changed (−L C −L Z4 −w / 2 + △ Z ・ t) (t: Sampling cycle)
As shown in FIGS. 41 and 42, by controlling the boom length BL and the turning angle θ so as to change to (−L Z4 −w / 2) as shown in FIG. 41 and FIG. Can be moved parallel to the Z axis.
The reason why the movement of S2 → S3 is moved in parallel with the Z axis is effective when the width of the carry-in / out balcony is narrow. That is, if the boom length is not changed from the front position of the carry-in position, the tip of the boom moves to point S4 in FIGS. 41 and 42 and may come into contact with the
（ブームの旋回中心とブームの下端の位置が異なる場合）
次に、ブーム１１の旋回中心とブーム１１の下端が異なる場合、図４１にブーム旋回角θ、起伏角Φ、搬入品の高さLx*を追加した斜視図を図４５に示す。図４５のＳ２０位置は図２1〜図２４等のＯnに相当する。この場合も搬入位置の目標値、搬入品の現在値等も図４３および図４４と同様にＸＹＺ座標値を利用して、クレーンの駆動要素であるブーム長、旋回角、起伏角に変換することができる。
図４６は、図４５におけるクレーン駆動要素に変換する為の計算要素のみを記載した図であり、座標原点をＯ３０としている。但し、ブーム旋回中心とブーム下端の距離をＬｂ１としている。この時、搬入品８のＳ１０１位置の３次元座標を（Ｘ０，Ｙ０，Ｚ０）（ＩＴＶカメラ画像より計算）、ロープ長をＬ０（クレーン取付の検出器により測定）、ブーム長ＢＬ、旋回角θ、起伏角Φとした時、
(When the pivot center of the boom and the position of the lower end of the boom are different)
Next, when the pivot center of the
FIG. 46 is a diagram in which only calculation elements for conversion to the crane drive elements in FIG. 45 are described, and the coordinate origin is O30. However, the distance between the boom turning center and the lower end of the boom is Lb1. At this time, the three-dimensional coordinates of the S101 position of the
となる。以下、前述の図４３および図４４と同じとなる。 It becomes. Hereinafter, it becomes the same as FIG. 43 and FIG. 44 described above.
（ブームの旋回中心とブームの下端が一致し、ブーム先端に定寸のジグを取り付けた場合）
次に、ブーム１１の旋回中心とブーム１１の下端が一致し、ブーム先端に定寸J0のジグ１１Ｃを取り付けた場合、図４１にブーム旋回角θ、起伏角Φ、搬入品の高さLx*、ジグ１１Ｃの起伏角Φjを追加した斜視図を図４７および図４８に示す。図４７のＳ２０位置は図２1〜図２４等のＯnに相当する。この場合も搬入位置の目標値、搬入品の現在値等も図４３，４４、４５、４６と同様にＸＹＺ座標値を利用して、クレーンの駆動要素であるブーム長、旋回角、起伏角に変換することができる。
図４８は、図４７におけるクレーン駆動要素に変換する為の計算要素のみを記載した図であり、座標原点をＯ３０としている。但し、ブーム１１の先端には定寸J0のジグ１１Ｃがついている。この時、搬入品８のＳ１０１位置の３次元座標を（Ｘ０，Ｙ０，Ｚ０）（ＩＴＶカメラ画像より計算）、ロープ長をＬ０（クレーン取付の検出器により測定）、ブーム長ＢＬ、旋回角θ、起伏角Φとした時、
(When the pivot center of the boom is aligned with the lower end of the boom and a fixed-size jig is attached to the tip of the boom)
Next, when the turning center of the
FIG. 48 is a diagram showing only calculation elements for conversion to the crane drive elements in FIG. 47, and the coordinate origin is O30. However, a jig 11C having a fixed size J0 is attached to the tip of the
となる。以下、前述の図４３，４４、４５、４６と同じとなる。
なお、Ｊ0、図４３，４４，４５，４６，４７等のクレーンの型式の選択、或いはブームの起伏角、ブーム長の過重による制限、その他機構による制限等は、図１６のメニュー画面における画像メニユー５０から「クレーン選択、定数設定」（画面省略）を選択することにより、設定、選択することができる。
以上、搬入動作について説明したが、搬出動作は目標値の刻々の変化を搬入動作の逆とすれば良い為、その説明は省略する。
It becomes. Hereinafter, it becomes the same as FIG. 43, 44, 45, 46 mentioned above.
Note that the selection of the crane model such as J0, FIGS. 43, 44, 45, 46, and 47, or the boom hoisting angle, the boom length limitation due to excessive load, and other mechanism limitations, etc., can be made in the image menu on the menu screen of FIG. By selecting “Crane selection, constant setting” (screen omitted) from 50, setting and selection can be made.
Although the carry-in operation has been described above, the carry-out operation may be performed by reversing the change of the target value every time as the reverse of the carry-in operation.
（システムの構成の１例）
図４９および図５０に本発明のシステムを実現する為のハードウェアー構成の一例を示し、図５１にクレーン操作箱の一例を示し、また図５２に図５０のハードウェアー構成の詳細図を示し、図５３に制御対象である移動クレーンの制御対象である駆動系の概要を示す。
(Example of system configuration)
FIG. 49 and FIG. 50 show an example of a hardware configuration for realizing the system of the present invention, FIG. 51 shows an example of a crane operation box, FIG. 52 shows a detailed diagram of the hardware configuration of FIG. FIG. 53 shows an outline of a drive system that is a control target of a mobile crane that is a control target.
図４９において、ＩＴＶカメラ４は三脚１０３に取り付けられて搬入出品の搬入出状況を撮影するように設置されている。このＩＴＶカメラ４は信号ケーブル１０１を介してカメラ制御パソコン１０２に接続され、クレーン操作箱１０６およびマウス１０８が制御ケーブル１０４，１０７を介してカメラ制御パソコン１０２に接続されている。また、通信パソコン１０２Ａがクレーンの運転席１１４に設置されている。マウス１０８Ａおよびクレーン駆動部１１０が制御ケーブル１０７Ｆ，１１２により通信パソコン１０２Ａに接続されている。
そして、ＩＴＶカメラ４で撮像された画像は信号ケーブル１０１を介してカメラ制御パソコン１０２に取り込まれる。そして、カメラ制御パソコン１０２にて、各種設定、２次元画像から３次元画像への変換を行い、クレーン操作箱１０６にて、自動、手動運転操作を行う。そして、得られたクレーン駆動部１１０の各駆動軸の指令値が、カメラ制御パソコン１０２から通信制御部１０５，１０５Ａを介して無線にて通信パソコン１０２Ａに送られる。さらに、クレーン駆動部１１０の各駆動軸の指令値は、制御ケーブル１１２を介してクレーン駆動部１１０に伝送され、移動クレーン１２が制御される。
In FIG. 49, the
Then, the image captured by the
また、図５０は他のハードウェアー構成の一例を示している。このシステムでは、図４９に示したクレーン操作箱１０６をクレーン運転室１１４、或いはクレーン近傍に取り付け、ＩＴＶカメラ４の近傍に取り付けられたカメラ通信パソコン１０２Ｂから取得した画像を無線、或いは光ケーブル等にてクレーン制御バソコン１０２Ｃへ伝送する。この時、伝送時間を短縮する為に、所定時間毎に所得する画像の前回取得画像データと今回取得画像データの差分を伝送する。伝送されたデータにより、クレーン制御パソコン１０２Ｃで各種設定、２次元画像から３次元画像への変換を行い、クレーン操作箱１０６にて自動、手動運転操作を行い、クレーン駆動部１１０の各駆動軸の指令値を制御ケーブル１１２，１１３を介してクレーン駆動部１１０に伝送して移動クレーンを制御する。
FIG. 50 shows an example of another hardware configuration. In this system, the
クレーン操作箱１０６は、図５１に示されるように、自動／手動切換スイッチ１２３を手動に切り換えることにより、クレーンのブーム旋回１１５、ブーム伸縮１１６、ブーム起伏１１７、巻上げ１１８の各レバーにより駆動することが出来る。また、自動／手動切換スイッチ１２３を自動に切り換え、自動起動スイッチ１２０を押すことにより、取得した２次元画像から３次元画像への変換、クレーン駆動部１１０の各駆動軸の指令値をクレーン駆動部１１０に伝送して移動クレーンを制御する。また、移動クレーン１２の駆動を停止するための停止ボタン１１９や非常停止ボタン１２１が備えられている。さらに、異常表示１２２が備えられている。
As shown in FIG. 51, the
ついで、図５０に示されるシステムのハードウェアー構成について図５２を参照しつつ説明する。
カメラ通信パソコン１０２Ｂは、ＣＰＵ１２８、ハードディスク１２９、ＲＡＭ１３０、通信制御部１０５、キーボード／マウスインターフェース１３１、画像インターフェイス／メモリ１３２、モニタ制御部１３３を備え、これらは内部バス１０７Ｂに接続されている。そして、マウス１０８がケーブル１０７を介してキーボード／マウスインターフェース１３１に接続され、キーボード１３５がケーブル１０７Ａを介してキーボード／マウスインターフェース１３１に接続されている。また、モニタ１３４が制御ケーブル１０７Ｃを介してモニタ制御部１３３に接続されている。さらに、搬入出画像１４０を撮像するＩＴＶカメラ４が、通信ケーブル１０７Ｅを介して画像信号処理部１３９に接続され、画像信号処理部１３９がケーブル１０７Ｄを介して画像インターフェイス／メモリ１３２に接続されている。
Next, the hardware configuration of the system shown in FIG. 50 will be described with reference to FIG.
The camera communication
クレーン制御パソコン１０２Ｃは、ＣＰＵ１２８Ａ、ハードディスク１２９Ａ、ＲＡＭ１３０Ａ、通信制御部１０５Ａ、キーボード／マウスインターフェース１３１Ａ、モニタ制御部１３３Ａ、操作スイッチインターフェイス１３６、駆動部インターフェイス１３８を備え、これらは内部バス１０７Ｊに接続されている。そして、マウス１０８Ａがケーブル１０７Ｆを介してキーボード／マウスインターフェース１３１Ａに接続され、キーボード１３５Ａがケーブル１０７Ｋを介してキーボード／マウスインターフェース１３１Ａに接続されている。また、モニタ１３４Ａが制御ケーブル１０７Ｌを介してモニタ制御部１３３Ａに接続されている。さらに、操作スイッチインターフェイス１３６が、通信ケーブル１０４を介してクレーン操作箱１０６に接続されている。また、駆動部インターフェイス１３８が、制御ケーブル１１２を介してクレーン駆動部１１０に接続されている。
The crane control
ここで、ＩＴＶカメラ４が撮像手段に相当し、ＣＰＵ１２８，１２８Ａが演算処理手段に相当し、ハードディスク１２９，１２９ＡおよびＲＡＭ１３０，１３０Ａが記憶手段に相当し、モニタ１３４，１３４Ａが表示装置に相当する。
そして、各種の演算処理プロフラムが図示しないＲＯＭやハードディスク１２９，１２９ＡおよびＲＡＭ１３０，１３０Ａの記憶手段に格納されており、演算処理プログラムに用いられる各種データが上述の記憶手段に格納されている。
そして、ＣＰＵ１２８，１２８Ａはマウス１０８により選択された指令に基づいて、記憶手段に格納されているデータを読み出し、所望の演算処理プログラムを実行する。この演算処理プログラムの実行により得られたデータは、記憶手段に格納される。
Here, the
Various arithmetic processing programs are stored in a storage means (not shown) of ROM,
Then, the
駆動部１１０は、図５３に示したクレーンの駆動系の巻上げ油圧モータ１４２を制御する巻き上げ駆動制御部１２４、ブーム旋回油圧モータ１４３を制御するブーム旋回駆動制御部１２５、ブーム起伏油圧シリンダー１４４を制御するブーム起伏駆動制御部１２６、ブーム伸縮油圧シリンダー１４５を制御するブーム伸縮駆動制御部１２７から構成されている。これらの制御要素の一例は、図４４および図４６におけるＬ０，θ，Φ，ＢLに相当する。図５３中、発電機１４１は油圧モータ１４２，１４３および油圧シリンダー１４４，１４５へ油圧を供給する油圧モータを駆動する。また、図５３には詳細は記載していないが、各駆動部の機構には駆動要素Ｌ０，θ，Φ，ＢLを検出するエンコーダ等の検出器が組み込まれている。また図には記載していないが、巻上げ油圧モータ１４２の近傍には荷過重等を検出するロードメータ等が取り付けられている。これらの検出器の値は各駆動制御部にて、指令値と突き合わされ、その偏差を０にするように各駆動要素が制御される。
The
（フローチャートの構成図）
つぎに、図５０、図５２および図５３に示した実施の形態５のシステム構成に適用する本発明を実現する為のフローチャートについて説明する。
まず、図５４は図１６のメニュー画面のフローチャートの一例である。そして、マウス１０８により画面上の画像メニュー５０からメニューを選択(ステップ２０２〜２１０)することにより、各メニューの設定画面（ステップ２１１〜２１９）に切り替わり、各々の設定（ステップ２２０〜２２６）を実行する。
ついで、図５５は、カメラ画像から、ＸＹＺの三次元座標系へ変換する変換行列Ｐを求め、所定のメモリー、例えばハードディスク１２９やＲＡＭ１３０に記憶する為のフローチャートである。ここで、変換行列Ｐを求める計算原理は上記実施の形態１に詳細に述べられている方法に基づく（ステップ２２８〜２３０，２３０Ａ，２３１〜２３８）。なお、このフローチャートは３次元座標基準設定時、例えばシステム起動時に一度実行するのみで良い。
(Composition diagram of the flowchart)
Next, a flowchart for realizing the present invention applied to the system configuration of the fifth embodiment shown in FIGS. 50, 52 and 53 will be described.
First, FIG. 54 is an example of a flowchart of the menu screen of FIG. Then, by selecting a menu from the
Next, FIG. 55 is a flowchart for obtaining a transformation matrix P for transformation from a camera image into an XYZ three-dimensional coordinate system and storing the transformation matrix P in a predetermined memory such as the
そして、図５６は、画面から設定された搬入位置を抽出し、もとめられた変換行列Ｐにより搬入位置（Lx1,Ly1,Lz1）の３次元座標を求める為のフローチャート（ステップ２３９〜２５３）である。もし、搬入位置が画面上にみつからない場合は計測範囲外異常（ステップ２５１）となり、異常表示（図省略）を点燈させるとともに異常ブザー（図省略）で鳴動させる（ステップ２５２）。なお、このフローチャートは目標値設定時、例えばシステム起動時に一度実行するのみで良い。
そして、図５７は、画面から設定された搬出位置を抽出し、求められた変換行列Ｐにより搬出位置（Lx2,Ly2,Lz2）の３次元座標を求める為のフローチャート（ステップ２５５〜２6９）である。もし、搬入位置が画面上にみつからない場合は計測範囲外異常（ステップ２６７）となり、異常表示（図省略）を点燈させるとともに異常ブザー（図省略）で鳴動させる（ステップ２６８）。なお、このフローチャートは目標値設定時、例えばシステム起動時に一度実行するのみで良い。
FIG. 56 is a flowchart (steps 239 to 253) for extracting the loading position set from the screen and obtaining the three-dimensional coordinates of the loading position (Lx1, Ly1, Lz1) from the obtained transformation matrix P. . If the carry-in position is not found on the screen, an abnormality outside the measurement range (step 251) occurs, the abnormality display (not shown) is turned on, and an abnormal buzzer (not shown) is sounded (step 252). This flowchart only needs to be executed once when the target value is set, for example, when the system is activated.
FIG. 57 is a flowchart (steps 255 to 269) for extracting the set carry-out position from the screen and obtaining the three-dimensional coordinates of the carry-out position (Lx2, Ly2, Lz2) by the obtained conversion matrix P. . If the carry-in position is not found on the screen, an abnormality outside the measurement range (step 267) is generated, the abnormality display (not shown) is turned on, and an abnormal buzzer (not shown) is sounded (step 268). This flowchart only needs to be executed once when the target value is set, for example, when the system is activated.
そして、図５８は、画面から設定された搬入、搬出品現在値を抽出し、求められた変換行列Ｐにより搬出位置（Lxn,Lyn,Lzn）の３次元座標を求める為のフローチャート（ステップ２７０〜２８２）である。もし、搬入位置が画面上にみつからない場合は計測範囲外異常（ステップ２８０）となり、異常表示（図省略）を点燈させるとともに異常ブザー（図省略）で鳴動させる（ステップ２８１）。なお、このフローチャートは通常、移動時には所定の高速サンプリング周期（一般に数ｍｓ）毎、実行する必要がある。
そして、図５９は、画面から設定されたクレーン旋回位置を抽出し、求められた変換行列Ｐによりクレーン旋回位置（Lx3,L31,Lz3）の３次元座標を求める為のフローチャート（ステップ２８３〜２９４）である。もし、クレーン旋回位置が画面上にみつからない場合は計測範囲外異常（ステップ２５１）となり、異常表示（図省略）を点燈させるとともに異常ブザー（図省略）で鳴動させる（ステップ２５２）。なお、このフローチャートは目標値設定時、例えばシステム起動時に一度実行するのみで良い。
FIG. 58 is a flowchart (steps 270 to 270) for extracting the current carry-in and carry-in exhibition values set from the screen and obtaining the three-dimensional coordinates of the carry-out position (Lxn, Lyn, Lzn) by the obtained conversion matrix P. 282). If the carry-in position is not found on the screen, an abnormality outside the measurement range (step 280) is generated, the abnormality display (not shown) is turned on, and an abnormal buzzer (not shown) is sounded (step 281). This flowchart usually needs to be executed every predetermined high-speed sampling period (generally several ms) during movement.
FIG. 59 is a flowchart for extracting the crane turning position set from the screen and obtaining the three-dimensional coordinates of the crane turning position (Lx3, L31, Lz3) from the obtained conversion matrix P (steps 283 to 294). It is. If the crane turning position is not found on the screen, an abnormality outside the measurement range (step 251) occurs, the abnormality display (not shown) is turned on, and an abnormal buzzer (not shown) is sounded (step 252). This flowchart only needs to be executed once when the target value is set, for example, when the system is activated.
そして、図６０は、画面から設定された移動禁止領域位置を抽出し、もとめられた変換行列Ｐにより移動禁止領域位置（Lx,Ly,Lz）の３次元座標を求める為のフローチャート（ステップ２９５〜３０４）である。もし、移動禁止領域位置が画面上にみつからない場合は「移動禁止領域は無い」とみなされる。なお、このフローチャートは目標値設定時、例えばシステム起動時に一度実行するのみで良い。 FIG. 60 is a flowchart for extracting the movement prohibited area position set from the screen and obtaining the three-dimensional coordinates of the movement prohibited area position (Lx, Ly, Lz) using the obtained transformation matrix P (steps 295 to 295). 304). If the movement prohibited area position is not found on the screen, it is considered that “there is no movement prohibited area”. This flowchart only needs to be executed once when the target value is set, for example, when the system is activated.
また、図６１は、搬入、搬出支援画面（XYZ表示）計算フローチャート（ステップ３０５〜３１０）である。つまり、移動目標値である搬入、或いは搬出位置と刻々と変化する搬入出品の現在位置、残り移動量を３次元座標表示にて行なう。なお、このフローチャートは通常、移動時には所定の低速サンプリング周期（一般に数十ｍｓ）毎、実行する必要がある。
また、図６２は、搬入、搬出支援画面（クレーン駆動系表示）計算フローチャート（ステップ３１１〜３１７）である。つまり、移動目標値である搬入、或いは搬出位置と刻々と変化する搬入出品の現在位置、残り移動量表示を駆動要素Ｌ０，θ，Φ，ＢLにて行なう。なお、このフローチャートは通常、移動時には所定の低速サンプリング周期（一般に数十ｍｓ）毎、実行する必要がある。
In addition, FIG. 61 is a carry-in / carry-out support screen (XYZ display) calculation flowchart (steps 305 to 310). That is, the current position and the remaining movement amount of the carry-in exhibition that changes every moment with the carry-in or carry-out position, which is the movement target value, are displayed in a three-dimensional coordinate display. Note that this flowchart usually needs to be executed every predetermined low-speed sampling period (generally several tens of ms) during movement.
FIG. 62 is a calculation flow chart (steps 311 to 317) of a carry-in / carry-out support screen (crane drive system display). In other words, the current position of carry-in exhibition, which changes every moment as the movement target value, or the carry-out position, and the remaining movement amount are displayed by the drive elements L0, θ, Φ, and BL. Note that this flowchart usually needs to be executed every predetermined low-speed sampling period (generally several tens of ms) during movement.
また、図６３は、最初に搬入出品を吊り上げる為に、搬入出品上部へブームを移動させる必要がある。その時の移動自動搬入、搬出クレーン制御計算（搬入出品上部へのブーム移動）フローチャート（ステップ３１８〜３３１）である。移動目標値である搬入、或いは搬出位置の駆動要素値Ｌ０，θ，Φ，ＢLと現在の駆動要素値Ｌ０，θ，Φ，ＢLとを比較し、その偏差が０となるように、刻々と変化する駆動要素Ｌ０，θ，Φ，ＢLを制御する。なお、このフローチャート中、ステップ３２４〜３２８，３３０は通常、移動時には所定の高速サンプリング周期（一般に数ｍｓ）毎、実行する必要がある。その他は目標値設定時、例えばシステム起動時に一度実行するのみで良い。 Further, in FIG. 63, it is necessary to move the boom to the upper part of the incoming exhibition in order to lift the incoming exhibition first. It is a movement automatic carrying-in at that time, carrying-out crane control calculation (boom movement to carrying-in exhibition upper part) flowchart (steps 318-331). The drive element values L0, θ, Φ, and BL at the carry-in or carry-out position, which are the movement target values, are compared with the current drive element values L0, θ, Φ, and BL, so that the deviation becomes zero every moment. The drive elements L0, θ, Φ, and BL that change are controlled. In this flowchart, steps 324 to 328, 330 usually need to be executed every predetermined high-speed sampling period (generally several ms) during movement. Others only need to be executed once when the target value is set, for example, when the system is started.
また、図６４および図６５は、搬入出品を吊り上げて搬入位置へ移動させるクレーン搬入制御計算のフローチャート（ステップ３３２〜３５８、３３２Ａ、３４０Ａ，３４０Ｂ）である。まず、搬入品を巻き上げ（ステップ３３８〜３４０）、最初の目標値を搬入位置前方のＳ２５として計算する。そして、Ｓ２５近傍に駆動要素Ｌ０，θ，Φ，ＢLを制御する（ステップ３４２〜３４７）。そして、目標値Ｓ２５近傍に位置決め完了後、目標値を搬入位置上部Ｓ２４とし、駆動要素θ，ＢLを制御する（ステップ３４８〜３５４）。そして、搬入位置上部Ｓ２４位置決め後、所定の搬入位置Ｓ２５までロープを吊り下げ、搬入品を所定の搬入位置Ｓ２５まで吊り下げる（ステップ３５５〜３５７）。 64 and 65 are flowcharts (steps 332 to 358, 332A, 340A, and 340B) of crane carry-in control calculation for lifting the carry-in exhibition and moving it to the carry-in position. First, the carry-in product is rolled up (steps 338 to 340), and the first target value is calculated as S25 in front of the carry-in position. Then, the drive elements L0, θ, Φ, and BL are controlled in the vicinity of S25 (steps 342 to 347). Then, after the positioning is completed in the vicinity of the target value S25, the target value is set to the carry-in position upper part S24, and the drive elements θ and BL are controlled (steps 348 to 354). And after carrying-in position upper part S24 positioning, a rope is suspended to predetermined carrying-in position S25, and an incoming goods is hung to predetermined carrying-in position S25 (steps 355-357).
また、図６６および図６７は、搬入出品を吊り上げて搬出位置へ移動させるクレーン搬入制御計算のフローチャート（ステップ３５９〜３８５、３５９Ａ、３６７Ａ、３６７Ｂ）である。まず、搬入品を巻き上げ（ステップ３６４〜３６７）、最初の目標値を搬入位置前方のＳ２３として計算する。そして、Ｓ２３近傍に駆動要素，θ，ＢLを制御する（ステップ３６９〜３７３）。そして、目標値Ｓ２３近傍に位置決め完了後、目標値を搬出位置上部Ｓ２２とし、駆動要素θ，Φ，ＢLを制御する（ステップ３７４〜３８０）。そして、搬入位置上部Ｓ２２位置決め後、所定の搬入位置Ｓ２５までロープを吊り下げ、搬入品を所定の搬入位置Ｓ２０まで巻き下げる（Ｌ０）（ステップ３８１〜３８５）。 66 and 67 are flowcharts of crane carry-in control calculations for lifting the carry-in exhibition and moving it to the carry-out position (steps 359 to 385, 359A, 367A, 367B). First, the carry-in product is rolled up (steps 364 to 367), and the first target value is calculated as S23 in front of the carry-in position. Then, the drive elements, θ, and BL are controlled in the vicinity of S23 (steps 369 to 373). Then, after completion of positioning in the vicinity of the target value S23, the target value is set as the carry-out position upper part S22, and the drive elements θ, Φ, and BL are controlled (steps 374 to 380). And after carrying-in position upper part S22 positioning, a rope is suspended to predetermined carrying-in position S25, and a carrying-in goods is unwound to predetermined carrying-in position S20 (L0) (steps 381-385).
また、図５２のカメラ通信ＰＣ１０２Ｂのフローチャートは割愛したが、カメラ通信パソコン（ＰＣ）１０２Ｂは所定のサンプリング周期毎ＩＴＶカメラ４の画像を取得し、移動クレーン１２が動作中は数msの高速サンプリングが必要な為、前回のサンプリング時のデータとつき合わせ、変化した分のデータを抽出し、通信制御部（アンテナ込み）１０５，１０５Ａを経由して、クレーン制御パソコン（ＰＣ）１０２Ｃに伝送する。また、移動クレーン１２が停止時はデータの累積誤差を低減する為に所定時間毎、全画像データを通信制御部（アンテナ込み）１０５，１０５Ａを経由して、クレーン制御パソコン（ＰＣ）１０２Ｃに伝送する。
52, the flowchart of the
実施の形態６．
ロープ１０の捩れ、風等により制御盤（搬入出品）８が吊リロープ１０を軸として、即ちＸ軸の回転がある場合、或いは、通常の搬入動作においても図４１に示したようにブーム旋回により搬入位置に移動する為、搬入位置では搬入品のＹ、或いはＺ軸が２階バルコニー９のＹ，Ｚ軸に平行とならない（図３９〜図４２では厳密に明示せず）。このように制御盤８が吊り上げ後ロープ１０等の捩れ等により回転すると、搬入位置１９Ａ，１９Ｂが狭い場合、或いは図２９の２階搬入出口５Ａが狭かったりした場合、はみだしたり、搬入口に当たったりする可能性がある。このような場合に本発明を適用する一例を図６８に示す。
The control panel (loading exhibition) 8 is caused by the twist of the
図６８では移動クレーン１２のフック１３に吊り下げられたロープ１０に平行駆動バー２４を取り付け、それを通して制御盤（搬入出品）８を吊り上げる。平行駆動バー２４の両端には大気を反力とするプロペラファン２５，２５Ａ、或いは圧縮空気等を入れたエアーボンベ等（図示せず）が取り付けられている。その他は、他の実施の形態と全く同じである。従って、本システムでは詳細は割愛するが、基準直方体２１により３次元座標基準を求め、制御盤８の一辺（Ｌｎｚ＝ｗ）１４Ａの両端の三次元座標を刻々と計算し、制御盤８の一辺（Ｌｎｚ＝ｗ）１４ＡがＹ軸、或いはＺ軸との角度偏差を求め、平行になる（偏差が０になる）ようにプロペラファン２５，２５Ａを正転、逆転させる。プロペラファン２５，２５Ａの代わりに圧縮空気等を入れた左右のエアーボンベ等の場合は、左右のエアータンクのエアーを噴出したり、停止したりしながら制御する。これらのプロペラファン２５，２５Ａの駆動モータ、或いはエアータンクのサーボ弁の開閉の電源は一般にロープ１０、ブーム１１等に沿わせクレーン側から給電される（図省略）。このような構成にすることにより本発明は更に高精度の制御が可能となる。
In FIG. 68, the
この実施の形態６によれば、移動クレーン１２のフック１３に吊り下げられたロープ１０に平行駆動バー２４を取り付け、平行駆動バー２４の両端には大気を反力とするプロペラファン２５，２５Ａを取り付けている。そこで、例えば、制御盤８がロープ１０の捻れや風によりロープ１０を軸として回転して、制御盤８のＹ軸やＺ軸が２階バルコニー９のＹ軸やＺ軸に平行とならなくなっても、プロペラファン２５，２５Ａを作動させて制御盤８のＹ軸やＺ軸を２階バルコニー９のＹ軸やＺ軸に平行に制御でき、制御盤８を搬入口に当たることなく２階バルコニー９に搬入できる。
また、この方式では制御盤（搬入出品）の空中での現在値を刻々と検出しているので、これらの現在位置から移動クレーン１２の駆動要素値Ｌ０，θ，Φ，ＢLの現在値を計算により求めることができる。このようにして、クレーン側の機構に取り付けてある駆動系の検出器ロープ長Ｌ０，旋回角θ，起伏角Φ，ブーム長ＢLの現在値検出器を省略したシステムの構築も本実施の形態のみならず、実施の形態５にても可能となる。
According to the sixth embodiment, the
In addition, in this method, the current value in the air of the control panel (delivery exhibition) is detected every moment, so the current values of the drive element values L0, θ, Φ, and BL of the moving
実施の形態７．
また、上記の図６３，６４，６５，６６，６７におけるフローチャートでは、移動クレーン１２の駆動要素Ｌ０，θ，Φ，ＢLと現在の駆動要素値Ｌ０，θ，Φ，ＢLを比較し、その偏差を求める計算をクレーン制御パソコン（ＰＣ）１０２Ｃにて実行するシステム構成について説明してあるが、この偏差の計算をクレーン駆動部１１０にて実行し、クレーン制御パソコン１０２Ｃからクレーン駆動部１１０へはＬ０，θ，Φ，ＢLの指令値のみを出力するシステム構成にすれば、前述の高速サンプリングは不必要となりクレーン制御パソコン（ＰＣ）１０２Ｃの負荷を低減させることが出来る。この方式ではＩＴＶカメラ４を単なる、デジタルカメラを利用して、駆動前に１度撮像した画像にて、移動クレーン１２の旋回中心と搬入出位置（目標値）の座標から移動クレーン１２の駆動要素Ｌ０，θ，Φ，ＢLの目標値を計算し、クレーン駆動部へ指令を与えるのみでも制御は可能である。
63, 64, 65, 66, and 67, the driving elements L0, θ, Φ, and BL of the
なお、上記各実施の形態では、既知寸法の直交３軸を持つ基準構造物と１台のＩＴＶカメラでシステムを構成しているが、それらを利用しない、例えば、谷口慶冶編、画像処理工学基礎編（共立出版、２００１年）のＰ１８１〜１８２に記載されている両眼ステレオ法によってもシステムの構成は可能である。この場合は、既知間隔、既知角度で取り付けられた２台のＩＴＶカメラで構成し、その２組のカメラ画像をパソコンで取得し、パソコンにより、２組の画像中の搬入出位置、搬入出品、クレーンの旋回平面、旋回中心等の同一物を指定することにより可能となる。 In each of the above embodiments, the system is composed of a reference structure having three orthogonal axes of known dimensions and one ITV camera. However, these systems are not used, for example, edited by Keiji Taniguchi, image processing engineering. The system can also be configured by the binocular stereo method described in P181 to 182 of the basic edition (Kyoritsu Shuppan, 2001). In this case, it is composed of two ITV cameras mounted at a known interval and a known angle, and the two sets of camera images are acquired by a personal computer. This can be done by designating the same object such as the turning plane and the turning center of the crane.
また、基準構造物、搬入制御盤等は直方体、或いは立方体等であるので、初期画像から、人間が設定しなくてもコンピュータ内部に記憶されている直方体モデル等のパターンマッチング技術、画像から直線線分抽出技術等を用いることも可能である。また、制御盤等に貼られた図１４（ａ），（ｂ）に示される画像抽出もこれらの技術により可能である。
また、本発明の説明では、ＩＴＶカメラ、或いはビデオカメラにて画像を取得して行なうように説明してあるが、レーザスキャナー等による画像取得方式でも構成可能である。
In addition, since the reference structure, the carry-in control panel, etc. are a rectangular parallelepiped or a cube, a pattern matching technique such as a rectangular parallelepiped model stored in the computer without being set by a person from the initial image, a straight line from the image It is also possible to use a fraction extraction technique or the like. Further, the image extraction shown in FIGS. 14A and 14B attached to a control panel or the like can be performed by these techniques.
In the description of the present invention, it is described that an image is acquired by an ITV camera or a video camera. However, an image acquisition method using a laser scanner or the like can be used.
また、以上の説明では、画像の取得をＩＴＶカメラ或いはビデオカメラ等を利用し、刻々と搬入出品の三次元位置を計算を行いながら行う制御方式で説明してきた。
しかし、起動時、デジタルカメラにより取得した１枚の画像を利用し、前述した手法により搬入出品、搬入出位置、移動禁止領域、移動クレーンの旋回中心位置、その他の各種クレーンの機械定数を設定、観測することにより、移動クレーンの駆動要素であるブーム旋回角度、ブーム起伏角度、ブーム伸長長さ、ロープ長等の初期値と目標値は一意に決定することができるので、搬入出品の現在位置をＩＴＶカメラ、ビデオカメラ等により刻々と観測、計算しなくても制御は可能となる。この場合は、搬入出品の吊り上げ移動時のロープ、風等による回転、揺れ、或いは各駆動要素の検出機の誤動作ミスによる移動禁止領域への侵入は観測、制御できないが、図５２のカメラ通信ＰＣ（パソコン）１０２Ｂ、クレーン制御ＰＣ（パソコン）１０２Ｃの演算速度の性能を下げることが可能となる。
In the above description, the control method has been described in which an image is acquired by using an ITV camera, a video camera, or the like while calculating the three-dimensional position of the incoming exhibition.
However, at the time of start-up, using one image acquired by the digital camera, the carry-in exhibition, the carry-in / out position, the movement prohibited area, the turning center position of the moving crane, and the other machine constants of various cranes are set by the method described above. By observing, the initial values and target values such as the boom turning angle, boom hoisting angle, boom extension length, rope length, etc., which are the driving elements of the mobile crane, can be uniquely determined. Control is possible without observing and calculating every moment with an ITV camera, video camera, or the like. In this case, it is not possible to observe and control the rotation or shaking due to the rope, wind, etc. during the lifting movement of the carry-in exhibition, or the entry into the movement prohibited area due to the malfunction of the detector of each driving element, but the camera communication PC of FIG. It is possible to reduce the performance of the calculation speed of the (personal computer) 102B and the crane control PC (personal computer) 102C.
また、図４９および図５０ではクレーン操作箱１０６は制御ケーブル１０４にてパソコン１０２，１０２Ｃと接続されているが、クレーン操作箱１０６に通信制御部１０５を内蔵するシステム（図示せず）を構築すれば、例えば２階バルコニー９からも操作は可能となる。
また、工場内の専用走行クレーン等で利用されているように、搬入出品の上部に専用の吊り上げ金具（図示せず）を付け、クレーンのフック部に専用のチャッキング装置（図示せず）をつければ、玉掛け作業等も不要となり、制御盤等の搬入出作業を１人で行うことも可能となる。
49 and 50, the
In addition, as used in dedicated traveling cranes in factories, a special lifting bracket (not shown) is attached to the upper part of the incoming listing, and a dedicated chucking device (not shown) is attached to the hook of the crane. If this is the case, a slinging operation or the like is unnecessary, and it is also possible for one person to carry in and out the control panel or the like.
この発明によれば、建物近傍の固定位置に設置された基準直方体（基準立方体）、或いは基準直方体（基準立方体）として設定した建物構造物の一部、基準線分が画像処理により抽出しやすい形状をした搬入出品そのもの、或いは搬入出品に取り付けられた基準正方形（基準長方形）または基準直線画像とを同時にＩＴＶカメラで撮像し、ＩＴＶカメラの画像を演算処理することのみにより、移動クレーンにより吊り上げられた搬入出品の現在値と指定された搬入出位置のＸＹＺ軸の三次元の偏差を容易に計測することができる。
このとき、カメラの設置精度も全く要求されないので、設置作業などが簡単であり、どんな場所であっても容易に設置することができ、移動クレーンを利用した低価格な機器の自動搬入システムを構成することができる。また、この発明によれば、搬入出品が制御盤のような直方体の場合は制御盤が風等により揺れてもカメラ画像から演算により制御盤の現在値を特定することも可能である。
また、この発明によれば、取得画像上で搬入出位置、搬入出品を設定することにより移動クレーンの駆動要素であるブーム長、ブーム旋回角、ブーム起伏角、ロープ巻上げ、下げ長の制御も可能となる。従って、移動クレーンの運転支援或いは自動運転も可能となり、機器の搬入出作業に必要な作業員の数も削減が可能となる。
According to the present invention, a reference cuboid (reference cube) installed at a fixed position in the vicinity of a building, or a part of a building structure set as a reference cuboid (reference cube), a shape in which a reference line segment can be easily extracted by image processing. It was lifted by a mobile crane only by taking the ITV camera with the imported exhibition itself, or the reference square (reference rectangle) or reference straight line image attached to the incoming exhibition, and processing the ITV camera image at the same time. It is possible to easily measure the three-dimensional deviation between the current value of the carry-in exhibition and the designated carry-in / out position on the XYZ axes.
At this time, since installation accuracy of the camera is not required at all, installation work etc. is easy, it can be installed easily at any place, and it constitutes a low-cost equipment automatic loading system using a moving crane can do. Further, according to the present invention, when the carrying-in exhibition is a rectangular parallelepiped such as a control panel, the current value of the control panel can be specified by calculation from the camera image even if the control panel is shaken by wind or the like.
In addition, according to the present invention, the boom length, boom turning angle, boom hoisting angle, rope hoisting and lowering length, which are driving elements of the moving crane, can be controlled by setting the loading / unloading position and loading / unloading display on the acquired image. It becomes. Accordingly, it is possible to provide driving assistance or automatic operation of the moving crane, and it is possible to reduce the number of workers required for equipment loading / unloading work.
この発明は、制御盤や各種機械装置等の機器を建物内の電気室、或いは機械室等に据え付ける為に移動クレーン（トラッククレーン、ラフタークレーン等）により搬入したり、或いはリプレースの為に建物内の電気室、或いは機械室等から撤去し、搬出する場合、建物の近傍にＩＴＶカメラ或いはビデオカメラ等を設置し、基準寸法とともに収得されたカメラ画像（デジタル画像）に対して、画像処理技術を応用した演算処理を施すことにより、搬入出時、機器の搬入出作業に利用する移動クレーンの運転支援、自動運転システムとして利用される。また、本発明のシステムは機器の搬入出システムのみでなく例えば、自動車道路脇等に設置されている道路監視用カメラポール、或いは堤防に設置されている河川監視用カメラポール等の設置工事支援として、監視用カメラポールを移動クレーンにより吊り上げ、所定の基礎の上部に位置決めし、ポールを基礎にボルト締めにより取り付ける場合等にも利用可能である。 In the present invention, equipment such as a control panel and various mechanical devices are carried in by a moving crane (truck crane, rough terrain crane, etc.) for installation in an electrical room or machine room in a building, or in a building for replacement. When an ITV camera or a video camera is installed in the vicinity of a building when it is removed from the electrical room or machine room, etc., and taken out, image processing technology is applied to the camera image (digital image) obtained together with the reference dimensions. By applying the applied arithmetic processing, it is used as an operation support and an automatic operation system for a moving crane used for loading / unloading equipment at the time of loading / unloading. In addition, the system of the present invention is not only a system for loading and unloading equipment, but as an installation work support for, for example, a road monitoring camera pole installed on the side of a motorway or a river monitoring camera pole installed on a bank. It can also be used when the surveillance camera pole is lifted by a moving crane, positioned on the upper part of a predetermined foundation, and attached to the foundation by bolting.
４ ＩＴＶカメラ（撮像手段）、８ 制御盤（搬入出品）、１１ ブーム、１２ 移動クレーン、２１ 基準直方体（基準構造物）、２２ ウェートバランサー、２５，２５Ａ プロペラファン、１０８ マウス、１２８，１２８Ａ ＣＰＵ（演算処理手段）、１２９，１２９Ａ ハードディスク（記憶手段）、１３０，１３０Ａ ＲＡＭ（記憶手段）、１３４，１３４Ａ モニタ（表示装置）。
4 ITV camera (imaging means), 8 control panel (carry-in exhibition), 11 boom, 12 mobile crane, 21 reference cuboid (reference structure), 22 weight balancer, 25, 25A propeller fan, 108 mouse, 128, 128A CPU ( Arithmetic processing means), 129, 129A Hard disk (storage means), 130, 130A RAM (storage means), 134, 134A Monitor (display device).
Claims (11)
上記撮像手段により取得された画像データを記憶する記憶手段と、
上記基準構造物の直交３軸とその既知寸法および上記搬入出品の既知寸法に基づいて上記画像データの２次元座標を３次元座標に変換する演算処理手段と、
上記画像データを表示する表示装置とを備え、
上記演算処理手段により変換された上記３次元座標に基づいて、上記基準構造物と上記搬入出品の既知寸法部との３次元の位置関係を求め、上記基準構造物の直交３軸を基準座標とした上記搬入出品の搬入出位置と上記搬入出品の現在位置とを上記表示装置に表示することにより、上記移動クレーンの運転支援を行うことを特徴とした機器搬入出システム。 A reference structure provided in a fixed position and having three orthogonal axes with known dimensions of at least one axis, and at least one known dimension lifted by a mobile crane having a boom turning and boom raising and lowering function; Further, an imaging that simultaneously captures an incoming exhibition in which the known dimension portion is parallel to at least one of the three orthogonal axes of the reference structure, or an incoming exhibition having a known dimension of at least two orthogonal axes lifted by the moving crane. Means,
Storage means for storing image data acquired by the imaging means;
Arithmetic processing means for converting the two-dimensional coordinates of the image data into three-dimensional coordinates based on the orthogonal three axes of the reference structure and the known dimensions thereof and the known dimensions of the carry-in exhibition;
A display device for displaying the image data,
Based on the three-dimensional coordinates converted by the arithmetic processing means, a three-dimensional positional relationship between the reference structure and the known dimension part of the carry-in exhibition is obtained, and three orthogonal axes of the reference structure are set as reference coordinates. A device loading / unloading system for supporting operation of the mobile crane by displaying the loading / unloading position of the loading / unloading and the current position of the loading / unloading on the display device.
上記撮像手段により取得された画像データを記憶する記憶手段と、
上記基準構造物の直交３軸とその既知寸法および上記搬入出品の既知寸法に基づいて上記画像データの２次元座標を３次元座標に変換する演算処理手段と、
上記画像データを表示する表示装置とを備え、
上記演算処理手段により変換された上記３次元座標に基づいて、上記基準構造物と上記搬入出品の既知寸度部との３次元の位置関係を求め、上記搬入出品の搬入出位置に対応する上記移動クレーンの駆動要素の目標値と上記搬入出品の現在位置に対応する上記移動クレーンの駆動要素の現在値とを求め、上記移動クレーンの駆動要素の目標値と現在値とを上記表示装置に表示することにより、前記移動クレーンの運転支援を行うことを特徴とした機器搬入出システム。 A reference structure provided in a fixed position and having three orthogonal axes with known dimensions of at least one axis, and at least one known dimension lifted by a mobile crane having a boom turning and boom raising and lowering function; Further, an imaging that simultaneously captures an incoming exhibition in which the known dimension portion is parallel to at least one of the three orthogonal axes of the reference structure, or an incoming exhibition having a known dimension of at least two orthogonal axes lifted by the moving crane. Means,
Storage means for storing image data acquired by the imaging means;
Arithmetic processing means for converting the two-dimensional coordinates of the image data into three-dimensional coordinates based on the orthogonal three axes of the reference structure and the known dimensions thereof and the known dimensions of the carry-in exhibition;
A display device for displaying the image data,
Based on the three-dimensional coordinates converted by the arithmetic processing means, a three-dimensional positional relationship between the reference structure and the known dimension part of the carry-in exhibition is obtained, and the corresponding to the carry-in / out position of the carry-in exhibition The target value of the driving element of the moving crane and the current value of the driving element of the moving crane corresponding to the current position of the carrying-in exhibition are obtained, and the target value and the current value of the driving element of the moving crane are displayed on the display device. By carrying out, the equipment carrying-in / out system characterized by performing the driving | operation assistance of the said mobile crane.
上記撮像手段により取得された画像データを記憶する記憶手段と、
上記基準構造物の直交３軸とその既知寸法および上記搬入出品の既知寸法に基づいて上記画像データの２次元座標を３次元座標に変換する演算処理手段と、
上記画像データを表示する表示装置とを備え、
上記演算処理手段により変換された上記３次元座標に基づいて、上記基準構造物と上記搬入出品の既知寸度部との３次元の位置関係を求め、上記搬入出品の搬入出位置に対応する上記移動クレーンの駆動要素の目標値と上記搬入出品の現在位置に対応する上記移動クレーンの駆動要素の現在値とを求め、上記駆動要素の目標値と現在値との偏差がゼロとなるように前記移動クレーンの駆動軸の制御を行うことを特徴とした機器搬入出システム。 A reference structure provided in a fixed position and having three orthogonal axes with known dimensions of at least one axis, and at least one known dimension lifted by a mobile crane having a boom turning and boom raising and lowering function; Further, an imaging that simultaneously captures an incoming exhibition in which the known dimension portion is parallel to at least one of the three orthogonal axes of the reference structure, or an incoming exhibition having a known dimension of at least two orthogonal axes lifted by the moving crane. Means,
Storage means for storing image data acquired by the imaging means;
Arithmetic processing means for converting the two-dimensional coordinates of the image data into three-dimensional coordinates based on the orthogonal three axes of the reference structure and the known dimensions thereof and the known dimensions of the carry-in exhibition;
A display device for displaying the image data,
Based on the three-dimensional coordinates converted by the arithmetic processing means, a three-dimensional positional relationship between the reference structure and the known dimension part of the carry-in exhibition is obtained, and the corresponding to the carry-in / out position of the carry-in exhibition The target value of the driving element of the moving crane and the current value of the driving element of the moving crane corresponding to the current position of the carry-in exhibition are obtained, and the deviation between the target value of the driving element and the current value is zero. Equipment loading / unloading system that controls the drive shaft of a moving crane.
システムの起動後、所定のサンプリング時間毎に上記画像データの２次元座標から上記搬入出品の現在位置の３次元座標への変換が実行されることを特徴とした請求項１乃至請求項１０のいずれか１項に記載の機器搬入出システム。
When the system is started, conversion from the two-dimensional coordinates of the image data to the three-dimensional coordinates of the reference structure and the loading / unloading position of the carrying-in exhibition is performed, and the converted reference structure and carrying-in / out of the carrying-in exhibition are carried out. The three-dimensional coordinates of the position are stored in the storage means,
11. The system according to claim 1, wherein after the system is started, conversion from the two-dimensional coordinates of the image data to the three-dimensional coordinates of the current position of the carry-in exhibition is executed at predetermined sampling times. The equipment carry-in / out system according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005198685A JP2007015814A (en) | 2005-07-07 | 2005-07-07 | Equipment carrying-in-and-out system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005198685A JP2007015814A (en) | 2005-07-07 | 2005-07-07 | Equipment carrying-in-and-out system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007015814A true JP2007015814A (en) | 2007-01-25 |
Family
ID=37753314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005198685A Pending JP2007015814A (en) | 2005-07-07 | 2005-07-07 | Equipment carrying-in-and-out system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007015814A (en) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008114531A1 (en) * | 2007-03-22 | 2008-09-25 | Honda Motor Co., Ltd. | Position detection method and position detection device |
| JP2010190633A (en) * | 2009-02-17 | 2010-09-02 | Mitsutoyo Corp | Measurement system and interferometer |
| JP2013116774A (en) * | 2011-12-01 | 2013-06-13 | Shimizu Corp | Crane operation system |
| JP2013193825A (en) * | 2012-03-19 | 2013-09-30 | Tadano Ltd | Crane work monitoring device |
| JP2013234971A (en) * | 2012-05-11 | 2013-11-21 | Kokusai Kogyo Co Ltd | Triaxial marker measuring method, program and device |
| JP2014025748A (en) * | 2012-07-25 | 2014-02-06 | Kanazawa Univ | Dimension measuring program, dimension measuring instrument, and dimension measuring method |
| CN103663149A (en) * | 2013-12-12 | 2014-03-26 | 中联重科股份有限公司 | Crane jib tail end position detection equipment, method and system and crane |
| JP2015214409A (en) * | 2014-05-12 | 2015-12-03 | 古河ユニック株式会社 | Boom collision avoidance system for work machine |
| US9300954B2 (en) | 2012-09-21 | 2016-03-29 | Tadano Ltd. | Surrounding information-obtaining device for working vehicle |
| TWI554463B (en) * | 2014-05-28 | 2016-10-21 | 行政院原子能委員會核能研究所 | Adaptive fuzzy slide image tracking control device for 3d trolley system |
| JP6097441B1 (en) * | 2016-03-18 | 2017-03-15 | 株式会社タダノ | Crane work auxiliary device |
| CN106643661A (en) * | 2015-10-28 | 2017-05-10 | 上海振华重工电气有限公司 | Rail-mounted crane suspender pose detection system based on machine vision and method thereof |
| JP2017105627A (en) * | 2015-12-02 | 2017-06-15 | 戸田建設株式会社 | Suspended load swing control method |
| JP2018095370A (en) * | 2016-12-09 | 2018-06-21 | 株式会社タダノ | Crane |
| US20180253860A1 (en) * | 2017-03-02 | 2018-09-06 | Fanuc Corporation | Display system and display method |
| WO2019092937A1 (en) * | 2017-11-13 | 2019-05-16 | 株式会社日立産機システム | Crane system and crane control method |
| JP2020037475A (en) * | 2018-09-05 | 2020-03-12 | 前田建設工業株式会社 | Construction machine control system, construction machine control method, and program |
| JP2020066519A (en) * | 2018-10-25 | 2020-04-30 | 株式会社タダノ | Deformation amount measurement device and deformation amount measurement method |
| JP2020066520A (en) * | 2018-10-25 | 2020-04-30 | 株式会社タダノ | Crane vehicle |
| EP3560881A4 (en) * | 2016-12-27 | 2020-08-26 | Xuzhou Heavy Machinery Co., Ltd. | Operation control method and system for crane, and crane |
| CN112429647A (en) * | 2020-11-16 | 2021-03-02 | 湖南三一塔式起重机械有限公司 | Control method and control device of crane |
| JP7004786B1 (en) | 2020-10-29 | 2022-01-21 | 日本原子力防護システム株式会社 | Detection device and detection method |
| KR20220108980A (en) * | 2021-01-28 | 2022-08-04 | 주식회사 알티넷 | Crane collision prevention system with sensor and analysis method of the sensor data |
-
2005
- 2005-07-07 JP JP2005198685A patent/JP2007015814A/en active Pending
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008114531A1 (en) * | 2007-03-22 | 2008-09-25 | Honda Motor Co., Ltd. | Position detection method and position detection device |
| JP2008232950A (en) * | 2007-03-22 | 2008-10-02 | Honda Motor Co Ltd | Position detection method and position detector |
| US8295586B2 (en) | 2007-03-22 | 2012-10-23 | Honda Motor Co., Ltd. | Position detecting method and position detecting apparatus in consideration of non-pinhole characteristic of a camera |
| JP2010190633A (en) * | 2009-02-17 | 2010-09-02 | Mitsutoyo Corp | Measurement system and interferometer |
| JP2013116774A (en) * | 2011-12-01 | 2013-06-13 | Shimizu Corp | Crane operation system |
| JP2013193825A (en) * | 2012-03-19 | 2013-09-30 | Tadano Ltd | Crane work monitoring device |
| JP2013234971A (en) * | 2012-05-11 | 2013-11-21 | Kokusai Kogyo Co Ltd | Triaxial marker measuring method, program and device |
| JP2014025748A (en) * | 2012-07-25 | 2014-02-06 | Kanazawa Univ | Dimension measuring program, dimension measuring instrument, and dimension measuring method |
| US9300954B2 (en) | 2012-09-21 | 2016-03-29 | Tadano Ltd. | Surrounding information-obtaining device for working vehicle |
| EP3235773A3 (en) * | 2012-09-21 | 2017-12-06 | Tadano, Ltd. | Surrounding information-obtaining device for working vehicle |
| EP2899496A4 (en) * | 2012-09-21 | 2016-08-31 | Tadano Ltd | Periphery-information acquisition device for vehicle |
| CN103663149A (en) * | 2013-12-12 | 2014-03-26 | 中联重科股份有限公司 | Crane jib tail end position detection equipment, method and system and crane |
| JP2015214409A (en) * | 2014-05-12 | 2015-12-03 | 古河ユニック株式会社 | Boom collision avoidance system for work machine |
| TWI554463B (en) * | 2014-05-28 | 2016-10-21 | 行政院原子能委員會核能研究所 | Adaptive fuzzy slide image tracking control device for 3d trolley system |
| CN106643661A (en) * | 2015-10-28 | 2017-05-10 | 上海振华重工电气有限公司 | Rail-mounted crane suspender pose detection system based on machine vision and method thereof |
| CN106643661B (en) * | 2015-10-28 | 2019-03-08 | 上海振华重工电气有限公司 | Locomotive crane suspender pose detection system and method based on machine vision |
| JP2017105627A (en) * | 2015-12-02 | 2017-06-15 | 戸田建設株式会社 | Suspended load swing control method |
| WO2017159319A1 (en) * | 2016-03-18 | 2017-09-21 | 株式会社タダノ | Crane work assistance device |
| JP2017186164A (en) * | 2016-03-18 | 2017-10-12 | 株式会社タダノ | Crane work auxiliary apparatus |
| JP6097441B1 (en) * | 2016-03-18 | 2017-03-15 | 株式会社タダノ | Crane work auxiliary device |
| JP2018095370A (en) * | 2016-12-09 | 2018-06-21 | 株式会社タダノ | Crane |
| EP3560881A4 (en) * | 2016-12-27 | 2020-08-26 | Xuzhou Heavy Machinery Co., Ltd. | Operation control method and system for crane, and crane |
| US11603294B2 (en) | 2016-12-27 | 2023-03-14 | Xuzhou Heavy Machinery Co., Ltd | Method and system for controlling operation of crane, and crane |
| US20180253860A1 (en) * | 2017-03-02 | 2018-09-06 | Fanuc Corporation | Display system and display method |
| US10430965B2 (en) | 2017-03-02 | 2019-10-01 | Fanuc Corporation | Display system and display method |
| JP2018144271A (en) * | 2017-03-02 | 2018-09-20 | ファナック株式会社 | Display system and display method |
| JP7025896B2 (en) | 2017-11-13 | 2022-02-25 | 株式会社日立産機システム | Crane system and crane control method |
| JP2019089612A (en) * | 2017-11-13 | 2019-06-13 | 株式会社日立産機システム | Crane system and control method of crane |
| WO2019092937A1 (en) * | 2017-11-13 | 2019-05-16 | 株式会社日立産機システム | Crane system and crane control method |
| JP2020037475A (en) * | 2018-09-05 | 2020-03-12 | 前田建設工業株式会社 | Construction machine control system, construction machine control method, and program |
| JP7126251B2 (en) | 2018-09-05 | 2022-08-26 | 前田建設工業株式会社 | CONSTRUCTION MACHINE CONTROL SYSTEM, CONSTRUCTION MACHINE CONTROL METHOD, AND PROGRAM |
| JP2020066520A (en) * | 2018-10-25 | 2020-04-30 | 株式会社タダノ | Crane vehicle |
| JP7172443B2 (en) | 2018-10-25 | 2022-11-16 | 株式会社タダノ | crane truck |
| JP7172442B2 (en) | 2018-10-25 | 2022-11-16 | 株式会社タダノ | Deformation measurement device and deformation measurement method |
| JP2020066519A (en) * | 2018-10-25 | 2020-04-30 | 株式会社タダノ | Deformation amount measurement device and deformation amount measurement method |
| JP7004786B1 (en) | 2020-10-29 | 2022-01-21 | 日本原子力防護システム株式会社 | Detection device and detection method |
| JP2022072389A (en) * | 2020-10-29 | 2022-05-17 | 日本原子力防護システム株式会社 | Detection device and detection method |
| CN112429647A (en) * | 2020-11-16 | 2021-03-02 | 湖南三一塔式起重机械有限公司 | Control method and control device of crane |
| KR20220108980A (en) * | 2021-01-28 | 2022-08-04 | 주식회사 알티넷 | Crane collision prevention system with sensor and analysis method of the sensor data |
| KR102489649B1 (en) * | 2021-01-28 | 2023-01-17 | 주식회사 알티넷 | Crane collision prevention system with sensor and analysis method of the sensor data |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2007015814A (en) | Equipment carrying-in-and-out system | |
| Fang et al. | A framework for real-time pro-active safety assistance for mobile crane lifting operations | |
| EP3235773B1 (en) | Surrounding information-obtaining device for working vehicle | |
| US9944499B2 (en) | Crane maneuvering assistance | |
| JP5488882B2 (en) | Fixed video display system | |
| WO2021132907A1 (en) | System for supervising construction of structure by using tower crane and method therefor | |
| JP6161776B1 (en) | Crane work auxiliary device | |
| JP6017691B2 (en) | Information presenting apparatus, crane system and information presenting method | |
| WO2017126368A1 (en) | Imaging support device and imaging support method | |
| JP2018095376A (en) | Crane | |
| US11530119B2 (en) | Guide information display device, crane equipped with same, and guide information display method | |
| US11981547B2 (en) | Crane | |
| US20220041411A1 (en) | Crane inspection system and crane | |
| JPH06312894A (en) | Operating device for crane | |
| Sugasawa et al. | Visualization of Dump Truck and Excavator in Bird’s-eye View by Fisheye Cameras and 3D Range Sensor | |
| EP3530607B1 (en) | Crane 3d workspace spatial techniques for crane operation in proximity of obstacles | |
| JP2021151920A (en) | Crane work management system and management unit | |
| KR20210044498A (en) | Port crane installation method | |
| KR102595161B1 (en) | A system for assisting the operator of a tower crane and a method for controlling a tower crane using the same | |
| EP4068247A1 (en) | Display device and route display program | |
| JP7291103B2 (en) | Construction support system | |
| JP2001234555A (en) | Position measuring system for excavating machine | |
| JP2022166669A (en) | Installation position display system of outrigger device and work vehicle | |
| JP2023147852A (en) | Crane work support system, arrangement part, program, and flying body takeoff method | |
| JP2023147734A (en) | Display device and display program |