JP2023020316A - Intelligent detection method and system for manipulator insertion position for temperature measurement sampling based on image - Google Patents
Intelligent detection method and system for manipulator insertion position for temperature measurement sampling based on image Download PDFInfo
- Publication number
- JP2023020316A JP2023020316A JP2021125611A JP2021125611A JP2023020316A JP 2023020316 A JP2023020316 A JP 2023020316A JP 2021125611 A JP2021125611 A JP 2021125611A JP 2021125611 A JP2021125611 A JP 2021125611A JP 2023020316 A JP2023020316 A JP 2023020316A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- steel slag
- gun
- insertion position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003780 insertion Methods 0.000 title claims abstract description 184
- 230000037431 insertion Effects 0.000 title claims abstract description 184
- 238000005070 sampling Methods 0.000 title claims abstract description 133
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000009529 body temperature measurement Methods 0.000 title claims abstract description 31
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 258
- 239000010959 steel Substances 0.000 claims abstract description 258
- 239000002893 slag Substances 0.000 claims abstract description 170
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 24
- 238000001816 cooling Methods 0.000 claims description 7
- 239000000428 dust Substances 0.000 claims description 5
- 238000009413 insulation Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 5
- 230000001681 protective effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 14
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 10
- 238000009628 steelmaking Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 229910052742 iron Inorganic materials 0.000 description 5
- 238000003723 Smelting Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005272 metallurgy Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011112 process operation Methods 0.000 description 2
- 238000004861 thermometry Methods 0.000 description 2
- 241000237858 Gastropoda Species 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Treatment Of Steel In Its Molten State (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、冶金分野に関し、特に、画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法及びシステムに関する。 The present invention relates to the field of metallurgy, and more particularly to a method and system for intelligent detection of gun insertion position for image-based thermometric sampling.
冶金分野において、製鋼の自動化レベルを高め、機器全体の操作の安全性と信頼性を高めることができ、溶鋼の品質の確保、製鋼の労働生産率の向上に重要な役割を果たす。製鋼工程のプロセス操作の根拠として、製鋼出鋼後の溶鋼の測温及びサンプリングが必要であり、従来技術ではロボットアームによる測温サンプリングが一般的に採用されている。 In the metallurgical field, it can increase the automation level of steelmaking, improve the safety and reliability of the operation of the whole equipment, and play an important role in ensuring the quality of molten steel and improving the labor productivity of steelmaking. As a basis for process operation in the steelmaking process, temperature measurement and sampling of molten steel after steelmaking is required, and temperature measurement sampling by a robot arm is generally adopted in the prior art.
しかし、取鍋精錬炉の測温サンプリングの実際の応用において、ロボットアームは、通常固定経路を使用して作業を完了するが、製鋼作業プロセスの流れにおいて、溶鋼面には通常鉄鋼スラグが存在するため、ロボットアームが固定経路を使用して測温サンプリングすると、ガン先端が鉄鋼スラグに衝突してガン先端を破損する可能性があり、測温サンプリングの要求を満たすことができないため、従来技術では、鉄鋼スラグのスリット幅に対してガン入れの位置を調整する検出方法がなく、以上のように、ガン入れ点領域内の鉄鋼スラグの分布状況を検出し、ガン入れに適合する鉄鋼スラグのスリット領域を正確に位置決めする新たな検出方法が必要である。 However, in the practical application of ladle smelting furnace temperature measurement sampling, the robot arm usually uses a fixed path to complete the work, but in the steelmaking process flow, there is usually steel slag on the molten steel surface. Therefore, if the robot arm uses a fixed path for temperature sampling, the tip of the gun may collide with the steel slag and damage the tip of the gun, which cannot meet the requirements of temperature sampling. , There is no detection method for adjusting the gun insertion position with respect to the slit width of the steel slag. New detection methods are needed to accurately locate regions.
本発明は、上記の従来技術の欠点に鑑み、画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法及びシステムを提供して、上記の技術的課題を解決する。 SUMMARY OF THE INVENTION In view of the above-mentioned shortcomings of the prior art, the present invention provides a method and system for intelligent detection of gun insertion position for image-based thermometric sampling to solve the above technical problems.
本発明にて提供される画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法は、
対象画像を取得するステップであって、前記対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うステップと、を含む。
The intelligent detection method of the gun insertion position for image-based thermometric sampling provided in the present invention includes:
obtaining a target image, wherein the target image is a molten steel surface image;
a step of acquiring slit contour information of the steel slag on the molten steel surface based on the acquired target image, wherein the contour information includes an inner contour and an outer contour of the slit of the steel slag;
obtaining a slit width of the steel slag based on the slit contour information of the steel slag;
The preset gun insertion position for temperature measurement sampling, the area of interest around the gun insertion position, and the minimum gun insertion area are matched to the obtained slit width of the steel slag, and the gun insertion position that satisfies the gun insertion conditions on the molten steel surface is determined. and C. selectively performing thermometric sampling.
好ましくは、前記対象画像の関心領域を取得し、さらに前記対象画像の関心領域の階調ヒストグラムを取得し、予め設定された階調閾値に基づいて前記鉄鋼スラグのスリット輪郭情報を取得する。 Preferably, a region of interest of the target image is obtained, a gradation histogram of the region of interest of the target image is obtained, and slit contour information of the steel slag is obtained based on a preset gradation threshold.
好ましくは、前記階調閾値は、低テール値と高テール値とを含み、
領域内の階調値が前記低テール値より低い場合、当該領域内が鉄鋼スラグ領域であると判定し、
領域内の階調値が前記高テール値より高い場合、当該領域内が溶鋼領域であると判定し、
領域内の階調値が低テール値と高テール値との間にある場合、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定する。
Preferably, the tone threshold includes a low tail value and a high tail value,
If the gradation value in the region is lower than the low tail value, determine that the region is a steel slag region,
if the gradation value in the region is higher than the high tail value, it is determined that the region is a molten steel region;
If the gradation value in the region is between the low tail value and the high tail value, it is determined that the region is a molten steel surface and a mixed region of iron and steel slag and molten steel.
好ましくは、前記混合領域動的閾値を２値化処理し、２値化画像を取得し、前記２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する。 Preferably, the mixed region dynamic threshold is binarized to obtain a binarized image, and the steel slag region and the steel slag slit region in the mixed region are obtained based on the binarized image.
好ましくは、前記鉄鋼スラグのスリット領域のエッジ探しを行い、前記鉄鋼スラグのスリット領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅とする。 Preferably, the edges of the slit area of the steel slag are searched, the inner contour and the outer contour of the slit area of the steel slag are obtained, and the distance between the inner contour and the outer contour is taken as the slit width of the steel slag.
好ましくは、予め設定された測温サンプリングのためのガン入れ位置、ガン入れ位置の周囲の関心領域、及びガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、最近点ストラテジ及び／又は最適点ストラテジを含む予め設定されたガン入れストラテジに従って測温サンプリングを行い、ここで、
最近点ストラテジは、予め設定された測温サンプリングのためのガン入れ位置の周辺の近傍領域内でガン入れを満たす最小領域をガン入れ位置として選択するステップを含み、
最適点ストラテジは、予め設定された測温サンプリングのためのガン入れ位置の関心領域内で最も鉄鋼スラグのスリット幅が大きい領域をガン入れ位置として選択するステップを含む。
Preferably, a preset gun insertion position for temperature measurement sampling, a region of interest around the gun insertion position, and a minimum region of gun insertion are adjusted to the obtained slit width of the steel slag, and the closest point strategy and/or or temperature sampling according to a preset gun entry strategy, including an optimum point strategy, where:
The closest point strategy includes selecting as the gun entry position the smallest area that fills the gun entry within a neighborhood region around the gun entry position for a preset thermometric sampling;
The optimal point strategy involves selecting the region of greatest steel slag slit width as the gun entry location within the region of interest of the gun entry location for preset temperature sampling.
好ましくは、前記予め設定されたガン入れストラテジは、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてガン入れ位置を決定し、測温サンプリングを行うステップをさらに含む。 Preferably, the preset gun insertion strategy further comprises the step of determining the gun insertion position using the optimum point strategy and performing temperature sampling if the closest point strategy fails to find a position that satisfies the conditions. include.
本発明にてさらに提供される画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムは、
対象画像を取得するための画像取得モジュールであって、前記対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得する、画像処理モジュールと、
予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む。
Further provided in the present invention is an intelligent detection system of gun insertion position for image-based temperature sampling, comprising:
an image acquisition module for acquiring a target image, wherein the target image is a molten steel surface image;
An image processing module for acquiring slit contour information of steel slag on a molten steel surface based on the acquired target image, wherein the contour information includes an inner contour and an outer contour of the steel slag slit, an image processing module for obtaining the slit width of the steel slag based on the slit contour information;
The preset gun insertion position for temperature measurement sampling, the area of interest around the gun insertion position, and the minimum gun insertion area are matched to the obtained slit width of the steel slag, and the gun insertion position that satisfies the gun insertion conditions on the molten steel surface is determined. a temperature sampling module for selectively performing temperature sampling.
好ましくは、画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備える画像取得防護モジュールをさらに含む。 Preferably, it further includes an image acquisition protection module comprising a cooling unit for reducing the operating environment temperature of the image acquisition system and a protective cover for thermal insulation, radiation protection and dust protection.
好ましくは、取付けモジュールと、ガン入れ位置の検出が失敗した場合に警告を発するための警告モジュールをさらに含み、前記取付けモジュールは、取付けブラケットと測温サンプリングロボットアームとを含み、前記画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定される。 Preferably, further comprising a mounting module and a warning module for issuing a warning if detection of the gun insertion position fails, said mounting module comprising a mounting bracket and a thermometric sampling robot arm, and said image acquisition module comprising , is fixed to the end of travel of the temperature sampling robot arm via the mounting bracket.
本発明の有益な効果は、本発明における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法及びシステムは、取鍋の溶鋼面上の鉄鋼スラグの分布状況を画像で検出し、予め設定されたガン入れ領域内の全ての鉄鋼スラグのスリット幅を算出し、予め設定されたストラテジでガン入れ条件を満たすガン入れ位置を選択し、測温サンプリングを行うことで、ロボットアームの測温サンプリング作業のインテリジェント化のレベルを向上させる。 The beneficial effect of the present invention is that the intelligent gun insertion position detection method and system for image-based thermometric sampling in the present invention can image-detect the distribution of steel slag on the molten steel surface of the ladle, and preliminarily Calculate the slit width of all steel slag in the set gun insertion area, select the gun insertion position that satisfies the gun insertion conditions with a preset strategy, and perform temperature measurement sampling to measure the temperature of the robot arm. Improve the level of intelligence in sampling work.
以下、特定の具体的な例を通じて本発明の実施形態を説明し、当業者は、本明細書に開示された内容から本発明の他の利点及び効果を容易に理解することができる。本発明は、また、他の異なる具体的な実施形態を通じて実施又は適用することができ、本明細書の様々な詳細も、本発明の精神から逸脱することなく、異なる視点及び適用に基づいて修正又は変更することができる。なお、競合がない場合、以下の実施例及び実施例における特徴を互いに組み合わせることができる。 Hereinafter, embodiments of the present invention will be described through specific specific examples, and those skilled in the art can easily understand other advantages and effects of the present invention from the contents disclosed herein. The invention is also capable of being practiced or applied through other different specific embodiments, and various details of this specification can be modified based on different viewpoints and applications without departing from the spirit of the invention. or can be changed. It should be noted that in the absence of conflict, the following examples and features in the examples can be combined with each other.
なお、以下の実施例で提供される図は、本発明の基本的な考え方を概略的に示すだけであり、図は、実際の実装時のコンポーネントの数、形状、サイズに応じて描画されることなく、本発明に関連するコンポーネントのみを示す。実際の実装中に、各コンポーネントのタイプ、数量、及び比率は、自由に変更され、また、コンポーネントのレイアウトタイプもより複雑になる場合がある。 It should be noted that the drawings provided in the following examples only schematically show the basic idea of the present invention, and the drawings are drawn according to the number, shape and size of the components when actually mounted. only components relevant to the present invention are shown. During actual implementation, the type, quantity and ratio of each component may be changed freely, and the layout type of components may also become more complicated.
以下の説明では、本発明の実施例のより完全な解釈を提供するために、多数の詳細が検討されるが、これらの具体的な詳細なしに本発明の実施例が実施され得ることは当業者に明らかであり、他の実施例では、本発明の実施例を不明瞭にしないように、周知の構造及び機器が詳細な形ではなくブロック図の形で示される。 Although numerous details are discussed in the following description to provide a more complete interpretation of the embodiments of the invention, it is understood that embodiments of the invention may be practiced without these specific details. In other instances, which will be apparent to those skilled in the art and in order not to obscure the embodiments of the invention, well-known structures and devices are shown in block diagram form, rather than in detail.
図１に示すように、本実施例における画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法は、
対象画像を取得するステップであって、対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うステップと、を含む。
As shown in FIG. 1, the intelligent detection method of the gun insertion position for image-based temperature sampling in this embodiment includes:
obtaining a target image, wherein the target image is a molten steel surface image;
a step of acquiring slit contour information of the steel slag on the molten steel surface based on the acquired target image, wherein the contour information includes an inner contour and an outer contour of the slit of the steel slag;
obtaining a slit width of the steel slag based on the slit contour information of the steel slag;
The preset gun insertion position for temperature measurement sampling, the area of interest around the gun insertion position, and the minimum gun insertion area are matched to the obtained slit width of the steel slag, and the gun insertion position that satisfies the gun insertion conditions on the molten steel surface is determined. and C. selectively performing thermometric sampling.
本実施例では、画像中の測温サンプリングガン入れ位置、ガン入れ位置周辺の関心領域及びガン入れの最小領域を予め設定し、ガン入れの最小領域をガン入れ条件とし、本実施例におけるガン入れ条件は、ガン先端が溶鋼面に挿入された時に、ガン先端が接触する溶鋼面周辺の近傍領域に鉄鋼スラグがないことを指し、好ましくは、本実施例における最小領域の大きさはデフォルト値で１０Ｘ１０ｃｍである。 In this embodiment, the temperature measurement sampling position in the image, the area of interest around the gun insertion position, and the minimum area for gun insertion are set in advance, and the minimum area for gun insertion is set as the gun insertion condition. The condition is that when the gun tip is inserted into the molten steel surface, there is no steel slag in the vicinity of the molten steel surface with which the gun tip contacts. 10×10 cm.
好ましくは、本実施例では、ロボットアームを６軸ロボットアームとし、画像取得システムを６軸ロボットアームの先端フランジに取付け、ロボットアームを取鍋検出位置まで教示して動作の初期経路を記録し、取鍋検出位置までロボットアームを移動させたときに新しい取鍋の溶鋼面の画像を検出対象画像として取得するようにしてもよい。 Preferably, in this embodiment, the robot arm is a 6-axis robot arm, the image acquisition system is attached to the tip flange of the 6-axis robot arm, the robot arm is taught to the ladle detection position, and the initial path of operation is recorded, An image of the molten steel surface of the new ladle may be acquired as the detection target image when the robot arm is moved to the ladle detection position.
本実施例では、溶鋼面画像の関心領域に対して動的閾値の２値化演算を行い、さらに２値化画像に対して連通域検出を行い、検出結果に対して領域に基づく形態学的処理を行うことで、鉄鋼スラグのスリット内側輪郭と外側輪郭を取得し、鉄鋼スラグのスリット内側輪郭と外側輪郭との間の距離が、鉄鋼スラグのスリット幅である。最近点ストラテジを採用するとは、ガン入れ位置の周辺領域内のある点がガン入れを満たす最小領域を算出することである。このストラテジは、溶鋼面が僅かに変化する状態で、以下のガン入れ条件を満たすことを可能にし、最適点ストラテジを採用するとは、ガン入れ位置の周辺の関心領域で最も鉄鋼スラグのスリット幅の広い領域をガン入れ位置として算出することであり、溶鋼面が動的に変化しても、当該領域の鉄鋼スラグのスリット幅は、依然としてガン入れ条件を満たす。 In this embodiment, a dynamic threshold binarization operation is performed on the region of interest of the molten steel surface image. By performing the processing, the slit inner contour and the outer contour of the steel slag are obtained, and the distance between the slit inner contour and the outer contour of the steel slag is the slit width of the steel slag. Adopting the closest point strategy means calculating the minimum area where a point in the area surrounding the gun insertion position satisfies the gun insertion. This strategy makes it possible to satisfy the following gun entry conditions with slight changes in the molten steel surface, and adopting the optimum point strategy means that the steel slag slit width is the largest in the region of interest around the gun entry position. A wide area is calculated as the gun-filling position, and even if the molten steel surface changes dynamically, the slit width of the steel slag in this area still satisfies the gun-filling condition.
本実施例では、溶鋼面画像の関心領域に対して階調ヒストグラム分析を行い、階調ヒストグラム統計の低テール部と高テール部に制限し、領域内の階調値がいずれも低テール部値より低い場合、領域内がいずれも鉄鋼スラグであるとみなして当該領域内を鉄鋼スラグ領域と判定し、領域内の階調値がいずれも高テール部値より高い場合、領域内がいずれも溶鋼であるとみなして当該領域内を溶鋼領域と判定する。領域内の階調値が低テール値と高テール値との間にある場合、鉄鋼スラグと溶鋼ともあるが、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定し、階調ヒストグラムにより当該領域動的閾値を２値化演算し、２値化画像を取得する。２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する。また、２値化画像に対して連通域分析を行い、得られた黒い領域が鉄鋼スラグ領域であり、得られた白い領域が鉄鋼スラグのスリット領域である。鉄鋼スラグのスリット領域のエッジ探しを行うことで、当該領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅と定義する。 In this embodiment, the grayscale histogram analysis is performed on the region of interest of the molten steel surface image. If it is lower than that, the area is considered to be iron and steel slag, and the area is determined to be an iron and steel slag area. , and the inside of the area is determined to be the molten steel area. If the gradation value in the region is between the low tail value and the high tail value, it is determined that the region is a molten steel surface and a mixed region of steel slag and molten steel, although there are both iron and steel slag and molten steel. , a binarized image is obtained by performing a binarization operation on the dynamic threshold value of the area according to the gradation histogram. A steel slag region and a steel slag slit region in the mixed region are obtained based on the binarized image. Further, a continuous region analysis is performed on the binarized image, and the obtained black region is the steel slag region, and the obtained white region is the steel slag slit region. By searching for edges in the steel slag slit region, the inner contour and outer contour of the region are obtained, and the distance between the inner contour and the outer contour is defined as the steel slag slit width.
本実施例では、ガン入れストラテジは予め定められ、最近点ストラテジ又は最適点ストラテジの１つを選択して測温サンプリングを行ってもよく、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてガン入れ位置を決定し、測温サンプリングを行うことを含んでもよい。最近点ストラテジを用いてガン入れの位置の周辺の近傍領域にある全ての鉄鋼スラグのスリット幅を探すと、ガン入れの最小領域条件を満たす位置を算出し、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いて関心領域内の全ての条件を満たす鉄鋼スラグのスリット領域の位置及び当該位置に対応する鉄鋼スラグのスリット幅を探し、その値が最大となる位置がガン入れの最適点となる。 In this embodiment, the gun insertion strategy is predetermined, and one of the closest point strategy or the optimum point strategy may be selected for temperature sampling, and the closest point strategy is used to find a position that satisfies the conditions and fails. If so, it may include determining the gun insertion position using the optimum point strategy and taking thermometric sampling. Using the closest point strategy to find the slit widths of all the steel slags in the neighborhood area around the position of gun entry, calculate the position that satisfies the minimum area of gun entry and use the nearest point strategy to satisfy the condition. If the position search fails, the optimum point strategy is used to find the position of the steel slag slit region that satisfies all the conditions in the region of interest and the steel slag slit width corresponding to that position, and the position where the value is maximized is the optimum point for gun insertion.
応じて、本実施例にてさらに提供される画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システムは、
対象画像を取得するための画像取得モジュールであって、対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得し、予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせるための画像処理モジュールと、
溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む。
Accordingly, the intelligent detection system of gun insertion position for image-based thermometric sampling further provided in this embodiment includes:
an image acquisition module for acquiring a target image, the target image being a molten steel surface image;
An image processing module for acquiring slit contour information of steel slag on a molten steel surface based on an acquired target image, wherein the contour information includes an inner contour and an outer contour of a slit of steel slag, and a slit contour of steel slag To obtain the steel slag slit width based on the information, and match the preset temperature measurement sampling gun insertion position, the area of interest around the gun insertion position, and the minimum area of the gun insertion to the obtained steel slag slit width. an image processing module of
a temperature sampling module for selecting a gun entry position that satisfies gun entry conditions on the molten steel surface and performing temperature measurement sampling.
本実施例では、画像取得モジュールは、工業用カメラ、工業用レンズ、フィルターなどの画像取得部材を含んでもよく、画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定され、対象画像を取得する。画像処理モジュールは技術的に制御装置を用いて、取得した対象画像に基づいて、溶鋼面における鉄鋼スラグのスリット輪郭情報を取得し、輪郭情報は鉄鋼スラグのスリットの内側輪郭と外側輪郭を含み、鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得する。測温サンプリングモジュールはアクチュエータとして、測温サンプリングのフロントエンド動作を行う。 In this embodiment, the image acquisition module may include image acquisition components such as industrial cameras, industrial lenses, filters, etc., and the image acquisition module is fixed to the end of travel of the thermometric sampling robot arm via said mounting bracket. to acquire the target image. The image processing module technically uses the control device to obtain the slit contour information of the steel slag on the molten steel surface according to the obtained target image, the contour information includes the inner contour and the outer contour of the steel slag slit, The slit width of the steel slag is acquired based on the slit contour information of the steel slag. The temperature sampling module acts as an actuator and performs the front-end operation of temperature sampling.
本実施例では、画像取得防護モジュール、取付けモジュール及び警告モジュールをさらに含み、ここで、画像取得防護モジュールは、画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備え、冷却ユニットは、空冷方式で画像取得モジュールの動作環境温度を下げることができ、取付けモジュールは、取付けブラケットと、測温サンプリングロボットアームとを含み、警告モジュールは、音響光学警告灯などの警告作用を有するデバイスを用いて、ガン入れの位置の検出が失敗した場合に警告を発することができる。 The embodiment further includes an image acquisition protection module, a mounting module and a warning module, wherein the image acquisition protection module comprises a cooling unit for reducing the operating environment temperature of the image acquisition system and a thermal insulation, radiation protection and dust protection. the cooling unit can air-cool the operating environment temperature of the image acquisition module; the mounting module includes a mounting bracket and a temperature sampling robot arm; the warning module includes an acoustic A warning device, such as an optical warning light, can be used to warn if detection of the gun pocket position fails.
本実施例では、画像取得モジュールと画像処理モジュールとの間のデータ伝送のための通信モジュールをさらに含み、通信モジュールは、例えばＴＣＰ／ＩＰネットワークプロトコルを通じて有線通信モジュールを用いて通信することができ、好ましくは、通信モジュールは、測温サンプリングロボットの末端に取り付けることができ、ロボットが検出位置に移動した後、画像取得モジュールが取得した画像を画像処理モジュールに伝送して検出し、検出結果をロボットに送信する。 The embodiment further includes a communication module for data transmission between the image acquisition module and the image processing module, wherein the communication module can communicate using a wired communication module, for example, through TCP/IP network protocol; Preferably, the communication module can be installed at the end of the temperature sampling robot, after the robot moves to the detection position, the image acquired by the image acquisition module is transmitted to the image processing module for detection, and the detection result is sent to the robot. Send to
本実施例では、システム制御フローは、以下のステップを含み、
Ｓ１１では、システムが測温サンプリング命令を受信した後、測温サンプリング検出位置にロボットアームを動かすように制御し、
Ｓ１２では、ロボットアームが検出位置に動かされると、信号が画像処理モジュールにフィードバックされ、画像処理モジュールが画像取得モジュールをトリガーして、取鍋の溶鋼面画像を対象画像として取得し、
Ｓ１３では、画像処理モジュールに最近点及び／又は最適点のストラテジを予め設定し、それぞれ２つのストラテジの異なる優先順位を設定し、優先順位に従って高から低へ測温サンプリングモジュールで実行する。
In this example, the system control flow includes the following steps:
In S11, after the system receives the temperature sampling command, control the robot arm to move to the temperature sampling detection position;
In S12, when the robot arm is moved to the detection position, a signal is fed back to the image processing module, and the image processing module triggers the image acquisition module to acquire the molten steel surface image of the ladle as the target image;
In S13, preset the nearest point and/or the best point strategy in the image processing module, set different priorities for the two strategies respectively, and execute them in the thermometry sampling module from high to low according to the priority.
本実施例では、ガン入れ位置周辺の関心領域と、画像中の測温サンプリングのためのガン入れ位置と、ガン入れの最小領域を予め設定し、図３に示すように、ガン入れの最小領域をガン入れ条件とし、ガン入れ条件は、ガン先端が溶鋼面に挿入された時に、ガン先端が接触する溶鋼面周辺の近傍領域に鉄鋼スラグがないことである。 In this embodiment, the region of interest around the gun insertion position, the gun insertion position for temperature measurement sampling in the image, and the minimum gun insertion region are set in advance, and as shown in FIG. is the condition for gun entry, and the condition for gun entry is that there is no steel slag in the vicinity of the molten steel surface with which the tip of the gun contacts when the tip of the gun is inserted into the surface of molten steel.
本実施例では、溶鋼面画像の関心領域に対して階調ヒストグラム分析を行い、階調ヒストグラム統計の低テール部と高テール部に制限し、領域内の階調値がいずれも低テール部値１より低い場合、領域内がいずれも鉄鋼スラグであるとみなし、領域内の階調値がいずれも高テール部値３より高い場合、領域内がいずれも溶鋼であるとみなす。領域内の階調値が低テール値と高テール値との間にある場合、溶鋼面において鉄鋼スラグと溶鋼ともあり、階調ヒストグラムにより当該領域動的閾値を２値化演算し、動的閾値２を用いて２値化画像を取得する。本実施例では、２値化画像に対して連通域分析を行い、得られた黒い領域が鉄鋼スラグ領域であり、得られた白い領域が鉄鋼スラグのスリット領域であり、図４に示される。 In this embodiment, the grayscale histogram analysis is performed on the region of interest of the molten steel surface image. If it is lower than 1, everything in the region is considered to be steel slag, and if all the tone values in the region are higher than the high tail value of 3, it is considered to be molten steel. If the gradation value in the region is between the low tail value and the high tail value, there are both iron and steel slag and molten steel on the molten steel surface, and the dynamic threshold value of the region is binarized according to the gradation histogram, and the dynamic threshold value is 2 is used to acquire a binarized image. In this example, a continuous area analysis is performed on the binarized image, the obtained black area is the steel slag area, and the obtained white area is the steel slag slit area, as shown in FIG.
本実施例では、鉄鋼スラグのスリット領域のエッジ探しを行うことで、当該領域の内側輪郭と外側輪郭を取得し、図５に示すように、ピクチャーの白黒の色彩に限定され、実用上、例えば、赤い輪郭を鉄鋼スラグの外側輪郭とし、青い輪郭を鉄鋼スラグの内側輪郭とし、内側輪郭と外側輪郭との間の距離、すなわち鉄鋼スラグのスリット幅を定義するなど、異なる色彩で区別することができる。 In this embodiment, the edges of the slit area of the steel slag are searched to obtain the inner and outer contours of the area. As shown in FIG. , the red contour is the outer contour of the steel slag, the blue contour is the inner contour of the steel slag, and the distance between the inner contour and the outer contour defines the slit width of the steel slag. can.
具体的には、まず鉄鋼スラグのスリットの点を探すことが必要であり、探し方法は以下のとおりであり、
図６に示すように、Ａ点は測定対象点、６１は関心領域、６２は外側輪郭、６３及び６４は内側輪郭である。ガン入れ位置の周辺の関心領域において、測定対象点Ａを選択し、測定対象点Ａと外側輪郭（６２）及び内側輪郭（６３及び６４）との関係を判断することで、測定対象点Ａが鉄鋼スラグのスロット内にあるか否かを決定する。判断基準は、測定対象点Ａが外側輪郭（６２）の内側にあり、内側輪郭（６３及び６４）の外側にある場合、測定対象点Ａは鉄鋼スラグのスリット内の点であることである。外側輪郭（６２）と内側輪郭（６３及び６４）からの、鉄鋼スラグのスリット内の測定対象点Ａの最小距離が、測定対象点の鉄鋼スラグのスリット幅として算出される。
Specifically, it is necessary to first find the slit point of the steel slag, and the search method is as follows,
As shown in FIG. 6, point A is a point to be measured, 61 is a region of interest, 62 is an outer contour, and 63 and 64 are inner contours. By selecting the measurement target point A in the region of interest around the gun insertion position and determining the relationship between the measurement target point A and the outer contour (62) and the inner contours (63 and 64), the measurement target point A is Determine if it is in the slot of the steel slag. The criterion is that if the point A to be measured is inside the outer contour (62) and outside the inner contours (63 and 64) then the point A to be measured is a point in the steel slag slit. The minimum distance of the measurement target point A in the steel slag slit from the outer contour (62) and the inner contour (63 and 64) is calculated as the steel slag slit width at the measurement target point.
本実施例では、図７に示すように、ガン入れ位置の周辺の近傍領域内の全ての鉄鋼スラグのスリット幅を最近点ストラテジで探し、ガン入れ最小領域条件を満たす位置を算出し、丸印は予め設定されたガン入れ位置とし、ガン入れ位置の周辺の近傍領域の大きさは予め設定される。ガン入れ位置の周辺の近傍領域内の各鉄鋼スラグのスリット内に属する点と内外側輪郭との最小距離を算出し、各点の距離を比較して全ての距離の最大値を求め、当該最大値がクロスマークで示すように最小のガン入れ領域よりも大きい場合は、予め設定されたガン入れ領域の周辺の近傍領域内に最近点ストラテジを満たすガン入れ点があることを示す。 In this embodiment, as shown in FIG. 7, the slit widths of all the steel slag in the neighboring area around the gun insertion position are searched by the closest point strategy, the position satisfying the gun insertion minimum area condition is calculated, and marked with a circle. is a preset gun insertion position, and the size of the vicinity area around the gun insertion position is preset. Calculate the minimum distance between the point belonging to the slit of each steel slag in the vicinity area around the gun insertion position and the inner and outer contours, compare the distances of each point to obtain the maximum value of all distances, and calculate the maximum If the value is greater than the minimum gunning region as indicated by cross marks, it indicates that there is a gunning point within the neighborhood region around the preset gunning region that satisfies the closest point strategy.
本実施例では、最適ストラテジでガン入れ位置の関心領域内の全ての鉄鋼スラグのスリット幅を探し、ガン入れの最小領域条件を満たす位置を算出する方法は、最近点ストラテジと同じであるが、最近点ストラテジではガン入れ位置の周辺の近傍領域点のみを測定対象点として、最適点ストラテジではガン入れ位置の関心領域内の全ての点を測定対象点とすることが唯一の違いであり、算出結果が図８に示される。図中のクロスマークは、最適点ストラテジ算出によるガン入れ点位置である。 In this embodiment, the optimum strategy finds the slit widths of all steel slags within the region of interest for the gun insertion position, and the method for calculating the position that satisfies the minimum area condition for gun insertion is the same as the closest point strategy. The only difference is that in the closest point strategy, only the neighboring area points around the gun insertion position are the measurement target points, and in the optimal point strategy, all points within the region of interest of the gun insertion position are the measurement target points. Results are shown in FIG. The cross marks in the figure are gun insertion point positions based on optimum point strategy calculation.
２つのストラテジに基づいてインテリジェントに検出した後、ガン入れ点位置を算出し、座標をロボットアームに送信し、計算に失敗したら警告を発する。 After intelligent detection based on two strategies, it calculates the gun entry point position, sends the coordinates to the robot arm, and issues an alarm if the calculation fails.
その後、ロボットアームは新しいガン入れ点に動かし、測温サンプリング作業を行う。 The robot arm then moves to a new gun entry point and performs a temperature sampling operation.
上記の実施例は、本発明の原理及び効果を例示的に説明するだけであり、本発明を限定するために用いられるものではない。当業者であれば、本発明の精神及び範囲から逸脱することなく、上記の実施例を修正又は変更することができる。したがって、本発明に開示された精神及び技術的アイデアから逸脱することなく、当業者によって行われた全ての同等の修正又は変更は、依然として本発明の特許請求の範囲によってカバーされるべきである。 The above embodiments are merely illustrative of the principles and effects of the present invention, and are not used to limit the present invention. Those skilled in the art can modify or alter the above-described examples without departing from the spirit and scope of the invention. Therefore, all equivalent modifications or changes made by those skilled in the art without departing from the spirit and technical ideas disclosed in the present invention should still be covered by the claims of the present invention.
本発明は、冶金分野に関し、特に、画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法及びシステムに関する。 The present invention relates to the field of metallurgy, and more particularly to a method and system for intelligent detection of manipulator insertion position for image-based thermometric sampling.
冶金分野において、製鋼の自動化レベルを高め、機器全体の操作の安全性と信頼性を高めることができ、溶鋼の品質の確保、製鋼の労働生産率の向上に重要な役割を果たす。製鋼工程のプロセス操作の根拠として、製鋼出鋼後の溶鋼の測温及びサンプリングが必要であり、従来技術ではロボットアームによる測温サンプリングが一般的に採用されている。 In the metallurgical field, it can increase the automation level of steelmaking, improve the safety and reliability of the operation of the whole equipment, and play an important role in ensuring the quality of molten steel and improving the labor productivity of steelmaking. As a basis for process operation in the steelmaking process, temperature measurement and sampling of molten steel after steelmaking is required, and temperature measurement sampling by a robot arm is generally adopted in the prior art.
しかし、取鍋精錬炉の測温サンプリングの実際の応用において、ロボットアームは、通常固定経路を使用して作業を完了するが、製鋼作業プロセスの流れにおいて、溶鋼面には通常鉄鋼スラグが存在するため、ロボットアームが固定経路を使用して測温サンプリングすると、マニピュレータ先端が鉄鋼スラグに衝突してマニピュレータ先端を破損する可能性があり、測温サンプリングの要求を満たすことができないため、従来技術では、鉄鋼スラグのスリット幅に対してマニピュレータ入れの位置を調整する検出方法がなく、以上のように、マニピュレータ入れ点領域内の鉄鋼スラグの分布状況を検出し、マニピュレータ入れに適合する鉄鋼スラグのスリット領域を正確に位置決めする新たな検出方法が必要である。 However, in the practical application of ladle smelting furnace temperature measurement sampling, the robot arm usually uses a fixed path to complete the work, but in the steelmaking process flow, there is usually steel slag on the molten steel surface. Therefore, when the robot arm uses a fixed path for temperature measurement sampling, the manipulator tip may collide with the steel slag and damage the manipulator tip, which cannot meet the temperature sampling requirements. , There is no detection method for adjusting the position of the manipulator insertion with respect to the slit width of the steel slag. New detection methods are needed to accurately locate regions.
本発明は、上記の従来技術の欠点に鑑み、画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法及びシステムを提供して、上記の技術的課題を解決する。 SUMMARY OF THE INVENTION In view of the above drawbacks of the prior art, the present invention provides a method and system for intelligent detection of manipulator insertion position for image-based temperature sampling to solve the above technical problems.
本発明にて提供される画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法は、
対象画像を取得するステップであって、前記対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うステップと、を含む。
The intelligent detection method of manipulator insertion position for image-based thermometric sampling provided in the present invention includes:
obtaining a target image, wherein the target image is a molten steel surface image;
a step of acquiring slit contour information of the steel slag on the molten steel surface based on the acquired target image, wherein the contour information includes an inner contour and an outer contour of the slit of the steel slag;
obtaining a slit width of the steel slag based on the slit contour information of the steel slag;
Aligning the preset manipulator insertion position for temperature measurement sampling, the region of interest around the manipulator insertion position, and the minimum manipulator insertion region with the obtained steel slag slit width, the manipulator insertion position that satisfies the manipulator insertion conditions on the molten steel surface is determined. and C. selectively performing thermometric sampling.
好ましくは、前記対象画像の関心領域を取得し、さらに前記対象画像の関心領域の灰度画像ピクセル強度ヒストグラムを取得し、予め設定された灰度画像ピクセル強度閾値に基づいて前記鉄鋼スラグのスリット輪郭情報を取得する。 Preferably, a region of interest of the target image is obtained, and a greyscale image pixel intensity histogram of the target image region of interest is obtained, and the slit contour of the steel slag is determined based on a preset greyscale image pixel intensity threshold. Get information.
好ましくは、前記灰度画像ピクセル強度閾値は、低ピクセル強度閾値と高ピクセル強度閾値とを含み、
領域内の灰度画像ピクセル強度値が前記低ピクセル強度閾値より低い場合、当該領域内が鉄鋼スラグ領域であると判定し、
領域内の灰度画像ピクセル強度値が前記高ピクセル強度閾値より高い場合、当該領域内が溶鋼領域であると判定し、
領域内の灰度画像ピクセル強度値が低ピクセル強度閾値と高ピクセル強度閾値との間にある場合、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定する。
Preferably, said gray image pixel intensity thresholds include a low pixel intensity threshold and a high pixel intensity threshold ,
determining that the region is a steel slag region if the gray image pixel intensity value in the region is lower than the low pixel intensity threshold ;
determining that the region is a molten steel region if the gray image pixel intensity value in the region is higher than the high pixel intensity threshold ;
If the gray image pixel intensity value within the region is between the low pixel intensity threshold and the high pixel intensity threshold , then the region is determined to be a molten steel surface and a mixed region of steel slag and molten steel.
好ましくは、前記混合領域動的閾値を２値化処理し、２値化画像を取得し、前記２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する。 Preferably, the mixed region dynamic threshold is binarized to obtain a binarized image, and the steel slag region and the steel slag slit region in the mixed region are obtained based on the binarized image.
好ましくは、前記鉄鋼スラグのスリット領域のエッジ探しを行い、前記鉄鋼スラグのスリット領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅とする。 Preferably, the edges of the slit area of the steel slag are searched, the inner contour and the outer contour of the slit area of the steel slag are obtained, and the distance between the inner contour and the outer contour is taken as the slit width of the steel slag.
好ましくは、予め設定された測温サンプリングのためのマニピュレータ入れ位置、マニピュレータ入れ位置の周囲の関心領域、及びマニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、最近点ストラテジ及び／又は最適点ストラテジを含む予め設定されたマニピュレータ入れストラテジに従って測温サンプリングを行い、ここで、
最近点ストラテジは、予め設定された測温サンプリングのためのマニピュレータ入れ位置の周辺の近傍領域内でマニピュレータ入れを満たす最小領域をマニピュレータ入れ位置として選択するステップを含み、
最適点ストラテジは、予め設定された測温サンプリングのためのマニピュレータ入れ位置の関心領域内で最も鉄鋼スラグのスリット幅が大きい領域をマニピュレータ入れ位置として選択するステップを含む。
Preferably, the preset manipulator insertion position for thermometric sampling, the region of interest around the manipulator insertion position, and the minimum region of the manipulator insertion are matched to the acquired steel slag slit width, and the closest point strategy and/or or temperature sampling according to a preset manipulator insertion strategy, including an optimum point strategy, where:
The closest point strategy includes selecting as the manipulator insertion position the smallest region that satisfies the manipulator insertion within a neighborhood region around the manipulator insertion position for preset temperature sampling;
The optimum point strategy involves selecting the region of greatest steel slag slit width as the manipulator insertion position within the region of interest of the manipulator insertion positions for preset thermometric sampling.
好ましくは、前記予め設定されたマニピュレータ入れストラテジは、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてマニピュレータ入れ位置を決定し、測温サンプリングを行うステップをさらに含む。 Preferably, the preset manipulator insertion strategy further comprises determining the manipulator insertion position using the optimum point strategy and performing thermometric sampling if the closest point strategy fails to find a position that satisfies the conditions. include.
本発明にてさらに提供される画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムは、
対象画像を取得するための画像取得モジュールであって、前記対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得する、画像処理モジュールと、
予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む。
Further provided in the present invention is an intelligent detection system of manipulator insertion position for image-based temperature sampling, comprising:
an image acquisition module for acquiring a target image, wherein the target image is a molten steel surface image;
An image processing module for acquiring slit contour information of steel slag on a molten steel surface based on the acquired target image, wherein the contour information includes an inner contour and an outer contour of the steel slag slit, an image processing module for obtaining the slit width of the steel slag based on the slit contour information;
Aligning the preset manipulator insertion position for temperature measurement sampling, the region of interest around the manipulator insertion position, and the minimum manipulator insertion region with the obtained steel slag slit width, the manipulator insertion position that satisfies the manipulator insertion conditions on the molten steel surface is determined. a temperature sampling module for selectively performing temperature sampling.
好ましくは、画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備える画像取得防護モジュールをさらに含む。 Preferably, it further includes an image acquisition protection module comprising a cooling unit for reducing the operating environment temperature of the image acquisition system and a protective cover for thermal insulation, radiation protection and dust protection.
好ましくは、取付けモジュールと、マニピュレータ入れ位置の検出が失敗した場合に警告を発するための警告モジュールをさらに含み、前記取付けモジュールは、取付けブラケットと測温サンプリングロボットアームとを含み、前記画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定される。 Preferably, further comprising a mounting module and a warning module for issuing a warning if detection of manipulator insertion position fails, said mounting module comprising a mounting bracket and a thermometric sampling robot arm, and said image acquisition module comprising: , is fixed to the end of travel of the temperature sampling robot arm via the mounting bracket.
本発明の有益な効果は、本発明における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法及びシステムは、取鍋の溶鋼面上の鉄鋼スラグの分布状況を画像で検出し、予め設定されたマニピュレータ入れ領域内の全ての鉄鋼スラグのスリット幅を算出し、予め設定されたストラテジでマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択し、測温サンプリングを行うことで、ロボットアームの測温サンプリング作業のインテリジェント化のレベルを向上させる。 The beneficial effect of the present invention is that the intelligent detection method and system of the manipulator insertion position for image-based thermometric sampling in the present invention can detect the distribution of steel slag on the molten steel surface of the ladle by image and preliminarily Calculate the slit width of all steel slugs in the set manipulator insertion area, select the manipulator insertion position that satisfies the manipulator insertion conditions with a preset strategy, and perform temperature measurement sampling to measure the temperature of the robot arm. Improve the level of intelligence in sampling work.
以下、特定の具体的な例を通じて本発明の実施形態を説明し、当業者は、本明細書に開示された内容から本発明の他の利点及び効果を容易に理解することができる。本発明は、また、他の異なる具体的な実施形態を通じて実施又は適用することができ、本明細書の様々な詳細も、本発明の精神から逸脱することなく、異なる視点及び適用に基づいて修正又は変更することができる。なお、競合がない場合、以下の実施例及び実施例における特徴を互いに組み合わせることができる。 Hereinafter, embodiments of the present invention will be described through specific specific examples, and those skilled in the art can easily understand other advantages and effects of the present invention from the contents disclosed herein. The invention is also capable of being practiced or applied through other different specific embodiments, and various details of this specification can be modified based on different viewpoints and applications without departing from the spirit of the invention. or can be changed. It should be noted that in the absence of conflict, the following examples and features in the examples can be combined with each other.
なお、以下の実施例で提供される図は、本発明の基本的な考え方を概略的に示すだけであり、図は、実際の実装時のコンポーネントの数、形状、サイズに応じて描画されることなく、本発明に関連するコンポーネントのみを示す。実際の実装中に、各コンポーネントのタイプ、数量、及び比率は、自由に変更され、また、コンポーネントのレイアウトタイプもより複雑になる場合がある。 It should be noted that the drawings provided in the following examples only schematically show the basic idea of the present invention, and the drawings are drawn according to the number, shape and size of the components when actually mounted. only components relevant to the present invention are shown. During actual implementation, the type, quantity and ratio of each component may be changed freely, and the layout type of components may also become more complicated.
以下の説明では、本発明の実施例のより完全な解釈を提供するために、多数の詳細が検討されるが、これらの具体的な詳細なしに本発明の実施例が実施され得ることは当業者に明らかであり、他の実施例では、本発明の実施例を不明瞭にしないように、周知の構造及び機器が詳細な形ではなくブロック図の形で示される。 Although numerous details are discussed in the following description to provide a more complete interpretation of the embodiments of the invention, it is understood that embodiments of the invention may be practiced without these specific details. In other instances, which will be apparent to those skilled in the art and in order not to obscure the embodiments of the invention, well-known structures and devices are shown in block diagram form, rather than in detail.
図１に示すように、本実施例における画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出方法は、
対象画像を取得するステップであって、対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、
ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うステップと、を含む。
As shown in FIG. 1, the intelligent detection method of the manipulator insertion position for image-based temperature sampling in this embodiment includes:
obtaining a target image, wherein the target image is a molten steel surface image;
A step of acquiring slit contour information of the steel slag on the molten steel surface based on the acquired target image, wherein the contour information includes the inner contour and the outer contour of the steel slag slit,
a step;
obtaining a slit width of the steel slag based on the slit contour information of the steel slag;
Aligning the preset manipulator insertion position for temperature measurement sampling, the region of interest around the manipulator insertion position, and the minimum manipulator insertion region with the obtained steel slag slit width, the manipulator insertion position that satisfies the manipulator insertion conditions on the molten steel surface is determined. and C. selectively performing thermometric sampling.
本実施例では、画像中の測温サンプリングマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域及びマニピュレータ入れの最小領域を予め設定し、マニピュレータ入れの最小領域をマニピュレータ入れ条件とし、本実施例におけるマニピュレータ入れ条件は、マニピュレータ先端が溶鋼面に挿入された時に、マニピュレータ先端が接触する溶鋼面周辺の近傍領域に鉄鋼スラグがないことを指し、好ましくは、本実施例における最小領域の大きさはデフォルト値で１０Ｘ１０ｃｍである。 In this embodiment, the temperature measurement sampling manipulator insertion position in the image, the region of interest around the manipulator insertion position, and the minimum area for manipulator insertion are set in advance. The condition is that when the manipulator tip is inserted into the molten steel surface, there is no steel slag in the vicinity of the molten steel surface with which the manipulator tip contacts. 10×10 cm.
好ましくは、本実施例では、ロボットアームを６軸ロボットアームとし、画像取得システムを６軸ロボットアームの先端フランジに取付け、ロボットアームを取鍋検出位置まで教示して動作の初期経路を記録し、取鍋検出位置までロボットアームを移動させたときに新しい取鍋の溶鋼面の画像を検出対象画像として取得するようにしてもよい。 Preferably, in this embodiment, the robot arm is a 6-axis robot arm, the image acquisition system is attached to the tip flange of the 6-axis robot arm, the robot arm is taught to the ladle detection position, and the initial path of operation is recorded, An image of the molten steel surface of the new ladle may be acquired as the detection target image when the robot arm is moved to the ladle detection position.
本実施例では、溶鋼面画像の関心領域に対して動的閾値の２値化演算を行い、さらに２値化画像に対して連通域検出を行い、検出結果に対して領域に基づく形態学的処理を行うことで、鉄鋼スラグのスリット内側輪郭と外側輪郭を取得し、鉄鋼スラグのスリット内側輪郭と外側輪郭との間の距離が、鉄鋼スラグのスリット幅である。最近点ストラテジを採用するとは、マニピュレータ入れ位置の周辺領域内のある点がマニピュレータ入れを満たす最小領域を算出することである。このストラテジは、溶鋼面が僅かに変化する状態で、以下のマニピュレータ入れ条件を満たすことを可能にし、最適点ストラテジを採用するとは、マニピュレータ入れ位置の周辺の関心領域で最も鉄鋼スラグのスリット幅の広い領域をマニピュレータ入れ位置として算出することであり、溶鋼面が動的に変化しても、当該領域の鉄鋼スラグのスリット幅は、依然としてマニピュレータ入れ条件を満たす。 In this embodiment, a dynamic threshold binarization operation is performed on the region of interest of the molten steel surface image. By performing the processing, the slit inner contour and the outer contour of the steel slag are obtained, and the distance between the slit inner contour and the outer contour of the steel slag is the slit width of the steel slag. Adopting the closest point strategy means calculating the minimum area where a point in the surrounding area of the manipulator insertion position satisfies the manipulator insertion. This strategy makes it possible to satisfy the following manipulator insertion conditions with slight changes in the molten steel surface. A wide area is calculated as the manipulator insertion position, and even if the molten steel surface changes dynamically, the steel slag slit width in this area still satisfies the manipulator insertion condition.
本実施例では、溶鋼面画像の関心領域に対して灰度画像ピクセル強度ヒストグラム分析を行い、灰度画像ピクセル強度ヒストグラム統計の低ピクセル強度閾部と高ピクセル強度閾部に制限し、領域内の灰度画像ピクセル強度値がいずれも低ピクセル強度閾部値より低い場合、領域内がいずれも鉄鋼スラグであるとみなして当該領域内を鉄鋼スラグ領域と判定し、領域内の灰度画像ピクセル強度値がいずれも高ピクセル強度閾部値より高い場合、領域内がいずれも溶鋼であるとみなして当該領域内を溶鋼領域と判定する。領域内の灰度画像ピクセル強度値が低ピクセル強度閾値と高ピクセル強度閾値との間にある場合、鉄鋼スラグと溶鋼ともあるが、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定し、灰度画像ピクセル強度ヒストグラムにより当該領域動的閾値を２値化演算し、２値化画像を取得する。２値化画像に基づいて混合領域内の鉄鋼スラグ領域及び鉄鋼スラグのスリット領域を取得する。また、２値化画像に対して連通域分析を行い、得られた黒い領域が鉄鋼スラグ領域であり、得られた白い領域が鉄鋼スラグのスリット領域である。鉄鋼スラグのスリット領域のエッジ探しを行うことで、当該領域の内側輪郭と外側輪郭を取得し、内側輪郭と外側輪郭との間の距離を鉄鋼スラグのスリット幅と定義する。 In this example, the grayscale image pixel intensity histogram analysis is performed on the region of interest of the molten steel surface image, and the grayscale image pixel intensity histogram statistics are restricted to the low and high pixel intensity thresholds , and the If all of the gray image pixel intensity values are lower than the low pixel intensity threshold value, the region is considered to be steel slag, and the region is determined as a steel slag region, and the gray image pixel intensity in the region is If any value is higher than the high pixel intensity threshold value, the region is determined to be a molten steel region, assuming that the region is all molten steel. If the grayness image pixel intensity value in the region is between the low pixel intensity threshold and the high pixel intensity threshold , the region is the molten steel surface, and the steel slag and molten steel A mixed area is determined, and a binarized image is acquired by performing a binarization operation on the dynamic threshold value of the area based on the grayscale image pixel intensity histogram. A steel slag region and a steel slag slit region in the mixed region are obtained based on the binarized image. Further, a continuous region analysis is performed on the binarized image, and the obtained black region is the steel slag region, and the obtained white region is the steel slag slit region. By searching for edges in the steel slag slit region, the inner contour and outer contour of the region are obtained, and the distance between the inner contour and the outer contour is defined as the steel slag slit width.
本実施例では、マニピュレータ入れストラテジは予め定められ、最近点ストラテジ又は最適点ストラテジの１つを選択して測温サンプリングを行ってもよく、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いてマニピュレータ入れ位置を決定し、測温サンプリングを行うことを含んでもよい。最近点ストラテジを用いてマニピュレータ入れの位置の周辺の近傍領域にある全ての鉄鋼スラグのスリット幅を探すと、マニピュレータ入れの最小領域条件を満たす位置を算出し、最近点ストラテジを用いて条件を満たす位置を探し失敗した場合、最適点ストラテジを用いて関心領域内の全ての条件を満たす鉄鋼スラグのスリット領域の位置及び当該位置に対応する鉄鋼スラグのスリット幅を探し、その値が最大となる位置がマニピュレータ入れの最適点となる。 In this embodiment, the manipulator insertion strategy is predetermined, and one of the closest point strategy or the optimal point strategy may be selected for temperature sampling, and the closest point strategy is used to find a position that satisfies the conditions and fails. If so, it may include determining the manipulator insertion position using the optimum point strategy and taking thermometric sampling. Using the closest point strategy to find the slit widths of all steel slags in the neighborhood area around the manipulator insertion position, calculate the position that satisfies the minimum area of the manipulator insertion and use the closest point strategy to satisfy the condition. If the position search fails, the optimum point strategy is used to find the position of the steel slag slit region that satisfies all the conditions in the region of interest and the steel slag slit width corresponding to that position, and the position where the value is maximized is the optimum point for inserting the manipulator .
応じて、本実施例にてさらに提供される画像に基づく測温サンプリングのためのマニピュレータ入れ位置のインテリジェント検出システムは、
対象画像を取得するための画像取得モジュールであって、対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得し、予め設定された測温サンプリングのマニピュレータ入れ位置、マニピュレータ入れ位置周辺の関心領域、マニピュレータ入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせるための画像処理モジュールと、
溶鋼面でマニピュレータ入れ条件を満たすマニピュレータ入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む。
Accordingly, the intelligent detection system of manipulator insertion position for image-based thermometric sampling further provided in this embodiment includes:
an image acquisition module for acquiring a target image, the target image being a molten steel surface image;
An image processing module for acquiring slit contour information of steel slag on a molten steel surface based on an acquired target image, wherein the contour information includes an inner contour and an outer contour of a slit of steel slag, and a slit contour of steel slag To obtain the steel slag slit width based on the information, and match the preset temperature sampling manipulator insertion position, the region of interest around the manipulator insertion position, and the manipulator insertion minimum area to the obtained steel slag slit width. an image processing module of
a temperature sampling module for selecting a manipulator insertion position that satisfies the manipulator insertion condition on the molten steel surface and performing temperature measurement sampling.
本実施例では、画像取得モジュールは、工業用カメラ、工業用レンズ、フィルターなどの画像取得部材を含んでもよく、画像取得モジュールは、前記取付けブラケットを介して測温サンプリングロボットアームの移動端に固定され、対象画像を取得する。画像処理モジュールは技術的に制御装置を用いて、取得した対象画像に基づいて、溶鋼面における鉄鋼スラグのスリット輪郭情報を取得し、輪郭情報は鉄鋼スラグのスリットの内側輪郭と外側輪郭を含み、鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得する。測温サンプリングモジュールはアクチュエータとして、測温サンプリングのフロントエンド動作を行う。 In this embodiment, the image acquisition module may include image acquisition components such as industrial cameras, industrial lenses, filters, etc., and the image acquisition module is fixed to the end of travel of the thermometric sampling robot arm via said mounting bracket. to acquire the target image. The image processing module technically uses the control device to obtain the slit contour information of the steel slag on the molten steel surface according to the obtained target image, the contour information includes the inner contour and the outer contour of the steel slag slit, The slit width of the steel slag is acquired based on the slit contour information of the steel slag. The temperature sampling module acts as an actuator and performs the front-end operation of temperature sampling.
本実施例では、画像取得防護モジュール、取付けモジュール及び警告モジュールをさらに含み、ここで、画像取得防護モジュールは、画像取得システムの動作環境温度を下げるための冷却ユニットと、断熱、放射線防護、防塵のための防護カバーとを備え、冷却ユニットは、空冷方式で画像取得モジュールの動作環境温度を下げることができ、取付けモジュールは、取付けブラケットと、測温サンプリングロボットアームとを含み、警告モジュールは、音響光学警告灯などの警告作用を有するデバイスを用いて、マニピュレータ入れの位置の検出が失敗した場合に警告を発することができる。 The embodiment further includes an image acquisition protection module, a mounting module and a warning module, wherein the image acquisition protection module comprises a cooling unit for reducing the operating environment temperature of the image acquisition system and a thermal insulation, radiation protection and dust protection. the cooling unit can air-cool the operating environment temperature of the image acquisition module; the mounting module includes a mounting bracket and a temperature sampling robot arm; the warning module includes an acoustic A device with a warning effect, such as an optical warning light, can be used to warn if detection of the position of the manipulator receptacle fails.
本実施例では、画像取得モジュールと画像処理モジュールとの間のデータ伝送のための通信モジュールをさらに含み、通信モジュールは、例えばＴＣＰ／ＩＰネットワークプロトコルを通じて有線通信モジュールを用いて通信することができ、好ましくは、通信モジュールは、測温サンプリングロボットの末端に取り付けることができ、ロボットが検出位置に移動した後、画像取得モジュールが取得した画像を画像処理モジュールに伝送して検出し、検出結果をロボットに送信する。 The embodiment further includes a communication module for data transmission between the image acquisition module and the image processing module, wherein the communication module can communicate using a wired communication module, for example, through TCP/IP network protocol; Preferably, the communication module can be installed at the end of the temperature sampling robot, after the robot moves to the detection position, the image acquired by the image acquisition module is transmitted to the image processing module for detection, and the detection result is sent to the robot. Send to
本実施例では、システム制御フローは、以下のステップを含み、
Ｓ１１では、システムが測温サンプリング命令を受信した後、測温サンプリング検出位置にロボットアームを動かすように制御し、
Ｓ１２では、ロボットアームが検出位置に動かされると、信号が画像処理モジュールにフィードバックされ、画像処理モジュールが画像取得モジュールをトリガーして、取鍋の溶鋼面画像を対象画像として取得し、
Ｓ１３では、画像処理モジュールに最近点及び／又は最適点のストラテジを予め設定し、それぞれ２つのストラテジの異なる優先順位を設定し、優先順位に従って高から低へ測温サンプリングモジュールで実行する。
In this example, the system control flow includes the following steps:
In S11, after the system receives the temperature sampling command, control the robot arm to move to the temperature sampling detection position;
In S12, when the robot arm is moved to the detection position, a signal is fed back to the image processing module, and the image processing module triggers the image acquisition module to acquire the molten steel surface image of the ladle as the target image;
In S13, preset the nearest point and/or the best point strategy in the image processing module, set different priorities for the two strategies respectively, and execute them in the thermometry sampling module from high to low according to the priority.
本実施例では、マニピュレータ入れ位置周辺の関心領域と、画像中の測温サンプリングのためのマニピュレータ入れ位置と、マニピュレータ入れの最小領域を予め設定し、図３に示すように、マニピュレータ入れの最小領域をマニピュレータ入れ条件とし、マニピュレータ入れ条件は、マニピュレータ先端が溶鋼面に挿入された時に、マニピュレータ先端が接触する溶鋼面周辺の近傍領域に鉄鋼スラグがないことである。 In this embodiment, the region of interest around the manipulator insertion position, the manipulator insertion position for temperature measurement sampling in the image , and the minimum manipulator insertion region are set in advance, and as shown in FIG. is a manipulator insertion condition, and the manipulator insertion condition is that when the manipulator tip is inserted into the molten steel surface, there is no steel slag in the vicinity of the molten steel surface contacting the manipulator tip.
本実施例では、溶鋼面画像の関心領域に対して灰度画像ピクセル強度ヒストグラム分析を行い、灰度画像ピクセル強度ヒストグラム統計の低ピクセル強度閾部と高ピクセル強度閾部に制限し、領域内の灰度画像ピクセル強度値がいずれも低ピクセル強度閾部値１より低い場合、領域内がいずれも鉄鋼スラグであるとみなし、領域内の灰度画像ピクセル強度値がいずれも高ピクセル強度閾部値３より高い場合、領域内がいずれも溶鋼であるとみなす。領域内の灰度画像ピクセル強度値が低ピクセル強度閾値と高ピクセル強度閾値との間にある場合、溶鋼面において鉄鋼スラグと溶鋼ともあり、灰度画像ピクセル強度ヒストグラムにより当該領域動的閾値を２値化演算し、動的閾値２を用いて２値化画像を取得する。本実施例では、２値化画像に対して連通域分析を行い、得られた黒い領域が鉄鋼スラグ領域であり、得られた白い領域が鉄鋼スラグのスリット領域であり、図４に示される。 In this example, the grayscale image pixel intensity histogram analysis is performed on the region of interest of the molten steel surface image, and the grayscale image pixel intensity histogram statistics are restricted to the low and high pixel intensity thresholds , and the If the gray image pixel intensity values are all lower than the low pixel intensity threshold value of 1, the region is considered to be steel slag, and the gray image pixel intensity values in the region are all lower than the high pixel intensity threshold value. If it is higher than 3, then consider everything in the region to be molten steel. If the gray image pixel intensity value in the region is between the low pixel intensity threshold and the high pixel intensity threshold , then the gray image pixel intensity histogram determines the region dynamic threshold is binarized, and a dynamic threshold value of 2 is used to obtain a binarized image. In this example, a continuous area analysis is performed on the binarized image, the obtained black area is the steel slag area, and the obtained white area is the steel slag slit area, as shown in FIG.
本実施例では、鉄鋼スラグのスリット領域のエッジ探しを行うことで、当該領域の内側輪郭と外側輪郭を取得し、図５に示すように、ピクチャーの白黒の色彩に限定され、実用上、例えば、赤い輪郭を鉄鋼スラグの外側輪郭とし、青い輪郭を鉄鋼スラグの内側輪郭とし、内側輪郭と外側輪郭との間の距離、すなわち鉄鋼スラグのスリット幅を定義するなど、異なる色彩で区別することができる。 In this embodiment, the edges of the slit area of the steel slag are searched to obtain the inner and outer contours of the area. As shown in FIG. , the red contour is the outer contour of the steel slag, the blue contour is the inner contour of the steel slag, and the distance between the inner contour and the outer contour defines the slit width of the steel slag. can.
具体的には、まず鉄鋼スラグのスリットの点を探すことが必要であり、探し方法は以下のとおりであり、
図６に示すように、Ａ点は測定対象点、６１は関心領域、６２は外側輪郭、６３及び６４は内側輪郭である。マニピュレータ入れ位置の周辺の関心領域において、測定対象点Ａを選択し、測定対象点Ａと外側輪郭（６２）及び内側輪郭（６３及び６４）との関係を判断することで、測定対象点Ａが鉄鋼スラグのスロット内にあるか否かを決定する。判断基準は、測定対象点Ａが外側輪郭（６２）の内側にあり、内側輪郭（６３及び６４）の外側にある場合、測定対象点Ａは鉄鋼スラグのスリット内の点であることである。外側輪郭（６２）と内側輪郭（６３及び６４）からの、鉄鋼スラグのスリット内の測定対象点Ａの最小距離が、測定対象点の鉄鋼スラグのスリット幅として算出される。
Specifically, it is necessary to first find the slit point of the steel slag, and the search method is as follows,
As shown in FIG. 6, point A is a point to be measured, 61 is a region of interest, 62 is an outer contour, and 63 and 64 are inner contours. In the region of interest around the manipulator insertion position, the measurement target point A is selected, and by determining the relationship between the measurement target point A and the outer contour (62) and the inner contour (63 and 64), the measurement target point A is Determine if it is in the slot of the steel slag. The criterion is that if the point A to be measured is inside the outer contour (62) and outside the inner contours (63 and 64) then the point A to be measured is a point in the steel slag slit. The minimum distance of the measurement target point A in the steel slag slit from the outer contour (62) and the inner contour (63 and 64) is calculated as the steel slag slit width at the measurement target point.
本実施例では、図７に示すように、マニピュレータ入れ位置の周辺の近傍領域内の全ての鉄鋼スラグのスリット幅を最近点ストラテジで探し、マニピュレータ入れ最小領域条件を満たす位置を算出し、丸印は予め設定されたマニピュレータ入れ位置とし、マニピュレータ入れ位置の周辺の近傍領域の大きさは予め設定される。マニピュレータ入れ位置の周辺の近傍領域内の各鉄鋼スラグのスリット内に属する点と内外側輪郭との最小距離を算出し、各点の距離を比較して全ての距離の最大値を求め、当該最大値がクロスマークで示すように最小のマニピュレータ入れ領域よりも大きい場合は、予め設定されたマニピュレータ入れ領域の周辺の近傍領域内に最近点ストラテジを満たすマニピュレータ入れ点があることを示す。 In this embodiment, as shown in FIG. 7, the slit widths of all the steel slags in the neighborhood area around the manipulator insertion position are searched for by the closest point strategy, the position satisfying the manipulator insertion minimum area condition is calculated, and marked with a circle. is a preset manipulator insertion position, and the size of the neighborhood region around the manipulator insertion position is preset. Calculate the minimum distance between the point belonging to the slit of each steel slag in the neighborhood area around the manipulator insertion position and the inner and outer contours, compare the distances of each point, obtain the maximum value of all distances, If the value is greater than the minimum manipulator insertion region as indicated by cross marks, it indicates that there is a manipulator insertion point within the neighborhood region around the preset manipulator insertion region that satisfies the closest point strategy.
本実施例では、最適ストラテジでマニピュレータ入れ位置の関心領域内の全ての鉄鋼スラグのスリット幅を探し、マニピュレータ入れの最小領域条件を満たす位置を算出する方法は、最近点ストラテジと同じであるが、最近点ストラテジではマニピュレータ入れ位置の周辺の近傍領域点のみを測定対象点として、最適点ストラテジではマニピュレータ入れ位置の関心領域内の全ての点を測定対象点とすることが唯一の違いであり、算出結果が図８に示される。図中のクロスマークは、最適点ストラテジ算出によるマニピュレータ入れ点位置である。 In this embodiment, the optimum strategy finds the slit widths of all steel slags within the region of interest of the manipulator insertion position, and the method of calculating the position that satisfies the minimum area condition for manipulator insertion is the same as the closest point strategy, but The only difference is that in the closest point strategy, only the neighboring area points around the manipulator insertion position are used as measurement points, and in the optimal point strategy, all points within the region of interest of the manipulator insertion position are used as measurement points. Results are shown in FIG. The cross marks in the figure are manipulator insertion point positions based on optimum point strategy calculation.
２つのストラテジに基づいてインテリジェントに検出した後、マニピュレータ入れ点位置を算出し、座標をロボットアームに送信し、計算に失敗したら警告を発する。 After intelligent detection based on two strategies, it calculates the manipulator insertion point position, sends the coordinates to the robot arm, and issues an alert if the calculation fails.
その後、ロボットアームは新しいマニピュレータ入れ点に動かし、測温サンプリング作業を行う。 The robotic arm is then moved to a new manipulator entry point to perform the temperature sampling task.
上記の実施例は、本発明の原理及び効果を例示的に説明するだけであり、本発明を限定するために用いられるものではない。当業者であれば、本発明の精神及び範囲から逸脱することなく、上記の実施例を修正又は変更することができる。したがって、本発明に開示された精神及び技術的アイデアから逸脱することなく、当業者によって行われた全ての同等の修正又は変更は、依然として本発明の特許請求の範囲によってカバーされるべきである。 The above embodiments are merely illustrative of the principles and effects of the present invention, and are not used to limit the present invention. Those skilled in the art can modify or alter the above-described examples without departing from the spirit and scope of the invention. Therefore, all equivalent modifications or changes made by those skilled in the art without departing from the spirit and technical ideas disclosed in the present invention should still be covered by the claims of the present invention.
Claims (10)
対象画像を取得するステップであって、前記対象画像は溶鋼面画像である、ステップと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するステップであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含む、ステップと、
前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得するステップと、
予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせて、溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うステップと、を含む、
ことを特徴とする画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。 A method for intelligent detection of gun insertion position for image-based temperature sampling, comprising:
obtaining a target image, wherein the target image is a molten steel surface image;
a step of acquiring slit contour information of the steel slag on the molten steel surface based on the acquired target image, wherein the contour information includes an inner contour and an outer contour of the slit of the steel slag;
obtaining a slit width of the steel slag based on the slit contour information of the steel slag;
The preset gun insertion position for temperature measurement sampling, the area of interest around the gun insertion position, and the minimum gun insertion area are matched to the obtained slit width of the steel slag, and the gun insertion position that satisfies the gun insertion conditions on the molten steel surface is determined. selecting temperature sampling;
An intelligent detection method of gun insertion position for image-based thermometric sampling characterized by:
ことを特徴とする請求項１に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。 obtaining a region of interest of the target image, further obtaining a grayscale histogram of the region of interest of the target image, and obtaining slit contour information of the steel slag based on a preset grayscale threshold;
The intelligent detection method of gun insertion position for image-based thermometric sampling according to claim 1, characterized in that:
領域内の階調値が前記低テール値より低い場合、当該領域内が鉄鋼スラグ領域であると判定し、
領域内の階調値が前記高テール値より高い場合、当該領域内が溶鋼領域であると判定し、
領域内の階調値が低テール値と高テール値との間にある場合、当該領域内が溶鋼面であり、鉄鋼スラグと溶鋼の混合領域であると判定する、
ことを特徴とする請求項２に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。 the tone threshold includes a low tail value and a high tail value;
If the gradation value in the region is lower than the low tail value, determine that the region is a steel slag region,
if the gradation value in the region is higher than the high tail value, it is determined that the region is a molten steel region;
If the gradation value in the region is between the low tail value and the high tail value, it is determined that the region is a molten steel surface and is a mixed region of steel slag and molten steel.
The intelligent detection method of gun insertion position for image-based thermometric sampling according to claim 2, characterized in that:
ことを特徴とする請求項３に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。 binarize the mixed region dynamic threshold to obtain a binarized image, and obtain a steel slag region and a steel slag slit region in the mixed region based on the binarized image;
The intelligent detection method of gun insertion position for image-based thermometric sampling according to claim 3, characterized in that:
ことを特徴とする請求項４に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。 Find the edge of the slit region of the steel slag, obtain the inner contour and the outer contour of the slit region of the steel slag, and set the distance between the inner contour and the outer contour to the slit width of the steel slag.
The intelligent detection method of gun insertion position for image-based thermometric sampling according to claim 4, characterized in that:
最近点ストラテジは、予め設定された測温サンプリングのためのガン入れ位置の周辺の近傍領域内でガン入れを満たす最小領域をガン入れ位置として選択するステップを含み、
最適点ストラテジは、予め設定された測温サンプリングのためのガン入れ位置の関心領域内で最も鉄鋼スラグのスリット幅が大きい領域をガン入れ位置として選択するステップを含む、
ことを特徴とする請求項１に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。 A preset gun entry position for temperature measurement sampling, a region of interest around the gun entry position, and a minimum area of gun entry are adjusted to the obtained slit width of the steel slag, and the closest point strategy and/or the optimum point Temperature sampling is performed according to a pre-set gun entry strategy containing a strategy, where:
The closest point strategy includes selecting as the gun entry position the smallest area that fills the gun entry within a neighborhood region around the gun entry position for a preset thermometric sampling;
The optimum point strategy includes selecting the region of greatest steel slag slit width as the gun entry position within the region of interest of the gun entry position for preset temperature sampling,
The intelligent detection method of gun insertion position for image-based thermometric sampling according to claim 1, characterized in that:
ことを特徴とする請求項６に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出方法。 wherein the preset gun insertion strategy uses the optimum point strategy to determine the gun insertion position and temperature sampling if the closest point strategy fails to find a position that satisfies the conditions;
The intelligent detection method of gun insertion position for image-based thermometric sampling according to claim 6, characterized in that:
対象画像を取得するための画像取得モジュールであって、前記対象画像は溶鋼面画像である、画像取得モジュールと、
取得した対象画像に基づいて溶鋼面における鉄鋼スラグのスリット輪郭情報を取得するための画像処理モジュールであって、前記輪郭情報は、鉄鋼スラグのスリットの内側輪郭及び外側輪郭を含み、前記鉄鋼スラグのスリット輪郭情報に基づいて鉄鋼スラグのスリット幅を取得し、予め設定された測温サンプリングのガン入れ位置、ガン入れ位置周辺の関心領域、ガン入れの最小領域を、取得した鉄鋼スラグのスリット幅に合わせるための画像処理モジュールと、
溶鋼面でガン入れ条件を満たすガン入れ位置を選択して測温サンプリングを行うための測温サンプリングモジュールと、を含む、
ことを特徴とする画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システム。 An intelligent gun position detection system for image-based temperature sampling, comprising:
an image acquisition module for acquiring a target image, wherein the target image is a molten steel surface image;
An image processing module for acquiring slit contour information of steel slag on a molten steel surface based on the acquired target image, wherein the contour information includes an inner contour and an outer contour of the steel slag slit, The slit width of the steel slag is obtained based on the slit contour information, and the preset gun insertion position for temperature measurement sampling, the region of interest around the gun insertion position, and the minimum gun insertion region are applied to the obtained steel slag slit width. an image processing module for matching;
a temperature sampling module for selecting a gun insertion position that satisfies gun insertion conditions on the molten steel surface and performing temperature measurement sampling,
An intelligent gun insertion position detection system for image-based thermometric sampling characterized by:
ことを特徴とする請求項８に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システム。 further comprising an image acquisition protection module comprising a cooling unit for reducing the operating environment temperature of the image acquisition system and a protective cover for thermal insulation, radiation protection and dust protection;
The intelligent detection system of gun insertion position for image-based thermometric sampling according to claim 8, characterized in that:
ことを特徴とする請求項９に記載の画像に基づく測温サンプリングのためのガン入れ位置のインテリジェント検出システム。 further comprising a mounting module and a warning module for issuing a warning if detection of the gun insertion position fails, the mounting module comprising a mounting bracket and a thermometric sampling robotic arm, the image acquisition module comprising the mounting fixed to the moving end of the temperature sampling robot arm via a bracket,
The intelligent detection system of gun insertion position for image-based thermometric sampling according to claim 9, characterized in that:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021125611A JP7245877B2 (en) | 2021-07-30 | 2021-07-30 | Intelligent detection method and system of manipulator insertion position for image-based temperature sampling |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021125611A JP7245877B2 (en) | 2021-07-30 | 2021-07-30 | Intelligent detection method and system of manipulator insertion position for image-based temperature sampling |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023020316A true JP2023020316A (en) | 2023-02-09 |
| JP7245877B2 JP7245877B2 (en) | 2023-03-24 |
Family
ID=85159424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021125611A Active JP7245877B2 (en) | 2021-07-30 | 2021-07-30 | Intelligent detection method and system of manipulator insertion position for image-based temperature sampling |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7245877B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08260031A (en) * | 1995-03-27 | 1996-10-08 | Nippon Steel Corp | Sampling method for measuring temperature of molten steel in stainless steel vacuum refining |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001329310A (en) | 2000-05-22 | 2001-11-27 | Nippon Steel Corp | Device and method for easily controlling dipping depth |
| JP7003031B2 (en) | 2018-03-02 | 2022-01-20 | 株式会社神戸製鋼所 | Melting furnace monitoring device, melting furnace monitoring method, and program |
-
2021
- 2021-07-30 JP JP2021125611A patent/JP7245877B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08260031A (en) * | 1995-03-27 | 1996-10-08 | Nippon Steel Corp | Sampling method for measuring temperature of molten steel in stainless steel vacuum refining |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7245877B2 (en) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021208324A1 (en) | Image-based temperature measurement and sampling gun placing position intelligent detection method and system | |
| Zou et al. | A seam tracking system based on a laser vision sensor | |
| CN110480127B (en) | Welding seam tracking system and method based on structured light vision sensing | |
| CN110309973B (en) | Converter splash prediction method and system based on video intelligent algorithm | |
| CN109447011B (en) | Real-time monitoring method for infrared leakage of steam pipeline | |
| CN106441584A (en) | Converter roughing slag detection method based on infrared temperature measurement | |
| WO2021088247A1 (en) | Alloy analysis visual positioning method and apparatus, and alloy analysis system | |
| CN104215179A (en) | Method for dynamically measuring width of steel billet by using laser displacement sensors | |
| JP7245877B2 (en) | Intelligent detection method and system of manipulator insertion position for image-based temperature sampling | |
| CN115156742A (en) | Laser processing technological parameter real-time modification control system | |
| CN113820020A (en) | Binocular camera infrared temperature measurement method and device and computer equipment | |
| CN109976351B (en) | Fixed-point positioning system of power inspection robot | |
| CN110918973B (en) | Crystallizer thermal image abnormal region marking method based on run | |
| CN110322508B (en) | Auxiliary positioning method based on computer vision | |
| Xia et al. | Real-time seam tracking during narrow gap GMAW process based on the wide dynamic vision sensing method | |
| CN110728712A (en) | Furnace mouth positioning method and device based on machine vision, storage medium and electronic terminal | |
| CN114932292B (en) | Narrow-gap passive vision weld joint tracking method and system | |
| CN114088157A (en) | Molten steel liquid level detection method, system, equipment and medium | |
| CN111475016A (en) | Assembly process geometric parameter self-adaptive measurement system and method based on computer vision | |
| CN211553142U (en) | Temperature measurement sample is rifle position intellectual detection system down based on image | |
| CN105095897A (en) | Gradient image and similarity weight based digit identification method | |
| CN109855534B (en) | Method, system, medium and equipment for judging position of chassis handcart of switch cabinet | |
| CN111179221B (en) | Method, equipment and storage medium for detecting welding groove | |
| CN111232845A (en) | Steel coil crane automatic grabbing algorithm based on machine vision | |
| CN111583231B (en) | Method and system for detecting opening of metallurgical tank |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210730 |
|
| AA79 | Non-delivery of priority document |
Free format text: JAPANESE INTERMEDIATE CODE: A24379 Effective date: 20220105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230313 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7245877 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |