JP2018194475A - Detection method and system of bolt position - Google Patents

Detection method and system of bolt position Download PDF

Info

Publication number
JP2018194475A
JP2018194475A JP2017099316A JP2017099316A JP2018194475A JP 2018194475 A JP2018194475 A JP 2018194475A JP 2017099316 A JP2017099316 A JP 2017099316A JP 2017099316 A JP2017099316 A JP 2017099316A JP 2018194475 A JP2018194475 A JP 2018194475A
Authority
JP
Japan
Prior art keywords
area
image
bolt
center
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017099316A
Other languages
Japanese (ja)
Other versions
JP6877233B2 (en
Inventor
裕治 平林
Yuji Hirabayashi
裕治 平林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Construction Co Ltd
Shimizu Corp
Original Assignee
Shimizu Construction Co Ltd
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Construction Co Ltd, Shimizu Corp filed Critical Shimizu Construction Co Ltd
Priority to JP2017099316A priority Critical patent/JP6877233B2/en
Publication of JP2018194475A publication Critical patent/JP2018194475A/en
Application granted granted Critical
Publication of JP6877233B2 publication Critical patent/JP6877233B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Image Analysis (AREA)

Abstract

To provide a detection method and system of a bolt position that can accurately detect the bolt position.SOLUTION: The detection method is a method of detecting the position of a bolt fastened to a plate via a nut while distinguishing it from a mark put on the plate before the fastening. This method includes: a shooting step S11 of shooting the periphery of an end of the bolt including the mark; image processing steps S12 and S13 of binarizing the shot and obtained image; and determination steps S13 to S17 of calculating the area and the gravity center position of the whole binarized image during the binarization, repeating the processing of eliminating, from the area of the whole image, the area of the image of a portion separated from the calculated gravity center position by a predetermined distance or longer while changing the binarization threshold, and, when the area after the elimination satisfies a predetermined requirement, determining that the gravity center position is the center position of the bolt.SELECTED DRAWING: Figure 1

Description

本発明は、ボルト位置の検出方法およびシステムに関するものである。   The present invention relates to a bolt position detection method and system.

従来、ボルトの締付作業や締付後の検査を行うときは、ボルトの中心位置を目視で確認しながら作業を実施している（例えば、特許文献１を参照）。特にボルトの締付後の検査をするときは、ボルトとマーキングとの位置関係をチェックしている。   Conventionally, when performing bolt tightening work or inspection after tightening, the work is performed while visually confirming the center position of the bolt (see, for example, Patent Document 1). In particular, when inspecting after tightening the bolt, the positional relationship between the bolt and the marking is checked.

一方、従来のボルト位置などを検出する技術として、例えば、特許文献２〜４に記載のものが知られている。特許文献２は、撮像方向の異なる複数の画像からボルト位置を判定するものである。特許文献３は、画像濃度の基準値に対する差に応じてボルト位置を判定するものである。特許文献４は、ボルト締付後のナットの外観をカメラで撮影し、取得した画像を２値化処理等してボルト位置を判定するものである。   On the other hand, as a technique for detecting a conventional bolt position or the like, for example, those described in Patent Documents 2 to 4 are known. Patent document 2 determines a bolt position from a plurality of images having different imaging directions. Japanese Patent Application Laid-Open No. 2004-228867 determines the bolt position according to the difference between the image density and the reference value. In Patent Document 4, the appearance of a nut after bolt tightening is photographed with a camera, and the obtained image is binarized to determine the bolt position.

特開２０１４−２２８４６５号公報JP 2014-228465 A 特開平６−１２７４４４号公報JP-A-6-127444 特開平８−１４２９４７号公報JP-A-8-142947 特開２００９−２１０２７６号公報JP 2009-210276A

ところで、図５に示すように、締付後の検査はピンテール破断後なので、その外観をカメラで撮影して２値化した画像には、ピンテール破断面１とマーキング２が混在することになる。これらは合成されているため両者を区別してボルト位置３を判定するのが難しく、ボルト位置の検出精度の低下を招くおそれがあった。   By the way, as shown in FIG. 5, since the inspection after tightening is after the pintail breakage, the pintail fracture surface 1 and the marking 2 are mixed in the binarized image obtained by photographing the appearance with a camera. Since these are combined, it is difficult to determine the bolt position 3 by distinguishing both of them, and there is a possibility that the detection accuracy of the bolt position is lowered.

本発明は、上記に鑑みてなされたものであって、ボルト位置を高精度に検出することのできるボルト位置の検出方法およびシステムを提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide a bolt position detection method and system capable of detecting a bolt position with high accuracy.

上記した課題を解決し、目的を達成するために、本発明に係るボルト位置の検出方法は、プレートにナットを介して締付けたボルトの位置を、締付け前のプレートに施されたマーキングと区別して検出する方法であって、マーキングを含むボルトの端部の周囲を撮影する撮影ステップと、撮影して取得した画像を２値化処理する画像処理ステップと、２値化処理の際に、２値化処理された画像全体の面積および重心位置を算出し、算出した重心位置から所定の距離以上離れた部分の画像の面積を画像全体の面積から除外する処理を２値化の閾値を変化させながら繰り返し、除外処理後の面積が所定の要件を満たす場合に、その重心位置をボルトの中心位置と判定する判定ステップとを備えることを特徴とする。   In order to solve the above-mentioned problems and achieve the object, the bolt position detection method according to the present invention distinguishes the position of the bolt tightened to the plate via the nut from the marking applied to the plate before tightening. A method for detecting, a photographing step for photographing the periphery of an end of a bolt including a marking, an image processing step for binarizing an image obtained by photographing, and a binarization process The process of calculating the area and the center of gravity position of the entire image subjected to the binarization process, and excluding the area of the image that is a predetermined distance or more from the calculated center of gravity position from the area of the entire image while changing the binarization threshold It is characterized by comprising a determination step of repeatedly determining the center of gravity position as the center position of the bolt when the area after the exclusion process satisfies a predetermined requirement repeatedly.

また、本発明に係る他のボルト位置の検出方法は、上述した発明において、判定ステップは、２値化処理された画像全体の面積および重心位置を算出するステップと、算出した重心位置を中心とする所定の半径の円を設定するステップと、重心位置から円の半径を超えた部分の画像の面積を、算出した画像全体の面積から除外して円の内側部分の画像の面積を算出するステップと、算出した円の内側部分の画像の面積が所定の範囲にあるか否かを判定するステップとを有することを特徴とする。   Further, in another bolt position detection method according to the present invention, in the above-described invention, the determination step includes a step of calculating an area and a centroid position of the entire binarized image, and a center of the calculated centroid position. A step of setting a circle having a predetermined radius to be calculated, and a step of calculating an area of an image of an inner portion of the circle by excluding an area of an image of a portion exceeding the radius of the circle from the center of gravity position from an area of the calculated image And a step of determining whether or not the calculated area of the image of the inner portion of the circle is within a predetermined range.

また、本発明に係るボルト位置の検出システムは、プレートにナットを介して締付けたボルトの位置を、締付け前のプレートに施されたマーキングと区別して検出するシステムであって、マーキングを含むボルトの端部の周囲を撮影する撮影手段と、撮影して取得した画像を２値化処理する画像処理手段と、２値化処理の際に、２値化処理された画像全体の面積および重心位置を算出し、算出した重心位置から所定の距離以上離れた部分の画像の面積を画像全体の面積から除外する処理を２値化の閾値を変化させながら繰り返し、除外処理後の面積が所定の要件を満たす場合に、その重心位置をボルトの中心位置と判定する判定手段とを備えることを特徴とする。   The bolt position detection system according to the present invention is a system for detecting the position of a bolt fastened to a plate via a nut in distinction from the marking applied to the plate before tightening. An image capturing unit that captures the periphery of the edge, an image processing unit that performs binarization processing on an image acquired by capturing, and an area and a center of gravity position of the entire binarized image at the time of binarization processing The process of calculating and excluding the area of the image at a part more than the predetermined distance from the calculated center of gravity position from the area of the entire image is repeated while changing the binarization threshold, and the area after the exclusion process satisfies the predetermined requirement And determining means for determining that the center of gravity position is the center position of the bolt when it is satisfied.

また、本発明に係る他のボルト位置の検出システムは、上述した発明において、判定手段は、２値化処理された画像全体の面積および重心位置を算出する手段と、算出した重心位置を中心とする所定の半径の円を設定する手段と、重心位置から円の半径を超えた部分の画像の面積を、算出した画像全体の面積から除外して円の内側部分の画像の面積を算出する手段と、算出した円の内側部分の画像の面積が所定の範囲にあるか否かを判定する手段とを有することを特徴とする。   According to another bolt position detection system of the present invention, in the above-described invention, the determination unit is configured to calculate the area and the center of gravity position of the entire binarized image, and center the calculated center of gravity position. Means for setting a circle with a predetermined radius, and means for calculating the area of the image inside the circle by excluding the area of the image of the portion beyond the radius of the circle from the center of gravity position from the calculated total area of the image And means for determining whether or not the calculated image area of the inner portion of the circle is within a predetermined range.

本発明に係るボルト位置の検出方法によれば、プレートにナットを介して締付けたボルトの位置を、締付け前のプレートに施されたマーキングと区別して検出する方法であって、マーキングを含むボルトの端部の周囲を撮影する撮影ステップと、撮影して取得した画像を２値化処理する画像処理ステップと、２値化処理の際に、２値化処理された画像全体の面積および重心位置を算出し、算出した重心位置から所定の距離以上離れた部分の画像の面積を画像全体の面積から除外する処理を２値化の閾値を変化させながら繰り返し、除外処理後の面積が所定の要件を満たす場合に、その重心位置をボルトの中心位置と判定する判定ステップとを備えるので、２値化処理の際にボルト端部のピンテール破断面とマーキングの位置を適切に区別することが可能となり、ボルト位置を従来よりも高精度に検出することができるという効果を奏する。   According to the bolt position detecting method according to the present invention, the position of the bolt fastened to the plate via the nut is distinguished from the marking applied to the plate before tightening. An imaging step for imaging the periphery of the edge portion, an image processing step for binarizing the image acquired by imaging, and an area and a center of gravity position of the entire binarized image at the time of binarization processing The process of calculating and excluding the area of the image at a part more than the predetermined distance from the calculated center of gravity position from the area of the entire image is repeated while changing the binarization threshold, and the area after the exclusion process satisfies the predetermined requirement When satisfying, a determination step of determining the center of gravity position as the center position of the bolt is provided, so that the pintail fracture surface of the bolt end and the position of the marking are appropriately distinguished during the binarization process. DOO becomes possible, a bolt position than before an effect that can be detected with high accuracy.

また、本発明に係る他のボルト位置の検出方法によれば、判定ステップは、２値化処理された画像全体の面積および重心位置を算出するステップと、算出した重心位置を中心とする所定の半径の円を設定するステップと、重心位置から円の半径を超えた部分の画像の面積を、算出した画像全体の面積から除外して円の内側部分の画像の面積を算出するステップと、算出した円の内側部分の画像の面積が所定の範囲にあるか否かを判定するステップとを有するので、解析的な手法により、ピンテール破断面とマーキングの位置を適切に区別することができるという効果を奏する。   According to another bolt position detection method of the present invention, the determination step includes a step of calculating an area and a gravity center position of the entire binarized image, and a predetermined centering on the calculated gravity center position. A step of setting a circle with a radius, a step of calculating the area of the image inside the circle by excluding the area of the image of the portion beyond the radius of the circle from the center of gravity position from the calculated total area of the circle, and calculating And determining whether the image area of the inner part of the circle is within a predetermined range, so that the pintail fracture surface and the marking position can be appropriately distinguished by an analytical method. Play.

また、本発明に係るボルト位置の検出システムによれば、プレートにナットを介して締付けたボルトの位置を、締付け前のプレートに施されたマーキングと区別して検出するシステムであって、マーキングを含むボルトの端部の周囲を撮影する撮影手段と、撮影して取得した画像を２値化処理する画像処理手段と、２値化処理の際に、２値化処理された画像全体の面積および重心位置を算出し、算出した重心位置から所定の距離以上離れた部分の画像の面積を画像全体の面積から除外する処理を２値化の閾値を変化させながら繰り返し、除外処理後の面積が所定の要件を満たす場合に、その重心位置をボルトの中心位置と判定する判定手段とを備えるので、２値化処理の際にボルト端部のピンテール破断面とマーキングの位置を適切に区別することが可能となり、ボルト位置を従来よりも高精度に検出することができるという効果を奏する。   The bolt position detection system according to the present invention is a system for detecting the position of a bolt fastened to a plate via a nut separately from the marking applied to the plate before tightening, and includes the marking. Imaging means for imaging the periphery of the end of the bolt, image processing means for binarizing the image acquired by imaging, and the area and the center of gravity of the entire binarized image at the time of binarization processing The process of calculating the position and excluding the area of the image at a part more than a predetermined distance from the calculated center of gravity position from the area of the entire image is repeated while changing the binarization threshold, and the area after the exclusion process is a predetermined value. When satisfying the requirements, it is provided with determination means for determining the center of gravity position as the center position of the bolt, so that the pintail fracture surface and the marking position of the bolt end are appropriately distinguished in the binarization process. It becomes possible, a bolt position than before an effect that can be detected with high accuracy.

また、本発明に係る他のボルト位置の検出システムによれば、判定手段は、２値化処理された画像全体の面積および重心位置を算出する手段と、算出した重心位置を中心とする所定の半径の円を設定する手段と、重心位置から円の半径を超えた部分の画像の面積を、算出した画像全体の面積から除外して円の内側部分の画像の面積を算出する手段と、算出した円の内側部分の画像の面積が所定の範囲にあるか否かを判定する手段とを有するので、解析的な手法により、ピンテール破断面とマーキングの位置を適切に区別することができるという効果を奏する。   According to another bolt position detection system of the present invention, the determination means includes a means for calculating the area and the center of gravity position of the entire binarized image, and a predetermined center around the calculated center of gravity position. Means for setting a circle with a radius, means for calculating the area of the image inside the circle by excluding the area of the image beyond the radius of the circle from the center of gravity position from the calculated area of the whole image, and calculation Since it has a means for determining whether the area of the image of the inner part of the circle is within a predetermined range, the effect that the pintail fracture surface and the position of the marking can be appropriately distinguished by an analytical method Play.

図１は、本発明に係るボルト位置の検出方法およびシステムの実施の形態を示す概略フローチャート図である。FIG. 1 is a schematic flowchart showing an embodiment of a bolt position detection method and system according to the present invention. 図２は、２値化の閾値の増加に伴って、検出される画像の面積が変化する様子を示す図である。FIG. 2 is a diagram showing how the area of the detected image changes as the binarization threshold increases. 図３は、２値化部分の面積と形状による適合度の判定フローチャート図である。FIG. 3 is a flowchart for determining the degree of fitness based on the area and shape of the binarized portion. 図４は、設定半径を超えた２値化部分の面積の削除に関する説明図である。FIG. 4 is an explanatory diagram regarding deletion of the area of the binarized portion exceeding the set radius. 図５は、２値化処理によって検出される画像の一例を示す図である。FIG. 5 is a diagram illustrating an example of an image detected by the binarization process.

以下に、本発明に係るボルト位置の検出方法およびシステムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。   Embodiments of a bolt position detection method and system according to the present invention will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.

（ボルト位置の検出方法）
まず、本発明に係るボルト位置の検出方法の実施の形態について説明する。 (Bolt position detection method)
First, an embodiment of a bolt position detection method according to the present invention will be described.

本発明に係るボルト位置の検出方法は、プレートにナットを介して締付けたボルトの位置を、締付け前のプレートに施されたマーキングと区別して高精度に検出する方法である。   The bolt position detecting method according to the present invention is a method for detecting the position of a bolt fastened to a plate via a nut with high accuracy by distinguishing it from a marking applied to the plate before fastening.

［全体の処理フロー］
図１は、本発明の全体的な概略フローチャートである。この図に示すように、まず、マーキングを含むボルトの端部の周囲を撮影し、ボルト中心を含む画像を取得する（ステップＳ１１：撮影ステップ）。 [Overall process flow]
FIG. 1 is an overall schematic flowchart of the present invention. As shown in this figure, first, the periphery of the end of the bolt including the marking is photographed to obtain an image including the bolt center (step S11: photographing step).

次に、２値化の閾値を初期化するとともに、適合回数を初期化する（ステップＳ１２）。ここで、適合回数は、後述のステップＳ１４、Ｓ１６で使用するパラメータである。また、２値化の閾値が例えば１から１００までの１００段階の値の場合には、閾値の初期値を１としてもよい。図２に、２値化の閾値の変化に応じて検出部分が変化している様子を示す。マーキングを含めたボルト端部周辺がプレート等の背景から分離して検出されている。図２（１）は２値化の閾値を初期化、（２）、（３）は２値化の閾値を増加、（４）は２値化の閾値が最大の場合である。この図２には、図４や図５と同じような２値化検出部分の形状が含まれる。   Next, the threshold value for binarization is initialized and the number of adaptations is initialized (step S12). Here, the number of times of adaptation is a parameter used in later-described steps S14 and S16. In addition, when the binarization threshold value is a value in 100 steps from 1 to 100, for example, the initial value of the threshold value may be 1. FIG. 2 shows a state in which the detection portion changes according to the change in the binarization threshold. The periphery of the bolt end including the marking is detected separately from the background of the plate or the like. 2 (1) initializes the threshold for binarization, (2) and (3) increase the threshold for binarization, and (4) shows the case where the threshold for binarization is the maximum. This FIG. 2 includes the shape of the binarization detection portion similar to that of FIG. 4 and FIG.

次に、初期値の閾値を用いて、取得した画像に対する２値化処理を行い、この２値化処理によって検出される画像の面積と形状が、所定の最適な範囲にあるか否かの判定を行う（ステップＳ１３：画像処理ステップ、判定ステップ）。最適な範囲にあるか否かの判定は、図３に示すように、あらかじめ設定した所定の適合度合格条件を満たすか否かによって判定するが（ステップＳ２６、Ｓ２７）、その具体的な処理内容は後述する。   Next, binarization processing is performed on the acquired image using the threshold value of the initial value, and it is determined whether or not the area and shape of the image detected by the binarization processing are within a predetermined optimum range. (Step S13: image processing step, determination step). As shown in FIG. 3, the determination as to whether or not it is in the optimum range is made according to whether or not a predetermined degree of conformity pass condition is satisfied (steps S26 and S27). Will be described later.

この判定の結果、適合度合格条件を満たすと判定された場合には（ステップＳ１３でＹｅｓ）、適合回数を１増やして（ステップＳ１４）、処理をステップＳ１５に進める。一方、適合度合格条件を満たさないと判定された場合には（ステップＳ１３でＮｏ）、ステップＳ１４を飛ばして処理をステップＳ１５に進める。   As a result of this determination, if it is determined that the conformity pass condition is satisfied (Yes in step S13), the number of conformances is increased by 1 (step S14), and the process proceeds to step S15. On the other hand, when it is determined that the fitness pass condition is not satisfied (No in step S13), step S14 is skipped and the process proceeds to step S15.

ステップＳ１５においては、２値化の閾値が最大か否かについて判定を行う。この結果、２値化の閾値が最大でない場合には（ステップＳ１５でＮｏ）、２値化の閾値を増加させて（ステップＳ１８）、ステップＳ１３に戻り処理を続ける。   In step S15, it is determined whether the binarization threshold is maximum. As a result, when the threshold for binarization is not the maximum (No in step S15), the threshold for binarization is increased (step S18), and the process returns to step S13 to continue the processing.

一方、２値化の閾値が最大である場合には（ステップＳ１５でＹｅｓ）、適合回数が所定の基準回数以上か否かについて判定を行う（ステップＳ１６）。この結果、基準回数以上である場合には（ステップＳ１６でＹｅｓ）、重心位置をボルト中心位置と判定して（ステップＳ１７）、処理を終了する。すなわち、後述のステップＳ２６（図３を参照）の適合度合格条件を満たした回数が基準回数以上（例えば１０回以上）の場合に、重心位置をボルト中心位置と判定する。逆に、基準回数以上でない場合には（ステップＳ１６でＮｏ）、ステップＳ１７を飛ばして処理を終了する。   On the other hand, if the binarization threshold is the maximum (Yes in step S15), it is determined whether the number of adaptations is equal to or greater than a predetermined reference number (step S16). As a result, if it is equal to or greater than the reference number (Yes in step S16), the center of gravity position is determined as the bolt center position (step S17), and the process is terminated. That is, the center of gravity position is determined to be the bolt center position when the number of times that the fitness pass condition in step S26 (see FIG. 3) described later is satisfied is the reference number or more (for example, 10 times or more). On the other hand, if it is not greater than the reference number (No in step S16), step S17 is skipped and the process is terminated.

［２値化部分の面積と形状による適合度の判定フロー］
次に、上記のステップＳ１３（画像処理ステップ、判定ステップ）の具体的な判定内容について説明する。 [Fitness judgment flow based on the area and shape of the binarized part]
Next, the specific determination content of said step S13 (image processing step, determination step) is demonstrated.

図３は、上記のステップＳ１３における判定フローチャートである。図４は、２値化により検出された想定ボルト位置Ｐの周りの画像部分を示している。これらの図に示すように、まず、２値化により検出した画像部分Ｓの全体の面積を算出する（ステップＳ２１）。次に、図３に示すように、算出した画像部分Ｓの面積が、あらかじめ設定した面積Ａ以下であるか否かを判定する（ステップＳ２２）。この結果、Ａ以下であると判定された場合には（ステップＳ２２でＹｅｓ）、以降のステップＳ２３〜Ｓ２７の処理を飛ばして、処理を終了する。一方、Ａ以下でないと判定された場合には（ステップＳ２２でＮｏ）、処理をステップＳ２３に進める。   FIG. 3 is a determination flowchart in step S13. FIG. 4 shows an image portion around the assumed bolt position P detected by binarization. As shown in these drawings, first, the entire area of the image portion S detected by binarization is calculated (step S21). Next, as shown in FIG. 3, it is determined whether or not the calculated area of the image portion S is equal to or less than a preset area A (step S22). As a result, when it is determined that it is A or less (Yes in step S22), the processes in subsequent steps S23 to S27 are skipped, and the process is terminated. On the other hand, if it is determined that it is not A or less (No in step S22), the process proceeds to step S23.

図３および図４に示すように、ステップＳ２３では、画像部分Ｓの重心位置Ｇを算出する処理を行う。次に、算出した重心位置Ｇを中心とする半径Ｒの円を設定する。そして、重心位置Ｇから、２値化により検出した画像部分の外周線までの距離が半径Ｒ以上であるか否かを判定する（ステップＳ２４）。この半径Ｒは、例えば想定しているボルト半径の１．３倍〜１．７倍程度の値に設定することが望ましい。この結果、半径Ｒ以上であると判定された場合には（ステップＳ２４でＹｅｓ）、この半径Ｒを超えた画像部分Ｔの面積を削除して、削除した後の面積を画像部分Ｓの全体の面積として更新し（ステップＳ２５）、処理をステップＳ２６に進める。更新後の面積は、円の内側部分にある画像の面積となる。一方、半径Ｒ以上でないと判定された場合には（ステップＳ２４でＮｏ）、ステップＳ２５を飛ばして処理をステップＳ２６に進める。なお、図４の例では、２値化により検出した画像部分の外周線Ｃ１のうち、重心位置Ｇからの距離が半径Ｒ以上となるのは外周線Ｃ２であり、この外周線Ｃ２と円とで囲まれた右側の画像部分Ｔの面積が削除されることになる。   As shown in FIGS. 3 and 4, in step S23, a process of calculating the gravity center position G of the image portion S is performed. Next, a circle with a radius R centered on the calculated center of gravity position G is set. Then, it is determined whether or not the distance from the center of gravity position G to the outer peripheral line of the image portion detected by binarization is equal to or greater than the radius R (step S24). The radius R is desirably set to a value of about 1.3 to 1.7 times the assumed bolt radius, for example. As a result, if it is determined that the radius R is equal to or greater than the radius R (Yes in step S24), the area of the image portion T exceeding the radius R is deleted, and the area after the deletion is the entire image portion S. The area is updated (step S25), and the process proceeds to step S26. The area after the update is the area of the image in the inner part of the circle. On the other hand, if it is determined that the radius is not greater than or equal to radius R (No in step S24), step S25 is skipped and the process proceeds to step S26. In the example of FIG. 4, among the outer peripheral line C1 of the image portion detected by binarization, the distance from the center of gravity G is equal to or greater than the radius R is the outer peripheral line C2, and this outer peripheral line C2 and the circle The area of the right image portion T surrounded by is deleted.

ステップＳ２５で削除した２値化の画像部分Ｔはマーキングした部分であることが多く、残った２値化の画像部分は想定ボルト位置Ｐとより一致してくる。ステップＳ２３〜Ｓ２５の処理を複数回繰り返すことにより、残った２値化部分は想定ボルト位置Ｐとさらに一致してボルト中心位置の検出精度が上がる。   The binarized image portion T deleted in step S25 is often a marked portion, and the remaining binarized image portion more closely matches the assumed bolt position P. By repeating the processes of steps S23 to S25 a plurality of times, the remaining binarized portion further matches the assumed bolt position P, and the bolt center position detection accuracy is increased.

ステップＳ２６では、２値化により検出した画像部分の面積Ｘが、あらかじめ設定した面積Ａと面積Ｂの間にあるか否かを判定する。より具体的には、Ａ＜Ｘ＜Ｂの関係（適合度合格条件）を満たすか否かを判定する。この結果、関係を満たす場合には（ステップＳ２６でＹｅｓ）、適合度合格と判定して（ステップＳ２７）、処理を終了する。処理を終了した後は、図１のステップＳ１４に進める。一方、関係を満たさない場合には（ステップＳ２６でＮｏ）、ステップＳ２３に戻って処理を進める。   In step S26, it is determined whether or not the area X of the image portion detected by binarization is between a preset area A and area B. More specifically, it is determined whether or not a relationship of A <X <B (satisfaction condition) is satisfied. As a result, if the relationship is satisfied (Yes in step S26), it is determined that the fitness is acceptable (step S27), and the process is terminated. After the process is completed, the process proceeds to step S14 in FIG. On the other hand, when the relationship is not satisfied (No in step S26), the process returns to step S23 and proceeds.

なお、上記のＡとしては、例えば想定ボルト面積の０．５〜０．９の範囲の値、Ｂは１．５〜２．５の範囲の値とすることが望ましい。   In addition, as said A, it is desirable to set it as the value of the range of 0.5-0.9 of an assumption volt | bolt area, for example, and B is the value of the range of 1.5-2.5.

このように、本実施の形態では、重心位置Ｇから所定の距離（半径Ｒ）以上離れた画像部分Ｔの面積を画像部分Ｓ全体の面積から除外する処理を、２値化の閾値を変化させながら繰り返す。そして、除外処理後の面積が適合度合格条件（所定の要件）を満たす場合に、その重心位置Ｇをボルトの中心位置と判定する。   As described above, in the present embodiment, the process of excluding the area of the image portion T that is a predetermined distance (radius R) from the center of gravity position G from the area of the entire image portion S is performed by changing the binarization threshold. Repeat while. When the area after the exclusion process satisfies the conformity pass condition (predetermined requirement), the center of gravity position G is determined as the center position of the bolt.

このため、本実施の形態によれば、２値化処理の際に、解析的な手法を用いてボルト端部のピンテール破断面とマーキングの位置を適切に区別することが可能となり、ボルト中心位置を従来よりも高精度に検出することができる。   For this reason, according to the present embodiment, it is possible to appropriately distinguish the pin tail fracture surface and the marking position of the bolt end using an analytical method during the binarization process, and the bolt center position Can be detected with higher accuracy than in the past.

また、上記の一連の処理はコンピュータを用いれば短時間で処理可能である。したがって、ボルト周囲の画像を撮影してから短時間で複数のボルト中心位置を高精度に検出することができる。また、ボルト位置検出に関する専門知識がなくても本実施の形態を適用すれば、画像を撮像するだけでボルト位置の検出を容易に行える。   Further, the above series of processing can be performed in a short time by using a computer. Therefore, a plurality of bolt center positions can be detected with high accuracy in a short time after an image around the bolt is taken. Moreover, if this embodiment is applied even if there is no specialized knowledge about bolt position detection, it is possible to easily detect the bolt position only by capturing an image.

（ボルト位置の検出システム）
次に、本発明に係るボルト位置の検出システムの実施の形態について説明する。 (Bolt position detection system)
Next, an embodiment of a bolt position detection system according to the present invention will be described.

本実施の形態に係るボルト位置の検出システムは、上記のボルト位置の検出方法をシステムとして具現化したものである。より具体的には、本実施の形態に係るボルト位置の検出システムは、図示しないカメラなどの撮影手段と、コンピュータプログラム、データベース、メモリなどのハードウェアを用いて構成される画像処理手段と、判定手段とを備える。これら撮影手段による撮影、画像処理手段による画像処理、判定手段による判定処理は、それぞれ上記のボルト位置の検出方法における撮影ステップ、画像処理ステップ、判定ステップの処理に相当する。   The bolt position detection system according to the present embodiment is an implementation of the bolt position detection method described above as a system. More specifically, the bolt position detection system according to the present embodiment includes an imaging unit such as a camera (not shown), an image processing unit configured using hardware such as a computer program, a database, and a memory, and a determination. Means. The photographing by the photographing means, the image processing by the image processing means, and the determination processing by the determination means correspond to the photographing step, the image processing step, and the determination step in the bolt position detection method, respectively.

したがって、上記のように構成したボルト位置の検出システムによれば、上記のボルト位置の検出方法と同様、２値化処理の際に、解析的な手法を用いてボルト端部のピンテール破断面とマーキングの位置を適切に区別することが可能となり、ボルト中心位置を従来よりも高精度に検出することができる。   Therefore, according to the bolt position detection system configured as described above, as in the case of the bolt position detection method described above, the pintail fracture surface of the bolt end portion is analyzed using an analytical method during the binarization process. The marking position can be appropriately distinguished, and the bolt center position can be detected with higher accuracy than in the past.

以上説明したように、本発明に係るボルト位置の検出方法によれば、プレートにナットを介して締付けたボルトの位置を、締付け前のプレートに施されたマーキングと区別して検出する方法であって、マーキングを含むボルトの端部の周囲を撮影する撮影ステップと、撮影して取得した画像を２値化処理する画像処理ステップと、２値化処理の際に、２値化処理された画像全体の面積および重心位置を算出し、算出した重心位置から所定の距離以上離れた部分の画像の面積を画像全体の面積から除外する処理を２値化の閾値を変化させながら繰り返し、除外処理後の面積が所定の要件を満たす場合に、その重心位置をボルトの中心位置と判定する判定ステップとを備えるので、２値化処理の際にボルト端部のピンテール破断面とマーキングの位置を適切に区別することが可能となり、ボルト位置を従来よりも高精度に検出することができる。   As described above, according to the bolt position detection method according to the present invention, the position of the bolt tightened to the plate via the nut is detected separately from the marking applied to the plate before tightening. A photographing step for photographing the periphery of the end of the bolt including the marking, an image processing step for binarizing the image obtained by photographing, and the entire image binarized during the binarization processing The area and the center of gravity position of the image are calculated, and the process of excluding the area of the image at a part more than the predetermined distance from the calculated center of gravity position from the area of the entire image is repeated while changing the binarization threshold, A determination step of determining the center of gravity of the bolt as the center of the bolt when the area satisfies a predetermined requirement, so that the pintail fracture surface of the bolt end and the marking It is possible to suitably distinguish the location, the bolt position can be detected more accurately than the conventional.

また、本発明に係る他のボルト位置の検出方法によれば、判定ステップは、２値化処理された画像全体の面積および重心位置を算出するステップと、算出した重心位置を中心とする所定の半径の円を設定するステップと、重心位置から円の半径を超えた部分の画像の面積を、算出した画像全体の面積から除外して円の内側部分の画像の面積を算出するステップと、算出した円の内側部分の画像の面積が所定の範囲にあるか否かを判定するステップとを有するので、解析的な手法により、ピンテール破断面とマーキングの位置を適切に区別することができる。   According to another bolt position detection method of the present invention, the determination step includes a step of calculating an area and a gravity center position of the entire binarized image, and a predetermined centering on the calculated gravity center position. A step of setting a circle with a radius, a step of calculating the area of the image inside the circle by excluding the area of the image of the portion beyond the radius of the circle from the center of gravity position from the calculated total area of the circle, and calculating And determining whether or not the area of the image of the inner portion of the circle is within a predetermined range, the pintail fracture surface and the position of the marking can be appropriately distinguished by an analytical method.

また、本発明に係るボルト位置の検出システムによれば、プレートにナットを介して締付けたボルトの位置を、締付け前のプレートに施されたマーキングと区別して検出するシステムであって、マーキングを含むボルトの端部の周囲を撮影する撮影手段と、撮影して取得した画像を２値化処理する画像処理手段と、２値化処理の際に、２値化処理された画像全体の面積および重心位置を算出し、算出した重心位置から所定の距離以上離れた部分の画像の面積を画像全体の面積から除外する処理を２値化の閾値を変化させながら繰り返し、除外処理後の面積が所定の要件を満たす場合に、その重心位置をボルトの中心位置と判定する判定手段とを備えるので、２値化処理の際にボルト端部のピンテール破断面とマーキングの位置を適切に区別することが可能となり、ボルト位置を従来よりも高精度に検出することができる。   The bolt position detection system according to the present invention is a system for detecting the position of a bolt fastened to a plate via a nut separately from the marking applied to the plate before tightening, and includes the marking. Imaging means for imaging the periphery of the end of the bolt, image processing means for binarizing the image acquired by imaging, and the area and the center of gravity of the entire binarized image at the time of binarization processing The process of calculating the position and excluding the area of the image at a part more than a predetermined distance from the calculated center of gravity position from the area of the entire image is repeated while changing the binarization threshold, and the area after the exclusion process is a predetermined value. When satisfying the requirements, it is provided with determination means for determining the center of gravity position as the center position of the bolt, so that the pintail fracture surface and the marking position of the bolt end are appropriately distinguished in the binarization process. It becomes possible, a bolt position can be detected more accurately than the conventional.

また、本発明に係る他のボルト位置の検出システムによれば、判定手段は、２値化処理された画像全体の面積および重心位置を算出する手段と、算出した重心位置を中心とする所定の半径の円を設定する手段と、重心位置から円の半径を超えた部分の画像の面積を、算出した画像全体の面積から除外して円の内側部分の画像の面積を算出する手段と、算出した円の内側部分の画像の面積が所定の範囲にあるか否かを判定する手段とを有するので、解析的な手法により、ピンテール破断面とマーキングの位置を適切に区別することができる。   According to another bolt position detection system of the present invention, the determination means includes a means for calculating the area and the center of gravity position of the entire binarized image, and a predetermined center around the calculated center of gravity position. Means for setting a circle with a radius, means for calculating the area of the image inside the circle by excluding the area of the image beyond the radius of the circle from the center of gravity position from the calculated area of the whole image, and calculation Means for determining whether or not the area of the image of the inner portion of the circle is within a predetermined range, the pintail fracture surface and the position of the marking can be appropriately distinguished by an analytical method.

以上のように、本発明に係るボルト位置の検出方法およびシステムは、高力ボルトなどのボルトの締付後の締付状態の検査に有用であり、特に、締付後のボルトの中心位置を高精度に検出するのに適している。   As described above, the bolt position detection method and system according to the present invention are useful for inspecting a tightening state after tightening a bolt such as a high-strength bolt, and in particular, determine the center position of the bolt after tightening. Suitable for detecting with high accuracy.

Ｃ１，Ｃ２ 外周線
Ｇ 重心位置
Ｐ 想定ボルト位置
Ｒ 半径
Ｓ 画像部分
Ｔ 除外する画像部分
C1, C2 Peripheral line G Center of gravity position P Assumed bolt position R Radius S Image part T Image part to be excluded

Claims (4)

プレートにナットを介して締付けたボルトの位置を、締付け前のプレートに施されたマーキングと区別して検出する方法であって、
マーキングを含むボルトの端部の周囲を撮影する撮影ステップと、
撮影して取得した画像を２値化処理する画像処理ステップと、
２値化処理の際に、２値化処理された画像全体の面積および重心位置を算出し、算出した重心位置から所定の距離以上離れた部分の画像の面積を画像全体の面積から除外する処理を２値化の閾値を変化させながら繰り返し、除外処理後の面積が所定の要件を満たす場合に、その重心位置をボルトの中心位置と判定する判定ステップとを備えることを特徴とするボルト位置の検出方法。 A method of detecting the position of a bolt tightened to a plate via a nut in distinction from the marking applied to the plate before tightening,
A shooting step for shooting around the end of the bolt including the marking;
An image processing step for binarizing an image obtained by photographing;
In the binarization process, the area and the centroid position of the entire binarized image are calculated, and the area of the image that is a predetermined distance or more away from the calculated centroid position is excluded from the entire image area And a determination step of determining the center of gravity position as the center position of the bolt when the area after the exclusion process satisfies a predetermined requirement while changing the binarization threshold. Detection method. 判定ステップは、２値化処理された画像全体の面積および重心位置を算出するステップと、算出した重心位置を中心とする所定の半径の円を設定するステップと、重心位置から円の半径を超えた部分の画像の面積を、算出した画像全体の面積から除外して円の内側部分の画像の面積を算出するステップと、算出した円の内側部分の画像の面積が所定の範囲にあるか否かを判定するステップとを有することを特徴とする請求項１に記載のボルト位置の検出方法。   The determination step includes a step of calculating the area and the center of gravity position of the entire binarized image, a step of setting a circle with a predetermined radius centered on the calculated center of gravity position, and exceeding the radius of the circle from the center of gravity position. Calculating the area of the image of the inner part of the circle by excluding the area of the image of the selected part from the calculated area of the entire image, and whether the area of the image of the inner part of the calculated circle is within a predetermined range The bolt position detecting method according to claim 1, further comprising a step of determining whether or not. プレートにナットを介して締付けたボルトの位置を、締付け前のプレートに施されたマーキングと区別して検出するシステムであって、
マーキングを含むボルトの端部の周囲を撮影する撮影手段と、
撮影して取得した画像を２値化処理する画像処理手段と、
２値化処理の際に、２値化処理された画像全体の面積および重心位置を算出し、算出した重心位置から所定の距離以上離れた部分の画像の面積を画像全体の面積から除外する処理を２値化の閾値を変化させながら繰り返し、除外処理後の面積が所定の要件を満たす場合に、その重心位置をボルトの中心位置と判定する判定手段とを備えることを特徴とするボルト位置の検出システム。 A system for detecting the position of a bolt fastened to a plate via a nut in distinction from the marking applied to the plate before tightening,
Photographing means for photographing the periphery of the end of the bolt including the marking;
Image processing means for binarizing an image acquired by photographing;
In the binarization process, the area and the centroid position of the entire binarized image are calculated, and the area of the image that is a predetermined distance or more away from the calculated centroid position is excluded from the entire image area And determining means for determining that the center of gravity position is the center position of the bolt when the area after the exclusion process satisfies a predetermined requirement while changing the binarization threshold. Detection system. 判定手段は、２値化処理された画像全体の面積および重心位置を算出する手段と、算出した重心位置を中心とする所定の半径の円を設定する手段と、重心位置から円の半径を超えた部分の画像の面積を、算出した画像全体の面積から除外して円の内側部分の画像の面積を算出する手段と、算出した円の内側部分の画像の面積が所定の範囲にあるか否かを判定する手段とを有することを特徴とする請求項３に記載のボルト位置の検出システム。   The determination means includes means for calculating the area and the center of gravity position of the entire binarized image, means for setting a circle with a predetermined radius centered on the calculated center of gravity position, and exceeding the radius of the circle from the center of gravity position. Means for calculating the area of the image of the inner part of the circle by excluding the area of the image of the selected part from the calculated area of the entire image, and whether the area of the image of the inner part of the calculated circle is within a predetermined range 4. The bolt position detection system according to claim 3, further comprising means for determining whether or not.
JP2017099316A 2017-05-18 2017-05-18 Bolt position detection method and system Active JP6877233B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017099316A JP6877233B2 (en) 2017-05-18 2017-05-18 Bolt position detection method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017099316A JP6877233B2 (en) 2017-05-18 2017-05-18 Bolt position detection method and system

Publications (2)

Publication Number Publication Date
JP2018194475A true JP2018194475A (en) 2018-12-06
JP6877233B2 JP6877233B2 (en) 2021-05-26

Family

ID=64571394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017099316A Active JP6877233B2 (en) 2017-05-18 2017-05-18 Bolt position detection method and system

Country Status (1)

Country Link
JP (1) JP6877233B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020169680A (en) * 2019-04-03 2020-10-15 株式会社Ｉｈｉインフラシステム Device, method and program for detecting bolt fastening condition
JP2021015041A (en) * 2019-07-12 2021-02-12 Ｊｆｅエンジニアリング株式会社 Bolt inspection device, bolt inspection system, bolt inspection method, and program
CN112388606A (en) * 2020-11-19 2021-02-23 上海电气集团股份有限公司 Method and device for detecting bolt state in wind driven generator

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04323503A (en) * 1991-04-23 1992-11-12 Toyoda Mach Works Ltd Image processor
JPH06300524A (en) * 1993-04-13 1994-10-28 Toshiba Corp Position detecting device for recognition mark
JPH0989523A (en) * 1995-09-22 1997-04-04 Mazda Motor Corp Method and device for ascertaining position of projection
JP2000209566A (en) * 1999-01-14 2000-07-28 Matsushita Electric Works Ltd Image processing check device and its method
JP2002325761A (en) * 2000-06-30 2002-11-12 Hitachi Medical Corp Image diagnosis supporting device
JP2004249388A (en) * 2003-02-19 2004-09-09 Tohnichi Mfg Co Ltd System and device for preventing screw from left untightened
JP2005003658A (en) * 2003-06-10 2005-01-06 Nippon Denro Kk Bolt looseness inspection method
JP2010249650A (en) * 2009-04-15 2010-11-04 Mitsubishi Heavy Ind Ltd Dimension inspection apparatus and component to be imaged used for apparatus
JP2013190210A (en) * 2012-03-12 2013-09-26 Kajima Corp Nut rotation amount inspection tool and nut rotation amount inspection method
WO2018116032A1 (en) * 2016-12-19 2018-06-28 Airport Authority Automated airfield ground lighting inspection system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04323503A (en) * 1991-04-23 1992-11-12 Toyoda Mach Works Ltd Image processor
JPH06300524A (en) * 1993-04-13 1994-10-28 Toshiba Corp Position detecting device for recognition mark
JPH0989523A (en) * 1995-09-22 1997-04-04 Mazda Motor Corp Method and device for ascertaining position of projection
JP2000209566A (en) * 1999-01-14 2000-07-28 Matsushita Electric Works Ltd Image processing check device and its method
JP2002325761A (en) * 2000-06-30 2002-11-12 Hitachi Medical Corp Image diagnosis supporting device
JP2004249388A (en) * 2003-02-19 2004-09-09 Tohnichi Mfg Co Ltd System and device for preventing screw from left untightened
JP2005003658A (en) * 2003-06-10 2005-01-06 Nippon Denro Kk Bolt looseness inspection method
JP2010249650A (en) * 2009-04-15 2010-11-04 Mitsubishi Heavy Ind Ltd Dimension inspection apparatus and component to be imaged used for apparatus
JP2013190210A (en) * 2012-03-12 2013-09-26 Kajima Corp Nut rotation amount inspection tool and nut rotation amount inspection method
WO2018116032A1 (en) * 2016-12-19 2018-06-28 Airport Authority Automated airfield ground lighting inspection system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAZZEO, P. L., ET. AL.: ""An automatic inspection system for the hexagonal headed bolts detection in railway maintenance"", PROCEEDINGS. THE 7TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS, 2004, JPN6021011960, 2004, US, pages 417 - 422, XP010772262, ISSN: 0004479148, DOI: 10.1109/ITSC.2004.1398936 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020169680A (en) * 2019-04-03 2020-10-15 株式会社Ｉｈｉインフラシステム Device, method and program for detecting bolt fastening condition
JP7217660B2 (en) 2019-04-03 2023-02-03 株式会社Ｉｈｉインフラシステム BOLT FASTENING STATE DETECTION DEVICE AND METHOD, AND PROGRAM
JP2021015041A (en) * 2019-07-12 2021-02-12 Ｊｆｅエンジニアリング株式会社 Bolt inspection device, bolt inspection system, bolt inspection method, and program
JP7331509B2 (en) 2019-07-12 2023-08-23 Ｊｆｅエンジニアリング株式会社 BOLT INSPECTION DEVICE, BOLT INSPECTION SYSTEM, BOLT INSPECTION METHOD AND PROGRAM
CN112388606A (en) * 2020-11-19 2021-02-23 上海电气集团股份有限公司 Method and device for detecting bolt state in wind driven generator
CN112388606B (en) * 2020-11-19 2022-02-18 上海电气集团股份有限公司 Method and device for detecting bolt state in wind driven generator

Also Published As

Publication number Publication date
JP6877233B2 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
JP6922539B2 (en) Surface defect determination method and surface defect inspection device
JP6753553B1 (en) Surface defect detection method, surface defect detection device, steel material manufacturing method, steel material quality control method, steel material manufacturing equipment, surface defect judgment model generation method, and surface defect judgment model
JP2018194475A (en) Detection method and system of bolt position
JP5791475B2 (en) Image processing apparatus, image processing method, and image processing program
CN112365461A (en) Fastener loosening identification method, system, terminal and storage medium
JP2010112802A (en) Appearance inspection apparatus for wood and appearance inspection method for wood
WO2020110560A1 (en) Inspection assistance device, inspection assistance method, and inspection assistance program for concrete structure
CN105718931A (en) System And Method For Determining Clutter In An Acquired Image
JP2006305635A (en) Method for classifying cast defect in framework of x-ray analysis
JP4279833B2 (en) Appearance inspection method and appearance inspection apparatus
JP2002140713A (en) Image processing method and image processor
US11282229B2 (en) Inspection apparatus
JP2008139262A (en) Detect inspection method and inspection apparatus using the same
CN116071335A (en) Wall surface acceptance method, device, equipment and storage medium
US20220261974A1 (en) Method of detecting an abnormality and abnormality detection device
JP2020123042A5 (en)
JP6597469B2 (en) Defect inspection equipment
JP2019533140A (en) Segregation analyzer and method
CN110634124A (en) Method and equipment for area detection
CN112991251B (en) Method, device and equipment for detecting surface defects
JP4470513B2 (en) Inspection method and inspection apparatus
JP7188930B2 (en) Engraving inspection device, engraving inspection method, and article inspection device
JP2005346222A (en) Sweat gland pore removing device, sweat gland pore removing method and sweat gland pore removing program
JPH0441777B2 (en)
JPH0718811B2 (en) Defect inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210427

R150 Certificate of patent or registration of utility model

Ref document number: 6877233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150