JP7170493B2 - Tightening confirmation system and method using the tightening confirmation system - Google Patents

Tightening confirmation system and method using the tightening confirmation system Download PDF

Info

Publication number
JP7170493B2
JP7170493B2 JP2018194502A JP2018194502A JP7170493B2 JP 7170493 B2 JP7170493 B2 JP 7170493B2 JP 2018194502 A JP2018194502 A JP 2018194502A JP 2018194502 A JP2018194502 A JP 2018194502A JP 7170493 B2 JP7170493 B2 JP 7170493B2
Authority
JP
Japan
Prior art keywords
screw
tightening
rotation
nut
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018194502A
Other languages
Japanese (ja)
Other versions
JP2020062697A (en
Inventor
紘輝 山口
泰生 小澤
秋吾 中村
Original Assignee
株式会社関電工
株式会社システムラボラトリ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社関電工, 株式会社システムラボラトリ filed Critical 株式会社関電工
Priority to JP2018194502A priority Critical patent/JP7170493B2/en
Publication of JP2020062697A publication Critical patent/JP2020062697A/en
Application granted granted Critical
Publication of JP7170493B2 publication Critical patent/JP7170493B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Details Of Spanners, Wrenches, And Screw Drivers And Accessories (AREA)

Description

本発明は、締め付けられているビスやナットに緩みはないか、ビスやナットの締め付けを忘れていないかを確認可能な、締め付け確認システム、及び当該締め付け確認システムを用いた方法に関するものである。 TECHNICAL FIELD The present invention relates to a tightening confirmation system and a method using the tightening confirmation system that can confirm whether tightened screws and nuts are loose and whether screws and nuts are not forgotten to be tightened.

従来から、現場では新築・改修現場に問わず、分電盤内の端子台又はブレーカにビスによってケーブルを接続する際、作業員等のユーザは、ケーブルが「ビス(=ネジ、ボルト)によって適正に接続されているか、即ち、締め付けられているビスに緩みはないか、ビスの締め付けを忘れていないか」の確認作業を指定の工具(トルクレンチ・トルクドライバー)を用いて行っている。 Conventionally, when connecting a cable to a terminal block or breaker in a distribution board with a screw, regardless of whether it is a new construction site or a renovation site, a user such as a worker has always said that the cable is properly connected with a screw (= screw, bolt). Is it connected to the , that is, is there any looseness in the tightened screws, and have you forgotten to tighten the screws?"

しかし、確認作業を行っているにも関わらず、ビスの緩みやビスの締め忘れ等が原因で重大な設備事故が起きているのが現状である。具体的には例えば、ビスが斜めの状態で締め付けられている。作業員等のユーザが休憩等で作業を中断した後、作業を再開する際に、中断した箇所を間違えて、締め付けが行われないビスが出てきてしまう。 However, in spite of the confirmation work, the current situation is that serious equipment accidents occur due to loosening of screws, failure to tighten screws, and the like. Specifically, for example, the screws are tightened obliquely. After a user such as a worker interrupts the work for a break or the like, when resuming the work, a screw that is not tightened is found in the wrong place where the work was interrupted.

このようなビスの締め忘れを防止する、締結部材締め忘れ防止システムが、特許文献1で開示されている。 Japanese Unexamined Patent Application Publication No. 2002-100001 discloses a fastening member forgetting prevention system that prevents such screws from being forgotten to be tightened.

この特許文献1では、検査対象領域のボルトの締め付けが完了すると、検査員がデジタルカメラにより検査対象領域を撮影する。デジタルカメラに記録された画像は、パソコン等の判別装置に送信される。操作員は、判別装置のモニター画面等の画像表示部に表示された、検査対象領域の画像に係る全てのボルトにマーキングされているか否かを確認する構成が開示されている。 In Patent Document 1, when the tightening of the bolts in the inspection target area is completed, an inspector takes an image of the inspection target area with a digital camera. Images recorded in the digital camera are sent to a discriminating device such as a personal computer. A configuration is disclosed in which an operator confirms whether or not all bolts related to an image of an inspection target area displayed on an image display unit such as a monitor screen of a discriminating device are marked.

特開2011-240425号公報JP 2011-240425 A

しかしながら、特許文献1の構成では、ボルトの締め付けが完了すると、デジタルカメラで検査対象領域を撮影する必要がある。そのため、検査対象領域の撮影という新たな作業が追加され、作業員等のユーザの作業負担が増加する。また、検査対象領域に係る撮影画像の質は、作業員等の各ユーザによって変動し、ボルトのマーキングの有無の確認結果に影響を与える場合がある。 However, in the configuration of Patent Literature 1, it is necessary to photograph the inspection target area with a digital camera when the tightening of the bolt is completed. Therefore, a new work of imaging the inspection target area is added, and the work burden on users such as workers is increased. In addition, the quality of the photographed image of the inspection target region varies depending on each user such as a worker, and may affect the confirmation result of the presence or absence of marking on the bolt.

そこで本発明は、上記問題点に対処するため、作業員等のユーザの作業負担を増加させることなく、締め付けられているビスやナットに緩みはないか、ビスやナットの締め付けを忘れていないかを確認可能な、締め付け確認システム、及び当該締め付け確認システムを用いた方法を提供することを目的とする。 Therefore, in order to deal with the above-mentioned problems, the present invention provides a method for checking tightened screws and nuts for looseness and forgetting to tighten screws and nuts without increasing the work load on users such as workers. It is an object of the present invention to provide a tightening confirmation system and a method using the tightening confirmation system.

前記目的を達成するため、請求項1に係る発明は、
ビス又はナットの締め付けが正常であることを確認する締め付け確認システムであって、
前記締め付け確認システムは、少なくとも、ビス又はナットを締め付ける締め付け工具に設けられたカメラと、
前記カメラと接続された情報処理装置を備え、
前記カメラは、前記締め付け工具の締め付け対象であるビス又はナット付近を、締め付け時に回転しながら撮影し、
前記情報処理装置は、前記カメラから受信した撮影情報を解析し、ビス又はナットの回転量に基づいて、各ビス又は各ナットの締め付け状況を確認する制御手段を有し、
前記制御手段は、前記カメラから受信した撮影情報を解析し、当該撮影情報の回転ベクトルと回転方向を検出することで、ビス又はナットの角速度と当該角速度の時間的変化を検出し、当該角速度と当該角速度の時間的変化に基づいて積分を行い、ビス又はナットの回転量を算出する、締め付け確認システムとした。
In order to achieve the above object, the invention according to claim 1 is
A tightening confirmation system for confirming that each screw or each nut is properly tightened,
The tightening confirmation system includes at least a camera provided on a tightening tool for tightening screws or nuts;
An information processing device connected to the camera,
The camera photographs the vicinity of the screw or nut to be tightened by the tightening tool while rotating during tightening ,
The information processing device has control means for analyzing the photographing information received from the camera and confirming the tightening status of each screw or each nut based on the amount of rotation of the screw or nut,
The control means analyzes the photographing information received from the camera, detects the rotation vector and the rotation direction of the photographing information, thereby detects the angular velocity of the screw or nut and the temporal change in the angular velocity, and detects the angular velocity and the change in the angular velocity. A tightening confirmation system that integrates based on the temporal change of the angular velocity and calculates the amount of rotation of the screw or nut .

また、請求項2に係る発明は、
前記制御手段は、前記カメラから受信した撮影情報を解析し、前記締め付け工具の先端の位置を特定し、
前記特定した締め付け工具の先端の位置について、パターンマッチングを行い、前記締め付け工具の先端が、ビス又はナットの孔に正しく嵌ったか否かを判断し、
正しく嵌った時点を締め付け開始時点とみなし、
前記締め付け開始時点から、前記カメラから受信した撮影情報を解析し、当該撮影情報の回転ベクトルと回転方向を検出することで、ビス又はナットの角速度と当該角速度の時間的変化を検出し、当該角速度と当該角速度の時間的変化に基づいて積分を行い、ビス又はナットの回転量を算出する、請求項1に記載の締め付け確認システムとした。
Further, the invention according to claim 2 is
The control means analyzes the photographing information received from the camera, identifies the position of the tip of the tightening tool,
Pattern matching is performed on the position of the tip of the identified tightening tool, and it is determined whether the tip of the tightening tool is correctly fitted into the hole of the screw or nut,
The time when it fits correctly is regarded as the time when tightening starts,
From the start of tightening, by analyzing the imaging information received from the camera and detecting the rotation vector and rotation direction of the imaging information, the angular velocity of the screw or nut and the temporal change in the angular velocity are detected, and the angular velocity is detected. 2. The tightening confirmation system according to claim 1, wherein the rotation amount of the screw or nut is calculated by integrating based on the temporal change of the angular velocity .

また、請求項3の発明は、
前記制御手段は、ビス又はナットの回転量の時間的変化の最後に、回転量の変化が少なくなり、最後にゼロに近似しているか否かによって、締め付け完了の有無を判断する、請求項1又は2に記載の締め付け確認システムとした。
また、請求項4の発明は、
前記制御手段は、最初に算出したビス又はナットの回転量を対比情報とし、
前記対比情報と、ビス又はナットの回転量が最初に算出された後に算出したビス又はナットの回転量を比較して、締め付け完了の有無を判断する、請求項1~3のいずれかに記載の締め付け確認システムとした。
また、請求項5の発明は、
前記制御手段は、ビス又はナットの締め付けが正常であると判断可能な回転量と、ビス又はナットの回転量を比較して、締め付け完了の有無を判断する、請求項1~3のいずれかに記載の締め付け確認システムとした。
また、請求項6の発明は、
前記制御手段は、ビス又はナットの締め付けが正常であると判断可能な回転量に係る複数パターンと、最初のビス又はナットの回転量を比較して、最も近いパターンを選択し、
前記選択したパターンと、ビス又はナットの回転量が最初に算出された後に算出したビス又はナットの回転量を比較して、締め付け完了の有無を判断する、請求項1~3のいずれかに記載の締め付け確認システムとした。
Further, the invention of claim 3 is
2. The control means judges whether or not the tightening is completed based on whether the change in the amount of rotation of the screw or nut decreases at the end of the temporal change in the amount of rotation and finally approaches zero. Or it was set as the tightening confirmation system described in 2.
Further, the invention of claim 4 is
The control means uses the initially calculated amount of rotation of the screw or nut as comparison information,
4. The comparison information and the amount of rotation of the screw or nut calculated after the amount of rotation of the screw or nut is first calculated to determine whether or not tightening is completed. A tightening confirmation system is used.
Further, the invention of claim 5 is
4. The control means according to any one of claims 1 to 3, wherein the control means compares the amount of rotation of the screw or nut with which it can be determined that the tightening of the screw or nut is normal, and the amount of rotation of the screw or nut to determine whether or not the tightening is completed. The described tightening confirmation system was used.
Further, the invention of claim 6 is
The control means compares a plurality of patterns relating to the amount of rotation for which it can be determined that tightening of the screw or nut is normal with the first amount of rotation of the screw or nut, and selects the closest pattern,
The selected pattern and the rotation amount of the screw or nut calculated after the rotation amount of the screw or nut is first calculated are compared to determine whether or not tightening is completed. It is a tightening confirmation system.

本発明は、締め付けられているビスやナットに緩みはないか、ビスやナットの締め付けを忘れていないかを、作業員等のユーザの作業負担を増加させることなく、確認することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to check whether tightened screws or nuts are loose or whether the screws or nuts have been forgotten to be tightened without increasing the workload of users such as workers.

その結果、ビスやナットの緩みやビスやナットの締め忘れ等による設備事故の発生を防止することができる。 As a result, it is possible to prevent the occurrence of facility accidents due to loosening of screws and nuts, failure to tighten screws and nuts, and the like.

本発明の実施の形態例1の分電盤の全体的な構成を例示的に示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which exemplarily shows the whole structure of the distribution board of Embodiment 1 of this invention. 本発明の実施の形態例1の内視鏡カメラが設けられたドライバーの全体的な構成を示す図である。It is a figure which shows the whole structure of the driver provided with the endoscope camera of Embodiment 1 of this invention. 本発明の実施の形態例1の内視鏡カメラのハードウェア構成を模式的に示した概念図である。1 is a conceptual diagram schematically showing the hardware configuration of an endoscope camera according to Embodiment 1 of the present invention; FIG. 本発明の実施の形態例1の情報処理装置のハードウェア構成を模式的に示した概念図である。1 is a conceptual diagram schematically showing a hardware configuration of an information processing apparatus according to Embodiment 1 of the present invention; FIG. 本発明の実施の形態例1の内視鏡カメラから受信した、ドライバーの先端付近の撮影情報を示した図である。It is the figure which showed the imaging|photography information near the front-end|tip of a driver received from the endoscope camera of Embodiment 1 of this invention. 本発明の実施の形態例1の内視鏡カメラから受信した、ドライバーの先端付近の撮影情報を示した図である。It is the figure which showed the imaging|photography information near the front-end|tip of a driver received from the endoscope camera of Embodiment 1 of this invention. 本発明の実施の形態例1の内視鏡カメラから受信した、ドライバーの先端付近の撮影情報を示した図である。It is the figure which showed the imaging|photography information near the front-end|tip of a driver received from the endoscope camera of Embodiment 1 of this invention. 本発明の実施の形態例1の内視鏡カメラから受信した、ドライバーの先端付近の撮影情報を示した図である。It is the figure which showed the imaging|photography information near the front-end|tip of a driver received from the endoscope camera of Embodiment 1 of this invention. 本発明の実施の形態例1のビス及びドライバーの角速度の時間的変化を折れ線グラフで示した図である。FIG. 4 is a line graph showing temporal changes in angular velocities of the screw and the driver according to Embodiment 1 of the present invention. 本発明の実施の形態例1の情報処理装置の締め付け情報記憶領域の構造を模式的に示した図である。It is the figure which showed typically the structure of the tightening information storage area of the information processing apparatus of Embodiment 1 of this invention. 本発明の実施の形態例1の締め付け確認システムの動作の流れを示した流れ図である。4 is a flowchart showing the operation flow of the tightening confirmation system according to Embodiment 1 of the present invention; 本発明の実施の形態例1のビス及びドライバーの角速度の時間的変化を折れ線グラフで示した図である。FIG. 4 is a line graph showing temporal changes in angular velocities of the screw and the driver according to Embodiment 1 of the present invention.

(実施の形態例1)
以下、添付図面を参照して本発明に係る実施の形態例1を詳細に説明する。ただし、本実施の形態例に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
(Embodiment example 1)
BEST MODE FOR CARRYING OUT THE INVENTION A first embodiment according to the present invention will be described in detail below with reference to the accompanying drawings. However, the components described in this embodiment are merely examples, and the scope of the present invention is not limited to them.

<締め付け確認システムの構成>
締め付け確認システムは、主として、内視鏡カメラ1と情報処理装置2から構成されている。そして、内視鏡カメラ1と情報処理装置2は、USB(=Universal Serial Bus)等を用いて、相互に情報通信可能に接続されている。
<Configuration of tightening confirmation system>
The tightening confirmation system is mainly composed of an endoscope camera 1 and an information processing device 2 . The endoscope camera 1 and the information processing device 2 are connected by using a USB (=Universal Serial Bus) or the like so as to be able to communicate information with each other.

本実施の形態例1では、図1に示す分電盤6内のブレーカ(=配線用遮断器)61に締め付け確認システムを適用した場合について説明する。 In Embodiment 1, a case where a tightening confirmation system is applied to the breaker (=circuit breaker for wiring) 61 in the distribution board 6 shown in FIG. 1 will be described.

一般的に、分電盤6は、建物の外部から引き込んだ電力を各部屋、各設備に振り分ける役割を果たす。各部屋、各設備に電力を供給する各ケーブル62と、建物の外部から電力を引き込む主幹用母線63は、ブレーカ61を介して接続されている。そして、各ブレーカ61には、識別番号が付されている。また、各ブレーカ61と各ケーブル62は、締め付けられたビス33によって、接続されている。 In general, the distribution board 6 plays a role of distributing electric power drawn from the outside of the building to each room and each facility. Each cable 62 that supplies power to each room and each facility and a main bus line 63 that draws in power from the outside of the building are connected via a breaker 61 . Each breaker 61 is assigned an identification number. Also, each breaker 61 and each cable 62 are connected by tightened screws 33 .

<内視鏡カメラ1の構成>
管状の内視鏡カメラ1は、図2に示すように、ドライバー31に、ドライバー31の長手方向に沿って、テープ41を用いて設けられている。そして、ドライバー31の先端32付近を撮影可能なように、内視鏡カメラ1のレンズ部11は、ドライバー31の先端32の方向に向けられている。
<Configuration of endoscope camera 1>
The tubular endoscope camera 1 is attached to the driver 31 using tape 41 along the longitudinal direction of the driver 31, as shown in FIG. The lens unit 11 of the endoscope camera 1 is directed toward the tip 32 of the driver 31 so that the vicinity of the tip 32 of the driver 31 can be photographed.

また、内視鏡カメラ1は、図3に示すように、主としてカメラ部12と本体部15から構成されている。カメラ部12の先端には、レンズ部11が設けられている。本体部15には、信号処理部13と光源部14が内蔵されている。信号処理部13は、カメラ部12から得られた映像入力信号に所定の信号処理を施し、映像出力信号を生成し、情報処理装置2に出力する。光源部14は、光ファイバ(図示省略)などを用いてカメラ部12に照明光を送る。 The endoscope camera 1 is mainly composed of a camera section 12 and a body section 15, as shown in FIG. A lens unit 11 is provided at the tip of the camera unit 12 . The body portion 15 incorporates the signal processing portion 13 and the light source portion 14 . The signal processing unit 13 performs predetermined signal processing on the video input signal obtained from the camera unit 12 , generates a video output signal, and outputs the video output signal to the information processing device 2 . The light source unit 14 sends illumination light to the camera unit 12 using an optical fiber (not shown) or the like.

なお、本実施の形態例1に係る締め付け確認システムでは、内視鏡カメラ1を用いる構成を示したが、この構成に限定されるものではない。CCD(=電荷結合素子)やCMOSイメージセンサ等の撮像素子を備えたカメラであれば良い。 In addition, although the tightening confirmation system according to Embodiment 1 has a configuration using the endoscope camera 1, the configuration is not limited to this. Any camera having an imaging device such as a CCD (=charge-coupled device) or CMOS image sensor may be used.

<情報処理装置2の構成>
情報処理装置2は、内視鏡カメラ1が撮影したドライバー31の先端32付近の撮影情報に係る映像出力信号を受信し、当該撮影情報に基づいて、ビス33の締め付けが正常か否かを判断する機能を有している。そして、情報処理装置2は、当該機能に特化した専用の装置で実現しても良いし、汎用のパソコンやサーバに当該機能を組み込んで実現しても良い。
<Configuration of information processing device 2>
The information processing device 2 receives a video output signal related to imaging information of the vicinity of the tip 32 of the driver 31 photographed by the endoscope camera 1, and determines whether or not the screw 33 is properly tightened based on the imaging information. It has the function to The information processing device 2 may be realized by a dedicated device specialized for the function, or may be realized by incorporating the function into a general-purpose personal computer or server.

次に、情報処理装置2のハードウェア構成について、図4を参照して説明する。図4は、情報処理装置2のハードウェア構成を模式的に示した概念図である。 Next, the hardware configuration of the information processing device 2 will be described with reference to FIG. FIG. 4 is a conceptual diagram schematically showing the hardware configuration of the information processing device 2. As shown in FIG.

図4において、制御手段21は、例えば、CPU(=Central Processing Unit)で実現され、後述する記憶手段22に含まれるHD(=Hard Disk)等に格納されているアプリケーションプログラム、オペレーティングシステム(OS)や制御プログラム等を実行し、記憶手段22に含まれるRAM(=Random Access Memory)にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。 In FIG. 4, the control means 21 is realized by, for example, a CPU (=Central Processing Unit), and an application program, an operating system (OS), etc. stored in an HD (=Hard Disk) included in the storage means 22, which will be described later. , a control program, etc., and temporarily stores information, files, etc. necessary for executing the program in a RAM (=random access memory) included in the storage means 22 .

<ビス33と、ビス33を識別する識別情報との関連付けについて>
特に、制御手段21は、内視鏡カメラ1から受信した、ドライバー31の先端32付近の撮影情報に係る映像出力信号に基づいて、当該撮影情報に含まれるブレーカ61に係る識別番号について、OCR(=Optical Character Recognition/Reader、光学的文字認識)を行う。
<Associating the screw 33 with identification information that identifies the screw 33>
In particular, the control means 21 receives from the endoscope camera 1, based on the image output signal related to the imaging information of the vicinity of the tip 32 of the driver 31, the OCR ( = Optical Character Recognition/Reader).

以下、詳しく説明する。図5及び図6は、内視鏡カメラ1から受信した、ドライバー31の先端32付近の撮影情報を示した図であり、図5は、ドライバー31の先端32がビス33の孔に正しく嵌った回転開始前の状態を示し、図6は、ドライバー31及びビス33を約35度回転させた状態を示している。作業員等のユーザがビス33の締め付けを開始後、締め付けが停止した場合、又は締め付けが所定の速度以下になった場合等に、ドライバー31の先端32付近の撮影情報から、ブレーカ61に係る識別番号が記載されている文字領域を分離・特定する。なお、図5及び図6では、締め付けを行っているドライバー31付近に、複数の文字領域(識別番号:5、7、9)が示されている。このように、撮影情報に複数の文字領域が含まれている場合には、締め付けを行っているドライバー31に最も近い文字領域を分離・特定する。図5及び図6では、識別番号7に係る文字領域を分離・特定する。 A detailed description will be given below. 5 and 6 are diagrams showing photographing information of the vicinity of the tip 32 of the driver 31 received from the endoscope camera 1, and FIG. FIG. 6 shows the state before the start of rotation, and FIG. 6 shows the state after rotating the driver 31 and the screw 33 by about 35 degrees. After a user such as a worker starts tightening the screw 33, when the tightening stops, or when the tightening speed drops below a predetermined speed, the breaker 61 can be identified from the image information near the tip 32 of the driver 31. Separate and identify the character area where the number is written. 5 and 6, a plurality of character areas (identification numbers: 5, 7, 9) are shown near the driver 31 that is tightening. In this way, when the photographing information includes a plurality of character areas, the character area closest to the driver 31 that is tightening is separated and specified. 5 and 6, the character area associated with the identification number 7 is separated and specified.

そして、分離・特定した文字領域から、認識に役立つ特徴を取り出し、ベクトルの形式で出力する。特徴の取り出しには、一般的な特徴抽出法を利用でき、例えば、本実施の形態例1のように、認識対象が文字である場合には、文字領域から抽出したエッジの局所的な方向性等を用いることができる。 Then, features useful for recognition are extracted from the separated and specified character regions and output in the form of vectors. A general feature extraction method can be used to extract the features. etc. can be used.

出力した特徴ベクトルを、記憶手段22内の識別辞書記憶領域221に格納されている模範となる特徴ベクトル(=プロトタイプ)と比較し、出力した特徴ベクトルがいずれの識別番号に属するのかを判定することによって、ブレーカ61に係る識別番号を特定する。 Comparing the output feature vector with the model feature vector (=prototype) stored in the identification dictionary storage area 221 in the storage means 22, and determining to which identification number the output feature vector belongs. identifies the identification number associated with the breaker 61 .

例えば、識別辞書記憶領域221内に、プロトタイプを各識別番号について、1つずつ格納しておく。そして出力した特徴ベクトルと、各プロトタイプを比較し、一致するものがあるか否か、又は一番近いものはどれかによって、出力した特徴ベクトルが、いずれの識別番号に属するのかを判定する。 For example, one prototype is stored in the identification dictionary storage area 221 for each identification number. Then, the output feature vector is compared with each prototype, and it is determined to which identification number the output feature vector belongs depending on whether there is a match or which one is the closest.

一般的にOCRを含むパターン認識では、多くのサンプルを集めて、それらのサンプルに基づいて、出力した特徴ベクトルと比較するプロトタイプを決定する。 Typically, pattern recognition, including OCR, collects a number of samples and based on those samples determines a prototype to compare with the output feature vector.

例えば、本実施の形態例1では、大文字「1」、小文字「1」、四角枠に「1」、丸枠に「1」、三角枠に「1」といった多彩な各サンプルの特徴ベクトルを求め、各サンプルがどの識別番号に属するのかといった「正解識別番号」を記憶させ、学習させる。なお、このようなサンプルを学習情報という。 For example, in Embodiment 1, feature vectors of various samples such as uppercase "1", lowercase "1", square frame "1", round frame "1", and triangular frame "1" are obtained. , to which identification number each sample belongs is stored and learned. Such samples are called learning information.

同じ識別番号に属する学習情報は、特徴空間上では、「クラスタ」と呼ばれるひとかたまりになっているはずである。そして、各識別番号に対応するクラスタの中から、代表的な特徴ベクトルをプロトタイプに決定する。従って、学習情報として使用するサンプルは、一般的に、多ければ多い程、高精度な認識を行うことができる。 Learning information belonging to the same identification number should form a group called a "cluster" on the feature space. Then, a representative feature vector is determined as a prototype from among the clusters corresponding to each identification number. Therefore, generally, the more samples used as learning information, the more accurate recognition can be performed.

また、制御手段21は、OCRによって特定したブレーカ61に係る識別番号を、ドライバー31を使って現在締め付け中のビス33の識別情報として関連付ける。 Further, the control means 21 associates the identification number associated with the breaker 61 identified by OCR as the identification information of the screw 33 currently being tightened using the driver 31 .

なお、本実施の形態例1に係るブレーカ61のように、各ブレーカ61に、複数のケーブル62が接続されており、ビス33によって各ケーブル62が接続されている場合には、各ビス33の識別情報と、OCRによって特定したブレーカ61に係る識別番号との関連付けを行う際、同一のブレーカ61に係る各ビス33の識別情報には、同一のブレーカ61の識別番号を関連付ける構成としても良い。あるいは、作業員等のユーザはビス33の締め付け作業を上から順番に行うことに決め、各ビス33の識別情報と、OCRによって特定したブレーカ61に係る識別番号との関連付けを行う際、例えば「識別番号7上」、「識別番号7下」というように、同一の識別番号の中で区分けした識別番号を順番に割り振る構成としても良い。 Note that, like the breaker 61 according to the first embodiment, each breaker 61 is connected to a plurality of cables 62, and each cable 62 is connected by screws 33. When each screw 33 is When associating the identification information with the identification number of the breaker 61 specified by OCR, the identification information of each screw 33 associated with the same breaker 61 may be associated with the same identification number of the breaker 61 . Alternatively, a user such as a worker decides to tighten the screws 33 in order from the top, and when associating the identification information of each screw 33 with the identification number of the breaker 61 specified by OCR, for example, " A configuration may be adopted in which identification numbers divided within the same identification number are assigned in order, such as "identification number 7 upper" and "identification number 7 lower".

また、本実施の形態例1では、制御手段21は、ブレーカ61に係る識別番号について、OCRを行う構成を示したが、この構成に限定されるものではない。例えば、ブレーカ61に係る識別番号の認識を目的として、多層パーセプトロン構造を有するニューラルネットワーク(NN)を構築する。そして、制御手段21は、この構築されたニューラルネットワークを用いて、ブレーカ61に係る識別番号の認識を行う構成としても良い。なお具体的には、例えば、過学習を回避するため、畳み込みニューラルネットワーク(CNN)を用いても良い。 Further, in Embodiment 1, the control unit 21 performs OCR on the identification number associated with the breaker 61, but the configuration is not limited to this. For example, for the purpose of recognizing the identification number of the breaker 61, a neural network (NN) having a multi-layer perceptron structure is constructed. Then, the control means 21 may be configured to recognize the identification number associated with the breaker 61 using this constructed neural network. Specifically, for example, a convolutional neural network (CNN) may be used to avoid overfitting.

大量の情報を入力させる等、機械学習を行わせることにより、ニューラルネットワークを用いることで、精度良い認識を行うことが可能となる。 Accurate recognition can be performed by using a neural network by performing machine learning such as inputting a large amount of information.

<締め付けの開始時点の特定について>
また、制御手段21は、内視鏡カメラ1から受信した、ドライバー31の先端32付近の撮影情報に係る映像出力信号に基づいて、当該撮影情報に含まれるドライバー31の先端32の位置を特定する。そして、特定したドライバー31の先端32の位置について、パターンマッチングを行い、ドライバー31の先端32が、ビス33の孔に正しく嵌ったか否かを判断する。また、ドライバー31の先端32が、ビス33の孔に正しく嵌った時点を締め付けの開始時点とみなす(=特定する)。
<Regarding the identification of the tightening start point>
Further, the control means 21 identifies the position of the tip 32 of the driver 31 included in the imaging information based on the image output signal related to the imaging information of the vicinity of the tip 32 of the driver 31 received from the endoscope camera 1. . Then, pattern matching is performed on the identified position of the tip 32 of the driver 31 to determine whether or not the tip 32 of the driver 31 is correctly fitted into the hole of the screw 33 . Also, the point at which the tip 32 of the driver 31 is properly fitted into the hole of the screw 33 is regarded as the start point of tightening (=specified).

特定したドライバー31の先端32の位置について行う、パターンマッチングについて、以下詳しく説明する。制御手段21は、受信したドライバー31の先端32付近の撮影情報と、記憶手段22内のドライバー適正位置記憶領域222に格納されている、ドライバー31の先端32がビス33の孔に正しく嵌った「模範状態の撮影情報」とを、パターンマッチングにより比較する。そして、制御手段21は、パターンマッチングによる相関値が所定の値以上になっている場合には、ドライバー31の先端32が、ビス33の孔に正しく嵌った状態であると判断し、ドライバー31の先端32が、ビス33の孔に正しく嵌った時点を締め付けの開始時点とみなす。一方、この相関値が所定の値未満になっている場合には、ドライバー31の先端32がビス33の孔に正しく嵌っていないと判断する。 Pattern matching performed for the identified position of the tip 32 of the driver 31 will be described in detail below. The control means 21 determines whether the tip 32 of the driver 31 is correctly fitted into the hole of the screw 33, which is stored in the received photographing information of the vicinity of the tip 32 of the driver 31 and the appropriate driver position storage area 222 in the storage means 22. "Model state photographing information" is compared by pattern matching. Then, when the correlation value obtained by pattern matching is equal to or greater than a predetermined value, the control means 21 determines that the tip 32 of the driver 31 is properly fitted in the hole of the screw 33. The point at which the tip 32 is properly fitted into the hole of the screw 33 is regarded as the start point of tightening. On the other hand, if this correlation value is less than the predetermined value, it is determined that the tip 32 of the driver 31 is not correctly fitted in the hole of the screw 33 .

例えば、受信したドライバー31の先端32付近の撮影情報が、図7に示すような場合には、制御手段21は、ドライバー31の先端32が、ビス33の孔に正しく嵌った状態であると判断し、ドライバー31の先端32が、ビス33の孔に正しく嵌った時点を締め付けの開始時点とみなす。一方、受信したドライバー31の先端32付近の撮影情報が、図8に示すような場合には、制御手段21は、ドライバー31の先端32がビス33の孔に正しく嵌っていないと判断する。 For example, when the received photographing information of the vicinity of the tip 32 of the driver 31 is as shown in FIG. The point at which the tip 32 of the driver 31 is properly fitted into the hole of the screw 33 is regarded as the start point of tightening. On the other hand, if the received imaging information of the vicinity of the tip 32 of the driver 31 is as shown in FIG.

<ビス33及びドライバー31の回転量の算出について>
また、制御手段21は、内視鏡カメラ1から受信した、ドライバー31の先端32付近の撮影情報に係る映像出力信号に基づいて、撮影情報の回転ベクトルと回転方向を検出することで、ビス33及びドライバー31の回転ベクトルと回転方向を検出する。即ち、撮影情報の回転ベクトルと回転方向を、ビス33及びドライバー31の回転ベクトルと回転方向とみなして、検出する。
<Regarding the calculation of the amount of rotation of the screw 33 and the driver 31>
Further, the control means 21 detects the rotation vector and the rotation direction of the imaging information based on the image output signal related to the imaging information near the tip 32 of the driver 31 received from the endoscope camera 1, thereby And the rotation vector and rotation direction of the driver 31 are detected. That is, the rotation vector and rotation direction of the photographing information are regarded as the rotation vector and rotation direction of the screw 33 and the driver 31 and detected.

以下、図9を用いて詳しく説明する。図9は、ビス33及びドライバー31の角速度(回転の速度)の時間的変化を折れ線グラフ5で示したものであり、縦軸がビス33及びドライバー31の角速度(回転の速度)を示し、横軸が時間を示している。そして、縦軸の正方向がビス33の締まる回転方向であり、縦軸の負方向がビス33の弛む回転方向である。 A detailed description will be given below with reference to FIG. FIG. 9 shows temporal changes in the angular velocities (speeds of rotation) of the screws 33 and the driver 31 in a line graph 5, where the vertical axis indicates the angular velocities (speeds of rotation) of the screws 33 and the driver 31, The axis indicates time. The positive direction of the vertical axis is the direction of rotation in which the screw 33 is tightened, and the negative direction of the vertical axis is the direction of rotation in which the screw 33 is loosened.

制御手段21は、内視鏡カメラ1から受信した、ドライバー31の先端32付近の撮影情報に係る映像出力信号に基づいて、撮影情報の回転ベクトルと回転方向を検出することによって、ビス33及びドライバー31の角速度とその時間的変化、及びビス33及びドライバー31の「正か負か」の回転方向を検出する。そして、検出したビス33及びドライバー31の角速度とその時間的変化、及び検出したビス33及びドライバー31の「正か負か」の回転方向は、図10に示すように、上述の、締め付け中のビス33に関連付けた識別情報に対応させて、締め付け情報記憶領域223に記憶する。 The control means 21 receives from the endoscope camera 1 and detects the rotation vector and the rotation direction of the imaging information based on the image output signal related to the imaging information of the vicinity of the tip 32 of the driver 31, thereby controlling the screw 33 and the driver. The angular velocity of 31 and its temporal change, and the "positive or negative" rotational direction of screw 33 and driver 31 are detected. The detected angular velocities of the screw 33 and the driver 31 and their temporal changes, and the "positive or negative" rotational direction of the detected screw 33 and the driver 31 are, as shown in FIG. It is stored in the tightening information storage area 223 in association with the identification information associated with the screw 33 .

なお、制御手段21は、上述の、特定した締め付けの開始時点から、ドライバー31の先端32付近の撮影情報に係る映像出力信号に基づいて、撮影情報の回転ベクトルと回転方向を検出し、ビス33及びドライバー31の角速度とその時間的変化、及びビス33及びドライバー31の「正か負か」の回転方向を検出する。 Note that the control means 21 detects the rotation vector and the rotation direction of the photographic information based on the image output signal related to the photographic information near the tip 32 of the driver 31 from the above-mentioned specified tightening start point, and detects the rotation vector and the rotation direction of the screw 33. Also, the angular velocity of the driver 31 and its temporal change, and the "positive or negative" rotational direction of the screw 33 and the driver 31 are detected.

そして、制御手段21は、締め付け情報記憶領域223から呼び出した、締め付けの開始時点からのビス33及びドライバー31の角速度「dθ/dt」、角速度の時間的変化(t)に基づいて、積分「(dθ/dt)×t」を行い、ビス33及びドライバー31の回転量(θ)を算出する。つまり、角速度の時系列を示すX軸と折れ線グラフ5に囲まれた部分の面積を算出することで、ビス33及びドライバー31の回転量(θ)を算出する。なお、この場合、角速度の時系列を示すX軸と折れ線グラフ5に囲まれた部分の面積のうち、X軸を境として正方向の面積から、X軸を境として負方向の面積を減ずる。X軸を境として負方向の面積は、ビス33が弛む方向の回転量だからである。 Then, the control means 21 integrates "( dθ/dt)×t” to calculate the amount of rotation (θ) of the screw 33 and the driver 31 . That is, the amount of rotation (θ) of the screw 33 and the driver 31 is calculated by calculating the area surrounded by the X-axis indicating the time series of the angular velocity and the line graph 5 . In this case, of the area surrounded by the X-axis indicating the time series of angular velocities and the line graph 5, the area in the positive direction with respect to the X-axis as a boundary is subtracted from the area in the negative direction with respect to the X-axis as a boundary. This is because the area in the negative direction with respect to the X axis is the amount of rotation in the loosening direction of the screw 33 .

また、制御手段21は、算出したビス33及びドライバー31の回転量を、図10に示すように、上述の、締め付け中のビス33に関連付けた識別情報に対応させて、締め付け情報記憶領域223に記憶する。なお、最初に算出したビス33及びドライバー31の回転量については、対比情報として、締め付け情報記憶領域223に記憶する。 10, the control means 21 stores the calculated amount of rotation of the screw 33 and the driver 31 in the tightening information storage area 223 in association with the identification information associated with the screw 33 being tightened. Remember. Note that the rotation amounts of the screw 33 and the driver 31 calculated first are stored in the tightening information storage area 223 as comparison information.

また、制御手段21は、対比情報の算出後に算出したビス締め付けの回転量と、対比情報を比較し、対比情報の算出後に算出したビス締め付けの回転量が、対比情報に基づく所定の範囲に含まれる場合には、ビス締め付けが正常と判断する。そして、その旨の判断結果をディスプレイ等の表示手段24上に表示させる。一方、制御手段21は、対比情報と比較した結果、対比情報の算出後に算出したビス締め付けの回転量が、対比情報に基づく所定の範囲に含まれない場合には、ビス締め付けが正常ではないと判断する。そして、その旨の判断結果をディスプレイ等の表示手段24上に表示させる。なお、ここで「対比情報に基づく所定の範囲」とは、対比情報に基づくある値から異なる値までの範囲に限らず、対比情報と同一の値も含む。 Further, the control means 21 compares the screw tightening rotation amount calculated after the comparison information is calculated with the comparison information, and the screw tightening rotation amount calculated after the comparison information is calculated is included in a predetermined range based on the comparison information. If so, it is judged that the screw tightening is normal. Then, the judgment result to that effect is displayed on the display means 24 such as a display. On the other hand, as a result of comparison with the comparison information, the control means 21 determines that the screw tightening is not normal when the screw tightening rotation amount calculated after the comparison information is calculated is not within the predetermined range based on the comparison information. to decide. Then, the judgment result to that effect is displayed on the display means 24 such as a display. Here, the "predetermined range based on the comparison information" is not limited to a range from a certain value to a different value based on the comparison information, but also includes the same value as the comparison information.

例えば、図10に示すように、算出したビス33及びドライバー31の回転量「280度」が、識別情報7に係る回転量であり、識別情報1に係る回転量「270度」が、最初に算出された対比情報としての回転量であり、対比情報に基づく所定の範囲が「265~285度」の場合、識別情報7に係る回転量「280度」は、対比情報に基づく所定の範囲に含まれ、制御手段21は、識別情報7に係るビス33の締め付けは正常と判断し、正常である旨の判断結果をディスプレイ等の表示手段24上に表示させる。一方、算出したビス33及びドライバー31の回転量が「180度」の場合、対比情報に基づく所定の範囲に含まれず、制御手段21は、識別情報7に係るビス33の締め付けは正常ではないと判断し、正常ではない旨の判断結果をディスプレイ等の表示手段24上に表示させる。 For example, as shown in FIG. 10, the calculated amount of rotation "280 degrees" of the screw 33 and the driver 31 is the amount of rotation associated with the identification information 7, and the amount of rotation "270 degrees" associated with the identification information 1 is the first If the predetermined range based on the comparison information is "265 to 285 degrees", the rotation amount "280 degrees" related to the identification information 7 is within the predetermined range based on the comparison information. The control means 21 judges that the tightening of the screw 33 related to the identification information 7 is normal, and causes the display means 24 such as a display to display the result of the judgment to the effect that it is normal. On the other hand, if the calculated amount of rotation of the screw 33 and the driver 31 is "180 degrees", it is not within the predetermined range based on the comparison information, and the control means 21 determines that the tightening of the screw 33 related to the identification information 7 is not normal. Then, the result of the judgment that it is not normal is displayed on the display means 24 such as a display.

記憶手段22は、各種情報を一時記憶するためのものであり、制御手段21の主メモリ、ワークエリア等として機能するRAMや、内部に基本I/Oプログラム等のプログラム、基本処理において使用する各種情報を記憶するROM(=Read Only Memory)を有している。 The storage means 22 is for temporarily storing various kinds of information, and includes a RAM that functions as a main memory and a work area for the control means 21, a program such as a basic I/O program, and various types of information used in basic processing. It has a ROM (=Read Only Memory) for storing information.

記憶手段22は、大容量メモリとして機能するHD(=Hard Disk)を有しており、このHDには、識別辞書記憶領域221、ドライバー適正位置記憶領域222、締め付け情報記憶領域223が設けられている。 The storage means 22 has an HD (=Hard Disk) functioning as a large-capacity memory, and this HD is provided with an identification dictionary storage area 221, an appropriate driver position storage area 222, and a tightening information storage area 223. there is

この識別辞書記憶領域221には、学習情報とこれらの学習情報に基づいて決定されたプロトタイプが、各識別情報について記憶されている。また、ドライバー適正位置記憶領域222には、ドライバー31の先端32がビス33の孔に正しく嵌った「模範状態の撮影情報」が記憶されている。 In this identification dictionary storage area 221, learning information and a prototype determined based on this learning information are stored for each piece of identification information. Further, in the appropriate driver position storage area 222, the “model state photographing information” in which the tip 32 of the driver 31 is correctly fitted into the hole of the screw 33 is stored.

また、締め付け情報記憶領域223には、図10に示すように、各識別情報に対応させて、検出したビス33及びドライバー31の角速度とその時間的変化、及び検出したビス33及びドライバー31の「正か負か」の回転方向が記憶される。また、締め付け情報記憶領域223には、図10に示すように、各識別情報に対応させて、算出したビス33及びドライバー31の回転量が記憶される。 10, the tightening information storage area 223 stores the detected angular velocities of the screw 33 and the driver 31 and their temporal changes, and the " The direction of rotation, whether positive or negative, is stored. Further, in the tightening information storage area 223, as shown in FIG. 10, the calculated amounts of rotation of the screw 33 and the driver 31 are stored in association with each piece of identification information.

入力手段23は、作業員等のユーザから情報処理装置2に対する情報や命令の入力を受け付ける、例えば、キーボード、タッチパネル、ボタンである。特に、作業員等のユーザは、プロトタイプの基礎になる学習情報や、ドライバー31の先端32がビス33の孔に正しく嵌った「模範状態の撮影情報」を、入力手段23を用いて入力する。 The input unit 23 is, for example, a keyboard, a touch panel, or a button that receives input of information or commands to the information processing device 2 from a user such as a worker. In particular, a user such as a worker uses the input means 23 to input learning information that forms the basis of the prototype, and "model state photographing information" in which the tip 32 of the driver 31 is correctly fitted into the hole of the screw 33.

表示手段24は、例えば、液晶ディスプレイ、有機ELディスプレイ、ドットマトリクス型のディスプレイであり、入力手段23から入力された命令や、それに対する情報処理装置2の応答出力等を表示するものである。特に、表示手段24は、ビス33の締め付けが正常であるか否かの判断結果を表示する。 The display means 24 is, for example, a liquid crystal display, an organic EL display, or a dot matrix display, and displays commands input from the input means 23, response outputs of the information processing apparatus 2 in response thereto, and the like. In particular, the display means 24 displays the judgment result as to whether or not the screws 33 are properly tightened.

バス26は、情報処理装置2内の情報の流れを司るものである。通信手段25はインターフェイス(I/F)であり、情報処理装置2は、この通信手段25を介してUSB等で接続され、内視鏡カメラ1と情報のやり取りを行う。 The bus 26 controls the flow of information within the information processing device 2 . The communication means 25 is an interface (I/F), and the information processing device 2 is connected via USB or the like via this communication means 25 to exchange information with the endoscope camera 1 .

なお、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。 It should be noted that software that implements the same functions as those of the above devices may be used as a substitute for hardware devices.

次に、締め付け確認システムの動作の流れについて、図11を用いて、説明する。なお、この締め付け確認システムの動作は、各ビス33について、独立して実行する。 Next, the operation flow of the tightening confirmation system will be described with reference to FIG. 11 . It should be noted that the operation of this tightening confirmation system is executed independently for each screw 33 .

作業員等のユーザが、内視鏡カメラ1の電源を入れて、ドライバー31を締め付け対象のビス33に近づけると、内視鏡カメラ1は、情報処理装置2に対し、ドライバー31の先端32付近の撮影情報に係る映像出力信号の出力を開始する(ステップS111)。 When a user such as a worker turns on the power of the endoscope camera 1 and brings the screwdriver 31 close to the screw 33 to be tightened, the endoscope camera 1 moves toward the information processing device 2 near the tip 32 of the screwdriver 31 . starts outputting a video output signal related to the photographing information (step S111).

情報処理装置2は、内視鏡カメラ1から受信した、ドライバー31の先端32付近の撮影情報に係る映像出力信号に基づいて、当該撮影情報に含まれるドライバー31の先端32の位置を特定する(ステップS112)。そして、特定したドライバー31の先端32の位置について、パターンマッチングを行い、ドライバー31の先端32が、ビス33の孔に正しく嵌ったか否かを判断する(ステップS113)。そして、ドライバー31の先端32が、ビス33の孔に正しく嵌った時点を(ステップS113で「YES」)、締め付けの開始時点とみなす(ステップS114)。 The information processing device 2 identifies the position of the tip 32 of the driver 31 included in the imaging information based on the image output signal related to the imaging information of the vicinity of the tip 32 of the driver 31 received from the endoscope camera 1 ( step S112). Then, pattern matching is performed on the specified position of the tip 32 of the driver 31, and it is determined whether or not the tip 32 of the driver 31 is correctly fitted into the hole of the screw 33 (step S113). The time when the tip 32 of the driver 31 is correctly fitted into the hole of the screw 33 ("YES" in step S113) is regarded as the start of tightening (step S114).

情報処理装置2は、内視鏡カメラ1から受信した、ドライバー31の先端32付近の撮影情報に係る映像出力信号に基づいて、撮影情報の回転ベクトルと回転方向を検出することで、ビス33及びドライバー31の角速度とその時間的変化、及びビス33及びドライバー31の「正か負か」の回転方向の検出を開始する(ステップS115)。 The information processing device 2 detects the rotation vector and the rotation direction of the imaging information based on the video output signal related to the imaging information near the tip 32 of the driver 31 received from the endoscope camera 1, thereby Detecting the angular velocity of the driver 31 and its temporal change, and the "positive or negative" rotational direction of the screw 33 and the driver 31 is started (step S115).

情報処理装置2は、作業員等のユーザがビス33の締め付けを開始後、締め付けが停止した場合、又は締め付けが所定の速度以下になった場合等に、内視鏡カメラ1から受信した、ドライバー31の先端32付近の撮影情報に係る映像出力信号に基づいて、当該撮影情報に含まれるブレーカ61に係る識別番号について、OCRを行う(ステップS116)。また、情報処理装置2は、OCRによって特定したブレーカ61に係る識別番号を、ドライバー31を使って現在締め付け中のビス33の識別情報として関連付ける(ステップS117)。 The information processing device 2 receives from the endoscope camera 1 the driver's OCR is performed on the identification number of the breaker 61 included in the photographing information based on the image output signal of the photographing information near the tip 32 of 31 (step S116). The information processing device 2 also associates the identification number associated with the breaker 61 identified by OCR as the identification information of the screw 33 currently being tightened using the driver 31 (step S117).

情報処理装置2は、検出したビス33及びドライバー31の角速度とその時間的変化、及び検出したビス33及びドライバー31の「正か負か」の回転方向を、締め付け中のビス33に関連付けた識別情報に対応させて、締め付け情報記憶領域223に記憶する(ステップS118)。 The information processing device 2 identifies the detected angular velocity of the screw 33 and the driver 31 and its temporal change, and the "positive or negative" rotational direction of the detected screw 33 and the driver 31 in association with the screw 33 being tightened. The information is stored in the tightening information storage area 223 (step S118).

情報処理装置2は、締め付け情報記憶領域223から呼び出した、締め付けの開始時点からのビス33及びドライバー31の角速度「dθ/dt」、角速度の時間的変化(t)に基づいて、積分「(dθ/dt)×t」を行い、ビス33及びドライバー31の回転量(θ)を算出する(ステップS119)。また、情報処理装置2は、算出したビス33及びドライバー31の回転量を、締め付け中のビス33に関連付けた識別情報に対応させて、締め付け情報記憶領域223に記憶する(ステップS120)。 The information processing device 2 reads from the tightening information storage area 223, the integral "(dθ /dt)×t" to calculate the amount of rotation (θ) of the screw 33 and the driver 31 (step S119). The information processing device 2 also stores the calculated rotation amounts of the screw 33 and the driver 31 in the tightening information storage area 223 in association with the identification information associated with the screw 33 being tightened (step S120).

今回、算出・記憶した回転量が、最初のものである場合には(ステップS121で「YES」、「A」でステップS112の前に戻る)、以後、この回転量を対比情報として使用する。作業員等のユーザが、ドライバー31を次の締め付け対象のビス33に近づけると、情報処理装置2は、ステップS112から処理を再び開始する。 If the rotation amount calculated and stored this time is the first one ("YES" in step S121, return to before step S112 in "A"), this rotation amount is used as comparison information thereafter. When a user such as a worker brings the screwdriver 31 close to the screw 33 to be tightened next, the information processing device 2 restarts the process from step S112.

一方、今回、算出・記憶した回転量が、最初のものでない場合には(ステップS121で「NO」)、情報処理装置2は、対比情報の算出後に算出した、今回のビス33の締め付けの回転量と、対比情報を比較し、今回のビス33の締め付けの回転量が、対比情報に基づく所定の範囲に含まれるか否かを判断する(ステップS122)。そして、判断結果をディスプレイ等の表示手段24上に表示する(ステップS123)。 On the other hand, if the amount of rotation calculated and stored this time is not the first one ("NO" in step S121), the information processing device 2 stores the rotation of the tightening of the screw 33 this time, which is calculated after the comparison information is calculated. The amount is compared with the comparison information, and it is determined whether or not the rotation amount of tightening of the screw 33 this time is within a predetermined range based on the comparison information (step S122). Then, the judgment result is displayed on the display means 24 such as a display (step S123).

以上のように、締め付け確認システムを構成することによって、分電盤内の端子台やブレーカ等にケーブルがビスによって適正に接続されているか、即ち、締め付けられているビスに緩みはないか、ビスの締め付けを忘れていないかを、作業員等のユーザの作業負担を増加させることなく、確認することができる。 As described above, by configuring the tightening confirmation system, it is possible to check whether the cable is properly connected to the terminal block, breaker, etc. in the distribution board with screws. It is possible to confirm whether or not the user has forgotten to tighten the bolt without increasing the work load on the user such as a worker.

また、その結果、ビスの緩みやビスの締め忘れ等による設備事故の発生を防止することができる。 As a result, it is possible to prevent the occurrence of equipment accidents due to loose screws, failure to tighten screws, and the like.

なお、上述した図11では、ステップS115の「ビス33等の角速度等の検出を開始」した後に、ステップS116の「識別番号のOCRを行う」とステップS117の「識別情報として関連付ける」を順に実行する順番を示したが、これは説明の便宜上のものであって、この順番に限定されるものではない。例えば、ステップS116及びS117は、ドライバー31の先端32がビス33の孔に正しく嵌り、締め付けの開始時点とみなした(ステップS114)後に実行し、その後、ステップS115の「ビス33等の角速度等の検出を開始」する順番としても良い。 In FIG. 11 described above, after "detection of the angular velocity of the screw 33, etc. is started" in step S115, "perform OCR of the identification number" in step S116 and "associate as identification information" in step S117 are executed in order. Although the order in which the steps are performed is shown, this is for convenience of explanation and is not limited to this order. For example, steps S116 and S117 are executed after the tip 32 of the driver 31 is correctly fitted into the hole of the screw 33 and the tightening is started (step S114). The order of "start detection" may also be used.

また、上述した図11では、ステップS116で「識別番号のOCRを行う」構成を示したが、OCRではなく、ニューラルネットワークを用いる構成の場合には、ステップS116は、「ニューラルネットワークを用いて、ブレーカ61に係る識別番号の認識を行う」こととなる。 Also, in FIG. 11 described above, step S116 shows a configuration in which "OCR of the identification number is performed", but in the case of a configuration in which a neural network is used instead of OCR, step S116 is "using a neural network, The identification number associated with the breaker 61 is recognized.

<変形例>
本実施の形態例1では、締め付け工具としてドライバー31を用いて、ビス33を締め付ける構成を示したが、この構成に限定されるものではない。例えば、締め付け工具としてインパクトレンチを用いて、六角ビスを締め付ける構成としても良い。また、締め付け工具としてスパナを用いてナットを締め付ける構成としても良い。これらの場合には、内視鏡カメラ1等のカメラを、六角ビス又はナット付近を撮影可能なように、インパクトレンチ又はスパナに設ける。
<Modification>
In Embodiment 1, the screwdriver 31 is used as a tightening tool to tighten the screw 33, but the structure is not limited to this. For example, an impact wrench may be used as the tightening tool to tighten the hexagonal screw. Moreover, it is good also as a structure which tightens a nut using a wrench as a tightening tool. In these cases, a camera such as the endoscope camera 1 is mounted on an impact wrench or spanner so as to photograph the vicinity of the hexagonal screw or nut.

また、本実施の形態例1では、最初に算出したビス締め付けの回転量を対比情報として、それ以降に算出したビス締め付けの回転量が、当該対比情報に基づく所定の範囲に含まれるか否かを判断する構成を示したが、この構成に限定されるものではない。 Further, in the first embodiment, the first calculated screw tightening rotation amount is used as comparison information, and whether or not the subsequently calculated screw tightening rotation amounts are included in a predetermined range based on the comparison information. Although the configuration for judging is shown, it is not limited to this configuration.

例えば、ビス締め付けが正常であると判断可能な回転量の範囲を対比情報として、記憶手段22内のいずれかの記憶領域に予め記憶させておく。そして、情報処理装置の制御手段は、この対比情報を記憶領域から呼び出して、算出したビス締め付けの回転量が、この対比情報に含まれるか否かを判断する構成としても良い。具体的には、全てビスについて正常に締め付けが完了したと判断された盤内の、各ビスの回転量に基づいて、標準偏差等を算出し、他の盤のビスの回転量の対比情報としてもよい。 For example, the range of the amount of rotation in which it can be determined that screw tightening is normal is stored in advance in one of the storage areas within the storage means 22 as comparison information. Then, the control means of the information processing apparatus may be configured to call this comparison information from the storage area and determine whether or not the calculated screw tightening rotation amount is included in this comparison information. Specifically, the standard deviation is calculated based on the amount of rotation of each screw in the board where it is determined that all screws have been tightened normally, and it is used as comparison information for the amount of rotation of screws on other boards. good too.

また例えば、ビス締め付けが正常であると判断可能な回転量の範囲を、対比情報として、記憶手段22内のいずれかの記憶領域に予め複数記憶させておく。情報処理装置の制御手段は、これらの対比情報を記憶領域から呼び出して、最初に算出したビス締め付けの回転量と比較し、一番近い対比情報を選択する。そして、制御手段は、それ以降に算出したビス締め付けの回転量が、選択した対比情報に係る所定の範囲に含まれるか否かを判断する構成としても良い。具体的には、同型のビス締め付け回転量の実績値(締め付けが正常に完了したと判断されたものに限る)を蓄積し、これらの学習情報を、対比情報としてもよい。 Further, for example, a plurality of rotation amount ranges in which it can be determined that screw tightening is normal are stored in advance in one of storage areas in the storage means 22 as comparison information. The control means of the information processing device retrieves this comparison information from the storage area, compares it with the screw tightening rotation amount calculated first, and selects the closest comparison information. Then, the control means may be configured to determine whether or not the screw tightening rotation amount calculated thereafter is within a predetermined range related to the selected comparison information. Specifically, actual values of screw tightening rotation amounts of the same type (limited to those determined to have been successfully tightened) may be accumulated, and learning information thereof may be used as comparison information.

また例えば、ビスの締め付けが正常であるか否かを、上述した実施の形態例1やその変形例のように、ビス締め付けの回転量によって判断する構成ではなく、ビスの締め付けの回転量の時間的変化によって判断する構成としても良い。 Further, for example, whether or not the screw tightening is normal is not determined by the amount of rotation of screw tightening, as in the first embodiment and its modification described above. It is also possible to adopt a configuration in which the determination is made based on the change in character.

ドライバーによるビスの締め付けは、通常、最後に必ず締め付けの速度が遅くなって止まる。そのため、図12に示すように、ビス及びドライバーの角速度(回転の速度)の時間的変化の最後(=締め付けの最後)について、回転量の変化が少なくなり、最後にゼロに近似しているか否かによって、ビスの締め付けが正常であるか否かを判断する構成としても良い。 Screw tightening with a screwdriver usually slows down and stops at the end. Therefore, as shown in FIG. 12, at the end of the temporal change in the angular velocity (speed of rotation) of the screw and driver (=the end of tightening), the change in the amount of rotation decreases and finally approaches zero. It is also possible to determine whether or not the screws are properly tightened depending on whether the screws are properly tightened.

また、制御手段21が、OCRによってブレーカ61に係る識別番号の特定を試みた場合、ブレーカ61に係る識別番号が記載されている領域や明るさの程度によっては、ブレーカ61に係る識別番号を特定できないことがある。 Further, when the control means 21 attempts to identify the identification number of the breaker 61 by OCR, the identification number of the breaker 61 may be identified depending on the area where the identification number of the breaker 61 is written and the degree of brightness. Sometimes I can't.

その場合、制御手段21は、ブレーカ61に係る識別番号の特定に失敗したビス33については、仮の識別情報を関連付けて、ビス33及びドライバー31の角速度等を、締め付け情報記憶領域223に記憶させておく。そしてその後、次に締め付けるビス33について、OCRによってブレーカ61に係る識別番号を特定し、識別情報の関連付けが成功した場合、当該識別情報と、ブレーカ61に係る識別番号の特定に失敗したビス33の1個前に締め付けが行われたビス33に係る識別情報に基づいて、ブレーカ61に係る識別番号の特定に失敗したビス33の識別情報を算出し、仮の識別情報に上書きして、締め付け情報記憶領域223に記憶させる。 In this case, the control means 21 associates provisional identification information with the screw 33 for which the identification number of the breaker 61 has failed, and stores the angular velocities of the screw 33 and the driver 31 in the tightening information storage area 223. Keep After that, for the next screw 33 to be tightened, the identification number associated with the breaker 61 is specified by OCR, and when the identification information is successfully associated, the identification information and the screw 33 for which the identification number associated with the breaker 61 failed to be specified are identified. The identification information of the screw 33 whose identification number related to the breaker 61 has failed to be specified is calculated based on the identification information of the screw 33 which was tightened one time before, and the temporary identification information is overwritten to obtain the tightening information. Store in the storage area 223 .

例えば、ブレーカ61に係る識別番号の特定に失敗したビス33の1個前に締め付けが行われたビス33に係る識別情報が「5」であり、ブレーカ61に係る識別番号の特定に失敗したビス33の1個後に締め付けが行われたビス33に係る識別情報が「9」の場合、制御手段21は、両識別情報の差分「4」を2で除して、「2」を算出する。この「2」を、1個前に締め付けが行われたビス33に係る識別情報「5」に加えて、ブレーカ61に係る識別番号の特定に失敗したビス33の識別情報「7」を算出し、仮の識別情報に上書きする。 For example, the identification information of the screw 33 tightened immediately before the screw 33 whose identification number related to the breaker 61 failed to specify is "5", and the screw whose identification number related to the breaker 61 failed to specify. When the identification information for the screw 33 tightened one after 33 is "9", the control means 21 divides the difference "4" between both pieces of identification information by 2 to calculate "2". This "2" is added to the identification information "5" of the previously tightened screw 33, and the identification information "7" of the screw 33 for which the identification number of the breaker 61 failed to be specified is calculated. , overwrite the temporary identification information.

また、本実施の形態例1では、情報処理装置2は、算出したビス33の回転量(最初のものではない)を、締め付け情報記憶領域223に記憶した上で、対比情報と比較する構成を示したが、この構成に限定されるものではない。例えば、情報処理装置2は、算出したビス33の回転量(最初のものではない)を、締め付け情報記憶領域223に記憶することなく、対比情報と比較する構成としても良い。 Further, in Embodiment 1, the information processing device 2 stores the calculated amount of rotation of the screw 33 (not the first one) in the tightening information storage area 223, and then compares it with the comparison information. Although shown, it is not limited to this configuration. For example, the information processing device 2 may be configured to compare the calculated rotation amount of the screw 33 (not the first one) with the comparison information without storing it in the tightening information storage area 223 .

1:内視鏡カメラ、11:レンズ部、12:カメラ部、13:信号処理部、14:光源部、15:本体部、
2:情報処理装置、21:制御手段、22:記憶手段、221:識別辞書記憶領域、222:ドライバー適正位置記憶領域、223:締め付け情報記憶領域、23:入力手段、24:表示手段、25:通信手段、26:バス
31:ドライバー、32:先端、33:ビス、
41:テープ、
5:折れ線グラフ、
6: 分電盤、61:ブレーカ、62:ケーブル、63:主幹用母線
1: endoscope camera, 11: lens section, 12: camera section, 13: signal processing section, 14: light source section, 15: main body section,
2: Information processing device 21: Control means 22: Storage means 221: Identification dictionary storage area 222: Driver appropriate position storage area 223: Tightening information storage area 23: Input means 24: Display means 25: communication means, 26: bus 31: driver, 32: tip, 33: screw,
41: Tape,
5: Line graph,
6: distribution board, 61: breaker, 62: cable, 63: main busbar

Claims (6)

ビス又はナットの締め付けが正常であることを確認する締め付け確認システムであって、
前記締め付け確認システムは、少なくとも、ビス又はナットを締め付ける締め付け工具に設けられたカメラと、
前記カメラと接続された情報処理装置を備え、
前記カメラは、前記締め付け工具の締め付け対象であるビス又はナット付近を、締め付け時に回転しながら撮影し、
前記情報処理装置は、前記カメラから受信した撮影情報を解析し、ビス又はナットの回転量に基づいて、各ビス又は各ナットの締め付け状況を確認する制御手段を有し、
前記制御手段は、前記カメラから受信した撮影情報を解析し、当該撮影情報の回転ベクトルと回転方向を検出することで、ビス又はナットの角速度と当該角速度の時間的変化を検出し、当該角速度と当該角速度の時間的変化に基づいて積分を行い、ビス又はナットの回転量を算出することを特徴とする、締め付け確認システム。
A tightening confirmation system for confirming that each screw or each nut is properly tightened,
The tightening confirmation system includes at least a camera provided on a tightening tool for tightening screws or nuts;
An information processing device connected to the camera,
The camera photographs the vicinity of the screw or nut to be tightened by the tightening tool while rotating during tightening ,
The information processing device has control means for analyzing the photographing information received from the camera and confirming the tightening status of each screw or each nut based on the amount of rotation of the screw or nut,
The control means analyzes the photographing information received from the camera, detects the rotation vector and the rotation direction of the photographing information, thereby detects the angular velocity of the screw or nut and the temporal change in the angular velocity, and detects the angular velocity and the change in the angular velocity. A tightening confirmation system, characterized in that integration is performed based on temporal changes in the angular velocity, and the amount of rotation of a screw or nut is calculated .
前記制御手段は、前記カメラから受信した撮影情報を解析し、前記締め付け工具の先端の位置を特定し、
前記特定した締め付け工具の先端の位置について、パターンマッチングを行い、前記締め付け工具の先端が、ビス又はナットの孔に正しく嵌ったか否かを判断し、
正しく嵌った時点を締め付け開始時点とみなし、
前記締め付け開始時点から、前記カメラから受信した撮影情報を解析し、当該撮影情報の回転ベクトルと回転方向を検出することで、ビス又はナットの角速度と当該角速度の時間的変化を検出し、当該角速度と当該角速度の時間的変化に基づいて積分を行い、ビス又はナットの回転量を算出することを特徴とする、請求項1に記載の締め付け確認システム。
The control means analyzes the photographing information received from the camera, identifies the position of the tip of the tightening tool,
Pattern matching is performed on the position of the tip of the identified tightening tool, and it is determined whether the tip of the tightening tool is correctly fitted into the hole of the screw or nut,
The time when it fits correctly is regarded as the time when tightening starts,
From the start of tightening, by analyzing the imaging information received from the camera and detecting the rotation vector and rotation direction of the imaging information, the angular velocity of the screw or nut and the temporal change in the angular velocity are detected, and the angular velocity is detected. 2. The tightening confirmation system according to claim 1 , wherein integration is performed based on temporal changes in said angular velocity and said angular velocity to calculate the amount of rotation of said screw or nut .
前記制御手段は、ビス又はナットの回転量の時間的変化の最後に、回転量の変化が少なくなり、最後にゼロに近似しているか否かによって、締め付け完了の有無を判断することを特徴とする、請求項1又は2に記載の締め付け確認システム。 The control means is characterized in that, at the end of the temporal change in the amount of rotation of the screw or nut, the change in the amount of rotation decreases and finally approaches zero, thereby determining whether or not tightening has been completed. The tightening confirmation system according to claim 1 or 2, wherein 前記制御手段は、最初に算出したビス又はナットの回転量を対比情報とし、
前記対比情報と、ビス又はナットの回転量が最初に算出された後に算出したビス又はナットの回転量を比較して、締め付け完了の有無を判断することを特徴とする、請求項1~3のいずれかに記載の締め付け確認システム。
The control means uses the initially calculated amount of rotation of the screw or nut as comparison information,
The comparison information is compared with the rotation amount of the screw or nut calculated after the rotation amount of the screw or nut is first calculated to determine whether or not tightening is completed. A tightening confirmation system according to any one of the preceding claims.
前記制御手段は、ビス又はナットの締め付けが正常であると判断可能な回転量と、ビス又はナットの回転量を比較して、締め付け完了の有無を判断することを特徴とする、請求項1~3のいずれかに記載の締め付け確認システム。 The control means compares the amount of rotation of the screw or nut with which it can be determined that the tightening of the screw or nut is normal and the amount of rotation of the screw or nut to determine whether or not the tightening is completed. 4. The tightening confirmation system according to any one of 3. 前記制御手段は、ビス又はナットの締め付けが正常であると判断可能な回転量に係る複数パターンと、最初のビス又はナットの回転量を比較して、最も近いパターンを選択し、
前記選択したパターンと、ビス又はナットの回転量が最初に算出された後に算出したビス又はナットの回転量を比較して、締め付け完了の有無を判断することを特徴とする、請求項1~3のいずれかに記載の締め付け確認システム。
The control means compares a plurality of patterns relating to the amount of rotation for which it can be determined that tightening of the screw or nut is normal with the first amount of rotation of the screw or nut, and selects the closest pattern,
Claims 1 to 3, wherein the selected pattern is compared with the amount of rotation of the screw or nut calculated after the amount of rotation of the screw or nut is first calculated to determine whether or not tightening is completed. A tightening confirmation system according to any one of
JP2018194502A 2018-10-15 2018-10-15 Tightening confirmation system and method using the tightening confirmation system Active JP7170493B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018194502A JP7170493B2 (en) 2018-10-15 2018-10-15 Tightening confirmation system and method using the tightening confirmation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018194502A JP7170493B2 (en) 2018-10-15 2018-10-15 Tightening confirmation system and method using the tightening confirmation system

Publications (2)

Publication Number Publication Date
JP2020062697A JP2020062697A (en) 2020-04-23
JP7170493B2 true JP7170493B2 (en) 2022-11-14

Family

ID=70388038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018194502A Active JP7170493B2 (en) 2018-10-15 2018-10-15 Tightening confirmation system and method using the tightening confirmation system

Country Status (1)

Country Link
JP (1) JP7170493B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014117778A (en) 2012-12-17 2014-06-30 Toyota Motor Corp Nut runner
JP2015229210A (en) 2014-06-04 2015-12-21 パナソニックIpマネジメント株式会社 Control device, and work management system using the former
US20170228891A1 (en) 2014-08-07 2017-08-10 Ubisense Limited Determination of Toolpiece Position
JP2018108619A (en) 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 Power tool

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014117778A (en) 2012-12-17 2014-06-30 Toyota Motor Corp Nut runner
JP2015229210A (en) 2014-06-04 2015-12-21 パナソニックIpマネジメント株式会社 Control device, and work management system using the former
US20170228891A1 (en) 2014-08-07 2017-08-10 Ubisense Limited Determination of Toolpiece Position
JP2018108619A (en) 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 Power tool

Also Published As

Publication number Publication date
JP2020062697A (en) 2020-04-23

Similar Documents

Publication Publication Date Title
JP4784752B2 (en) Image processing device
CN105979134B (en) Image processing apparatus, image processing method, and image processing system
JP5701005B2 (en) Object detection apparatus, object detection method, surveillance camera system, and program
JP3394278B2 (en) Visual sensor coordinate system setting jig and setting method
JP3516127B2 (en) Image processing method and apparatus
JP7170493B2 (en) Tightening confirmation system and method using the tightening confirmation system
JPWO2021065658A5 (en)
KR100647750B1 (en) Image processing apparatus
KR102566120B1 (en) Apparatus and method for evaluating a surround-view image for a vehicle
WO2019187229A1 (en) Equipment monitoring system
JP2008009938A (en) Moving image data processor, moving image data processing method, moving image data processing program and storage medium recording the program
US20200347579A1 (en) Tip attachment discrimination device
WO2021177245A1 (en) Image processing device, work instruction creating system, and work instruction creating method
CN111174706A (en) Floor installation detection method, electronic device and storage medium
KR100936442B1 (en) A Car information Reading System and A Car Information Reading Method Thereof
WO2022249249A1 (en) Video analysis device, video analysis system, and storage medium
JP2950544B2 (en) Image processing method in visual sensor system
US20240054610A1 (en) Image generation device, robot control device and computer program
US7315650B2 (en) Image processor
JP3753500B2 (en) Electronic component mounting method and electronic component mounting machine
CN108733205B (en) Gesture image acquisition equipment and method
JP2001175865A (en) Image processing method and its device
JP2024032411A (en) Feature generation method
JP2022070512A (en) Work management system and generation method of teacher data
JP2003016459A (en) Method for detecting visual field direction deviation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221101

R150 Certificate of patent or registration of utility model

Ref document number: 7170493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150