JP2020041290A - Optimal compaction determination construction system for concrete - Google Patents

Optimal compaction determination construction system for concrete Download PDF

Info

Publication number
JP2020041290A
JP2020041290A JP2018167811A JP2018167811A JP2020041290A JP 2020041290 A JP2020041290 A JP 2020041290A JP 2018167811 A JP2018167811 A JP 2018167811A JP 2018167811 A JP2018167811 A JP 2018167811A JP 2020041290 A JP2020041290 A JP 2020041290A
Authority
JP
Japan
Prior art keywords
concrete
compaction
unit
image
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018167811A
Other languages
Japanese (ja)
Other versions
JP7219910B2 (en
Inventor
茂美 長田
Shigemi Osada
茂美 長田
俊斉 林
Toshinari Hayashi
俊斉 林
齋藤 淳
Atsushi Saito
淳 齋藤
亮一 ▲高▼木
亮一 ▲高▼木
Ryoichi Takagi
谷口 裕史
Hirofumi Taniguchi
裕史 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanazawa Institute of Technology (KIT)
Hazama Ando Corp
Original Assignee
Kanazawa Institute of Technology (KIT)
Hazama Ando Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanazawa Institute of Technology (KIT), Hazama Ando Corp filed Critical Kanazawa Institute of Technology (KIT)
Priority to JP2018167811A priority Critical patent/JP7219910B2/en
Publication of JP2020041290A publication Critical patent/JP2020041290A/en
Application granted granted Critical
Publication of JP7219910B2 publication Critical patent/JP7219910B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • On-Site Construction Work That Accompanies The Preparation And Application Of Concrete (AREA)

Abstract

To enable anyone to easily and accurately determine the compaction of concrete when the concrete placed in a form is compacted without requiring complicated handling and to predict the condition with high accuracy.SOLUTION: An optimal compaction determination construction system for concrete, comprises: a video camera (imaging means) 5 for obtaining an image of concrete; an image feature amount calculation unit 24 which calculates, on the basis of the image acquired from the video camera 5, a numerical vector that is a feature amount relating to the degree of compaction of concrete by using machine learning; a learning unit 25 for deriving a predicted value of a numerical value representing the degree of compaction of concrete by using machine learning on the basis of the numerical vector calculated by the image feature amount calculation unit 24; and a compaction determination unit 27 that calculates a predicted value from the learning unit 25 to determine the compaction.SELECTED DRAWING: Figure 1

Description

本発明は、フレッシュコンクリートを締固める際に、最適な締固め状態を判定するコンクリートの最適締固め判定施工システムに関する。   The present invention relates to a concrete compaction determination execution system for determining an optimum compaction state when compacting fresh concrete.

通常、フレッシュコンクリートを締固める際は、運搬時、打込み時に巻き込んだ空気をコンクリートから除去し、鉄筋や埋設物などをコンクリートとよく密着させ、コンクリートを均一で密実にすることが求められる。一般に、コンクリートの締固めは、型枠内に打込まれたコンクリートにバイブレータを挿入し振動を加えることで行われている。また、この場合、コンクリートの十分な締固めの判断、つまり、締固めの判定は、ベテランの作業員や技術者のコンクリート表面に対する目視判断によって行われている。この振動締固めが十分になされることにより、コンクリートを型枠、鉄筋の隅々まで密に充填し、かつコンクリートの内部及び表面の気泡などの空隙をなくして、強度、水密性、耐久性に優れたコンクリートを作ることができる。   Normally, when compacting fresh concrete, it is required to remove air entrapped at the time of transportation and driving from the concrete, to make steel bars and buried objects adhere to the concrete well, and to make the concrete uniform and dense. Generally, compaction of concrete is performed by inserting a vibrator into concrete poured into a formwork and applying vibration. Also, in this case, the determination of sufficient compaction of the concrete, that is, the determination of compaction, is made by a veteran worker or technician by visually determining the concrete surface. Due to this vibration compaction, concrete is filled tightly to every corner of the formwork and reinforcing bars, and voids such as air bubbles inside and on the surface of concrete are eliminated, improving strength, watertightness and durability. Excellent concrete can be made.

なお、コンクリートの十分な締固めに関し、一般的な指針として、コンクリート標準示方書では「振動締固めが十分である証拠の一つは、コンクリートとせき板との接触面にセメントペーストの線が現れることである。また、コンクリートの容積の減っていくのが認められなくなり、表面に光沢が現れてコンクリート全体が均一に溶け合ったように見えること等から分かる。」と記載されている。   As a general guideline for adequate compaction of concrete, the concrete standard specification states that "one of the evidence that vibration compaction is sufficient is that a line of cement paste appears on the interface between the concrete and the dam. In addition, it can be seen from the fact that the volume of the concrete is no longer reduced, the surface of the concrete appears glossy, and the whole concrete appears to be melted uniformly. "

また、従来においては、作業員の個人的技量に左右されないで、打設コンクリートの所要の品質を確保することを目的としたコンクリートの締固め方法が特許文献1により提案され、また、カメラ撮影や、距離センサによる計測技術により打設コンクリートの締固め判定を行う技術が特許文献2及び特許文献3により提案されている。   Conventionally, a concrete compaction method for ensuring the required quality of cast concrete without being affected by the personal skills of workers has been proposed by Patent Document 1, and it has also been proposed to use camera photography and In addition, Patent Literature 2 and Patent Literature 3 propose a technique for determining compaction of cast concrete by a measurement technique using a distance sensor.

上記特許文献1のコンクリートの締固め方法では、打設するコンクリートの型枠底部に浮揚式バイブレータを設置し、型枠内にコンクリートを所定高さになるように打設するとともに、バイブレータ付近のコンクリート圧に応じてバイブレータを振動させながらコンクリート内を上方へ浮上させることにより、打設コンクリートを下部から上方へ向けて締固める。   In the concrete compaction method of Patent Document 1, a floating vibrator is installed at the bottom of a concrete form to be poured, and concrete is poured into the form so as to have a predetermined height. By levitation in the concrete while vibrating the vibrator according to the pressure, the cast concrete is compacted upward from the lower part.

この場合、バイブレータは、型枠内に打設するコンクリートが所定厚さに達すると、圧力センサーにより検出されるコンクリート圧の検出信号により原動機が駆動し、これにより、バイブレータは所定周波数で振動して周囲のコンクリートを締固めるとともに、バイブレータとコンクリートとの摩擦抵抗を減少させる。また、バイブレータのかさ比重がコンクリートの比重より軽量に形成されているので、バイブレータとコンクリートとの摩擦抵抗の減少に伴ってバイブレータに公知の浮力が発生し、バイブレータは振動して周囲のコンクリートを締固めながら上方へ上昇する。そして、バイブレータがコンクリートの上面に位置すると、コンクリート圧が0値の検出信号が圧力センサーから原動機へ送電され、バイブレータが停止してコンクリートの締固めが終了する。   In this case, when the concrete to be poured into the formwork reaches a predetermined thickness, the prime mover is driven by a detection signal of the concrete pressure detected by the pressure sensor, whereby the vibrator vibrates at a predetermined frequency. Compacts the surrounding concrete and reduces the frictional resistance between the vibrator and the concrete. Also, since the bulk specific gravity of the vibrator is formed to be lighter than the specific gravity of the concrete, a known buoyancy is generated in the vibrator as the frictional resistance between the vibrator and the concrete decreases, and the vibrator vibrates to tighten the surrounding concrete. Ascends and rises upward. When the vibrator is positioned on the upper surface of the concrete, a detection signal having a concrete pressure of 0 is transmitted from the pressure sensor to the prime mover, the vibrator is stopped, and the compaction of the concrete is completed.

このようにこのコンクリートの締固め方法では、浮揚式バイブレータを用いることにより、コンクリートの締固め作業を自動化して、従来の重作業から解放することができ、コンクリートの締固め度合いが個人的技量に依存されないため、施工の信頼性を向上させることができる、としている。   Thus, in this concrete compaction method, by using a floating vibrator, the concrete compaction work can be automated and released from conventional heavy work, and the degree of concrete compaction can be reduced to personal skill. It does not rely on it, so it can improve the reliability of construction.

上記特許文献2のコンクリートの締固め判定を行う技術は、コンクリート内部に挿入したバイブレーターで振動を加えること等によって、締固め作業を行う。ここで、あらかじめ設定した所定の時間間隔でバイブレーターを一時的に停止し、形状データ取得手段(カメラ等)によりコンクリートの表面Sの形状データを取得する。平滑度検出手段による形状データ解析によって、表面の凹凸形状が把握され、取得した表面の平滑度が検出される。検出した平滑度に基づいて締固め度判定手段がコンクリートの締固め度を定量的に判定する。この結果、所定の締固め度に達したら、締固め完了と判定する、としている。   In the technique for determining compaction of concrete disclosed in Patent Document 2, compaction work is performed by applying vibration with a vibrator inserted into the concrete. Here, the vibrator is temporarily stopped at a predetermined time interval set in advance, and the shape data of the concrete surface S is obtained by the shape data obtaining means (camera or the like). By the shape data analysis by the smoothness detecting means, the uneven shape of the surface is grasped, and the acquired smoothness of the surface is detected. Compaction degree determination means quantitatively determines the compaction degree of concrete based on the detected smoothness. As a result, when a predetermined degree of compaction is reached, it is determined that compaction is completed.

また、上記特許文献3のコンクリートの締固め判定を行う技術は、光線を対象物に投射して、点群データの集合である3次元距離データを取得する3次元距離センサと、取得された前記3次元距離データを、3次元直交座標に基づく点群データに変換する座標変換部と、変換された点群データから、平面として認識される点群を抽出する平面抽出部と、抽出された平面を構成する点群の点群数を計算する点群数計算部と、計算された点群数が閾値以上であるか否かを判定する判定部と、を備えた判定システムにおいて、前記判定部で点群数が閾値以上であるときコンクリートの締固めが完了したことを判定する、としている。   Further, the technology for determining compaction of concrete disclosed in Patent Document 3 discloses a three-dimensional distance sensor that projects a light ray on an object to acquire three-dimensional distance data that is a set of point cloud data, A coordinate conversion unit that converts three-dimensional distance data into point cloud data based on three-dimensional orthogonal coordinates; a plane extraction unit that extracts a point cloud recognized as a plane from the converted point cloud data; A point group number calculation unit for calculating the number of point clouds of the point group constituting, and a determination unit for determining whether the calculated number of point groups is equal to or greater than a threshold value, the determination system comprising: When the number of point groups is equal to or greater than the threshold value, it is determined that the compaction of concrete has been completed.

特開平4−357274号公報JP-A-4-357274 特開2017−025609号公報JP-A-2017-025609 特開2017−053084号公報JP 2017-053084 A

しかしながら、従来のコンクリートの締固めの判定は、ベテランの作業員や技術者のコンクリート表面に対する目視判断によって行われており、その判断基準が作業員や技術者の経験、技量などに依存するため、適切に判断できる者が限られており、また他面で、作業員、技術者間で判定結果に個人差が生じることがあり、さらにはコンクリート内部における振動の伝播状況までは把握できないことから、コンクリートの仕上がり品質にばらつきが生じるおそれがある、という問題がある。   However, the conventional determination of compaction of concrete is performed by visual judgment of veteran workers and technicians on the concrete surface, and the criterion depends on the experience and skills of the workers and technicians, The number of people who can judge properly is limited, and on the other side, there may be individual differences in judgment results between workers and technicians, and furthermore, it is not possible to grasp the state of propagation of vibration inside concrete, There is a problem that the finish quality of concrete may vary.

また、特許文献1のコンクリートの締固め方法では、作業員の個人的技量に左右されない点で利点があるものの、バイブレータ自体が浮上するものであるため、コンクリートの締固めの判定がコンクリート内のバイブレータの挿入位置のみの判定に留まり、また、この場合も、コンクリート内部における振動の伝播状況までは把握することができないことから、コンクリートの仕上がり品質にばらつきが生じるおそれがある、という問題がある。   Moreover, although the concrete compaction method of Patent Document 1 has an advantage in that it is not affected by the personal skills of the worker, the vibrator itself floats, and thus the determination of concrete compaction is made by the vibrator in the concrete. In this case, there is a problem that the quality of the finished concrete may vary, because it is not possible to ascertain the state of propagation of the vibration inside the concrete.

また、特許文献2のコンクリートの締固め判定方法では、打設したコンクリートの判定画像を取得するために、あらかじめ設定した所定の時間間隔でバイブレーターを一時的に停止し、形状データ取得手段(カメラ等)によりコンクリートの表面Sの形状データを取得するため、作業が中断される、という問題がある。   In the concrete compaction determination method disclosed in Patent Document 2, the vibrator is temporarily stopped at a predetermined time interval set in advance in order to acquire a determination image of cast concrete, and shape data acquisition means (camera or the like) is used. ), The work is interrupted because the shape data of the surface S of the concrete is acquired.

また、特許文献3のコンクリートの締固め判定方法では、カメラ等の撮影方法を用いていないこと、及び、3次元距離データを、3次元直交座標に基づく点群データに変換し、その点群データとコンクリートの締固め具合との関係を表す閾値を予め設計することなど、人間(設計者)による事前の作業に手間がかかる、という問題がある。   Further, in the method for determining compaction of concrete disclosed in Patent Document 3, no photographing method such as a camera is used, and three-dimensional distance data is converted into point cloud data based on three-dimensional rectangular coordinates, and the point cloud data is converted. There is a problem that it takes time and effort for a human (designer) to perform a preliminary operation, such as designing a threshold value indicating the relationship between the concrete and the degree of compaction of concrete in advance.

本発明は、このような従来の問題を解決するものであり、その目的は、コンクリートの締固めの判定を、ベテランの作業員や技術者のコンクリート表面に対する目視判断と同様な操作によるコンクリートの締固めの判定を、コンピュータ化して、コンクリートの締固め判定に作業員や技術者の経験や技量などの個人差を排除したコンクリートの最適締固め判定施工システムを提供することである。   The present invention solves such a conventional problem, and an object of the present invention is to determine the compaction of concrete by performing the same operation as a visual judgment on a concrete surface by a veteran worker or a technician. An object of the present invention is to provide a concrete compaction determination and execution system in which the compaction determination is computerized and the concrete compaction determination eliminates individual differences in the experience and skills of workers and technicians.

本発明の第2の目的は、コンピュータによるコンクリートの締固め判定処理を最適化し、品質の高い締固め判定ができるコンクリートの最適締固め判定施工システムを提供することである。   A second object of the present invention is to provide an optimum concrete compaction judging system capable of optimizing concrete compaction judging processing by a computer and performing high-quality compaction judgment.

上記目的を達成するために、本発明は、打設されたコンクリートに挿入されて当該コンクリートに振動を与え、コンクリートの締固めを行うバイブレータと、前記締固めされるコンクリートの画像を取得する撮影手段と、前記撮影手段から取得された画像を基に、機械学習を用いて前記対象物の締固め具合に関する特徴量である数値列を算出する画像特徴量算出部と、前記撮影手段から取得された画像と前記画像特徴量算出部によって算出された前記数値列との関係を、機械学習を用いて学習するとともに、前記コンクリートの締固め具合を表す数値の予測値を導出する学習部と、学習部からの予測値を演算して締固め判定を行う締固め判定部と、を備えるコンクリートの最適締固め判定システムを要旨とする。前記締固め判定システムにおいて、前記学習部は、前記予測値として、前記コンクリートの表面状態に関する数値の予測値を導出してもよい。   In order to achieve the above object, the present invention provides a vibrator that is inserted into cast concrete to apply vibration to the concrete and compacts the concrete, and a photographing unit that acquires an image of the compacted concrete And an image feature amount calculation unit that calculates a numerical sequence that is a feature amount related to the degree of compaction of the object using machine learning based on the image obtained from the shooting unit, and A learning unit that learns, using machine learning, a relationship between an image and the numerical sequence calculated by the image feature amount calculation unit, and derives a predicted value of a numerical value representing the degree of compaction of the concrete; and a learning unit. A compaction determination system for concrete, comprising: a compaction determination unit that performs a compaction determination by calculating a predicted value from the above. In the compaction determination system, the learning unit may derive a predicted value of a numerical value related to a surface state of the concrete as the predicted value.

本発明はまた、撮影手段を用いて、打設されたコンクリートの表面の画像を取得し、画像特徴量算出部により、前記撮影手段から取得された画像を基に、機械学習を用いて前記コンクリートの締固め具合に関する特徴量である数値列を算出し、学習部により、前記画像特徴量算出部によって算出された前記数値列を基に、機械学習を用いて前記対象物の締固め具合を表す数値の予測値を導出し、締固め判定部により、学習部からの予測値を演算して締固め判定を行うコンクリートの最適締固め判定方法を要旨とする。   The present invention also obtains an image of the surface of the poured concrete by using a photographing means, and, based on the image obtained from the photographing means, by an image feature amount calculating unit, uses the machine learning to execute the concrete. A numerical value sequence, which is a feature amount related to the degree of compaction, is calculated, and the learning unit represents the degree of compaction of the object using machine learning based on the numerical value sequence calculated by the image feature amount calculating unit. The gist is an optimal compaction determination method for concrete in which a predicted value of a numerical value is derived, and a compaction determination unit calculates a predicted value from a learning unit to perform compaction determination.

本発明はさらに、打設されたコンクリートに挿入されて当該コンクリートに振動を与え、コンクリートの締固めを行うバイブレータと、前記締固めされるコンクリートの画像を取得する撮影手段と、打設されたコンクリートに対して、バイブレータを昇降動作および位置変更動作を行わせるバイブレータ駆動手段と、前記締固めされるコンクリートに対して、撮影手段を昇降動作および位置変更動作を行わせる撮影手段駆動手段と、前記撮影手段から取得された画像を基に、機械学習を用いて前記対象物の締固め具合に関する特徴量である数値列を算出する画像特徴量算出部と、前記撮影手段から取得された画像と前記画像特徴量算出部によって算出された前記数値列との関係を、機械学習を用いて学習するとともに、前記コンクリートの締固め具合を表す数値の予測値を導出する学習部と、学習部からの予測値を演算して締固め判定を行う締固め判定部と、前記バイブレータ駆動手段および前記撮影手段駆動手段を駆動制御する動作制御部と、を備えるコンクリートの最適締固め判定施工システムを要旨とする。   The present invention further provides a vibrator that is inserted into the cast concrete to vibrate the concrete to compact the concrete, a photographing means for acquiring an image of the compacted concrete, A vibrator driving means for performing a raising / lowering operation and a position changing operation of the vibrator; a photographing means driving means for performing a raising / lowering operation and a position changing operation of the photographing means with respect to the compacted concrete; Based on the image obtained from the means, an image feature amount calculation unit that calculates a numerical sequence that is a feature amount related to the degree of compaction of the object using machine learning, an image obtained from the imaging unit and the image The relationship with the numerical sequence calculated by the feature amount calculation unit is learned using machine learning, and the concrete compaction is performed. A learning unit that derives a predicted value of a numerical value representing the degree of compaction, a compaction determination unit that calculates a predicted value from the learning unit and performs compaction determination, and controls driving of the vibrator driving unit and the photographing unit driving unit. And an operation control unit.

本発明のコンクリートの最適締固め判定施工システムによれば、型枠内に打込まれたコンクリートにバイブレータを挿入し振動を加えてコンクリートを締固めるに当り、AI(Artifical Intelligence)の機械学習機能を用いてコンクリートの締固め具合を予測して締固め判定に活用するようにしたため、コンクリートの締固め判定に作業員や技術者の経験や技量などの個人差を排除したコンクリートの最適締固め判定および施工を行うことができる。また、コンピュータによるコンクリートの締固め判定処理を最適化し、品質の高い締固め判定ができる。   ADVANTAGE OF THE INVENTION According to the optimal compaction determination execution system of the concrete of this invention, when inserting a vibrator into the concrete poured into the formwork and applying a vibration to compact the concrete, the machine learning function of AI (Artificial Intelligence) is used. It is used to predict the degree of compaction of concrete and utilize it for compaction judgment.Therefore, in compaction judgment of concrete, the optimal compaction judgment of concrete excluding individual differences such as the experience and skills of workers and technicians and Construction can be performed. In addition, the compaction determination processing of the concrete by the computer is optimized, and the compaction determination of high quality can be performed.

本発明の一実施の形態に係るコンクリートの最適締固め判定施工システムの全体を示す構成図である。It is a lineblock diagram showing the whole concrete compaction judging construction system concerning one embodiment of the present invention. 上記実施の形態における制御装置に備えられたコンピュータのハードウェア構成の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of a hardware configuration of a computer provided in the control device according to the embodiment. 上記図2に示された制御装置の機能的構成を表す機能ブロック図である。FIG. 3 is a functional block diagram illustrating a functional configuration of the control device illustrated in FIG. 2. 上記実施の形態にかかる締固め判定施工システムの制御装置による締固め判定及び施工制御の処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure of compaction determination and construction control by the control apparatus of the compaction determination construction system concerning the said embodiment. 上記実施の形態の学習動作で採用されるCNNによる動作手順の一例を示す処理流れ図である。It is a process flowchart which shows an example of the operation | movement procedure by CNN employ | adopted by the learning operation | movement of said Embodiment. 上記実施の形態において、画像取得部により取得されるラベル付きフレーム画像が締固め操作により時間経過とともに変化する様子を示す図である。FIG. 7 is a diagram illustrating a state in which a labeled frame image acquired by an image acquiring unit changes with time by a compaction operation in the embodiment. 上記実施の形態において、フレッシュ性の異なる3種類のコンクリートに対し、締固め試験を実施したときの締固め判定結果の良否を表す図である。It is a figure showing the quality of the compaction judgment result when the compaction test is performed to three kinds of concretes with different freshness in the above-mentioned embodiment.

次に、この発明を実施するための形態について図を用いて説明する。図1は本発明の一実施の形態に係るコンクリートの最適締固め判定施工システム(以下、単に「締固め判定施工システム」という)の全体を示す構成図である。図1に示すように、この締固め判定施工システム1は、コンクリート2を収容する型枠3と、型枠3内において、コンクリート2に挿入されるバイブレータ4と、締固め作業中にバイブレータ4の挿入位置付近のコンクリート2の面を撮影する撮影手段としてのビデオカメラ5と、ビデオカメラ5に接続され、当該ビデオカメラ5からの撮影信号を取得して各種データ処理を行う制御装置6とを備えて成る。   Next, an embodiment for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram showing an entire concrete compaction determination execution system (hereinafter, simply referred to as “compaction determination execution system”) according to an embodiment of the present invention. As shown in FIG. 1, this compaction determination construction system 1 includes a form 3 for accommodating concrete 2, a vibrator 4 inserted into the concrete 2 in the form 3, and a vibrator 4 during compaction work. The camera includes a video camera 5 as a photographing means for photographing the surface of the concrete 2 near the insertion position, and a control device 6 connected to the video camera 5 to acquire a photographing signal from the video camera 5 and perform various data processing. Consisting of

バイブレータ4は、当該バイブレータ4を懸架支持する支持棒7の先端(下端)に取り付けられている。ビデオカメラ5は、当該ビデオカメラ5を懸架支持するカメラ支持棒8の先端(下端)に取り付けられている。支持棒7およびカメラ支持棒8はそれぞれ、別々のレール(図示してない)に移動可能に連結され、型枠3の平面区域内部で駆動装置によって移動されるようになっている。支持棒7には昇降機(図示してない)が取り付けられており、この昇降機により支持棒7を上下方向へ運動させることによりバイブレータ4をコンクリート2に対して上下方向へ運動させるようになっている。また、カメラ支持棒8にも別のカメラ昇降部材(図示してない)が取り付けられており、このカメラ昇降部材によりカメラ支持棒8を上下方向へ運動させることによりビデオカメラ5をコンクリート2の面に対して上下方向へ運動させてコンクリート2の面からの高さ調整ができるようになっている。また、ビデオカメラ5は、位置および高さ調整により、バイブレータ4から30cm(センチメートル)程度の範囲のコンクリート2の面を撮影するように設定されている。   The vibrator 4 is attached to the tip (lower end) of a support rod 7 that suspends and supports the vibrator 4. The video camera 5 is attached to the tip (lower end) of a camera support rod 8 that suspends and supports the video camera 5. The support bar 7 and the camera support bar 8 are each movably connected to separate rails (not shown) and are moved by a drive inside the planar area of the formwork 3. A lift (not shown) is attached to the support rod 7, and the vibrator 4 is moved vertically with respect to the concrete 2 by moving the support rod 7 vertically by the lift. . Further, another camera elevating member (not shown) is also attached to the camera support rod 8, and the video camera 5 is moved up and down by the camera elevating member so that the video camera 5 is moved to the surface of the concrete 2. The height of the concrete 2 from the surface can be adjusted by moving it up and down. The video camera 5 is set so as to photograph the surface of the concrete 2 within a range of about 30 cm (centimeter) from the vibrator 4 by adjusting the position and the height.

上述の通り、ビデオカメラ5と制御装置6とは接続関係にあるが、この接続関係は、ビデオカメラ5と制御装置6とが図1中符号9で示されるような信号線により接続されていてもよいし、或いはビデオカメラ5と制御装置6とが公衆通信ネットワーク(インターネット等)や近距離簡易通信システム(ブルーツース等)により接続されていてもよい。また、ビデオカメラ5にはレーザー距離計のような距離測定手段が搭載され、コンクリート2の打設面とビデオカメラ5との距離を計測して取得画像の縮尺の相違に対応するようになっている。縮尺対応は取得画像の中にスケールを入れることによっても行うことができる。この締固め判定施工システム1では、機械学習により対象物としてのコンクリート2の締固め具合が予測され、締固めの完了が判定される。なお、撮影手段としては、上記ビデオカメラ5以外にも、ディジタルカメラ、3D距離センサなど、2次元配列画像のキャプチャが行われるものであれば採用可能である。   As described above, the video camera 5 and the control device 6 are in a connection relationship, and this connection relationship is such that the video camera 5 and the control device 6 are connected by a signal line indicated by reference numeral 9 in FIG. Alternatively, the video camera 5 and the control device 6 may be connected by a public communication network (such as the Internet) or a short-distance simple communication system (such as Bluetooth). Further, the video camera 5 is equipped with a distance measuring means such as a laser distance meter, and measures the distance between the concrete camera 2 and the video camera 5 to correspond to the difference in the scale of the acquired image. I have. Scale correspondence can also be performed by putting a scale in the acquired image. In the compaction determination execution system 1, the degree of compaction of the concrete 2 as an object is predicted by machine learning, and completion of compaction is determined. In addition, other than the video camera 5 described above, a digital camera, a 3D distance sensor, or any other means capable of capturing a two-dimensional array image can be used as the image capturing means.

本実施形態で使用する機械学習は、画像或いは画像特徴とコンクリートの締固め具合に関する既知の数値列との集合である学習データを学習することで、画像或いは画像特徴を数値列に変換するパターン変換関数を獲得し、そのパターン変換関数を用いて未知の値を予測する処理である。本実施形態では、数値列である教師データを用い、その教師データから得られたパターン変換関数を用いて将来の時点における値を予測する。なお、数値列とは、コンクリート2に関する現象の様々な観測値によって得られた数値の系列であり、その現象をある規則に基づいて観測することにより得られた数値の系列である。本実施形態では、教師データとして、締固め未完了(before)、或いは締固め完了(just)という情報を付与した画像を用いる。機械学習の一例として、畳み込みニューラルネットワーク(Convolution Neural Network: 以下、「CNN」という。)があり、本実施の形態においてはこのニューラルネットワークにおける深層学習(Deep Learning)用いた例を説明する。   The machine learning used in the present embodiment is a pattern conversion for converting an image or an image feature into a numerical sequence by learning learning data which is a set of an image or an image feature and a known numerical sequence regarding the degree of compaction of concrete. This is a process of acquiring a function and predicting an unknown value using the pattern conversion function. In the present embodiment, a value at a future time point is predicted using teacher data as a numerical sequence and a pattern conversion function obtained from the teacher data. It should be noted that the numerical sequence is a sequence of numerical values obtained by various observation values of the phenomenon regarding the concrete 2, and is a sequence of numerical values obtained by observing the phenomenon based on a certain rule. In the present embodiment, an image to which information of compaction not completed (before) or compaction completed (just) is added as teacher data. As an example of machine learning, there is a Convolutional Neural Network (hereinafter, referred to as “CNN”). In the present embodiment, an example using deep learning (Deep Learning) in this neural network will be described.

なお機械学習の他の例としては、リカレントニューラルネットワーク(RNN Recurrent Neural Network)、多層パーセプトロン(MLP Multilayer Perceptron)、サポートベクターマシン(SVM Support Vector Machine)、あるいはそのSVMを回帰に対応させたサポートベクター回帰(SVR Support Vector Regression)、決定木学習,相関ルール学習,ベイジアンネットワークなどが挙げられ、本実施の形態に係る締固め判定施工システム1は、その有用性に応じてこれらのアルゴリズムのいずれかを用いてもよい。   Other examples of machine learning include a recurrent neural network (RNN Recurrent Neural Network), a multi-layer perceptron (MLP Multilayer Perceptron), a support vector machine (SVM Support Vector Machine), or a regression corresponding to the SVM support regression. (SVR Support Vector Regression), decision tree learning, association rule learning, Bayesian network, and the like. The compaction determination execution system 1 according to the present embodiment uses any of these algorithms according to its usefulness. You may.

本実施の形態に係る締固め判定施工システム1が予測する対象としては、打設されたコンクリート2の締固め具合としてコンクリート2の表面の態様が挙げられる。   An object to be predicted by the compaction determination execution system 1 according to the present embodiment includes an aspect of the surface of the concrete 2 as the compaction degree of the concrete 2 that has been cast.

締固め判定施工システム1は、ビデオカメラ5で取得された画像信号が信号線9或いは通信ネットワークを介して制御装置6によって取得可能に構成されている。また、バイブレータ4の移動及び昇降動作が制御装置6から送られた制御信号によって制御可能に構成されている。さらに、ビデオカメラ5の移動及び昇降動作が制御装置6から送られた制御信号によって制御可能に構成されている。   The compaction determination execution system 1 is configured so that an image signal acquired by the video camera 5 can be acquired by the control device 6 via the signal line 9 or the communication network. Further, the movement and the elevating operation of the vibrator 4 can be controlled by a control signal sent from the control device 6. Further, the moving and elevating operation of the video camera 5 can be controlled by a control signal sent from the control device 6.

制御装置6は1台、またはそれ以上のコンピュータを備えてなる。制御装置6が複数台のコンピュータを備える場合には、後述する制御装置6の各機能要素は分散処理により実現される。個々のコンピュータの種類は限定されない。例えば、据置型または携帯型のパーソナルコンピュータ(PC)を用いてもよいし、ワークステーションを用いてもよいし、高機能携帯電話機(スマートフォン)や携帯電話機、携帯情報端末(PDA)などの携帯端末を用いてもよい。あるいは、様々な種類のコンピュータを組み合わせて制御装置6を構築してもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。   The control device 6 includes one or more computers. When the control device 6 includes a plurality of computers, each functional element of the control device 6 described later is realized by distributed processing. The type of each computer is not limited. For example, a stationary or portable personal computer (PC) may be used, a workstation may be used, or a mobile terminal such as a high-performance mobile phone (smartphone), a mobile phone, or a personal digital assistant (PDA) may be used. May be used. Alternatively, the control device 6 may be constructed by combining various types of computers. When a plurality of computers are used, these computers are connected via a communication network such as the Internet or an intranet.

図2は、制御装置6に備えられた個々のコンピュータ50のハードウェア構成の一例を示すブロック図である。コンピュータ50は、オペレーティングシステムや締固め判定用のアプリケーション・プログラムなどを実行する演算装置であるCPU(プロセッサ)51と、上記アプリケーション・プログラムを格納するROM(リード・オンリー・メモリ:読出し専用メモリ)、或いはデータ処理動作で随時処理される各種データが格納されるRAM(ランダム・アクセス・メモリ:随時書換え可能メモリ)で構成される主記憶部52と、ハードディスクやフラッシュメモリなどで構成される補助記憶部53と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部54と、キーボードやマウスなどの入力装置55と、ディスプレイやプリンタなどの出力装置56とを備える。なお、搭載されるハードウェアモジュールはコンピュータ50の種類により異なる場合がある。例えば、据置型のPCおよびワークステーションは入力装置および出力装置としてキーボード、マウスを備えることが多く、出力装置としてディスプレイ等のモニタを備えることが多いが、スマートフォンではタッチパネルが入力装置および出力装置として機能することが多い。   FIG. 2 is a block diagram illustrating an example of a hardware configuration of each computer 50 provided in the control device 6. The computer 50 includes a CPU (processor) 51 that is an arithmetic unit that executes an operating system, an application program for compaction determination, and the like, a ROM (read-only memory: read-only memory) that stores the application program, Alternatively, a main storage unit 52 composed of a RAM (random access memory: rewritable memory at any time) in which various data processed as needed in a data processing operation is stored, and an auxiliary storage unit composed of a hard disk, a flash memory, or the like 53, a communication control unit 54 including a network card or a wireless communication module, an input device 55 such as a keyboard and a mouse, and an output device 56 such as a display and a printer. Note that the hardware module to be mounted may vary depending on the type of the computer 50. For example, stationary PCs and workstations often include a keyboard and a mouse as input devices and output devices, and often include a monitor such as a display as an output device. In a smartphone, a touch panel functions as an input device and an output device. Often do.

後述する制御装置6の各機能要素は、CPU51または主記憶部52の上に所定のソフトウェアを読み込ませ、CPU51の制御の下で通信制御部54や入力装置55、出力装置56などを動作させ、主記憶部52または補助記憶部53におけるデータの読み出し及び書き込みを行うことで実現される。データ処理に必要なデータやデータベースは主記憶部52または補助記憶部53内に格納される。   Each functional element of the control device 6, which will be described later, causes predetermined software to be read on the CPU 51 or the main storage unit 52, and operates the communication control unit 54, the input device 55, the output device 56, and the like under the control of the CPU 51. This is realized by reading and writing data in the main storage unit 52 or the auxiliary storage unit 53. Data and databases required for data processing are stored in the main storage unit 52 or the auxiliary storage unit 53.

図3は、上記図2に示された制御装置6の機能的構成を表す機能ブロック図である。この制御装置6は、機能的要素として、ビデオカメラ5に接続され、このビデオカメラ5によって連続して取得された画像を入力する画像取得部21と、上記主記憶部52又は補助記憶部53に設けられ、教師データ及び各種処理に必要なデータが格納されるデータベース22と、データベース22に接続され、このデータベース22から教師データを受け取る教師データ取得部23と、画像取得部21及び教師データ取得部23に接続され、これらの動作部21,23からのデータを基に入力画像の特徴量を算出する画像特徴量算出部24と、画像特徴量算出部24に接続され、撮影手段であるビデオカメラ5から取得された画像と前記画像特徴量算出部によって算出された前記数値列との関係を、機械学習を用いて学習するとともに、前記コンクリートの締固め具合を表す数値の予測値を導出する学習部(予測値導出部)25とを備える。制御装置6はさらに、画像特徴量算出部24及び学習部25における処理結果を基に締固め判定のための演算を行う演算部26と、演算部26に接続され、演算部位の演算結果により締固め具合が締固め未完了(before)であるか,締固め完了(just)であるかの判定を行う締固め判定部27と、締固め判定部27に接続され、この締固め判定部27における判定結果をモニター等の出力装置56に出力する出力部28と、締固め判定部27に接続され、この締固め判定部27における判定結果に基づきバイブレータ4の設置位置を変更したり、ビデオカメラ5の設置位置を変更したりする制御動作を行う動作制御部29とを備える。画像特徴量算出部24は、学習部25で使用される機械学習によって、受け取った画像をそのまま学習部25に渡すか、画像特徴量を算出してから学習部25へ渡すかする。   FIG. 3 is a functional block diagram showing a functional configuration of the control device 6 shown in FIG. The control device 6 is connected to the video camera 5 as a functional element, and is connected to the image acquisition unit 21 that inputs images continuously acquired by the video camera 5 and the main storage unit 52 or the auxiliary storage unit 53. A database 22 for storing teacher data and data necessary for various processes; a teacher data acquisition unit 23 connected to the database 22 for receiving teacher data from the database 22; an image acquisition unit 21 and a teacher data acquisition unit 23, an image feature value calculation unit 24 that calculates the feature value of the input image based on the data from the operation units 21 and 23, and a video camera that is connected to the image feature value calculation unit 24 and is a photographing unit. And learning the relationship between the image obtained from Step 5 and the numerical sequence calculated by the image feature amount calculation unit using machine learning. And a learning unit (prediction value derivation unit) 25 to derive the predicted value of the number representing the compaction degree of the concrete. The control device 6 is further connected to an operation unit 26 that performs an operation for compaction determination based on the processing results of the image feature amount calculation unit 24 and the learning unit 25, and is connected to the operation unit 26. A compaction determination unit 27 that determines whether the compaction state is compaction incomplete (before) or compaction complete (just), and a compaction determination unit 27 that is connected to the compaction determination unit 27. An output unit 28 that outputs the determination result to an output device 56 such as a monitor, and a compaction determination unit 27 that are connected to change the installation position of the vibrator 4 based on the determination result by the compaction determination unit 27, And an operation control unit 29 for performing a control operation of changing the installation position of the device. The image feature calculation unit 24 passes the received image as it is to the learning unit 25 or calculates the image feature and then transfers it to the learning unit 25 by the machine learning used in the learning unit 25.

図4は本実施の形態にかかる締固め判定施工システムの制御装置6による締固め判定及び施工制御の処理手順を示すフローチャートである。   FIG. 4 is a flowchart showing a processing procedure of compaction determination and construction control by the control device 6 of the compaction determination construction system according to the present embodiment.

まず、ユーザによる指示入力等を契機に制御装置6による締固め判定施工制御の処理が起動されると、型枠3内の所定の位置(挿入点Aとする)でバイブレータ4の巻き下げ、すなわち、降下動作が開始され、バイブレータ4がコンクリート2の中に挿入される(ステップS1)。バイブレータ4には、当該バイブレータ4をコンクリート2の面に対して昇降させる機構が搭載されていて、制御装置6により制御される。   First, when the processing of compaction determination execution control by the control device 6 is started in response to an instruction input or the like by a user, the vibrator 4 is lowered at a predetermined position (referred to as an insertion point A) in the mold 3, that is, Then, the descending operation is started, and the vibrator 4 is inserted into the concrete 2 (step S1). The vibrator 4 has a mechanism for raising and lowering the vibrator 4 with respect to the surface of the concrete 2, and is controlled by the control device 6.

次にバイブレータ4が始動される(ステップS2)とともに、ビデオカメラ5の動作が開始され、バイブレータによる振動動作を受けているコンクリート2の面が撮影される(ステップS3)。ビデオカメラ5またはカメラ支持棒8には、ビデオカメラ5とコンクリート2の面との距離を維持する機構及び距離計測器(レーザー距離計など)が搭載されていて、制御装置6により制御される。図1中の符号P1は本実施の形態におけるビデオカメラ5による撮影範囲を表す。この撮影範囲P1は、一例として、バイブレータ4から概略30cm(センチメートル)の範囲である。   Next, the vibrator 4 is started (Step S2), and at the same time, the operation of the video camera 5 is started, and the surface of the concrete 2 that is being vibrated by the vibrator is photographed (Step S3). A mechanism for maintaining the distance between the video camera 5 and the surface of the concrete 2 and a distance measuring device (such as a laser distance meter) are mounted on the video camera 5 or the camera support rod 8, and are controlled by the control device 6. Reference symbol P1 in FIG. 1 represents a shooting range of the video camera 5 in the present embodiment. The photographing range P1 is, for example, a range approximately 30 cm (centimeter) from the vibrator 4.

次に、画像取得部21による画像データの取得、及び教師データ取得部22による教師データの取得が行われ、2次元配列画像のキャプチャが行われる(ステップS4)。この2次元配列画像のキャプチャ処理において、画像取得部21は、ビデオカメラ5によって連続して取得された画像を、ラベル付きフレーム画像の画像信号として受信する。この画像取得部21は、受信した画像をアナログ/ディジタル変換して画像データを生成し、2次元配列画像として画像特徴量算出部24に送付する。教師データ取得部23は、データベース22から教師データを取得し、この教師データを2次元配列画像として画像特徴量算出部24に送付する。   Next, the image data is acquired by the image acquisition unit 21 and the teacher data is acquired by the teacher data acquisition unit 22, and a two-dimensional array image is captured (step S4). In the capture processing of the two-dimensional array image, the image acquisition unit 21 receives images continuously acquired by the video camera 5 as image signals of a labeled frame image. The image acquisition unit 21 performs analog / digital conversion on the received image to generate image data, and sends the image data to the image feature amount calculation unit 24 as a two-dimensional array image. The teacher data acquisition unit 23 acquires the teacher data from the database 22 and sends the teacher data to the image feature value calculation unit 24 as a two-dimensional array image.

本実施の形態に係る締固め判定施工システムの動作には学習フェーズと、予測(判定実行)フェーズとがある。よって、先ず学習フェーズの動作について説明する。
学習フェーズ
この学習フェーズは、画像或いは画像特徴量と、締固め具合を表す既知の数値列との集合(学習データ)をデータベース22に蓄積し、その後、蓄積した学習データを読み出して、機械学習を用いてCNNにパターン変換関数を獲得させる動作モードである。本実施の形態のように機械学習のためにCNNが用いられる場合は、上記2次元配列画像は、画像特徴量算出部24をスルー(つまり、通過)してAIすなわち、CNNへ入力される(ステップS5)。CNNは、予め、ビデオカメラ5から入力される映像のフレーム画像と、締固め状態との対応関係を学習している。このため、入力されるフレーム画像は、尤度(もっともらしさ)の高いクラスに分類される。画像特徴量算出部24は、画像データを基に、機械学習を用いて対象物であるコンクリート2の締固め具合に関する特徴量である数値ベクトル(数値列)を算出する。例えば、画像特徴量算出部24は、画像データと教師データとを用いて、将来(例えば、それぞれの画像データの取得時点から所定時間後)の、時間差によって生じるコンクリート2の差分締固め量の差分(以下、「差分締固め量)という)を機械学習による予測対象の数値(目的変数)とした教師あり機械学習を実行する。上記CNNは、機械学習の一例であり、公知の深層学習の手法である畳み込みニューラルネットワークである。
The operation of the compaction determination construction system according to the present embodiment includes a learning phase and a prediction (determination execution) phase. Therefore, the operation in the learning phase will be described first.
Learning phase In this learning phase, a set (learning data) of an image or an image feature amount and a known numerical sequence indicating the degree of compaction is stored in the database 22, and then the stored learning data is read out to execute machine learning. This is an operation mode in which the CNN is used to acquire a pattern conversion function. When the CNN is used for machine learning as in the present embodiment, the two-dimensional array image is input to the AI, that is, the CNN through the image feature amount calculation unit 24 (that is, through). Step S5). The CNN has learned in advance the correspondence between the frame image of the video input from the video camera 5 and the compaction state. Therefore, the input frame image is classified into a class having a high likelihood (likelihood). The image feature value calculation unit 24 calculates a numerical value vector (numerical value sequence) that is a feature value regarding the compaction degree of the concrete 2 as the target object by using machine learning based on the image data. For example, the image feature amount calculation unit 24 uses the image data and the teacher data to calculate the difference between the differential compaction amounts of the concrete 2 caused by the time difference in the future (for example, a predetermined time after the acquisition time of each image data). (Hereinafter, referred to as “differential compaction amount”) is performed by using supervised machine learning with a numerical value (objective variable) to be predicted by machine learning. Is a convolutional neural network.

図5はCNNによる学習フェーズの動作手順の一例を示す処理流れ図である。CNNは、図5に示されるように、入力画像データ40に対して、第1畳み込み層における畳み込み処理を実行し(ステップS21)、その次に第1プーリング層におけるプーリング処理を実行し(ステップS22)、さらにその後、第2畳み込み層における畳み込み処理を実行し(ステップS23)、その次に第2プーリング層におけるプーリング処理を実行し(ステップS24)、次に第3畳み込み層3の畳み込み処理を実行し(ステップS25)、その後、全結合層Aの処理を実行し(ステップS26)、また、全結合層Bの処理を実行する(ステップS27)というように、畳み込み処理動作とプーリング処理動作を繰り返すことで画像データから機械的に特徴量を抽出できる手法である。CNNを用いる場合の一例を示すと、画像特徴量算出部24は、畳み込み層とプーリング層とにおける処理を何回か(例えば、5回)繰り返した後に、出力層における処理を経由して、目的変数である差分締固め量の予測値を算出する。この予測値がコンクリート2の将来の締固め具合を表している。その際、画像特徴量算出部24は、CNNの学習アルゴリズムにしたがって、画像と締固め具合に関する数値列との関係を学習し、CNNの結合の重みの更新をすることにより、パターン変換関数を更新できる。ここで、画像特徴量算出部24は、いったんパターン変換関数を構築した後は、実測値のデータを用いたパターン変換関数の更新は停止してもよく、最初からパターン変換関数が構築されている場合には、パターン変換関数の更新の機能は含まれていなくてもよい。さらに、画像特徴量算出部24は、構築された状態での画像データを対象にした出力層の出力を、特徴量である数値ベクトル(例えば、256列の数値ベクトル)として、学習部25に出力する。   FIG. 5 is a processing flow chart showing an example of the operation procedure of the learning phase by the CNN. As shown in FIG. 5, the CNN executes a convolution process in the first convolution layer on the input image data 40 (Step S21), and then executes a pooling process in the first pooling layer (Step S22). Then, after that, the convolution processing in the second convolution layer is executed (step S23), the pooling processing in the second pooling layer is executed (step S24), and then the convolution processing in the third convolution layer 3 is executed. (Step S25), and thereafter, the convolution processing operation and the pooling processing operation are repeated, such that the processing of the fully connected layer A is executed (Step S26), and the processing of the fully connected layer B is executed (Step S27). In this way, the feature amount can be mechanically extracted from the image data. As an example in the case of using CNN, the image feature quantity calculation unit 24 repeats the processing in the convolutional layer and the pooling layer several times (for example, five times), and then performs the processing via the processing in the output layer. A predicted value of the difference compaction amount, which is a variable, is calculated. This predicted value indicates the degree of compaction of the concrete 2 in the future. At this time, the image feature quantity calculation unit 24 learns the relationship between the image and the numerical sequence related to the degree of compaction according to the CNN learning algorithm, and updates the pattern conversion function by updating the weight of the CNN combination. it can. Here, after constructing the pattern conversion function once, the image feature quantity calculation unit 24 may stop updating the pattern conversion function using the data of the actually measured values, and the pattern conversion function is constructed from the beginning. In this case, the function of updating the pattern conversion function may not be included. Further, the image feature quantity calculation unit 24 outputs the output of the output layer for the image data in the constructed state to the learning unit 25 as a numeric vector (for example, a numeric vector of 256 columns) as a feature quantity. I do.

次に、予測(判定実行)フェーズについて説明する。
予測(判定実行)フェーズ
この予測(判定実行)フェーズは、上述の学習フェーズにおいて求められたパターン変換関数を上記機械学習によって獲得したCNNを用いて、数値列を予測する動作モードである。この予測(判定実行)フェーズの動作例が図6に示されている。図6は画像取得部21により取得されるラベル付きフレーム画像が締固め操作により時間経過とともに変化する様子を示す図である。図6に示されるように、コンクリート2の打設直後(0秒後)では締固めはまだ進行しておらず、締固め判定結果も締固め未完了(before)の結果である。コンクリート2の打設が行われて4秒後の状態では、締固めはまだ十分に進行しておらず、締固め判定結果も締固め未完了(before)のままである。コンクリート2の打設が行われてから8秒後の状態では、締固めは十分に進行しており、締固め判定結果は締固め完了(just)の結果になっている。コンクリート2の打設が行われてから16秒後の状態では、締固めはさらに十分に進行しており、締固め判定結果は締固め完了(just)の判定になっている。
Next, the prediction (determination execution) phase will be described.
Prediction (judgment execution) phase This prediction (judgment execution) phase is an operation mode in which a numerical sequence is predicted by using the CNN obtained by the machine learning for the pattern conversion function obtained in the learning phase. FIG. 6 shows an operation example of the prediction (determination execution) phase. FIG. 6 is a diagram showing how the labeled frame image obtained by the image obtaining unit 21 changes with time due to the compaction operation. As shown in FIG. 6, immediately after the concrete 2 is cast (after 0 seconds), compaction has not yet progressed, and the compaction determination result is a result of compaction not completed (before). In a state four seconds after the concrete 2 has been poured, compaction has not yet sufficiently progressed, and the compaction determination result remains compaction incomplete (before). In a state 8 seconds after the concrete 2 is cast, the compaction has sufficiently proceeded, and the compaction determination result is a result of compaction completion (just). In a state 16 seconds after the concrete 2 is cast, the compaction has progressed more sufficiently, and the compaction determination result indicates that compaction has been completed (just).

学習部25は、画像特徴量算出部24によって算出された数値ベクトルを基に、コンクリート2の締固め具合を表す数値として、差分締固め量の予測値を導出する。この予測値の導出処理動作の一例を説明すると、学習部25は、数値ベクトルと時系列の環境測定データとを組み合わせた数値ベクトルを基に、機械学習を実行することにより、目的変数である差分締固め量の予測値の推移を算出する。その際、学習部25は、教師データを基に、機械学習を実行することによりフィルタパラメータ等のパターン変換関数を更新する。学習部25は、いったんパターン変換関数を構築した後は、実測値のデータを用いたパターン変換関数の更新は停止してもよく、最初からパターン変換関数が構築されている場合には、パターン変換関数の更新の機能は含まれていなくてもよい。そして、学習部25は、パターン変換関数が構築された状態での機械学習による差分締固め量の予測値の推移のデータを、締固め判定部27に出力する。   The learning unit 25 derives a predicted value of the difference compaction amount as a numerical value representing the compaction degree of the concrete 2 based on the numerical value vector calculated by the image feature amount calculating unit 24. An example of the operation of deriving the predicted value will be described. The learning unit 25 executes machine learning based on a numerical vector obtained by combining a numerical vector and time-series environmental measurement data to obtain a difference as an objective variable. The transition of the predicted value of the compaction amount is calculated. At that time, the learning unit 25 updates the pattern conversion function such as a filter parameter by executing machine learning based on the teacher data. After constructing the pattern conversion function, the learning unit 25 may stop updating the pattern conversion function using the data of the actually measured values. The function update function need not be included. Then, the learning unit 25 outputs to the compaction determination unit 27 data on the transition of the predicted value of the difference compaction amount by machine learning in a state where the pattern conversion function has been constructed.

締固め判定部27では、上記差分締固め量の予測値の推移データにより、コンクリート2の締固め具合が締固め未完了であるか、締固め完了であるかの判定を行い(ステップS6)、締固め未完了である場合は、「before」信号を出力し、ステップS3のビデオカメラ5による撮影動作に戻る。他方,締固め完了である場合は、「just」信号を出力する。さらに、締固め判定部27は、上記「before」信号又は「just」信号を動作制御部29に送付する。   The compaction determining unit 27 determines whether the compaction degree of the concrete 2 is not compacted or compacted based on the transition data of the predicted value of the differential compaction amount (step S6), If compaction has not been completed, a "before" signal is output, and the process returns to the shooting operation by the video camera 5 in step S3. On the other hand, if compaction is completed, a "just" signal is output. Further, the compaction determination unit 27 sends the “before” signal or the “just” signal to the operation control unit 29.

動作制御部29は、締固め判定部27によって出力されたコンクリート2の締固め判定結果を基に、バイブレータ4及びビデオカメラ5の動作を制御するための制御信号を生成する。そして、動作制御部29は、締固め判定部27が「just」信号を出力した場合は、バイブレータを巻き上げる動作を開始し(ステップS7)、この動作を行った後、バイブレータ4を停止させる(ステップS8)。   The operation control unit 29 generates a control signal for controlling the operations of the vibrator 4 and the video camera 5 based on the compaction determination result of the concrete 2 output by the compaction determination unit 27. When the compaction determination unit 27 outputs the “just” signal, the operation control unit 29 starts the operation of winding the vibrator (step S7), and after performing this operation, stops the vibrator 4 (step S7). S8).

次に、制御装置のCPU50は、コンクリート2の全領域の締固めが完了したか否かをチェックし(ステップS9)、コンクリート2の全領域の締固めが完了していなければ、締固め領域の移動を動作制御部29に指示する(ステップS10)。動作制御部29は、支持棒7およびカメラ支持棒8をそれぞれ対応するレールに沿って移動させ、図1に示されるように、バイブレータ4による締固め位置を挿入点Aから挿入点Bへ変更し、また、ビデオカメラ5による撮影領域を撮影範囲P1から撮影範囲P2へと変更する。そして、制御装置6の処理動作によりステップS1〜ステップS9の動作が行われる。   Next, the CPU 50 of the control device checks whether or not the compaction of the entire area of the concrete 2 has been completed (step S9). The movement is instructed to the operation control unit 29 (step S10). The operation control unit 29 moves the support rod 7 and the camera support rod 8 along the corresponding rails, and changes the compaction position of the vibrator 4 from the insertion point A to the insertion point B as shown in FIG. Further, the shooting area of the video camera 5 is changed from the shooting range P1 to the shooting range P2. Then, the operations of steps S1 to S9 are performed by the processing operation of the control device 6.

実施例
フレッシュ性の異なる3種類のコンクリートに対し、締固め試験を実施した。この締固め試験では、ビデオカメラ5により、1秒当たり30フレームの映像を撮影した締固め試験映像を50本取得した。
Example A compaction test was performed on three types of concrete having different freshness. In this compaction test, 50 compaction test videos obtained by shooting video of 30 frames per second by the video camera 5 were obtained.

そして、上記1秒当たり30フレームの映像を撮影した締固め試験映像から、複数名の熟練オペレータが判定した締固め完了(just)の適正時間(フレーム番号で特定される)の平均値を取り、この平均値を、そのコンクリートの締固め試験における締固め未完了(before)と締固め完了(just)の境界の教師データとした。また、画像取得部21により取得したすべてのフレーム画像に「before」、または「just」の正解ラベルを付与し、「締固め判定」、及び「締固め判定の評価」試験とした。また、締固め試験時のバイブレータの位置によるコンクリートの締固め状態の違いを考慮して、フレーム画像を左右の2つの画像に分割し、各々に対する適正時間を判定した。   Then, from the compaction test video obtained by capturing 30 frames of video per second, an average value of an appropriate time (specified by a frame number) of compaction completion (just) determined by a plurality of skilled operators is obtained, This average value was used as teacher data at the boundary between compaction not completed (before) and compaction completed (just) in the compaction test of the concrete. In addition, all the frame images acquired by the image acquisition unit 21 were given the correct label of "before" or "just", and were subjected to a "compaction determination" and an "evaluation of compaction determination" tests. Further, in consideration of the difference in the compaction state of the concrete depending on the position of the vibrator during the compaction test, the frame image was divided into two left and right images, and the appropriate time for each was determined.

図7は、上述のようにフレッシュ性の異なる3種類のコンクリート2に対し、締固め試験を実施したときの締固め判定結果の良否を表す図である。図7において、テスト01、テスト02、テスト03は、それぞれフレッシュ性の異なる3種類のコンクリート2に対する締固め試験を表す。各テストにおいて、上段は教師データにおける締固め判定の「before」又は「just」の境界を表し、下段は本実施の形態に係る締固め判定施工システムによる判定結果の良否を表す。図7中の下段の判定結果の良否について、判定結果「correct」は、締固め判定の「before」および「just」のいずれにおいても、判定結果が良であったことを示す。他方、判定結果「incorrect」は、締固め判定の「before」および「just」のいずれにおいても、判定結果が誤りであったことを示す。図7に示されるように、テスト01では、教師データ(上段)に対して判定施工システムによる判定結果(下段)は上記「before」又は「just」の境界部分及びこの境界部分からそれ程離れていない範囲で判定の誤り(黒塗り部分)が表れていることにより、概略教師データに合致した判定結果が得られている。   FIG. 7 is a diagram illustrating the quality of the compaction determination result when the compaction test is performed on the three types of concrete 2 having different freshness as described above. In FIG. 7, Test 01, Test 02, and Test 03 represent compaction tests for three types of concrete 2 having different freshness. In each test, the upper row represents the boundary of “before” or “just” of the compaction determination in the teacher data, and the lower row represents the quality of the determination result by the compaction determination execution system according to the present embodiment. Regarding the quality of the lower determination result in FIG. 7, the determination result “correct” indicates that the determination result was good in both “before” and “just” of the compaction determination. On the other hand, the determination result “incorrect” indicates that the determination result was incorrect in both “before” and “just” of the compaction determination. As shown in FIG. 7, in the test 01, the judgment result (lower part) by the judgment and construction system with respect to the teacher data (upper part) is not so far from the boundary part of “before” or “just” and the boundary part. Since a determination error (black portion) appears in the range, a determination result matching the outline teacher data is obtained.

テスト02では、教師データ(上段)に対して判定施工システムによる判定結果(下段)は上記「before」又は「just」の境界部分のみならず、境界から「before」方向へ(約550フレーム位置)も、また「just」方向へ(約1600フレームより先の位置)も判定の誤り(黒塗り部分)が表れていることにより、かなり不正確な判定結果が得られている。   In test 02, the judgment result (lower row) of the teacher data (upper row) by the determination / construction system is not only at the above “before” or “just” boundary, but also in the “before” direction from the boundary (about 550 frame positions) Also, in the "just" direction (positions ahead of about 1600 frames), a determination error (black portion) appears, so that a considerably inaccurate determination result is obtained.

テスト03では、教師データ(上段)に対して判定施工システムによる判定結果(下段)は上記「before」又は「just」の境界に近接した部分でのみ判定の誤り(黒塗り部分)が表れていることにより、教師データに非常に合致した判定結果が得られている。   In the test 03, the judgment result (lower part) by the judgment and construction system with respect to the teacher data (upper part) shows an erroneous judgment (black part) only in a portion close to the boundary of the above "before" or "just". As a result, a determination result that is very consistent with the teacher data is obtained.

なお、今回の締固め試験では、フレーム画像の右画像を64×64画素にリサイズした画像のみを使用した。   In this compaction test, only an image obtained by resizing the right image of the frame image to 64 × 64 pixels was used.

本発明によれば、コンクリートの締固め判定において、AIの機械学習機能を用いてコンクリートの締固め具合を予測して締固め判定に活用するため、コンクリートの締固め判定に作業員や技術者の経験や技量などの個人差を排除したコンクリートの最適締固め判定および施工を行うことができ、有用である。   According to the present invention, in the concrete compaction determination, the degree of concrete compaction is predicted using the machine learning function of the AI and used for the compaction determination. This makes it possible to judge the optimum compaction of concrete and to perform construction without differences between individuals such as experience and skills, which is useful.

1 締固め判定施工システム
2 コンクリート
3 型枠
4 バイブレータ
5 ビデオカメラ(撮影手段)
6 制御装置
7 支持棒
8 カメラ支持棒
9 信号線
21 画像取得部
22 データベース
23 教師データ取得部
24 画像特徴量算出部
25 学習部(予測値導出部)
26 演算部
27 締固め判定部
28 出力部
29 動作制御部

1 Compaction judgment construction system 2 Concrete 3 Formwork 4 Vibrator 5 Video camera (photographing means)
6 Control device 7 Support rod 8 Camera support rod 9 Signal line 21 Image acquisition unit 22 Database 23 Teacher data acquisition unit 24 Image feature quantity calculation unit 25 Learning unit (predicted value derivation unit)
26 operation unit 27 compaction determination unit 28 output unit 29 operation control unit

Claims (4)

打設されたコンクリートに挿入されて当該コンクリートに振動を与え、コンクリートの締固めを行うバイブレータと、
前記締固めされるコンクリートの画像を取得する撮影手段と、
前記撮影手段から取得された画像を基に、機械学習を用いて前記対象物の締固め具合に関する特徴量である数値列を算出する画像特徴量算出部と、
前記撮影手段から取得された画像と前記画像特徴量算出部によって算出された前記数値列との関係を、機械学習を用いて学習するとともに、前記コンクリートの締固め具合を表す数値の予測値を導出する学習部と、
学習部からの予測値を演算して締固め判定を行う締固め判定部と、
を備えるコンクリートの最適締固め判定システム。
A vibrator that is inserted into the cast concrete to give vibration to the concrete and compact the concrete,
Photographing means for acquiring an image of the concrete to be compacted;
Based on the image obtained from the photographing means, based on the image, an image feature amount calculation unit that calculates a numerical sequence that is a feature amount related to the degree of compaction of the object using machine learning,
The relationship between the image obtained from the photographing means and the numerical value sequence calculated by the image feature amount calculation unit is learned using machine learning, and a predicted value of a numerical value representing the degree of compaction of the concrete is derived. Learning department
A compaction determination unit that performs a compaction determination by calculating a predicted value from the learning unit;
Optimal compaction determination system for concrete equipped with
前記学習部は、前記予測値として、前記コンクリートの表面状態に関する数値の予測値を導出する、
請求項1記載のコンクリートの最適締固め判定システム。
The learning unit derives a predicted value of a numerical value related to the surface state of the concrete as the predicted value,
The optimal compaction determination system for concrete according to claim 1.
撮影手段を用いて、打設されたコンクリートの表面の画像を取得し、
画像特徴量算出部により、前記撮影手段から取得された画像を基に、機械学習を用いて前記コンクリートの締固め具合に関する特徴量である数値列を算出し、
学習部により、前記撮影手段から取得された画像と前記画像特徴量算出部によって算出された前記数値列との関係を、機械学習を用いて学習するとともに、前記コンクリートの締固め具合を表す数値の予測値を導出し、
締固め判定部により、学習部からの予測値を演算して締固め判定を行う、
ことを特徴とするコンクリートの最適締固め判定方法。
Using the photographing means, obtain an image of the surface of the cast concrete,
By the image feature amount calculation unit, based on the image obtained from the photographing means, using a machine learning to calculate a numerical sequence that is a feature amount related to the compaction degree of the concrete,
The learning unit learns, using machine learning, the relationship between the image obtained from the photographing unit and the numerical sequence calculated by the image feature amount calculation unit, and obtains a numerical value representing the degree of compaction of the concrete. Derive the predicted value,
The compaction determination unit calculates the predicted value from the learning unit and performs compaction determination.
A method for judging the optimum compaction of concrete, characterized in that:
打設されたコンクリートに挿入されて当該コンクリートに振動を与え、コンクリートの締固めを行うバイブレータと、
前記締固めされるコンクリートの画像を取得する撮影手段と、
打設されたコンクリートに対して、バイブレータを昇降動作および位置変更動作を行わせるバイブレータ駆動手段と、
前記締固めされるコンクリートに対して、撮影手段を昇降動作および位置変更動作を行わせる撮影手段駆動手段と、
前記撮影手段から取得された画像を基に、機械学習を用いて前記対象物の締固め具合に関する特徴量である数値列を算出する画像特徴量算出部と、
前記撮影手段から取得された画像と前記画像特徴量算出部によって算出された前記数値列との関係を、機械学習を用いて学習するとともに、前記コンクリートの締固め具合を表す数値の予測値を導出する学習部と、
学習部からの予測値を演算して締固め判定を行う締固め判定部と、
前記バイブレータ駆動手段および前記撮影手段駆動手段を駆動制御する動作制御部と、
を備えるコンクリートの最適締固め判定施工システム。

A vibrator that is inserted into the cast concrete to give vibration to the concrete and compact the concrete,
Photographing means for acquiring an image of the concrete to be compacted;
Vibrator driving means for performing a raising and lowering operation and a position changing operation of the vibrator with respect to the poured concrete,
For the compacted concrete, a photographing means driving means for performing a raising and lowering operation and a position changing operation of the photographing means,
Based on the image obtained from the photographing means, based on the image, an image feature amount calculation unit that calculates a numerical sequence that is a feature amount related to the degree of compaction of the object using machine learning,
The relationship between the image obtained from the photographing means and the numerical value sequence calculated by the image feature amount calculation unit is learned using machine learning, and a predicted value of a numerical value representing the degree of compaction of the concrete is derived. Learning department
A compaction determination unit that performs a compaction determination by calculating a predicted value from the learning unit;
An operation control unit that drives and controls the vibrator driving unit and the photographing unit driving unit;
Optimum compaction judging construction system with concrete.

JP2018167811A 2018-09-07 2018-09-07 Optimal Compaction Judgment Construction System for Concrete Active JP7219910B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018167811A JP7219910B2 (en) 2018-09-07 2018-09-07 Optimal Compaction Judgment Construction System for Concrete

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018167811A JP7219910B2 (en) 2018-09-07 2018-09-07 Optimal Compaction Judgment Construction System for Concrete

Publications (2)

Publication Number Publication Date
JP2020041290A true JP2020041290A (en) 2020-03-19
JP7219910B2 JP7219910B2 (en) 2023-02-09

Family

ID=69797661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018167811A Active JP7219910B2 (en) 2018-09-07 2018-09-07 Optimal Compaction Judgment Construction System for Concrete

Country Status (1)

Country Link
JP (1) JP7219910B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241949A (en) * 2020-10-13 2021-01-19 湖南大学 Concrete placement mould intelligent monitoring device that fuses computer vision technique
JP2021152494A (en) * 2020-03-24 2021-09-30 鹿島建設株式会社 Fresh concrete determination method and fresh concrete determination device
JP7076867B1 (en) 2021-12-21 2022-05-30 メック株式会社 Physical property value prediction method, physical property value prediction system and program
JP7078944B1 (en) 2021-12-21 2022-06-01 メック株式会社 Physical property value prediction method, physical property value prediction system and program
CN114648637A (en) * 2022-03-28 2022-06-21 江苏禹润智能科技有限公司 Automatic concrete vibrating method and system based on machine vision
CN114898343A (en) * 2022-04-20 2022-08-12 苏州科技大学 Soil compaction degree detection method, system and medium based on image recognition processing
CN114908726A (en) * 2022-05-16 2022-08-16 广西邕洲高速公路有限公司 Real-time global intelligent detection method and system for construction quality of highway broad-width roadbed
CN115034697A (en) * 2022-08-12 2022-09-09 河北工业大学 Multi-domain analysis-based multivariate intelligent compaction index grading optimization method and system
JP7148752B1 (en) 2022-06-16 2022-10-05 大栄工機株式会社 Concrete compaction method
JP7475303B2 (en) 2020-04-14 2024-04-26 太平洋セメント株式会社 Quality prediction method for soil reinforcement compaction materials

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0220766A (en) * 1988-07-11 1990-01-24 Kajima Corp Concrete vibrator
JPH0978521A (en) * 1995-09-13 1997-03-25 Hazama Gumi Ltd Compaction management system
JP2002242435A (en) * 2001-02-19 2002-08-28 Okumura Corp Concrete compaction determining method and device
JP2017025609A (en) * 2015-07-23 2017-02-02 清水建設株式会社 Method and device for determining compaction degree of concrete
JP2017107443A (en) * 2015-12-10 2017-06-15 株式会社大林組 Situation determination system, situation determination method, and situation determination program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0220766A (en) * 1988-07-11 1990-01-24 Kajima Corp Concrete vibrator
JPH0978521A (en) * 1995-09-13 1997-03-25 Hazama Gumi Ltd Compaction management system
JP2002242435A (en) * 2001-02-19 2002-08-28 Okumura Corp Concrete compaction determining method and device
JP2017025609A (en) * 2015-07-23 2017-02-02 清水建設株式会社 Method and device for determining compaction degree of concrete
JP2017107443A (en) * 2015-12-10 2017-06-15 株式会社大林組 Situation determination system, situation determination method, and situation determination program

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021152494A (en) * 2020-03-24 2021-09-30 鹿島建設株式会社 Fresh concrete determination method and fresh concrete determination device
JP7352912B2 (en) 2020-03-24 2023-09-29 鹿島建設株式会社 Fresh concrete determination method and fresh concrete determination device
JP7475303B2 (en) 2020-04-14 2024-04-26 太平洋セメント株式会社 Quality prediction method for soil reinforcement compaction materials
CN112241949A (en) * 2020-10-13 2021-01-19 湖南大学 Concrete placement mould intelligent monitoring device that fuses computer vision technique
WO2023120061A1 (en) * 2021-12-21 2023-06-29 メック株式会社 Physical property value predicting method, and physical property value predicting system
JP7076867B1 (en) 2021-12-21 2022-05-30 メック株式会社 Physical property value prediction method, physical property value prediction system and program
JP7078944B1 (en) 2021-12-21 2022-06-01 メック株式会社 Physical property value prediction method, physical property value prediction system and program
JP2023092019A (en) * 2021-12-21 2023-07-03 メック株式会社 Physical property value prediction method, physical property value prediction system, and program
JP2023091892A (en) * 2021-12-21 2023-07-03 メック株式会社 Physical property value prediction method, physical property value prediction system, and program
WO2023120057A1 (en) * 2021-12-21 2023-06-29 メック株式会社 Physical property value prediction method and physical property value prediction system
CN114648637A (en) * 2022-03-28 2022-06-21 江苏禹润智能科技有限公司 Automatic concrete vibrating method and system based on machine vision
CN114898343A (en) * 2022-04-20 2022-08-12 苏州科技大学 Soil compaction degree detection method, system and medium based on image recognition processing
CN114908726A (en) * 2022-05-16 2022-08-16 广西邕洲高速公路有限公司 Real-time global intelligent detection method and system for construction quality of highway broad-width roadbed
JP7148752B1 (en) 2022-06-16 2022-10-05 大栄工機株式会社 Concrete compaction method
JP2023183600A (en) * 2022-06-16 2023-12-28 大栄工機株式会社 Concrete compaction method
CN115034697B (en) * 2022-08-12 2022-11-08 河北工业大学 Multi-domain analysis-based multi-element intelligent compaction index grading optimization method and system
CN115034697A (en) * 2022-08-12 2022-09-09 河北工业大学 Multi-domain analysis-based multivariate intelligent compaction index grading optimization method and system

Also Published As

Publication number Publication date
JP7219910B2 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
JP7219910B2 (en) Optimal Compaction Judgment Construction System for Concrete
US11845194B2 (en) Robot system and workpiece picking method
JP6944506B2 (en) Image processing method, image processing device, and image processing program
JP6810087B2 (en) Machine learning device, robot control device and robot vision system using machine learning device, and machine learning method
EP3805700A3 (en) Method, apparatus, and system for predicting a pose error for a sensor system
JP2016142532A (en) Workability evaluation program, workability evaluation method, and workability evaluation device
CN110009614A (en) Method and apparatus for output information
JP6811465B2 (en) Learning device, learning method, learning program, automatic control device, automatic control method and automatic control program
JP2019124539A5 (en)
KR102346676B1 (en) Method for creating damage figure using the deep learning-based damage image classification of facility
JPWO2015049757A1 (en) Displacement field and strain field measurement method and material testing machine
JP6821326B2 (en) Information processing equipment, measurement systems, information processing methods and programs
JPWO2020049702A1 (en) Draft estimation system, draft estimation device, information transmission device, and cargo handling simulation device
KR102189951B1 (en) System and method for inspection of ship painting condition using image analysis
JP2016090279A (en) Water level measurement device
CN113989367A (en) Method and device for estimating attitude of working machine, and working machine
JP7469987B2 (en) Information processing device, information processing method, and program
CN114782845B (en) Method, device, equipment and medium for identifying newly-born cracks of building after blasting
JP2021076711A (en) Scrap image capturing system, scrap image capturing method, image capturing support device, and program
JP6265784B2 (en) Posture estimation system, program, and posture estimation method
JP2020166315A (en) Learning data generation method, training method, prediction model and computer program
JP2010187130A (en) Camera calibrating device, camera calibration method, camera calibration program, and recording medium having the program recorded therein
US11633862B2 (en) Automatic control method of mechanical arm and automatic control system
JP7245749B2 (en) Evaluation support system, evaluation support method, and program
JP7033045B2 (en) Learning device, estimation device, crack detection device, crack detection system, learning method, estimation method, crack detection method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210830

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230120

R150 Certificate of patent or registration of utility model

Ref document number: 7219910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150