JP2019075078A - Construction site image determination device and construction site image determination program - Google Patents

Construction site image determination device and construction site image determination program Download PDF

Info

Publication number
JP2019075078A
JP2019075078A JP2018091115A JP2018091115A JP2019075078A JP 2019075078 A JP2019075078 A JP 2019075078A JP 2018091115 A JP2018091115 A JP 2018091115A JP 2018091115 A JP2018091115 A JP 2018091115A JP 2019075078 A JP2019075078 A JP 2019075078A
Authority
JP
Japan
Prior art keywords
construction site
learning
determination
site image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018091115A
Other languages
Japanese (ja)
Inventor
宏憲 八木
Hironori Yagi
宏憲 八木
恵子 斉藤
Keiko Saito
恵子 斉藤
成資 西池
Narisuke Nishiike
成資 西池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GEAR NOUVE CO Ltd
Original Assignee
GEAR NOUVE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GEAR NOUVE CO Ltd filed Critical GEAR NOUVE CO Ltd
Priority to JP2018091115A priority Critical patent/JP2019075078A/en
Publication of JP2019075078A publication Critical patent/JP2019075078A/en
Pending legal-status Critical Current

Links

Images

Abstract

To enable a skill of a site worker engaging in construction work at a site to be easily understood.SOLUTION: A construction image DB 34 stores a plurality of learning construction site images in association with evaluation results of whether or not workmanship shown therein is acceptable. A learning processing section 40 makes a learning machine 36 learn how to determine whether or not workmanship is acceptable using the plurality of learning construction site images and learning data including the evaluation results of whether or not the workmanship in respective learning construction site images is acceptable. A determination section 42 inputs a determination object construction site image into the learning machine 36 which has learned. The determination section 42: determines whether or not the workmanship in the determination object construction site image is acceptable on the basis of output data of the learning machine 36; and outputs a determination result of whether or not the workmanship in the determination object construction site image is acceptable for each site worker on the basis of worker identification information showing a site worker in charge of construction work corresponding to the determination object construction site image associated therewith. Thus, the determination result with respect to a plurality of determination object construction site images can be output for respective site workers.SELECTED DRAWING: Figure 2

Description

本発明は、工事現場画像判定装置及び工事現場画像判定プログラムに関する。   The present invention relates to a construction site image determination apparatus and a construction site image determination program.

従来、工事現場において、工事の進捗状況を記録するあるいは工事の進捗状況を管理することを目的として、工事結果を示す工事現場画像が撮影されている。工事現場画像は、例えば日報に添付されるなどして、工事現場の現場監督あるいは工事発注者（以下単に「管理者」と記載する）へ提出される。管理者は、提出された工事現場画像に基づいて工事結果の良不良を判定する。   Conventionally, at a construction site, a construction site image showing a result of construction is photographed for the purpose of recording the progress of construction or managing the progress of construction. The construction site image is, for example, attached to a daily report or the like, and is submitted to a site supervisor of the construction site or a construction orderer (hereinafter simply referred to as "manager"). The manager determines the quality of the construction result based on the submitted construction site image.

管理者の元へ提出される工事現場画像が多数となる場合があるために、工事現場画像のを管理するための技術が提案されている。例えば、特許文献１には、多数の工事現場画像を容易に管理することができる工事現場管理システムが開示されている。   Since there may be a large number of construction site images submitted to the source of the manager, techniques for managing construction site images have been proposed. For example, Patent Document 1 discloses a construction site management system capable of easily managing a large number of construction site images.

一方、従来から深層学習（ディープラーニング）などの機械学習手法が提案されている。例えば、特許文献２には、建築要素を撮影した学習用画像を学習データとして用いて学習器を学習させ、学習済みの学習器を用いて、新たに撮影された撮影画像に含まれる建築要素を特定する技術が開示されている。   On the other hand, conventionally, machine learning methods such as deep learning have been proposed. For example, in Patent Document 2, a learning device is made to learn using a learning image obtained by capturing an architectural element as learning data, and an architectural element included in a newly captured image is captured using a learned learner. Techniques to identify are disclosed.

特開２０１１−１７５５８４号公報JP 2011-175584 A 特開２０１７−１０７４４３号公報JP, 2017-107443, A

ところで、管理者には、工事現場で工事を行う現場作業者の能力を把握したいという要望がある。ここでいう現場作業者の能力とは、特に、工事を適切に完了できる能力を意味する。   By the way, there is a demand to the manager to grasp the ability of the site worker who carries out the construction at the construction site. The ability of the site worker here means especially the ability to properly complete the construction work.

しかしながら、管理者が現場作業者の能力を把握することが困難であるという実情がある。これには様々な理由があるが、１つの理由として、管理者は、複数の工事現場を掛け持ちして担当するのが一般的であるというのが実情であるために、管理者が各現場作業者の工事の様子を十分に確認できないということが挙げられる。   However, there is a fact that it is difficult for the manager to grasp the ability of the on-site worker. There are various reasons for this, but one of the reasons is that it is common practice that the manager takes charge of multiple construction sites, so each manager should work at each site. It can be mentioned that it is not possible to sufficiently confirm the construction of the workers.

一般的に、工事の各工程が完了する毎に、工事結果を示す工事現場画像が撮影され、当該工事現場画像が管理者に提出される。したがって、管理者が、複数の工事現場画像の良不良判定を解析することによって、現場作業者の能力を把握することが考えられる。しかしながら、多数の現場作業者の工事結果を示す膨大な数の工事現場画像が管理者に提出され、管理者がそれらの工事現場画像を１つ１つ目視確認しているのが実情である。したがって、管理者は、時間的制約などから、膨大な数の工事現場画像を個別に良不良判定するに留まり、複数の工事現場画像を解析して現場作業者の能力を把握することは事実上困難となっている。   Generally, every time each process of construction is completed, a construction site image showing the construction result is photographed, and the construction site image is submitted to the manager. Therefore, it is conceivable that the manager grasps the capability of the site worker by analyzing the quality determination of the plurality of construction site images. However, it is a fact that a huge number of construction site images showing the construction results of many site workers are submitted to the manager, and the manager visually confirms the construction site images one by one. Therefore, it is practically effective for the administrator to judge the quality of the site workers by analyzing the images of the plurality of construction sites only by judging whether a large number of construction site images are individually good or bad due to time restrictions and the like. It is difficult.

本発明の目的は、工事現場で工事を行う現場作業者の能力を容易に把握できるようにすることにある。   An object of the present invention is to make it possible to easily grasp the ability of a site worker who carries out construction at a construction site.

本発明は、工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、を備えることを特徴とする工事現場画像判定装置である。   The present invention relates to a good for the construction site image by learning using a plurality of learning construction site images showing construction results and learning data including good / defective judgment on the construction results shown by the respective learning construction site images. A learning device capable of defect judgment and the construction site image to be judged are input to the learning device, and on the basis of the output data of the learning device, the quality judgment on the construction site image to be judged is performed, and the image of the construction site to be judged Based on the worker identification information indicating the site worker who is in charge of the work corresponding to the determination target construction site image, the quality determination regarding the relevant determination target construction site image is distinguished for each site worker and output And a determination unit for outputting a determination result including a good / defective determination on a plurality of determination target construction site images for each site worker. It is.

望ましくは、前記学習器は、さらに、不良判定された学習用工事現場画像に関して特定された不良の種類を含む前記学習データを用いて学習することで、工事現場画像に関する良不良判定及び不良の種類の分類が可能であり、前記判定部は、前記判定対象工事現場画像について不良判定した場合に、さらに、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する不良の種類を判定し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定及び不良の種類を含む判定結果を出力する、ことを特徴とする。   Desirably, the learning device further learns using the learning data including the type of defect specified regarding the construction site image for learning determined to be defective, thereby performing the good / bad determination regarding the construction site image and the type of defect In the case where the judgment unit judges that the construction site image to be judged is defective, the judgment unit further judges the type of the defect on the construction site image to be judged based on the output data of the learning device, It is characterized in that the determination result including the type of the good / defect judgment and the defect regarding the plurality of judgment target construction site images is output for each site worker.

望ましくは、前記学習器は、工事の複数の工程に対応して複数設けられ、各学習器は、自己に対応する工程の前記学習用工事現場画像を含む複数の前記学習データを用いて学習し、前記判定部は、前記判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像が示す工事の工程を示す工程識別情報に基づいて選択された学習器に当該判定対象工事現場画像を入力することで、当該判定対象工事現場画像に関する前記判定結果を現場作業者毎、且つ、工程毎に区別して出力し、現場作業者と工程との組毎に複数の判定対象工事現場画像に関する前記判定結果を出力する、ことを特徴とする。   Preferably, a plurality of the learning devices are provided corresponding to a plurality of steps of construction, and each learning device performs learning using a plurality of the learning data including the learning construction site image of a step corresponding to itself. The determination unit inputs the determination target construction site image to a learning device selected based on process identification information indicating a process of construction indicated by the determination target construction site image, which is associated with the determination target construction site image. In this way, the determination result regarding the determination target construction site image is output separately for each site worker and for each process, and the determination regarding a plurality of determination target construction site images for each pair of the site worker and the process It is characterized by outputting a result.

また、本発明は、コンピュータを、工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、として機能させることを特徴とする工事現場画像判定プログラムである。   Further, the present invention learns a computer by using a plurality of learning construction site images showing construction results and learning data including good / defective judgment on the construction results shown by each learning construction site image. A learning device capable of judging whether the construction site image is good or bad and a construction site image to be judged are input to the learning device, and based on the output data of the learning device, the judgment of the construction site image is performed. Based on the worker identification information indicating the site worker in charge of the construction corresponding to the determination target construction site image associated with the determination target construction site image, the good or bad determination regarding the determination target construction site image is made to the site worker Function as a judgment unit that outputs judgment results for each site worker with regard to a plurality of judgment target construction site images, including judgment results including good / bad judgment Is a construction site image determination program which is characterized.

本発明によれば、工事結果に関する現場作業者毎の良不良の傾向を容易に把握することができる。   According to the present invention, it is possible to easily grasp the tendency of pass / fail for each site worker regarding the construction result.

本実施形態に係る工事現場画像判定システムの構成概略図である。BRIEF DESCRIPTION OF THE DRAWINGS It is the structure schematic of the construction site image determination system which concerns on this embodiment. 本実施形態に係るサーバの構成概略図である。It is a structure schematic of a server concerning this embodiment. 工事現場画像ＤＢの内容を示す概念図である。It is a conceptual diagram which shows the content of construction site image DB. ニューラルネットワークを用いた学習器の構成概略を示す図である。It is a figure which shows the structure outline of the learning device using a neural network. 学習器の判定結果が現場作業者毎に区別されて出力される様子を示す概念図である。It is a conceptual diagram which shows a mode that the determination result of a learning device is distinguished for every field worker, and is output. 学習器の判定結果が現場作業者毎且つ工程毎に区別されて出力される様子を示す概念図である。It is a conceptual diagram which shows a mode that the determination result of a learning device is distinguished for every field worker and for every process, and is output.

以下、本発明の実施形態について説明する。   Hereinafter, embodiments of the present invention will be described.

図１は、本実施形態に係る工事現場画像判定システム１０の構成概略図である。工事現場画像判定システム１０は、デジタルカメラ１２、管理者端末１４、及び、工事現場画像判定装置としてのサーバ１６を含んで構成される。デジタルカメラ１２、管理者端末１４、及びサーバ１６は、相互に通信可能なように、ＬＡＮ（Local Area Network）あるいはインターネットなどから構成される通信回線２０を介して互いに通信可能に接続されている。なお、図１には、デジタルカメラ１２、及び管理者端末１４は、それぞれ１つずつ示されているが、これらは複数設けられてよい。   FIG. 1 is a schematic diagram of a construction site image determination system 10 according to the present embodiment. The construction site image determination system 10 includes a digital camera 12, a manager terminal 14, and a server 16 as a construction site image determination device. The digital camera 12, the administrator terminal 14, and the server 16 are communicably connected to each other via a communication line 20 configured of a LAN (Local Area Network), the Internet, or the like so as to be able to communicate with each other. Although one digital camera 12 and one manager terminal 14 are shown in FIG. 1, a plurality of these may be provided.

デジタルカメラ１２は、文字通りのデジタルカメラであってもよいし、カメラ機能を搭載したタブレット端末（携帯端末）であってもよい。デジタルカメラ１２は、工事現場で作業を行う者によって用いられる。本実施形態における工事現場は、例えば建築現場あるいはリフォーム現場である。本実施形態では、工事現場で工事を行う現場作業者がデジタルカメラ１２を使用するものとする。デジタルカメラ１２は、工事現場における工事結果（出来栄え）を示す工事現場画像を撮影するためのものである。本実施形態では、現場作業者は、工事の１つの工程が完了する度に、当該工程の工事結果を示す工事現場画像を撮影する。   The digital camera 12 may be a literal digital camera, or may be a tablet terminal (mobile terminal) equipped with a camera function. The digital camera 12 is used by a person who works at a construction site. The construction site in the present embodiment is, for example, a construction site or a renovation site. In this embodiment, it is assumed that a site worker who performs construction at a construction site uses the digital camera 12. The digital camera 12 is for photographing a construction site image showing the result (construction quality) of the construction at the construction site. In the present embodiment, the site worker captures a construction site image showing the construction result of the process each time one process of the construction is completed.

工事現場画像には、付帯情報であるメタデータが関連付けられる。メタデータには、当該工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報が含まれる。また、メタデータには、当該工事現場画像が示す工事の工程を示す工程識別情報が含まれていてもよい。さらに、メタデータには、工事現場を識別する工事現場識別情報あるいは撮影時刻情報などが含まれていてもよい。   Metadata, which is incidental information, is associated with the construction site image. The metadata includes worker identification information indicating a site worker who is in charge of the construction corresponding to the construction site image. Further, the metadata may include process identification information indicating the process of the construction indicated by the construction site image. Furthermore, the metadata may include construction site identification information for identifying a construction site, shooting time information, and the like.

デジタルカメラ１２は通信機能を有しており、撮影された工事現場画像及びメタデータはサーバ１６へ送信される。   The digital camera 12 has a communication function, and the photographed construction site image and metadata are transmitted to the server 16.

管理者端末１４は、管理者が利用する端末である。管理者端末１４は、工事現場から遠隔の地に設置される。管理者端末１４は、一般的なコンピュータであってよく、ＣＰＵ（Central Processing Unit）などからなる制御部、ハードディスク、ＲＯＭ（Read Only Memory）あるいはＲＡＭ（Random Access Memory）などからなる記憶部、ネットワークアダプタなどからなる通信部、液晶パネルなどからなる表示部、及びキーボードあるいはマウスなどからなる入力部を含んで構成される。   The administrator terminal 14 is a terminal used by the administrator. The manager terminal 14 is installed at a location remote from the construction site. The administrator terminal 14 may be a general computer, and includes a control unit including a central processing unit (CPU), a hard disk, a storage unit including a read only memory (ROM) or a random access memory (RAM), and a network adapter. And the like, a display unit such as a liquid crystal panel, and an input unit such as a keyboard or a mouse.

図２は、サーバ１６の構成概略図である。サーバ１６は、サーバとして機能し得る程度の性能を有するコンピュータにより構成される。なお、本明細書においては、サーバ１６が有する学習器３６（後述）の学習のための学習データに含まれる工事現場画像を「学習用工事現場画像」と、学習済みの学習器３６による良不良判定の対象となる工事現場画像を「判定対象工事現場画像」と区別して記載する。特に両者の区別をしない場合は、単に「工事現場画像」と記載する。   FIG. 2 is a schematic diagram of the server 16. The server 16 is configured by a computer having a performance that can function as a server. In the present specification, the construction site image included in the learning data for learning of the learning device 36 (described later) included in the server 16 is referred to as “a construction site image for learning”; The construction site image to be judged is described separately from the "construction site image to be judged". In particular, when the two are not distinguished, they are simply described as "construction site image".

通信部３０は、例えばネットワークアダプタなどを含んで構成される。通信部３０は、通信回線１８を介して他の装置と通信する機能を発揮する。例えば、通信部３０は、メタデータ付き工事現場画像をデジタルカメラ１２から受信する。また、通信部３０は、判定対象工事現場画像に関する良不良判定などを示す判定結果を管理者端末１４に送信する。   The communication unit 30 includes, for example, a network adapter. The communication unit 30 exerts a function of communicating with another device via the communication line 18. For example, the communication unit 30 receives the metadata attached construction site image from the digital camera 12. In addition, the communication unit 30 transmits, to the administrator terminal 14, a determination result indicating the quality determination or the like regarding the determination target construction site image.

記憶部３２は、例えばハードディスク、ＲＯＭ、あるいはＲＡＭなどを含んで構成される。記憶部３２には、サーバ１６の各部を動作させるための工事現場画像判定プログラムが記憶される。また、記憶部３２には、工事現場画像ＤＢ３４が定義される。   The storage unit 32 includes, for example, a hard disk, a ROM, or a RAM. In the storage unit 32, a construction site image determination program for operating each unit of the server 16 is stored. Further, in the storage unit 32, a construction site image DB 34 is defined.

図３に工事現場画像ＤＢ３４の内容を示す概念図が示されている。工事現場画像ＤＢ３４には、例えば、過去に各工事現場において各現場作業者によりデジタルカメラ１２で撮影された工事現場画像である、複数の学習用工事現場画像と、各学習用工事現場画像に関するメタデータとが蓄積記憶されている。図３に示すように、本実施形態においては、学習用工事現場画像と、当該学習用工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報と、当該工事現場に対応する工程を示す工程識別情報が関連付けられて複数記憶される。   The conceptual diagram which shows the content of construction site image DB34 is shown by FIG. The construction site image DB 34 includes, for example, a plurality of construction site images for learning, which are construction site images captured with the digital camera 12 by each site worker at each construction site in the past, and meta regarding the respective construction site images for learning Data and are stored and stored. As shown in FIG. 3, in the present embodiment, a construction site image for learning, worker identification information indicating a site worker in charge of construction corresponding to the construction site image for learning, and the construction site corresponding to the construction site A plurality of pieces of process identification information indicating a process are associated with one another.

デジタルカメラ１２により取得された学習用工事現場画像は、管理者よって良不良判定される。学習用工事現場画像は、デジタルカメラ１２で取得された後、サーバ１６を介して管理者端末１４に送信される。管理者は、管理者端末１４の表示部に表示された学習用工事現場画像を確認することで、当該学習用工事現場画像に関する良不良判定を行う。すなわち、当該学習用工事現場画像が示す工事結果が適切なものであれば良判定とし、そうでなければ不良判定とする。管理者は管理者端末１４の入力部を用いて当該学習用工事現場画像に関する良不良判定を入力し、入力された良不良判定が管理者端末１４からサーバ１６に送信される。工事現場画像ＤＢ３４には、管理者端末１４から受信した良不良判定が、当該学習用工事現場画像に関連付けられて記憶される。   The construction site image for learning acquired by the digital camera 12 is judged good or bad by the manager. The learning construction site image is transmitted to the administrator terminal 14 via the server 16 after being acquired by the digital camera 12. The administrator checks the construction site image for learning displayed on the display unit of the administrator terminal 14 to perform the quality determination regarding the image for the construction site for learning. That is, if the construction result indicated by the learning construction site image is appropriate, it is judged as good, otherwise it is judged as defective. The administrator uses the input unit of the administrator terminal 14 to input the pass / fail judgment on the learning construction site image, and the inputted pass / fail judgment is transmitted from the administrator terminal 14 to the server 16. In the construction site image DB 34, the quality determination received from the administrator terminal 14 is stored in association with the learning construction site image.

図２に戻り、記憶部３２には、学習器３６が記憶される。学習器３６の実態は、各ユニット（ニューロン）に関する重み及びバイアスなどの各パラメータ、並びに、入力データに対して処理を行うための処理実行プログラムである。したがって、記憶部３２に学習器３６が記憶されるとは、学習器３６に関する各種パラメータと処理実行プログラムが記憶部３２に記憶されることを意味する。   Returning to FIG. 2, the learning unit 36 is stored in the storage unit 32. The reality of the learning device 36 is each parameter such as weight and bias regarding each unit (neuron), and a processing execution program for processing input data. Therefore, that the learning device 36 is stored in the storage unit 32 means that various parameters related to the learning device 36 and the processing execution program are stored in the storage unit 32.

本実施形態における学習器３６は、工事現場画像ＤＢ３４に記憶された複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定を含む学習データを用いて学習する。その上で、学習器３６には、例えば新たに取得された工事現場画像である判定対象工事現場画像が入力データとして入力され、学習器３６は判定対象工事現場画像に関する良不良判定を行う。すなわち、判定対象工事現場画像が示す工事結果が適切である場合は良判定とし、判定対象工事現場画像が示す工事結果が適切でない場合には不良判定とする。   The learning device 36 in the present embodiment performs learning using a plurality of learning construction site images stored in the construction site image DB 34 and learning data including quality determination regarding the respective learning construction site images. After that, a judgment target construction site image, which is, for example, a newly acquired construction site image, is input as input data to the learning device 36, and the learning device 36 performs quality determination regarding the judgment target construction site image. That is, when the construction result indicated by the judgment target construction site image is appropriate, it is judged as good, and when the construction result indicated by the judgment target construction site image is not appropriate, it is judged as defect judgment.

学習器３６は、上述のように学習可能であり、且つ、判定対象工事現場画像に関する良不良判定が可能な限りにおいてどのような学習器であってもよい。学習器３６の構造の詳細については後述する。   The learning device 36 may be any learning device as long as it can learn as described above and can make a good / bad judgment on the image of the construction site to be judged. Details of the structure of the learning device 36 will be described later.

制御部３８は、例えばＣＰＵなどを含んで構成される。制御部３８は、記憶部３２に記憶された工事現場画像判定プログラムに従って、サーバ１６の各部を制御するものである。また、制御部３８は、学習処理部４０及び判定部４２としても機能する。   The control unit 38 is configured to include, for example, a CPU. The control unit 38 controls the respective units of the server 16 in accordance with the construction site image determination program stored in the storage unit 32. The control unit 38 also functions as a learning processing unit 40 and a determination unit 42.

学習処理部４０は、学習器３６の学習処理を実行する。具体的には、学習用工事現場画像を学習器３６に入力し、学習器３６の出力データが当該学習用工事現場画像に関する良不良判定に適合するように、学習器３６を学習する。   The learning processing unit 40 executes the learning process of the learning device 36. Specifically, the construction site image for learning is input to the learning device 36, and the learning device 36 is learned so that the output data of the learning device 36 conforms to the quality determination regarding the construction site image for learning.

判定部４２は、学習済みの学習器３６に判定対象工事現場画像を入力し、学習器３６の出力データに基づいて、当該判定対象工事現場画像に関する良不良判定を行う。特に、本実施形態における判定部４２は、学習器３６に入力された判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力する。判定部４２は、この処理を繰り返し、現場作業者毎に、複数の判定対象工事現場画像に関する良不良判定を含む判定結果を出力する。   The determination unit 42 inputs the determination target construction site image to the learning device 36 that has been learned, and performs the quality determination on the determination target construction site image based on the output data of the learning device 36. In particular, based on the worker identification information associated with the determination target construction site image input to the learning device 36, the determination unit 42 in the present embodiment determines the quality of the determination target construction site image for each site worker based on the worker identification information. Distinguish and output. The determination unit 42 repeats this process, and outputs the determination result including the quality determination regarding the plurality of determination target construction site images for each site worker.

判定部４２が出力した判定結果は、例えば管理者端末１４からの要求に応じて管理者端末１４に送信される。これにより、管理者に判定結果が提供される。   The determination result output from the determination unit 42 is transmitted to the administrator terminal 14 in response to a request from the administrator terminal 14, for example. Thereby, the determination result is provided to the administrator.

以下、学習器３６の詳細と共に、学習処理部４０及び判定部４２の処理の具体例について説明する。本実施形態では、学習器３６は、ニューラルネットワークを用いたものとなっている。図４は、本実施形態における学習器３６の構造を示す図である。学習器３６の入力データは、複数の入力変数ｘ１、ｘ２、ｘ３・・・を含んでいる。各入力データの入力変数は、工事現場画像の各画素の画素値である。 Hereinafter, a specific example of the processing of the learning processing unit 40 and the determination unit 42 will be described together with the details of the learning device 36. In the present embodiment, the learning device 36 uses a neural network. FIG. 4 is a diagram showing the structure of the learning device 36 in the present embodiment. The input data of the learning device 36 includes a plurality of input variables x 1 , x 2 , x 3 . The input variable of each input data is the pixel value of each pixel of the construction site image.

学習器３６は、それぞれが複数のユニット５０を含む複数の層を含んで構成される。通常、最も入力側に位置する入力層、最も出力側に位置する出力層、及び、入力層と出力層の間に設けられる中間層（あるいは隠れ層とも呼ばれる）を含んで構成される。図４の例では、中間層は１層となっているが、中間層として複数の層を有していてもよい。   The learning device 36 is configured to include a plurality of layers each including a plurality of units 50. Usually, it comprises an input layer located closest to the input side, an output layer located closest to the output side, and an intermediate layer (also called a hidden layer) provided between the input layer and the output layer. In the example of FIG. 4, the intermediate layer is a single layer, but a plurality of layers may be provided as the intermediate layer.

各入力変数は、入力層の各ユニット５０に入力される。各ユニット５０においては、各入力変数に対する重みｗ１、ｗ２、ｗ３・・・、及びバイアスｂが定義されている。各入力変数と対応する重みが掛け合わされた値の合計にバイアスを加算した値が当該ユニット５０の入力となる。つまり、入力層の１つのユニット５０に対する入力ｕは、

Figure 2019075078
で表される。ここで、Ｉは入力変数の数である。なお、ユニット５０毎に、重みｗ１、ｗ２、ｗ３・・・と、バイアスｂはそれぞれ異なるものであってよい。 Each input variable is input to each unit 50 of the input layer. In each unit 50, weights w 1 , w 2 , w 3 ... And bias b are defined for each input variable. A value obtained by adding a bias to a sum of values obtained by multiplying each input variable by the corresponding weight is an input of the unit 50. That is, the input u for one unit 50 of the input layer is
Figure 2019075078
 Is represented by Here, I is the number of input variables. The weights w 1 , w 2 , w 3, ... And the bias b may be different for each unit 50.

各ユニット５０は、入力ｕに対する、活性化関数と呼ばれる関数ｆの出力を出力する。すなわち、各ユニット５０の出力ｚは、
ｚ＝ｆ（ｕ） ・・・（式２）
で表される。なお、活性化関数としては、例えばシグモイド関数、ランプ関数、あるいはステップ関数などを利用することができる。入力層の各ユニット５０からの出力は、中間層の各ユニット５０に入力される。すなわち、入力層の各ユニット５０と中間層の各ユニット５０は全結合される。 Each unit 50 outputs an output of a function f called an activation function to an input u. That is, the output z of each unit 50 is
z = f (u) ... (Equation 2)
Is represented by For example, a sigmoid function, a ramp function, or a step function can be used as the activation function. The output from each unit 50 of the input layer is input to each unit 50 of the intermediate layer. That is, each unit 50 of the input layer and each unit 50 of the middle layer are completely coupled.

中間層の各ユニット５０は、入力層の各ユニット５０の出力を入力として、上記と同様の処理を行う。すなわち、中間層の各ユニット５０には、入力層の各ユニット５０に対する重みとバイアスが設定されている。中間層の各ユニット５０からの出力は、出力層の各ユニット５０に入力される。すなわち、中間層の各ユニット５０と出力層の各ユニット５０も全結合される。出力層の各ユニット５０も、中間層の各ユニット５０の出力を入力として、上記と同様の処理を行う。すなわち、出力層の各ユニット５０には、中間層の各ユニット５０に対する重みとバイアスが設定されている。   Each unit 50 in the middle layer performs the same processing as described above with the output of each unit 50 in the input layer as an input. That is, in each unit 50 of the intermediate layer, the weight and bias for each unit 50 of the input layer are set. The output from each unit 50 of the middle layer is input to each unit 50 of the output layer. That is, each unit 50 of the intermediate layer and each unit 50 of the output layer are also completely coupled. Each unit 50 of the output layer also performs the same processing as described above with the output of each unit 50 of the intermediate layer as an input. That is, in each unit 50 of the output layer, a weight and a bias for each unit 50 of the intermediate layer are set.

出力層の各ユニット５０の出力は、ソフトマックス関数に入力される。ソフトマックス関数とは、出力層の各ユニット５０の出力に基づいて、複数の出力変数を算出する関数である。当該複数の出力変数が学習器３６の出力データとなる。各出力変数は、学習器３６が分類を行う各分類ラベル（カテゴリ）に対応するものであり、後述するように、各出力変数の値は、入力データが各分類ラベルに属する確率を示すものとなる。   The output of each unit 50 of the output layer is input to the soft max function. The soft max function is a function that calculates a plurality of output variables based on the output of each unit 50 of the output layer. The plurality of output variables become output data of the learning device 36. Each output variable corresponds to each classification label (category) which the learning device 36 classifies, and as described later, the value of each output variable indicates the probability that the input data belongs to each classification label. Become.

図４に示す通り、ソフトマックス関数の出力が複数の出力変数ｙ１、ｙ２、ｙ３・・・を有しているとすると、出力変数ｙ１、ｙ２、ｙ３・・・が、入力データの各分類ラベルに属する各確率を表すものとなる。具体的には、ソフトマックス関数は、以下の式で与えられる。

Figure 2019075078
ここで、ｙｋはｋ番目の出力変数であり、Ｍは出力層のユニット数であり、ｚｊ（ｋ）はｊ（ｋ）番目の出力層のユニット５０の出力値である。式（３）が示す通り、ソフトマックス関数により、出力層のｋ番目のユニット５０の出力がｙｋに変換される。すなわち、ソフトマックス関数により、出力層の各ユニット５０の出力が各出力変数ｙに変換されている。 Assuming that the output of the softmax function has a plurality of output variables y 1 , y 2 , y 3 ... As shown in FIG. 4, the output variables y 1 , y 2 , y 3 . It represents each probability belonging to each classification label of the input data. Specifically, the soft max function is given by the following equation.
Figure 2019075078
 Here, y k is the k-th output variable, M is the number of units of the output layer, and z j (k) is the output value of the unit 50 of the j (k) -th output layer. As indicated by the equation (3), the softmax function, the output of the k th unit 50 of the output layer is converted into y k. That is, the output of each unit 50 of the output layer is converted to each output variable y by the soft max function.

ソフトマックス関数の特徴としては、各出力の合計が１となることである。したがって、出力変数ｙｋが分類ラベルｋに対応するものとするならば、出力変数ｙｋの値が、当該入力データが分類ラベルｋに属する確率を表すものと解釈できる。 The feature of the soft max function is that the sum of each output is 1. Therefore, if it is assumed that the output variable y k corresponds to the classification label k, the value of the output variable y k is be interpreted as the input data represents the probability that belong to a class label k.

判定対象工事現場画像に関する良不良判定を行う学習器３６において考えられる最も単純な構成では、出力変数（分類ラベル）は２つであり、１つ目の出力変数ｙ１が良判定、２つ目の出力変数ｙ２が不良判定に対応するものとなる。この場合は、学習処理部４０は、良不良判定が既知の学習用工事現場画像を学習データとして学習器３６に入力し、当該学習用工事現場画像に対する出力データにおいて、当該学習用工事現場画像に関する良不良判定に対応する出力変数の値が大きくなり、他の出力変数の値が小さくなるように、各層の各ユニット５０の各重み及びバイアスを調整する（すなわち学習器３６を学習する）。例えば、学習用工事現場画像が良判定である場合には、学習処理部４０は、当該学習用工事現場画像に対する出力データにおいて、出力変数ｙ１の値が大きくなり、出力変数ｙ２の値が小さくなるように、各層の各ユニット５０の各重み及びバイアスを調整する。 In the simplest possible configuration in learner 36 for good or bad determination regarding the determination target worksite image, output variables (classification label) is two, the determination first output variable y 1 is good, the second The output variable y 2 of corresponds to the defect determination. In this case, the learning processing unit 40 inputs the learning construction site image whose quality determination is known as learning data to the learning device 36, and the output data for the learning construction site image relates to the learning construction site image. Each weight and bias of each unit 50 of each layer are adjusted (that is, the learning device 36 is learned) so that the value of the output variable corresponding to the good / defective determination becomes large and the value of the other output variable becomes small. For example, when the learning construction site image is a good decision, the learning processing unit 40, the output data for the learning construction site image, the value of the output variable y 1 is increased, the value of the output variable y 2 The weights and biases of each unit 50 in each layer are adjusted to be smaller.

判定部４２は、十分に学習された学習器３６に対して、判定対象工事現場画像を入力データとして入力する。そして、学習器３６の出力データに含まれる各出力変数の値に基づいて、当該判定対象工事現場画像に関する良不良判定を行う。例えば、判定部４２は、良判定に対応する出力変数ｙ１が不良判定に対応する出力変数ｙ２よりも大きな値を示すならば、当該判定対象工事現場画像を良判定とする。一方、出力変数ｙ２が出力変数ｙ１よりも大きな値を示すならば、当該判定対象工事現場画像を不良判定とする。 The determination unit 42 inputs the determination target construction site image as input data to the learning device 36 that has been sufficiently learned. And based on the value of each output variable contained in the output data of the learning device 36, the quality determination regarding the said construction object for a construction site is performed. For example, the determination unit 42, if than the output variable y 2 in which the output variables y 1 corresponding to the good judgment corresponds to the defective judgment indicates a large value, and good judging the determination target worksite image. On the other hand, the output variable y 2 is if a larger value than the output variables y 1, to the determination target construction site image and defective judgment.

上述のように、判定部４２は、判定対象工事現場画像に関する判定結果を現場作業者毎に区別して出力する。図５には、判定対象工事現場画像に関する判定結果が現場作業者毎に区別して出力される様子が示されている。判定部４２は、図５に示されるように、判定対象工事現場画像を学習器３６に入力し、当該判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、学習器３６の判定結果を現場作業者毎に区別して出力する。判定部４２がこの処理を繰り返すことによって、現場作業者毎に複数の判定対象工事現場画像に関する判定結果が出力される。   As described above, the determination unit 42 distinguishes the determination result on the determination target construction site image for each site worker and outputs it. FIG. 5 shows a state in which the determination result on the determination target construction site image is output separately for each site worker. The determination unit 42 inputs the determination target construction site image to the learning device 36 as illustrated in FIG. 5, and the determination result of the learning unit 36 based on the worker identification information associated with the determination target construction site image. Are output separately for each site worker. As the determination unit 42 repeats this process, the determination result on a plurality of determination target construction site images is output for each site worker.

判定部４２の判定結果は、管理者端末１４に送信される。管理者端末１４は、受信した判定結果に基づいて、複数の判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して表示部に表示する。複数の判定対象工事現場画像に関する良不良判定は、工事結果が適切であるか否かの統計的データであるともいえる。したがって、管理者端末１４の表示部には、工事結果が適切であるか否かの統計的データが現場作業者毎に区別されて表示されるといえる。   The determination result of the determination unit 42 is transmitted to the administrator terminal 14. Based on the received determination result, the administrator terminal 14 distinguishes good / defective determination regarding a plurality of determination target construction site images for each site worker and displays the result on the display unit. It can also be said that the good or bad judgment about a plurality of judgment target construction site images is statistical data as to whether the construction result is appropriate or not. Therefore, it can be said that statistical data as to whether the construction result is appropriate is displayed on the display unit of the manager terminal 14 separately for each site worker.

管理者は、現場作業者毎に区別された工事結果が適切であるか否かの統計的データに基づいて、各現場作業者の能力を把握することができる。例えば、現場作業者Ａに対して現場作業者Ｂの不良判定が有意に多いのであれば、現場作業者Ｂに比して現場作業者Ａの能力が高いと言える。   The manager can grasp the ability of each site worker based on statistical data as to whether or not the construction result distinguished for each site worker is appropriate. For example, if the number of defects judged by the site worker B is significantly greater than that of the site worker A, it can be said that the capability of the site worker A is higher than that of the site worker B.

また、複数の判定対象工事現場画像の撮影時刻情報に基づいて、良不良判定を判定対象工事現場画像の撮影時刻順に並べて表示するようにしてもよい。これにより、工事結果が適切であるか否かが時系列的に並んだ統計的データが管理者に提供される。このような統計的データによれば、管理者は、工事結果が適切であるか否かの時間的変化を現場作業者毎に把握することができる。例えば、現場作業者Ａは以前は不良が多かったが、最近は不良が少ないなどといった変化を容易に把握することができる。この場合、現場作業者Ａが何らかの工夫あるいは努力をしたことで、その能力が向上したと見ることもできる。   In addition, based on the shooting time information of a plurality of determination target construction site images, the good / defective determination may be arranged and displayed in the order of the shooting time of the determination target construction site images. As a result, statistical data is provided to the manager in chronological order as to whether or not the construction result is appropriate. According to such statistical data, the manager can grasp the temporal change of whether or not the construction result is appropriate for each site worker. For example, the site worker A can easily grasp changes such as that there were many defects in the past but few defects recently. In this case, it can be seen that the ability of the on-site worker A has improved as a result of making some effort or effort.

このように、本実施形態に係る工事現場画像判定システム１０によれば、現場作業者毎に複数の判定対象工事現場画像に関する良不良判定が出力されるから、管理者は、それに基づいて各現場作業者の能力を把握することができる。また、工事現場画像判定システム１０においては、学習器３６を用いて判定対象工事現場画像に関する良不良判定を行うから、判定対象工事現場画像の良不良判定を管理者が行う必要なく、しかも高精度な判定が実現される。これにより、管理者は、容易に、各現場作業者の能力を把握することが可能となる。   As described above, according to the construction site image determination system 10 according to the present embodiment, the pass / fail judgment on a plurality of determination target construction site images is output for each site worker. It is possible to grasp the worker's ability. Further, in the construction site image judgment system 10, since the quality judgment of the construction site image to be judged is performed using the learning device 36, the administrator does not have to judge the quality of the construction site image to be judged and the accuracy is high. Judgment is realized. Thereby, the manager can easily grasp the ability of each site worker.

図４に戻り、学習器３６は、３つ以上の出力変数（ｙ１、ｙ２、ｙ３・・・）を有する出力データを出力するようにしてもよい。この場合、１つ目の出力変数ｙ１が良判定に対応するものであり、２つ目以降の出力変数ｙ２、ｙ３・・・が不良判定に対応するものとなる。不良判定に対応する複数の出力変数ｙ２、ｙ３・・・は、それぞれ異なる不良の種類に対応するものとなる。不良の種類は、例えば、不良箇所あるいは不良態様などによって分類されるものである。このように、３つ以上の出力変数を有する出力データを出力することで、学習器３６は、判定対象工事現場画像に関して、単に良不良判定するのみならず、不良の種類を判定することが可能となる。 Returning to FIG. 4, the learning device 36 may output output data having three or more output variables (y 1 , y 2 , y 3 ...). In this case, the first output variable y 1 corresponds to the good determination, and the second and subsequent output variables y 2 , y 3 ... Correspond to the defect determination. The plurality of output variables y 2 , y 3, ... Corresponding to the defect determination correspond to different types of defects. The types of defects are classified, for example, according to defects or defects. As described above, by outputting the output data having three or more output variables, the learning device 36 can determine not only the good or the bad judgment regarding the judgment target construction site image but also the kind of the defect. It becomes.

学習器３６の出力データが３以上の出力変数を有する場合は、工事現場画像ＤＢ３４において、不良判定の学習用工事現場画像に対しては、管理者により特定された不良の種類を示す情報が関連付けられる。学習処理部４０は、工事現場画像ＤＢ３４に記憶された、複数の学習用工事現場画像、各学習用工事現場画像に関する良不良判定、及び、不良判定された学習用工事現場に関して特定された不良の種類を含む学習データを用いて学習器３６を学習する。すなわち、学習処理部４０は、当該学習用工事現場画像に対する出力データにおいて、当該学習用工事現場画像が良判定である場合は、出力変数ｙ１が最も大きな値となるように各層の各ユニット５０の各重み及びバイアスを調整し、当該学習用工事現場画像が不良判定である場合は、当該学習用工事現場画像の不良の種類に対応する出力変数の値が最も大きくなるように、各層の各ユニット５０の各重み及びバイアスを調整する。 When the output data of the learning device 36 has three or more output variables, in the construction site image DB 34, information indicating the type of defect specified by the administrator is associated with the construction site image for learning of defect determination. Be The learning processing unit 40 determines a plurality of construction site images for learning stored in the construction site image DB 34, a good / defective determination on each construction site image for learning, and a defect specified for the construction site for learning determined to be defective. The learning device 36 is learned using learning data including the type. That is, in the output data for the learning construction site image, when the learning construction site image is judged to be good, the learning processing unit 40 sets each unit 50 of each layer so that the output variable y 1 has the largest value. If each learning construction site image is a defect determination, adjust each weight and bias of each of the layers so that the value of the output variable corresponding to the type of the failure of the learning construction site image is maximized. Adjust each weight and bias of unit 50.

このように学習された学習器３６に対して、判定部４２は、判定対象工事現場画像を入力データとして入力する。そして、判定部４２は、学習器３６の出力データに基づいて当該判定対象工事現場画像の良不良判定を行い、不良判定となった判定対象工事現場画像については、さらに不良の種類を判定する。   For the learning device 36 learned in this manner, the determination unit 42 inputs the determination target construction site image as input data. Then, the determination unit 42 performs good / defect judgment on the judgment target construction site image based on the output data of the learning device 36, and further judges the type of the defect for the judgment target construction site image that has become a failure judgment.

具体的には、判定部４２は、学習器３６の出力データにおいて、良判定に対応する出力変数ｙ１が最も大きな値を示すならば、当該判定対象工事現場画像を良判定とする。また、判定部４２は、不良判定であって第１の種類の不良に対応する出力変数ｙ２が最も大きな値を示すならば、当該判定対象工事現場画像は不良判定とし、その不良の種類は第１の種類であると判定する。また、判定部４２は、不良判定であって第２の種類の不良に対応する出力変数ｙ３が最も大きな値を示すならば、当該判定対象工事現場画像を不良判定とし、その不良の種類は第２の種類であると判定する。判定部４２がこの処理を繰り返すことによって、現場作業者毎に複数の判定対象工事現場画像に関する良不良判定及び不良の種類を含む判定結果が出力される。 More specifically, the determination unit 42, the output data of the learning device 36, if the output variables y 1 corresponding to the good judgment indicates the largest value, and good judging the determination target worksite image. Further, if the determination unit 42 is a defect determination and the output variable y 2 corresponding to the first type of defect indicates the largest value, the determination target construction site image is determined as a defect determination, and the type of the defect is It is determined that it is the first type. The determination unit 42, if they exhibit the greatest value output variable y 3 corresponding to the second type a defective defective judgment, the judgment object construction site image and defective judgment, the kind of the defect It is determined to be the second type. As the determination unit 42 repeats this process, the determination result including the types of the quality determination and the defect related to the plurality of determination target construction site images is output for each site worker.

学習器３６の判定結果がサーバ１６から管理者端末１４に送信され、管理者端末１４の表示部には、現場作業者毎に、複数の判定対象工事現場画像の良不良判定のみならず、不良画像についての不良の種類が表示される。これにより、管理者は、各現場作業者について、特定の種類の不良が多いあるいは少ないなどの不良の傾向を把握することができる。   The judgment result of the learning device 36 is transmitted from the server 16 to the manager terminal 14, and the display unit of the manager terminal 14 not only judges the quality of a plurality of judgment target construction site images for each site worker, but also defects. The type of defect for the image is displayed. Thereby, the manager can grasp the tendency of defects such as many or few defects of a specific type for each site worker.

また、学習器３６は、工事の各工程に対応して複数設けられてもよい。例えば、工程１用学習器３６ａ、工程２用学習器３６ｂ、工程３用学習器３６ｃ・・・が設けられてもよい。この場合、学習処理部４０は、各学習器３６に対応する工程の学習用工事現場画像を含む学習データを用いて各学習器３６を学習する。例えば、工程１用学習器３６ａに対しては、工事現場画像ＤＢ３４に記憶された複数の学習用工事現場画像のうち、工程１に関連付けられた学習用工事現場画像を含む学習データを用いて学習を行う。   Further, a plurality of learning devices 36 may be provided corresponding to each process of construction. For example, a learning device 36a for process 1, a learning device 36b for process 2, and a learning device 36c for process 3 may be provided. In this case, the learning processing unit 40 learns each learning device 36 using learning data including a learning construction site image of a process corresponding to each learning device 36. For example, among the plurality of learning construction site images stored in the construction site image DB 34, for the process 1 learning device 36a, learning is performed using learning data including the learning construction site image associated with the process 1 I do.

判定部４２は、判定対象工事現場画像に関連付けられた工程識別情報に基づいて、複数の学習器３６の中から、当該判定対象工事現場画像を入力する学習器３６を選択する。例えば、判定部４２は、工程１を示す工程識別情報が関連付けられた判定対象工事現場画像に対して工程１用学習器３６ａを選択する。そして、判定部４２は、選択した学習器３６に当該を判定対象工事現場画像を入力する。   Based on the process identification information associated with the determination target construction site image, the determination unit 42 selects, from among the plurality of learning units 36, the learning unit 36 that inputs the determination target construction site image. For example, the determination unit 42 selects the process 1 learning device 36 a for the determination target construction site image associated with the process identification information indicating the process 1. Then, the determination unit 42 inputs the determination target construction site image to the selected learning device 36.

上述の通り、各工程に対応する各学習器３６は、それぞれ、当該判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、判定結果を現場作業者毎に区別して出力する。これにより、判定対象工事現場画像に関する判定結果が、現場作業者毎、且つ、工程毎に区別されて出力される。判定部４２がこの処理を繰り返すことによって、現場作業者と工程の組毎に、複数の判定対象工事現場画像に関する良不良判定が出力される。図６に、判定対象工事現場画像に関する判定結果が現場作業者毎、且つ、工程毎に区別して出力される様子が示されている。なお、各工程に対応した各学習器３６は、判定対象工事現場画像の良不良判定を行うのみならず、不良画像については不良の種類を判定するようにしてもよい。   As described above, each learning device 36 corresponding to each process distinguishes and outputs the determination result for each site worker based on the worker identification information associated with the determination target construction site image. Thereby, the determination result regarding the determination target construction site image is distinguished and output for each site worker and each process. When the determination unit 42 repeats this process, the quality determination regarding the plurality of determination target construction site images is output for each set of the site worker and the process. FIG. 6 shows a state in which the determination result on the determination target construction site image is output separately for each site worker and for each process. Each learning device 36 corresponding to each process may not only determine the quality of the target construction site image to be determined, but may also determine the type of defect for a defective image.

学習器３６の判定結果がサーバ１６から管理者端末１４に送信され、管理者端末１４の表示部には、現場作業者と工程との組毎に、複数の判定対象工事現場画像に関する良不良判定（及び不良の種類）が表示される。すなわち、管理者端末１４の表示部には、工事結果が適切であるか否かの統計的データが、現場作業者と工程の組毎に区別されて表示される。これにより、管理者は、各現場作業者について、特定の工程について不良が多いあるいは少ないなどの傾向を把握することができる。例えば、現場作業者Ａは工程１を得意としている一方工程２を不得意としており、現場作業者Ｂは工程２を得意としている一方工程１を不得意としているなどの能力の特徴を把握することができる。   The determination result of the learning device 36 is transmitted from the server 16 to the administrator terminal 14, and the display unit of the administrator terminal 14 determines the quality of the plurality of determination target construction site images for each set of the site worker and the process. (And the type of defect) are displayed. That is, on the display unit of the administrator terminal 14, statistical data as to whether or not the construction result is appropriate is displayed by being distinguished for each site worker and each set of processes. Thereby, the manager can grasp the tendency of many defects or few defects in a specific process for each site worker. For example, the site worker A is good at the process 1 while being poor at the process 2 and the site worker B is good at the process 2 while grasping the feature of the ability such as not being good at the process 1 Can.

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、本実施形態においては、現場作業者が撮影行為を行って取得された静止画としての新工事現場画像に関する良不良判定を行っているが、撮影機能（カメラ機能）を動作させた上で被写体（工事結果）にデジタルカメラ１２をかざすことで、新工事現場画像群を連続的にサーバ１６に送信して、新工事現場画像群の中から良判定されるものがあれば、当該新工事現場画像群に対応する工事結果が良判定であると判定するようにしてもよい。   As mentioned above, although embodiment which concerns on this invention was described, this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning of this invention. For example, in the present embodiment, although a site worker performs a shooting operation and performs good / defect judgment on a new construction site image as a still image acquired, the imaging function (camera function) is operated. The new construction site image group is continuously transmitted to the server 16 by holding the digital camera 12 over the subject (construction result), and if any of the new construction site image groups are judged to be good, the new construction It may be determined that the construction result corresponding to the site image group is a good judgment.

１０ 工事現場画像判定システム、１２ デジタルカメラ、１４ 管理者端末、１６ サーバ、１８ 通信回線、３０ 通信部、３２ 記憶部、３４ 工事現場画像ＤＢ、３６ 学習器、３６ａ 工程１用学習器、３６ｂ 工程２用学習器、３６ｃ工程３用学習器、３８ 制御部、４０ 学習処理部、４２ 判定部、５０ ユニット。
DESCRIPTION OF SYMBOLS 10 construction site image determination system, 12 digital camera, 14 administrator terminal, 16 server, 18 communication line, 30 communication part, 32 memory part, 34 construction site image DB, 36 learning device, 36a learning device for process 1, process 36b 2 for learning device, 36 c for process 3 learning device, 38 control unit, 40 learning processing unit, 42 determination unit, 50 units.

Claims (4)

工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、
前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、
を備えることを特徴とする工事現場画像判定装置。 It is possible to perform good / defective judgment on the construction site image by learning using a plurality of learning construction site images showing construction results and learning data including the judgment on the construction result indicated by each learning construction site image. With a good learner,
The judgment target construction site image is input to the learning device, and the good / defective judgment regarding the judgment target construction site image is performed based on the output data of the learning device, and the judgment target construction associated with the judgment target construction site image Based on the worker identification information indicating the site worker in charge of the construction corresponding to the site image, the good / defective determination on the image of the target construction site to be judged is distinguished for each site worker and outputted, A determination unit for outputting a determination result including a good / defective determination regarding a determination target construction site image;
The construction site image judging device characterized by having. 前記学習器は、さらに、不良判定された学習用工事現場画像に関して特定された不良の種類を含む前記学習データを用いて学習することで、工事現場画像に関する良不良判定及び不良の種類の分類が可能であり、
前記判定部は、前記判定対象工事現場画像について不良判定した場合に、さらに、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する不良の種類を判定し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定及び不良の種類を含む判定結果を出力する、
ことを特徴とする請求項１に記載の工事現場画像判定装置。 The learning device further learns by using the learning data including the type of defect specified with respect to the construction site image for learning determined to be defective, whereby the quality judgment and classification of the type of defect regarding the construction site image are performed. Is possible,
The determination unit further determines the type of the defect related to the determination target construction site image based on the output data of the learning device when the determination target is defective for the determination target construction site image, and a plurality of types are determined for each site worker. Output the determination result including the type of the good / defect judgment and the defect regarding the judgment target construction site image,
The construction site image judging device according to claim 1, characterized in that: 前記学習器は、工事の複数の工程に対応して複数設けられ、
各学習器は、自己に対応する工程の前記学習用工事現場画像を含む複数の前記学習データを用いて学習し、
前記判定部は、前記判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像が示す工事の工程を示す工程識別情報に基づいて選択された学習器に当該判定対象工事現場画像を入力することで、当該判定対象工事現場画像に関する前記判定結果を現場作業者毎、且つ、工程毎に区別して出力し、現場作業者と工程との組毎に複数の判定対象工事現場画像に関する前記判定結果を出力する、
ことを特徴とする請求項１又は２に記載の工事現場画像判定装置。 A plurality of the learning devices are provided corresponding to a plurality of steps of construction,
Each learning device learns using a plurality of the learning data including the learning construction site image of the process corresponding to itself,
The determination unit inputs the determination target construction site image to a learning device selected based on process identification information indicating a process of construction indicated by the determination target construction site image, which is associated with the determination target construction site image. Thus, the determination result regarding the determination target construction site image is output separately for each site worker and for each process, and the determination results regarding a plurality of determination target construction site images for each set of the site worker and the process Output
The construction site image judging device according to claim 1 or 2 characterized by things. コンピュータを、
工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、
前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、
として機能させることを特徴とする工事現場画像判定プログラム。 Computer,
It is possible to perform good / defective judgment on the construction site image by learning using a plurality of learning construction site images showing construction results and learning data including the judgment on the construction result indicated by each learning construction site image. With a good learner,
The judgment target construction site image is input to the learning device, and the good / defective judgment regarding the judgment target construction site image is performed based on the output data of the learning device, and the judgment target construction associated with the judgment target construction site image Based on the worker identification information indicating the site worker in charge of the construction corresponding to the site image, the good / defective determination on the image of the target construction site to be judged is distinguished for each site worker and outputted, A determination unit for outputting a determination result including a good / defective determination regarding a determination target construction site image;
A construction site image judgment program characterized by functioning as
JP2018091115A 2018-05-10 2018-05-10 Construction site image determination device and construction site image determination program Pending JP2019075078A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018091115A JP2019075078A (en) 2018-05-10 2018-05-10 Construction site image determination device and construction site image determination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018091115A JP2019075078A (en) 2018-05-10 2018-05-10 Construction site image determination device and construction site image determination program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017198211A Division JP6341550B1 (en) 2017-10-12 2017-10-12 Construction site image determination device and construction site image determination program

Publications (1)

Publication Number Publication Date
JP2019075078A true JP2019075078A (en) 2019-05-16

Family

ID=66544274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018091115A Pending JP2019075078A (en) 2018-05-10 2018-05-10 Construction site image determination device and construction site image determination program

Country Status (1)

Country Link
JP (1) JP2019075078A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036336A (en) * 2020-09-03 2020-12-04 金钱猫科技股份有限公司 Engineering monitoring method and system based on AI intelligent image analysis
CN113269233A (en) * 2021-04-29 2021-08-17 国网福建省电力有限公司 Intelligent monitoring and early warning system and method for subcontracting and subcontracting of building engineering
CN116994210A (en) * 2023-09-20 2023-11-03 中国水利水电第七工程局有限公司 Tunnel constructor identification method, device and system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036336A (en) * 2020-09-03 2020-12-04 金钱猫科技股份有限公司 Engineering monitoring method and system based on AI intelligent image analysis
CN112036336B (en) * 2020-09-03 2024-05-03 金钱猫科技股份有限公司 Engineering monitoring method and system based on AI intelligent image analysis
CN113269233A (en) * 2021-04-29 2021-08-17 国网福建省电力有限公司 Intelligent monitoring and early warning system and method for subcontracting and subcontracting of building engineering
CN116994210A (en) * 2023-09-20 2023-11-03 中国水利水电第七工程局有限公司 Tunnel constructor identification method, device and system
CN116994210B (en) * 2023-09-20 2023-12-22 中国水利水电第七工程局有限公司 Tunnel constructor identification method, device and system

Similar Documents

Publication Publication Date Title
JP6931402B2 (en) Display quality detection methods, devices, electronic devices and storage media
KR102229594B1 (en) Display screen quality detection method, device, electronic device and storage medium
JP7393515B2 (en) Distributed product defect analysis system, method and computer readable storage medium
JP2019035626A (en) Recognition method of tire image and recognition device of tire image
JP2019519021A (en) Performance model bad influence correction
US10901834B2 (en) Interactive troubleshooting assistant
JP2016085704A (en) Information processing system, information processing device, information processing method, and program
US20180174000A1 (en) Defect image classification device and defect image classification method
CN110009614A (en) Method and apparatus for output information
JP2019075078A (en) Construction site image determination device and construction site image determination program
JP2021081793A (en) Information processing device, control method and program for information processing device
CN108121961A (en) Inspection Activity recognition method, apparatus, computer equipment and storage medium
US20230048386A1 (en) Method for detecting defect and method for training model
JP7062474B2 (en) Deterioration status identification device, deterioration status identification method and program
CN109272215A (en) Project development quality control method, device, computer equipment and storage medium
JP6341550B1 (en) Construction site image determination device and construction site image determination program
US20200293877A1 (en) Interactive assistant
WO2019176988A1 (en) Inspection system, identification system, and device for evaluating identification apparatus
KR102155748B1 (en) Method for automatic apdating inspection unit price using work time versus inspection time of crowdsourcing based project for artificial intelligence training data generation
CN115546218B (en) Confidence threshold determination method and device, electronic equipment and storage medium
CN116977256A (en) Training method, device, equipment and storage medium for defect detection model
US11493901B2 (en) Detection of defect in edge device manufacturing by artificial intelligence
CN114627330A (en) Time sequence flow prediction method and device, storage medium and electronic equipment
CN110855467B (en) Network comprehensive situation prediction method based on computer vision technology
JP2021032042A (en) Deterioration state diagnosis method for structures