JP7004131B2 - Management system, management method and management program - Google Patents

Management system, management method and management program Download PDF

Info

Publication number
JP7004131B2
JP7004131B2 JP2017007861A JP2017007861A JP7004131B2 JP 7004131 B2 JP7004131 B2 JP 7004131B2 JP 2017007861 A JP2017007861 A JP 2017007861A JP 2017007861 A JP2017007861 A JP 2017007861A JP 7004131 B2 JP7004131 B2 JP 7004131B2
Authority
JP
Japan
Prior art keywords
management
management target
location
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017007861A
Other languages
Japanese (ja)
Other versions
JP2018116571A (en
Inventor
拓馬 中林
智弥 金子
理史 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Obayashi Corp
Original Assignee
Obayashi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Obayashi Corp filed Critical Obayashi Corp
Priority to JP2017007861A priority Critical patent/JP7004131B2/en
Publication of JP2018116571A publication Critical patent/JP2018116571A/en
Application granted granted Critical
Publication of JP7004131B2 publication Critical patent/JP7004131B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、管理対象の所在位置を管理する管理システム、管理方法及び管理プログラムに関する。 The present invention relates to a management system, a management method, and a management program for managing the location of a management target.

建設現場において使用される機器は、作業状況に応じて使用する場所が変わる。このため、各機器の所在位置を的確に管理する必要があった。
そこで、従来、資機材の状況を管理するための技術が検討されている（例えば、非特許文献１参照。）。この非特許文献１に記載の技術においては、建設作業員が携帯するＩＣタグや機材などに取り付けたＩＣタグを、エレベーターに設置されたＩＣタグリーダで読み取る。これにより、移動させた資機材、移動時期及び移動先等を記録する。 The place of equipment used at the construction site changes depending on the work situation. Therefore, it is necessary to accurately manage the location of each device.
Therefore, conventionally, a technique for managing the status of materials and equipment has been studied (see, for example, Non-Patent Document 1). In the technique described in Non-Patent Document 1, an IC tag attached to an IC tag or equipment carried by a construction worker is read by an IC tag reader installed in an elevator. In this way, the materials and equipment moved, the time of movement, the destination, etc. are recorded.

更に、建設現場で使用される機器の稼働状況を管理するための技術も検討されている（例えば、特許文献１参照。）。この特許文献１に記載の技術においては、機器に取り付けた加速度センサから取得した計測情報を用いて、機器の状態を判定する。 Further, a technique for managing the operating status of equipment used at a construction site is also being studied (see, for example, Patent Document 1). In the technique described in Patent Document 1, the state of the device is determined by using the measurement information acquired from the acceleration sensor attached to the device.

特開２０１３－５４６８２号公報Japanese Unexamined Patent Publication No. 2013-54682

株式会社大林組、「資機材の搬入状況が一目で分かる「揚重管理システム」を開発」、［online］、［平成２８年１０月１４日検索］、インターネット<http://www.obayashi.co.jp/press/news20160328_1>Obayashi Corporation, "Development of" lifting management system "that shows the delivery status of materials and equipment at a glance", [online], [Search on October 14, 2016], Internet <http://www.obayashi.co .jp / press / news20160328_1>

非特許文献１に記載の技術を用いて資機材を管理する場合、管理する対象の資機材のそれぞれにＩＣタグを取り付ける必要がある。従って、ＩＣタグが取り付けられていない資機材を管理することができない。 When managing materials and equipment using the technology described in Non-Patent Document 1, it is necessary to attach an IC tag to each of the materials and equipment to be managed. Therefore, it is not possible to manage materials and equipment to which the IC tag is not attached.

本発明は、上記課題に鑑みてなされ、その目的は、管理対象の所在位置を効率的に把握して管理するための管理システム、管理方法及び管理プログラムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a management system, a management method, and a management program for efficiently grasping and managing the location of a management target.

・上記課題を解決する管理システムは、管理対象を識別する管理対象識別情報と、前記管理対象の位置情報とを関連付けて記憶した管理情報記憶部と、移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムであって、前記制御部は、前記撮影装置によって撮影された画像と撮影位置情報とを取得し、前記画像に含まれる管理対象について、前記撮影位置情報を用いて所在位置を特定し、前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録する。これにより、移動体の撮影装置を用いて、管理対象の所在位置を効率的に把握して管理することができる。 -The management system that solves the above problems stores the management information storage unit that stores the management target identification information that identifies the management target in association with the position information of the management target, and the image from the photographing device attached to the moving body. It is a management system including a control unit for acquisition, and the control unit acquires an image captured by the imaging device and imaging position information, and obtains the imaging position information for a management target included in the image. The location is specified by using it, and the location is recorded in the management information storage unit in association with the management target identification information of the management target. As a result, it is possible to efficiently grasp and manage the location of the management target by using the photographing device of the moving body.

・上記管理システムにおいて、前記制御部は、前記画像に基づいて管理対象の使用状態を特定し、前記管理対象識別情報及び前記所在位置に関連付けて、前記使用状態を前記管理情報記憶部に記録することが好ましい。これにより、管理対象の使用状態も把握することができる。 -In the management system, the control unit identifies the usage state of the management target based on the image, associates the management target identification information with the location position, and records the usage state in the management information storage unit. Is preferable. This makes it possible to grasp the usage status of the management target.

・上記管理システムにおいて、前記移動体の所在位置を記録する移動体情報記憶部を更に備え、前記制御部は、前記画像情報を撮影した撮影位置を、前記移動体の所在位置として特定し、前記移動体の所在位置を前記移動体情報記憶部に記録することが好ましい。これにより、管理対象の所在位置だけでなく、移動体の所在位置も併せて把握して管理することができる。 -The management system further includes a mobile information storage unit that records the location position of the moving body, and the control unit specifies the photographing position where the image information is taken as the location position of the moving body, and the above-mentioned It is preferable to record the location position of the moving body in the moving body information storage unit. As a result, not only the location of the management target but also the location of the moving body can be grasped and managed.

・上記管理システムにおいて、前記移動体の所在位置が撮影禁止領域に含まれる場合には、前記撮影装置は撮影を停止することが好ましい。これにより、移動体が撮影禁止領域に入った場合には、撮影を禁止することができる。 -In the management system, when the location position of the moving body is included in the shooting prohibited area, it is preferable that the shooting device stops shooting. As a result, when the moving object enters the shooting prohibited area, shooting can be prohibited.

本発明によれば、管理対象の所在位置を効率的に把握して管理することができる。 According to the present invention, the location of the management target can be efficiently grasped and managed.

実施形態における管理システムの全体構成図。Overall configuration diagram of the management system in the embodiment. 実施形態における移動体ユニットの取り付け位置を示す斜視図。The perspective view which shows the mounting position of the moving body unit in an embodiment. 実施形態における管理システムの各記憶部に記憶された情報の構成図であって、（ａ）は被写体情報記憶部、（ｂ）は動画情報記憶部、（ｃ）は所在情報記憶部。It is a block diagram of the information stored in each storage unit of the management system in an embodiment, in which (a) is a subject information storage unit, (b) is a moving image information storage unit, and (c) is a location information storage unit. 実施形態における管理処理の処理手順を説明する流れ図。The flow chart explaining the process procedure of the management process in Embodiment. 実施形態における被写体認識処理の処理手順を説明する流れ図。The flow chart explaining the processing procedure of the subject recognition processing in Embodiment. 実施形態において管理対象を特定する画像を説明する説明図。An explanatory diagram illustrating an image that identifies a management target in an embodiment. 実施形態における所在位置確認処理の処理手順を説明する流れ図。The flow chart explaining the processing procedure of the location confirmation processing in an embodiment.

以下、図１～図７を用いて、管理対象の所在位置を管理する管理システム、管理方法及び管理プログラムを具体化した一実施形態を説明する。本実施形態では、建設現場で用いる移動可能な機器（例えば、溶接機やポンプ等）を管理対象として管理する。 Hereinafter, an embodiment in which a management system, a management method, and a management program for managing the location of the management target are embodied will be described with reference to FIGS. 1 to 7. In this embodiment, movable equipment (for example, a welding machine, a pump, etc.) used at a construction site is managed as a management target.

図１に示すように、本実施形態の管理システム１０は、複数の移動体ユニット１１に接続された管理サーバ２０を備えている。 As shown in FIG. 1, the management system 10 of the present embodiment includes a management server 20 connected to a plurality of mobile units 11.

図２に示すように、移動体ユニット１１には、撮影装置として機能するウェアラブル端末を用いる。この移動体ユニット１１は、建設現場で移動しながら作業を行なう作業者のヘルメットＨ１の横に取り付けられている。 As shown in FIG. 2, a wearable terminal that functions as a photographing device is used for the mobile unit 11. The mobile unit 11 is attached to the side of the helmet H1 of a worker who works while moving at a construction site.

図１に示すように、移動体ユニット１１は、撮影部１２、送信部１３及び制御部１４を備えている。
撮影部１２は、ＣＣＤカメラ等により構成されている。この撮影部１２は、作業者の前方を撮影して動画（画像）を生成する。 As shown in FIG. 1, the mobile unit 11 includes a photographing unit 12, a transmitting unit 13, and a control unit 14.
The photographing unit 12 is composed of a CCD camera or the like. The photographing unit 12 photographs the front of the operator and generates a moving image (image).

送信部１３は、撮影部１２で撮影した動画を、所定容量毎に、管理サーバ２０に送信する。
制御部１４は、撮影部１２の撮影開始や撮影停止を制御したり、送信部１３の送信開始や送信停止等を制御したりする。制御部１４は、この移動体ユニット１１を特定する撮影装置識別情報を保持している。 The transmission unit 13 transmits the moving image captured by the photographing unit 12 to the management server 20 at predetermined capacity intervals.
The control unit 14 controls the start and stop of shooting of the shooting unit 12, and controls the start and stop of transmission of the transmission unit 13. The control unit 14 holds the photographing device identification information that identifies the mobile unit 11.

管理サーバ２０は、入力部１６及び表示部１７を備えている。入力部１６は、キーボードやポインティングデバイスである。表示部１７は、ディスプレイであって、管理対象の所在位置等を表示する。 The management server 20 includes an input unit 16 and a display unit 17. The input unit 16 is a keyboard or a pointing device. The display unit 17 is a display and displays the location position and the like of the management target.

管理サーバ２０は、制御部２１、建築総合情報記憶部２２、特徴点情報記憶部２３、禁止区域情報記憶部２４、被写体情報記憶部２５、動画情報記憶部２６及び所在情報記憶部２７を備えている。 The management server 20 includes a control unit 21, a building comprehensive information storage unit 22, a feature point information storage unit 23, a prohibited area information storage unit 24, a subject information storage unit 25, a moving image information storage unit 26, and a location information storage unit 27. There is.

制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、後述する処理（管理段階、位置特定段階、被写体特定段階等の各処理）を行なう。そのための管理プログラムを実行することにより、制御部２１は、管理部２１１、位置特定部２１２、被写体特定部２１３として機能する。 The control unit 21 includes a CPU, RAM, ROM, and the like, and performs processes described later (each process such as a management step, a position specifying step, a subject specifying step, and the like). By executing the management program for that purpose, the control unit 21 functions as the management unit 211, the position specifying unit 212, and the subject specifying unit 213.

管理部２１１は、管理対象の所在を管理する処理を実行する。本実施形態では、移動体ユニット１１において撮影した動画を取得し、この動画により管理対象の管理を行なう。
位置特定部２１２は、動画に基づいて撮影位置及び撮影方向を推定し、撮影視野を特定する処理を実行する。本実施形態では、位置特定部２１２は、公知のｖ－ＳＬＡＭ（visual Simultaneous Localization And Mapping）を用いて、撮影位置を特定する。 The management unit 211 executes a process of managing the location of the management target. In the present embodiment, a moving image taken by the mobile unit 11 is acquired, and the management target is managed by this moving image.
The position specifying unit 212 estimates the shooting position and the shooting direction based on the moving image, and executes a process of specifying the shooting field of view. In the present embodiment, the position specifying unit 212 specifies a photographing position by using a known v-SLAM (visual Simultaneous Localization And Mapping).

被写体特定部２１３は、特定した撮影視野内にある被写体（物）の管理対象と、この被写体の状態とを特定する処理を実行する。本実施形態の被写体特定部２１３は、ディープラーニングの畳み込みニューラルネットワークを用いる。具体的には、被写体特定部２１３は、学習によって生成した学習済み分類モデルに、撮影フレームの分割領域の画像を入力して、管理対象物と状態、又は材料を特定する。この学習のため、被写体特定部２１３は、公知の手法に基づいて、被写体情報記憶部２５に記憶された多量の教師データを用いて、ディープラーニングにより学習した学習済み分類モデルを、被写体情報記憶部２５に記憶する。 The subject specifying unit 213 executes a process of specifying the management target of the subject (object) in the specified shooting field of view and the state of the subject. The subject identification unit 213 of the present embodiment uses a deep learning convolutional neural network. Specifically, the subject identification unit 213 inputs an image of the divided region of the shooting frame into the learned classification model generated by learning, and specifies the management object and the state or the material. For this learning, the subject identification unit 213 uses a large amount of teacher data stored in the subject information storage unit 25 based on a known method to obtain a learned classification model learned by deep learning in the subject information storage unit. Store in 25.

建築総合情報記憶部２２には、建設中の建築物に関する建築総合情報が記録されている。本実施形態では、建築総合情報として、ＢＩＭ（Building Information Modeling）データを用いる。この建築総合情報は、建築物を構成するオブジェクト、属性情報及びロケーション情報を含んで構成されている。オブジェクトには、オブジェクトＩＤが付与された３次元モデルにより構成される。属性情報には、オブジェクトＩＤ、オブジェクト名、オブジェクトのタイプ、面積、材質、製品情報、コスト等の仕様に関する情報が含まれる。ロケーション情報には、このオブジェクトが配置される位置（座標）に関する情報が含まれる。 The building comprehensive information storage unit 22 records general building information regarding the building under construction. In this embodiment, BIM (Building Information Modeling) data is used as comprehensive building information. This comprehensive building information is configured to include objects, attribute information, and location information constituting the building. The object is composed of a three-dimensional model to which an object ID is given. The attribute information includes information on specifications such as object ID, object name, object type, area, material, product information, and cost. The location information includes information about the position (coordinates) where this object is placed.

オブジェクトＩＤは、オブジェクトを特定するための識別子である。
オブジェクト名は、このオブジェクトの名称である。
タイプ、面積、材質、製品情報、コストは、このオブジェクトのタイプ（構造種別や建具種別）、面積、材質、製品情報、コストである。 The object ID is an identifier for identifying an object.
The object name is the name of this object.
The type, area, material, product information, and cost are the type (structural type and fitting type), area, material, product information, and cost of this object.

ロケーション情報には、このオブジェクトが配置される場所（工区）を特定する識別子に関するデータが記録される。工区とは、建設物の建設工事を段階的に進めていく上で、建設物に複数ある住戸（室）を空間的（隣接した住戸）及び時間的（作業時間）にまとめたグループであり、例えば、建設物の各階や階の一部の住戸といった工区が決められる。 In the location information, data regarding an identifier that identifies the location (work zone) where this object is placed is recorded. A construction zone is a group that organizes multiple dwelling units (rooms) in a building spatially (adjacent dwelling units) and temporally (working hours) in order to proceed with the construction work of the building in stages. For example, a construction area such as each floor of a building or a part of a dwelling unit on the floor is decided.

特徴点情報記憶部２３には、移動体ユニット１１の所在位置（撮影位置）を特定するための建設現場における特徴点に関する情報が記憶されている。この特徴点情報は、建設中の建築物の内部から撮影した際に画像の特徴となる部分に関する情報である。特徴点情報には、特徴点識別子、この特徴点を特定する画像の特徴量、この特徴点の位置（ｘｙｚ座標）が含まれている。 The feature point information storage unit 23 stores information about the feature points at the construction site for specifying the location position (shooting position) of the mobile unit 11. This feature point information is information about a featured part of an image when photographed from the inside of a building under construction. The feature point information includes a feature point identifier, a feature amount of an image that identifies the feature point, and a position (xyz coordinate) of the feature point.

禁止区域情報記憶部２４には、撮影禁止区域を判定するための禁止区域情報が記録されている。この禁止区域情報は、後述する管理処理の実行前に予め登録される。禁止区域情報は、禁止区域についての禁止区域識別子、区域名、位置（座標）に関するデータを含んで構成されている。撮影禁止区域とは、例えば、作業者が使用するトイレ等である。 The prohibited area information storage unit 24 records prohibited area information for determining a shooting prohibited area. This prohibited area information is registered in advance before the execution of the management process described later. The prohibited area information is composed of data regarding a prohibited area identifier, an area name, and a position (coordinates) for the prohibited area. The shooting prohibited area is, for example, a toilet used by a worker.

被写体情報記憶部２５には、被写体の特定や被写体の状態の判定に用いる情報が記憶されている。これら情報は、後述する管理処理の実行前に予め登録される。
具体的には、図３（ａ）に示すように、被写体情報記憶部２５には、学習済み分類モデル２５１、教師データ２５２及び個体認識データ２５５が記憶されている。 The subject information storage unit 25 stores information used for identifying the subject and determining the state of the subject. These information are registered in advance before the execution of the management process described later.
Specifically, as shown in FIG. 3A, the subject information storage unit 25 stores the trained classification model 251, the teacher data 252, and the individual recognition data 255.

学習済み分類モデル２５１には、教師データ２５２を用いて、管理対象及び状態を特定するためのディープラーニングにより生成した学習済分類モデルが記録される。この学習済み分類モデル２５１は、管理対象識別子及び状態識別子に関連付けられている。 In the trained classification model 251, the trained classification model generated by deep learning for specifying the management target and the state is recorded by using the teacher data 252. The trained classification model 251 is associated with a managed identifier and a state identifier.

管理対象識別子データ領域には、物の種類を特定するための識別子（ここでは名称）に関するデータが記録される。ここで、物の種類とは、建築に用いられる建築要素（例えば、建築材料や納まり等）や材料、建設現場で用いられる機器（例えば、溶接機やポンプ等）等である。 In the managed identifier data area, data related to an identifier (here, a name) for specifying the type of an object is recorded. Here, the types of objects are building elements (for example, building materials, fittings, etc.) and materials used for construction, equipment used at construction sites (for example, welding machines, pumps, etc.), and the like.

状態識別子データ領域には、管理対象識別子によって特定される被写体の状態を特定するための識別子が記録されている。例えば、被写体が溶接機である場合、使用中、又は停止中等を示す識別子が記録されている。 In the state identifier data area, an identifier for specifying the state of the subject specified by the managed identifier is recorded. For example, when the subject is a welding machine, an identifier indicating that the subject is in use, stopped, or the like is recorded.

教師データ２５２は、ディープラーニングの学習済み分類モデルを算出するために用いられる教師データである。教師データ２５２は、出力層として用いる管理対象識別子、状態識別子、入力層として用いる学習用画像に関するデータを含んで構成される。
管理対象識別子データ領域及び状態識別子データ領域には、管理対象（物）の種類を特定するための識別子、この管理対象の状態を特定するための識別子に関するデータが記録されている。 The teacher data 252 is teacher data used to calculate a trained classification model for deep learning. The teacher data 252 is configured to include data related to a management target identifier used as an output layer, a state identifier, and a learning image used as an input layer.
In the management target identifier data area and the state identifier data area, data regarding an identifier for specifying the type of the management target (object) and an identifier for specifying the state of the management target are recorded.

個体認識データ２５５は、被写体を、同種の物（建築要素や機器）と識別するために個体を認識するために用いるデータである。個体認識データ２５５は、管理対象識別子、個体識別子、個体特定情報に関するデータを含んで構成されている。 The individual recognition data 255 is data used for recognizing an individual in order to distinguish the subject from the same kind of object (building element or device). The individual recognition data 255 is configured to include data related to a management target identifier, an individual identifier, and individual identification information.

管理対象識別子データ領域には、この管理対象の物の種類（例えば、溶接機やポンプ等）を特定するための識別子に関するデータが記録される。
個体識別子データ領域には、各管理対象を個別に特定するための識別子に関するデータが記録される。 In the managed identifier data area, data regarding an identifier for specifying the type of the object to be managed (for example, a welding machine, a pump, etc.) is recorded.
In the individual identifier data area, data regarding an identifier for individually identifying each management target is recorded.

個体特定情報データ領域には、画像において、この管理対象を、同じ物の中で他の個体と区別するための情報が記録されている。この個体特定情報は、例えば、この管理対象に付与した色付マーカの色や管理対象における位置等に関する情報である。 In the individual identification information data area, information for distinguishing this management target from other individuals in the same object is recorded in the image. This individual identification information is, for example, information regarding the color of the colored marker given to the management target, the position in the management target, and the like.

図３（ｂ）に示すように、動画情報記憶部２６には、移動体ユニット１１において撮影された動画に関する動画管理情報２６０が記憶される。この動画管理情報２６０は、動画識別子、動画、撮影装置識別情報、撮影日時、撮影位置、撮影方向に関するデータから構成されている。 As shown in FIG. 3B, the moving image information storage unit 26 stores moving image management information 260 regarding the moving image taken by the mobile unit 11. The moving image management information 260 is composed of data related to a moving image identifier, a moving image, a shooting device identification information, a shooting date and time, a shooting position, and a shooting direction.

動画識別子データ領域には、各動画を特定するための識別子に関するデータが記録される。
動画データ領域には、移動体ユニット１１において撮影された動画が記録される。
撮影装置識別情報データ領域、撮影日時データ領域、撮影位置データ領域、撮影方向データ領域には、それぞれ、この動画を撮影した装置（移動体ユニット１１）、撮影した日時、撮影した位置、撮影した方向に関するデータが記録される。 In the video identifier data area, data relating to an identifier for identifying each video is recorded.
The moving image taken by the mobile unit 11 is recorded in the moving image data area.
In the shooting device identification information data area, shooting date / time data area, shooting position data area, and shooting direction data area, the device (mobile unit 11) that shot this moving image, the shooting date / time, the shooting position, and the shooting direction, respectively. Data is recorded.

図３（ｃ）に示すように、所在情報記憶部２７は、各管理対象の所在に関する情報が記憶される。この所在情報２７０は、管理対象が建設現場に搬入された場合に登録される。所在情報２７０は、個体識別子、管理対象識別子、所在位置、状態及び日時に関するデータを含んで構成される。 As shown in FIG. 3C, the location information storage unit 27 stores information regarding the location of each management target. This location information 270 is registered when the management target is brought into the construction site. The location information 270 is configured to include data regarding an individual identifier, a management target identifier, a location, a state, and a date and time.

個体識別子データ領域には、各管理対象を特定するための識別子に関するデータが記録される。
管理対象識別子データ領域には、この管理対象の種類を特定するための識別子に関するデータが記録される。 In the individual identifier data area, data regarding an identifier for identifying each management target is recorded.
In the managed identifier data area, data related to the identifier for specifying the type of the managed target is recorded.

所在位置データ領域には、この管理対象を検知した位置に関するデータが記録される。
状態データ領域には、この管理対象の状態に関するデータが記録される。
日時データ領域には、この管理対象を所在位置で検知した年月日及び時刻に関するデータが記録される。 In the location position data area, data related to the position where this management target is detected is recorded.
Data related to this managed state is recorded in the state data area.
In the date / time data area, data related to the date and time when this management target is detected at the location is recorded.

（管理処理）
次に、図４を用いて、以上のように構成された管理システム１０を用いて、管理対象を管理する管理処理について説明する。 (Management process)
Next, with reference to FIG. 4, a management process for managing the management target will be described using the management system 10 configured as described above.

建設現場において作業を開始する際には、作業者はヘルメットＨ１に装着された移動体ユニット１１を起動する。この場合、移動体ユニット１１の制御部１４は、撮影部１２において動画の撮影を開始し、メモリに記録する。この場合、メモリには、動画に関連付けて動画識別子及び撮影日時が記録される。そして、制御部１４は、送信部１３を介して、撮影装置識別情報とともに、メモリに記録された動画を、所定容量毎に管理サーバ２０に送信する。 When starting work at a construction site, the worker activates the mobile unit 11 attached to the helmet H1. In this case, the control unit 14 of the mobile unit 11 starts shooting a moving image in the shooting unit 12 and records it in the memory. In this case, the moving image identifier and the shooting date and time are recorded in the memory in association with the moving image. Then, the control unit 14 transmits the moving image recorded in the memory together with the photographing device identification information to the management server 20 for each predetermined capacity via the transmission unit 13.

管理サーバ２０の制御部２１は、移動体ユニット１１からの動画の取得処理を実行する（ステップＳ１－１）。具体的には、制御部２１の管理部２１１は、移動体ユニット１１から、撮影装置識別情報とともに、所定容量の動画を受信する。そして、管理部２１１は、受信した動画、動画識別子、撮影日時及び撮影装置識別情報を含む動画管理情報２６０を生成して、動画情報記憶部２６に記録する。 The control unit 21 of the management server 20 executes a process of acquiring a moving image from the mobile unit 11 (step S1-1). Specifically, the management unit 211 of the control unit 21 receives a predetermined amount of moving images from the mobile unit 11 together with the photographing device identification information. Then, the management unit 211 generates the moving image management information 260 including the received moving image, the moving image identifier, the shooting date and time, and the shooting device identification information, and records it in the moving image information storage unit 26.

次に、管理サーバ２０の制御部２１は、位置推定処理を実行する（ステップＳ１－２）。具体的には、制御部２１の位置特定部２１２は、直近の位置の特定で用いた特徴点のうち今回のフレーム内に写る可能性がある特徴点を、候補特徴点として特定する。ここでは、位置特定部２１２は、複数のフレーム情報を用いて、作業者の移動方向、移動速度を予測し、この移動方向、移動速度に基づいて、候補特徴点を特定する。そして、位置特定部２１２は、今回のフレーム（画像）内において、候補特徴点の特徴量と一致する特徴点を検索する。一致する特徴点を特定した場合には、特定した特徴点の位置（ｘｙｚ座標）を用いて、撮影位置及び撮影角度を特定し、動画管理情報２６０に記録する。位置特定部２１２は、これら撮影位置及び撮影角度と画像とから撮影範囲（撮影視野）を特定する。 Next, the control unit 21 of the management server 20 executes the position estimation process (step S1-2). Specifically, the position specifying unit 212 of the control unit 21 identifies the feature points that may appear in the current frame among the feature points used for specifying the nearest position as candidate feature points. Here, the position specifying unit 212 predicts the moving direction and the moving speed of the worker using a plurality of frame information, and identifies the candidate feature points based on the moving direction and the moving speed. Then, the position specifying unit 212 searches for a feature point that matches the feature amount of the candidate feature point in the frame (image) of this time. When the matching feature points are specified, the shooting position and the shooting angle are specified by using the positions (xyz coordinates) of the specified feature points, and the images are recorded in the moving image management information 260. The position specifying unit 212 specifies a shooting range (shooting field of view) from these shooting positions, shooting angles, and images.

次に、管理サーバ２０の制御部２１は、撮影禁止区域かどうかの判定処理を実行する（ステップＳ１－３）。具体的には、制御部２１の管理部２１１は、推定した撮影位置と、禁止区域情報記憶部２４の禁止区域情報の位置（座標）とを比較し、禁止区域に撮影位置が含まれているか否かを判定する。 Next, the control unit 21 of the management server 20 executes a determination process of whether or not it is a shooting prohibited area (step S1-3). Specifically, the management unit 211 of the control unit 21 compares the estimated shooting position with the position (coordinates) of the prohibited area information of the prohibited area information storage unit 24, and whether the prohibited area includes the shooting position. Judge whether or not.

撮影位置が撮影禁止区域内と判定した場合（ステップＳ１－３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、移動体ユニット１１から取得した動画を削除する。そして、制御部２１は、次の動画の受信を待機する。 When it is determined that the shooting position is within the shooting prohibited area (when "YES" in step S1-3), the control unit 21 of the management server 20 deletes the moving image acquired from the mobile unit 11. Then, the control unit 21 waits for the reception of the next moving image.

一方、撮影位置が撮影禁止区域外と判定した場合（ステップＳ１－３において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、被写体認識処理を実行する（ステップＳ１－４）。ここで、制御部２１の被写体特定部２１３は、フレームに含まれる被写体（物）、被写体の所在位置、被写体を識別する情報（オブジェクトＩＤや個体識別子）等を特定する。この被写体認識処理の詳細については、後述する。 On the other hand, when it is determined that the shooting position is outside the shooting prohibited area (when "NO" in step S1-3), the control unit 21 of the management server 20 executes the subject recognition process (step S1-4). Here, the subject identification unit 213 of the control unit 21 specifies a subject (object) included in the frame, a location position of the subject, information for identifying the subject (object ID or individual identifier), and the like. The details of this subject recognition process will be described later.

次に、管理サーバ２０の制御部２１は、建築総合情報記憶部への情報追加処理を実行する（ステップＳ１－５）。具体的には、制御部２１の管理部２１１は、フレームにオブジェクトＩＤが付与された被写体が含まれている場合、このオブジェクトＩＤに対応する建築総合情報のオブジェクトの属性情報として、画像、撮影日時、被写体の所在位置及び状態を記録する。 Next, the control unit 21 of the management server 20 executes the information addition process to the building comprehensive information storage unit (step S1-5). Specifically, when the frame includes a subject to which an object ID is assigned, the management unit 211 of the control unit 21 uses an image and a shooting date and time as attribute information of the object of the building comprehensive information corresponding to the object ID. , Record the location and state of the subject.

次に、位置情報を更新する管理対象があるかどうかの判定処理を実行する（ステップＳ１－６）。具体的には、制御部２１の管理部２１１は、管理対象識別子が付与された被写体がフレームに含まれている場合には、更新する管理対象があると判定する。 Next, the determination process of whether or not there is a management target for updating the location information is executed (step S1-6). Specifically, the management unit 211 of the control unit 21 determines that there is a management target to be updated when the subject to which the management target identifier is assigned is included in the frame.

ここで、位置情報を更新する管理対象があると判定した場合（ステップＳ１－６において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、管理対象の位置情報の更新処理を実行する（ステップＳ１－７）。具体的には、制御部２１の管理部２１１は、フレームにおいて特定した管理対象識別子及び個体識別子を含む最新日時の所在情報２７０を所在情報記憶部２７において検索する。そして、管理部２１１は、該当する所在情報２７０の所在位置と、特定した所在位置とが異なっている場合には、新たな所在情報２７０を生成して、所在情報記憶部２７に記録する。この場合、管理部２１１は、所在情報２７０に、個体識別子、管理対象識別子、所在位置、状態及び日時（撮影日時）を含める。 Here, when it is determined that there is a management target for updating the location information (when "YES" in step S1-6), the control unit 21 of the management server 20 executes the update processing of the location information of the management target (when it is determined that there is a management target for updating the location information). Step S1-7). Specifically, the management unit 211 of the control unit 21 searches the location information storage unit 27 for the location information 270 of the latest date and time including the management target identifier and the individual identifier specified in the frame. Then, when the location of the corresponding location information 270 and the specified location are different, the management unit 211 generates new location information 270 and records it in the location information storage unit 27. In this case, the management unit 211 includes the individual identifier, the management target identifier, the location position, the state, and the date and time (shooting date and time) in the location information 270.

また、管理対象識別子のみを特定した場合には、管理部２１１は、同じ管理対象識別子及び同じ所在位置を含む所在情報２７０を検索する。該当する所在情報２７０を抽出した場合には、その所在情報２７０の日時を、新たに特定した画像の撮影日時に更新する。また、該当する所在情報２７０を抽出しなかった場合には、新たな所在情報２７０を生成して、所在情報記憶部２７に記録する。 Further, when only the management target identifier is specified, the management unit 211 searches for the location information 270 including the same management target identifier and the same location location. When the corresponding location information 270 is extracted, the date and time of the location information 270 is updated to the shooting date and time of the newly specified image. If the corresponding location information 270 is not extracted, a new location information 270 is generated and recorded in the location information storage unit 27.

一方、位置情報を更新する管理対象がないと判定した場合（ステップＳ１－６において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、ステップＳ１－７の処理をスキップする。 On the other hand, when it is determined that there is no management target for updating the position information (when "NO" in step S1-6), the control unit 21 of the management server 20 skips the process of step S1-7.

そして、管理サーバ２０の制御部２１は、現場から退場したかどうかの判定処理を実行する（ステップＳ１－８）。作業者が、現場から退場する場合には、移動体ユニット１１に対して退場入力を行なう。この場合、移動体ユニット１１の制御部１４は、現場から退場と判定し、退場情報を管理サーバ２０に送信する。退場情報を受信せず、現場から退場していないと判定した場合（ステップＳ１－８において「ＮＯ」の場合）には、管理サーバ２０の制御部２１は、ステップＳ１－１以降の処理を継続する。 Then, the control unit 21 of the management server 20 executes a determination process of whether or not the user has left the site (step S1-8). When the worker leaves the site, he / she inputs the exit to the mobile unit 11. In this case, the control unit 14 of the mobile unit 11 determines that the user is leaving the site and transmits the exit information to the management server 20. If it is determined that the player has not left the site without receiving the exit information (in the case of "NO" in step S1-8), the control unit 21 of the management server 20 continues the processing after step S1-1. do.

一方、退場情報を受信し、退場と判定した場合（ステップＳ１－８において「ＹＥＳ」の場合）には、制御部２１の管理部２１１は、管理処理を終了する。 On the other hand, when the exit information is received and it is determined to exit (when "YES" in step S1-8), the management unit 211 of the control unit 21 ends the management process.

（被写体認識処理）
次に、図５を用いて、上述した被写体認識処理（ステップＳ１－４）について説明する。
まず、管理サーバ２０の制御部２１は、撮影画像について領域分割処理を実行する（ステップＳ２－１）。具体的には、制御部２１の被写体特定部２１３は、公知の方法を用いて、撮影した動画の各フレーム（画像）に含まれる複数の領域を分割する。例えば、撮影画像に含まれるエッジや、画素の色相情報や彩度情報を用いて領域分割を行なう。 (Subject recognition processing)
Next, the above-mentioned subject recognition process (step S1-4) will be described with reference to FIG.
First, the control unit 21 of the management server 20 executes an area division process for the captured image (step S2-1). Specifically, the subject identification unit 213 of the control unit 21 divides a plurality of regions included in each frame (image) of the captured moving image by using a known method. For example, the area is divided by using the edge included in the captured image, the hue information and the saturation information of the pixel.

そして、管理サーバ２０の制御部２１は、各分割領域を順次、処理対象として特定し、次の処理を繰り返す。
管理サーバ２０の制御部２１は、管理対象及び状態の予測処理を実行する（ステップＳ２－２）。具体的には、制御部２１の被写体特定部２１３は、各分割領域の画像を入力値とし、被写体情報記憶部２５に記憶された学習済み分類モデル２５１を用いて、管理対象及び状態、又は材料を算出する。ここで、柱や壁、床等、ディープラーニングによって、管理対象及び状態を特定できないが、材料を特定できる場合は、材料を特定する。 Then, the control unit 21 of the management server 20 sequentially specifies each divided area as a processing target, and repeats the next processing.
The control unit 21 of the management server 20 executes a management target and state prediction process (step S2-2). Specifically, the subject identification unit 213 of the control unit 21 uses the image of each divided region as an input value, and uses the learned classification model 251 stored in the subject information storage unit 25 to manage the target and the state, or the material. Is calculated. Here, if the management target and state cannot be specified by deep learning such as pillars, walls, and floors, but the material can be specified, the material is specified.

図６に示す画像５００を取得した場合を想定する。この場合、制御部２１は、画像中の輪郭線に基づいて複数の分割領域を生成する。そして、ディープラーニングによって、管理対象の種類及び状態を特定する。例えば、図６に示すように、画像の中央位置において管理対象である停止中の溶接機Ｍを特定する。また、ディープラーニングでは、火花が出ている際の画像（使用中の溶接機Ｍ）を用いて学習を行ない、使用状態を判定する。 It is assumed that the image 500 shown in FIG. 6 is acquired. In this case, the control unit 21 generates a plurality of divided regions based on the contour lines in the image. Then, the type and state of the management target are specified by deep learning. For example, as shown in FIG. 6, the stopped welding machine M to be managed is specified at the center position of the image. Further, in deep learning, learning is performed using an image when sparks are generated (welding machine M in use), and the usage state is determined.

次に、管理サーバ２０の制御部２１は、各被写体（各管理対象）を順次、処理対象として特定し、以下の処理を繰り返す。
ここでは、まず、管理サーバ２０の制御部２１は、所在位置及び個体情報の特定処理を実行する（ステップＳ２－３）。具体的には、制御部２１の被写体特定部２１３は、画像の撮影位置及び撮影方向を用いて、この画像の被写体の所在位置を特定して、制御部２１のメモリに記録する。そして、制御部２１の被写体特定部２１３は、被写体の所在位置でこの被写体の管理対象識別子に対応するオブジェクトが建築総合情報記憶部２２に記録されているか否かの判定処理を実行する。ここで、該当するオブジェクトが記録されている場合には、このオブジェクトのオブジェクトＩＤを特定して、制御部２１のメモリに記録する。 Next, the control unit 21 of the management server 20 sequentially identifies each subject (each management target) as a processing target, and repeats the following processing.
Here, first, the control unit 21 of the management server 20 executes the process of specifying the location and individual information (step S2-3). Specifically, the subject specifying unit 213 of the control unit 21 identifies the location position of the subject of this image using the shooting position and shooting direction of the image, and records it in the memory of the control unit 21. Then, the subject identification unit 213 of the control unit 21 executes a determination process of whether or not the object corresponding to the management target identifier of the subject is recorded in the building comprehensive information storage unit 22 at the location position of the subject. Here, if the corresponding object is recorded, the object ID of this object is specified and recorded in the memory of the control unit 21.

一方、該当するオブジェクトが建築総合情報記憶部２２に記録されていない場合、制御部２１の被写体特定部２１３は、被写体の画像において、個体特定情報に対応する画像部分を検索する。画像部分に個体特定情報が含まれている場合、被写体特定部２１３は、個体特定情報が記録された個体認識データ２５５の個体識別子を特定して、制御部２１のメモリに記録する。 On the other hand, when the corresponding object is not recorded in the building comprehensive information storage unit 22, the subject identification unit 213 of the control unit 21 searches for an image portion corresponding to the individual identification information in the image of the subject. When the individual identification information is included in the image portion, the subject identification unit 213 identifies the individual identifier of the individual recognition data 255 in which the individual identification information is recorded and records it in the memory of the control unit 21.

例えば、図６に示す画像５００において、溶接機Ｍを特定した場合、画像５００の溶接機Ｍの画像に、溶接機の個体特定情報が含まれているかを判定する。ここで、溶接機Ｍの画像に、個体特定情報のマーカＭ１を検出した場合、被写体特定部２１３は、この個体特定情報に対応する個体識別子を特定する。 For example, when the welding machine M is specified in the image 500 shown in FIG. 6, it is determined whether the image of the welding machine M in the image 500 includes the individual identification information of the welding machine. Here, when the marker M1 of the individual identification information is detected in the image of the welding machine M, the subject identification unit 213 identifies the individual identifier corresponding to the individual identification information.

（所在位置確認処理）
次に、図７を用いて、管理対象の所在位置を確認する処理について説明する。例えば、作業者が、これから開始する作業に使用する機器等の管理対象の所在位置を確認する場合を想定する。 (Location confirmation process)
Next, the process of confirming the location of the management target will be described with reference to FIG. 7. For example, it is assumed that the worker confirms the location of the management target such as the equipment used for the work to be started from now on.

まず、管理サーバ２０の制御部２１は、検索する対象情報の取得処理を実行する（ステップＳ３－１）。具体的には、制御部２１の管理部２１１は、表示部１７のディスプレイに、検索画面を表示する。この検索画面には、検索対象の入力欄及び検索実行ボタンが含まれている。ここで、検索対象として、個体識別子や管理対象識別子を用いることができる。作業者は、入力部１６を用いて、所在位置を確認する管理対象に関する情報を、検索画面の入力欄に入力し、検索実行ボタンを選択する。 First, the control unit 21 of the management server 20 executes an acquisition process of the target information to be searched (step S3-1). Specifically, the management unit 211 of the control unit 21 displays the search screen on the display of the display unit 17. This search screen includes an input field for a search target and a search execution button. Here, an individual identifier or a management target identifier can be used as the search target. The operator uses the input unit 16 to input information about the management target for confirming the location position in the input field of the search screen, and selects the search execution button.

管理サーバ２０の制御部２１は、検索実行処理を実行する（ステップＳ３－２）。具体的には、制御部２１の管理部２１１は、取得した検索対象情報に一致する個体識別子又は管理対象識別子を有する所在情報２７０を所在情報記憶部２７において抽出する。 The control unit 21 of the management server 20 executes the search execution process (step S3-2). Specifically, the management unit 211 of the control unit 21 extracts the location information 270 having the individual identifier or the management target identifier that matches the acquired search target information in the location information storage unit 27.

そして、管理サーバ２０の制御部２１は、所在位置の表示処理を実行する（ステップＳ３－３）。具体的には、制御部２１の管理部２１１は、表示部１７のディスプレイに、現在の建設工事の進捗状況に合わせた建築物の３次元モデルを表示させる。そして、管理部２１１は、この３次元モデル上において、検索対象情報に対応する管理対象の所在位置を表示する。この場合、抽出した所在情報２７０に状態に関する情報が記録されている場合には、管理部２１１は、この状態に関する情報を含めて表示する。これにより、作業者は、管理対象の所在位置を把握することができる。 Then, the control unit 21 of the management server 20 executes the display process of the location position (step S3-3). Specifically, the management unit 211 of the control unit 21 causes the display of the display unit 17 to display a three-dimensional model of the building according to the progress of the current construction work. Then, the management unit 211 displays the location position of the management target corresponding to the search target information on the three-dimensional model. In this case, if the extracted location information 270 records information about the state, the management unit 211 displays the information including the information about the state. As a result, the worker can grasp the location of the management target.

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、管理サーバ２０の制御部２１は、被写体認識処理（ステップＳ１－４）において撮影画像に含まれる被写体及び被写体の所在位置を特定し、管理対象の位置情報の更新処理を実行する（ステップＳ１－７）。これにより、移動体ユニット１１を用いて、管理対象の所在位置を効率的に把握して管理することができる。 According to this embodiment, the following effects can be obtained.
(1) In the present embodiment, the control unit 21 of the management server 20 identifies the subject included in the captured image and the location position of the subject in the subject recognition process (step S1-4), and updates the position information of the management target. Is executed (step S1-7). Thereby, the location position of the management target can be efficiently grasped and managed by using the mobile unit 11.

（２）本実施形態では、管理サーバ２０の制御部２１は、被写体認識処理（ステップＳ１－４）において、管理対象の使用状態を特定し、管理対象の位置情報の更新処理を実行する（ステップＳ１－７）。これにより、管理対象の使用状態を効率的に把握することができる。 (2) In the present embodiment, the control unit 21 of the management server 20 specifies the usage state of the management target in the subject recognition process (step S1-4), and executes the update process of the position information of the management target (step). S1-7). This makes it possible to efficiently grasp the usage status of the management target.

（３）本実施形態では、管理サーバ２０の制御部２１は、管理対象及び状態の予測処理（ステップＳ２－２）の後、所在位置及び個体情報の特定処理（ステップＳ２－３）を実行する。これにより、画像から被写体（物）を特定するだけでなく、他の同じ種類の物と区別して、個体を管理することができる。 (3) In the present embodiment, the control unit 21 of the management server 20 executes the location location and individual information identification process (step S2-3) after the management target and state prediction process (step S2-2). .. As a result, not only the subject (object) can be identified from the image, but also the individual can be managed by distinguishing it from other objects of the same type.

（４）本実施形態では、移動体ユニット１１には、撮影装置として機能するウェアラブル端末を用いる。この移動体ユニット１１は、建設現場で移動しながら作業を行なう作業者のヘルメットＨ１の横に取り付けられている。これにより、作業者が作業のために移動するだけで、その周囲に位置する管理対象の所在位置を把握することができる。 (4) In the present embodiment, the mobile unit 11 uses a wearable terminal that functions as a photographing device. The mobile unit 11 is attached to the side of the helmet H1 of a worker who works while moving at a construction site. As a result, the location of the management target located around the worker can be grasped only by moving for the work.

（５）本実施形態では、撮影禁止区域と判定した場合（ステップＳ１－３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、その動画を削除する。これにより、撮影禁止区域の画像を自動的に削除して保存しないようにすることができる。 (5) In the present embodiment, when it is determined that the shooting is prohibited area (when “YES” in step S1-3), the control unit 21 of the management server 20 deletes the moving image. This makes it possible to automatically delete the image in the shooting prohibited area so that it is not saved.

（６）本実施形態では、管理サーバ２０の制御部２１は、検索する対象情報の取得処理、検索実行処理及び所在位置の表示処理を実行する（ステップＳ３－１～Ｓ３－３）。これにより、検索した管理対象の現在の所在位置を表示することができる。 (6) In the present embodiment, the control unit 21 of the management server 20 executes the acquisition process of the target information to be searched, the search execution process, and the display process of the location position (steps S3-1 to S3-3). This makes it possible to display the current location of the searched management target.

また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、管理サーバ２０の制御部２１は、ｖ－ＳＬＡＭを用いて、画像の撮影位置及び角度を特定した。画像の撮影位置及び角度の特定は、ｖ－ＳＬＡＭを用いた処理に限定されるものではない。例えば、ＰＤＲ（Pedestrian Dead Reckoning）を用いてもよい。この場合には、移動体ユニット１１に、加速度センサやジャイロセンサ等を設ける。加速度センサ、移動体ユニット１１に印加される加速度に関する加速度情報（加速度の方向、大きさ等）を、３軸方向で検出する。ジャイロセンサは、移動体ユニット１１に印加される角速度に関する角速度情報（角速度の方向、大きさ等）を、３軸方向で検出する。そして、送信部１３は、撮影した際の加速度センサ及びジャイロセンサの検出値を、画像とともに管理サーバ２０に送信する。 Moreover, the above-mentioned embodiment may be changed as follows.
-In the above embodiment, the control unit 21 of the management server 20 uses v-SLAM to specify the shooting position and angle of the image. The specification of the shooting position and angle of the image is not limited to the processing using v-SLAM. For example, PDR (Pedestrian Dead Reckoning) may be used. In this case, the moving body unit 11 is provided with an acceleration sensor, a gyro sensor, or the like. Accelerometer information (acceleration direction, magnitude, etc.) related to the acceleration applied to the acceleration sensor and the moving body unit 11 is detected in the three-axis direction. The gyro sensor detects angular velocity information (direction, magnitude, etc. of the angular velocity) regarding the angular velocity applied to the moving body unit 11 in the triaxial direction. Then, the transmission unit 13 transmits the detection values of the acceleration sensor and the gyro sensor at the time of shooting to the management server 20 together with the image.

・上記実施形態においては、管理サーバ２０の制御部２１が、位置推定処理（ステップＳ１－２）及び撮影禁止区域の判定処理（ステップＳ１－３）を実行した。これら処理を、移動体ユニット１１において実行してもよい。この場合、移動体ユニット１１の制御部１４が、撮影禁止区域と判定した場合、撮影を停止してもよい。具体的には、制御部１４が、撮影禁止区域と判定した場合、所定期間、撮影を停止する。 -In the above embodiment, the control unit 21 of the management server 20 has executed the position estimation process (step S1-2) and the shooting prohibited area determination process (step S1-3). These processes may be executed in the mobile unit 11. In this case, if the control unit 14 of the mobile unit 11 determines that the shooting is prohibited, the shooting may be stopped. Specifically, when the control unit 14 determines that the shooting is prohibited area, the shooting is stopped for a predetermined period.

また、撮影禁止区域であることを知らせるアラームを出力してもよい。このアラームにより、作業者が撮影を停止する。
そして、位置推定処理において撮影禁止区域を離脱したと判定した場合に、移動体ユニット１１の制御部１４は、画像の撮影や、管理サーバ２０への画像の送信を再開する。
また、移動体ユニット１１に、撮影装置において撮影装置に光を取り込む開口部を開閉するカバー部材（例えば、レンズカバー）を設けてもよい。そして、制御部１４は、撮影禁止区域に到着したことを判定した場合には、カバーを可動させて開口部を遮蔽する。 Further, an alarm may be output to notify that the area is a shooting prohibited area. This alarm causes the operator to stop shooting.
Then, when it is determined in the position estimation process that the area has left the shooting prohibited area, the control unit 14 of the mobile unit 11 resumes shooting an image and transmitting the image to the management server 20.
Further, the moving body unit 11 may be provided with a cover member (for example, a lens cover) that opens and closes an opening in which light is taken into the photographing device in the photographing device. Then, when the control unit 14 determines that the shooting prohibited area has been reached, the control unit 14 moves the cover to shield the opening.

・上記実施形態においては、移動体ユニット１１の撮影部１２は、移動体ユニット１１を取り付けたヘルメットＨ１を着用した作業者の前方を撮影した。撮影する方向は、前方に限らず、進行方向に対して後方や左右方向であってもよい。また、半周（１８０度）や全周（３６０度）を撮影するようにしてもよい。 -In the above embodiment, the photographing unit 12 of the mobile unit 11 photographs the front of the worker wearing the helmet H1 to which the mobile unit 11 is attached. The shooting direction is not limited to the front direction, and may be the rearward direction or the left-right direction with respect to the traveling direction. Further, it may be possible to shoot a half circumference (180 degrees) or a full circumference (360 degrees).

・上記実施形態においては、溶接機やポンプ等、建設現場で用いる移動可能な機器を、管理対象として説明した。管理対象は、このような機器に限定されるものではない。例えば、高所作業車や足場等や、資材にも適用できる。更に、管理対象は、物に限られず、人物を対象としてもよい。 -In the above embodiment, movable equipment used at a construction site, such as a welding machine and a pump, has been described as a management target. The management target is not limited to such devices. For example, it can be applied to aerial work platforms, scaffolding, and materials. Further, the management target is not limited to the thing, and may be a person.

・上記実施形態においては、管理サーバ２０の制御部２１は、管理対象の所在位置を特定し、この管理対象の管理を行なった。これに加えて、移動体ユニット１１を取り付けたヘルメットＨ１を着用した作業者の所在位置（現在地）を管理してもよい。この場合、制御部２１に、作業者を特定するための作業者識別テーブルを記憶しておく。更に、管理サーバ２０は、作業者の所在位置を記憶する作業者情報記憶部を備える。この作業者識別テーブルには、移動体ユニット１１を特定する撮影装置識別情報と、作業者を特定する作業者識別情報とを関連付けておく。この作業者は、作業者識別テーブルにおいて対応付けられた撮影装置識別情報の移動体ユニット１１を取り付けたヘルメットＨ１を使用する。管理サーバ２０は、画像の撮影位置を特定した場合、この画像とともに取得した撮影装置識別情報に対応する作業者識別子を、作業者識別テーブルを用いて特定する。そして、特定した撮影位置を、この作業者識別子に関連付けて、作業者情報記憶部に記憶する。これにより、管理対象だけでなく、画像を撮影した作業者の所在位置も併せて管理することができる。 -In the above embodiment, the control unit 21 of the management server 20 identifies the location of the management target and manages the management target. In addition to this, the location (current location) of the worker wearing the helmet H1 to which the mobile unit 11 is attached may be managed. In this case, the control unit 21 stores a worker identification table for identifying the worker. Further, the management server 20 includes a worker information storage unit that stores the location of the worker. In this worker identification table, the photographing device identification information that identifies the mobile unit 11 and the worker identification information that identifies the worker are associated with each other. This worker uses the helmet H1 to which the mobile unit 11 of the imaging device identification information associated with the worker identification table is attached. When the shooting position of the image is specified, the management server 20 specifies the worker identifier corresponding to the shooting device identification information acquired together with the image by using the worker identification table. Then, the specified shooting position is associated with this worker identifier and stored in the worker information storage unit. This makes it possible to manage not only the management target but also the location of the worker who took the image.

・上記実施形態においては、移動体ユニット１１を、ヘルメットＨ１と別体として説明した。これに限らず、移動体ユニット１１の全てのデバイスがヘルメットＨ１と一体化したスマートヘルメットを用いてもよい。 -In the above embodiment, the mobile unit 11 has been described as a separate body from the helmet H1. Not limited to this, a smart helmet in which all devices of the mobile unit 11 are integrated with the helmet H1 may be used.

・上記実施形態の管理対象及び状態の予測処理（ステップＳ２－２）においては、管理サーバ２０の制御部２１は、画像を用いて使用状態を特定した。使用状態の特定方法は、画像を用いる場合に限らない。例えば、動画に含まれている音等のように、画像に付随する情報を用いて、管理対象の使用状態を判定することも可能である。この場合、制御部２１は、管理対象の使用時に発生する音を、ディープラーニングを使用して判定する。この場合には、発生音の周波数特性を用いて、管理対象の状態を学習する。 -In the management target and state prediction process (step S2-2) of the above embodiment, the control unit 21 of the management server 20 specifies the usage state using an image. The method of specifying the usage state is not limited to the case of using an image. For example, it is also possible to determine the usage state of the management target by using the information accompanying the image such as the sound included in the moving image. In this case, the control unit 21 uses deep learning to determine the sound generated when the managed object is used. In this case, the state of the management target is learned by using the frequency characteristic of the generated sound.

・上記実施形態においては、管理サーバ２０の制御部２１は、移動体ユニット１１から取得した画像に基づいて、管理対象の所在位置を特定した。これに加えて、長期間、所在位置が確認されていない管理対象についての警告を表示部１７に出力するようにしてもよい。具体的には、制御部２１に、未確認期間を保持させておく。そして、制御部２１は、定期的に、現在日時から未確認期間分前の最終確認基準日時を算出する。更に、制御部２１は、所在情報記憶部２７を用いて個体識別子毎に、最後に所在を確認した日時（所在確認日時）を特定する。そして、制御部２１は、最終確認基準日時以降の所在確認日時が記録されていない個体識別子を検索する。最終確認基準日時以降の所在確認日時が記録されていない個体識別子を抽出した場合には、制御部２１は、この所在情報２７０の個体識別子を表示部に表示する。これにより、長期間、所在位置が確認できず使用されていない管理対象について、管理の見直しを促すことができる。 -In the above embodiment, the control unit 21 of the management server 20 identifies the location of the management target based on the image acquired from the mobile unit 11. In addition to this, a warning about a management target whose location has not been confirmed for a long period of time may be output to the display unit 17. Specifically, the control unit 21 is allowed to hold the unconfirmed period. Then, the control unit 21 periodically calculates the final confirmation reference date and time before the unconfirmed period from the current date and time. Further, the control unit 21 uses the location information storage unit 27 to specify the date and time when the location was last confirmed (location confirmation date and time) for each individual identifier. Then, the control unit 21 searches for an individual identifier in which the location confirmation date and time after the final confirmation reference date and time is not recorded. When the individual identifier in which the location confirmation date and time after the final confirmation reference date and time is not recorded is extracted, the control unit 21 displays the individual identifier of the location information 270 on the display unit. As a result, it is possible to encourage a review of management of management targets that have not been used because their location cannot be confirmed for a long period of time.

・上記実施形態の被写体認識処理において、制御部２１の被写体特定部２１３は、撮影画像について領域分割処理（ステップＳ２－１）を実行し、この分割領域毎に、管理対象及び状態の予測処理（ステップＳ２－２）を実行した。管理対象及び状態の予測処理は、領域分割毎に行なう場合に限らず、物体検出による領域抽出によって行ってもよい。
また、管理対象及び状態の予測処理は、ディープラーニングを用いて実行した。管理対象及び状態の予測処理は、画像を用いて特定できれば、公知のＳＩＦＴ（Scale-Invariant Feature Transform）法等を用いて実行してもよい。 In the subject recognition process of the above embodiment, the subject identification unit 213 of the control unit 21 executes an area division process (step S2-1) for the captured image, and predicts the management target and the state for each of the divided areas (step S2-1). Step S2-2) was executed. The management target and state prediction processing is not limited to the case where it is performed for each area division, and may be performed by area extraction by object detection.
In addition, the management target and state prediction processing was executed using deep learning. The management target and state prediction processing may be executed by using a known SIFT (Scale-Invariant Feature Transform) method or the like if it can be specified by using an image.

・上記実施形態においては、制御部２１は、画像から撮影位置を特定した。画像の撮影位置を特定する撮影位置情報は、画像情報に限らず、例えば、全地球測位システム（ＧＰＳ：Global Positioning System）等の情報を用いてもよい。 -In the above embodiment, the control unit 21 specifies the shooting position from the image. The shooting position information for specifying the shooting position of the image is not limited to the image information, and for example, information such as a Global Positioning System (GPS) may be used.

・上記実施形態においては、管理サーバ２０の制御部２１は、撮影された動画を、移動体ユニット１１から取得した。制御部２１が管理対象を管理するために用いる画像は、動画に限られず、所定の時間間隔で撮影した静止画を用いることができる。 -In the above embodiment, the control unit 21 of the management server 20 acquires the captured moving image from the mobile unit 11. The image used by the control unit 21 to manage the management target is not limited to a moving image, and a still image taken at a predetermined time interval can be used.

Ｍ…溶接機、Ｈ１…ヘルメット、Ｍ１…マーカ、１０…管理システム、１１…移動体ユニット、１２…撮影部、１３…送信部、１４，２１…制御部、１６…入力部、１７…表示部、２０…管理サーバ、２２…建築総合情報記憶部、２３…特徴点情報記憶部、２４…禁止区域情報記憶部、２５…被写体情報記憶部、２６…動画情報記憶部、２７…所在情報記憶部、２１１…管理部、２１２…位置特定部、２１３…被写体特定部、２５１…学習済み分類モデル、２５２…教師データ、２５５…個体認識データ、２６０…動画管理情報、２７０…所在情報、５００…画像。 M ... Welder, H1 ... Helmet, M1 ... Marker, 10 ... Management system, 11 ... Mobile unit, 12 ... Shooting unit, 13 ... Transmitter, 14, 21 ... Control unit, 16 ... Input unit, 17 ... Display unit , 20 ... management server, 22 ... building comprehensive information storage unit, 23 ... feature point information storage unit, 24 ... prohibited area information storage unit, 25 ... subject information storage unit, 26 ... video information storage unit, 27 ... location information storage unit , 211 ... Management unit, 212 ... Position identification unit, 213 ... Subject identification unit, 251 ... Learned classification model, 252 ... Teacher data, 255 ... Individual recognition data, 260 ... Video management information, 270 ... Location information, 500 ... Image ..

Claims (6)

管理対象を識別する管理対象識別情報と、前記管理対象の位置情報とを関連付けて記憶した管理情報記憶部と、
移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムであって、
前記制御部は、
前記撮影装置によって撮影された画像内において、移動した位置での画像内に写った特徴点を検索して特定し、前記特徴点の位置を用いて、前記撮影された画像の撮影位置及び撮影角度を特定し、
前記特定した撮影位置及び撮影角度を用いて、前記画像に含まれる管理対象の所在位置を特定し、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録することを特徴とする管理システム。 A management information storage unit that stores the management target identification information that identifies the management target in association with the location information of the management target, and
It is a management system equipped with a control unit that acquires images from a photographing device attached to a moving body.
The control unit
In the image captured by the photographing device , the feature points captured in the image at the moved position are searched for and specified, and the positions of the feature points are used to capture the shooting position and the shooting angle of the captured image. Identify and
Using the specified shooting position and shooting angle, the location of the management target included in the image is specified.
A management system characterized in that the location is recorded in the management information storage unit in association with the management target identification information of the management target. 前記制御部は、前記画像に基づいて管理対象の使用状態を特定し、
前記管理対象識別情報及び前記所在位置に関連付けて、前記使用状態を前記管理情報記憶部に記録することを特徴とする請求項１に記載の管理システム。 The control unit identifies the usage state of the management target based on the image, and determines the usage state of the management target.
The management system according to claim 1, wherein the usage state is recorded in the management information storage unit in association with the management target identification information and the location. 前記移動体の所在位置を記録する移動体情報記憶部を更に備え、
前記制御部は、前記画像を撮影した撮影位置を、前記移動体の所在位置として特定し、前記移動体の所在位置を前記移動体情報記憶部に記録し、前記移動体の所在位置が撮影禁止領域に含まれる場合には、前記撮影装置は撮影を停止又は前記撮影禁止領域において撮影した画像を削除することを特徴とする請求項１又は２に記載の管理システム。 Further equipped with a mobile information storage unit for recording the location position of the mobile body, the mobile body information storage unit is further provided.
The control unit identifies the shooting position where the image was taken as the location position of the moving body, records the location position of the moving body in the moving body information storage unit, and shoots the location position of the moving body. The management system according to claim 1 or 2 , wherein when the image is included in the prohibited area, the photographing device stops photographing or deletes an image captured in the prohibited area . 前記管理情報記憶部には、前記管理対象識別情報及び前記管理対象の位置情報とに関連付けて前記管理対象を前記所在位置で検知した所在確認日時とが記憶され、 The management information storage unit stores the location confirmation date and time when the management target is detected at the location position in association with the management target identification information and the location information of the management target.
前記制御部は、 The control unit
前記管理対象の管理対象識別情報に関連付けて、前記所在位置及び所在確認日時を前記管理情報記憶部に記録し、 The location and location confirmation date and time are recorded in the management information storage unit in association with the management target identification information of the management target.
現在日時から未確認期間分前となる最終確認基準日時以降の所在確認日時が前記管理情 The location confirmation date and time after the final confirmation reference date and time, which is the unconfirmed period before the current date and time, is the above-mentioned management information.
報記憶部に記録されていない前記管理対象を抽出した場合には、前記管理対象についての警告を出力することを特徴とする請求項１～３の何れか１項に記載の管理システム。The management system according to any one of claims 1 to 3, wherein when the management target that is not recorded in the information storage unit is extracted, a warning about the management target is output. 管理対象を識別する管理対象識別情報と、前記管理対象の位置情報とを関連付けて記憶した管理情報記憶部と、
移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムを用いて、前記管理対象を管理する管理方法であって、
前記制御部は、
前記撮影装置によって撮影された画像内において、移動した位置での画像内に写った特徴点を検索して特定し、前記特徴点の位置を用いて、前記撮影された画像の撮影位置及び撮影角度を特定し、
前記特定した撮影位置及び撮影角度を用いて、前記画像に含まれる管理対象の所在位置を特定し、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録することを特徴とする管理方法。 A management information storage unit that stores the management target identification information that identifies the management target in association with the location information of the management target, and
It is a management method for managing the management target by using a management system including a control unit for acquiring an image from a photographing device attached to a moving body.
The control unit
In the image captured by the photographing device , the feature points captured in the image at the moved position are searched for and specified, and the positions of the feature points are used to capture the shooting position and the shooting angle of the captured image. Identify and
Using the specified shooting position and shooting angle, the location of the management target included in the image is specified.
A management method characterized in that the location is recorded in the management information storage unit in association with the management target identification information of the management target. 管理対象を識別する管理対象識別情報と、前記管理対象の位置情報とを関連付けて記憶した管理情報記憶部と、
移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムを用いて、前記管理対象を管理する管理プログラムであって、
前記制御部を、
前記撮影装置によって撮影された画像内において、移動した位置での画像内に写った特徴点を検索して特定し、前記特徴点の位置を用いて、前記撮影された画像の撮影位置及び撮影角度を特定し、
前記特定した撮影位置及び撮影角度を用いて、前記画像に含まれる管理対象の所在位置を特定し、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録する手段として機能させることを特徴とする管理プログラム。 A management information storage unit that stores the management target identification information that identifies the management target in association with the location information of the management target, and
It is a management program that manages the management target by using a management system provided with a control unit that acquires an image from a photographing device attached to a moving body.
The control unit
In the image captured by the photographing device , the feature points captured in the image at the moved position are searched for and specified, and the positions of the feature points are used to capture the shooting position and the shooting angle of the captured image. Identify and
Using the specified shooting position and shooting angle, the location of the management target included in the image is specified.
A management program characterized in that it functions as a means for recording the location of the management target in the management information storage unit in association with the management target identification information of the management target.
JP2017007861A 2017-01-19 2017-01-19 Management system, management method and management program Active JP7004131B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017007861A JP7004131B2 (en) 2017-01-19 2017-01-19 Management system, management method and management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017007861A JP7004131B2 (en) 2017-01-19 2017-01-19 Management system, management method and management program

Publications (2)

Publication Number Publication Date
JP2018116571A JP2018116571A (en) 2018-07-26
JP7004131B2 true JP7004131B2 (en) 2022-01-21

Family

ID=62984262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017007861A Active JP7004131B2 (en) 2017-01-19 2017-01-19 Management system, management method and management program

Country Status (1)

Country Link
JP (1) JP7004131B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7240573B2 (en) * 2019-03-15 2023-03-16 ダイダン株式会社 Construction support system and construction support device
JP7000513B1 (en) 2020-08-07 2022-01-19 株式会社インフォマティクス Structure management business support system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005216137A (en) 2004-01-30 2005-08-11 Chugoku Electric Power Co Inc:The Maintenance support system and method
JP2006092017A (en) 2004-09-21 2006-04-06 Komatsu Ltd Mobile machine management system
JP2009163578A (en) 2008-01-08 2009-07-23 Nomura Research Institute Ltd Data center monitoring apparatus
JP2012088907A (en) 2010-10-19 2012-05-10 Tokyo Electric Power Co Inc:The Facility maintenance information management device and facility maintenance information management system
JP2012180191A (en) 2011-03-02 2012-09-20 Hitachi-Ge Nuclear Energy Ltd Method and device for supporting plant construction
JP2015102880A (en) 2013-11-21 2015-06-04 三菱電機株式会社 Work support system
JP2015106356A (en) 2013-12-02 2015-06-08 株式会社日立製作所 Maintenance system of facility apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005216137A (en) 2004-01-30 2005-08-11 Chugoku Electric Power Co Inc:The Maintenance support system and method
JP2006092017A (en) 2004-09-21 2006-04-06 Komatsu Ltd Mobile machine management system
US20080071470A1 (en) 2004-09-21 2008-03-20 Komatsu Ltd. Management System for Moving Machine
JP2009163578A (en) 2008-01-08 2009-07-23 Nomura Research Institute Ltd Data center monitoring apparatus
JP2012088907A (en) 2010-10-19 2012-05-10 Tokyo Electric Power Co Inc:The Facility maintenance information management device and facility maintenance information management system
JP2012180191A (en) 2011-03-02 2012-09-20 Hitachi-Ge Nuclear Energy Ltd Method and device for supporting plant construction
JP2015102880A (en) 2013-11-21 2015-06-04 三菱電機株式会社 Work support system
JP2015106356A (en) 2013-12-02 2015-06-08 株式会社日立製作所 Maintenance system of facility apparatus

Also Published As

Publication number Publication date
JP2018116571A (en) 2018-07-26

Similar Documents

Publication Publication Date Title
JP7095953B2 (en) Image management system, image management method, and image management program
US9911226B2 (en) Method for cleaning or processing a room by means of an autonomously mobile device
JP5927691B2 (en) Area monitoring system
JP6904421B2 (en) Store equipment, store management methods, programs
CN105825498B (en) Measurement data processing device, measurement data processing method, and program
US20150103178A1 (en) Surveillance camera control device and video surveillance system
KR102096926B1 (en) Method and system for detecting change point of interest
US20180365839A1 (en) Systems and methods for initialization of target object in a tracking system
JP6503079B2 (en) Specific person detection system, specific person detection method and detection device
US10783376B2 (en) Information processing apparatus
JP2022042146A (en) Data processor, data processing method, and data processing program
JP2018163556A (en) Work management device, work management method, and program
JP7004131B2 (en) Management system, management method and management program
KR102189926B1 (en) Method and system for detecting change point of interest
JP2004338889A (en) Image recognition device
JP2018185240A (en) Position specifying device
US11227007B2 (en) System, method, and computer-readable medium for managing image
CN107615297A (en) Portable identification and data presentation device and system and its application method
JPH11339139A (en) Monitoring device
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
JPWO2018146959A1 (en) System, information processing apparatus, information processing method, program, and recording medium
JP2018124980A (en) Self-propelling type moving body and movement control method for moving body
CN108896035B (en) Method and equipment for realizing navigation through image information and navigation robot
JP6979643B2 (en) Surveillance video display system, surveillance video display device, surveillance information management server, and surveillance video display method
JP2022092365A (en) Position management system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211214

R150 Certificate of patent or registration of utility model

Ref document number: 7004131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150