JP2021131738A - 工程判別システム、及び工程判別方法 - Google Patents
工程判別システム、及び工程判別方法 Download PDFInfo
- Publication number
- JP2021131738A JP2021131738A JP2020026826A JP2020026826A JP2021131738A JP 2021131738 A JP2021131738 A JP 2021131738A JP 2020026826 A JP2020026826 A JP 2020026826A JP 2020026826 A JP2020026826 A JP 2020026826A JP 2021131738 A JP2021131738 A JP 2021131738A
- Authority
- JP
- Japan
- Prior art keywords
- classification
- single image
- individual
- classified
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 413
- 238000012850 discrimination method Methods 0.000 title claims abstract description 16
- 238000010276 construction Methods 0.000 claims abstract description 72
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 238000005553 drilling Methods 0.000 claims description 50
- 238000009412 basement excavation Methods 0.000 claims description 36
- 238000005422 blasting Methods 0.000 claims description 33
- 229910000831 Steel Inorganic materials 0.000 claims description 26
- 238000005507 spraying Methods 0.000 claims description 26
- 239000010959 steel Substances 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 14
- 239000011435 rock Substances 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 10
- 239000002360 explosive Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003721 gunpowder Substances 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
(1)同一の建設機械が異なる個別工程で使用されるケースであっても、これら異なる個別工程を判別することができる。
(2)建設現場にサイクルタイム調査者を常時配置することなく、しかも昼夜2交代制であっても長時間にわたってサイクルタイムを調査することができる。
(3)適正なサイクルタイム分析を行うことができるため、トンネル掘削における無理や無駄を把握することができ、その結果、実績に基づく適切な原価管理と工程管理を行うことができる。
(4)個別工程を判別するために2段階で学習モデルを利用することから各学習モデルにかかる負担が軽減され、したがって従来の画像認識技術等に比して機械学習に用いる教師データの数を大幅に低減することができる。
(5)一度形成された工程判別システムは、簡易なチューニングを実行するだけで、他の建設現場でも利用することができる。
本願発明は、例えばトンネル切羽を撮影した動画や連続静止画に基づいて個別工程の工種を判別する技術である。より詳しくは、図1に示すように動画や連続静止画を構成する個々の画像(以下、便宜上ここでは「単画像」という。)に収められた施工状況の個別工程を判別する。例えば、図2に示す単画像にはドリルジャンボによって切羽削孔が行われている状況が収められており、この単画像から「切羽削孔工程」を自動的に判別するわけである。なお、「動画」、「連続静止画」ともに極めて短い間隔で並べられた単画像(フレーム)を順に表示していくものであるが、「動画」が毎秒24〜60枚(つまり、24〜60fps)の単画像による構成とされることもあるため、ここでは特に24fps未満あるいは60fpsを超える単画像で構成されるものを「連続静止画」としている。
次に、本願発明の工程判別システムについて詳しく説明する。なお、本願発明の工程判別方法は、本願発明の工程判別システムを用いて各個別工程を判別する方法である。したがって、まずは本願発明の工程判別システムについて説明し、その後に本願発明の工程判別方法について説明することとする。
図4のケースと同様、まず大分類手段101が対象単画像に収められている施工状況を所定の機械分類に分類する(図5のStep110)。より詳しくは、第1学習済みモデルを用いた画像認識によって対象単画像を、「発破分類(発破工程のみ)」、「ずり出し分類(ずり出し工程のみ)」、「削孔系分類(切羽削孔工程とロックボルト工程)」、「支保系分類(コンクリート吹付工程と鋼製支保工建込工程)」のうちいずれかに分類する。なお、大分類手段101がいずれかの機械分類に判別することができないときもあり、この場合はその対象単画像を「分類不能」とするとよい。
一方、大分類手段101によって、「削孔系分類」や「支保系分類」に分類された対象単画像は、細分類手段102が対象単画像の個別工程を判別する(図5のStep130)。すなわち、「削孔系分類」とされた対象単画像を切羽削孔工程とロックボルト工程のいずれかに判別し、「支保系分類」とされた対象単画像をコンクリート吹付工程と鋼製支保工建込工程のいずれかに判別する。「削孔系分類」には、切羽削孔工程に特徴的なオブジェクト(以下、「切羽削孔用オブジェクト」という。)とロックボルト工程に特徴的なオブジェクト(以下、「ロックボルト用オブジェクト」という。)が用意されており、「削孔系分類」とされた対象単画像に対しては、切羽削孔用オブジェクトとロックボルト用オブジェクトに基づいてオブジェクトの識別を行うことによって個別工程を判別する。同様に、「支保系分類」には、コンクリート吹付工程に特徴的なオブジェクト(以下、「コンクリート吹付用オブジェクト」という。)と鋼製支保工建込工程に特徴的なオブジェクト(以下、「鋼製支保工建込用オブジェクト」という。)が用意されており、「支保系分類」とされた対象単画像に対しては、コンクリート吹付用オブジェクトと鋼製支保工建込用オブジェクトに基づいてオブジェクトの識別を行うことによって個別工程を判別する。
図4や図5では、大分類手段101や細分類手段102によって判別された対象単画像の個別工程をそのまま決定している。もちろん、このようにそのまま決定する仕様とすることもできるし、大分類手段101や細分類手段102によって判別された個別工程の適否を、適否判定手段104(図3)が判定する仕様とすることもできる。なお、個別工程の適否判定は、対象単画像の画像に対して判別された個別工程に基づいて適否判定する手法(以下、「頻度判定」という。)と、個別工程の順序に基づいて適否判定する手法(以下、「前工程判定」という。)を挙げることができる。以下、頻度判定と前工程判定について順に説明する。
大分類手段101がいずれかの機械分類に判別することができないとき、あるいは適否判定手段104によって不適と判定されたとき、その対象単画像は「分類不能」とすることができる。この対象単画像は「分類不能」のまま扱うこともできるが、前後の単画像の個別工程に基づいて分類不能とされた対象単画像の個別固定を推定する仕様とすることもできる。
続いて本願発明の工程判別方法について図15を参照しながら説明する。なお、本願発明の工程判別方法は、ここまで説明した工程判別システム100を用いて各個別工程を判別する方法であり、したがって工程判別システム100で説明した内容と重複する説明は避け、本願発明の工程判別方法に特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「2.工程判別システム」で説明したものと同様である。
101 (工程判別システムの)大分類手段
102 (工程判別システムの)細分類手段
103 (工程判別システムの)動作検知手段
104 (工程判別システムの)適否判定手段
105 (工程判別システムの)動画等記憶手段
106 (工程判別システムの)第1モデル記憶手段
107 (工程判別システムの)第2モデル記憶手段
Claims (10)
- 複数の異なる個別工程が交代制で行われる建設現場を撮影した動画又は連続静止画を用いて、該動画又は該連続静止画を構成する単画像に収められた該個別工程を判別するシステムであって、
機械学習によって構築された第1の学習済みモデルを用いて画像認識を行うことで、前記単画像を機械別分類に分類する大分類手段と、
機械学習によって構築された第2の学習済みモデルを用いてオブジェクトの識別を行うことで、前記単画像を前記個別工程に分類する細分類手段と、を備え、
異なる前記個別工程であっても使用する建設機械が共通する該個別工程は同一の前記機械別分類とされ、
前記細分類手段は、前記単画像に対して分類された前記機械別分類が複数の異なる前記個別工程を含むとき、該機械別分類ごとに用意された前記オブジェクトを該単画像から識別することによって前記個別工程に分類する、
ことを特徴とする工程判別システム。 - 掘削中のトンネル切羽を撮影した動画又は連続静止画を用いて、該動画又は該連続静止画を構成する単画像に収められたトンネル掘削に係る各個別工程を判別するシステムであって、
機械学習によって構築された第1の学習済みモデルを用いて画像認識を行うことで、前記単画像を機械別分類に分類する大分類手段と、
機械学習によって構築された第2の学習済みモデルを用いてオブジェクトの識別を行うことで、前記単画像を前記個別工程に分類する細分類手段と、を備え、
異なる前記個別工程であっても使用する建設機械が共通する該個別工程は同一の前記機械別分類とされ、
前記細分類手段は、前記単画像に対して分類された前記機械別分類が複数の異なる前記個別工程を含むとき、該機械別分類ごとに用意された前記オブジェクトを該単画像から識別することによって前記個別工程に分類する、
ことを特徴とする工程判別システム。 - 前記機械別分類には、切羽削孔工程とロックボルト工程からなる削孔系分類と、コンクリート吹付工程と鋼製支保工建込工程からなる支保系分類と、が設けられ、
前記細分類手段は、前記単画像が前記削孔系分類に分類されたとき、該削孔系分類に用意された前記オブジェクトを用いて前記切羽削孔工程又は前記ロックボルト工程のいずれかに分類し、前記単画像が前記支保系分類に分類されたとき、該支保系分類に用意された前記オブジェクトを用いて前記コンクリート吹付工程又は前記鋼製支保工建込工程のいずれかに分類する、
ことを特徴とする請求項2記載の工程判別システム。 - 前記機械別分類には、発破工程のみからなる発破分類と、ずり出し工程のみからなるずり出し分類と、が設けられ、
前記細分類手段は、前記単画像が前記発破分類に分類されたとき前記発破工程に分類し、前記単画像がずり出しに分類されたとき前記ずり出し工程に分類する、
ことを特徴とする請求項2又は請求項3記載の工程判別システム。 - 時間的に連続する複数の前記単画像を用いて動態検知を行う動作検知手段を、さらに備え、
前記細分類手段は、前記動作検知手段が前後の前記単画像間で動作を検知しないときに、前記単画像をトンネル切羽で作業が行われていない休止工程に分類する、
ことを特徴とする請求項2乃至請求項4のいずれかに記載の工程判別システム。 - 前記細分類手段によって分類された前記個別工程の適否を判定する適否判定手段を、さらに備え、
前記適否判定手段は、前記単画像に対して分類された前記個別工程が、該単画像を基準とする一定期間内に分類された前記個別工程のうち最頻出の前記個別工程であって、該一定期間内に分類されたすべての前記個別工程の所定の割合を超えるとき、前記細分類手段によって分類された前記個別工程を適正として判定する、
ことを特徴とする請求項2乃至請求項5のいずれかに記載の工程判別システム。 - 前記細分類手段によって分類された前記個別工程の適否を判定する適否判定手段を、さらに備え、
前記適否判定手段は、前記単画像に対して分類された前記個別工程に先行する個別工程が、当該単画像から遡った所定期間に得られた前記単画像のうち所定期間以上にわたる該単画像に対して分類されたとき、前記細分類手段によって分類された前記個別工程を適正として判定する、
ことを特徴とする請求項2乃至請求項6のいずれかに記載の工程判別システム。 - 前記細分類手段は、前記個別工程の分類が不能とされた前記画像の前後の前記画像が同一の前記個別工程に分類されたとき、分類不能とされた該画像も前後と同じ該個別工程に分類する、
ことを特徴とする請求項2乃至請求項7のいずれかに記載の工程判別システム。 - 複数の異なる個別工程が交代制で行われる建設現場を撮影した動画又は連続静止画を用いて、該動画又は該連続静止画を構成する単画像に収められた該個別工程を判別する方法であって、
前記建設現場を撮影する撮影工程と、
請求項1乃至請求項8のいずれかに記載の前記個別工程判別システムを用い、前記単画像を機械別分類に分類する大分類工程と、
請求項1乃至請求項8のいずれかに記載の前記個別工程判別システムを用い、前記単画像を前記個別工程に分類する細分類工程と、を備え、
異なる前記個別工程であっても使用する建設機械が共通する該個別工程は同一の前記機械別分類とされる、
ことを特徴とする工程判別方法。 - 掘削中のトンネル切羽を撮影した動画又は連続静止画を用いて、該動画又は該連続静止画を構成する単画像に収められたトンネル掘削に係る各個別工程を判別する方法であって、
前記トンネル切羽後方に固定された撮影手段によって、前記トンネル切羽を撮影する撮影工程と、
請求項1乃至請求項8のいずれかに記載の前記個別工程判別システムを用い、前記単画像を機械別分類に分類する大分類工程と、
請求項1乃至請求項8のいずれかに記載の前記個別工程判別システムを用い、前記単画像を前記個別工程に分類する細分類工程と、を備え、
異なる前記個別工程であっても使用する建設機械が共通する該個別工程は同一の前記機械別分類とされる、
ことを特徴とする工程判別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020026826A JP7510768B2 (ja) | 2020-02-20 | 2020-02-20 | 工程判別システム、及び工程判別方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020026826A JP7510768B2 (ja) | 2020-02-20 | 2020-02-20 | 工程判別システム、及び工程判別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021131738A true JP2021131738A (ja) | 2021-09-09 |
JP7510768B2 JP7510768B2 (ja) | 2024-07-04 |
Family
ID=77551056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020026826A Active JP7510768B2 (ja) | 2020-02-20 | 2020-02-20 | 工程判別システム、及び工程判別方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7510768B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023249034A1 (ja) * | 2022-06-23 | 2023-12-28 | ダイキン工業株式会社 | 画像処理方法、コンピュータプログラム及び画像処理装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6700580B2 (ja) | 2015-12-10 | 2020-05-27 | 株式会社大林組 | 状況判定システム、状況判定方法及び状況判定プログラム |
JP6393700B2 (ja) | 2016-02-12 | 2018-09-19 | 株式会社錢高組 | トンネル坑内の環境を制御する環境制御システム |
JP6645906B2 (ja) | 2016-05-17 | 2020-02-14 | 鹿島建設株式会社 | トンネル施工における作業工程判別方法及びサイクルタイムの測定方法 |
JP6824838B2 (ja) | 2017-07-07 | 2021-02-03 | 株式会社日立製作所 | 作業データ管理システム及び作業データ管理方法 |
JP2019212067A (ja) | 2018-06-06 | 2019-12-12 | 前田建設工業株式会社 | 工程判別システム及び工程判別方法 |
JP7277256B2 (ja) | 2019-05-24 | 2023-05-18 | コニカミノルタ株式会社 | 作業分析システム、作業分析装置、および作業分析プログラム |
-
2020
- 2020-02-20 JP JP2020026826A patent/JP7510768B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023249034A1 (ja) * | 2022-06-23 | 2023-12-28 | ダイキン工業株式会社 | 画像処理方法、コンピュータプログラム及び画像処理装置 |
JP7429016B2 (ja) | 2022-06-23 | 2024-02-07 | ダイキン工業株式会社 | 画像処理方法、コンピュータプログラム及び画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7510768B2 (ja) | 2024-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Simser | Rockburst management in Canadian hard rock mines | |
CN107605536B (zh) | 基于多源信息融合的煤与瓦斯突出实时预警装置与方法 | |
Navarro et al. | Detection of potential overbreak zones in tunnel blasting from MWD data | |
Marcher et al. | Machine Learning in tunnelling–Capabilities and challenges | |
Navarro et al. | Application of drill-monitoring for chargeability assessment in sublevel caving | |
CA2873816C (en) | Systems and methods for processing geophysical data | |
Ghosh et al. | Development of a geological model for chargeability assessment of borehole using drill monitoring technique | |
CN104541307A (zh) | 用于钻孔到相对于地质边界的位置的方法和系统 | |
Navarro et al. | Assessment of drilling deviations in underground operations | |
JP2021131738A (ja) | 工程判別システム、及び工程判別方法 | |
Jakubowski et al. | Multivariate linear regression and CART regression analysis of TBM performance at Abu Hamour phase-I tunnel | |
Manzoor et al. | Rock fragmentation variations with increasing extraction ratio in sublevel caving: a case study | |
Liu et al. | Statistical analysis of the capabilities of various pattern recognition algorithms for fracture detection based on monitoring drilling parameters | |
JP6820505B2 (ja) | トンネル地山探査方法 | |
Bahrampour et al. | Ground characterization and roof mapping: Online sensor signal-based change detection | |
Whiteman | Smart Marker System–a new tool for measuring underground orebody flow in block and sublevel mines | |
Hartl et al. | Passive seismic monitoring in conventional tunnelling–An innovative approach for automatic process recognition using support vector machines | |
Kansake et al. | Impact of Availability and Utilisation of Drill Rigs on Production at Kanjole Minerals Limited | |
Simser et al. | The Value of Recording Small Mining Induced Microseismic Events with Examples from Glencore’s Nickel Rim South Mine | |
Marcher et al. | Capabilities and challenges using machine learning in tunnelling | |
JP2021105962A (ja) | 教師データ生成装置、及び教師データ生成方法 | |
Tommila | Mining method evaluation and dilution control in Kittilä mine | |
Louwerse | Waste rock dilution in stoping of steeply dipping narrow-vein deposits | |
Morgenroth et al. | An artificial neural network approach for predicting rock support damage at Cigar Lake Mine: A case study | |
Ko et al. | Estimation of uniaxial compressive strength at tunnel face using TBM operation data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200310 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240624 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7510768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |