JP2018128309A - ひび割れ検出方法 - Google Patents

ひび割れ検出方法 Download PDF

Info

Publication number
JP2018128309A
JP2018128309A JP2017020389A JP2017020389A JP2018128309A JP 2018128309 A JP2018128309 A JP 2018128309A JP 2017020389 A JP2017020389 A JP 2017020389A JP 2017020389 A JP2017020389 A JP 2017020389A JP 2018128309 A JP2018128309 A JP 2018128309A
Authority
JP
Japan
Prior art keywords
crack
image
pixel
wavelet coefficient
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017020389A
Other languages
English (en)
Other versions
JP6823486B2 (ja
Inventor
三馨 鈴木
Mika Suzuki
三馨 鈴木
昌美 本澤
Masami Motosawa
昌美 本澤
賢一 堀口
Kenichi Horiguchi
賢一 堀口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taisei Corp
Original Assignee
Taisei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taisei Corp filed Critical Taisei Corp
Priority to JP2017020389A priority Critical patent/JP6823486B2/ja
Publication of JP2018128309A publication Critical patent/JP2018128309A/ja
Application granted granted Critical
Publication of JP6823486B2 publication Critical patent/JP6823486B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ひび割れ検出の解析時間の短縮を図りながら、高精度のひび割れ検出をおこなうことのできるひび割れ検出方法を提供すること。【解決手段】コンクリート表面の撮影画像をコンピュータに入力してなる入力画像においてひび割れと想定されるひび割れ想定線に沿ってパスを作成し、該パスに付したひび割れを覆う面を作成してパス画像とするステップ、パス画像におけるひび割れ上でウェーブレット係数を計算するステップ、ひび割れ画像を作成するステップ、ひび割れ幅の推定値を計算するステップを備え、さらに、ひび割れ幅の推定値の計算に先んじてひび割れ幅の推定式を特定するステップをさらに備え、ここでは、所定範囲の輝度の下でウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを作成し、これをひび割れ推定式とする。【選択図】図3

Description

本発明は、コンクリート表面に生じているひび割れの検出をおこなうひび割れ検出方法に係り、特に、ひび割れ検出の解析時間の短縮を図りながら、高精度のひび割れ検出をおこなうことのできるひび割れ検出方法に関するものである。
コンクリート表面上のひび割れを検出する方法としては、従来、調査員が目視観察をおこない、クラックスケールやメジャー等を使用しながらひび割れの幅や長さを測定する方法が一般的であった。しかし、この目視観察による方法は調査員の測定技量などによって精度のばらつきが大きくなることや、ひび割れが大量に存在する場合においては大量の情報を正確に処理するために莫大な労力および時間を要するといった問題があった。
上記の問題に対して、コンクリート表面の撮影画像をコンピュータに取り込み、画像をひび割れ領域とそれ以外の領域とに2値化処理する画像処理手法が適用されている。画像の2値化処理とは、ある濃度値に対して画像の濃度を0または1に表現することであり、例えば、入力画像f(i,j)に対して2値化処理で得られる2値化画像b(i,j)はb(i,j)=1(f(i,j)>k)、0(f(i,j)≦k)となる。ここで、kは2値化する際の閾値であり、したがって2値化画像の良し悪しは閾値kの選定によって決まるといってよい。
従来の閾値を求める手法としては、固定閾値または可変閾値による処理方法がある。固定閾値による処理方法には、Pタイル法やモード法、相関比を用いた方法などが挙げられる。固定閾値による処理方法は、対象画像の濃度ヒストグラムを作成し、画像の背景(コンクリート表面)の濃度値とひび割れの濃度値との間に明確な谷が現れるような双峰性のヒストグラムが得られる場合において有効な方法である。
一方、可変閾値による処理方法は、照明条件などによって撮影ムラが生じ、背景の濃度値と対象部分の濃度値が画像全体で一定でない場合に有効な方法である。この可変閾値処理法は、注目している画素を中心とする局所領域の平均濃度値を閾値とする方法である。この方法の欠点は、背景領域の微妙な濃淡変化に応じて、例えばひび割れ以外のノイズが多い画像となってしまう点である。
従来の画像処理方法は、撮影された入力画像に対して閾値を決定し、2値化処理をおこないながらひび割れの抽出をおこなうものである。すなわち、この一般的な処理の流れは次のようになる。1)撮影画像をコンピュータに取り込んで入力画像を作成する。2)入力画像の濃度の補正をする。3)2値化処理をおこなってひび割れの抽出をおこなう。
上記する従来の画像処理法は、濃度が一様なコンクリート表面上のひび割れの検出においては比較的高精度のひび割れ検出が可能である。しかし、実際のコンクリート構造物の表面は様々な汚れを含んでおり、さらにはひび割れの濃度も、ひび割れの幅や深度などに応じてばらつきがあるのが一般的である。このようなコンクリート表面に対して従来の画像処理法を用いると、ひび割れの抽出に際しては様々な問題が生じ得る。例えば、固定閾値処理の場合において、コンクリート表面上の汚れ領域とひび割れ領域が同程度の濃度値である場合には、これらを2値化処理することが極めて困難となる。濃度ヒストグラムが双峰性を呈していて、閾値を容易に決定できたとしても、ひび割れ領域と判断される範囲には汚れ領域が含まれる可能性が極めて高くなる。また、逆に、ひび割れ周辺部の汚れ領域を含ませないような閾値をあらたに設定しようとすると、今度は他のひび割れ領域を除外してしまうことになってしまう。
可変閾値処理の場合には、コンクリート表面上の汚れが多くなるにしたがって、ひび割れ抽出画像中にひび割れ以外のノイズが多く含まれることになり、場合によってはひび割れ抽出画像を一見しても、どの部分がひび割れ領域なのか全く判別できないこととなる。
上記する従来手法の問題に対して本発明者等は、撮影されたコンクリート表面の汚れや照明条件などによってひび割れの検出が困難な場合においても、簡易に高精度のひび割れ検出をおこなうことのできるひび割れ検出方法を発案し、特許文献1〜7にその開示をおこなっている。
これらのひび割れ検出方法はいずれも、対比される2つの濃度に対応したウェーブレット係数を算定するとともに、2つの濃度をそれぞれ変化させた場合のウェーブレット係数を算定してウェーブレット係数テーブルを作成し、ひび割れ検出対象であるコンクリート表面の撮影画像をコンピュータに入力して入力画像とし、この入力画像をウェーブレット変換することによってウェーブレット画像を作成するステップ、ウェーブレット係数テーブル内において局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数を閾値とし、注目画素のウェーブレット係数が閾値よりも大きな場合はこの注目画素をひび割れと判定し、閾値よりも小さな場合は注目画素をひび割れでないと判定し、局所領域および注目画素を変化させながら注目画素のウェーブレット係数と閾値との比較をおこなうことでひび割れ抽出画像を作成するステップ、を少なくとも含む検出方法である。
特許第4006007号公報 特許第4870016号公報 特許第4980739号公報 特許第5385593号公報 特許第5421192号公報 特許第5705711号公報 特許第5812705号公報
これらのひび割れ検出方法により、簡易に高精度のひび割れ検出をおこなうことが可能になったものの、ひび割れ検出対象であるコンクリート表面の全面が解析対象であることから、解析に時間を要するといった新たな課題が生じている。
ところで、上記特許文献の中には、ひび割れ特定対象のコンクリート表面にクラックスケールを貼り付け、クラックスケールの撮影画像に対してウェーブレット変換をおこない、細線化処理等をおこなった後にひび割れ幅の推定値を計算し、回帰分析を用いてひび割れ幅の推定式を特定し、このひび割れ幅の推定式を使用して、実際のコンクリート表面上のひび割れに関するひび割れ画像もしくはさらに細線化処理がなされたひび割れ細線化画像に対してひび割れ幅推定値を計算する方法が開示されている。
このように、ひび割れ特定対象のコンクリート表面にクラックスケールを貼り付ける場合、高所作業車を要したり、足場を用いてクラックスケールを貼り付ける必要があるなど、クラックスケールの貼り付けに手間と時間を要し、作業安全性の問題も生じ得る。
したがって、ひび割れ特定対象のコンクリート表面にクラックスケールを貼り付けることを要することなく、高精度なひび割れ幅推定式を設定することが当該技術分野にて切望されている。
本発明は上記する問題に鑑みてなされたものであり、ひび割れ検出の解析時間の短縮を図りながら高精度のひび割れ検出をおこなうことができ、さらには、高精度なひび割れ幅推定式を設定することのできるひび割れ検出方法を提供することを目的としている。
前記目的を達成すべく、本発明によるひび割れ検出方法は、コンクリート表面に生じているひび割れの検出をおこなうひび割れ検出方法であって、ひび割れ検出対象であるコンクリート表面の撮影画像をコンピュータに入力して入力画像とし、該入力画像においてひび割れと想定されるひび割れ想定線に沿ってパスを作成し、該パスに付したひび割れを覆う面を作成してパス画像とする第1のステップ、対比される2つの濃度に対応したウェーブレット係数を算定するとともに、該2つの濃度をそれぞれ変化させた際のウェーブレット係数を算定してウェーブレット係数テーブルを作成し、前記パス画像におけるひび割れ上でウェーブレット係数を計算する第2のステップ、前記ウェーブレット係数テーブル内において局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数をウェーブレット係数に関する閾値とし、注目画素のウェーブレット係数が前記閾値よりも大きな場合は注目画素をひび割れと判定し、小さな場合は注目画素をひび割れでないと判定し、局所領域および注目画素を変化させながら注目画素のウェーブレット係数と前記閾値との比較をおこなうことでひび割れ画像を作成する第3のステップ、ひび割れ幅の推定値を計算する第4のステップ、を備えるひび割れ検出方法において、前記ひび割れ検出方法は、第1のステップ〜第4のステップとは連続しない、ひび割れ幅の推定式を特定する第5のステップをさらに備えており、前記第5のステップは、前記撮影画像の輝度を所定範囲に設定し、当該所定範囲の輝度の下で、ウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを作成し、これをひび割れ推定式とするものである。
ウェーブレット(wavelet)とは、小さな波という意味であり、局在性を持つ波の基本単位を、ウェーブレット関数を用いた式で表現することができる。このウェーブレット関数を拡大または縮小することにより、時間情報や空間情報と周波数情報を同時に解析することが可能となる。このウェーブレット係数を、ひび割れを有するコンクリート表面に適用する場合のこの係数の特徴としては、コンクリート表面の濃度と、ひび割れの濃度と、ひび割れ幅に依存するということである。例えば、ひび割れ幅が大きくなるにつれてウェーブレット係数の値は大きくなる傾向があり、また、ひび割れの濃度が濃くなるにつれて(黒色に近づくにつれて)ウェーブレット係数の値は大きくなる傾向がある。
ウェーブレット変換によって算定されるウェーブレット係数を用いて、ひび割れの検出をおこなうアルゴリズムは以下のようになる。まず、コンクリート表面の撮影画像とウェーブレット関数との内積よりウェーブレット係数を求める。このウェーブレット係数を256階調に変換することで、連続量を持ったウェーブレット画像が作成できる。
ウェーブレット係数は、上記するようにひび割れ幅やひび割れの濃度、コンクリート表面の濃度によって変化することから、擬似的に作成されたデータを用いてひび割れの濃度とコンクリート表面の濃度に関するウェーブレット係数を各階調ごとに算定しておき、ウェーブレット係数テーブルを作成しておく。このウェーブレット係数テーブルにある各階調ごとのウェーブレット係数が、ひび割れ検出の際の閾値となる。例えば、対比される2つの濃度(一方の濃度をコンクリート表面の濃度、他方の濃度をひび割れの濃度と仮定することができる)に対応するウェーブレット係数(閾値)がウェーブレット係数テーブルを参照すれば一義的に決定される。したがって、後述するように、撮影画像において対比される2つの濃度間のウェーブレット係数を算定した際に、このウェーブレット係数がウェーブレット係数テーブルの閾値よりも大きな場合は、ひび割れであると判断できるし、閾値よりも小さな場合はひび割れでないと判断することができる。
このウェーブレット係数テーブルを作成する際の擬似的なデータは特に限定するものではないが、例えば、ひび割れ幅が1画素(1ピクセル)〜5画素(5ピクセル)までの中で、各画素幅のひび割れごとに、コンクリート表面の階調とひび割れの階調に対応するウェーブレット係数を算定する。閾値の設定に際しては、例えば、ひび割れ幅が1画素の場合のウェーブレット係数のうち、ひび割れに対応するウェーブレット係数を選定し、ひび割れ幅が5画素の場合のウェーブレット係数のうち、ひび割れ領域でない箇所のウェーブレット係数を選定し、これら2つのウェーブレット係数の平均値をもって任意の階調における閾値とすることができる。
本発明のひび割れ検出方法においては、まず、第1のステップにおいて、ひび割れ検出対象であるコンクリート表面の撮影画像をコンピュータに入力して入力画像とし、該入力画像においてひび割れと想定されるひび割れ想定線に沿ってパスを作成し、該パスに付したひび割れを覆う面を作成してパス画像とする。
このように、ひび割れ想定線に沿ってパスを作成し、パスに付したひび割れを覆う面を作成することにより、入力画像においてひび割れ位置を指定することができる。具体的には、市販の画像編集ソフトを使用し、たとえば1ピクセルの線や面からなるパスを作成する。そして、パス画像は、たとえば1ピクセル幅の線からなるパスに対し、その左右両側1ピクセル幅もしくは2ピクセル幅を加えた3ピクセル幅もしくは5ピクセル幅からなる面である。
次に、第2のステップにおいて、上記するウェーブレット係数テーブルを作成しておくとともに、適宜に設定された広域領域(例えば30×30画素の領域)に対してウェーブレット係数を算定し、この広域領域から一画素移動した広域領域(同じように例えば30×30画素の領域であって、移動前の30×30画素の領域とほとんどの画素が共通している)で、同じようにウェーブレット係数を算定し、ウェーブレット係数の連続量を求める。
次に、第3のステップにおいて、ウェーブレット係数テーブル内において局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数をウェーブレット係数に関する閾値とし、注目画素のウェーブレット係数が閾値よりも大きな場合は注目画素をひび割れと判定し(画面上では例えば白色)、小さな場合は注目画素をひび割れでないと判定し(画面上では例えば黒色)、局所領域および注目画素を変化させながら注目画素のウェーブレット係数と閾値との比較をおこなうことでひび割れ画像を作成する。
本発明のひび割れ検出方法によれば、まず、入力画像においてひび割れ位置を指定した後に解析を実行することから、ひび割れ画像解析範囲を可及的に縮小することができるため、従来の方法に比して解析領域を大幅に縮小することができ、このことによって解析時間を大幅に短縮することが可能になる。さらに、連続解析が可能となり、データの読み込み時間や書き出し時間の短縮も可能になる。
さらに、解析者が予めひび割れ位置を指定していることから、ひび割れ以外のものが解析対象になり難い。
最後に、第4のステップにおいて、ひび割れ幅の推定値を計算する。
ここで、本発明のひび割れ検出方法では、第1のステップ〜第4のステップとは連続しない、ひび割れ幅の推定式を特定する第5のステップをさらに備えており、第4のステップにおいてひび割れ幅の推定値を計算する際には、既に第5のステップにて特定されているひび割れ幅の推定式を使用する。
この第5のステップにおいてひび割れ幅の推定式を特定する方法は、前記撮影画像の輝度を所定範囲に設定し、当該所定範囲の輝度の下で、ウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを作成し、これをひび割れ推定式とするものである。
すなわち、ひび割れ特定対象のコンクリート表面にクラックスケールを貼り付け、クラックスケールの撮影画像に対してウェーブレット変換をおこなってひび割れ幅の推定式を特定する方法ではなく、撮影画像の空間分解能をパラメータとしてひび割れ幅の推定式を特定するものである。したがって、ひび割れ特定対象のコンクリート表面にクラックスケールを貼り付ける際に生じ得る既述の様々な課題は生じ得ない。
空間分解能は、撮影場所から撮影対象までの距離やカメラ等の撮影手段の解像度などによって決定される。
本発明では、0(黒)〜255(白)までの範囲にある輝度のうち、たとえば100〜200程度の範囲を輝度の好ましい範囲(所定の範囲)に設定し、この所定範囲の輝度の下でウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを作成し、このひび割れ推定グラフをひび割れ推定式とすることで、ひび割れ幅の推定精度を高くすることができる。
また、本発明によるひび割れ検出方法の他の実施の形態は、前記第5のステップにおいて、前記撮影画像の輝度が前記所定範囲を逸脱している場合は輝度が該所定範囲に入るように輝度の補正をおこない、前記ひび割れ推定グラフを作成するものである。
たとえば輝度が100未満で黒に近い場合、ひび割れ幅の推定精度が低下することが本発明者等によって特定されている。そこで、たとえば輝度100以上を所定範囲とした場合に、輝度が100未満の場合には輝度補正(たとえば、カメラでの補正や、画像をコンピュータに取り込んだ後のコンピュータソフトでの補正)をおこなうことにより、所定の輝度範囲(100以上の輝度範囲で好ましくは130〜160程度)に補正することができる。そして、この補正後の輝度の下で、ウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを作成する。
また、本発明によるひび割れ検出方法の他の実施の形態は、前記第3のステップと前記第4のステップの間において、ひび割れ画像に対して細線化処理をおこなってひび割れ細線化画像を作成する第6のステップ、該第6のステップで作成されたひび割れ細線化画像に対し、予め設定されたピクセル数以下の長さのひび割れから分岐した線をひび割れでないノイズと判定して除去するヒゲ削除処理をおこない、さらに、予め設定されたピクセル数以下の孤立した長さの線をひび割れでないノイズと判定して除去する輪郭線追跡処理をおこなう第7のステップをさらに含むものである。
第6のステップでは、ひび割れ画像に対して細線化処理をおこなってその中心線で構成されるひび割れ細線化画像を作成する。たとえばひび割れ全体が1ピクセル幅を有するひび割れ細線化画像が作成される。
そして、第6のステップで作成されたひび割れ細線化画像に対して二種類のノイズ除去処理を実行し、より一層精度の高いひび割れの特定をおこなう。たとえば、ひび割れから分岐した線のうち、5ピクセル程度以下の長さの線がひび割れでないことが本発明者等の経験則上分かっていることから、このような線をヒゲ(ノイズ)と特定し、ヒゲ削除処理をおこなう。すなわち、5ピクセル程度の長さを閾値に設定し、この閾値未満の長さの線をヒゲと特定して除去するものである。
また、輪郭線追跡処理は、ある任意の画素(ひび割れと判断されている画素)から出発して、隣接する画素がひび割れ箇所の場合には出発画素と接続し、さらに隣接する画素がひび割れ箇所の場合にはさらに双方を接続し、最終的に出発画素に閉合した場合(例えば、第1画素、第2画素、…、第n−1画素、第n画素、第1画素の順に接続される場合)や、次に繋がるひび割れ箇所が存在しなくなった場合に終了するものである。この輪郭線追跡処理によれば、ループ状に閉合するようなひび割れラインや、複数の屈曲部を備えて線状に伸びるひび割れラインなど、適宜のひび割れラインが作成されることになる。この際、繋げられる画素数の最小数を予め設定しておくことにより、この設定数以下の画素はすべてひび割れでないとして、画面のひび割れ表示から削除することができる。
ひび割れ細線化画像に対してノイズ除去処理をおこなった後に、第5のステップにおいて特定されているひび割れ幅の推定式を使用して第4のステップにてひび割れ幅の推定値を計算することにより、より一層高い精度でひび割れ幅を推定することが可能になる。
以上の説明から理解できるように、本発明のひび割れ検出方法によれば、入力画像においてひび割れ位置を指定した後に解析を実行することから、ひび割れ画像解析範囲を可及的に縮小することができるため、従来の方法に比して解析領域を大幅に縮小することができ、解析時間を大幅に短縮することが可能になり、ひび割れ検出の解析時間の短縮を図りながら、高精度のひび割れ検出をおこなうことができる。さらに、撮影画像の輝度を所定範囲に設定し、当該所定範囲の輝度の下で、ウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを作成し、これをひび割れ推定式としてひび割れ幅の推定値を計算することにより、ひび割れ特定対象のコンクリート表面にクラックスケールを貼り付ける方法の場合の課題を解消しながら、高い精度でひび割れ幅を推定することができる。
入力画像と局所領域の関係を示した模式図である。 局所領域と注目画素の関係を示した模式図である。 本発明のひび割れ検出方法の実施の形態1のフロー図である。 パスを付したひび割れを覆う面の作成方法を説明した図である。 擬似画像を示した図である。 図5の擬似画像のウェーブレット係数の鳥瞰図である。 ウェーブレット係数テーブルの一実施の形態を示した図である。 ウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを示した図である。 空間分解能とひび割れ推定グラフの傾きに関するグラフを示した図である。 空間分解能とひび割れ推定グラフの切片に関するグラフを示した図である。 本発明のひび割れ検出方法の実施の形態2のフロー図である。 (a)、(b)は空間分解能0.3のときのウェーブレット係数の閾値とひび割れ幅に関する座標系において輝度ごとのひび割れ推定グラフを示した図である。 (a)、(b)は空間分解能0.5のときのウェーブレット係数の閾値とひび割れ幅に関する座標系において輝度ごとのひび割れ推定グラフを示した図である。 (a)、(b)は空間分解能0.8のときのウェーブレット係数の閾値とひび割れ幅に関する座標系において輝度ごとのひび割れ推定グラフを示した図である。 (a)は元画像の平均輝度が83の場合のひび割れ長さ分布を示した図であり、(b)は平均輝度を140に補正した場合のひび割れ長さ分布を示した図であり、(c)は平均輝度を190に補正した場合のひび割れ長さ分布を示した図である。 (a)は元画像の平均輝度が117の場合のひび割れ長さ分布を示した図であり、(b)は平均輝度を140に補正した場合のひび割れ長さ分布を示した図であり、(c)は平均輝度を190に補正した場合のひび割れ長さ分布を示した図である。 (a)は元画像の平均輝度が162の場合のひび割れ長さ分布を示した図であり、(b)は平均輝度を190に補正した場合のひび割れ長さ分布を示した図である。
以下、図面を参照して本発明のひび割れ検出方法の実施の形態1,2を説明する。
(ひび割れ検出方法の実施の形態1)
図1は、入力画像と局所領域の関係を示した模式図である。本発明のひび割れ検出方法では、入力画像1における広域領域2の中心である局所領域3においてウェーブレット変換をおこない、当該局所領域3の中心でひび割れの検出をおこなうものである。入力画像1内でくまなく広域領域2を上下左右に平行移動して、入力画像1内におけるひび割れの検出をおこなう。この方法により、従来の固定閾値法のように、例えば入力画像1内で一つの閾値を決める方法に比べて、精度のよいひび割れの検出をおこなうことができる。
図2は、局所領域3を拡大した図であり、図示する実施形態では、たとえば3×3の9つの画素(8つの近傍画素31,31,…と、中央に位置する注目画素32)の中心でひび割れ判定をおこなう。なお、ウェーブレット係数の算定は、図1における局所領域3を対象としておこなわれる。
ここで、ウェーブレット関数(マザーウェーブレット関数)を用いたウェーブレット変換をおこなうことでウェーブレット係数を算定する算定式を以下に示す。
[数1]
[数2]
[数3]
ここで、f(x,y)は入力画像(ここで、x,yは2次元入力画像中の任意の座標である)を、Ψはマザーウェーブレット関数(ガボール関数)を、(x,y)はΨの平行移動量を、aはΨの拡大や縮小を(ここで、aは周波数の逆数であって、幾つかの周波数領域について計算するための周波数幅を整数kで示した値)、fは中心周波数を、σはガウス関数の標準偏差を、θは波の進行方向を表す回転角を、(x’,y’)は(x,y)を角度θだけ回転させた座標を、それぞれ示している。
ここで、数式1を用いて計算した複数のθ、kに対して、ウェーブレット係数Ψの累計値C(x,y)を求めたのが数式4となる。
[数4]
上記のパラメータは、任意に設定できるが、例えば、σを0.5〜2に、aは0〜5に、fは0.1に、回転角は0〜180度に、それぞれ設定できる。
数式4における平行移動量(x,y)は、注目画素の位置に対応するものであり、注目画素の位置を順次移動させることによって、ウェーブレット係数の連続量(C(x,y))が算定できる。
局所領域3を構成する全画素に対して、ウェーブレット係数を上算定式に基づいて算定した後、注目画素を一つ左右または上下に移動させてできる広域領域2の全画素において同様にウェーブレット係数を算定する。
次に、図3に基づいて、ひび割れ検出方法の実施の形態1を説明する。
CCDカメラ等のデジタルカメラで撮影されたコンクリート表面の撮影画像をコンピュータに取り込むことにより、入力画像の作成(ステップS10)がおこなわれる。
次に、入力画像においてひび割れと想定されるひび割れ想定線に沿ってパスを作成し、パスに付したひび割れを覆う面を作成してパス画像とする(ステップS20)。すなわち、解析者が予めひび割れ位置の指定をおこなう。
具体的には、図4で示すように、市販の画像編集ソフトを使用し、たとえば1ピクセルの線や面からなるパスを作成してパス画像とする。そして、パスに付したひび割れを覆う面は、たとえば1ピクセル幅の線からなるパスに対し、その左右両側1ピクセル幅もしくは2ピクセル幅を加えた3ピクセル幅もしくは5ピクセル幅からなる面である(以上、第1のステップ)。
次に、入力画像とは何らの関係もない、対比する2つの濃度からなる擬似画像に対して、ウェーブレット係数の算定をおこなう。例えば、図5に示すように、コンクリート表面と仮定される背景色a(例えば、背景色のR、G、Bを、255,255,255とする)と、ひび割れと仮定される線分b1〜b5からなる擬似画像のウェーブレット係数を求める。ここで、線分b1〜b5は、線幅が順に1ピクセル〜5ピクセルまで変化しており、さらに、各線分は、3種類の濃度を備えている(例えば、線分b1では、濃度の濃い順に、b11(黒色)、b12(薄い黒色)、b13(灰色)と変化している)。この擬似画像に対してウェーブレット変換をおこなうことで算定されるウェーブレット係数の鳥瞰図を示したのが図6である。図6において、X軸は線分の幅を、Y軸は線分の色の濃度を、Z軸はウェーブレット係数をそれぞれ示している。ひび割れ細線化画像におけるひび割れ上でウェーブレット係数が算定される(図3のステップS30)。
同時に、対比する2つの濃度の組み合わせをそれぞれ0〜255の256階調でおこなうことで、図7に示すようなウェーブレット係数テーブルの作成(図3のステップS30)がおこなわれる(以上、第2のステップ)。
次に、ウェーブレット係数テーブル内において局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数をウェーブレット係数に関する閾値とし、注目画素のウェーブレット係数が閾値よりも大きな場合は注目画素をひび割れと判定し(画面上では例えば白色)、小さな場合は注目画素をひび割れでないと判定し(画面上では例えば黒色)、局所領域および注目画素を変化させながら注目画素のウェーブレット係数と閾値との比較をおこなうことにより、ひび割れ画像が作成される(ステップS40、第3のステップ)。
図示するひび割れ検出方法の実施の形態1によれば、まず、入力画像においてひび割れ位置を指定した後に解析を実行することから、ひび割れ画像解析範囲を可及的に縮小することができるため、従来の方法に比して解析領域を大幅に縮小することができ、このことによって解析時間を大幅に短縮することが可能になる。
また、連続解析が可能となり、データの読み込み時間や書き出し時間の短縮も可能になる。
さらに、解析者が予めひび割れ位置を指定していることから、ひび割れ以外のものが解析対象になり難い。
また、ひび割れ検出方法の実施の形態1では、最後にひび割れ幅の推定値を計算する(ステップS50、第4のステップ)。
ここで、ひび割れ検出方法の実施の形態1では、第1のステップ〜第4のステップとは連続しない、ひび割れ幅の推定式を特定する別途のステップを備えている(ステップS60,第5のステップ)。そして、第4のステップにおいてひび割れ幅の推定値を計算する際には、既に第5のステップにて特定されているひび割れ幅の推定式を使用する。
この第5のステップにおいてひび割れ幅の推定式を特定する方法は、撮影画像の輝度を所定範囲に設定し、この所定範囲の輝度の下で、ウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを作成し、これをひび割れ推定式とするものである。
このひび割れ推定グラフについて図8〜10を参照して説明する。図8は、ウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを示した図であり、照度:3000lux、撮影角度:0度、色:灰色、背景明度:90のときの空間分解能をパラメータとしたひび割れ幅推定式である。また、図9は空間分解能とひび割れ推定グラフの傾きに関するグラフを示した図であり、図10は空間分解能とひび割れ推定グラフの切片に関するグラフを示した図である。なお、このときの輝度は196で一定値である。
図8で示すように、空間分解能が大きくなるにつれて、グラフの傾き、切片ともに大きくなる傾向にあることが特定されている。
図9,10で示す、ひび割れ推定グラフの傾きと切片は一例ではあるが、ここで特定されたひび割れ推定グラフの傾きと切片を用いて、ひび割れ推定式を以下のように特定することができる。
[数5]
w=(0.001×δ+0.00004)×(p)+(0.1145×δ+0.0214)
ここで、w:ひび割れ幅(mm)、δ:空間分解能(mm)、p:ウェーブレット係数の閾値である。
本発明者等によれば、撮影角度、照度、クラックスケールの背景(色と明度)は、撮影画像の輝度に影響することが特定されている。また、ひび割れ幅の推定式に関し、輝度と空間分解能との間に相関があること、撮影画像の輝度が130〜200においては、ひび割れ推定式のばらつきはほとんどないことが特定されている。
そこで、0(黒)〜255(白)までの範囲にある輝度のうち、たとえば100〜200程度の範囲を輝度の好ましい範囲(所定の範囲)に設定し、もしくは130〜160程度の範囲を輝度の望ましい範囲(所定の範囲)に設定し、この所定範囲の輝度の下でウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを作成し、このひび割れ推定グラフをひび割れ推定式とすることで、ひび割れ幅の推定精度を高くすることができる。
ひび割れ検出方法の実施の形態1によれば、ひび割れ特定対象のコンクリート表面にクラックスケールを貼り付け、クラックスケールの撮影画像に対してウェーブレット変換をおこなってひび割れ幅の推定式を特定する方法ではなく、撮影画像の空間分解能をパラメータとしてひび割れ幅の推定式を特定することから、ひび割れ特定対象のコンクリート表面にクラックスケールを貼り付ける際に生じ得る既述の様々な課題は生じ得ない。
(ひび割れ検出方法の実施の形態2)
図11は本発明のひび割れ検出方法の実施の形態2のフロー図である。
ひび割れ検出方法の実施の形態2は、ひび割れ画像の作成の後に、ひび割れ細線化画像を作成する(ステップS70,第6のステップ)。ひび割れ画像に対して細線化処理を実行することにより、その中心線で構成され、ひび割れ全体がたとえば1ピクセル幅を有するひび割れ細線化画像を作成する。
次に、作成されたひび割れ細線化画像に対して、二種類のノイズ除去処理を実行する。
まず、第6のステップで作成されたひび割れ細線化画像に対し、予め設定されたピクセル数以下の長さのひび割れから分岐した線をひび割れでないノイズと判定して除去するヒゲ削除処理をおこなう(ステップS80)。
5ピクセル程度以下の長さの線がひび割れでないことが本発明者等の経験則上分かっていることに基づき、たとえば、5ピクセル程度の長さを閾値に設定し、この閾値未満の長さの線をヒゲと特定して除去する。
次に、予め設定されたピクセル数以下の孤立した長さの線をひび割れでないノイズと判定して除去する輪郭線追跡処理をおこなう(ステップS90,以上、第7のステップ)。
輪郭線追跡処理は、ある任意の画素(ひび割れと判断されている画素)から出発して、隣接する画素がひび割れ箇所の場合には出発画素と接続し、さらに隣接する画素がひび割れ箇所の場合にはさらに双方を接続し、最終的に出発画素に閉合した場合(例えば、第1画素、第2画素、…、第n−1画素、第n画素、第1画素の順に接続される場合)や、次に繋がるひび割れ箇所が存在しなくなった場合に終了する。この輪郭線追跡処理では、ループ状に閉合するようなひび割れラインや、複数の屈曲部を備えて線状に伸びるひび割れラインなど、適宜のひび割れラインが作成される。この際、繋げられる画素数の最小数を所定の値に設定しておくことで、この設定数以下の画素はすべてひび割れでないとして、画面のひび割れ表示から削除する。
このように二種類のノイズ除去処理をおこなった後に、既に特定されているひび割れ幅の推定式を使用してひび割れ幅の推定値の計算をおこなうことにより、より一層高い精度でひび割れ幅を推定することができる。
ここで、この実施の形態2にかかる方法においては、第5のステップにおいて、撮影画像の輝度が所定範囲(たとえば輝度が100〜200の範囲)を逸脱している場合は輝度がこの所定範囲に入るように輝度の補正をおこなった後にひび割れ推定グラフを作成する(ステップS60’)。
本発明者等によれば、撮影画像の輝度がたとえば100未満と低い場合、画像の平均輝度を100〜200の範囲で、より好ましくは130〜160程度に補正することにより、ひび割れ長さの検出精度が向上することが特定されている。
(空間分解能を変化させた際の輝度によるひび割れ推定式の検証)
本発明者等は、空間解能を変化させた際の輝度によるひび割れ推定式を検証した。図12(a)、(b)は空間分解能0.3のときのウェーブレット係数の閾値とひび割れ幅に関する座標系において輝度ごとのひび割れ推定グラフを示した図であり、図13(a)、(b)は空間分解能0.5のときのウェーブレット係数の閾値とひび割れ幅に関する座標系において輝度ごとのひび割れ推定グラフを示した図であり、図14(a)、(b)は空間分解能0.8のときのウェーブレット係数の閾値とひび割れ幅に関する座標系において輝度ごとのひび割れ推定グラフを示した図である。
輝度が高く、空間分解能が大きいほど、ひび割れ推定式の傾きと切片が小さくなる傾向にあることが分かる。また、空間分解能が同様のとき、輝度が131〜160のときと191〜220のときのひび割れ推定式のばらつきは小さいため、輝度が131〜220までの画像データの場合、分解能ごとのひび割れ推定式を用いることが可能であることが分かる。
(輝度と検出されるひび割れの長さに関する検証)
本発明者等はさらに、複数の輝度の下でのひび割れ推定式を用いて、検出されるひび割れ長さを特定する検証をおこなった。具体的には、平均輝度が83のケース、117のケース、162のケースで検証をおこない、各ケースともに平均輝度を130〜220の範囲に補正した後のひび割れ推定式を用いても検証をおこなっている。図15(a)は元画像の平均輝度が83の場合のひび割れ長さ分布を示した図であり、図15(b)は平均輝度を140に補正した場合のひび割れ長さ分布を示した図であり、図15(c)は平均輝度を190に補正した場合のひび割れ長さ分布を示した図である。また、図16(a)は元画像の平均輝度が117の場合のひび割れ長さ分布を示した図であり、図16(b)は平均輝度を140に補正した場合のひび割れ長さ分布を示した図であり、図16(c)は平均輝度を190に補正した場合のひび割れ長さ分布を示した図である。さらに、図17(a)は元画像の平均輝度が162の場合のひび割れ長さ分布を示した図であり、図17(b)は平均輝度を190に補正した場合のひび割れ長さ分布を示した図である。
平均輝度83のケースにおいて、クラックスケール解析:輝度235、分解能0.49、ひび割れ推定式(w=0.0009p+0.0741、p:ウェーブレット関数の閾値、w:ひび割れ幅)を使用した。
図15より、元画像の平均輝度が80程度であれば、輝度を140程度に補正することでひび割れ幅が大きく検出される傾向にあることが分かる。輝度を190程度に補正すると全体的に検出されるひび割れ長さが短くなる。これは、輝度が大きすぎるとひび割れがホワイトアウトするためであると考えられる。
次に、平均輝度117のケースにおいて、クラックスケール解析:輝度239、分解能0.59、ひび割れ推定式(w=0.00105p+0.09961、p:ウェーブレット関数の閾値、w:ひび割れ幅)を使用した。
図16より、元画像の平均輝度が120程度であれば、輝度を140程度に補正することでひび割れ幅が大きく検出される傾向にあることが分かる。輝度を190程度に補正すると全体的に検出されるひび割れ長さが短くなる。これは、輝度が大きすぎるとひび割れがホワイトアウトするためと考えられる。
次に、平均輝度162のケースにおいて、クラックスケール解析:輝度215、分解能0.56、ひび割れ推定式(w=0.001046p+0.027002、p:ウェーブレット関数の閾値、w:ひび割れ幅)を使用した。
図17より、元画像の平均輝度が160程度であれば、輝度を補正してもひび割れ長さの分布への影響がほとんどないことが分かる。
以上、本発明の実施の形態を、図面を用いて詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
1…入力画像、2…広域領域、3…局所領域、31…近傍画素、32…注目画素

Claims (3)

  1. コンクリート表面に生じているひび割れの検出をおこなうひび割れ検出方法であって、
    ひび割れ検出対象であるコンクリート表面の撮影画像をコンピュータに入力して入力画像とし、該入力画像においてひび割れと想定されるひび割れ想定線に沿ってパスを作成し、該パスに付したひび割れを覆う面を作成してパス画像とする第1のステップ、
    対比される2つの濃度に対応したウェーブレット係数を算定するとともに、該2つの濃度をそれぞれ変化させた際のウェーブレット係数を算定してウェーブレット係数テーブルを作成し、前記パス画像におけるひび割れ上でウェーブレット係数を計算する第2のステップ、
    前記ウェーブレット係数テーブル内において局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数をウェーブレット係数に関する閾値とし、注目画素のウェーブレット係数が前記閾値よりも大きな場合は注目画素をひび割れと判定し、小さな場合は注目画素をひび割れでないと判定し、局所領域および注目画素を変化させながら注目画素のウェーブレット係数と前記閾値との比較をおこなうことでひび割れ画像を作成する第3のステップ、
    ひび割れ幅の推定値を計算する第4のステップ、を備えるひび割れ検出方法において、
    前記ひび割れ検出方法は、第1のステップ〜第4のステップとは連続しない、ひび割れ幅の推定式を特定する第5のステップをさらに備えており、
    前記第5のステップは、前記撮影画像の輝度を所定範囲に設定し、当該所定範囲の輝度の下で、ウェーブレット係数の閾値とひび割れ幅に関する座標系において空間分解能ごとのひび割れ推定グラフを作成し、これをひび割れ推定式とする、ひび割れ検出方法。
  2. 前記第5のステップにおいて、前記撮影画像の輝度が前記所定範囲を逸脱している場合は輝度が該所定範囲に入るように輝度の補正をおこない、前記ひび割れ推定グラフを作成する請求項1に記載のひび割れ検出方法。
  3. 前記第3のステップと前記第4のステップの間において、ひび割れ画像に対して細線化処理をおこなってひび割れ細線化画像を作成する第6のステップ、該第6のステップで作成されたひび割れ細線化画像に対し、予め設定されたピクセル数以下の長さのひび割れから分岐した線をひび割れでないノイズと判定して除去するヒゲ削除処理をおこない、さらに、予め設定されたピクセル数以下の孤立した長さの線をひび割れでないノイズと判定して除去する輪郭線追跡処理をおこなう第7のステップをさらに含む、請求項1または2に記載のひび割れ検出方法。
JP2017020389A 2017-02-07 2017-02-07 ひび割れ検出方法 Active JP6823486B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017020389A JP6823486B2 (ja) 2017-02-07 2017-02-07 ひび割れ検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017020389A JP6823486B2 (ja) 2017-02-07 2017-02-07 ひび割れ検出方法

Publications (2)

Publication Number Publication Date
JP2018128309A true JP2018128309A (ja) 2018-08-16
JP6823486B2 JP6823486B2 (ja) 2021-02-03

Family

ID=63172408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017020389A Active JP6823486B2 (ja) 2017-02-07 2017-02-07 ひび割れ検出方法

Country Status (1)

Country Link
JP (1) JP6823486B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197477A (zh) * 2019-05-07 2019-09-03 北京邮电大学 路面裂缝检测的方法、装置及系统
CN110332890A (zh) * 2019-07-24 2019-10-15 四川建筑职业技术学院 一种基于北斗定位的基坑边坡变形实时监测仪及方法
CN114708226A (zh) * 2022-04-01 2022-07-05 南通蓝城机械科技有限公司 一种基于光照影响的铜管内壁裂纹检测方法
CN116008074A (zh) * 2022-12-23 2023-04-25 扬州市职业大学(扬州开放大学) 一种混凝土性能测试装置及方法
CN116758075A (zh) * 2023-08-18 2023-09-15 深圳市智祥源科技有限公司 基于人工智能的吹风机电机运行故障检测方法
CN117078233A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种基于路网养护综合评价指标的养护决策方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04120495A (ja) * 1990-09-12 1992-04-21 Taisei Corp トンネル前方地質判定システム
JPH05334432A (ja) * 1992-06-04 1993-12-17 Matsushita Electric Ind Co Ltd 細線画像整形方法
JP2010121992A (ja) * 2008-11-18 2010-06-03 Taisei Corp ひび割れ検出方法
WO2011152445A1 (ja) * 2010-06-04 2011-12-08 株式会社アイテス 太陽電池パネルのel検査装置、及びel検査方法
CN103745477A (zh) * 2014-01-22 2014-04-23 汕头大学 基于机器视觉的建筑结构裂缝检测及修复方法
WO2016031229A1 (ja) * 2014-08-27 2016-03-03 パナソニックIpマネジメント株式会社 道路地図作成システム、データ処理装置および車載装置
JP2016170042A (ja) * 2015-03-12 2016-09-23 阪神高速技術株式会社 ひび割れ検出方法及びひび割れ検出プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04120495A (ja) * 1990-09-12 1992-04-21 Taisei Corp トンネル前方地質判定システム
JPH05334432A (ja) * 1992-06-04 1993-12-17 Matsushita Electric Ind Co Ltd 細線画像整形方法
JP2010121992A (ja) * 2008-11-18 2010-06-03 Taisei Corp ひび割れ検出方法
WO2011152445A1 (ja) * 2010-06-04 2011-12-08 株式会社アイテス 太陽電池パネルのel検査装置、及びel検査方法
CN103745477A (zh) * 2014-01-22 2014-04-23 汕头大学 基于机器视觉的建筑结构裂缝检测及修复方法
WO2016031229A1 (ja) * 2014-08-27 2016-03-03 パナソニックIpマネジメント株式会社 道路地図作成システム、データ処理装置および車載装置
JP2016170042A (ja) * 2015-03-12 2016-09-23 阪神高速技術株式会社 ひび割れ検出方法及びひび割れ検出プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197477A (zh) * 2019-05-07 2019-09-03 北京邮电大学 路面裂缝检测的方法、装置及系统
CN110332890A (zh) * 2019-07-24 2019-10-15 四川建筑职业技术学院 一种基于北斗定位的基坑边坡变形实时监测仪及方法
CN114708226A (zh) * 2022-04-01 2022-07-05 南通蓝城机械科技有限公司 一种基于光照影响的铜管内壁裂纹检测方法
CN116008074A (zh) * 2022-12-23 2023-04-25 扬州市职业大学(扬州开放大学) 一种混凝土性能测试装置及方法
CN116008074B (zh) * 2022-12-23 2024-03-29 扬州市职业大学(扬州开放大学) 一种混凝土性能测试装置及方法
CN116758075A (zh) * 2023-08-18 2023-09-15 深圳市智祥源科技有限公司 基于人工智能的吹风机电机运行故障检测方法
CN116758075B (zh) * 2023-08-18 2023-11-24 深圳市智祥源科技有限公司 基于人工智能的吹风机电机运行故障检测方法
CN117078233A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种基于路网养护综合评价指标的养护决策方法
CN117078233B (zh) * 2023-10-17 2024-03-26 深圳市城市交通规划设计研究中心股份有限公司 一种基于路网养护综合评价指标的养护决策方法

Also Published As

Publication number Publication date
JP6823486B2 (ja) 2021-02-03

Similar Documents

Publication Publication Date Title
JP6823486B2 (ja) ひび割れ検出方法
JP5421192B2 (ja) ひび割れ検出方法
JP4006007B2 (ja) ひび割れ検出方法
JP6620477B2 (ja) コンクリートのひび割れ検出方法及び検出プログラム
JP5385593B2 (ja) ひび割れ検出方法
JP6099479B2 (ja) ひび割れ検出方法
JP5705711B2 (ja) ひび割れ検出方法
JP5175528B2 (ja) トンネル覆工のひび割れ検査装置
JP5812705B2 (ja) ひび割れ検出方法
JP5852919B2 (ja) ひび割れ検出方法
JP4870016B2 (ja) ひび割れ検出方法
CN113109368A (zh) 玻璃裂纹检测方法、装置、设备及介质
JP7008409B2 (ja) ひび割れ検出方法
JP7008408B2 (ja) ひび割れ検出方法
US9972095B2 (en) Image measuring apparatus and non-temporary recording medium on which control program of same apparatus is recorded
JP6199799B2 (ja) 自発光材料画像処理装置及び自発光材料画像処理方法
JPH0961138A (ja) ひび割れ抽出装置
KR101733028B1 (ko) 영상대조에 따른 에지 변위량 예측 방법
JP4980739B2 (ja) ひび割れ検出方法
JP5157575B2 (ja) 欠陥検出方法
JP6637823B2 (ja) ひび割れ検出方法
JP2006337167A (ja) 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法
JP6909090B2 (ja) コンクリート表面上の損傷部の定量評価方法、定量評価装置、定量評価システム及びプログラム
JP6897448B2 (ja) 線幅推定プログラム、装置、及び方法
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170704

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210108

R150 Certificate of patent or registration of utility model

Ref document number: 6823486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150