JP2018185552A - Image analysis apparatus, image analysis method, and program - Google Patents
Image analysis apparatus, image analysis method, and program Download PDFInfo
- Publication number
- JP2018185552A JP2018185552A JP2017085040A JP2017085040A JP2018185552A JP 2018185552 A JP2018185552 A JP 2018185552A JP 2017085040 A JP2017085040 A JP 2017085040A JP 2017085040 A JP2017085040 A JP 2017085040A JP 2018185552 A JP2018185552 A JP 2018185552A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- processing unit
- processing
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像解析装置および画像解析方法、ならびにプログラムに関する。 The present invention relates to an image analysis apparatus, an image analysis method, and a program.
トンネルや橋梁などの構造物の多くの保守点検は、これまで、目視検査を中心に行われてきた。しかしながら、目視検査は、客観性に乏しく、検査精度は、検査員の技量に頼ってしまう部分が多い。また、目視確認するには、検査員が直接現場に行き、検査範囲全域を確認する必要があるため、検査には時間がかかり、また、頻繁に行うことが困難となる。 Many maintenance inspections of structures such as tunnels and bridges have so far been centered on visual inspection. However, visual inspection has poor objectivity, and inspection accuracy often depends on the skill of the inspector. In addition, in order to visually confirm, it is necessary for an inspector to go directly to the site and confirm the entire inspection range, so that the inspection takes time and it is difficult to perform it frequently.
そこで、従来、トンネルや橋梁などの構造物の写真または映像を撮影し、その画像を解析することにより、構造物の保守点検に役立てようとした技術がある。（例えば、非特許文献１）。 In view of this, there has conventionally been a technique for taking a photograph or video of a structure such as a tunnel or a bridge and analyzing the image so as to be useful for maintenance and inspection of the structure. (For example, Non-Patent Document 1).
しかしながら、非特許文献１に記載の従来の画像処理技術では、最適な検出結果を得るためには、多くのパラメータをチューニングする必要があり、画像解析者の経験やノウハウが必要であった。また、異なる時期に撮影した画像は、その時の撮影状態により、例えば、解析する画像の全体的な輝度等が異なる可能性があるため、最適な結果を得るためには、画像解析のパラメータをその都度調整する必要があった。 However, in the conventional image processing technique described in Non-Patent Document 1, in order to obtain an optimum detection result, it is necessary to tune many parameters, and experience and know-how of an image analyst are necessary. Also, images taken at different times may differ in, for example, the overall brightness of the image to be analyzed, depending on the shooting state at that time. It was necessary to adjust each time.
例えば、図１８に示されるトンネル内部壁面の画像から、壁面のひび割れ部分を検出したい場合、図１９に示されるようにひび割れの箇所のみを抽出したいのであるが、従来の画像処理技術では、コンクリートの平面に対して、主に、輝度の低い部分を抽出する処理が行われるため、図２０に示されるように、例えば、トンネル内のケーブル、コンクリートの継ぎ目、または、汚れなど、目視では容易にひび割れと区別可能な部分が、ひび割れ部分とともに、画像解析結果として抽出されてしまう。また、異なる時期に撮影した画像は、その時の撮影状態により、解析する画像の全体的な輝度等が異なるので、例えば、暗い場所で撮像された画像では、ひび割れとして認識するべき個所の一部分が抽出されにくくなるなど、解析結果が異なる可能性があり、同部分の経時変化を比較するために用いることは困難となる。 For example, when it is desired to detect a cracked portion of the wall surface from the image of the inner wall surface of the tunnel shown in FIG. 18, it is desired to extract only the cracked portion as shown in FIG. Since a process of extracting a low-luminance portion is mainly performed on a flat surface, as shown in FIG. 20, for example, a cable in a tunnel, a joint of a concrete, or dirt is easily cracked visually. And a portion that can be distinguished from each other are extracted as an image analysis result together with a cracked portion. Also, images taken at different times differ in overall brightness of the image to be analyzed depending on the shooting state at that time, so for example, in an image taken in a dark place, a part of the part that should be recognized as a crack is extracted. The analysis results may be different, such as being less likely to be used, and it is difficult to use them to compare changes over time in the same part.
そこで、本発明は、上記課題を解決すること、すなわち、所望の形状を画像から正確に抽出することができる、画像解析装置および画像解析方法、ならびにプログラムを提供することを目的とする。 Accordingly, an object of the present invention is to solve the above-described problems, that is, to provide an image analysis apparatus, an image analysis method, and a program that can accurately extract a desired shape from an image.
上記課題を解決するために、本発明の画像解析装置の第１の側面は、画像データを区分分割する区分分割手段と、ディープラーニングの手法による抽出対象物の特徴量の機械学習結果を有し、機械学習結果に基づいて、区分分割手段により分割された画像データの区分ごとに、区分が抽出対象物である確率を算出する画像識別手段と、画像識別手段により算出された、区分ごとの抽出対象物である確率を画素値に変換する識別結果変換手段と、識別結果変換手段により変換された画素値を有する画像に画像処理を行う画像処理手段とを備えることを特徴とする。 In order to solve the above-described problem, a first aspect of the image analysis apparatus of the present invention includes a segmentation unit for segmenting image data and a machine learning result of a feature amount of an extraction object by a deep learning technique. Based on the machine learning result, for each segment of the image data divided by the segment dividing unit, an image identifying unit that calculates a probability that the segment is an extraction object, and an extraction for each segment calculated by the image identifying unit An identification result conversion unit that converts a probability of an object into a pixel value, and an image processing unit that performs image processing on an image having a pixel value converted by the identification result conversion unit.
本発明の画像解析装置の他の側面は、画像処理手段は、区分分割手段により分割された画像データに画像処理を行い、画像識別手段は、画像処理手段により画像処理された画像データに対して、画像データの区分ごとに、抽出対象物である確率を算出することを特徴とする。 In another aspect of the image analysis apparatus of the present invention, the image processing means performs image processing on the image data divided by the division dividing means, and the image identification means performs processing on the image data image-processed by the image processing means. The probability of being an extraction object is calculated for each category of image data.
本発明の画像解析装置の他の側面は、画像処理手段は、画像データに膨張処理を行うことを特徴とする。 Another aspect of the image analysis apparatus of the present invention is characterized in that the image processing means performs an expansion process on the image data.
本発明の画像解析装置の他の側面は、画像処理手段は、画像データにノイズ除去処理を行うことを特徴とする。 Another aspect of the image analysis apparatus of the present invention is characterized in that the image processing means performs noise removal processing on the image data.
また、本発明の画像解析方法の一側面は、画像データを区分分割する区分分割ステップと、ディープラーニングの手法による抽出対象物の特徴量の機械学習結果に基づいて、区分分割ステップの処理により分割された画像データの区分ごとに、区分が抽出対象物である確率を算出する画像識別ステップと、画像識別ステップの処理により算出された、区分ごとの抽出対象物である確率を画素値に変換する識別結果変換ステップと、識別結果変換ステップの処理により変換された画素値を有する画像に画像処理を行う画像処理ステップとを含むことを特徴とする。 Further, according to one aspect of the image analysis method of the present invention, a segmentation step for segmenting image data and a segmentation step process based on a machine learning result of a feature amount of an extraction target by a deep learning technique. An image identification step for calculating a probability that the classification is an extraction target for each segment of the image data that has been processed, and a probability of being an extraction target for each classification calculated by the processing of the image identification step is converted into a pixel value. An identification result conversion step; and an image processing step of performing image processing on an image having a pixel value converted by the processing of the identification result conversion step.
また、本発明のプログラムの一側面は、画像データを区分分割する区分分割ステップと、ディープラーニングの手法による抽出対象物の特徴量の機械学習結果に基づいて、区分分割ステップの処理により分割された画像データの区分ごとに、区分が抽出対象物である確率を算出する画像識別ステップと、画像識別ステップの処理により算出された、区分ごとの抽出対象物である確率を画素値に変換する識別結果変換ステップと、識別結果変換ステップの処理により変換された画素値を有する画像に画像処理を行う画像処理ステップとを含むことを特徴とする。 In addition, one aspect of the program of the present invention is divided by the processing of the segmentation step based on the segmentation step of segmenting image data and the machine learning result of the feature amount of the extraction target by the deep learning technique. An image identification step for calculating the probability that the category is an extraction target for each category of image data, and an identification result obtained by converting the probability of being an extraction target for each category calculated by the processing of the image identification step into a pixel value A conversion step; and an image processing step for performing image processing on an image having a pixel value converted by the processing of the identification result conversion step.
本発明によれば、所望の形状を画像から正確に抽出することができる。 According to the present invention, a desired shape can be accurately extracted from an image.
以下、本発明の一実施の形態の画像解析装置について、図１〜図１７を参照しながら説明する。 Hereinafter, an image analysis apparatus according to an embodiment of the present invention will be described with reference to FIGS.
図１は、画像解析装置１が有する機能について説明するための機能ブロック図である。 FIG. 1 is a functional block diagram for explaining the functions of the image analysis apparatus 1.
画像解析装置１は、画像データ取得部１１、操作入力情報取得部１２、画像データ分割処理部１３、画像識別処理部１４、識別結果変換処理部１５、画像処理部１６、出力処理部１７、および、記憶部１８を含んで構成されている。 The image analysis apparatus 1 includes an image data acquisition unit 11, an operation input information acquisition unit 12, an image data division processing unit 13, an image identification processing unit 14, an identification result conversion processing unit 15, an image processing unit 16, an output processing unit 17, and The storage unit 18 is included.
画像データ取得部１１は、例えば、デジタルスチルカメラ、ラインセンサカメラ等により撮像された、検査対象物の画像データを取得し、画像データ分割処理部１３に供給する。 The image data acquisition unit 11 acquires image data of an inspection target imaged by, for example, a digital still camera or a line sensor camera, and supplies the acquired image data to the image data division processing unit 13.
操作入力情報取得部１２は、入力部２から入力される、ユーザの操作入力を取得し、画像データ分割処理部１３、画像識別処理部１４、識別結果変換処理部１５、画像処理部１６、および、出力処理部１７の各部に、ユーザの操作入力に対応する情報を供給する。 The operation input information acquisition unit 12 acquires a user operation input input from the input unit 2, and receives an image data division processing unit 13, an image identification processing unit 14, an identification result conversion processing unit 15, an image processing unit 16, and Information corresponding to the user's operation input is supplied to each unit of the output processing unit 17.
画像データ分割処理部１３は、画像データ取得部１１から供給された画像データを区分分割し、所定の大きさの正方形のセルとして、画像識別処理部１４、または、画像処理部１６に供給する。画像データ分割処理部１３により分割されるセルの大きさは、ユーザにより指定可能である。画像データ分割処理部１３は、区分分割手段に対応する。また、セルは、区分分割手段により分割された区分に対応する。なお、セルは、画像データ分割処理部１３により分割された区分に対応する所定の大きさの画像領域であり、例えば、縦６４画素×横６４画素のように正方形の領域で構成されるようにしてもよいし、縦横のサイズの異なる長方形の領域で構成されるようにしてもよい。 The image data division processing unit 13 divides and divides the image data supplied from the image data acquisition unit 11 and supplies the image data to the image identification processing unit 14 or the image processing unit 16 as square cells having a predetermined size. The size of the cell divided by the image data division processing unit 13 can be specified by the user. The image data division processing unit 13 corresponds to a division division unit. The cell corresponds to the segment divided by the segment dividing means. Note that a cell is an image area having a predetermined size corresponding to a section divided by the image data division processing unit 13, and is configured to be a square area such as 64 pixels by 64 pixels. Alternatively, it may be configured by rectangular regions having different vertical and horizontal sizes.
画像識別処理部１４は、ディープラーニング（Deep learning）の手法を用いた抽出対象物の学習結果をすでに有しており、供給された画像データから抽出対象物の特徴量を発見する。例えば、トンネル、枕木、高架橋、スラブなどのコンクリート構造物のひび割れの多くの画像から、ディープラーニングの手法を用いたひび割れの特徴量の学習を行った画像識別処理部１４は、供給された画像データから抽出対象物であるひび割れを識別することが可能である。 The image identification processing unit 14 already has the learning result of the extraction object using the deep learning technique, and finds the feature amount of the extraction object from the supplied image data. For example, the image identification processing unit 14 that has learned the feature amount of cracks using a deep learning method from many images of cracks in concrete structures such as tunnels, sleepers, viaducts, slabs, etc. It is possible to identify cracks that are extraction objects.
ディープラーニングとは、人間の脳の神経細胞のネットワーク（ニューラルネットワーク）を模倣したものであり、ニューラルネットワーク（多層ネットワーク）の層を深くすることによって、画像や音声などに含まれる特徴量を学習結果に基づいて発見することが可能な情報処理技術である。従来の、画像や音声等の認識・識別技術では、ユーザが特徴量を設定し、その後、その特徴量を基に分類アルゴリズムにかけて、抽出対象物が分類されていたが、ディープラーニングを用いて、画像識別処理部１４に機械学習を行わせることにより、ユーザによる特徴量の設定を必要とすることなく、抽出対象物を抽出することが可能である。画像識別処理部１４は、画像データ分割処理部１３、または、画像処理部１６から供給された画像データを構成するそれぞれのセルが抽出対象物である確率を算出し、識別結果変換処理部１５に供給する。画像識別処理部１４は、画像識別手段に対応する。 Deep learning is an imitation of a neural cell network (neural network) in the human brain. By deepening the layers of the neural network (multilayer network), learning results of features included in images and voices are learned. It is an information processing technology that can be discovered based on this. In the conventional recognition / identification technology such as image and sound, the user sets the feature value, and then the extraction target is classified by applying a classification algorithm based on the feature value, but using deep learning, By causing the image identification processing unit 14 to perform machine learning, it is possible to extract an extraction object without requiring setting of a feature amount by a user. The image identification processing unit 14 calculates the probability that each cell constituting the image data supplied from the image data division processing unit 13 or the image processing unit 16 is an extraction target, and sends it to the identification result conversion processing unit 15. Supply. The image identification processing unit 14 corresponds to an image identification unit.
識別結果変換処理部１５は、画像識別処理部１４から供給された、画像データを構成するそれぞれのセルが抽出対象物である確率を後述する方法によって画素値に変換し、各セルをその変換された画素値に応じた画像データを生成し、画像処理部１６に供給する。識別結果変換処理部１５は、例えば、図２に示されるトーンカーブ（または、ルックアップテーブル）を参照し、それぞれのセルが対象物である確率（０％から１００％）を、０から２５５の値を有する画素値に変換する。例えば、抽出対象物であるセルの確率が１００％であった場合には図２のトーンカーブに基づいて画素値を２５５に変換する。図２においては、トーンカーブを２種類記載したが、トーンカーブの形状はこの限りではないことは言うまでもない。識別結果変換処理部１５は、識別結果変換手段に対応する。 The identification result conversion processing unit 15 converts the probability that each cell constituting the image data supplied from the image identification processing unit 14 is an extraction object into a pixel value by a method described later, and each cell is converted. Image data corresponding to the obtained pixel value is generated and supplied to the image processing unit 16. The identification result conversion processing unit 15 refers to, for example, the tone curve (or look-up table) shown in FIG. 2, and sets the probability (0% to 100%) that each cell is an object from 0 to 255. Convert to pixel value with value. For example, if the probability of a cell that is an extraction target is 100%, the pixel value is converted to 255 based on the tone curve of FIG. Although two types of tone curves are shown in FIG. 2, it is needless to say that the shape of the tone curve is not limited to this. The identification result conversion processing unit 15 corresponds to an identification result conversion unit.
画像処理部１６は、識別結果変換処理部１５から供給された、各セルの画素値が抽出対象物である確率を示す画像データに対して、または、画像データ分割処理部１３から供給された、区分分割されたセル画像データに対して、例えば、閾値などを用いたノイズ除去、膨張処理、クロージング処理、骨格線抽出処理などの、トンネル検査者の知見を反映した画像処理を実行し、処理後の画像データを、画像識別処理部１４、または、出力処理部１７に供給する。画像処理部１６は、画像処理手段に対応する。 The image processing unit 16 is supplied from the identification result conversion processing unit 15 to the image data indicating the probability that the pixel value of each cell is an extraction target or supplied from the image data division processing unit 13. Perform image processing that reflects the knowledge of the tunnel inspector, such as noise removal using a threshold, expansion processing, closing processing, skeleton line extraction processing, etc. Is supplied to the image identification processing unit 14 or the output processing unit 17. The image processing unit 16 corresponds to an image processing unit.
ここで、画像データ分割処理部１３によりセルに分割された画像データは、画像識別処理部１４および画像処理部１６のうちのどちらで先に処理をされるものであっても構わない。また、画像データ分割処理部１３によりセルに分割された画像データは、画像識別処理部１４または画像処理部１６において、複数回処理されるものであっても構わない。画像解析装置１においては、入力部２により入力されたユーザの操作入力に基づいて、入力される画像データおよび抽出対象物の特徴に適するように、画像識別処理部１４および画像処理部１６における処理の順序および回数を設定することが可能である。 Here, the image data divided into cells by the image data division processing unit 13 may be processed first by either the image identification processing unit 14 or the image processing unit 16. The image data divided into cells by the image data division processing unit 13 may be processed a plurality of times in the image identification processing unit 14 or the image processing unit 16. In the image analysis apparatus 1, processing in the image identification processing unit 14 and the image processing unit 16 is performed based on the user's operation input input by the input unit 2 so as to be suitable for the input image data and the characteristics of the extraction target. It is possible to set the order and the number of times.
出力処理部１７は、画像処理部１６から供給された処理後の画像データを、出力部３に供給して出力させたり、記憶部１８に供給して記憶させる。また、出力処理部１７は、記憶部１８に記憶されている処理後の画像データを読み出し、出力部３に供給して出力させる。 The output processing unit 17 supplies the processed image data supplied from the image processing unit 16 to the output unit 3 for output, or supplies it to the storage unit 18 for storage. Further, the output processing unit 17 reads out the processed image data stored in the storage unit 18, supplies it to the output unit 3 and outputs it.
記憶部１８は、内蔵された記憶媒体、または、装着されたリムーバブル記憶媒体に、出力処理部１７から供給された処理後の画像データを記憶する。 The storage unit 18 stores the processed image data supplied from the output processing unit 17 in a built-in storage medium or a mounted removable storage medium.
画像解析装置１においては、画像識別処理部１４において識別された、画像データを構成するそれぞれのセルが抽出対象物である確率を、識別結果変換処理部１５において、画像データに変換し、その画像データを処理することにより、抽出対象物を検出することができる。したがって、異なる時期に撮影した画像の全体的な輝度等が異なる場合であっても、解析結果はその影響を受けることがなく、同部分の経時変化を比較する場合に用いて好適である。 In the image analysis apparatus 1, the identification result conversion processing unit 15 converts the probability that each cell constituting the image data identified by the image identification processing unit 14 is an extraction object into image data, and the image By processing the data, the extraction object can be detected. Therefore, even when the overall brightness of images taken at different times is different, the analysis result is not affected by this, and is suitable for comparing changes over time in the same part.
次に、図３のフローチャートを参照して、画像解析装置１が実行する処理の一例として、トンネルのひび割れの多くの画像から、ディープラーニングの手法を用いたひび割れの特徴量の学習を行った画像識別処理部１４を備える画像解析装置１が実行する画像解析処理１について説明する。 Next, referring to the flowchart of FIG. 3, as an example of processing executed by the image analysis apparatus 1, an image obtained by learning a crack feature amount using a deep learning method from many images of a tunnel crack The image analysis process 1 executed by the image analysis apparatus 1 including the identification processing unit 14 will be described.
ステップＳ１において、画像データ取得部１１は、例えば、図４に示されるような、解析する対象となる画像データを取得し、画像データ分割処理部１３に供給する。 In step S <b> 1, the image data acquisition unit 11 acquires image data to be analyzed as shown in FIG. 4, for example, and supplies the acquired image data to the image data division processing unit 13.
ステップＳ２において、画像データ分割処理部１３は、解析する画像データを区分分割し、画像識別処理部１４に供給する。区分分割された１セルの大きさは、解析する画像データの種類や抽出対象物によってユーザが設定可能であってもよい。１つのセルは、解析する画像データを、例えば、縦６４画素×横６４画素のように正方形で構成されるようにしてもよいし、縦横のサイズの異なる長方形で構成されるようにしてもよい。また、１つのセルは、例えば、実際のトンネル壁面の１ｃｍ四方を１セルにしてもよいし、５ｃｍ四方を１セルにしてもよい。つまり、単位画素あたりの画像解像度を自由に設定することが可能である。 In step S <b> 2, the image data division processing unit 13 divides the image data to be analyzed and supplies it to the image identification processing unit 14. The size of one divided cell may be set by the user depending on the type of image data to be analyzed and the extraction target. One cell may be configured such that the image data to be analyzed is composed of squares such as 64 pixels × 64 pixels, or may be composed of rectangles having different vertical and horizontal sizes. . In addition, one cell may be, for example, 1 cm square of the actual tunnel wall surface or 1 cell of 5 cm square. That is, the image resolution per unit pixel can be set freely.
ステップＳ３において、図５を用いて後述する画像識別処理が実行される。 In step S3, an image identification process described later with reference to FIG. 5 is executed.
ステップＳ４において、識別結果変換処理部１５は、画像識別処理による識別結果、すなわち、画像識別処理部１４により算出された、それぞれのセルが抽出対象物である確率を、例えば、図２を用いて説明したトーンカーブに基づいて、画素値に変換し、画像処理部１６に供給する。 In step S4, the identification result conversion processing unit 15 uses the identification result obtained by the image identification processing, that is, the probability that each cell is an extraction target calculated by the image identification processing unit 14, for example, using FIG. Based on the described tone curve, the pixel value is converted and supplied to the image processing unit 16.
ステップＳ５において、図６を用いて後述する従来型画像処理１が実行される。 In step S5, conventional image processing 1 described later with reference to FIG. 6 is executed.
ステップＳ６において、出力処理部１７は、画像処理部１６から供給された処理後の画像解析結果を記憶部１８に供給する。記憶部１８は、供給された画像解析結果を記憶する。また、出力処理部１７は、画像処理部１６から供給された処理後の画像解析結果を出力部３に供給して出力させ、処理が終了される。 In step S <b> 6, the output processing unit 17 supplies the processed image analysis result supplied from the image processing unit 16 to the storage unit 18. The storage unit 18 stores the supplied image analysis result. Further, the output processing unit 17 supplies the processed image analysis result supplied from the image processing unit 16 to the output unit 3 for output, and the processing ends.
このような処理により、画像データを構成するそれぞれのセルが抽出対象物である確率が、画像データに変換され、その画像データを用いて、抽出対象物が検出されるので、画像の全体的な輝度等が異なる場合であっても、解析結果はその影響を受けることがない。また、このようにして得られた対象物の抽出結果には、例えば、トンネル内のケーブル、コンクリートの継ぎ目、または、汚れなど、目視では容易にひび割れと区別可能な部分が、ひび割れ部分とともに抽出されてしまうことがなく、目視の確認に近い解析結果を得ることが可能となる。 By such processing, the probability that each cell constituting the image data is the extraction target is converted into the image data, and the extraction target is detected using the image data. Even if the brightness is different, the analysis result is not affected. In addition, in the extraction result of the object obtained in this way, for example, a part that can be easily distinguished from a crack, such as a cable in a tunnel, a joint of concrete, or dirt, is extracted together with the crack part. Therefore, it is possible to obtain an analysis result close to visual confirmation.
次に、図５のフローチャートを参照して、図３のステップＳ３において実行される画像識別処理について説明する。 Next, the image identification process executed in step S3 of FIG. 3 will be described with reference to the flowchart of FIG.
ステップＳ１１において、画像識別処理部１４は、操作入力情報取得部１２から供給されるユーザの操作入力に基づいて、識別するべきターゲットの指定を受ける。ここでは、画像識別処理部１４は、識別するべきターゲットとして、ひび割れの指定を受ける。 In step S <b> 11, the image identification processing unit 14 receives designation of a target to be identified based on a user operation input supplied from the operation input information acquisition unit 12. Here, the image identification processing unit 14 receives designation of a crack as a target to be identified.
ステップＳ１２において、画像識別処理部１４は、学習結果に基づいて、ターゲットの識別処理を実行する。 In step S <b> 12, the image identification processing unit 14 executes target identification processing based on the learning result.
ステップＳ１３において、画像識別処理部１４は、ステップＳ１２の処理による識別結果に基づいて、セルごとに、ターゲットに含まれる画素の画素値が抽出対象である確率を算出して、識別結果変換処理部１５に供給し、処理は、図３のステップＳ４に戻る。 In step S13, the image identification processing unit 14 calculates, for each cell, the probability that the pixel value of the pixel included in the target is an extraction target based on the identification result obtained in step S12, and the identification result conversion processing unit. 15 and the process returns to step S4 of FIG.
このような処理により、画像識別処理部１４は、ディープラーニングの手法を用いて、例えば、トンネル、枕木、高架橋、スラブなどのコンクリート構造物のひび割れの多くの画像から得た、ひび割れの特徴量の学習結果に基づいて、ユーザによる特徴量の設定を必要とすることなく、ケーブル等に対応する部分を排除して、抽出対象物を抽出することが可能である。 By such processing, the image identification processing unit 14 uses the deep learning technique, for example, of the feature amount of cracks obtained from many images of cracks in concrete structures such as tunnels, sleepers, viaducts, and slabs. Based on the learning result, it is possible to extract the extraction object by eliminating the part corresponding to the cable or the like without requiring the user to set the feature amount.
次に、図６のフローチャートを参照して、図３のステップＳ５において実行される従来型画像処理１について説明する。 Next, the conventional image processing 1 executed in step S5 of FIG. 3 will be described with reference to the flowchart of FIG.
ステップＳ２１において、画像処理部１６は、識別結果変換処理部１５から供給された画素値を有するセル画像データ、すなわち、セル画像の画素値が抽出対象物である確率を示す画像データに対して、所定の閾値以下の画素値を有するセル画像の画素値を０とする。識別結果変換処理部１５から供給された画像データが、例えば、図７に示されるような、ひび割れである確率が高いセルが画素値の高いドットで示され、ひび割れである確率が低いセルが画素値の低いドットで示されている画像データであり、画素値の７０％を閾値として、それ以下の画素値を有するセルについては、画素値を０とした場合、図８に示されるように、例えば、ひび割れの特徴と近い特徴を有している汚れ等などによるノイズ成分がある程度除去された画像データが得られる。 In step S21, the image processing unit 16 applies to the cell image data having the pixel value supplied from the identification result conversion processing unit 15, that is, the image data indicating the probability that the pixel value of the cell image is the extraction target. A pixel value of a cell image having a pixel value equal to or less than a predetermined threshold is set to 0. In the image data supplied from the identification result conversion processing unit 15, for example, as shown in FIG. 7, a cell having a high probability of being a crack is indicated by a dot having a high pixel value, and a cell having a low probability of being a crack is a pixel. As shown in FIG. 8, when the pixel data is image data represented by dots having a low value and the pixel value is 0 for a cell having a pixel value equal to or less than 70% of the pixel value, For example, image data from which noise components due to dirt or the like having characteristics close to the characteristics of cracks are removed to some extent can be obtained.
ステップＳ２２において、画像処理部１６は、ステップ２１の処理により画素値ありとなったドットの面積を広げる膨張処理を実行する。この処理により、図８に示された画像のうち、ひび割れが途切れているように検出されている部分が、図９に示されるように、連続性のある線分として表される。 In step S <b> 22, the image processing unit 16 performs an expansion process for expanding the area of the dot that has a pixel value in the process of step 21. As a result of this processing, the portion of the image shown in FIG. 8 that is detected as having cracks broken is represented as a continuous line segment, as shown in FIG.
ステップＳ２３において、画像処理部１６は、ステップＳ２２の処理により得られた画像データから、連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去する。この処理により、図９に示された画像データのうち、特に早急な保守が必要でない微小なひび割れや、ステップＳ２１の処理によって削除できなかったノイズ成分が除去され、図１０に示されるような画像データを得ることができる。 In step S23, the image processing unit 16 detects the length of continuous pixels from the image data obtained by the processing in step S22, and removes a component having a length equal to or less than a predetermined threshold. This process removes minute cracks that do not require particularly urgent maintenance from the image data shown in FIG. 9 and noise components that could not be deleted by the process in step S21. As shown in FIG. Data can be obtained.
ステップＳ２４において、画像処理部１６は、ステップＳ２３の処理により得られた画像データのエッジ部分を滑らかにするクロージング処理を実行する。この処理により、図１０に示された画像データから、図１１に示されるような画像データを得ることができる。 In step S24, the image processing unit 16 executes a closing process for smoothing the edge portion of the image data obtained by the process in step S23. By this processing, image data as shown in FIG. 11 can be obtained from the image data shown in FIG.
ステップＳ２５において、画像処理部１６は、ステップＳ２４の処理により得られた画像データに対して、骨格線抽出処理を実行することにより、ステップＳ２２の膨張処理により膨張された、ひび割れに対応する部分を、元のひび割れに近い形状に戻して、図１２に示されるような画像データを得ることができる。 In step S25, the image processing unit 16 performs a skeleton line extraction process on the image data obtained by the process of step S24, thereby extracting a portion corresponding to the crack expanded by the expansion process of step S22. By returning to the shape close to the original crack, image data as shown in FIG. 12 can be obtained.
ステップＳ２６において、画像処理部１６は、ステップＳ２５の処理により得られた画像データの連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去する。この処理により、図１２に示された画像データのうち、特に早急な保守が必要でない微小なひび割れや、ステップＳ２１およびステップＳ２３の処理によって削除できなかったノイズ成分が除去され、図１３に示されるような画像データを得ることができる。ステップＳ２６の処理の終了後、処理は、図３のステップＳ６に戻る。 In step S26, the image processing unit 16 detects the length of continuous pixels of the image data obtained by the processing in step S25, and removes a component having a length equal to or less than a predetermined threshold. This process removes minute cracks that do not require particularly immediate maintenance from the image data shown in FIG. 12, and noise components that could not be deleted by the processes in steps S21 and S23, and are shown in FIG. Such image data can be obtained. After the process of step S26 ends, the process returns to step S6 of FIG.
このような処理により、画像処理部１６は、識別結果変換処理部１５から供給され、各ドットの画素値が抽出対象物である確率を示す画像データに対して、従来行われていた画像処理をさらに行うことにより、ディープラーニングの手法を用いた抽出対象物の学習結果を有している識別器による画像識別結果よりも精度良く、検出するべき対象物を抽出することが可能となる。 Through such processing, the image processing unit 16 performs image processing that has been conventionally performed on image data supplied from the identification result conversion processing unit 15 and indicating the probability that the pixel value of each dot is an extraction target. By further performing, it is possible to extract the object to be detected with higher accuracy than the image identification result by the classifier having the learning result of the extraction object using the deep learning technique.
例えば、ディープラーニングの手法を用いた抽出対象物の学習結果を有している識別器に、図４に示される検査画像を入力した場合、識別器による画像識別結果は、図１４に示されるように、ケーブルやコンクリートの継ぎ目部分は除去されているが、ひび割れが連続していないように検出されたり、ひび割れの特徴量に近いノイズ成分が残ってしまう場合があった。 For example, when the inspection image shown in FIG. 4 is input to the discriminator having the learning result of the extraction object using the deep learning method, the image discrimination result by the discriminator is as shown in FIG. In addition, although the seam portion of the cable and concrete has been removed, there are cases in which cracks are detected not to be continuous or a noise component close to the feature amount of the cracks remains.
これに対して、図１４に示される抽出結果を出力可能な識別器と同等の能力を有する画像識別処理部１４を用いて検出された、それぞれのセルが抽出対象物である確率を、識別結果変換処理部１５により画像データに変換し、トンネル検査者の知見を反映した画像処理機能を有する画像処理部１６によって処理した場合、図１５に示されるように、ひび割れが連続し、ひび割れの特徴量に近いノイズ成分が除去された抽出結果を得ることが可能となる。このようにして、画像解析装置１を用いて、目視の確認に近い解析結果を得ることが可能となる。 On the other hand, the probability that each cell is an extraction target detected using the image identification processing unit 14 having the same capability as the classifier capable of outputting the extraction result shown in FIG. When the image data is converted into image data by the conversion processing unit 15 and processed by the image processing unit 16 having an image processing function that reflects the knowledge of the tunnel inspector, as shown in FIG. It is possible to obtain an extraction result from which a noise component close to is removed. In this way, an analysis result close to visual confirmation can be obtained using the image analysis apparatus 1.
また、トンネル、枕木、高架橋、スラブなどのコンクリート構造物の保守点検を行う現場では、保守点検時に、チョークを用いて、健全度を示すα、β、γなどの文字や、ひび割れの幅が何ミリであるかをその場所に記載するチョーキングと称される作業が実施される。例えば、デジタルスチルカメラ、ラインセンサカメラ等により撮像された、検査対象物の画像データから、チョークで記載された文字や記号などを、画像処理を用いて高精度に検出する技術が求められる。 In addition, at the site where maintenance inspections of concrete structures such as tunnels, sleepers, viaducts, and slabs are used, the characters such as α, β, and γ that indicate soundness and the width of cracks are used during maintenance inspections. An operation called choking is performed, which describes whether it is a millimeter or not. For example, there is a need for a technique for detecting characters and symbols written in chalk with high accuracy from image data of an inspection target imaged by a digital still camera, a line sensor camera, or the like.
すなわち、画像解析装置１の画像識別処理部１４に、ディープラーニングの手法を用いて多くの対応する手書き文字を学習させ、抽出対象物の特徴量を機械学習させることにより、ユーザによる特徴量の設定を必要とすることなく、抽出対象物である、例えば、α、β、γ、および、ｍｍなどの所定の手書き文字を抽出することが可能となる。しかしながら、チョークの文字等が、例えば、風雨により一部欠落してしまった場合、画像識別処理部１４においては、一部欠落してしまった部分を有する文字等を正しく抽出することが困難となる恐れがある。 That is, the image identification processing unit 14 of the image analysis apparatus 1 learns many corresponding handwritten characters using a deep learning method and causes the feature amount of the extraction target to be machine-learned, thereby setting the feature amount by the user. For example, it is possible to extract predetermined handwritten characters such as α, β, γ, and mm that are extraction objects. However, when some characters such as chalk are missing due to, for example, wind and rain, it is difficult for the image identification processing unit 14 to correctly extract characters or the like that have a portion missing. There is a fear.
このような場合、認識対象の画像データが画像識別処理部１４に供給される前に、トンネル検査者の知見を反映した画像処理機能を有する画像処理部１６によって、一部欠落してしまった部分を補うような画像処理を行うと好適である。 In such a case, a part that has been partially lost by the image processing unit 16 having an image processing function reflecting the knowledge of the tunnel inspector before the image data to be recognized is supplied to the image identification processing unit 14. It is preferable to perform image processing to compensate for the above.
次に、図１６のフローチャートを参照して、画像解析装置１が実行する処理の他の例として、トンネル検査者の知見を反映した画像処理機能を有する画像処理部１６によって画像処理された画像データに対して、画像識別処理部１４による抽出対象の検出を実行させる画像解析処理２について説明する。 Next, referring to the flowchart of FIG. 16, as another example of processing executed by the image analysis apparatus 1, image data image-processed by the image processing unit 16 having an image processing function reflecting the knowledge of the tunnel inspector. In contrast, an image analysis process 2 that causes the image identification processing unit 14 to detect an extraction target will be described.
ステップＳ３１において、画像データ取得部１１は、解析する画像データを取得し、画像データ分割処理部１３に供給する。 In step S <b> 31, the image data acquisition unit 11 acquires image data to be analyzed and supplies it to the image data division processing unit 13.
ステップＳ３２において、画像データ分割処理部１３は、解析する画像データを区分分割し、画像処理部１６に供給する。 In step S <b> 32, the image data division processing unit 13 segments the image data to be analyzed and supplies it to the image processing unit 16.
ステップＳ３３において、図１７を用いて後述する従来型画像処理２が実行される。 In step S33, conventional image processing 2 described later with reference to FIG. 17 is executed.
ステップＳ３４において、図５を用いて説明した画像識別処理が実行される。 In step S34, the image identification process described with reference to FIG. 5 is executed.
ステップＳ３５において、識別結果変換処理部１５は、画像識別処理による識別結果、すなわち、画像識別処理部１４により算出された、それぞれのセルが抽出対象物である確率を、例えば、図２を用いて説明したトーンカーブに基づいて、画素値に変換し、画像処理部１６に供給する。 In step S35, the identification result conversion processing unit 15 uses the identification result obtained by the image identification processing, that is, the probability that each cell calculated by the image identification processing unit 14 is an extraction target, for example, using FIG. Based on the described tone curve, the pixel value is converted and supplied to the image processing unit 16.
ステップＳ３６において、図６を用いて説明した従来型画像処理１が実行される。 In step S36, the conventional image processing 1 described with reference to FIG. 6 is executed.
ステップＳ３７において、出力処理部１７は、画像処理部１６から供給された処理後の画像解析結果を記憶部１８に供給する。記憶部１８は、供給された画像解析結果を記憶する。また、出力処理部１７は、画像処理部１６から供給された処理後の画像解析結果を、出力部３に供給して出力させ、処理が終了される。 In step S <b> 37, the output processing unit 17 supplies the processed image analysis result supplied from the image processing unit 16 to the storage unit 18. The storage unit 18 stores the supplied image analysis result. Further, the output processing unit 17 supplies the output image analysis result supplied from the image processing unit 16 to the output unit 3 for output, and the processing ends.
次に、図１７のフローチャートを参照して、図１６のステップＳ３３において実行される従来型画像処理２について説明する。 Next, the conventional image processing 2 executed in step S33 of FIG. 16 will be described with reference to the flowchart of FIG.
ステップＳ４１において、画像処理部１６は、画像データ分割処理部１３から供給された、区分分割された画像データの各セルを１ドットとした画像に対して、画素値を有するドットの面積を広げる膨張処理を実行する。この処理により、チョークで書かれた文字等が途切れている部分が、連続性のある線分として表される。 In step S <b> 41, the image processing unit 16 expands the area of dots having pixel values with respect to the image supplied from the image data division processing unit 13 with each cell of the segmented image data as one dot. Execute the process. As a result of this processing, a portion where characters written in chalk are interrupted is represented as a continuous line segment.
ステップＳ４２において、画像処理部１６は、ステップＳ４１の処理により得られた画像データから、連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去する。この処理により、ノイズ成分が除去される。 In step S42, the image processing unit 16 detects the length of continuous pixels from the image data obtained by the processing in step S41, and removes a component having a length equal to or less than a predetermined threshold. By this process, the noise component is removed.
ステップＳ４３において、画像処理部１６は、ステップＳ４２の処理により得られた画像データのエッジ部分を滑らかにするクロージング処理を実行する。 In step S43, the image processing unit 16 executes a closing process for smoothing the edge portion of the image data obtained by the process in step S42.
ステップＳ４４において、画像処理部１６は、ステップＳ４３の処理により得られた画像データから、連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去して、ノイズ成分を除去し、処理は、図１６のステップＳ３４に戻る。 In step S44, the image processing unit 16 detects the length of the continuous pixels from the image data obtained by the processing in step S43, removes a component having a length equal to or less than a predetermined threshold, and generates a noise component. And the process returns to step S34 in FIG.
このような処理により、認識対象の画像データが画像識別処理部１４に供給される前に、トンネル検査者の知見を反映した画像処理によって、チョーキングによる手書き文字の一部が欠落してしまった場合においても、欠落してしまった部分を補うことができる。図１７を用いて説明した従来型画像処理２の終了後、ステップＳ３４において、図５を用いて説明した画像識別処理が実行されて、抽出対象物である、チョークの手書き文字である確率が、セルごとに求められ、ステップＳ３５において、チョークの手書き文字である確率が画素値に変換される。そして、ステップＳ３６において、図６を用いて説明した従来型画像処理１が実行されて、精度良く、チョークの手書き文字を抽出することが可能となる。 By such a process, when the image data to be recognized is supplied to the image identification processing unit 14, a part of the handwritten characters due to choking is lost due to the image processing reflecting the knowledge of the tunnel inspector. Also, the missing part can be compensated. After the conventional image processing 2 described with reference to FIG. 17 is finished, in step S34, the image identification processing described with reference to FIG. It is obtained for each cell, and in step S35, the probability of being a chalk handwritten character is converted into a pixel value. In step S36, the conventional image processing 1 described with reference to FIG. 6 is executed, and the chalk handwritten characters can be extracted with high accuracy.
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
１…画像解析装置、 ２…入力部、 ３…出力部、 １１…画像データ取得部、 １２…操作入力情報取得部、 １３…画像データ分割処理部、 １４…画像識別処理部、 １５…識別結果変換処理部、 １６…画像処理部、 １７…出力処理部、 １８…記憶部 DESCRIPTION OF SYMBOLS 1 ... Image analysis apparatus, 2 ... Input part, 3 ... Output part, 11 ... Image data acquisition part, 12 ... Operation input information acquisition part, 13 ... Image data division | segmentation process part, 14 ... Image identification process part, 15 ... Identification result Conversion processing unit, 16 ... image processing unit, 17 ... output processing unit, 18 ... storage unit
Claims (6)
前記画像データを区分分割する区分分割手段と、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果を有し、前記機械学習結果に基づいて、前記区分分割手段により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別手段と、
前記画像識別手段により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換手段と、
前記識別結果変換手段により変換された前記画素値を有する画像に画像処理を行う画像処理手段と
を備えることを特徴とする画像解析装置。 In an image analysis device for extracting an extraction object from image data,
A partitioning means for partitioning the image data;
For each of the classifications of the image data divided by the classification division unit, the classification is extracted based on the machine learning result of the feature amount of the extraction object by a deep learning method. Image identifying means for calculating the probability of being an object;
Identification result conversion means for converting the probability of being the extraction target for each of the categories, calculated by the image identification means, into a pixel value;
An image analysis device comprising: image processing means for performing image processing on an image having the pixel value converted by the identification result conversion means.
前記画像処理手段は、前記区分分割手段により分割された前記画像データに画像処理を行い、
前記画像識別手段は、前記画像処理手段により画像処理された前記画像データに対して、前記画像データの前記区分ごとに、前記抽出対象物である確率を算出する
ことを特徴とする画像解析装置。 The image analysis apparatus according to claim 1,
The image processing means performs image processing on the image data divided by the division dividing means,
The image analysis device, wherein the image identification unit calculates a probability of being the extraction target for each of the sections of the image data with respect to the image data image-processed by the image processing unit.
前記画像処理手段は、前記画像データに膨張処理を行う
ことを特徴とする画像解析装置。 In the image analysis apparatus according to claim 1 or 2,
The image analysis device, wherein the image processing means performs expansion processing on the image data.
前記画像処理手段は、前記画像データにノイズ除去処理を行う
ことを特徴とする画像解析装置。 In the image analysis device according to any one of claims 1 to 3,
The image analysis device, wherein the image processing means performs a noise removal process on the image data.
前記画像データを区分分割する区分分割ステップと、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと
を含むことを特徴とする画像解析方法。 An image analysis method of an image analysis apparatus for extracting an extraction object from image data,
A partitioning step for partitioning the image data;
Based on the machine learning result of the feature amount of the extraction object by the deep learning method, for each of the classifications of the image data divided by the processing of the division division step, the probability that the classification is the extraction target is calculated. An image identification step to calculate;
An identification result conversion step of converting the probability of being the extraction target for each of the sections, calculated by the processing of the image identification step, into a pixel value;
And an image processing step of performing image processing on the image having the pixel value converted by the processing of the identification result conversion step.
前記画像データを区分分割する区分分割ステップと、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと
を含むことを特徴とするプログラム。 A program for causing a computer to execute processing for extracting an extraction object from image data,
A partitioning step for partitioning the image data;
Based on the machine learning result of the feature amount of the extraction object by the deep learning method, for each of the classifications of the image data divided by the processing of the division division step, the probability that the classification is the extraction target is calculated. An image identification step to calculate;
An identification result conversion step of converting the probability of being the extraction target for each of the sections, calculated by the processing of the image identification step, into a pixel value;
An image processing step of performing image processing on an image having the pixel value converted by the processing of the identification result conversion step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017085040A JP2018185552A (en) | 2017-04-24 | 2017-04-24 | Image analysis apparatus, image analysis method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017085040A JP2018185552A (en) | 2017-04-24 | 2017-04-24 | Image analysis apparatus, image analysis method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018185552A true JP2018185552A (en) | 2018-11-22 |
Family
ID=64355957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017085040A Pending JP2018185552A (en) | 2017-04-24 | 2017-04-24 | Image analysis apparatus, image analysis method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018185552A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020095017A (en) * | 2018-12-07 | 2020-06-18 | キヤノン株式会社 | Information processing device, control method thereof, program, and storage medium |
| JP2020101843A (en) * | 2018-12-19 | 2020-07-02 | キヤノン株式会社 | Image processing system, image processing method, and image processing apparatus |
| JP2020128941A (en) * | 2019-02-08 | 2020-08-27 | 株式会社大道産業 | Device, method, and program for detecting foreign matter |
| JP2020160748A (en) * | 2019-03-26 | 2020-10-01 | 株式会社熊谷組 | Filling rate calculation system for concrete surface and filling rate calculation method |
| JP2020201758A (en) * | 2019-06-11 | 2020-12-17 | キヤノン株式会社 | Information processor, information processing method, and program |
| JP2021018082A (en) * | 2019-07-17 | 2021-02-15 | 株式会社大道産業 | Detection device of foreign matter |
| JP2021035019A (en) * | 2019-08-29 | 2021-03-01 | 京セラドキュメントソリューションズ株式会社 | Image processing apparatus, image processing method, and image processing program |
| WO2020123303A3 (en) * | 2018-12-10 | 2021-03-04 | Voxeleron, LLC | System and method for obtaining measurements from imaging data |
| JP2021147845A (en) * | 2020-03-18 | 2021-09-27 | 大日本コンサルタント株式会社 | Evaluation method for load resisting performance of concrete structures |
| KR20220106592A (en) * | 2021-01-22 | 2022-07-29 | 주식회사 아이디스 | Apparatus and method for analyzing fisheye camera image |
| JP7179128B1 (en) | 2021-07-06 | 2022-11-28 | アルインコ株式会社 | Wireless communication device and wireless communication system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002204444A (en) * | 2001-10-31 | 2002-07-19 | Toshiba Corp | Person supervisory system |
| JP2014006222A (en) * | 2012-06-27 | 2014-01-16 | Railway Technical Research Institute | Method and apparatus for detecting change of concrete surface |
-
2017
- 2017-04-24 JP JP2017085040A patent/JP2018185552A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002204444A (en) * | 2001-10-31 | 2002-07-19 | Toshiba Corp | Person supervisory system |
| JP2014006222A (en) * | 2012-06-27 | 2014-01-16 | Railway Technical Research Institute | Method and apparatus for detecting change of concrete surface |
Non-Patent Citations (2)
| Title |
|---|
| LEI ZHANG, ET AL.: "Road crack detection using deep convolutional neural network", 2016 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), JPN6020039343, 28 September 2016 (2016-09-28), ISSN: 0004504079 * |
| 石原 賢太，外３名: "畳み込みニューラルネットワークを用いた地下鉄トンネルにおける変状検出に関する検討", 電子情報通信学会技術研究報告 ＶＯＬ．１１６ ＮＯ．４６４, vol. 第116巻, JPN6020039342, 20 February 2017 (2017-02-20), JP, pages 81 - 86, ISSN: 0004504078 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020095017A (en) * | 2018-12-07 | 2020-06-18 | キヤノン株式会社 | Information processing device, control method thereof, program, and storage medium |
| JP7305509B2 (en) | 2018-12-07 | 2023-07-10 | キヤノン株式会社 | Information processing device, its control method, program, and storage medium |
| WO2020123303A3 (en) * | 2018-12-10 | 2021-03-04 | Voxeleron, LLC | System and method for obtaining measurements from imaging data |
| US20220028066A1 (en) * | 2018-12-10 | 2022-01-27 | Voxeleron, LLC | System and method for obtaining measurements from imaging data |
| JP2020101843A (en) * | 2018-12-19 | 2020-07-02 | キヤノン株式会社 | Image processing system, image processing method, and image processing apparatus |
| JP7262993B2 (en) | 2018-12-19 | 2023-04-24 | キヤノン株式会社 | Image processing system, image processing method, image processing apparatus |
| JP7248284B2 (en) | 2019-02-08 | 2023-03-29 | 株式会社大道産業 | Foreign matter detection device, foreign matter detection method, and foreign matter detection program |
| JP2020128941A (en) * | 2019-02-08 | 2020-08-27 | 株式会社大道産業 | Device, method, and program for detecting foreign matter |
| JP2020160748A (en) * | 2019-03-26 | 2020-10-01 | 株式会社熊谷組 | Filling rate calculation system for concrete surface and filling rate calculation method |
| JP7301569B2 (en) | 2019-03-26 | 2023-07-03 | 株式会社熊谷組 | Concrete Surface Filling Rate Calculation System and Filling Rate Calculation Method |
| JP2020201758A (en) * | 2019-06-11 | 2020-12-17 | キヤノン株式会社 | Information processor, information processing method, and program |
| JP7336268B2 (en) | 2019-06-11 | 2023-08-31 | キヤノン株式会社 | Information processing device, information processing method and program |
| JP2021018082A (en) * | 2019-07-17 | 2021-02-15 | 株式会社大道産業 | Detection device of foreign matter |
| JP7262766B2 (en) | 2019-07-17 | 2023-04-24 | 株式会社大道産業 | foreign object detector |
| JP7282314B2 (en) | 2019-08-29 | 2023-05-29 | 京セラドキュメントソリューションズ株式会社 | Image processing device, image processing method and image processing program |
| JP2021035019A (en) * | 2019-08-29 | 2021-03-01 | 京セラドキュメントソリューションズ株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP7244022B2 (en) | 2020-03-18 | 2023-03-22 | 大日本コンサルタント株式会社 | Evaluation method of load-bearing performance of concrete structures |
| JP2021147845A (en) * | 2020-03-18 | 2021-09-27 | 大日本コンサルタント株式会社 | Evaluation method for load resisting performance of concrete structures |
| KR102472602B1 (en) * | 2021-01-22 | 2022-11-30 | 주식회사 아이디스 | Apparatus and method for analyzing fisheye camera image |
| KR20220106592A (en) * | 2021-01-22 | 2022-07-29 | 주식회사 아이디스 | Apparatus and method for analyzing fisheye camera image |
| JP2023008600A (en) * | 2021-07-06 | 2023-01-19 | アルインコ株式会社 | Radio communication apparatus and radio communication system |
| JP7179128B1 (en) | 2021-07-06 | 2022-11-28 | アルインコ株式会社 | Wireless communication device and wireless communication system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018185552A (en) | Image analysis apparatus, image analysis method, and program | |
| KR102121958B1 (en) | Method, system and computer program for providing defect analysis service of concrete structure | |
| CN110678901B (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
| JP5645730B2 (en) | Method for detecting closed cracks on concrete surface | |
| EP2905724A3 (en) | Object detection system and method | |
| JP2023139099A (en) | Learning data collecting apparatus, learning data collecting method, and program | |
| KR102346676B1 (en) | Method for creating damage figure using the deep learning-based damage image classification of facility | |
| JP6811217B2 (en) | Crack identification method, crack identification device, crack identification system and program on concrete surface | |
| JP2019020220A (en) | Image processing apparatus, image processing method, and program | |
| JP2016223815A (en) | Deterioration diagnostic system and deterioration diagnostic method | |
| KR102559586B1 (en) | Structural appearance inspection system and method using artificial intelligence | |
| JP2012202859A (en) | Method of detecting deformed area on concrete surface | |
| JP5705711B2 (en) | Crack detection method | |
| JP4870016B2 (en) | Crack detection method | |
| Rivera et al. | Automated detection and measurement of cracks in reinforced concrete components | |
| JPWO2018025336A1 (en) | Deterioration detection device, deterioration detection method, and program | |
| US20180293425A1 (en) | Symbol Detection for Desired Image Reconstruction | |
| JP6980208B2 (en) | Structure maintenance work support system | |
| JP2020037356A (en) | Overhead wire abrasion inspection device | |
| CN109063708B (en) | Industrial image feature identification method and system based on contour extraction | |
| JP2008276613A (en) | Mobile body determination device, computer program and mobile body determination method | |
| CN110824451A (en) | Processing method and device of radar echo map, computer equipment and storage medium | |
| JP6516384B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM | |
| Khalifa et al. | A new image model for predicting cracks in sewer pipes based on time | |
| KR102221317B1 (en) | Inspection apparatus and method based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20170511 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210518 |