JP2022176681A - Acquisition method and acquisition system of image data - Google Patents

Acquisition method and acquisition system of image data Download PDF

Info

Publication number
JP2022176681A
JP2022176681A JP2021083227A JP2021083227A JP2022176681A JP 2022176681 A JP2022176681 A JP 2022176681A JP 2021083227 A JP2021083227 A JP 2021083227A JP 2021083227 A JP2021083227 A JP 2021083227A JP 2022176681 A JP2022176681 A JP 2022176681A
Authority
JP
Japan
Prior art keywords
image data
photographing
estimation
estimation model
illuminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021083227A
Other languages
Japanese (ja)
Other versions
JP7281500B2 (en
Inventor
弘幸 三枝
Hiroyuki Saegusa
亮太 夏坂
Ryota Natsusaka
英幸 浅田
Hideyuki Asada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toa Corp
Original Assignee
Toa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toa Corp filed Critical Toa Corp
Priority to JP2021083227A priority Critical patent/JP7281500B2/en
Publication of JP2022176681A publication Critical patent/JP2022176681A/en
Application granted granted Critical
Publication of JP7281500B2 publication Critical patent/JP7281500B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

To provide an acquisition method and an acquisition system of image data which can stably acquire image data that does not reduce estimation accuracy by an estimation model when acquiring the image data used for the estimation model generated by using image data processing.SOLUTION: In each imaging step in which image data used for generation and use of an estimation model is imaged and acquired by an imaging device 2, an object G and at least an image acquisition part 2a of an imaging device 2 are arranged in a storage part 3 having a light shielding property, the illuminance to the object G is set to be same and the imaging background specification is set to be the same by using illumination means 4 that illuminates the inside of the storage part 3 in a state where the external light of the storage part 3 is shielded, each image data that is acquired is stored in a calculation part 7.SELECTED DRAWING: Figure 2

Description

本発明は、画像データ処理を使用して生成される推定モデルに用いられる画像データの取得方法および取得システムに関し、さらに詳しくは、推定モデルによる推定精度を低下させることがない画像データを安定して取得できる画像データの取得方法および取得システムに関するものである。 TECHNICAL FIELD The present invention relates to a method and system for acquiring image data used in an estimation model generated using image data processing, and more particularly, to stably acquiring image data without degrading the estimation accuracy of the estimation model. The present invention relates to an acquisition method and an acquisition system for obtainable image data.

近年、AI技術が著しく発達し、例えばディープラーニングなどの様々な機械学習の手法を用いて生成された推定モデルを利用して所望の様々な推定が行われている。コンピュータプログラムの一種である推定モデルには、多数の画像データを学習データ(教師データ)として用いて生成されるものがある(例えば、特許文献1、2参照)。 In recent years, AI technology has developed remarkably, and various desired estimations are performed using estimation models generated using various machine learning techniques such as deep learning. Some estimation models, which are a type of computer program, are generated using a large number of image data as learning data (teaching data) (see Patent Documents 1 and 2, for example).

画像データはデジタルカメラなどの撮影装置を用いた撮影によって取得される。屋内の整った環境では撮影条件を一定にして画像データを取得することが容易である。一方、屋外などでは、外光の強さや向きの変化、周囲物体の存在などに起因して撮影条件を一定にすることが難しく、画像データには不要な光や周辺物体が写り込んで外乱要因(ノイズ)が含まれることがある。画像データに含まれる外乱要因は、画像データが本来意図している情報ではない。そのため、外乱要因を含んだ画像データと、外乱要因を含んでいない画像データとを用いて生成された推定モデルを利用して推定を行うと、この外乱要因の有無に起因して推定精度が低下するリスクがある。 Image data is acquired by photographing using a photographing device such as a digital camera. In a well-equipped indoor environment, it is easy to obtain image data under constant imaging conditions. Outdoors, on the other hand, it is difficult to maintain constant shooting conditions due to changes in the intensity and direction of the outside light, the presence of surrounding objects, and other factors. (noise) may be included. The disturbance factor included in the image data is not the information originally intended by the image data. Therefore, if estimation is performed using an estimation model generated using image data that includes disturbance factors and image data that does not include disturbance factors, the estimation accuracy will decrease due to the presence or absence of these disturbance factors. there is a risk of

また、画像データを用いて生成された推定モデルに、推定対象となる画像データを入力して推定を行う場合、推定対象となる画像データ(即ち、推定モデルを使用する際に用いられる画像データ)に外乱要因が含まれていると、この外乱要因の有無に起因して推定精度が低下するリスクがある。推定モデルの生成に用いられる画像データと、推定モデルを使用する際に用いられる画像データとが異なる場所で取得される場合、例えば一方の画像データが屋内、他方の画像データが屋外で取得される場合には、それぞれの場所での撮影条件が大きく乖離することがある。これに伴い、画像データに含まれる外乱要因に起因して推定精度が低下するリスクがより大きくなる。それ故、推定モデルによる推定精度を低下させることがない画像データを安定して取得するには改善の余地がある。 In addition, when performing estimation by inputting image data to be estimated into an estimation model generated using image data, image data to be estimated (that is, image data used when using the estimation model) contains a disturbance factor, there is a risk that the estimation accuracy will decrease due to the presence or absence of this disturbance factor. When the image data used for generating the estimation model and the image data used when using the estimation model are acquired at different locations, for example, one image data is acquired indoors and the other image data is acquired outdoors. In some cases, the shooting conditions at each location may deviate greatly. Along with this, there is a greater risk of deterioration in estimation accuracy due to disturbance factors contained in image data. Therefore, there is room for improvement in stably acquiring image data without lowering the estimation accuracy of the estimation model.

特開2013-242825号公報JP 2013-242825 A 特開2020-85856号公報JP 2020-85856 A

本発明の目的は、画像データ処理を使用して生成される推定モデルに用いられる画像データを取得するに際して、推定モデルによる推定精度を低下させることがない画像データを安定して取得できる画像データの取得方法および取得システムを提供することにある。 An object of the present invention is to provide image data that can stably obtain image data that does not reduce the estimation accuracy of an estimation model when obtaining image data used in an estimation model that is generated using image data processing. It is to provide an acquisition method and an acquisition system.

上記目的を達成するため本発明の画像データの取得方法は、推定モデルの生成および使用に用いられる画像データを撮影装置によって撮影して取得するそれぞれの撮影工程で、それぞれの前記画像データの対象物および前記撮影装置の少なくとも画像取得部を、遮光性を有する収容部の内部に配置し、前記収容部の外部の光を遮った状態にして、前記収容部の内部を照らす照明手段を用いて前記対象物に対する照度を同一に設定するとともに、撮影背景仕様を同一に設定することを特徴とする。 In order to achieve the above object, the image data acquisition method of the present invention provides a method for acquiring image data used for generating and using an estimation model by capturing an object of each image data in each capturing step using a capturing device. and at least the image acquisition unit of the photographing device is arranged inside a light-shielding housing section to block light from the outside of the housing section, and the lighting means is used to illuminate the interior of the housing section. The illuminance for the object is set to be the same, and the shooting background specifications are set to be the same.

本発明の画像データの取得システムは、推定モデルの生成および使用に用いられる画像データを撮影して取得する撮影装置と、遮光性を有する収容部と、前記収容部の内部を照らす照明手段と、前記画像データが記憶されて前記画像データを用いたデータ処理を行う演算部とを有し、それぞれの前記画像データが前記撮影装置により取得されるそれぞれの撮影工程では、それぞれの前記画像データの対象物および前記撮影装置の少なくとも画像取得部が前記収容部の内部に配置されて、前記収容部の外部の光を遮った状態で、前記照明手段によって前記対象物に対する照度が同一に設定されるとともに、撮影背景仕様が同一に設定されることを特徴とする。 An image data acquisition system according to the present invention includes an imaging device that captures and acquires image data used for generating and using an estimation model, a housing section that has a light shielding property, lighting means that illuminates the inside of the housing section, a computing unit that stores the image data and performs data processing using the image data; In a state in which an object and at least an image acquisition section of the photographing device are arranged inside the housing section to block light from the outside of the housing section, the illuminance for the object is set to be the same by the illumination means. , and the shooting background specifications are set to be the same.

本発明によれば、推定モデルの生成および使用に用いられる画像データを取得するそれぞれの撮影工程では、それぞれの前記画像データの対象物および前記撮影装置の少なくとも画像取得部を、遮光性を有する収容部の内部に配置し、前記収容部の外部の光を遮った状態にする。これにより、対象物が配置された収容部の内部は、実質的に外部の光の影響を無視できる撮影条件になるので、それぞれの画像データに外乱要因が含まれるリスクが大幅に低減する。そして、前記収容部の内部を照らす照明手段を用いて前記対象物に対する照度を同一に設定するとともに、撮影背景仕様を同一に設定することで、それぞれの画像データに外乱要因が含まれるとしても、外乱要因のバラつきが無くなる、或いは、極めて小さくなる。その結果、推定モデルによる推定精度を低下させることがない画像データを安定して取得するには有利になる。 According to the present invention, in each photographing step of acquiring image data used for generating and using an estimation model, the object of each image data and at least the image acquisition unit of the photographing device are housed in a light-shielding manner. It is placed inside the housing so as to block light from the outside of the housing. As a result, the inside of the accommodation section where the object is placed becomes a photographing condition in which the influence of external light can be substantially ignored, and the risk of inclusion of disturbance factors in each image data is greatly reduced. By setting the illuminance for the object to be the same using the illumination means for illuminating the inside of the housing portion and by setting the shooting background specifications to be the same, even if each image data contains a disturbance factor, Variation in disturbance factors is eliminated or extremely reduced. As a result, it is advantageous for stably acquiring image data without lowering the estimation accuracy of the estimation model.

収容部を開口した状態の画像データの取得システムの実施形態を、収容部の内部を透視して側面視で例示する説明図である。1 is an explanatory diagram illustrating an embodiment of an image data acquisition system in a state in which a container is opened in a side view through which the inside of the container is seen through; FIG. 図1の収容部を開口した状態を例示する説明図である。FIG. 3 is an explanatory diagram illustrating a state in which the accommodating portion of FIG. 1 is opened; 図2の収容部の内部を平面視で例示する説明図である。FIG. 3 is an explanatory diagram illustrating the inside of the accommodating portion of FIG. 2 in a plan view; 図2の収容部の内部構造の変形例を示す説明図である。3 is an explanatory view showing a modification of the internal structure of the accommodating portion of FIG. 2; FIG. 推定モデルを生成する際に使用するニューラルネットワークを模式的に例示する説明図である。FIG. 4 is an explanatory diagram schematically illustrating a neural network used when generating an estimation model; FIG. 画像データの取得システムの別の実施形態を、収容部の内部を透視して側面視で例示する説明図である。FIG. 10 is an explanatory diagram illustrating another embodiment of the image data acquisition system in a side view through the inside of the storage unit; 図6の収容部の内部を平面視で例示する説明図である。FIG. 7 is an explanatory diagram illustrating the inside of the accommodating portion of FIG. 6 in a plan view; 画像データの取得システムのさらに別の実施形態を、収容部の内部を透視して側面視で例示する説明図である。FIG. 11 is an explanatory diagram illustrating another embodiment of the image data acquisition system in a side view through the inside of the storage unit; 図8の収容部の内部を平面視で例示する説明図である。FIG. 9 is an explanatory diagram illustrating the inside of the accommodating portion of FIG. 8 in a plan view;

以下、本発明の画像データの取得方法および取得システムを、図に示した実施形態に基づいて説明する。 The image data acquisition method and acquisition system of the present invention will be described below based on the embodiments shown in the drawings.

図1~図3に例示する本発明の画像データの取得システム1(以下、取得システム1という)によって、推定モデルMを生成する際、および、推定モデルMを使用する際に用いられる画像データDが取得される。それぞれの画像データDは、対象物Gが撮影されたモノクローム、グレースケールまたはカラーの画像データである。推定モデルMは、画像データ処理を使用して生成されるコンピュータプログラムの一種である。この画像データ処理には、AI技術が適用された様々な機械学習の手法を用いることができる。この実施形態では、混合液(液体)が対象物Gなので、対象物Gは容器11に収容されている。対象物Gは液体に限らず固体の場合もある。固体の対象物Gの場合は容器11を不要にできる。対象物Gの詳細については後述する。 Image data D used when generating an estimated model M and when using an estimated model M by an image data acquisition system 1 (hereinafter referred to as an acquisition system 1) of the present invention illustrated in FIGS. is obtained. Each image data D is monochrome, grayscale, or color image data in which the object G is photographed. The estimated model M is a type of computer program generated using image data processing. Various machine learning techniques to which AI technology is applied can be used for this image data processing. In this embodiment, the mixed liquid (liquid) is the object G, so the object G is housed in the container 11 . The object G may be solid as well as liquid. In the case of a solid object G, the container 11 can be dispensed with. Details of the object G will be described later.

この取得システム1は、画像データDを撮影して取得する撮影装置2と、遮光性を有する収容部3と、収容部3の内部を照らす照明手段4と、画像データDが記憶される演算部7とを備えている。演算部7にはモニタ8が通信可能に接続されている。この実施形態では取得システム1は、さらに収容部3の内部に配置される回転台5および固定台10を備えている。回転台5および固定台10は任意で備えることができる。 This acquisition system 1 includes a photographing device 2 that captures and acquires image data D, a housing portion 3 that has a light shielding property, illumination means 4 that illuminates the inside of the housing portion 3, and an arithmetic unit that stores the image data D. 7. A monitor 8 is communicatively connected to the computing unit 7 . In this embodiment the acquisition system 1 further comprises a turntable 5 and a fixed base 10 arranged inside the housing 3 . Rotating table 5 and fixed table 10 can optionally be provided.

撮影装置2は、対象物Gの画像データDを撮影して取得する手段であり、デジタルカメラなどのカメラ機器、ビデオ機器やこれら機器と同様の機能を有する公知の種々の手段を用いることができる。この実施形態では1台の撮影装置2が備わっているが、複数の撮影装置2を備えることもできる。 The photographing device 2 is means for photographing and obtaining image data D of the object G, and can be camera equipment such as a digital camera, video equipment, or various known means having functions similar to these equipment. . Although one imaging device 2 is provided in this embodiment, a plurality of imaging devices 2 may be provided.

固定台10は収容部3の内部の所定位置に設置されている。この固定台10に撮影装置2は載置されて固定されている。固定台10が無い場合は、撮影装置2は収容部3の底面に載置される。 The fixed base 10 is installed at a predetermined position inside the housing portion 3 . The photographing device 2 is placed and fixed on this fixed base 10 . Without the fixed base 10 , the photographing device 2 is placed on the bottom surface of the housing section 3 .

収容部3は、収容部3の外部からの光を遮断するとともに対象物Gを配置するための内部空間を形成する。収容部3の材質は、収容部3の外光を遮断できるものであればよく、樹脂、金属、木材、紙、繊維やこれらの組み合わせでもよい。収容部3の遮光性は、JIS L 1055に規定されている遮光性試験方法のA法によって測定される遮光率が99.9%以上であることが好ましい。この実施形態の収容部3は直方体形状であるが、これに限らず種々の形態を採用することができる。例えば、立方体形状、円筒形状、錐形状など様々な形状を用いることができ、立設されるフレームなどに遮光性のシートを被せて収容部3を形成することもできる。 The housing portion 3 blocks light from the outside of the housing portion 3 and forms an internal space for arranging the object G therein. The material of the housing portion 3 may be any material that can block external light of the housing portion 3, and may be resin, metal, wood, paper, fiber, or a combination thereof. As for the light shielding property of the housing portion 3, it is preferable that the light shielding rate measured by the A method of the light shielding property test method specified in JIS L 1055 is 99.9% or more. Although the accommodating part 3 of this embodiment has a rectangular parallelepiped shape, it is not limited to this, and various other shapes can be employed. For example, various shapes such as a cubic shape, a cylindrical shape, and a conical shape can be used, and the accommodating portion 3 can also be formed by covering a light-shielding sheet on a frame that is erected.

この収容部3は、本体3aと開閉蓋3bとで構成されていて、図1に例示するように開閉蓋3bを開いた状態にして対象物Gや撮影装置2などを収容部3に出し入れする。画像データDを撮影して取得する撮影工程では、図2に例示するように開閉蓋3bを閉じて収容部3の内部は外部の光から遮断された状態なる。 The housing portion 3 is composed of a main body 3a and an opening/closing lid 3b. As shown in FIG. . In the photographing step of photographing and acquiring the image data D, the opening/closing lid 3b is closed as shown in FIG.

この実施形態では撮影装置2の全体が収容部3の内部に配置されているが、撮影装置2のうち、少なくとも対象物Gの画像を取り込む画像取得部2aが収容部3の内部に配置されていればよい。画像取得部2aはカメラで言えばレンズに相当する部分である。撮影装置2のうち画像取得部2aのみが収容部3の内部に配置される場合は、画像取得部2aと収容部3との隙間から収容部3の内部に外光が入らないように隙間をシールする。 In this embodiment, the entire photographing device 2 is arranged inside the housing portion 3, but at least the image acquisition portion 2a of the photographing device 2 that captures the image of the object G is arranged inside the housing portion 3. All you have to do is The image acquisition unit 2a is a portion corresponding to a lens in a camera. When only the image acquisition unit 2a of the photographing device 2 is arranged inside the accommodation unit 3, a gap is formed between the image acquisition unit 2a and the accommodation unit 3 so that external light does not enter the inside of the accommodation unit 3. to seal.

照明手段4は、収容部3の内部を照らす発光部4aを有している。照明手段4は、収容部3の内部の照度を一定に設定できるものであればよい。発光部4aとしては、白熱灯(電球)、蛍光灯、LEDなど、公知の各種電灯を用いることができる。発光部4aは単数に限らず複数設置することもできる。発光部4aは開閉蓋3bに限らず任意の位置に設置することができるが、収容部3の内部を全体的に照らすには、収容部3の上部、即ち、対象物Gの上方位置に設置することが好ましい。 The lighting means 4 has a light-emitting portion 4 a that illuminates the inside of the housing portion 3 . The illuminating means 4 may be any means as long as the illuminance inside the housing portion 3 can be set constant. As the light emitting unit 4a, various known electric lights such as an incandescent lamp (light bulb), a fluorescent lamp, and an LED can be used. The number of light emitting units 4a is not limited to one, and a plurality of units can be installed. The light-emitting part 4a can be installed at any position other than the opening/closing lid 3b. preferably.

この実施形態では照明手段4はさらに、拡散板4bと照度計4cとコントローラ4dとを有しているが、これらは任意で設けることができる。拡散板4bは、発光部4aと対象物Gとの間に配置され、この実施形態では開閉蓋3bに着脱自在に取り付けられている。拡散板4bは、発光部4aを面光源にする機能を有していて、発光部4aが発する光を広く拡散させて対象物Gを万遍なくより均一に照らすことができる。拡散板4bとしては、公知のディフューザーフィルム等を用いることができる。 In this embodiment, the illuminating means 4 further has a diffusion plate 4b, an illuminance meter 4c and a controller 4d, but these can be provided arbitrarily. The diffusion plate 4b is arranged between the light emitting part 4a and the object G, and is detachably attached to the opening/closing lid 3b in this embodiment. The diffuser plate 4b has a function of making the light-emitting portion 4a into a surface light source, and widely diffuses the light emitted by the light-emitting portion 4a to illuminate the object G evenly and more uniformly. A known diffuser film or the like can be used as the diffuser plate 4b.

この照明手段4では、照度計4cによって照度計4cが設置された位置の照度が検知され、コントローラ4dによって照度が調整可能になっている。例えば、目標照度を予め設定しておき、照度計4cが検知した照度に基づいてコントローラ4dを作動させて、対象物Gに対する照度(対象物Gの表面での照度)を目標照度に制御することもできる。或いは、照度計4cによる検知照度を作業者が確認して、コントローラ4dを手動で操作することで対象物Gの表面での照度を目標照度にすることもできる。 In this lighting means 4, the illuminance at the position where the illuminance meter 4c is installed is detected by the illuminance meter 4c, and the illuminance can be adjusted by the controller 4d. For example, a target illuminance is set in advance, and the controller 4d is operated based on the illuminance detected by the illuminance meter 4c to control the illuminance for the object G (illuminance on the surface of the object G) to the target illuminance. can also Alternatively, the operator can confirm the illuminance detected by the illuminance meter 4c and manually operate the controller 4d to set the illuminance on the surface of the object G to the target illuminance.

対象物Gの表面での照度をより正確に把握するには、照度計4cをできるだけ対象物Gに近接して配置するとよいが、画像データDに照度計4cに写り込んで外乱要因になる可能性がある。照度計4cが対象物Gから若干離れた位置に配置されても、照度計4cの検知照度に基づいて、対象物Gの表面での照度を比較的容易に推定できるので、照度計4cは画像データDの外乱要因にならない領域で、対象物Gに近接した位置に配置するとよい。 In order to more accurately grasp the illuminance on the surface of the object G, the illuminance meter 4c should be placed as close to the object G as possible, but the illuminance meter 4c may appear in the image data D and become a factor of disturbance. have a nature. Even if the illuminometer 4c is placed at a position slightly away from the object G, the illuminance on the surface of the object G can be relatively easily estimated based on the illuminance detected by the illuminometer 4c. It is preferable to place it in a position close to the object G in an area that does not cause disturbance of the data D. FIG.

回転台5は、固定台10と離間した位置に設置されている。回転台5は、駆動モータ等によって所望の回転速度で回転する。回転台5に対象物Gを載置して回転させることで対象物Gも同様に回転する。撮影装置2(画像取得部2a)は回転台5の側方に離間して配置されているので、回転台5が回転することで撮影装置2(画像取得部2a)に対して対象物Gは回転する周方向に移動する。回転台5が無い場合は、対象物Gは収容部3の底面に載置される。 The rotating table 5 is installed at a position spaced apart from the fixed table 10 . The turntable 5 is rotated at a desired rotational speed by a drive motor or the like. By placing the object G on the turntable 5 and rotating it, the object G is also rotated. Since the photographing device 2 (image acquisition unit 2a) is arranged to the side of the turntable 5 with a space therebetween, the rotation of the turntable 5 causes the object G to move toward the photographing device 2 (image acquisition unit 2a). Move in the circumferential direction of rotation. If the turntable 5 is not provided, the object G is placed on the bottom surface of the housing portion 3 .

収容部3の内部では、撮影装置2(画像取得部2a)、照明手段4(発光部4aや拡散板4b)、回転台5が所定位置に固定されるだけでなく、所望の位置に設置できるように移動可能にすることもできる。これにより、互いの相対位置を調整することができる。例えば図4に示すように、発光部4aと拡散板4bまたは発光部4aのみを、回転台5に載置された対象物Gに対して近接離反移動させて、画像データDに光源の写り込みが無くなる(最小限になる)位置に設定する。 Inside the housing unit 3, the photographing device 2 (image acquisition unit 2a), the lighting means 4 (light emitting unit 4a and diffusion plate 4b), and the turntable 5 are not only fixed at predetermined positions, but can also be installed at desired positions. You can also make it moveable like this: Thereby, the mutual relative position can be adjusted. For example, as shown in FIG. 4, the light emitting unit 4a and the diffuser plate 4b or only the light emitting unit 4a are moved toward and away from the object G placed on the turntable 5 so that the light source is reflected in the image data D. set to a position where there is no (minimum)

演算部7には、画像データDや推定モデルMなど様々なデータが記憶される。撮影装置2と演算部7とを有線または無線通信可能に接続して、画像データDは撮影装置2から演算部7に入力される。或いは、撮影装置2のメモリカードを取り外して、演算部7のインターフェースに接続することで、このメモリカードに記憶された画像データDが撮影装置2から演算部7に入力される構成にしてもよい。したがって、演算部7は撮影装置2の近傍に限らず、撮影装置2から離れた所に配置することができる。 Various data such as the image data D and the estimated model M are stored in the calculation unit 7 . The imaging device 2 and the computing unit 7 are connected for wired or wireless communication, and the image data D is input from the imaging device 2 to the computing unit 7 . Alternatively, by removing the memory card of the photographing device 2 and connecting it to the interface of the calculation unit 7, the image data D stored in this memory card may be input from the photographing device 2 to the calculation unit 7. . Therefore, the calculation unit 7 can be arranged not only in the vicinity of the photographing device 2 but also in a place away from the photographing device 2 .

演算部7は、入力、記憶された画像データDなどの様々なデータを用いたデータ処理(演算処置)を行う。演算部7としてはコンピュータ(コンピュータサーバ)が用いられる。コンピュータ(コンピュータサーバ)のメモリに画像データDを含めた様々なデータが記憶され、CPUによって各種のデータ処理が行われる。演算部7に入力、記憶およびデータ処理された様々なデータは、モニタ8に表示することができる。演算部7は、1台のコンピュータで構成することもできるが、1台または複数台のコンピュータと、1台または複数台のコンピュータサーバと、を有線または無線通信可能に接続して構成してもよい。例えば、撮影装置2とともに施工現場に配置されるコンピュータと、施工現場から遠隔地(研究所など)に配置されるコンピュータサーバとで演算部7を構成する。多量のデータをコンピュータサーバに記憶させて、主なデータ処理をコンピュータサーバを用いて行うとよい。 The computation unit 7 performs data processing (computation processing) using various data such as input and stored image data D. FIG. A computer (computer server) is used as the calculation unit 7 . Various data including image data D are stored in a memory of a computer (computer server), and various data processing is performed by a CPU. Various data that have been input, stored, and data-processed in the computing section 7 can be displayed on the monitor 8 . The computing unit 7 can be composed of one computer, but it can also be configured by connecting one or more computers and one or more computer servers in a wired or wireless manner. good. For example, the computing unit 7 is composed of a computer arranged at the construction site together with the photographing device 2 and a computer server arranged at a remote location (laboratory, etc.) from the construction site. A large amount of data may be stored on a computer server and the main data processing may be performed using the computer server.

目的に応じた推定モデルMが、公知の様々な機械学習の手法によって生成される。例えば、ニューラルネットワークを用いたディープラーニングによって推定モデルMを生成する際には、図5に例示するように、公知の手法で入力層12と複数の中間層13(13a、13b)と出力層14との多層構造のニューラルネットワークを形成して、各層の間でノード15間に重みw(w1、w2・・・)を設定して結び付ける。そして、学習データとなる対象物Gの画像データD(パラメータ)を入力層12から順次入力して中間層13を経て、対象物Gに関する事項の推定値(所望の特徴を示すパラメータの推定値)を出力層14に出力する。それぞれのノード15からの出力は、公知の活性化関数(例えばシグモイド関数、ReLUなど)を使用して変換する。出力層14への出力は、公知の活性化関数(例えばSoftmax関数など)を使用して変換する。出力層14に出力された推定値と、この推定値に対応する実測値(所望の特徴を示すパラメータの実測値)とを比較して両者の誤差を小さくするように、公知の誤差逆伝播法を用いてノード15間に設定した重みwを変更する。この演算処理を多数の画像データDを入力して行うことで、両者の誤差を小さくした推定モデルM、即ち推定精度を向上させた推定モデルMが生成される。生成された推定モデルMは演算部7に記憶される。 An estimation model M according to the purpose is generated by various known machine learning techniques. For example, when generating the estimation model M by deep learning using a neural network, as illustrated in FIG. , and weights w (w1, w2, . . . ) are set and connected between nodes 15 in each layer. Then, the image data D (parameters) of the object G as learning data are sequentially input from the input layer 12, pass through the intermediate layer 13, and the estimated values of the items related to the object G (estimated values of the parameters indicating the desired characteristics) to the output layer 14 . The output from each node 15 is transformed using a known activation function (eg, sigmoid function, ReLU, etc.). The output to the output layer 14 is transformed using a known activation function (such as the Softmax function, for example). The estimated value output to the output layer 14 is compared with the actual measurement value corresponding to the estimated value (the actual measurement value of the parameter indicating the desired characteristic), and a known error backpropagation method is used to reduce the error between the two. is used to change the weight w set between the nodes 15 . By performing this arithmetic processing by inputting a large number of image data D, an estimation model M in which the error between the two is reduced, that is, an estimation model M with improved estimation accuracy is generated. The generated estimation model M is stored in the calculation unit 7 .

生成された推定モデルMを使用して推定を行う場合は、推定対象となる対象物Gの画像データDを推定モデルMに入力する。演算部7は、入力された画像データDと推定モデルMとを用いた演算処理を行って、入力された画像データDの対象物Gに関連する事項の推定値を算出する。算出された推定値が、推定モデルMによる推定結果になる。この推定結果(推定値)を、別途、把握されるこの推定値に対応する実測値と比較することで、推定モデルMによる推定精度は判明する。 When estimating using the generated estimation model M, the image data D of the target object G to be estimated is input to the estimation model M. As shown in FIG. The calculation unit 7 performs calculation processing using the input image data D and the estimation model M, and calculates an estimated value of the item related to the object G in the input image data D. FIG. The calculated estimated value is the result of estimation by the estimation model M. FIG. By comparing this estimation result (estimated value) with the measured value corresponding to this estimated value that is separately grasped, the estimation accuracy of the estimation model M can be found.

より具体的に、推定モデルMを生成する際および使用する際に、本発明を用いて画像データDを取得する手順について説明する。 More specifically, a procedure for acquiring image data D using the present invention when generating and using estimation model M will be described.

土砂の粒度分布(粒径加積曲線)は、多数の土砂の画像データDを用いて生成された推定モデルMを使用して推定することができる。詳述すると、土砂を水などの液体で混入させた混合液を対象物Gとして、容器11の中に収容して加振後に容器11を載置すると、土砂中の比較的粒径の小さい粒子(例えば、粘性土)は、容器11の周面に付着した状態や液体に紛れて浮遊した状態になる。一方、土砂中の比較的粒径の大きい粒子(例えば、砂や礫)は容器11の底に沈降堆積した状態となる。土砂の粒度分布に応じて、容器11の周面に付着する粒子の量、液体に浮遊した状態になる粒子の量、容器11の底に沈降堆積する粒子の量は変化する。したがって、加振した所定時間後の容器11の中の混合液Gの状態と土砂の粒度分布とには高い相関性がある。即ち、土砂の粒度分布が異なると、容器11の内部の混合液Gの外観(色分布、濃淡分布、付着・浮遊・沈降堆積の割合)も異なる。 The particle size distribution (particle size accumulation curve) of soil can be estimated using an estimation model M generated using a large number of image data D of soil. More specifically, when a liquid mixture of earth and sand mixed with a liquid such as water is placed in a container 11 as an object G and shaken, the container 11 is placed thereon. (For example, cohesive soil) is in a state of adhering to the peripheral surface of the container 11 or in a state of being mixed with the liquid and floating. On the other hand, particles with relatively large particle diameters (for example, sand and gravel) in the earth and sand settle down and accumulate on the bottom of the container 11 . The amount of particles adhering to the peripheral surface of the container 11, the amount of particles floating in the liquid, and the amount of particles settling and depositing on the bottom of the container 11 change according to the particle size distribution of the soil. Therefore, there is a high correlation between the state of the mixed liquid G in the container 11 after the vibration has been applied for a predetermined time and the particle size distribution of the soil. That is, when the particle size distribution of the soil differs, the appearance of the liquid mixture G inside the container 11 (color distribution, shade distribution, adhesion/floating/sedimentation rate) also differs.

まず、推定モデルMを生成する際に学習データとして使用する画像データDを多数取得する。そこで図1に例示するように、規定の混合率で土砂を液体に混合させた混合液Gを入れた容器11を、統一した同じ条件で加振した後に回転台5に載置する。撮影装置2は固定台10に載置して所定位置に設置する。容器11は内部状態を確認できる透明性を有するガラスや合成樹脂であればよいので、一般的なガラス製容器またはプラスチック製容器でもよい。 First, a large number of image data D to be used as learning data when generating the estimation model M are acquired. Therefore, as exemplified in FIG. 1, a container 11 containing a mixed liquid G in which earth and sand are mixed with a liquid at a prescribed mixing ratio is placed on the turntable 5 after being vibrated under the same uniform conditions. The photographing device 2 is mounted on a fixed base 10 and installed at a predetermined position. The container 11 may be made of transparent glass or synthetic resin so that the internal state can be checked, so it may be a general glass container or a plastic container.

次いで、図2に例示するように、混合液Gおよび撮影装置2を収容部3の内部に配置して、収容部3の外部の光を遮った状態にする。外部の光を遮った状態の収容部3の内部では、加振した後、規定時間経過時の容器11の中の混合液Gの状態を画像データDとして取得する。この実施形態では、それぞれの混合液Gの画像データDは、容器11の側方から撮影されて取得される。それぞれの混合液Gの画像データDを取得する撮影工程では、照明手段4を用いて混合液Gに対する照度を実質的に同一に設定するとともに、撮影背景仕様を実質的に同一に設定する。撮影背景仕様とは、混合液Gを撮影する際の混合液Gの背景面の色(背景色)、背景面の表面粗さ、混合液Gと背景面までの離間距離などを意味する。この実施形態では背景面は、混合液Gの背面側に位置する収容部3の内側面になる。それぞれの撮影工程で、この取得システム1を使用して、同じ条件で照明手段4を作動させ、撮影装置2および対象物Gを同じ配置にすることで、混合液Gに対する照度は実質的に同一になり、撮影背景仕様も実質的に同一になる。 Next, as illustrated in FIG. 2, the liquid mixture G and the photographing device 2 are placed inside the housing portion 3 so that light outside the housing portion 3 is blocked. Inside the storage unit 3 in a state where external light is blocked, the state of the mixed liquid G in the container 11 after a specified time has elapsed after being vibrated is obtained as image data D. In this embodiment, the image data D of each liquid mixture G is acquired by photographing from the side of the container 11 . In the photographing step of acquiring the image data D of each liquid mixture G, the lighting means 4 is used to set substantially the same illuminance for the liquid mixture G, and substantially the same photographing background specifications are set. The photographing background specification means the color (background color) of the background surface of the mixed liquid G when photographing the mixed liquid G, the surface roughness of the background surface, the separation distance between the mixed liquid G and the background surface, and the like. In this embodiment, the background surface is the inner surface of the container 3 located on the back side of the mixed liquid G. As shown in FIG. In each photographing process, the acquisition system 1 is used, the illumination means 4 is operated under the same conditions, and the photographing device 2 and the object G are arranged in the same manner, so that the illuminance for the mixed liquid G is substantially the same. , and the shooting background specifications are also substantially the same.

混合液Gの実際の土砂の粒度分布(実測値)は、公知の方法で把握すればよく、例えばJIS A 1204に規定されている土の粒度試験方法に従って実測する。このように、推定モデルMの推定に対応する実測結果(実測値)が把握できるので、粒度分布が異なる様々な土砂の混合液Gの画像データDと、それぞれの土砂の粒度分布の実測値とによって、推定モデルMを生成することができる。学習データになる画像データDの数を多くすることで、推定モデルMによる推定精度を向上させるには有利になる。 The particle size distribution (measured value) of the actual soil of the mixed liquid G may be determined by a known method, for example, measured according to the soil particle size test method specified in JIS A 1204. In this way, since the actual measurement result (actual value) corresponding to the estimation of the estimation model M can be grasped, the image data D of the mixed liquid G of various soils with different particle size distributions and the actual measurement value of the particle size distribution of each soil. An estimated model M can be generated by By increasing the number of image data D to be learning data, it is advantageous to improve the estimation accuracy of the estimation model M. FIG.

この実施形態では、推定モデルMを生成する際のそれぞれの混合液Gの撮影工程では、混合液Gを回転台5によって回転させながら複数の画像データDを撮影する。これにより、それぞれの1つの混合液Gに対して周方向位置を異ならせた複数の画像データDを取得できるので、学習データとして用いる画像データDを、効率的により多く取得できる。これに伴い、推定モデルMによる推定精度を向上させるには有利になる。 In this embodiment, in the step of photographing each mixed liquid G when generating the estimated model M, a plurality of image data D are photographed while the mixed liquid G is rotated by the turntable 5 . As a result, it is possible to acquire a plurality of image data D at different positions in the circumferential direction for each mixed liquid G, so that more image data D to be used as learning data can be efficiently acquired. Accordingly, it is advantageous to improve the estimation accuracy of the estimation model M.

推定モデルMを用いて、推定対象となる混合液Gの土砂の粒度分布を推定する際には、学習データとして用いた混合液Gと同様に、規定の混合率で土砂を液体に混合させた混合液Gを入れた容器11を、統一した同じ条件で加振した後に回転台5に載置する。そして、加振した後、規定時間経過時の容器11の中の混合液Gの状態を画像データDとして取得する。この画像データDの撮影工程でも、図2に例示するように、収容部3によって外部の光を遮った状態にして、照明手段4を用いて混合液Gに対する照度を、推定モデルMを生成する画像データDを取得した時と同一に設定する。また、撮影背景仕様も推定モデルMを生成する画像データDを取得した時と同一に設定する。このようにして取得された推定対象となる混合液Gの画像データDを、推定モデルMに入力して演算部7により演算処理することで、この推定対象となる混合液Gの土砂の粒度分布の推定値が算出される。 When estimating the particle size distribution of the sediment of the mixed liquid G to be estimated using the estimation model M, the sediment was mixed with the liquid at a prescribed mixing ratio in the same manner as the mixed liquid G used as the learning data. The container 11 containing the liquid mixture G is placed on the turntable 5 after being vibrated under the same uniform conditions. Then, after the vibration is applied, the state of the mixed liquid G in the container 11 after the lapse of a specified time is acquired as image data D. FIG. In the process of photographing the image data D, as illustrated in FIG. 2, the storage unit 3 blocks external light, and the illumination unit 4 is used to generate an estimation model M of the illuminance for the mixed liquid G. The same setting as when the image data D was acquired is made. Also, the photographing background specification is set to the same as when the image data D for generating the estimated model M is acquired. The image data D of the mixed liquid G to be estimated thus acquired is input to the estimation model M and arithmetically processed by the calculation unit 7 to obtain the particle size distribution of the sediment of the mixed liquid G to be estimated. is calculated.

上述したように、推定モデルMを生成する際に学習データとして用いられる多数の画像データDおよび推定モデルMを使用する際に用いられる画像データDを取得するそれぞれの撮影工程では、外部の光を遮った状態の収容部3の内部でそれぞれの画像データDが取得される。即ち、実質的に外部の光の影響を無視できる撮影条件でそれぞれの画像データDが取得されるので、それぞれの画像データDに外乱要因が含まれるリスクは大幅に低減する。 As described above, in each photographing step of acquiring a large number of image data D used as learning data when generating the estimation model M and the image data D used when using the estimation model M, external light is emitted. Each image data D is acquired inside the housing portion 3 in the blocked state. That is, since each image data D is obtained under photographing conditions in which the influence of external light can be substantially ignored, the risk of inclusion of disturbance factors in each image data D is greatly reduced.

さらに、それぞれの撮影工程では、照明手段4を用いて収容部3の内部に配置されている対象物Gにする照度が実質的に同一に設定され、かつ、対象物Gの撮影背景仕様が実質的に同一に設定される。そのため、それぞれの画像データDに外乱要因が含まれるとしても、外乱要因のバラつきが無くなる、或いは、極めて小さくなる。その結果、推定モデルMによる推定精度を低下させることがない画像データDを安定して取得するには有利になる。尚、それぞれの画像データDをそのまま使用するだけでなく、例えば光源の写り込みの影響が無視できない範囲がある場合は、その範囲を取り除くデータ処理をして画像データDとして用いることもできる。また、推定モデルMによる推定精度を向上させるために、画像データDの解像度をより高く設定することもできる。しかしながら、これに伴って画像データDを記憶するためにより多くのメモリ容量とデータ処理のためにより多くの時間と必要になる。そのため、画像データDの解像度は、推定モデルMによる推定精度を予め設定された所定レベルに維持できる範囲で適切な程度に設定する。 Furthermore, in each photographing process, the illumination means 4 is used to set substantially the same illuminance for the object G placed inside the container 3, and the photographing background specifications of the object G are substantially the same. are set to be essentially the same. Therefore, even if each image data D contains a disturbance factor, the variation in the disturbance factor is eliminated or extremely reduced. As a result, it is advantageous to stably acquire the image data D without lowering the estimation accuracy of the estimation model M. In addition to using the respective image data D as they are, for example, when there is a range in which the influence of reflection of the light source cannot be ignored, the data can be processed to remove the range and used as the image data D. Also, in order to improve the estimation accuracy of the estimation model M, the resolution of the image data D can be set higher. However, this requires more memory capacity for storing the image data D and more time for data processing. Therefore, the resolution of the image data D is set to an appropriate level within a range in which the estimation accuracy of the estimation model M can be maintained at a predetermined level.

推定モデルMを使用して推定した結果(土砂の粒度分布)は、施工現場で極力、早期に把握されることが望まれる。そのためには、推定モデルMを使用する際に用いられる画像データDは、それぞれの施工現場で取得されることになる。推定モデルMを生成する際に用いられる多数の画像データDは、推定モデルMを使用する際に用いられる画像データDとは別の場所で取得されることが一般的である。そのため、推定モデルMの生成に用いられる画像データDと、推定モデルMを使用する際に用いられる画像データDとの撮影条件が大きく乖離し易くなる。本発明を用いると、それぞれの画像データDの撮影条件を実質的に同一にできるので、推定モデルMによる高精度の推定結果を、施工現場でタイムリーに把握することが可能になる。 It is desired that the result of estimation using the estimation model M (particle size distribution of soil) be grasped as early as possible at the construction site. For that purpose, the image data D used when using the estimation model M is acquired at each construction site. A large amount of image data D used when generating the estimation model M is generally acquired at a location different from the image data D used when using the estimation model M. FIG. Therefore, the imaging conditions of the image data D used for generating the estimation model M and the image data D used when using the estimation model M tend to deviate greatly. When the present invention is used, the imaging conditions for each image data D can be made substantially the same, so that highly accurate estimation results by the estimation model M can be grasped in a timely manner at the construction site.

取得システム1は、可搬ユニットにして持ち運び容易にするとよい。撮影装置2、演算部7は個別に持ち運びが容易なので、取得システム1のうち、少なくとも収容部3と照明手段4とを可搬ユニットにすることが望ましい。取得システム1が回転台5や移動機構6などの付属部品を有する場合は、付属部品も可搬ユニットに含めるとよい。 Acquisition system 1 may be a portable unit to facilitate portability. Since the photographing device 2 and the computing unit 7 are easy to carry individually, it is desirable to make at least the storage unit 3 and the illumination means 4 of the acquisition system 1 portable units. If the acquisition system 1 has accessories such as the turntable 5 and the moving mechanism 6, the accessories may also be included in the transportable unit.

このように取得システム1の少なくとも一部を可搬ユニットすると、推定モデルMの生成に用いられる画像データDと、推定モデルMを使用する際に用いられる画像データDとが異なる場所で取得される場合であっても、取得システム1を容易に用いることが可能になる。これに伴い、画像データDを取得する場所に拘わらず、それぞれの画像データDに含まれる外乱要因がより少なくなり、或いは、外乱要因がより均一になる。そのため、推定モデルMによる推定精度を低下させることがない画像データDを安定して取得するには益々有利になる。 When at least part of the acquisition system 1 is made a portable unit in this way, the image data D used for generating the estimation model M and the image data D used when using the estimation model M are acquired at different locations. Even in this case, the acquisition system 1 can be used easily. Along with this, regardless of where the image data D is acquired, the number of disturbance factors included in each image data D is reduced, or the disturbance factors become more uniform. Therefore, it is more advantageous to stably acquire the image data D without lowering the estimation accuracy of the estimation model M.

推定モデルMによる推定結果と、推定モデルMの推定に対応する実測結果とが一致すれば、推定モデルMの推定精度は100%正確といえる。しかしながら、実際には様々な要因によって100%の推定精度を実現することは不可能である。発明者の種々の検討の結果、推定結果と実測結果との差異に影響する幾つかの要因が判明した。そこで、両者の差異に基づいて、これら要因に対して調整を行うとよい。 If the estimation result by the estimation model M matches the actual measurement result corresponding to the estimation by the estimation model M, it can be said that the estimation accuracy of the estimation model M is 100% accurate. However, in reality, it is impossible to achieve 100% estimation accuracy due to various factors. As a result of various investigations by the inventors, several factors that influence the difference between the estimated results and the actual measurement results have been found. Therefore, it is preferable to adjust these factors based on the difference between the two.

例えば、収容部3の内部の照度の違いによって推定結果と実測結果との差異が変化することがある。照度の違いは対象物Gの表面での光の反射具合等に影響するためである。そこで、照明手段4による対象物Gに対する照度を、両者の差異をより小さくする照度に変更する。即ち、この照度をより高く、或いは、より低くして、より適切な値に設定する。詳述すると、画像データDが撮影される時の対象物Gの表面での照度をより適切な値に設定する。このように照度をより適切な値に設定した条件下で、それぞれの撮影工程を行って画像データDを取得する。 For example, the difference between the estimation result and the actual measurement result may change due to the difference in the illuminance inside the housing unit 3 . This is because the difference in illuminance affects the degree of reflection of light on the surface of the object G and the like. Therefore, the illuminance for the object G by the illumination means 4 is changed to an illuminance that reduces the difference between the two. That is, the illuminance is set higher or lower to a more appropriate value. Specifically, the illuminance on the surface of the object G when the image data D is captured is set to a more appropriate value. Under the condition that the illuminance is set to a more appropriate value in this manner, each photographing process is performed to acquire the image data D. FIG.

撮影背景仕様のうち、対象物Gの背景色の違いによって推定結果と実測結果との差異が変化することがある。背景色の違いは背景面での光の反射具合に影響するためである。上述した実施形態では、収容部3の内側面が対象物Gの画像データDを撮影する際の背景面になるので、両者の差異をより小さくする背景色に変更する。即ち、背景色を異なる色にして、より適切な色に設定する。一般的には、対象物Gの色に対してコントラストがより大きくなる背景色にする。このように背景色をより適切な色に設定した条件下で、それぞれの撮影工程を行って画像データDを取得する。 The difference between the estimation result and the actual measurement result may change depending on the difference in the background color of the object G among the photographing background specifications. This is because the difference in background color affects how light is reflected on the background surface. In the above-described embodiment, the inner surface of the housing portion 3 serves as the background surface when the image data D of the object G is captured, so the background color is changed to reduce the difference between the two. That is, the background color is set to a different color and set to a more appropriate color. In general, the background color is set to have a greater contrast with the color of the object G. Under the condition that the background color is set to a more appropriate color in this way, the image data D is acquired by performing each photographing process.

撮影背景仕様のうち、背景面の表面粗さの違いによって推定結果と実測結果との差異が変化することがある。背景面の表面粗さの違いは背景面での光の反射具合に影響するためである。そこで、両者の差異をより小さくする背景面の表面粗さに変更する。即ち、背景色の表面をより粗く、或いは、より滑らかにして、より適切な表面粗さに設定する。この表面粗さの値としては、JIS B 0601に規定されている算術平均粗さRaを用いることができる。このように背景面をより適切な表面粗さに設定した条件下で、それぞれの撮影工程を行って画像データDを取得する。 The difference between the estimated result and the actual measurement result may change depending on the difference in the surface roughness of the background surface among the shooting background specifications. This is because the difference in the surface roughness of the background surface affects how light is reflected on the background surface. Therefore, the surface roughness of the background surface is changed to make the difference between the two smaller. That is, the surface of the background color is made rougher or smoother to set a more appropriate surface roughness. As the surface roughness value, the arithmetic mean roughness Ra specified in JIS B 0601 can be used. Image data D is acquired by performing each photographing process under the condition that the background surface is set to have a more appropriate surface roughness.

図4に例示する取得システム1では、推定結果と実測結果との差異に基づいて、撮影装置2(画像取得部2a)、照明手段4(発光部4aや拡散板4b)、回転台5の互いの相対位置を必要に応じて調整できる。したがって、これら構成部品の互いの相対位置を、推定結果と実測結果との差異をより小さくする適切な設定にした条件下で、それぞれの撮影工程を行って画像データDを取得することができる。 In the acquisition system 1 illustrated in FIG. 4, based on the difference between the estimation result and the actual measurement result, the photographing device 2 (image acquisition unit 2a), the lighting means 4 (light emitting unit 4a and diffusion plate 4b), and the rotating table 5 can be adjusted as needed. Therefore, the image data D can be acquired by performing each photographing process under the condition that the relative positions of these components are appropriately set to reduce the difference between the estimation result and the actual measurement result.

図6~図7に例示する取得システム1の実施形態では、撮影装置2を移動させる移動機構6を備えていて、対象物Gは固定台10に載置されて収容部3の内部の所定位置に固定されている。収容部3は円筒形状になっている。固定台10は平面視で収容部3の中心部に設置するとよい。照明手段4は先の実施形態と同様である。 In the embodiment of the acquisition system 1 illustrated in FIGS. 6 and 7, the moving mechanism 6 for moving the photographing device 2 is provided, and the object G is placed on the fixed base 10 and placed at a predetermined position inside the container 3. is fixed to The housing portion 3 has a cylindrical shape. The fixed base 10 is preferably installed at the center of the housing portion 3 in plan view. The lighting means 4 are the same as in the previous embodiment.

移動機構6は、平面視で固定台10を中心にして円環状に延在するガイド6bと、ガイド6bに沿って移動する移動台6aとを有している。撮影装置2は移動台6aに載置されて固定される。移動台6aは、駆動モータ等によって所望の速度で移動する。撮影装置2が載置された移動台6aを移動させることで、平面視で対象物Gを中心にして撮影装置2が回転する。この移動台6aの移動により、撮影装置2(画像取得部2a)は対象物Gの周方向に移動する。 The moving mechanism 6 has a guide 6b that extends annularly around the fixed table 10 in a plan view, and a moving table 6a that moves along the guide 6b. The photographing device 2 is placed and fixed on a moving table 6a. The moving table 6a is moved at a desired speed by a drive motor or the like. By moving the movable table 6a on which the photographing device 2 is placed, the photographing device 2 rotates around the object G in plan view. The imaging device 2 (image acquisition unit 2a) moves in the circumferential direction of the object G due to the movement of the movable table 6a.

この実施形態では、平面視で対象物Gを中心にして撮影装置2を回転させながら画像データDを撮影することで、それぞれの1つの対象物Gに対して周方向位置を異ならせた複数の画像データDを取得することができる。対象物Gは一定位置に固定されていて移動しないので、液体の対象物Gの場合は、移動に起因して対象物Gが揺動することがなく安定した画像データDを取得するには有利になる。 In this embodiment, by photographing the image data D while rotating the photographing device 2 around the object G in plan view, a plurality of images having different positions in the circumferential direction with respect to each object G are obtained. Image data D can be obtained. Since the object G is fixed at a fixed position and does not move, in the case of a liquid object G, it is advantageous to obtain stable image data D without causing the object G to sway due to movement. become.

また、この実施形態では収容部3が円筒形状なので、移動台6a(撮影装置2)が移動しても、対象物Gの背景(収容部3の内側面)は均質な湾曲面になる。これに伴い、撮影背景仕様の変化が回避されるので、安定した画像データDを取得するには益々有利になる。 Further, in this embodiment, since the container 3 has a cylindrical shape, the background of the object G (the inner surface of the container 3) becomes a uniformly curved surface even if the movable table 6a (the photographing device 2) moves. As a result, changes in the specification of the photographing background are avoided, which is more advantageous for obtaining stable image data D. FIG.

図8~図9に例示する取得システム1の実施形態では、収容部3の内部に背景板9が設置されている。この実施形態では、収容部3とは別体の背景板9の表面9aが背景面として使用される。背景板9は、撮影装置2を基準にして対象物Gの背面側に配置されて、平面視で撮影装置2と背景板9との間に対象物Gが配置される。この実施形態では、円筒体を縦半分に切断した形状の背景板9が使用されて、対象物Gの外周面と表面9a(背景面)との離間距離が均一化されている。対象物Gの背面のできるだけ広い範囲を背景板9にすることが好ましい。 In the embodiment of the acquisition system 1 illustrated in FIGS. 8-9, a background plate 9 is installed inside the container 3 . In this embodiment, the surface 9a of the background plate 9, which is separate from the housing portion 3, is used as the background surface. The background board 9 is arranged on the back side of the object G with respect to the photographing device 2, and the object G is arranged between the photographing device 2 and the background plate 9 in plan view. In this embodiment, a background plate 9 having a shape obtained by cutting a cylindrical body in half lengthwise is used to equalize the distance between the outer peripheral surface of the object G and the surface 9a (background surface). It is preferable to use the background plate 9 as wide as possible on the back of the object G. FIG.

背景板9は、収容部3とは別体なので交換が容易である。したがって、仕様(表面9aの色や粗さ)が異なる複数種類の背景板9を用意しておくとよい。これにより、適切な仕様の背景板9を選択して用いることで、推定モデルMの推定結果と実測結果との差異をより小さくさせる撮影背景仕様に設定することができる。 Since the background plate 9 is separate from the housing portion 3, it can be easily replaced. Therefore, it is preferable to prepare a plurality of types of background plates 9 having different specifications (color and roughness of the surface 9a). As a result, by selecting and using the background plate 9 with appropriate specifications, it is possible to set shooting background specifications that reduce the difference between the estimation result of the estimation model M and the actual measurement result.

本発明は、推定モデルMを生成する際および使用する際に用いる画像データDを取得する場合に適用できるので、対象物Gは上述した混合液に限らない。地盤の円柱状のボーリングサンプルの画像データD(例えば円柱側面視の画像データD)によって、その地盤の土砂構成や地盤強度をある程度把握できる。そのため、これらを推定するための推定モデルMを生成する際および使用する際に用いる画像データDを取得する場合に本発明を適用することも可能になる。この場合は、地盤の円柱状のボーリングサンプルが対象物Gになる。 Since the present invention can be applied to obtaining the image data D used when generating and using the estimated model M, the object G is not limited to the liquid mixture described above. From the image data D of the cylindrical boring sample of the ground (for example, the image data D of the side view of the cylinder), the sediment composition and ground strength of the ground can be grasped to some extent. Therefore, it is also possible to apply the present invention when generating the estimation model M for estimating them and when obtaining the image data D used when using it. In this case, the object G is a cylindrical boring sample of the ground.

1 取得システム
2 撮影装置
2a 画像取得部
3 収容部
3a 本体
3b 開閉蓋
4 照明手段
4a 発光部(電灯)
4b 拡散板
4c 照度計
4d コントローラ
5 回転台
6 移動機構
6a 移動台
6b ガイド
7 演算部
8 モニタ
9 背景板
9a 表面(背景面)
10 固定台
11 容器
12 入力層
13(13a、13b、13c) 中間層
14 出力層
15 ノード
G 対象物(混合液)
1 Acquisition System 2 Photographing Device 2a Image Acquisition Unit 3 Storage Unit 3a Main Body 3b Opening/Closing Lid 4 Lighting Means 4a Light Emitting Unit (Light)
4b diffusion plate 4c illuminance meter 4d controller 5 rotating table 6 moving mechanism 6a moving table 6b guide 7 computing unit 8 monitor 9 background plate 9a surface (background surface)
10 Fixed table 11 Container 12 Input layer 13 (13a, 13b, 13c) Intermediate layer 14 Output layer 15 Node G Object (mixture)

上記目的を達成するため本発明の画像データの取得方法は、推定モデルの生成および使用に用いられる画像データを撮影装置によって撮影して取得するそれぞれの撮影工程で、それぞれの前記画像データの対象物および前記撮影装置の少なくとも画像取得部を、遮光性を有する収容部の内部に配置し、前記収容部の外部の光を遮った状態にして、前記収容部の内部を照らす照明手段を用いて前記対象物に対する照度を同一に設定するとともに、撮影背景仕様を同一に設定し、前記対象物が透明性を有する容器に収容された液体と粒子との混合液または地盤の円柱状のボーリングサンプルであることを特徴とする。
本発明の別の画像データの取得方法は、推定モデルの生成および使用に用いられる画像データを撮影装置によって撮影して取得するそれぞれの撮影工程で、それぞれの前記画像データの対象物および前記撮影装置の少なくとも画像取得部を、遮光性を有する収容部の内部に配置し、前記収容部の外部の光を遮った状態にして、前記収容部の内部を照らす照明手段を用いて前記対象物に対する照度を同一に設定するとともに、撮影背景仕様を同一に設定し、前記推定モデルによる推定結果と、前記推定モデルの推定に対応する実測結果との差異に基づいて、前記撮影背景仕様のうち背景色を変更して、前記背景色を前記差異をより小さくさせる色に設定することを特徴とする。
本発明のさらに別の画像データの取得方法は、推定モデルの生成および使用に用いられる画像データを撮影装置によって撮影して取得するそれぞれの撮影工程で、それぞれの前記画像データの対象物および前記撮影装置の少なくとも画像取得部を、遮光性を有する収容部の内部に配置し、前記収容部の外部の光を遮った状態にして、前記収容部の内部を照らす照明手段を用いて前記対象物に対する照度を同一に設定するとともに、撮影背景仕様を同一に設定し、前記推定モデルによる推定結果と推定モデルの推定に対応する実測結果との差異に基づいて、前記撮影背景仕様のうち背景面の表面粗さを変更して、前記表面粗さを前記差異をより小さくさせる粗さに設定することを特徴とする。
In order to achieve the above object, the image data acquisition method of the present invention provides a method for acquiring image data used for generating and using an estimation model by capturing an object of each image data in each capturing step using a capturing device. and at least the image acquisition unit of the photographing device is arranged inside a light-shielding housing section to block light from the outside of the housing section, and the lighting means is used to illuminate the interior of the housing section. The illuminance for the object is set to be the same, the photographing background specifications are set to be the same, and the object is a mixture of liquid and particles contained in a transparent container or a cylindrical boring sample of the ground. It is characterized by
Another method of acquiring image data according to the present invention is a method of acquiring image data used for generating and using an estimation model by photographing an object and the photographing device in each photographing step. at least the image acquisition unit of (1) is placed inside a light-shielding container, and light from the outside of the container is blocked, and the illuminance for the object is obtained by using a lighting means that illuminates the inside of the container. are set to be the same, the shooting background specifications are set to be the same, and based on the difference between the estimation result by the estimation model and the actual measurement result corresponding to the estimation of the estimation model, the background color of the shooting background specification is changed By changing, the background color is set to a color that makes the difference smaller.
Still another image data acquisition method of the present invention is characterized in that, in each image capturing step of capturing and acquiring image data used for generating and using an estimation model with an image capturing device, the object of each of the image data and the image data are captured. At least the image acquisition unit of the apparatus is arranged inside a light-shielding container, and the light outside the container is blocked, and the object is illuminated using illumination means for illuminating the inside of the container. The illuminance is set to be the same, the shooting background specifications are set to be the same, and based on the difference between the estimation result by the estimation model and the actual measurement result corresponding to the estimation of the estimation model, the surface of the background surface among the shooting background specifications The roughness is changed to set the surface roughness to a roughness that makes the difference smaller.

本発明の画像データの取得システムは、推定モデルの生成および使用に用いられる画像データを撮影して取得する撮影装置と、遮光性を有する収容部と、前記収容部の内部を照らす照明手段と、前記画像データが記憶されて前記画像データを用いたデータ処理を行う演算部とを有し、それぞれの前記画像データが前記撮影装置により取得されるそれぞれの撮影工程では、それぞれの前記画像データの対象物および前記撮影装置の少なくとも画像取得部が前記収容部の内部に配置されて、前記収容部の外部の光を遮った状態で、前記照明手段によって前記対象物に対する照度が同一に設定されるとともに、撮影背景仕様が同一に設定され、前記対象物が透明性を有する容器に収容された液体と粒子との混合液または地盤の円柱状のボーリングサンプルであることを特徴とする。 An image data acquisition system according to the present invention includes an imaging device that captures and acquires image data used for generating and using an estimation model, a housing section that has a light shielding property, lighting means that illuminates the inside of the housing section, a computing unit that stores the image data and performs data processing using the image data; In a state in which an object and at least an image acquisition section of the photographing device are arranged inside the housing section to block light from the outside of the housing section, the illuminance for the object is set to be the same by the illumination means. 1. The photographing background specifications are set to be the same, and the object is a mixture of liquid and particles contained in a transparent container or a cylindrical boring sample of the ground.

Claims (7)

推定モデルの生成および使用に用いられる画像データを撮影装置によって撮影して取得するそれぞれの撮影工程で、それぞれの前記画像データの対象物および前記撮影装置の少なくとも画像取得部を、遮光性を有する収容部の内部に配置し、前記収容部の外部の光を遮った状態にして、前記収容部の内部を照らす照明手段を用いて前記対象物に対する照度を同一に設定するとともに、撮影背景仕様を同一に設定することを特徴とする画像データの取得方法。 In each photographing step of photographing and acquiring image data used for generating and using an estimation model with a photographing device, the object of each of the image data and at least the image acquisition unit of the photographing device are housed in a light-shielding manner. The illuminance for the object is set to be the same using a lighting means that illuminates the interior of the housing portion in a state where the light outside the housing portion is blocked, and the photographic background specifications are the same. A method for acquiring image data, characterized by setting 前記推定モデルによる推定結果と、前記推定モデルの推定に対応する実測結果との差異に基づいて、前記照度を変更して、前記差異をより小さくする照度に設定する請求項1に記載の画像データの取得方法。 2. The image data according to claim 1, wherein the illuminance is changed based on a difference between an estimation result by the estimation model and an actual measurement result corresponding to the estimation by the estimation model, and the illuminance is set to make the difference smaller. How to get 前記推定モデルによる推定結果と、前記推定モデルの推定に対応する実測結果との差異に基づいて、前記撮影背景仕様のうち背景色を変更して、前記背景色を前記差異をより小さくさせる色に設定する請求項1または2に記載の画像データの取得方法。 Based on the difference between the estimation result by the estimation model and the actual measurement result corresponding to the estimation by the estimation model, the background color of the photographing background specifications is changed, and the background color is changed to a color that reduces the difference. 3. The image data acquisition method according to claim 1, wherein the image data is set. 前記推定モデルによる推定結果と推定モデルの推定に対応する実測結果との差異に基づいて、前記撮影背景仕様のうち背景面の表面粗さを変更して、前記表面粗さを前記差異をより小さくさせる粗さに設定する請求項1~3のいずれかに記載の画像データの取得方法。 Based on the difference between the estimation result by the estimation model and the actual measurement result corresponding to the estimation by the estimation model, the surface roughness of the background surface among the shooting background specifications is changed to reduce the surface roughness. 4. The method for obtaining image data according to claim 1, wherein the roughness is set to a value that is equal to that of the image data. 前記収容部の内部に設置された回転台に前記対象物を載置して、前記対象物を前記回転台によって回転させながら前記画像データを撮影することで、それぞれの1つの前記対象物に対して周方向位置を異ならせた複数の前記画像データを取得する請求項1~4のいずれかに記載の画像データの取得方法。 By placing the object on a turntable installed inside the housing unit and photographing the image data while rotating the object on the turntable, 5. The image data acquiring method according to claim 1, wherein a plurality of said image data are acquired at different positions in the circumferential direction. 前記撮影装置の全体を前記収容部の内部に配置し、平面視で前記対象物を中心にして前記撮影装置を回転させながら前記画像データを撮影することで、それぞれの1つの前記対象物に対して周方向位置を異ならせた複数の前記画像データを取得する請求項1~5のいずれかに記載の画像データの取得方法。 By arranging the entire photographing device inside the housing portion and photographing the image data while rotating the photographing device around the object in a plan view, 6. The image data acquiring method according to claim 1, wherein a plurality of said image data are acquired at different positions in the circumferential direction. 推定モデルの生成および使用に用いられる画像データを撮影して取得する撮影装置と、遮光性を有する収容部と、前記収容部の内部を照らす照明手段と、前記画像データが記憶されて前記画像データを用いたデータ処理を行う演算部とを有し、
それぞれの前記画像データが前記撮影装置により取得されるそれぞれの撮影工程では、それぞれの前記画像データの対象物および前記撮影装置の少なくとも画像取得部が前記収容部の内部に配置されて、前記収容部の外部の光を遮った状態で、前記照明手段によって前記対象物に対する照度が同一に設定されるとともに、撮影背景仕様が同一に設定されることを特徴とする画像データの取得システム。
A photographing device for photographing and obtaining image data used for generating and using an estimation model, a housing portion having a light shielding property, lighting means for illuminating the inside of the housing portion, and the image data in which the image data is stored. and a computing unit that performs data processing using
In each photographing step in which each of the image data is acquired by the photographing device, an object of each of the image data and at least an image acquisition section of the photographing device are arranged inside the accommodating portion, and the accommodating portion 2. An image data acquisition system, wherein the illuminance for the object is set to be the same by the illuminating means and the photographing background specifications are set to be the same by the illuminating means in a state in which external light is blocked.
JP2021083227A 2021-05-17 2021-05-17 Image data acquisition method and acquisition system Active JP7281500B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021083227A JP7281500B2 (en) 2021-05-17 2021-05-17 Image data acquisition method and acquisition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021083227A JP7281500B2 (en) 2021-05-17 2021-05-17 Image data acquisition method and acquisition system

Publications (2)

Publication Number Publication Date
JP2022176681A true JP2022176681A (en) 2022-11-30
JP7281500B2 JP7281500B2 (en) 2023-05-25

Family

ID=84234158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021083227A Active JP7281500B2 (en) 2021-05-17 2021-05-17 Image data acquisition method and acquisition system

Country Status (1)

Country Link
JP (1) JP7281500B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003195394A (en) * 2001-12-25 2003-07-09 Raax Co Ltd Outer periphery image recorder
JP2005257492A (en) * 2004-03-12 2005-09-22 Hitachi Industries Co Ltd Detector for foreign matter in container
JP2013088116A (en) * 2011-10-13 2013-05-13 Yonden Gijutsu Consultant:Kk Computerization system for boring core
WO2013177434A2 (en) * 2012-05-24 2013-11-28 Abbvie Inc. Systems and methods for detection of particles in a beneficial agent
JP2016085117A (en) * 2014-10-27 2016-05-19 国立研究開発法人農業・食品産業技術総合研究機構 Freshness determining method using digital camera image data
JP2017187882A (en) * 2016-04-04 2017-10-12 セイコーエプソン株式会社 Computer program used for image processing
JP2019120501A (en) * 2017-12-28 2019-07-22 日本ビジュアルサイエンス株式会社 Picture-taking system, image processing device, and image processing method
WO2019171121A1 (en) * 2018-03-05 2019-09-12 Omron Corporation Method, device, system and program for setting lighting condition and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003195394A (en) * 2001-12-25 2003-07-09 Raax Co Ltd Outer periphery image recorder
JP2005257492A (en) * 2004-03-12 2005-09-22 Hitachi Industries Co Ltd Detector for foreign matter in container
JP2013088116A (en) * 2011-10-13 2013-05-13 Yonden Gijutsu Consultant:Kk Computerization system for boring core
WO2013177434A2 (en) * 2012-05-24 2013-11-28 Abbvie Inc. Systems and methods for detection of particles in a beneficial agent
JP2016085117A (en) * 2014-10-27 2016-05-19 国立研究開発法人農業・食品産業技術総合研究機構 Freshness determining method using digital camera image data
JP2017187882A (en) * 2016-04-04 2017-10-12 セイコーエプソン株式会社 Computer program used for image processing
JP2019120501A (en) * 2017-12-28 2019-07-22 日本ビジュアルサイエンス株式会社 Picture-taking system, image processing device, and image processing method
WO2019171121A1 (en) * 2018-03-05 2019-09-12 Omron Corporation Method, device, system and program for setting lighting condition and storage medium

Also Published As

Publication number Publication date
JP7281500B2 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US7782451B2 (en) Device for and method of inspecting surface condition having different curvatures
CN1556914A (en) Apparatus for measuring thickness profile and refractive index distribution of multiple layers of thin films by means of two-dimensional reflectometry and method of measuring the same
CN102412170A (en) System and method for capturing illumination reflected in multiple directions
JP2005128535A (en) Support apparatus and method for use with camera and strobe lights
Dellepiane et al. High Quality PTM Acquisition: Reflection Transformation Imaging for Large Objects.
US20200092468A1 (en) Multi-range imaging system and method
JP6392922B1 (en) Apparatus for calculating region that is not subject to inspection of inspection system, and method for calculating region that is not subject to inspection
JP7281500B2 (en) Image data acquisition method and acquisition system
US20200049631A1 (en) System and Method to Automatically Generate Valuable Cutting Plans for a Rough Gemstone
JP7149361B2 (en) Systems and methods for assessing potential for bubble formation in structures
CN114152410A (en) Visual light source detection system and detection method
JP2023140336A (en) Method of inspecting coated surface for coating defects
Sebar et al. A low-cost automatic acquisition system for photogrammetry
CN207460398U (en) For the test fixture of testing lens parsing power
CN107432070A (en) The calibration of optical sensor
CN114441450A (en) Multi-metal nodule typical characteristic simulation analysis device and method
JP2010223933A (en) Device for producing discrimination condition of color space and image inspecting device using the same
WO2022244270A1 (en) Sediment characteristic estimation method and characteristic estimation system
KR960706633A (en) How to measure autohandlers and devices using them
KR20190042179A (en) Cover-glass analyzing apparatus
CN104865047B (en) The optical detection apparatus of combined type object distance
JP2023501525A (en) Offline troubleshooting and development for automated visual inspection stations
JP2021117124A (en) Sediment characteristic estimation method and characteristic estimation system
JP2011107121A (en) Color space discrimination condition generator and image inspection device
RU201116U1 (en) DIGITAL COLORIMETER

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230515

R150 Certificate of patent or registration of utility model

Ref document number: 7281500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150