JP2019165658A - Plant growth indicator measuring apparatus, method and program - Google Patents
Plant growth indicator measuring apparatus, method and program Download PDFInfo
- Publication number
- JP2019165658A JP2019165658A JP2018055385A JP2018055385A JP2019165658A JP 2019165658 A JP2019165658 A JP 2019165658A JP 2018055385 A JP2018055385 A JP 2018055385A JP 2018055385 A JP2018055385 A JP 2018055385A JP 2019165658 A JP2019165658 A JP 2019165658A
- Authority
- JP
- Japan
- Prior art keywords
- map
- pixel
- plant
- color information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、植物画像の解析技術に係り、詳しくは、植物画像から対象とする植物のピクセルを抽出し、植物の高さなど植物の生育指標を数値として取得する植物生育指標測定装置、方法およびプログラムに関する。 The present invention relates to a plant image analysis technique, and more specifically, a plant growth index measuring apparatus, method, and method for extracting a target plant pixel from a plant image and acquiring a plant growth index such as a plant height as a numerical value. Regarding the program.
近年、農業の近代化による生産性の向上等を目的とした農業ビッグデータの構築が重要視されている。特に圃場の環境データは、従来勘と経験によって行われていた栽培技術を「見える化」し、技術継承の体系化を進める上で重要な情報である。圃場の環境データの蓄積は各種センサー（温度、湿度、日射量等）の設置によって実現が可能であるが、それらのデータが植物の生育にどのように寄与しているのかを知るためには、植物の生育状態を数値として継続的に取得する必要がある。 In recent years, construction of agricultural big data for the purpose of improving productivity by modernizing agriculture has been emphasized. In particular, the environmental data of the field is important information to “visualize” the cultivation techniques that have been performed based on intuition and experience, and to promote the systematization of the technology succession. Accumulation of field environmental data can be realized by installing various sensors (temperature, humidity, amount of solar radiation, etc.), but in order to know how these data contribute to plant growth, It is necessary to continuously acquire the growth state of the plant as a numerical value.
このため、従来から植物を撮影した画像から対象とする植物の生育指標を測定する技術が提案されている。 For this reason, the technique which measures the growth index of the target plant from the image which image | photographed the plant conventionally is proposed.
例えば、特許文献１には、容器内の植物を撮影した画像から、対象植物の特徴量データを、画像処理を用いて数値化し、記憶する手段が開示されている。特許文献２には、畝に植立された農作物を撮影した画像から、対象農作物の高さを算出する手段が開示されている。特許文献３には、植物の上方から撮影した距離画像から、対象植物の高さを検出する手段が開示されている。また特許文献４には、画像スキャナで取り込んだ画像から植物の特徴量を抽出して、画像に含まれる植物の性質や状態を評価する装置が開示されている。 For example, Patent Document 1 discloses means for digitizing and storing feature amount data of a target plant using image processing from an image obtained by photographing a plant in a container. Patent Document 2 discloses a means for calculating the height of a target crop from an image obtained by photographing a crop planted on a fence. Patent Document 3 discloses means for detecting the height of a target plant from a distance image taken from above the plant. Patent Document 4 discloses an apparatus that extracts a feature amount of a plant from an image captured by an image scanner and evaluates the nature and state of the plant included in the image.
しかしながら、農業ビッグデータの収集という目的においては、温室内や路地など、様々な生育環境において、対象とする植物の生育指標を精度良く数値化する技術が望まれている。 However, for the purpose of collecting agricultural big data, a technique for accurately quantifying the growth index of a target plant in various growth environments such as in a greenhouse or an alley is desired.
本発明は、上述のかかる要求に鑑みて、安価な撮像装置を用いて任意の生育環境における植物の生育指標を精度良く数値化して保存することを可能とする植物生育指標測定装置、方法およびプログラムを提供することを目的とする。 In view of the above-described requirements, the present invention provides a plant growth index measuring apparatus, method, and program capable of accurately quantifying and storing a plant growth index in an arbitrary growth environment using an inexpensive imaging device. The purpose is to provide.
上記目的を達成するため、本発明に係る植物生育指標測定装置は、同一の対象植物を略同一時刻に撮影した１枚または複数枚の色情報マップに対し、各ピクセルにおける空間座標マップを計算する空間座標変換手段と、色情報マップと空間座標マップをピクセル毎に結合した色空間合成マップに対し、対象植物の占めるピクセル領域を抽出する対象領域抽出手段と、抽出されたピクセル領域から対象植物の生育指標を演算する生育指標演算手段とを備えたことを特徴とする。 In order to achieve the above object, the plant growth index measuring apparatus according to the present invention calculates a spatial coordinate map in each pixel for one or a plurality of color information maps obtained by photographing the same target plant at substantially the same time. Spatial coordinate conversion means, target area extraction means for extracting a pixel area occupied by the target plant with respect to a color space composite map obtained by combining the color information map and the spatial coordinate map for each pixel, and the target plant from the extracted pixel area A growth index calculating means for calculating the growth index is provided.
ここで、生育指標とは、生育度合いを把握可能なデータを意味し、例えば植物の高さ、縦・横方向のサイズや面積、あるいは形状などの情報を含む趣旨である。 Here, the growth index means data capable of grasping the degree of growth, and includes information such as the height of the plant, the size and area in the vertical and horizontal directions, and the shape.
本発明では、対象植物の持つ色と３次元実空間上の位置情報（空間座標）を用いることで、色情報や実空間情報単体では識別困難な撮影環境においても、高い精度で対象植物のピクセル領域を抽出することが可能となる。また空間座標マップの各ピクセルの値として独立した３次元座標を採用することで、実空間上での対象植物の生育指標を容易に得ることができる。 In the present invention, by using the color of the target plant and positional information (spatial coordinates) in the three-dimensional real space, the pixel of the target plant can be obtained with high accuracy even in a shooting environment that is difficult to identify with color information or real space information alone. An area can be extracted. In addition, by adopting independent three-dimensional coordinates as the value of each pixel of the spatial coordinate map, it is possible to easily obtain the growth index of the target plant in the real space.
上記植物生育指標測定装置へ入力される色情報マップは、同一の対象植物が色情報と距離情報を取得できる１台の撮像装置または色情報を取得できる複数台の撮像装置によって撮影されたものである。 The color information map input to the plant growth index measuring device is taken by one imaging device that can acquire color information and distance information from the same target plant, or by a plurality of imaging devices that can acquire color information. is there.
上記複数の撮像装置は撮影時刻における各撮像装置間の相対位置と相対角度が既知であるか、撮影時刻における各撮像装置間の外部パラメータ（例えば、回転行列と並進ベクトル）が既知である。このことにより、上記空間座標変換手段が空間座標マップを計算する際に、実空間内における相対座標を校正することが可能となる。 The plurality of imaging devices have known relative positions and relative angles between the imaging devices at the photographing time, or external parameters (for example, rotation matrix and translation vector) between the imaging devices at the photographing time. This makes it possible to calibrate the relative coordinates in the real space when the spatial coordinate conversion means calculates the spatial coordinate map.
上記空間座標変換手段は、複数枚の色情報マップにおける視差マップを基に、上記相対位置と相対角度の両方か、または上記外部パラメータを使用した校正により１枚の上記空間座標マップを得ることができる。あるいは上記空間座標変換手段は類似環境において撮影された色情報マップを教師データとした機械学習的な手法によって訓練された手法を用いても良い。 The spatial coordinate conversion means can obtain one spatial coordinate map by calibration using both the relative position and the relative angle or the external parameter based on the parallax map in the plurality of color information maps. it can. Alternatively, the spatial coordinate conversion means may use a method trained by a machine learning method using a color information map taken in a similar environment as teacher data.
植物生育指標測定装置は、色情報マップや空間情報マップ、あるいは色空間合成マップの各ピクセルの特徴量に対して表現方法変換手段を用いるようにしても良い。これによって、より効率的に対象植物の占めるピクセル領域を抽出することが可能となる。 The plant growth index measuring device may use expression method conversion means for the feature quantity of each pixel of the color information map, the spatial information map, or the color space composition map. This makes it possible to extract a pixel region occupied by the target plant more efficiently.
上記表現方法変換手段としては、たとえば式［数１］で示すRGB表色系からCIE L*a*b*表色系への変換を用いても良い。このことによって、色情報の類似度を単純なユークリッド距離にて測定することが可能となる。
上記表現方法変換手段としては、たとえば図７や式［数２］で示す直交座標系の変換か、式［数３］で示す直交座標系と極座標系の相互変換を用いても良い。このことによって、対象植物の分布に応じた適切な空間座標を利用した対象領域の抽出が可能となる。
また上記対象領域抽出手段は、入力とする色空間合成マップの各ピクセルの値を特徴量として、各ピクセルをサンプルとした特徴量空間におけるノルムを指標としたクラスタリング手法を用いても良い。このことにより、単一条件の撮影画像から、対象植物を代表する特徴量が属するクラスタを選び出すことで、対象植物の占めるピクセル領域を抽出することが可能となる。 The target area extracting means may use a clustering technique in which the value of each pixel of the input color space composition map is used as a feature quantity, and the norm in the feature quantity space using each pixel as a sample is used as an index. This makes it possible to extract a pixel region occupied by the target plant by selecting a cluster to which a feature amount representing the target plant belongs from a captured image of a single condition.
上記対象領域抽出手段は、入力とする色空間合成マップの各ピクセルの値を特徴量として、各ピクセルをサンプルとした特徴量空間において、予め機械学習的な手法によって訓練された分類手法によって、各サンプルが対象植物の占めるピクセル領域に属するか否かを判断しても良い。このことにより、類似環境において撮影された色情報マップから得られた対象植物の特徴量空間に占めるパターンを利用することで、高精度かつ高速に対象植物の占めるピクセル領域を抽出することが可能となる。 The target area extracting means uses the value of each pixel of the input color space composition map as a feature amount, and in a feature amount space using each pixel as a sample, each classification method trained in advance by a machine learning method It may be determined whether the sample belongs to a pixel region occupied by the target plant. This makes it possible to extract the pixel area occupied by the target plant with high accuracy and at high speed by using the pattern occupying the feature amount space of the target plant obtained from the color information map taken in the similar environment. Become.
上記植物生育指標測定装置における生育指標演算手段は、色空間合成マップから抽出された対象領域について、たとえば当該対象領域の各ピクセルの特徴量のうち、実空間における鉛直上向き座標の最大値を対象植物の高さとして取得することができる。 The growth index calculating means in the plant growth index measuring device uses, for example, the maximum value of vertical upward coordinates in the real space of the target area extracted from the color space synthesis map, for example, among the feature quantities of each pixel of the target area. Can be obtained as a height.
本発明に係る植物生育指標測定方法は、通信ネットワークを介して送られてくる同一の対象植物を略同一時刻に撮影した複数枚の色情報マップから視差マップを生成する段階と、当該視差マップをもとに各ピクセルにおける空間座標マップを生成する段階と、色情報マップと前記空間座標マップをピクセル毎に結合した色空間合成マップを生成する段階と、当該色空間合成マップにおいて対象植物の占めるピクセル領域を抽出する段階と、抽出されたピクセル領域から対象植物の生育指標を演算する段階と、を含むことを特徴とする。 The plant growth index measuring method according to the present invention includes a step of generating a parallax map from a plurality of color information maps obtained by photographing the same target plant sent via a communication network at substantially the same time, and the parallax map A step of generating a spatial coordinate map for each pixel, a step of generating a color space composite map obtained by combining the color information map and the spatial coordinate map for each pixel, and a pixel occupied by the target plant in the color space composite map The method includes a step of extracting a region and a step of calculating a growth index of the target plant from the extracted pixel region.
本発明に係るプログラムは、上記植物生育指標演算装置で動作するコンピュータ実行可能なプログラムであって、同一の対象植物を略同一時刻に撮影した複数枚の色情報マップから視差マップを生成する視差マップ取得処理と、当該視差マップをもとに各ピクセルにおける空間座標マップを計算する空間座標変換処理と、色情報マップと前記空間座標マップをピクセル毎に結合した色空間合成マップに対し、対象植物の占めるピクセル領域を抽出する対象領域抽出処理と、を実行することを特徴とする。 A program according to the present invention is a computer-executable program that operates on the plant growth index calculation apparatus, and generates a parallax map from a plurality of color information maps obtained by photographing the same target plant at substantially the same time. An acquisition process, a spatial coordinate conversion process for calculating a spatial coordinate map in each pixel based on the parallax map, and a color space synthesis map obtained by combining the color information map and the spatial coordinate map for each pixel; And a target area extracting process for extracting the occupied pixel area.
以上のごとく、本発明によれば、安価な撮像装置によって一般的なカラー画像として撮影された対象植物について、任意の生育指標情報を実空間の座標系に基づいて精度良く取得することが可能となる。 As described above, according to the present invention, it is possible to accurately acquire arbitrary growth index information based on a real space coordinate system for a target plant photographed as a general color image by an inexpensive imaging device. Become.
さらに、色情報と実空間情報との合成情報に基づいて対象植物のピクセル領域を抽出するため、植物の生育環境やカメラの設置方法についての制約が大幅に軽減される。 Furthermore, since the pixel area of the target plant is extracted based on the combined information of the color information and the real space information, restrictions on the plant growth environment and the camera installation method are greatly reduced.
上記手法により、例えば農作業の見える化において困難とされていた、農作物の生育情報の数値データの蓄積の自動化が容易となり、農業ビッグデータを活用したサービスの展開に向けた大いなる貢献が見込まれる。 By the above method, for example, it is easy to automate the accumulation of numerical data of crop growth information, which has been considered difficult for visualization of agricultural work, and a great contribution toward the development of services using agricultural big data is expected.
以下に、本発明の実施形態を図面に基づいて説明する。
図１は、植物生育指標測定システムのハードウェア構成図である。この図において、植物生育指標測定システム１は、観察対象の植物側に設置される情報取得装置１０と、この情報取得装置１０から通信ネットワーク５を介して送られてくるデータを処理するデータ処理サーバー（植物生育指標測定装置）２０から構成される。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a hardware configuration diagram of a plant growth index measurement system. In this figure, a plant growth index measurement system 1 includes an information acquisition device 10 installed on the observation target plant side and a data processing server that processes data sent from the information acquisition device 10 via the communication network 5. (Plant growth index measuring device) 20.
情報取得装置１０は、対象植物を撮影するための一又は二以上の撮像装置１４（１４ａ，１４ｂ，・・）と、撮影した色情報マップのデータを記録する記憶装置１３と、保存されている色情報マップのデータを無線または有線の通信ネットワーク５を介してデータ処理サーバー２０へ送信する通信装置１２と、上記撮像装置１４と記憶装置１３と通信装置１２を制御するための制御装置１１を備えている。データ処理サーバー２０は情報取得装置１０から色情報マップのデータを受信する通信装置２２と、受信した色情報マップのデータや処理結果を記録する記憶装置２３と、この色情報マップのデータを用いて演算処理を行う演算装置２１を備えている。 The information acquisition device 10 is stored with one or more imaging devices 14 (14a, 14b,...) For photographing a target plant, a storage device 13 for recording data of the photographed color information map, and the like. A communication device 12 for transmitting color information map data to the data processing server 20 via a wireless or wired communication network 5, and a control device 11 for controlling the imaging device 14, the storage device 13, and the communication device 12 are provided. ing. The data processing server 20 uses the communication device 22 that receives the color information map data from the information acquisition device 10, the storage device 23 that records the received color information map data and processing results, and the color information map data. An arithmetic device 21 that performs arithmetic processing is provided.
次に、上記の構成を有する植物生育指標測定システム１の各装置について詳述する。
（カメラ）
情報取得装置１０の撮像装置１４は１個または複数個のWebカメラ等の色画像をデジタル情報として撮影可能な装置で、制御装置１１の指令によって任意のタイミングで撮影を行う。
Next, each device of the plant growth index measuring system 1 having the above configuration will be described in detail.
(camera)
The imaging device 14 of the information acquisition device 10 is a device capable of capturing a color image such as one or a plurality of Web cameras as digital information, and performs imaging at an arbitrary timing according to a command from the control device 11.
（ローカルストレージ）
情報取得装置１０の記憶装置１３はハードディスクやフラッシュメモリーなどのデジタル情報の記憶装置で、撮像装置１４の撮影した色情報マップや、制御装置１１が実行するプログラム等を保存する。
(Local storage)
The storage device 13 of the information acquisition device 10 is a digital information storage device such as a hard disk or a flash memory, and stores a color information map taken by the imaging device 14, a program executed by the control device 11, and the like.
（ローカル通信機）
情報取得装置１０の通信装置１２は通信ネットワーク５を介してデータ処理サーバー２０へ色情報マップ４１を送信する。
(Local communication device)
The communication device 12 of the information acquisition device 10 transmits the color information map 41 to the data processing server 20 via the communication network 5.
（ローカルCPU）
情報取得装置１０の制御装置１１はCPUなどの演算処理装置で、撮像装置１４への撮影指令や通信装置１２への送受信命令などを行う。
(Local CPU)
The control device 11 of the information acquisition device 10 is an arithmetic processing device such as a CPU, and issues a shooting command to the imaging device 14 and a transmission / reception command to the communication device 12.
（サーバー通信機）
データ処理サーバー２０の通信装置２２は通信ネットワーク５を介して情報取得装置１０から送られてくる色情報マップ４１を受信する。
(Server communication device)
The communication device 22 of the data processing server 20 receives the color information map 41 sent from the information acquisition device 10 via the communication network 5.
（サーバーストレージ）
データ処理サーバー２０の記憶装置２３はハードディスクやフラッシュメモリーなどのデジタル情報の記憶装置で、解析対象の色情報マップ４１や、演算途中のデータや演算結果、演算装置２１が実行するプログラム等を保存する。なお、情報取得装置１０の制御装置１１のプログラムをダウンロード可能に記憶装置２３に保存しておいても良い。
(Server storage)
The storage device 23 of the data processing server 20 is a storage device for digital information such as a hard disk or flash memory, and stores a color information map 41 to be analyzed, data and calculation results in the middle of calculation, a program executed by the calculation device 21, and the like. . Note that the program of the control device 11 of the information acquisition device 10 may be stored in the storage device 23 so as to be downloadable.
（サーバーCPU）
データ処理サーバー２０の演算装置２１はCPUやGPUなどの演算処理装置で、生育指標測定のための種々の手段（プログラム）を実行する。
(Server CPU)
The arithmetic device 21 of the data processing server 20 is an arithmetic processing device such as a CPU or a GPU, and executes various means (programs) for measuring the growth index.
次に、上記構成における植物生育指標測定システム１の動作の流れを説明する。なお、概略手順を図５に示す。 Next, the flow of operation of the plant growth index measurement system 1 having the above configuration will be described. The general procedure is shown in FIG.
１．初期設定（内部パラメータ、外部パラメータ）
はじめに、撮像装置１４の各々の歪みなどを補正する内部パラメータと、複数の撮像装置１４間の相対的な座標系を校正する外部パラメータを取得し、データ処理サーバー２０の記憶装置２３に記録する。内部パラメータと外部パラメータが既知でない場合は、パラメータ校正用被写体を１枚または複数枚同時に撮影し、内部パラメータと外部パラメータを推定演算する。
1. Initial setting (internal parameters, external parameters)
First, an internal parameter that corrects each distortion of the imaging device 14 and an external parameter that calibrates the relative coordinate system between the plurality of imaging devices 14 are acquired and recorded in the storage device 23 of the data processing server 20. When the internal parameter and the external parameter are not known, one or a plurality of parameter calibration subjects are photographed simultaneously, and the internal parameter and the external parameter are estimated and calculated.
パラメータ校正用被写体は、例えば等間隔の市松模様が印刷された板を使用する。実空間座標と図３に示すマップのピクセル配置との対応関係を表す内部パラメータと外部パラメータの推定値は、例えば式［数４］に示す式で求めることができる。
ｒij（i=1〜3, j=1〜3）は、回転ベクトルを表す。
ｃｘ，ｃｙは、レンズの主点座標を表す。ｆｘ、ｆｙは、レンズの焦点座標を表す。
ｃ，ｒは、画像のピクセル座標を表す。
As the parameter calibration subject, for example, a plate on which a checkered pattern with equal intervals is printed is used. The estimated values of the internal parameter and the external parameter representing the correspondence relationship between the real space coordinates and the pixel arrangement of the map shown in FIG. 3 can be obtained by, for example, an expression shown in Expression [4].
rij (i = 1 to 3, j = 1 to 3) represents a rotation vector.
cx and cy represent the principal point coordinates of the lens. fx and fy represent the focal coordinates of the lens.
c and r represent pixel coordinates of the image.
２．座標系校正（実世界とカメラのxyz）
次に、撮像装置１４を中心とした座標系と、対象とする環境を中心とした座標系との変換行列を取得する。その際、座標系の変換行列が既知で無い場合は、対象とする環境設置した座標系校正用被写体を撮影し、式［数４］に示す座標系の変換行列を推定する。
2. Coordinate system calibration (real world and camera xyz)
Next, a transformation matrix between the coordinate system centered on the imaging device 14 and the coordinate system centered on the target environment is acquired. At this time, if the coordinate system conversion matrix is not known, the target coordinate system calibration object installed in the environment is photographed, and the coordinate system conversion matrix shown in Equation 4 is estimated.
座標系校正用被写体は、例えば市松模様のような既知のパターンが印刷された板を使用する。座標系の変換行列の推定は、例えば撮像装置１４によって撮影された上記座標系校正被写体のピクセル上の位置と回転角から算出する。 As the coordinate system calibration subject, a plate on which a known pattern such as a checkered pattern is printed is used. The estimation of the transformation matrix of the coordinate system is calculated from the position on the pixel and the rotation angle of the coordinate system calibration subject photographed by the imaging device 14, for example.
３．データ取得（写真を撮ってサーバーにアップする）
次に、情報取得装置１０は撮像装置１４によって対象植物を撮影し、得られた色情報マップ４１（４１ａ，４１ｂ，・・・）を記憶装置１３へ記録する。そして、上記記録された色情報マップ４１の複製データは制御装置１１の命令によって、通信装置１２を介してデータ処理サーバー２０へ送信される。
3. Data acquisition (take a picture and upload it to the server)
Next, the information acquisition device 10 photographs the target plant with the imaging device 14 and records the obtained color information map 41 (41 a, 41 b,...) In the storage device 13. Then, the recorded duplicate data of the color information map 41 is transmitted to the data processing server 20 via the communication device 12 in accordance with an instruction from the control device 11.
４．データ処理（メインアルゴリズム）
データ処理サーバー２０は通信装置２２を介して色情報マップ４１を取得し、前記取得した色情報マップ４１を記憶装置２３へ記録する。演算装置２１はこの色情報マップ４１を入力して、対象植物の生育指標情報を出力する。
4). Data processing (main algorithm)
The data processing server 20 acquires the color information map 41 via the communication device 22 and records the acquired color information map 41 in the storage device 23. The arithmetic unit 21 inputs this color information map 41 and outputs the growth index information of the target plant.
以下に、演算装置２１の行う生育指標情報の演算方法の手順を図２の機能説明図に基づいて述べる。この図において、演算装置２１は、同一の対象植物を同一時刻に撮影した複数枚の色情報マップから視差マップを生成する視差マップ取得手段３１、当該視差マップをもとに各ピクセルにおける空間座標マップを計算する空間座標変換手段３２、色情報マップを別の表色系の色情報マップに変換する色情報変換手段３３、変換後の色情報マップと前記空間座標マップをピクセル毎に結合した色空間合成マップに対し、対象植物の占めるピクセル領域を抽出する対象領域抽出手段３４、及び対象領域抽出手段３４によって抽出されたピクセル領域について所定の生育指標を求める生育指標演算手段３５を備えている。各手段３１〜３５はコンピュータの機能としてプログラムによって実現可能である。 Below, the procedure of the calculation method of the growth index information performed by the calculation device 21 will be described based on the functional explanatory diagram of FIG. In this figure, the arithmetic unit 21 is a parallax map acquisition unit 31 that generates a parallax map from a plurality of color information maps obtained by photographing the same target plant at the same time, and a spatial coordinate map in each pixel based on the parallax map. Space coordinate conversion means 32 for calculating color information, color information conversion means 33 for converting the color information map into a color information map of another color system, and a color space obtained by combining the converted color information map and the space coordinate map for each pixel. A target area extracting means 34 for extracting a pixel area occupied by the target plant with respect to the composite map, and a growth index calculating means 35 for obtaining a predetermined growth index for the pixel area extracted by the target area extracting means 34 are provided. Each means 31-35 is realizable by a program as a function of a computer.
（１）視差マップ取得処理
はじめに、視差マップ取得手段３１は、複数の色情報マップ４１（４１ａ，４１ｂ，・・・）間における視差マップ４２を出力する。なお視差マップ取得の前に、上記内部パラメータ及び外部パラメータを利用した画像の校正を行っても良い。この画像の校正は、データ処理サーバー２０側で行なっても良いし、情報取得装置１０側で行って構成済みの画像（色情報マップ）をデータ処理サーバー２０へ送信するようにしても良い。
(1) Parallax map acquisition process First, the parallax map acquisition means 31 outputs the parallax map 42 between the several color information maps 41 (41a, 41b, ...). Note that before the parallax map is acquired, the image may be calibrated using the internal parameter and the external parameter. This image calibration may be performed on the data processing server 20 side, or may be performed on the information acquisition apparatus 10 side, and the configured image (color information map) may be transmitted to the data processing server 20.
視差マップ４２として、複数の色情報マップ４１のうち基準となる色情報マップ４１に対して、それ以外の色情報マップについて、実空間における同一部分を示すピクセル同士のユークリッド距離を利用してもよい。また、同一部分の検出には、基準ピクセル付近の２次元領域について、パターンマッチングを利用してもよい。 As the parallax map 42, the Euclidean distance between pixels indicating the same part in the real space may be used for the color information map 41 serving as a reference among the plurality of color information maps 41 for the other color information maps. . Further, for the detection of the same portion, pattern matching may be used for a two-dimensional region near the reference pixel.
（２）空間座標取得処理
次に、３次元実空間の空間座標変換手段３２は、上記出力された視差マップ４２と外部パラメータ及び座標系の変換行列を用いて、基準となる色情報マップ４１の各ピクセルにおける空間座標マップ４３を出力する。空間座標マップ４３の各ピクセルはそれぞれ、撮影対象の存在する実空間の座標系における３次元座標情報を保有する。こうすることで、対象植物の占める空間領域とそれ以外の空間領域を容易に分割することができる。
(2) Spatial coordinate acquisition processing Next, the spatial coordinate conversion means 32 of the three-dimensional real space uses the output parallax map 42, the external parameters, and the conversion matrix of the coordinate system to generate a reference color information map 41. A spatial coordinate map 43 at each pixel is output. Each pixel of the spatial coordinate map 43 has three-dimensional coordinate information in the coordinate system of the real space where the imaging target exists. By doing so, it is possible to easily divide the space area occupied by the target plant and the other space areas.
（３）色情報変換処理
一方、色情報変換手段３３は、基準となる色情報マップ４１の各ピクセルにおける色表現を、任意の色空間へと変換した色情報マップ４４を出力する。例えば色情報マップがRGB表色系で表現されていた場合、式［数１］によってCIE L*a*b*表色系へと変換しても良い。その他にも、HSV表色系への変換や恒等変換などを用いても良い。このようにすることで、対象植物の占める色領域とそれ以外の色領域を容易に分割することができる。
(3) Color Information Conversion Processing On the other hand, the color information conversion means 33 outputs a color information map 44 obtained by converting the color expression in each pixel of the reference color information map 41 into an arbitrary color space. For example, when the color information map is expressed in the RGB color system, the color information map may be converted into the CIE L * a * b * color system by the formula [Equation 1]. In addition, conversion to the HSV color system or identity conversion may be used. By doing in this way, the color area which an object plant occupies, and other color areas can be divided easily.
（４）植物領域抽出処理
次に、対象領域抽出手段３４は、色情報マップ４４と空間座標マップ４３の対応する各ピクセルの色情報及び実空間座標情報から生成された色空間合成マップ４５に基づいて、各ピクセルが対象植物を示しているかどうかの判定を行う。図６は、各マップ４１〜４５のデータ例である。丸括弧内の符合は、図２の符合に対応している。
(4) Plant Region Extraction Processing Next, the target region extraction means 34 is based on the color space synthesis map 45 generated from the color information and real space coordinate information of each corresponding pixel in the color information map 44 and the space coordinate map 43. Then, it is determined whether each pixel indicates the target plant. FIG. 6 is a data example of each map 41-45. The sign in parentheses corresponds to the sign in FIG.
対象領域抽出手段３４は当該判定の結果、対象領域４６の情報として、対象植物を示していると判定したピクセルのピクセル番号，このピクセルに対応する色情報及び実空間座標情報を出力する。 As a result of the determination, the target area extraction unit 34 outputs the pixel number of the pixel determined to indicate the target plant, the color information corresponding to the pixel, and the real space coordinate information as information of the target area 46.
対象植物を示しているかどうかの判定手法は、各ピクセルを独立したサンプルとして、色情報及び実空間座標情報を特徴量とした２値分類問題であるため、サポートベクターマシンやニューラルネットワークなどの教師あり学習器や、クラスタリングなどの教師なし学習器を用いることができる。図４に対象領域か否かの２値分類の概念を示す。特徴量空間において破線で示した決定平面（分離超平面）を境に、丸印で示した対象領域と、×印で示した非対象領域が分離される。 The method of determining whether or not the target plant is indicated is a binary classification problem with each pixel as an independent sample and color information and real space coordinate information as feature quantities, so there is a teacher such as a support vector machine or a neural network. A learning device or an unsupervised learning device such as clustering can be used. FIG. 4 shows the concept of binary classification of whether or not the target region. In the feature amount space, a target area indicated by a circle and a non-target area indicated by an x are separated with a decision plane (separation hyperplane) indicated by a broken line as a boundary.
教師あり学習器を利用する場合は、あらかじめ同一条件で撮影され、対象領域とそれ以外の領域のラベルが存在する画像を教師データとして、教師データとの差異が小さくなるように教師あり学習器のパラメータを、勾配降下法などを用いて最適化する。 When using a supervised learning device, the image of the supervised learning device is preliminarily captured under the same conditions, and the difference between the target data and the other region is set as supervising data so that the difference between the supervising data becomes small. The parameters are optimized using a gradient descent method or the like.
教師なし学習器として、たとえばクラスタリングを利用する場合、k-means法などの手法によって各ピクセルを任意の数のクラスタとして分離し、ユーザーによって与えられた対象植物の代表的な色情報及び実空間情報を参照特徴量とし、参照特徴量とのユークリッド距離が最小となるクラスタ中心を持つクラスタに属するピクセルを対象領域として取得する。 For example, when using clustering as an unsupervised learner, each pixel is separated into an arbitrary number of clusters by a technique such as the k-means method, and representative color information and real space information of the target plant given by the user And a pixel belonging to a cluster having a cluster center at which the Euclidean distance from the reference feature amount is minimum is acquired as a target region.
上述した判定手法は、各ピクセルの特徴量の全ての元を使う必要は無く、また、元同士の組み合わせによって新しい元を生成しても良い。 In the determination method described above, it is not necessary to use all elements of the feature amount of each pixel, and a new element may be generated by combining elements.
（５）生育指標演算処理
生育指標演算手段３５は、対象領域の各ピクセルにおける実空間情報の分布から、対象植物に関する目的とする生育指標を取得する。生育指標は、例えば実空間情報のうち鉛直上向き方向の最大値を、対象植物の高さ情報として取得することができる。生育指標としては、これに限らず、例えば対象領域の幅や面積、あるいは特定の形状とすることができる。
(5) Growth Index Calculation Processing The growth index calculation means 35 acquires a target growth index related to the target plant from the distribution of real space information in each pixel of the target region. As the growth index, for example, the maximum value in the vertical upward direction of the real space information can be acquired as the height information of the target plant. The growth index is not limited to this, and may be, for example, the width and area of the target region or a specific shape.
以上説明したように、本実施の形態では、カメラで撮影した農作物の色情報を、当該色情報とは異なる色空間へと変換して植物の育成指標を数値化する。特に、撮影画像の色情報と実空間情報を利用して葉領域ピクセルを抽出すること、ピクセルのRGB情報をCIE L*a*b*空間などに色の表現を変換すること、ピクセルの抽出のために色情報と空間情報を使ったクラスタリングを採用すること、生育指標の演算方法として例えば抽出した葉領域ピクセルの鉛直上向きの空間座標の最大値を作物の高さとすること、ピクセル領域抽出のために学習的な分類機を使うことなどを特徴としている。また、複数のカメラを用いる場合は、複数カメラで同期撮影した画像から３次元空間情報を計算すること、複数カメラの相対位置を固定し、内部パラメータと外部パラメータを取得すること、複数画像の視差マップを求め、各ピクセルの３次元空間情報を計算することなどを特徴としている。 As described above, in the present embodiment, the color information of a crop taken by a camera is converted into a color space different from the color information, and the plant growth index is digitized. In particular, extract leaf region pixels using color information and real space information of captured images, convert pixel RGB information into CIE L * a * b * space, etc., pixel extraction For this purpose, the clustering using color information and spatial information is adopted, the growth index calculation method is, for example, the maximum value of the vertical spatial coordinates of the extracted leaf area pixels as the crop height, and pixel area extraction. It is characterized by using a learning classifier. When using a plurality of cameras, calculating three-dimensional spatial information from images synchronously captured by the plurality of cameras, fixing the relative positions of the plurality of cameras, acquiring internal parameters and external parameters, and parallax of the plurality of images It is characterized by obtaining a map and calculating three-dimensional spatial information of each pixel.
本実施の形態によれば、植物の生育環境やカメラの設置方法について制約が軽減され、これにより、農作業の見える化において困難とされていた、農作物の生育指標の数値データの蓄積の自動化が容易となる。また、各種環境データと作物の生長度を同時に取得・記録することが可能となり、従来のデータでは困難であった環境と成長との因果関係の解析への有用な情報が蓄積されることが期待できる。 According to the present embodiment, restrictions on the plant growth environment and the camera installation method are reduced, which makes it easy to automate the accumulation of numerical data of crop growth indicators, which has been difficult in visualizing farm work. It becomes. In addition, it is possible to acquire and record various environmental data and crop growth at the same time, and it is expected that useful information for analysis of causal relationship between environment and growth, which was difficult with conventional data, will be accumulated. it can.
２値分類手法として教師なし学習であるクラスタリングを利用し、実際の圃場を撮影した画像に対して実施した。本実施例では、図１に示す構成において、２台のＷｅｂカメラから得られた視差画像からピクセルの空間座標を取得し、色情報と合わせた特徴量とすることで、各ピクセルを対象植物かどうかの２値分類によって対象ピクセルのみを抽出した。 Clustering, which is unsupervised learning, was used as a binary classification method, and it was carried out on images taken of actual fields. In the present embodiment, in the configuration shown in FIG. 1, the spatial coordinates of the pixels are obtained from the parallax images obtained from the two Web cameras, and the feature amount combined with the color information is used to determine whether each pixel is the target plant. Only the target pixel was extracted by binary classification.
図８に、本実施例によるハードウェアおよびソフトウェア構成を示す。以下、この図に基づいて、本実施例による植物生育指標測定システムの動作を説明する。 FIG. 8 shows a hardware and software configuration according to this embodiment. Hereinafter, the operation of the plant growth index measuring system according to the present embodiment will be described with reference to this figure.
まず、２台のｗｅｂカメラ１４ａ，１４ｂで、対象の植物を同時に撮影し、それぞれの撮影画像（色情報マップ）４１ａ，４１ｂを得る。 First, the target plants are simultaneously photographed by the two web cameras 14a and 14b, and the photographed images (color information maps) 41a and 41b are obtained.
次に、視差マップ取得手段３１により、この２枚の撮影画像４１ａ，４１ｂの対応するサブピクセルについて、Semiglobal matchingアルゴリズムを用いて、視差マップ（視差画像）４２を生成する。 Next, the parallax map acquisition unit 31 generates a parallax map (parallax image) 42 using the Semiglobal matching algorithm for the corresponding subpixels of the two captured images 41a and 41b.
続いて、空間座標変換手段３２により、この視差マップ４２から各ピクセルｉについて空間座標 （xi yi zi）Tを求め、空間座標マップ４３を生成する。 Subsequently, the spatial coordinate conversion means 32 obtains a spatial coordinate (xi yi zi) T for each pixel i from the parallax map 42 to generate a spatial coordinate map 43.
そして、上記各ピクセルの空間座標に加えて、色情報変換手段３３によってRGB表色系からCIE L*a*b*表色系へと変換された各ピクセルの色情報（Li ai bi）と合わせて、対象ピクセルの特徴量ベクトルvi＝（Li ai bi xi yi zi）Tを生成し、この特徴量ベクトルviに基づいて各ピクセルを対象植物か否かの２値分類をk-means法を用いた非階層クラスタリングを利用して行う。 In addition to the spatial coordinates of each pixel, the color information conversion means 33 matches the color information (Li ai bi) of each pixel converted from the RGB color system to the CIE L * a * b * color system. Then, a feature quantity vector vi = (Li ai bi xi yi zi) T of the target pixel is generated, and a binary classification of whether each pixel is a target plant based on this feature quantity vector vi is performed using the k-means method. This is done using non-hierarchical clustering.
このk-means法では、はじめに対象植物の代表的な色と空間座標を任意に設定し、代表特徴量vtとする。そして、k-means法によってｋ個のクラスタに分類された各ピクセルについて、クラスタ中心の座標が代表特徴量vtに最も近いクラスタに属するピクセルを、対象領域のピクセルとして抽出する。 In this k-means method, first, a representative color and spatial coordinates of a target plant are arbitrarily set to obtain a representative feature amount vt. Then, for each pixel classified into k clusters by the k-means method, a pixel belonging to the cluster whose cluster center coordinates are closest to the representative feature quantity vt is extracted as a pixel of the target region.
上記処理によりって抽出された対象領域４６のデータは対象植物の占める空間座標の情報を保有しているため、生育指標演算手段３５により、その鉛直上向き最大値を対象植物の成長高さ（生育指標）として取得する。 Since the data of the target region 46 extracted by the above processing holds information on the spatial coordinates occupied by the target plant, the growth index calculation means 35 sets the vertical upward maximum value to the growth height (growth of the target plant). As an index).
図９（ａ）（ｂ）に本実施例による色情報マップと抽出された対象領域のピクセルマップとを夫々示す。本実施例によれば、この抽出されたピクセルマップの空間高さの最大値として、対象植物の成長高さ（生育指標）を求めるので、従来に比べて簡便にかつ精度良く生育指標を取得することができる。 FIGS. 9A and 9B show a color information map according to the present embodiment and a pixel map of the extracted target area, respectively. According to the present embodiment, since the growth height (growth index) of the target plant is obtained as the maximum value of the spatial height of the extracted pixel map, the growth index is obtained more easily and accurately than in the past. be able to.
本発明は、上述の実施の形態に限定されることなく、その要旨を逸脱しない範囲で種々変形して実現することができる。例えば、視差マップ取得手段を対象植物側の情報取得装置に備え、情報取得装置からデータ処理サーバーへ色情報マップと共に、あるいは色情報マップに代えて、視差マップを送信するようにしても良い。他の手段についても同様である。 The present invention is not limited to the above-described embodiment, and can be implemented with various modifications without departing from the scope of the invention. For example, the parallax map acquisition unit may be provided in the information acquisition device on the target plant side, and the parallax map may be transmitted from the information acquisition device to the data processing server together with the color information map or instead of the color information map. The same applies to other means.
１ 植物生育指標測定システム
５ 通信ネットワーク
１０ 情報取得装置
１１ 制御装置
１２，２２ 通信装置
１３，２３ 記憶装置
１４（１４ａ，１４ｂ） 撮像装置（カメラ）
２０ データ処理サーバー（植物生育指標測定装置）
２１ 演算装置
３１ 視差マップ取得手段
３２ 空間座標変換手段
３３ 色情報変換手段（表現方法変換手段）
３４ 対象領域抽出手段
３５ 生育指標演算手段
４１（４１ａ，４１ｂ） 色情報マップ（撮影画像）
４２ 視差マップ
４３ 空間座標マップ
４４ 色情報マップ
４５ 色空間合成マップ
４６ 対象領域
DESCRIPTION OF SYMBOLS 1 Plant growth index measurement system 5 Communication network 10 Information acquisition apparatus 11 Control apparatus 12, 22 Communication apparatus 13, 23 Storage apparatus 14 (14a, 14b) Imaging apparatus (camera)
20 Data processing server (plant growth index measuring device)
21 arithmetic unit 31 parallax map acquisition means 32 spatial coordinate conversion means 33 color information conversion means (expression method conversion means)
34 Target area extraction means 35 Growth index calculation means 41 (41a, 41b) Color information map (captured image)
42 Parallax Map 43 Spatial Coordinate Map 44 Color Information Map 45 Color Space Composite Map 46 Target Area
Claims (1)
色情報マップと空間座標マップをピクセル毎に結合した色空間合成マップに対し、対象植物の占めるピクセル領域を抽出する対象領域抽出手段と、
抽出されたピクセル領域から対象植物の生育指標を演算する生育指標演算手段と、
を備えたことを特徴とする本発明に係る植物生育指標測定装置。 Spatial coordinate conversion means for calculating a spatial coordinate map in each pixel for one or a plurality of color information maps obtained by photographing the same target plant at the same time;
A target area extracting means for extracting a pixel area occupied by the target plant with respect to a color space composite map obtained by combining a color information map and a spatial coordinate map for each pixel;
A growth index calculating means for calculating a growth index of the target plant from the extracted pixel region;
A plant growth index measuring apparatus according to the present invention, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018055385A JP2019165658A (en) | 2018-03-22 | 2018-03-22 | Plant growth indicator measuring apparatus, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018055385A JP2019165658A (en) | 2018-03-22 | 2018-03-22 | Plant growth indicator measuring apparatus, method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019165658A true JP2019165658A (en) | 2019-10-03 |
Family
ID=68105688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018055385A Pending JP2019165658A (en) | 2018-03-22 | 2018-03-22 | Plant growth indicator measuring apparatus, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019165658A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407755A (en) * | 2020-03-17 | 2021-09-17 | 北京百度网讯科技有限公司 | Plant growth condition information acquisition method and device and electronic equipment |
| JP2021148460A (en) * | 2020-03-16 | 2021-09-27 | カシオ計算機株式会社 | Movement amount estimation device, model generation device, movement amount estimation method, and program |
| KR20230104521A (en) * | 2021-12-30 | 2023-07-10 | 한양대학교 산학협력단 | State of plant disease prediction method based on plant phenomics and analysis apparatus |
-
2018
- 2018-03-22 JP JP2018055385A patent/JP2019165658A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021148460A (en) * | 2020-03-16 | 2021-09-27 | カシオ計算機株式会社 | Movement amount estimation device, model generation device, movement amount estimation method, and program |
| JP7279669B2 (en) | 2020-03-16 | 2023-05-23 | カシオ計算機株式会社 | Movement estimation device, model generation device, movement estimation method and program |
| US11822623B2 (en) | 2020-03-16 | 2023-11-21 | Casio Computer Co., Ltd. | Traveling amount estimation apparatus, model generation apparatus, traveling amount estimation method and recording medium |
| CN113407755A (en) * | 2020-03-17 | 2021-09-17 | 北京百度网讯科技有限公司 | Plant growth condition information acquisition method and device and electronic equipment |
| KR20230104521A (en) * | 2021-12-30 | 2023-07-10 | 한양대학교 산학협력단 | State of plant disease prediction method based on plant phenomics and analysis apparatus |
| KR102587197B1 (en) | 2021-12-30 | 2023-10-11 | 한양대학교 산학협력단 | State of plant disease prediction method based on plant phenomics and analysis apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6573354B2 (en) | Image processing apparatus, image processing method, and program | |
| JPWO2014080613A1 (en) | COLOR CORRECTION DEVICE, COLOR CORRECTION METHOD, AND COLOR CORRECTION PROGRAM | |
| JP2017103602A (en) | Position detection device, and position detection method and program | |
| US11334986B2 (en) | System and method for processing images of agricultural fields for remote phenotype measurement | |
| CN113420640B (en) | Mangrove hyperspectral image classification method and device, electronic equipment and storage medium | |
| JP2019165658A (en) | Plant growth indicator measuring apparatus, method and program | |
| US20220198710A1 (en) | Methods for analysis of an image and a method for generating a dataset of images for training a machine-learned model | |
| JP7370922B2 (en) | Learning method, program and image processing device | |
| JP2019032218A (en) | Location information recording method and device | |
| JP2018026724A (en) | Image processing device, image processing method, and program | |
| Xiang et al. | Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system | |
| Zhang et al. | TPMv2: An end-to-end tomato pose method based on 3D key points detection | |
| US20220215576A1 (en) | Information processing device, information processing method, and computer program product | |
| JP2020204880A (en) | Learning method, program, and image processing device | |
| Patel et al. | Deep Learning-Based Plant Organ Segmentation and Phenotyping of Sorghum Plants Using LiDAR Point Cloud | |
| Maiwald et al. | Solving photogrammetric cold cases using AI-based image matching: New potential for monitoring the past with historical aerial images | |
| US11989928B2 (en) | Image processing system | |
| Zarei et al. | MegaStitch: Robust Large-scale image stitching | |
| CN111239044A (en) | Cell detection method, device and system | |
| CN110853080A (en) | Method for measuring size of field fruit | |
| Tabb et al. | Using cameras for precise measurement of two-dimensional plant features: CASS | |
| Wang et al. | An unsupervised automatic measurement of wheat spike dimensions in dense 3D point clouds for field application | |
| JPWO2022180786A5 (en) | Image processing device, image processing method and program | |
| JP2019046278A (en) | Information processor, control method, computer program, storage medium, and model creation device | |
| Jiang et al. | Irrigation detection by car: computer vision and sensing for the detection and geolocation of irrigated and non-irrigated farmland |