JP2019091310A - 画像処理装置、摘み取り装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】判定対象物をより精度良く認識することができ自動的な収穫を行う摘み取り装置に応用する画像処理を行うことのできる画像処理装置を提供する。【解決手段】可視カメラから判定対象物の可視画像を取得する。可視カメラの位置と対応する位置に設けられたＴＯＦセンサから判定対象物の距離画像を取得する。可視画像と距離画像に基づいて検出した判定対象物の色と連続面とに基づいて、対象物が所定の判定対象物であるかを判定する。【選択図】図１

Description

本発明は、画像処理装置、摘み取り装置、画像処理方法、プログラムに関する。

農作物を自動収穫するためには農作物である果実等の色や形状を正確に把握する必要がある。関連する技術が特許文献１に開示されている。

特開２０１１−１２３０７１号公報

特許文献１の技術は農作物を自動的に収穫する技術ではないものの可視化カメラとＴＯＦセンサを利用している。農作物を自動的に収穫する為により高度な技術が求められている。

そこでこの発明は、上述の課題を解決する画像処理装置、摘み取り装置、画像処理方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、画像処理装置は、可視カメラから判定対象物の可視画像を取得する可視画像取得部と、前記可視カメラの位置と対応する位置に設けられたＴＯＦセンサから前記判定対象物の距離画像を取得する距離画像取得部と、前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する形状認識部と、を備えることを特徴とする。

本発明の第２の態様によれば、摘み取り装置は、上述の画像処理装置を備えることを特徴とする。

本発明の第３の態様によれば、画像処理方法は、可視カメラから判定対象物の可視画像を取得し、前記可視カメラの位置と対応する位置に設けられたＴＯＦセンサから前記判定対象物の距離画像を取得し、前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定することを特徴とする。

本発明の第４の態様によれば、プログラムは、画像処理装置のコンピュータを、可視カメラから判定対象物の可視画像を取得する可視画像取得手段、前記可視カメラの位置と対応する位置に設けられたＴＯＦセンサから前記判定対象物の距離画像を取得する距離画像取得手段、前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する形状認識手段、として機能させることを特徴とする。

本発明によれば、農作物等の判定対象物をより精度良く認識することができ自動的な収穫を行う摘み取り装置に応用することができる。

摘み取り装置の概略構成図である。 第一の実施形態による摘み取り装置を構成する各装置のブロック図である。 画像処理装置のハードウェア構成図である。 画像処理装置の機能ブロック図である。 第一の実施形態による画像処理装置の処理フローを示す図である。 第二の実施形態による摘み取り装置を構成する各装置のブロック図である。 第二の実施形態によるアーム先端と判定対象物である果実の位置関係を示す図である。 画像処理装置の最小構成を示す図である。

以下、本発明の一実施形態による画像処理装置、摘み取り装置、画像処理方法、プログラムを図面を参照して説明する。
図１は本実施形態による摘み取り装置の概略構成図である。
この図で示すように本実施形態における摘み取り装置１は、果樹２に実る果実ｆを摘み取る摘み取り装置である。果実ｆはたとえばさくらんぼ、りんご、みかんなどであってよい。摘み取り装置は果実ｆ以外の判定対象物（例えば花、小物体等）を摘み取る装置であってもよい。摘み取り装置１はアーム１０、アーム１０の先端に設けられた可視カメラ１１、ＴＯＦ（Time of Flight）センサ１２、摘み取り機構１３、制御装置１４、画像処理装置１５を少なくとも備える。アーム１０は伸縮機構や延伸角度変更機構を備えてよい。アーム１０の先端の摘み取り機構１３はマニピュレータ等である。アーム１０の伸縮機構や延伸角度変更機構は、摘み取り機構１３が果実ｆを取りやすい位置となるよう制御装置１４によって伸縮量、角度が制御される。またアーム１０の摘み取り機構１３も制御装置１４によって摘み取り動作の制御が行われる。

＜第一の実施形態＞
図２は第一の実施形態による摘み取り装置を構成する各装置のブロック図である。
可視カメラ１１は判定対象物である果実ｆを撮影することにより当該果実ｆを撮影領域に含む可視画像を生成して画像処理装置１５へ出力する。
ＴＯＦセンサ１２は判定対象物である果実ｆをセンシングすることにより当該果実ｆを撮影領域に含む距離画像を生成して画像処理装置１５へ出力する。
画像処理装置１５は可視画像と距離画像を用いて判定対象物を判定する。画像処理装置１５は判定対象物の判定結果や制御情報を制御装置１４へ出力する。
制御装置１４は画像処理装置１５から得た判定結果や制御情報に基づいてアーム１０の延伸角度や伸縮量を制御する。
アーム１０は、可視カメラ１１、ＴＯＦセンサ１２、摘み取り機構１３の位置が判定対象物である果実ｆの近傍に位置するよう延伸角度や伸縮量が制御される。

図３は画像処理装置のハードウェア構成図である。
この図が示すように画像処理装置１５はＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３、ＨＤＤ（Solid State Drive）５４、インタフェース５５、通信モジュール５６、データベース装置５７、モニタ５８等の各ハードウェアを備えたコンピュータである。制御装置１４も同様の機能を備えたコンピュータである。なお図３のハードウェア構成は一例であって、例えば画像処理装置１５や制御装置１４はＨＤＤ５４、モニタ５８等は備えなくともよい。

図４は画像処理装置の機能ブロック図である。
画像処理装置１５は、予め記憶する画像処理プログラムを実行する。これにより画像処理装置１５は、制御部１５１、可視画像取得部１５２、距離画像取得部１５３、３次元画像生成部１５４、形状認識部１５５、位置制御情報生成部１５６、表示部１５７の各機能を備える。

制御部１５１は、画像処理装置１５の各機能部を制御する。
可視画像取得部１５２は、可視カメラから判定対象物である果実ｆを含む可視画像を取得する。
距離画像取得部１５３は、可視カメラ１１の位置と対応する位置に設けられたＴＯＦセンサ１２から判定対象物である果実ｆを含む距離画像を取得する。
３次元画像生成部１５４は可視画像と距離画像とを用いて果実ｆを含む３次元画像を生成する。
形状認識部１５５は、３次元画像に含まれる判定対象物である果実ｆの色と連続面とに基づいて、判定対象物となる領域が果実ｆであるかを判定する。
位置制御情報生成部１５６は、少なくとも距離画像に基づいて可視カメラ１１とＴＯＦセンサ１２の判定対象物との位置の制御に利用される位置制御情報を生成する。
表示部１５７は画像処理装置１５に備わるモニタ５８等に３次元画像を表示する。

図５は第一の実施形態による画像処理装置の処理フローを示す図である。
次に画像処理装置の処理フローを順を追って説明する。
摘み取り装置１が果樹２に接近し制御装置１４の制御に基づいてアーム１０を果実ｆに延ばす。アーム１０尖端に取り付けられた可視カメラ１１は果実ｆを撮影範囲に含む可視画像を画像処理装置１５へ出力し、またＴＯＦセンサ１２は果実ｆを検出範囲に含む距離画像を画像処理装置１５へ出力する。画像処理装置１５の可視画像取得部１５２は可視画像を取得して３次元画像生成部１５４へ出力する（ステップＳ１０１）。距離画像取得部１５３は距離画像を取得して３次元画像生成部１５４へ出力する（ステップＳ１０２）。３次元画像生成部１５４は可視画像と距離画像とを用いて３次元画像を生成する（ステップＳ１０３）。３次元画像は各画素について色の情報（ＲＧＢ値や輝度値）と各画素に対応する対象物までの距離情報（奥行き方向の距離の情報）を含む画像である。表示部１５７は３次元画像をモニタ５８に出力してよい。

形状認識部１５５は３次元画像を取得する。形状認識部１５５は予め記憶する果実ｆの色に近い色を示す色情報の領域を３次元画像において特定する。また形状認識部１５５はその色情報の領域において隣り合う画素の距離情報を順次比較し連続面であるかを判定する。連続面であるかどうかの判定において形状認識部１５５は、一例として隣り合う画素間の距離情報が示す距離値の差を算出し、その差が所定の閾値未満であればそれら隣り合う画素間は連続面を構成すると判定する。形状認識部１５５は３次元画像中において特定した所定の果実ｆの色情報を示し、連続面であると判定して領域を１つの果実ｆの領域と判定する（ステップＳ１０４）。形状認識部１５５は３次元画像における１つの果実領域を示す画素情報を位置制御情報生成部１５６へ出力する。形状認識部１５５は３次元画像中において所定の果実ｆの色を示し連続面であると判定できる領域を複数認識した場合には、それぞれの領域を１つずつの果実領域と判定してよい。つまり形状認識部１５５は３次元画像中に映る１つまたは複数の所定の果実ｆの領域をそれぞれ認識する。形状認識部１５５は３次元画像中に果実ｆ等の判定対象物が認識できない場合には、認識できないことを示す情報を位置制御情報生成部１５６へ出力してもよい。

位置制御情報生成部１５６は３次元画像における１つの果実領域の画素範囲と、その画素範囲に含まれる各画素の距離情報に基づいて、摘み取り機構１３の位置制御情報を生成する（ステップＳ１０５）。制御情報には、アーム１０の伸縮距離、アーム１０の変更角度などの情報、移動ベクトルなどが含まれてよい。位置制御情報生成部１５６は位置制御情報を制御装置１４へ出力する（ステップＳ１０６）。制御装置１４は位置制御情報に基づいて、アーム１０の伸縮、角度を制御する。制御情報に含まれる角度は、３次元空間におけるアーム１０の基部に対応する所定の関節部を基点とした３軸方向の各角度を示す情報であってよい。制御情報にはアーム１０を構成する複数の関節部の回転角度を示す情報が含まれていてもよい。位置制御情報生成部１５６は３次元画像における画像内の座標とその座標の距離によって演算によって位置制御情報を算出することができる。３次元座標内の座標とその座標における距離に基づく位置制御情報の対応関係は例えばデータテーブル等に記録された対応表に基づいて補完計算されてもよいし、所定の演算式に果実ｆと判定された３次元画像内の領域の各画素の座標やその画素の距離情報を代入して計算されてもよい。位置制御情報生成部１５６は形状認識部１５５から判定対象物が認識できないことを示す情報を取得した場合、アーム１０を所定の角度や方向に所定距離移動させる所定の位置制御情報を生成して制御装置１４へ出力してもよい。

形状認識部１５５は、未処理の果実ｆと推定される領域が３次元画像に含まれるかを判定する（ステップＳ１０７）。形状認識部１５５は３次元画像に未処理の果実ｆと推定される領域が含まれる場合にはステップＳ１０４からの処理を繰り返す。形状認識部１５５は３次元画像に未処理の果実ｆと推定される領域が含まれない場合には位置制御情報生成部１５６へ位置変更を指示する。位置制御情報生成部１５６はアームを所定の距離移動する情報を含む位置制御情報を生成する。位置制御情報生成部１５６はその位置制御情報を制御装置１４へ出力する（ステップＳ１０８）。制御装置１４はその位置制御情報を用いてアーム１０の先端を所定の距離だけ移動させる。この状態で制御部１５１は処理を終了するかを判定する（ステップＳ１０９）。制御部１５１は処理を終了しない場合にはステップＳ１０１からの処理が行われるよう各機能部を制御する。

以上の処理により、画像処理装置１５は３次元画像に含まれる果実ｆなどの所定の判定物を１つずつ精度よく認識することができる。これにより果実ｆなどの農作物の判定対象物をより精度良く認識して、その認識した判定対象物である果実ｆの位置に基づいて自動的な収穫を行う摘み取り装置で利用することができる。

＜第二の実施形態＞
第一の実施形態において摘み取り装置１は１組の可視カメラ１１とＴＯＦセンサ１２を備え、画像処理装置１５は当該１組の可視カメラ１１とＴＯＦセンサ１２から得た画像情報に基づいて処理を行っている。
一方、第二の実施形態では摘み取り装置１は可視カメラ１１とＴＯＦセンサ１２の組を２組備え、画像処理装置１５は当該２組の可視カメラ１１とＴＯＦセンサ１２から得た画像情報に基づいて処理を行う場合につて説明する。

図６は第二の実施形態による摘み取り装置を構成する各装置のブロック図である。
この図が示すように第二の実施形態による摘み取り装置１は、右側可視カメラ１１−１、右側ＴＯＦセンサ１２−１の組と、左側可視カメラ１１−２、左側ＴＯＦセンサ１２−２の、可視カメラ１１とＴＯＦセンサ１２の組を２組備える。右側可視カメラ１１−１と左側可視カメラ１１−２はそれぞれ同じ位置の同じ判定対象物を撮影するようアーム１０の先端に設置されている。右側ＴＯＦセンサ１２−１と左側ＴＯＦセンサ１２−２もそれぞれ同じ位置の同じ判定対象物をセンシングするようアーム１０の先端に設置されている。なお右側可視カメラ１１−１と左側可視カメラ１１−２の間隔、右側ＴＯＦセンサ１２−１と左側ＴＯＦセンサ１２−２の間隔は一例としては１０ｃｍ〜２０ｃｍである。

図７はアーム先端と判定対象物である果実の位置関係を示す図である。
図７で示すように制御装置１４は、画像処理装置１５から得た制御情報に基づいて右側可視カメラ１１−１と左側可視カメラ１１−２、右側ＴＯＦセンサ１２−１と左側ＴＯＦセンサ１２−２が果実ｆ１，ｆ２，ｆ３に接近するようアーム１０を制御する。これにより画像処理装置１５は、同一の果実ｆに対して左右の異なる方向から撮影した右側可視画像と左側可視画像が取得できる。また画像処理装置１５は同一の果実ｆに対して左右の異なる方向からセンシングして生成された右側距離画像と左側距離画像が取得できる。画像処理装置１５はこれらの右側可視画像と左側可視画像と、右側距離画像と左側距離画像とを用いて３次元画像を生成する。

上述の３次元画像の生成において３次元画像生成部１５４は、右側可視画像と右側可視画像を用いて各画素が対応する位置となるように合成し、右側から果実ｆを撮影した場合の右側３次元画像を生成する。また３次元画像生成部１５４は、左可視画像と左側可視画像を用いて各画素が対応する位置となるように合成し、左側から果実ｆを撮影した場合の左側３次元画像を生成する。３次元画像生成部１５４は右側３次元画像と左側３次元画像の各画素の距離情報に基づいて、距離情報や色情報が一致する右側３次元画像と左側３次元画像における合わせ位置の画素を特定し、その合わせ位置の画素において左右の３次元画像連結させた１つの３次元画像を生成する。

次に第二の実施形態による画像処理装置の処理フローを説明する。フローチャートは第一の実施形態と同様であるため省略する。
摘み取り装置１が樹木に接近し制御装置１４の制御に基づいてアーム１０を果実ｆに延ばす。アーム１０尖端に取り付けられた右側可視カメラ１１−１と左側可視カメラ１１−２は果実ｆを撮影範囲に含む可視画像を画像処理装置１５へ出力し、また右側ＴＯＦセンサ１２−１と左側ＴＯＦセンサ１２−２は果実ｆを検出範囲に含む距離画像を画像処理装置１５へ出力する。画像処理装置１５の可視画像取得部１５２は可視カメラ１１−１、１１−２から得た２つの可視画像（右側可視画像、左側可視画像）を取得して３次元画像生成部１５４へ出力する。距離画像取得部１５３はＴＯＦセンサ１２−１、１２−２から得た２つの距離画像（右側距離画像、左側距離画像）を取得して３次元画像生成部１５４へ出力する。３次元画像生成部１５４は可視画像と距離画像とを用いて上述したように３次元画像を生成する。３次元画像は各画素について色の情報（ＲＧＢ値や輝度値）と各画素に対応する対象物までの距離情報を含む画像である。表示部１５７は３次元画像をモニタ５８に出力してよい。以降の処理は第一の実施形態と同様である。

上述の第二の実施形態によれば、画像処理装置１５は左右の可視カメラと左右のＴＯＦセンサに基づいて得られた右側可視画像、左側可視画像、右側距離画像、左側距離画像に基づいて判定対象物である果実ｆ等の農作物の死角の無い３次元画像を生成する。そして画像処理装置１５はその３次元画像を用いて１つずつの判定対象物である果実ｆを精度良く認識する。これにより果実ｆや他の農作物等の判定対象物の自動収穫を実現するために必要な、当該判定対象物のより正確な部位と形状把握を行うことができる。

関連する技術においては色判別による部位と形状把握を行っているが、植物の茎や果柄の形状を把握する際、茎や果柄どうしが重なること、近似色の葉や他の食物が近傍にあること等により、色分別が困難となり１つの形状を誤認識する可能性があった。そして、ステレオカメラによりえられた撮影画像からのステレオ法による３次元計測（奥行き計測）を行い、ステレオカメラを構成する左右のカメラの撮影画像(物体)のマッチングを行う技術もあるが、植物の茎や果柄のマッチングを取る場合、少数であれは比較的簡単にマッチング可能であるものの、実際の植物においては、茎や果柄が密集しているケースが多く、左右のカメラで撮影した茎や果柄について、個々の相関を誤判定してしまうという問題があった。上記本願の画像処理装置および摘み取り装置によれば、農作物の自動収穫を実現するために必要な、より精度の高い判定対象物の形状把握と位置とを判定することができる。

図８は画像処理装置の最小構成を示す図である。
画像処理装置１５は少なくとも、可視画像取得部１５２、距離画像取得部１５３、形状認識部１５５を備えればよい。

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・摘み取り装置
１０・・・アーム
１１・・・可視カメラ
１２・・・ＴＯＦセンサ
１３・・・摘み取り機構
１４・・・制御装置
１５・・・画像処理装置
１５１・・・制御部
１５２・・・可視画像取得部
１５３・・・距離画像取得部
１５４・・・３次元画像生成部
１５５・・・形状認識部
１５６・・・位置制御情報生成部
１５７・・・表示部

Claims (8)

1. 可視カメラから判定対象物の可視画像を取得する可視画像取得部と、
   前記可視カメラの位置と対応する位置に設けられたＴＯＦセンサから前記判定対象物の距離画像を取得する距離画像取得部と、
   前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する形状認識部と、
   を備える画像処理装置。
2. 前記判定対象物が果実であり、
   前記形状認識部は前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて所定の前記果実であるかを判定する
   請求項１に記載の画像処理装置。
3. 複数組の前記可視画像取得部と前記距離画像取得部との組のそれぞれから取得した前記可視画像と前記距離画像とに基づいて３次元画像を生成する３次元画像生成部と、
   を備える請求項１または請求項２に記載の画像処理装置。
4. 前記形状認識部は、前記判定対象物が所定の果実の色である画像領域の各画素の距離情報に基づいて前記連続面を成す１つの果実を判定する
   請求項２または請求項３の何れか一項に記載の画像処理装置。
5. 前記距離画像に基づいて前記可視カメラと前記ＴＯＦセンサの前記判定対象物との位置の制御に利用される位置制御情報を生成する位置制御情報生成部と、
   を備える請求項１から請求項４の何れか一項に記載の画像処理装置。
6. 請求項１から請求項５の何れか一項に記載の画像処理装置を備え、前記判定対象物を摘み取る摘み取り装置。
7. 可視カメラから判定対象物の可視画像を取得し、
   前記可視カメラの位置と対応する位置に設けられたＴＯＦセンサから前記判定対象物の距離画像を取得し、
   前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する
   画像処理方法。
8. 画像処理装置のコンピュータを、
   可視カメラから判定対象物の可視画像を取得する可視画像取得手段、
   前記可視カメラの位置と対応する位置に設けられたＴＯＦセンサから前記判定対象物の距離画像を取得する距離画像取得手段、
   前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する形状認識手段、
   として機能させるプログラム。

Images