JP2003000031A - 果実の検出方法 - Google Patents
果実の検出方法Info
- Publication number
- JP2003000031A JP2003000031A JP2001187576A JP2001187576A JP2003000031A JP 2003000031 A JP2003000031 A JP 2003000031A JP 2001187576 A JP2001187576 A JP 2001187576A JP 2001187576 A JP2001187576 A JP 2001187576A JP 2003000031 A JP2003000031 A JP 2003000031A
- Authority
- JP
- Japan
- Prior art keywords
- fruit
- fruits
- specular reflection
- image
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Harvesting Machines For Specific Crops (AREA)
Abstract
(57)【要約】
【課題】 果実や果菜が着果している作物に光を照射
し、その画像を取り込んで果実や果菜を自動的に検出す
る果実の検出方法。 【解決手段】 作物果実を画像により自動的に検出する
果実の検出方法であり、 ．作物２に光３を照射して画像を取り込み、光を強く
反射する白く光った鏡面反射部分１１及びその周囲に隣
接する適当な部分を果実と決定することで、個々の果実
９を検出する。．鏡面反射部分１１及び適当な部分の
決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれ
ぞれの加減演算結果の範囲を両方の部分に対して別々に
設定し、輝度範囲の設定によって識別した部分が鏡面反
射部分１１または適当な部分であるとする。．鏡面反
射部分１１が１個存在する果実と複数個存在する果実と
の区別を、鏡面反射部分１１の面積に閾値を設けて判定
する。．鏡面反射部分１１の座標から果実の画像重心
位置を求める。
し、その画像を取り込んで果実や果菜を自動的に検出す
る果実の検出方法。 【解決手段】 作物果実を画像により自動的に検出する
果実の検出方法であり、 ．作物２に光３を照射して画像を取り込み、光を強く
反射する白く光った鏡面反射部分１１及びその周囲に隣
接する適当な部分を果実と決定することで、個々の果実
９を検出する。．鏡面反射部分１１及び適当な部分の
決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれ
ぞれの加減演算結果の範囲を両方の部分に対して別々に
設定し、輝度範囲の設定によって識別した部分が鏡面反
射部分１１または適当な部分であるとする。．鏡面反
射部分１１が１個存在する果実と複数個存在する果実と
の区別を、鏡面反射部分１１の面積に閾値を設けて判定
する。．鏡面反射部分１１の座標から果実の画像重心
位置を求める。
Description
【０００１】
【発明の属する技術分野】本発明は、果実や果菜が着果
している作物に光を照射し、その画像を取り込んで果実
や果菜を自動的に検出するようにした果実の検出方法に
関する。
している作物に光を照射し、その画像を取り込んで果実
や果菜を自動的に検出するようにした果実の検出方法に
関する。
【０００２】
【従来の技術】従来、画像を利用して作物に着果してい
る果実や果菜を自動検出するようにした各種の方法や装
置が提案されており、周知である。例えば、特開平６−
２６１６２２号公報「果菜収穫ロボット等の視覚装置」
には、対象物を波長の異なる複数の光で撮影するＣＣＤ
カメラを備え、該カメラに撮影された画像が各画素に与
える複数の波長の輝度から、画素毎に所定の演算式を用
いて各波長の輝度の比を算出し、この算出した値を一定
以上の部分と一定未満の部分とに２値化した画像として
対象物の選定を行いながら、その形状を検出する視覚装
置を前提として、この画像に欠落を生ずる対象物の鏡面
反射部分を、この鏡面反射部分を特に強く検出する波長
の画像の輝度が一定以上の部分と輝度が一定未満の部分
とに２値化した画像で補う装置が開示されている。
る果実や果菜を自動検出するようにした各種の方法や装
置が提案されており、周知である。例えば、特開平６−
２６１６２２号公報「果菜収穫ロボット等の視覚装置」
には、対象物を波長の異なる複数の光で撮影するＣＣＤ
カメラを備え、該カメラに撮影された画像が各画素に与
える複数の波長の輝度から、画素毎に所定の演算式を用
いて各波長の輝度の比を算出し、この算出した値を一定
以上の部分と一定未満の部分とに２値化した画像として
対象物の選定を行いながら、その形状を検出する視覚装
置を前提として、この画像に欠落を生ずる対象物の鏡面
反射部分を、この鏡面反射部分を特に強く検出する波長
の画像の輝度が一定以上の部分と輝度が一定未満の部分
とに２値化した画像で補う装置が開示されている。
【０００３】一方、画像を利用して果実を自動検出する
場合、自然光の下では太陽光の影響が大きく、特に照度
が高い場合には、果実が複数個隣接・重複している状態
では１つの果実と他の果実との境界を認識することが難
しく、個々の果実及びその重心位置を検出することが困
難であった。
場合、自然光の下では太陽光の影響が大きく、特に照度
が高い場合には、果実が複数個隣接・重複している状態
では１つの果実と他の果実との境界を認識することが難
しく、個々の果実及びその重心位置を検出することが困
難であった。
【０００４】
【発明が解決しようとする課題】果菜類果実の検出方法
としては上記特開平６−２６１６２２号公報や特開平２
０００−２６２１２８号公報等に記載され、キュウリや
ナスのように果実同士が接近しない場合の果実の検出
は、果実の光学的反射特性や色彩特徴により個々の果実
のそれぞれの位置を検出することができる。しかし、ト
マトのように果房の状態で個々の果実が近接している場
合は、果実同士が画像上で重なり合うために複数個の果
実が１つの果実として認識され、果実の正確な位置、個
数が検出できない、という問題があった。
としては上記特開平６−２６１６２２号公報や特開平２
０００−２６２１２８号公報等に記載され、キュウリや
ナスのように果実同士が接近しない場合の果実の検出
は、果実の光学的反射特性や色彩特徴により個々の果実
のそれぞれの位置を検出することができる。しかし、ト
マトのように果房の状態で個々の果実が近接している場
合は、果実同士が画像上で重なり合うために複数個の果
実が１つの果実として認識され、果実の正確な位置、個
数が検出できない、という問題があった。
【０００５】
【課題を解決するための手段】上記の課題を解決するた
めに本発明は、以下の手段を特徴としている。 Ａ．作物果実を画像により自動的に検出する果実の検出
方法において、作物に光を照射して画像を取り込み、光
を強く反射する白く光った鏡面反射部分及びその周囲に
隣接する適当な部分を果実と決定することで、個々の果
実を検出する。
めに本発明は、以下の手段を特徴としている。 Ａ．作物果実を画像により自動的に検出する果実の検出
方法において、作物に光を照射して画像を取り込み、光
を強く反射する白く光った鏡面反射部分及びその周囲に
隣接する適当な部分を果実と決定することで、個々の果
実を検出する。
【０００６】Ｂ．鏡面反射部分及び適当な部分の決定に
当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの
加減演算結果の範囲を両方の部分に対して別々に設定
し、輝度範囲の設定によって識別した部分が鏡面反射部
分または適当な部分であるとする。
当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの
加減演算結果の範囲を両方の部分に対して別々に設定
し、輝度範囲の設定によって識別した部分が鏡面反射部
分または適当な部分であるとする。
【０００７】Ｃ．鏡面反射部分が１個存在する果実と複
数個存在する果実との区別を、鏡面反射部分の面積に閾
値を設けて判定する。 Ｄ．鏡面反射部分の座標から果実の画像重心位置を求め
る。
数個存在する果実との区別を、鏡面反射部分の面積に閾
値を設けて判定する。 Ｄ．鏡面反射部分の座標から果実の画像重心位置を求め
る。
【０００８】
【作用】上記Ａ．〜Ｄ．の手段によって本発明の果実の
検出方法は、次のような作用をする。
検出方法は、次のような作用をする。
【０００９】果実に極端な凹凸がない場合には、照明に
よって１個の果実に１つの鏡面反射が生じる。照明器具
及びカメラを果実に対して適切に配置することにより、
自然光の下でも、画像果実の中央部分に鏡面反射を生じ
させることができ、これを検出することで２次元の重心
位置を検出できる。なお、鏡面反射は果実以外にも生じ
る場合があるので、鏡面反射部分に隣接する周辺部の果
実色を抽出する方法を使用することによって、葉や茎を
誤って果実として検出することを避ける。
よって１個の果実に１つの鏡面反射が生じる。照明器具
及びカメラを果実に対して適切に配置することにより、
自然光の下でも、画像果実の中央部分に鏡面反射を生じ
させることができ、これを検出することで２次元の重心
位置を検出できる。なお、鏡面反射は果実以外にも生じ
る場合があるので、鏡面反射部分に隣接する周辺部の果
実色を抽出する方法を使用することによって、葉や茎を
誤って果実として検出することを避ける。
【００１０】鏡面反射が１個存在する果実と複数個存在
する果実の区別は、複数個存在する果実では鏡面反射が
生ずる部分の表面凹凸が小さくなり、そのため鏡面反射
部分の面積が狭くなることを利用して判定する。また、
鏡面反射部分が複数個存在する果実では、それらの中央
付近に重心が存在するので複数の鏡面反射の位置から重
心を算出する。
する果実の区別は、複数個存在する果実では鏡面反射が
生ずる部分の表面凹凸が小さくなり、そのため鏡面反射
部分の面積が狭くなることを利用して判定する。また、
鏡面反射部分が複数個存在する果実では、それらの中央
付近に重心が存在するので複数の鏡面反射の位置から重
心を算出する。
【００１１】
【発明の実施の形態】以下、本発明の一実施の形態を添
付の図面に基づいて具体的に説明する。従来の果実の検
出技術では、自然光により影響される、果房中の果
実は複数個が近接しているので個々に検出できない、
果実が茎葉により隠れる、等の問題がある。そこで本実
施例では、自然光の影響を少なくするために人工照明
を利用する方式、複数果実を個別に検出するために、
人工照明を照射したときに果実が鏡面反射し、白色に見
える部分を抽出する方式、茎葉の影響を少なくするた
めに果実を覆っている茎葉をブラシで上方に掻き上げる
方式、としている。
付の図面に基づいて具体的に説明する。従来の果実の検
出技術では、自然光により影響される、果房中の果
実は複数個が近接しているので個々に検出できない、
果実が茎葉により隠れる、等の問題がある。そこで本実
施例では、自然光の影響を少なくするために人工照明
を利用する方式、複数果実を個別に検出するために、
人工照明を照射したときに果実が鏡面反射し、白色に見
える部分を抽出する方式、茎葉の影響を少なくするた
めに果実を覆っている茎葉をブラシで上方に掻き上げる
方式、としている。
【００１２】図１は、果実の検出装置１の概略正面図
で、この検出装置１は、作物果実（果菜）を画像により
自動的に検出するものであり、果実栽培における収穫作
業の機械化・自動化のために必要な栽植状態でのトマト
（作物）２の果実位置を検出できる検出システムを構築
している。検出装置１には、人工照明としての高速度カ
メラ用ライト３、光を照射したトマト２から画像を取り
込むカラーＣＣＤカメラ４、画像処理ボード５、コンピ
ュータ（ＣＰＵ）６、ブラシからなり、果房を覆ってい
る茎葉１０を掻き上げる茎葉掻き上げ体７等が設けられ
ている。
で、この検出装置１は、作物果実（果菜）を画像により
自動的に検出するものであり、果実栽培における収穫作
業の機械化・自動化のために必要な栽植状態でのトマト
（作物）２の果実位置を検出できる検出システムを構築
している。検出装置１には、人工照明としての高速度カ
メラ用ライト３、光を照射したトマト２から画像を取り
込むカラーＣＣＤカメラ４、画像処理ボード５、コンピ
ュータ（ＣＰＵ）６、ブラシからなり、果房を覆ってい
る茎葉１０を掻き上げる茎葉掻き上げ体７等が設けられ
ている。
【００１３】図２は、重なりがある果実９の画像におけ
る鏡面反射部分１１及び果実９の着色状況を示す正面図
で、収穫すべき着色した果実１２が示されている。トマ
ト２には、幹茎８に果実（トマト）９が着果し、多数の
茎葉１０を有している。図３は、重なりがある果実９の
画像における抽出された鏡面反射部分１３を示す正面図
である。図４は、赤色果実検出方法１４のプログラム
（ステップ）である。図５は、果実検出における異なる
太陽光照度における検出成功割合を示すグラフである。
図６は、赤色果実の検出誤差を示すグラフであり、
（ａ）はＸ軸方向検出誤差、（ｂ）はＹ軸方向検出誤差
を示している。
る鏡面反射部分１１及び果実９の着色状況を示す正面図
で、収穫すべき着色した果実１２が示されている。トマ
ト２には、幹茎８に果実（トマト）９が着果し、多数の
茎葉１０を有している。図３は、重なりがある果実９の
画像における抽出された鏡面反射部分１３を示す正面図
である。図４は、赤色果実検出方法１４のプログラム
（ステップ）である。図５は、果実検出における異なる
太陽光照度における検出成功割合を示すグラフである。
図６は、赤色果実の検出誤差を示すグラフであり、
（ａ）はＸ軸方向検出誤差、（ｂ）はＹ軸方向検出誤差
を示している。
【００１４】そして、本発明では、
１）作物２に光を照射して画像を取り込み、光を強く反
射する白く光った鏡面反射部分１１及びその周囲に隣接
する適当な部分を果実９と決定することで、個々の果実
９を検出する。 ２）鏡面反射部分１１，１３及び適当な部分の決定に当
たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加
減演算結果の範囲を両方の部分に対して別々に設定し、
輝度範囲の設定によって識別した部分が鏡面反射部分１
１，１３または適当な部分であるとする。
射する白く光った鏡面反射部分１１及びその周囲に隣接
する適当な部分を果実９と決定することで、個々の果実
９を検出する。 ２）鏡面反射部分１１，１３及び適当な部分の決定に当
たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加
減演算結果の範囲を両方の部分に対して別々に設定し、
輝度範囲の設定によって識別した部分が鏡面反射部分１
１，１３または適当な部分であるとする。
【００１５】３）鏡面反射部分１１が１個存在する果実
と複数個存在する果実との区別を、鏡面反射部分１１，
１３の面積に閾値を設けて判定する。 ４）鏡面反射部分１１，１３の座標から果実９の画像重
心位置を求める。 ５）カメラ４により画像を取り込む場合に、果実９の前
側を覆ってカメラ４による検出を妨げている茎葉１０な
どをブラシ７により持ち上げた後に画像を取り込む。 ６）人工照明３を使用することで、果実９の色の測定が
同じ条件で行え、収穫適期に達した果実１２を検出する
ことができる。
と複数個存在する果実との区別を、鏡面反射部分１１，
１３の面積に閾値を設けて判定する。 ４）鏡面反射部分１１，１３の座標から果実９の画像重
心位置を求める。 ５）カメラ４により画像を取り込む場合に、果実９の前
側を覆ってカメラ４による検出を妨げている茎葉１０な
どをブラシ７により持ち上げた後に画像を取り込む。 ６）人工照明３を使用することで、果実９の色の測定が
同じ条件で行え、収穫適期に達した果実１２を検出する
ことができる。
【００１６】果実の検出装置１の検出システムにより、
栽植状態のトマト２の株を対象として果実検出試験を行
った。 （試験条件） 検出システムによる果実９の検出個数を測定し、検出
成功割合を調べた。また、一部の条件では、照明による
効果を確認するため、人工照明３を利用せず、赤色部分
のみを検出する方法と比較した。 検出可能であった果実９の２次元の重心位置計測を行
い、その誤差を調べた。検出条件としてはカメラ４をト
マト２の株から６０ｃｍ離れた位置とした。光環境は夜
間や晴天時昼間（照度 １２８〜５５６００Ｌｕｘ）と
した（表１参照）。果実条件として果実９がカメラ４側
に着果している果房を対象とした。
栽植状態のトマト２の株を対象として果実検出試験を行
った。 （試験条件） 検出システムによる果実９の検出個数を測定し、検出
成功割合を調べた。また、一部の条件では、照明による
効果を確認するため、人工照明３を利用せず、赤色部分
のみを検出する方法と比較した。 検出可能であった果実９の２次元の重心位置計測を行
い、その誤差を調べた。検出条件としてはカメラ４をト
マト２の株から６０ｃｍ離れた位置とした。光環境は夜
間や晴天時昼間（照度 １２８〜５５６００Ｌｕｘ）と
した（表１参照）。果実条件として果実９がカメラ４側
に着果している果房を対象とした。
【００１７】人工照明３は高速度カメラ用ライト（６
０ｃｍでの照度約６０００Ｌｕｘ）とし、果房正面から
照射することとした。 自動で果実９を背景と識別し、果実９の重心位置を計
算する画像処理のプログラム（図４）を作成した。主な
処理手順は、画像の取り込み、赤色部分・鏡面反射部分
それぞれの検出、周囲に赤色部分が存在する鏡面反射部
分の抽出・２値化、２値化部分の重心位置の計算とし
た。
０ｃｍでの照度約６０００Ｌｕｘ）とし、果房正面から
照射することとした。 自動で果実９を背景と識別し、果実９の重心位置を計
算する画像処理のプログラム（図４）を作成した。主な
処理手順は、画像の取り込み、赤色部分・鏡面反射部分
それぞれの検出、周囲に赤色部分が存在する鏡面反射部
分の抽出・２値化、２値化部分の重心位置の計算とし
た。
【００１８】図４の赤色果実検出方法１４のプログラム
（ステップ）について説明する。ステップａの画像入力
においては、カメラ４から取り込んだ果実９，茎葉１０
を含む画像を画像処理装置に入力する。ステップｂの
（Ｒ−Ｇ）値・面積設定においては、果実９における収
穫すべき着色した果実１２を抽出するための色範囲を赤
色輝度値と緑色輝度値の差（Ｒ−Ｇ）により設定し、設
定した色範囲を持つ部分の面積を設定する。ステップｂ
の（Ｒ−Ｇ）の設定によって赤色輝度値の高く、緑色輝
度値の低い果実の着色部分が抽出しやすくなり、赤色輝
度値と緑色輝度値ともに高い値となる白色の部分を誤っ
て抽出することを避ける。（Ｒ−Ｇ）値の設定により着
色度の大きい果実を抽出することができる。ステップｂ
の面積設定により、個々の果実の赤色部分の面積が大き
い果実を抽出することができる。
（ステップ）について説明する。ステップａの画像入力
においては、カメラ４から取り込んだ果実９，茎葉１０
を含む画像を画像処理装置に入力する。ステップｂの
（Ｒ−Ｇ）値・面積設定においては、果実９における収
穫すべき着色した果実１２を抽出するための色範囲を赤
色輝度値と緑色輝度値の差（Ｒ−Ｇ）により設定し、設
定した色範囲を持つ部分の面積を設定する。ステップｂ
の（Ｒ−Ｇ）の設定によって赤色輝度値の高く、緑色輝
度値の低い果実の着色部分が抽出しやすくなり、赤色輝
度値と緑色輝度値ともに高い値となる白色の部分を誤っ
て抽出することを避ける。（Ｒ−Ｇ）値の設定により着
色度の大きい果実を抽出することができる。ステップｂ
の面積設定により、個々の果実の赤色部分の面積が大き
い果実を抽出することができる。
【００１９】ステップｃの赤色部分抽出・２値化におい
ては、ステップｂで設定した（Ｒ−Ｇ）値が高く、かつ
面積の大きい部分を抽出する。抽出した部分を２値化す
ることによって穴埋め処理、膨張処理等の画像形状処理
を行えるようにする。画像形状処理により重心位置の計
算精度を高めることができる。ステップｄの穴埋めにお
いては、ステップｃで抽出した赤色部分の領域内で鏡面
反射部分やノイズ等で部分的にデータが欠落している部
分の穴埋めを行う。ステップｅの膨張・収縮において
は、２値化部分を膨張・収縮することによって、２値化
部分の突起や凹の部分を除去し、赤色部分の境界を滑ら
かにする。ステップｄ及びｅの形状処理によりほぼ円形
状の赤色部分が抽出できる。
ては、ステップｂで設定した（Ｒ−Ｇ）値が高く、かつ
面積の大きい部分を抽出する。抽出した部分を２値化す
ることによって穴埋め処理、膨張処理等の画像形状処理
を行えるようにする。画像形状処理により重心位置の計
算精度を高めることができる。ステップｄの穴埋めにお
いては、ステップｃで抽出した赤色部分の領域内で鏡面
反射部分やノイズ等で部分的にデータが欠落している部
分の穴埋めを行う。ステップｅの膨張・収縮において
は、２値化部分を膨張・収縮することによって、２値化
部分の突起や凹の部分を除去し、赤色部分の境界を滑ら
かにする。ステップｄ及びｅの形状処理によりほぼ円形
状の赤色部分が抽出できる。
【００２０】ステップｆのＲＧＢ値設定においては、赤
色輝度値・緑色輝度値・青色輝度値全てが高い部分を設
定する。このステップによって、鏡面反射した部分は入
力画像において白色であるので、赤色輝度値・緑色輝度
値・青色輝度値全てが設定値より高い白色の部分を抽出
することができる。ステップｇの鏡面反射抽出・２値化
においては、鏡面反射部分を２値化する。２値化するこ
とによってステップｈの赤色部分と鏡面反射部分の重な
りの抽出を行えるようにする。
色輝度値・緑色輝度値・青色輝度値全てが高い部分を設
定する。このステップによって、鏡面反射した部分は入
力画像において白色であるので、赤色輝度値・緑色輝度
値・青色輝度値全てが設定値より高い白色の部分を抽出
することができる。ステップｇの鏡面反射抽出・２値化
においては、鏡面反射部分を２値化する。２値化するこ
とによってステップｈの赤色部分と鏡面反射部分の重な
りの抽出を行えるようにする。
【００２１】ステップｈの重なり抽出においては、ステ
ップｅで２値化・形状処理した赤色部分とステップｆで
２値化した白色部分の重なりを抽出することで、白く光
った鏡面反射部分とその周囲に隣接する赤色の部分とを
抽出することができる。ステップｉのノイズ除去におい
ては、ノイズ等により生ずる小さい面積を持つ鏡面反射
部分を除去する。果実１個に対し、鏡面反射部分が１個
生ずるようにする。ステップｊの抽出部分重心位置計算
においては、ステップｈで抽出した部分の重心を計算
し、果実の重心とする。この操作により個々の果実の重
心位置を計算することができる。
ップｅで２値化・形状処理した赤色部分とステップｆで
２値化した白色部分の重なりを抽出することで、白く光
った鏡面反射部分とその周囲に隣接する赤色の部分とを
抽出することができる。ステップｉのノイズ除去におい
ては、ノイズ等により生ずる小さい面積を持つ鏡面反射
部分を除去する。果実１個に対し、鏡面反射部分が１個
生ずるようにする。ステップｊの抽出部分重心位置計算
においては、ステップｈで抽出した部分の重心を計算
し、果実の重心とする。この操作により個々の果実の重
心位置を計算することができる。
【００２２】
【表１】
【００２３】（試験結果）試験結果の概要は以下の通り
である。 赤色果実の６４〜７８％が検出可能であり（表１）、
検出システムの検出成功率は人工照明を利用しない方法
と比べ、検出成功割合が高かった（図５）。 ブラシ７で茎葉１０を掻き上げることにより、茎葉１
０，果実９に損傷を与えず、ほとんどの果房の画像が入
力可能であった。 果実同士の重なりがあっても、重なりの面積がほぼ半
分以下の果実は確実に検出が可能であった。 Ｘ軸，Ｙ軸方向共に画像上の検出誤差が±１０ｍｍ以
下であった割合は７９％であった（図６）。 以上総合して栽植状態のトマト２の果実９を６０％以
上検出できた。
である。 赤色果実の６４〜７８％が検出可能であり（表１）、
検出システムの検出成功率は人工照明を利用しない方法
と比べ、検出成功割合が高かった（図５）。 ブラシ７で茎葉１０を掻き上げることにより、茎葉１
０，果実９に損傷を与えず、ほとんどの果房の画像が入
力可能であった。 果実同士の重なりがあっても、重なりの面積がほぼ半
分以下の果実は確実に検出が可能であった。 Ｘ軸，Ｙ軸方向共に画像上の検出誤差が±１０ｍｍ以
下であった割合は７９％であった（図６）。 以上総合して栽植状態のトマト２の果実９を６０％以
上検出できた。
【００２４】
【発明の効果】以上説明したように本発明の果実の検出
方法によれば、以下の効果を奏することができる。
方法によれば、以下の効果を奏することができる。
【００２５】．作物に光を照射して画像を取り込み、
光を強く反射する白く光った鏡面反射部分及びその周囲
に隣接する適当な部分を果実と決定することで、個々の
果実を検出するので、果実に極端な凹凸がない場合に
は、照明によって１個の果実に１つの鏡面反射が生じ、
照明器具及びカメラを果実に対して適切に配置すること
により、自然光の下でも、画像果実の中央部分に鏡面反
射を生じさせることができ、これを検出することで２次
元の重心位置を検出することができる。
光を強く反射する白く光った鏡面反射部分及びその周囲
に隣接する適当な部分を果実と決定することで、個々の
果実を検出するので、果実に極端な凹凸がない場合に
は、照明によって１個の果実に１つの鏡面反射が生じ、
照明器具及びカメラを果実に対して適切に配置すること
により、自然光の下でも、画像果実の中央部分に鏡面反
射を生じさせることができ、これを検出することで２次
元の重心位置を検出することができる。
【００２６】．鏡面反射部分及び適当な部分の決定に
当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの
加減演算結果の範囲を両方の部分に対して別々に設定
し、輝度範囲の設定によって識別した部分が鏡面反射部
分または適当な部分であるとするので、鏡面反射は果実
以外にも生じる場合があるが、鏡面反射部分に隣接する
周辺部の果実色を抽出する方法を使用することによっ
て、葉や茎を誤って果実として検出することを避けるこ
とができる。
当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの
加減演算結果の範囲を両方の部分に対して別々に設定
し、輝度範囲の設定によって識別した部分が鏡面反射部
分または適当な部分であるとするので、鏡面反射は果実
以外にも生じる場合があるが、鏡面反射部分に隣接する
周辺部の果実色を抽出する方法を使用することによっ
て、葉や茎を誤って果実として検出することを避けるこ
とができる。
【００２７】．鏡面反射部分が１個存在する果実と複
数個存在する果実との区別を、鏡面反射部分の面積に閾
値を設けて判定するので、鏡面反射が複数個存在する果
実では表面凹凸の曲率が小さくなり、そのため鏡面反射
部分の面積が狭くなることを利用して判定することがで
きる。また、鏡面反射部分が複数個存在する果実では、
それらの中央付近に重心が存在するので複数の鏡面反射
の位置から重心を算出することができる。 ．鏡面反射部分の座標から果実の画像重心位置を求め
るので、果実が複数個隣接・重複している状態でも個々
の果実の画像重心が求まる。
数個存在する果実との区別を、鏡面反射部分の面積に閾
値を設けて判定するので、鏡面反射が複数個存在する果
実では表面凹凸の曲率が小さくなり、そのため鏡面反射
部分の面積が狭くなることを利用して判定することがで
きる。また、鏡面反射部分が複数個存在する果実では、
それらの中央付近に重心が存在するので複数の鏡面反射
の位置から重心を算出することができる。 ．鏡面反射部分の座標から果実の画像重心位置を求め
るので、果実が複数個隣接・重複している状態でも個々
の果実の画像重心が求まる。
【図１】本発明による果実の検出装置の概略正面図であ
る。
る。
【図２】重なりがある果実の画像における鏡面反射部分
及び果実の着色状況を示す正面図である。
及び果実の着色状況を示す正面図である。
【図３】重なりがある果実の画像における抽出された鏡
面反射部分を示す正面図である。
面反射部分を示す正面図である。
【図４】赤色果実検出方法のプログラム（ステップ）で
ある。
ある。
【図５】果実検出における人工照明の変化を示すグラフ
である。
である。
【図６】赤色果実の検出誤差を示すグラフで、（ａ）は
Ｘ軸方向検出誤差、（ｂ）はＹ軸方向検出誤差である。
Ｘ軸方向検出誤差、（ｂ）はＹ軸方向検出誤差である。
１ 果実の検出装置
２ トマト（作物）
３ 高速度カメラ用ライト
４ カラーＣＣＤカメラ
５ 画像処理ボード
６ コンピュータ（ＣＰＵ）
７ 茎葉掻き上げ体
８ トマトの幹茎
９ 果実（トマト）
１０ 茎葉
１１ 鏡面反射部分
１２ 収穫すべき着色した果実
１３ 抽出された収穫果樹の鏡面反射部分
１４ 赤色果実の検出方法
Claims (4)
- 【請求項１】 作物果実を画像により自動的に検出する
果実の検出方法において、 作物に光を照射して画像を取り込み、光を強く反射する
白く光った鏡面反射部分及びその周囲に隣接する適当な
部分を果実と決定することで、個々の果実を検出するこ
とを特徴とする果実の検出方法。 - 【請求項２】 鏡面反射部分及び適当な部分の決定に当
たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加
減演算結果の範囲を両方の部分に対して別々に設定し、
輝度範囲の設定によって識別した部分が鏡面反射部分ま
たは適当な部分であるとすることを特徴とする請求項１
記載の果実の検出方法。 - 【請求項３】 鏡面反射部分が１個存在する果実と複数
個存在する果実との区別を、鏡面反射部分の面積に閾値
を設けて判定することを特徴とする請求項１又は２記載
の果実の検出方法。 - 【請求項４】 鏡面反射部分の座標から果実の画像重心
位置を求めることを特徴とする請求項１、２又は３記載
の果実の検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001187576A JP4761177B2 (ja) | 2001-06-21 | 2001-06-21 | 果実の検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001187576A JP4761177B2 (ja) | 2001-06-21 | 2001-06-21 | 果実の検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003000031A true JP2003000031A (ja) | 2003-01-07 |
| JP4761177B2 JP4761177B2 (ja) | 2011-08-31 |
Family
ID=19026847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001187576A Expired - Fee Related JP4761177B2 (ja) | 2001-06-21 | 2001-06-21 | 果実の検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4761177B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012067485A1 (en) * | 2010-11-15 | 2012-05-24 | Mimos Berhad | Apparatus for determining fruit bunch ripeness |
| CN104408407A (zh) * | 2014-11-05 | 2015-03-11 | 江苏大学 | 苹果采摘机器人的夜间识别方法 |
| CN104584779A (zh) * | 2015-01-23 | 2015-05-06 | 桂林电子科技大学 | 一种基于双目视觉的苹果成熟度自动检测及采摘机器人 |
| CN109005920A (zh) * | 2018-06-27 | 2018-12-18 | 广西科技大学鹿山学院 | 基于信息化追溯的自动水果采摘装置及其方法 |
| CN111011004A (zh) * | 2019-12-28 | 2020-04-17 | 河南理工大学 | 采摘设备 |
| EP3683565A4 (en) * | 2018-10-12 | 2020-12-09 | Sony Semiconductor Solutions Corporation | MEASURING DEVICE, MEASURING METHOD AND PROGRAM |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295018B (zh) * | 2013-05-21 | 2016-04-13 | 常州大学 | 一种枝叶遮挡果实精确识别方法 |
| JP6218905B1 (ja) * | 2016-09-20 | 2017-10-25 | マイコム株式会社 | 野菜自動収穫装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01218514A (ja) * | 1988-02-27 | 1989-08-31 | Kubota Ltd | 作業機の誘導装置 |
| JPH0554124A (ja) * | 1991-08-21 | 1993-03-05 | Iseki & Co Ltd | 果実収穫ロボツト等の視覚装置 |
| JPH08196131A (ja) * | 1995-01-24 | 1996-08-06 | Iseki & Co Ltd | 果実自動収穫機における果実認識装置 |
| JPH0944650A (ja) * | 1995-07-26 | 1997-02-14 | Iseki & Co Ltd | 果実認識装置 |
| JP2000137004A (ja) * | 1998-11-02 | 2000-05-16 | Canon Inc | 表面検査装置及び表面検査方法 |
-
2001
- 2001-06-21 JP JP2001187576A patent/JP4761177B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01218514A (ja) * | 1988-02-27 | 1989-08-31 | Kubota Ltd | 作業機の誘導装置 |
| JPH0554124A (ja) * | 1991-08-21 | 1993-03-05 | Iseki & Co Ltd | 果実収穫ロボツト等の視覚装置 |
| JPH08196131A (ja) * | 1995-01-24 | 1996-08-06 | Iseki & Co Ltd | 果実自動収穫機における果実認識装置 |
| JPH0944650A (ja) * | 1995-07-26 | 1997-02-14 | Iseki & Co Ltd | 果実認識装置 |
| JP2000137004A (ja) * | 1998-11-02 | 2000-05-16 | Canon Inc | 表面検査装置及び表面検査方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012067485A1 (en) * | 2010-11-15 | 2012-05-24 | Mimos Berhad | Apparatus for determining fruit bunch ripeness |
| CN104408407A (zh) * | 2014-11-05 | 2015-03-11 | 江苏大学 | 苹果采摘机器人的夜间识别方法 |
| CN104408407B (zh) * | 2014-11-05 | 2019-04-02 | 江苏大学 | 苹果采摘机器人的夜间识别方法 |
| CN104584779A (zh) * | 2015-01-23 | 2015-05-06 | 桂林电子科技大学 | 一种基于双目视觉的苹果成熟度自动检测及采摘机器人 |
| CN109005920A (zh) * | 2018-06-27 | 2018-12-18 | 广西科技大学鹿山学院 | 基于信息化追溯的自动水果采摘装置及其方法 |
| EP3683565A4 (en) * | 2018-10-12 | 2020-12-09 | Sony Semiconductor Solutions Corporation | MEASURING DEVICE, MEASURING METHOD AND PROGRAM |
| US11454587B2 (en) | 2018-10-12 | 2022-09-27 | Sony Semiconductor Solutions Corporation | Measurement apparatus, measurement method, and program |
| CN111011004A (zh) * | 2019-12-28 | 2020-04-17 | 河南理工大学 | 采摘设备 |
| CN111011004B (zh) * | 2019-12-28 | 2021-08-03 | 河南理工大学 | 采摘设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4761177B2 (ja) | 2011-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jimenez et al. | A survey of computer vision methods for locating fruit on trees | |
| Jiménez et al. | Automatic fruit recognition: a survey and new results using range/attenuation images | |
| Hannan et al. | A machine vision algorithm combining adaptive segmentation and shape analysis for orange fruit detection | |
| Fu et al. | A novel image processing algorithm to separate linearly clustered kiwifruits | |
| Li et al. | Review on fruit harvesting method for potential use of automatic fruit harvesting systems | |
| Septiarini et al. | Automatic image segmentation of oil palm fruits by applying the contour-based approach | |
| Silwal et al. | Apple identification in field environment with over the row machine vision system | |
| US10217013B2 (en) | Methods and system for detecting curved fruit with flash and camera and automated image analysis with invariance to scale and partial occlusions | |
| Blok et al. | Machine vision for a selective broccoli harvesting robot | |
| Hannan et al. | A real-time machine vision algorithm for robotic citrus harvesting | |
| Changyi et al. | Apple detection from apple tree image based on BP neural network and Hough transform | |
| Singh et al. | Image processing algorithms for in-field cotton boll detection in natural lighting conditions | |
| Annamalai et al. | Citrus yield mapping system using machine vision | |
| JP2003000031A (ja) | 果実の検出方法 | |
| Kondo et al. | A machine vision system for tomato cluster harvesting robot | |
| Lu et al. | Detecting citrus fruits with highlight on tree based on fusion of multi-map | |
| CN108805875B (zh) | 双孢菇位置识别与推倒方向的选定方法 | |
| CN115147638A (zh) | 一种基于机器视觉的车厘子采摘分类方法及装置 | |
| Moghimi et al. | A robo-vision algorithm for automatic harvesting of green bell pepper | |
| CN104408407B (zh) | 苹果采摘机器人的夜间识别方法 | |
| Aleixos et al. | Assessment of citrus fruit quality using a real-time machine vision system | |
| JPH0534281A (ja) | メロンの外観評価装置 | |
| Weyrich et al. | Quality assessment of row crop plants by using a machine vision system | |
| US10909713B2 (en) | System and method for item location, delineation, and measurement | |
| JP6929136B2 (ja) | 果実検出装置および果実検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100924 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110526 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |