JP2017003495A - 情報処理装置、情報処理プログラム、および情報処理システム - Google Patents

情報処理装置、情報処理プログラム、および情報処理システム Download PDF

Info

Publication number
JP2017003495A
JP2017003495A JP2015119373A JP2015119373A JP2017003495A JP 2017003495 A JP2017003495 A JP 2017003495A JP 2015119373 A JP2015119373 A JP 2015119373A JP 2015119373 A JP2015119373 A JP 2015119373A JP 2017003495 A JP2017003495 A JP 2017003495A
Authority
JP
Japan
Prior art keywords
fruit
information processing
subject
wavelength
reflectance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015119373A
Other languages
English (en)
Other versions
JP6586782B2 (ja
Inventor
真史 ▲濱▼武
真史 ▲濱▼武
Masashi Hamatake
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015119373A priority Critical patent/JP6586782B2/ja
Publication of JP2017003495A publication Critical patent/JP2017003495A/ja
Application granted granted Critical
Publication of JP6586782B2 publication Critical patent/JP6586782B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】果実を精度良く認識する。【解決手段】情報処理装置２０は、取得部２０Ａと、生成部２０Ｂと、判断部２０Ｃと、を備える。取得部２０Ａは、被写体の分光画像を取得する。生成部２０Ｂは、分光画像によって示される、近赤外領域Ａの少なくとも一部を含む特定波長領域Ｃの波長に対する反射率の分布に基づいて、前記被写体の特徴量を生成する。判断部２０Ｃは、特徴量と、予め定めた果実の基準特徴量と、の比較に基づいて、被写体が果実であるか否かを判断する。【選択図】図１

Description

本発明は、情報処理装置、情報処理プログラム、および情報処理システムに関する。
被写体が果実であるか否かを自動認識する技術が知られている。例えば、画像から識別した色や形に基づいて、果実であるか否かを判断する技術が知られている。また、画像から水分量を判別することで、果実であるか否かを判断する技術が知られている。
しかしながら、色を用いて果実であるか否かを判断すると、被写体と被写体の背景とが同系色である場合に、果実の認識精度が低下する場合があった。また、形を用いて果実であるか否かを判断すると、被写体が動いている場合に認識精度が低下する場合があった。また、水分量を用いて果実であるか否かを判断する場合、果実と同程度の水分量の被写体を果実であると誤認識する場合があった。すなわち、従来では、果実を精度良く認識することは困難であった。
上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、被写体の分光画像を取得する取得手段と、前記分光画像によって示される、近赤外領域の少なくとも一部を含む特定波長領域の波長に対する反射率の分布に基づいて、前記被写体の特徴量を生成する生成手段と、前記特徴量と、予め定めた果実の基準特徴量と、の比較に基づいて、前記被写体が果実であるか否かを判断する判断手段と、を備える。
本発明によれば、果実を精度良く認識することができる、という効果を奏する。
図１は、本実施の形態の情報処理システムの機能ブロック図である。 図２は、非果実、果実、水、の各々の反射スペクトルの一例を示す図である。 図３は、被写体が水であるときの、波長と光吸収率との関係を示す図である。 図４は、水の波長領域の反射スペクトルを拡大して示した図である。 図５は、非果実、果実、水、の各々の反射スペクトルの一例を示す図である。 図６は、情報処理の手順の一例を示すフローチャートである。 図７は、情報処理の手順の一例を示すフローチャートである。 図８は、情報処理の手順の一例を示すフローチャートである。 図９は、ハードウェア構成の一例を示す図である。
以下、本発明の実施の形態の情報処理装置、情報処理プログラム、および情報処理システムについて説明する。
（第１の実施の形態）
図１は、本実施の形態の情報処理システム１０の機能ブロック図である。情報処理システム１０は、撮影部１２と、記憶部１４と、駆動部１６と、駆動機構１８と、情報処理装置２０と、を備える。撮影部１２、記憶部１４、および駆動部１６と、情報処理装置２０と、は、信号授受可能に接続されている。駆動部１６と、駆動機構１８と、は信号授受可能に接続されている。
撮影部１２は、撮影によって被写体の分光画像を得る装置である。分光画像は、波長の異なる光の各々に対する被写体の反射率を示す複数の二次元画像からなる。撮影部１２は、例えば、マルチスペクトルカメラや、カラーフィルタを交換する方式のカメラや、プリズムを用いた方式のカメラなどである。
本実施の形態では、撮影部１２は、近赤外領域の少なくとも一部の波長領域を含む分光画像を得る。近赤外領域の波長領域は、８００ｎｍ〜２５００ｎｍである。本実施の形態では、一例として、撮影部１２は、３５０ｎｍ〜１１００ｎｍの波長の各々の光に対する被写体の反射率を示す複数の二次元画像を、分光画像として得る場合を説明する。また、本実施の形態では、撮影部１２は、一例として、３５０ｎｍ〜１１００ｎｍの波長領域について、５ｎｍごとの各々の光に対する被写体の反射率を示す複数の二次元画像を、分光画像として得る場合を説明する。
なお、撮影部１２は、少なくとも、水の光吸収率のピークに対応する波長（詳細後述）を含む波長領域の波長の各々の光に対する、被写体の反射率を示す複数の二次元画像を、分光画像として得る構成であればよく、撮影する波長の範囲は３５０ｎｍ〜１１００ｎｍの波長に限定されない。また、撮影部１２が撮影する二次元画像の波長は、５ｎｍごとに異なる波長である形態に限定されない。
記憶部１４は、各種データを記憶する。駆動機構１８は、情報処理装置２０によって判断された果実を採取する公知の機構である。駆動機構１８は、例えば、人間の腕に相当する機能を備えたロボットアーム、人間の手に相当する機能を備えたロボットハンド、および人間の足に相当する機能を備えた走行部の少なくとも１つを含む。本実施の形態では、駆動機構１８は、ロボットアーム、ロボットハンド、および走行部を備えた形態を説明する。
駆動部１６は、駆動機構１８を駆動させる。駆動部１６は、例えば、１または複数のモータやギアなどを組み合わせた構成である。駆動部１６は、情報処理装置２０の制御によって駆動機構１８を駆動させる。例えば、駆動部１６は、情報処理装置２０の制御によって駆動機構１８を駆動させることで、情報処理装置２０で認識された果実をロボットハンドで把持し、所定の箱などに収納させる。
情報処理装置２０は、情報処理システム１０全体を制御する。情報処理装置２０は、ＣＰＵ、ＲＯＭ、およびＲＡＭなどによって実現される。情報処理装置２０は、ＣＰＵ以外の回路などによって実現されてもよい。
情報処理装置２０は、取得部２０Ａと、生成部２０Ｂと、判断部２０Ｃと、駆動制御部２０Ｄと、を備える。取得部２０Ａ、生成部２０Ｂ、判断部２０Ｃ、および駆動制御部２０Ｄの一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること（すなわちソフトウェア）により実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、併用して実現してもよい。
取得部２０Ａは、被写体の分光画像を取得する。取得部２０Ａは、撮影部１２で撮影した分光画像を撮影部１２から受け付ける事で、分光画像を取得する。
生成部２０Ｂは、取得部２０Ａで取得した分光画像から、被写体の特徴量を生成する。
ここで、本発明者らは、被写体が果実である場合、被写体の分光画像によって示される特定波長領域の波長に対する反射率の分布が、非果実である場合とは異なる特徴を示すことを見出した。特定波長領域は、近赤外領域の少なくとも一部を含む波長領域である。
すなわち、本発明者らは、被写体が果実である場合、波長に対する反射率の分布を示す反射スペクトルの内、特に、特定波長領域の反射スペクトルが、非果実である場合とは異なる特徴を示すことを見出した。
図２は、非果実、果実、水、の各々の反射スペクトル（非果実の反射スペクトル３０、果実の反射スペクトル３２、水の反射スペクトル３４）の一例を示す図である。図２に示すように、非果実の反射スペクトル３０と、果実の反射スペクトル３２と、は、各波長に対する反射率の分布が異なる。非果実は、果実以外の被写体であって、例えば、葉、茎、などである。本発明者らは、非果実の反射スペクトル３０と果実の反射スペクトル３２とは、特定波長領域Ｃの反射スペクトル（波長に対する反射率の分布）が特に異なる特徴を示すことを見出した。
なお、反射率の分布が異なる（すなわち、反射スペクトルが異なる）とは、各波長に対する反射率の分布の少なくとも一部が異なることを示す。具体的には、反射率の分布が異なるとは、各波長に対する反射率の分布を示す反射スペクトルの形状、各波長に対する反射率の値、反射率のピークの位置、反射率０％を示す直線と反射スペクトルによって示される曲線との間の領域の面積、反射スペクトルを予め定めた波長領域ごとに分割した各波長領域における反射率の変化量、および該変化量を多次関数に近似したときの該多次関数、などが異なる事を示す。
なお、特定波長領域Ｃは、近赤外領域Ａの少なくとも一部を含む波長領域であればよいが、近赤外領域Ａと一致することが好ましい。また、特定波長領域Ｃは、被写体が水であるときの光吸収率のピークに対応する波長を含むことが更に好ましい。
図３は、被写体が水であるときの、波長と光吸収率との関係を示す図である。図３に示すように、水は、波長９７０ｎｍ付近、および波長１１７０ｎｍ付近、の各々に、光吸収率のピークを有する。以下、波長９７０ｎｍ付近、および波長１１７０ｎｍ付近の少なくとも一方の波長領域を、水の波長領域Ｂと称して説明する場合がある。なお、波長９７０ｎｍ付近、波長１１７０ｎｍ付近とは、波長９７０ｎｍ±１０ｎｍ、波長１１７０ｎｍ±１０ｎｍを示し、波長９７０ｎｍおよび波長１１７０ｎｍに限定されない。
図２に戻り、非果実の反射スペクトル３０と果実の反射スペクトル３２とは、近赤外領域Ａの中でも、特に、水の波長領域Ｂにおける波長に対する反射率の分布が異なる。
このため、特定波長領域Ｃは、波長９７０ｎｍ±１０ｎｍおよび波長１１７０±１０ｎｍの少なくとも一方の波長領域を含むことが更に好ましく、波長９７０ｎｍおよび波長１１７０ｎｍの少なくとも一方の波長を含むことが特に好ましい。
図４は、非果実の反射スペクトル３０、果実の反射スペクトル３２、水の反射スペクトル３４の各々における、波長９７０ｎｍを含む水の波長領域Ｂの反射スペクトル（反射スペクトル３０Ａ、反射スペクトル３２Ａ、反射スペクトル３４Ａ）を拡大して示した図である。
図４に示すように、非果実の反射スペクトル３０と果実の反射スペクトル３２とは、水の波長領域Ｂにおける反射スペクトル（波長に対する反射率の分布）が特に異なる。このように、本発明者らは、被写体が果実である場合、特定波長領域Ｃの反射スペクトルが非果実である場合とは特に異なる特徴を示すことを見出した。
そこで、本実施の形態の情報処理装置２０の生成部２０Ｂは、取得部２０Ａで取得した分光画像によって示される、近赤外領域の少なくとも一部を含む特定波長領域Ｃの波長に対する反射率の分布に基づいて、被写体の特徴量を生成する。
例えば、生成部２０Ｂは、取得した分光画像によって示される、特定波長領域Ｃの波長に対する反射率の分布（すなわち、特定波長領域Ｃの反射スペクトル）そのものを、被写体の特徴量として生成する。
なお、生成部２０Ｂは、取得した分光画像によって示される、各波長に対する反射率の分布を示す反射スペクトルの形状、各波長に対する反射率の値、反射率のピークの位置、反射率０％を示す直線と反射スペクトルによって示される曲線との間の領域の面積、反射スペクトルによって示される反射率の変化量を示す傾き情報、および該変化量を多次関数に近似したときの該多次関数、の少なくとも２つを、特徴量として生成してもよい。
傾き情報は、取得した分光画像によって示される特定波長領域Ｃの波長に対する反射率の分布によって示される反射スペクトルを、予め定めた波長領域ごとに分割し、各波長領域における、最低波長に対応する第１の反射率、最高波長に対応する第２の反射率、および、第１の反射率から第２の反射率への変化量を該分割した波長領域で除算した除算値（変化量／波長領域）、によって規定される。
分割する波長領域の単位は、予め設定してもよいし、入力部のユーザによる操作指示などによって可変としてもよい。分割する波長領域の単位は、例えば、５ｎｍであるが、この値に限定されない。また、分割する波長領域の単位は、１つの特定波長領域Ｃに対して複数種類定めてもよい。例えば、水の波長領域Ｂについてはより短い波長領域の単位を定め、水の波長領域Ｂ以外についてはより長い波長領域の単位を定めてもよい。
図１に戻り、判断部２０Ｃは、生成部２０Ｂが生成した特徴量と、予め定めた果実の基準特徴量と、の比較に基づいて、被写体が果実であるか否かを判断する。
例えば、判断部２０Ｃは、生成部２０Ｂが生成した特徴量と、予め定めた果実の基準特徴量と、が一致するか否かを判別することによって、被写体が果実であるか否かを判断する。具体的には、記憶部１４は、果実の基準特徴量を予め記憶する。例えば、果実を撮影部１２で撮影した分光画像から、生成部２０Ｂで特徴量を生成し、基準特徴量として予め記憶部１４に記憶すればよい。
記憶部１４は、１種類の基準特徴量を予め記憶してもよいし、果実の種類の異なる複数種類の基準特徴量を予め記憶してもよい。情報処理装置２０は、例えば、ぶどう、さくらんぼ、イチジク、桃、などの種類ごとに基準特徴量を予め生成し、記憶部１４に予め記憶してもよい。
また、情報処理装置２０は、各種類の果実ごとに、完熟度や産地や収穫時期などの異なる複数の果実の各々について、基準特徴量を予め生成し、記憶部１４に予め記憶してもよい。
図５は、複数種類の非果実の反射スペクトル３０と、複数種類果実の反射スペクトル３２と、水の反射スペクトル３４と、の一例を示す図である。図５に示すように、果実の反射スペクトル３２は、果実の種類や果実の完熟度や産地や収穫時期などによって、略相似形で且つ反射率のピークに対応する波長は略同一ではあるものの、同じ波長に対する反射率の値にばらつきが生じる場合がある（果実の反射スペクトル３２１〜果実の反射スペクトル３２５の各々における、特定波長領域Ｃに対応する、果実の反射スペクトル３２１Ａ〜果実の反射スペクトル３２５Ａの各々参照）。
図１に戻り、そこで、情報処理装置２０は、種類や完熟度や産地や収穫時期などの異なる複数の果実の各々の基準特徴量を予め生成し、記憶部１４に予め記憶することが好ましい。
なお、記憶部１４が予め記憶する基準特徴量は、生成部２０Ｂが生成する特徴量と同じ種類の情報である。すなわち、生成部２０Ｂが生成する特徴量が、分光画像によって示される、特定波長領域Ｃの波長に対する反射率の分布（すなわち、特定波長領域Ｃの反射スペクトル）そのものである場合、基準特徴量も、特定波長領域Ｃの波長に対する反射率の分布である。また、生成部２０Ｂが生成する特徴量が、分光画像によって示される、各波長に対する反射率の分布を示す反射スペクトルの形状、各波長に対する反射率の値、反射率のピークの位置、反射率０％を示す直線と反射スペクトルによって示される曲線との間の領域の面積、反射スペクトルによって示される反射率の変化量を示す傾き情報、および該変化量を多次関数に近似したときの該多次関数、の少なくとも２つである場合、基準特徴量も、同じ組合せによって規定される値であればよい。
そして、判断部２０Ｃは、生成部２０Ｂが生成した特徴量と、記憶部１４に記憶されている果実の基準特徴量と、が一致するか否かを判別することによって、被写体が果実であるか否かを判断する。記憶部１４に果実の基準特徴量が複数記憶されている場合、判断部２０Ｃは、生成部２０Ｂが生成した特徴量と、複数の基準特徴量の何れかと、が一致するか否かを判別することによって、被写体が果実であるか否かを判断すればよい。
なお、特徴量と基準特徴量とが一致する、とは、果実と非果実とを区別可能な判断基準以上一致することを示す。例えば、特徴量と基準特徴量とが一致する、とは、少なくとも８０％以上が一致する事を示し、完全に一致（１００％一致）する形態に限定されない。
例えば、特徴量および基準特徴量が、分光画像によって示される、特定波長領域Ｃの波長に対する反射率の分布（すなわち、特定波長領域Ｃの反射スペクトル）そのものであるとする。この場合、判断部２０Ｃは、該反射スペクトルによって示される波長に対する反射率のプロットの群の少なくとも８０％以上が一致する場合に、特徴量と基準特徴量とが一致すると判別する。
また、特徴量および基準特徴量が、反射スペクトルによって示される反射率の変化量を示す傾き情報であったとする。傾き情報は、上述したように、取得した分光画像によって示される特定波長領域Ｃの波長に対する反射率の分布によって示される反射スペクトルを、予め定めた波長領域ごとに分割し、各波長領域における、最低波長に対応する第１の反射率、最高波長に対応する第２の反射率、および、第１の反射率から第２の反射率への変化量を該分割した波長領域で除算した除算値（変化量／波長領域）、によって規定される。
例えば、特定波長領域Ｃを複数の波長領域に分割する。この場合、記憶部１４には、該複数の波長領域の各々に対応する傾き情報が、基準特徴量として予め記憶される。そして、判断部２０Ｃは、生成部２０Ｂで特徴量として生成された、該複数の波長領域の各々に対応する傾き情報と、基準特徴量と、が一致するか否かを判別する。すなわち、この場合、判断部２０Ｃは、複数の波長領域の各々に対応する傾き情報、といった多次元の情報を用いて、判別を行う。
具体的には、特定波長領域Ｃが９３０ｎｍ〜１０１０ｎｍである場合に、５ｎｍの波長領域ごとに分割すると、特定波長領域Ｃは、１６個の波長領域に分割される。この場合、記憶部１４には、１６個の波長領域の各々に対応する傾き情報が、基準特徴量として予め記憶される。そして、判断部２０Ｃは、生成部２０Ｂで特徴量として生成された、１６個の波長領域の各々に対応する傾き情報と、基準特徴量と、が一致するか否かを判別する。
このとき、上述したように、１６個などの各次元の波長領域の各々に対応する傾き情報と、各次元の基準特徴量と、の全ての値が一致する形態に限定されず、予め定めた判断基準（例えば８０％）以上一致する場合に、特徴量と基準特徴量とが一致すると判断すればよい。
また、このような多次元の情報を用いて、特徴量と基準特徴量とが一致するか否かを判別する場合、判断部２０Ｃは、公知の機械学習を用いて判別を行ってもよい。
機械学習とは、人間が自然に行っている学習能力と同様の機能をコンピュータで実現する技法である。機械学習では、複数のサンプルデータの集合から解析を行い、有用な規則や判断基準などを抽出することが可能である。機械学習のアルゴリズムは、大きくは、教師あり学習と、教師なし学習と、に分類される。教師あり学習は、入力とそれに対応すべき出力とを写像する関数を生成する方法である。教師なし学習は、入力のみからモデルを構築する方法である。機械学習には、例えば、Ｋ−ｍｅａｎｓ、決定木、サポートベクトルマシン（ＳＶＭ）などの公知の方法がある。本実施の形態において、多次元の情報を用いて特徴量と基準特徴量とが一致するか否かを判別する場合、判断部２０Ｃは、このような公知の機械学習を用いて判別を行えばよい。
また、特徴量および基準特徴量が、分光画像によって示される、各波長に対する反射率の分布を示す反射スペクトルの形状、各波長に対する反射率の値、反射率のピークの位置、反射率０％を示す直線と反射スペクトルによって示される曲線との間の領域の面積、反射スペクトルによって示される反射率の変化量を示す傾き情報、および該変化量を多次関数に近似したときの該多次関数、の少なくとも２つである場合についても、上記と同様にして、機械学習などを用いて判別を行えばよい。
駆動制御部２０Ｄは、判断部２０Ｃで被写体が果実であると判断された場合、判断された果実に対して予め定めた動作を行うように、駆動部１６を制御する。例えば、駆動制御部２０Ｄは、判断された果実を把持し、把持した果実を所定の位置に配置された箱へ収納する動作を行うように、駆動部１６を制御する。
駆動部１６は、駆動制御部２０Ｄによる制御に応じた動作を行うように、駆動機構１８を駆動する。駆動機構１８は、例えば、ロボットハンドおよびロボットアームを用いて果実を把持し、把持した果実を所定の位置に配置された箱へ収納する。
次に、本実施の形態の情報処理装置２０で実行する情報処理の手順を説明する。
図６は、情報処理装置２０が実行する情報処理の手順の一例を示すフローチャートである。
まず、取得部２０Ａが、撮影部１２から分光画像を取得する（ステップＳ１００）。次に、生成部２０Ｂが、ステップＳ１００で取得した分光画像から、各波長に対する反射率の分布を示す反射スペクトルを生成する（ステップＳ１０２）。
詳細には、ステップＳ１０２では、生成部２０Ｂは、分光画像を複数の領域に分割し、分割した分割領域ごとに、反射スペクトルを生成する。例えば、生成部２０Ｂは、分光画像を、１５×１５画素の領域ごとに分割し、分割した分割領域ごとに、反射スペクトルを生成する。具体的には、生成部２０Ｂは、分割領域に含まれる各画素について、波長ごとに反射率の平均値を算出する。そして、各波長に対する反射率の平均値を、分割領域における各波長に対する反射率として定めることで、生成部２０Ｂは、分割領域ごとに反射スペクトルを生成する。
次に、生成部２０Ｂが、特徴量を生成する（ステップＳ１０４）。ステップＳ１０４では、生成部２０Ｂは、ステップＳ１０２で生成した各分割領域に対応する反射スペクトルから、分割領域ごとに特徴量を生成する。
次に、判断部２０Ｃが、分割領域毎にステップＳ１０６〜ステップＳ１１０の処理を繰り返し実行する。詳細には、判断部２０Ｃが、分割領域に対応する特徴量と基準特徴量とが一致するか否かを判別することによって、被写体が果実であるか否かを判断する（ステップＳ１０６）。
ステップＳ１０６で肯定判断すると（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０８へ進む。ステップＳ１０８では、処理対象の分割領域が果実を示す領域であると特定する（ステップＳ１０８）。一方、ステップＳ１０６で否定判断すると（ステップＳ１０６：Ｎｏ）、ステップＳ１１０へ進む。ステップＳ１１０では、処理対象の分割領域が果実ではない（非果実を示す）領域であると特定する（ステップＳ１１０）。
全ての分割領域についてのステップＳ１０６〜ステップＳ１１０の処理が終了すると、ステップＳ１１２へ進む。ステップＳ１１２では、ステップＳ１０６〜ステップＳ１１０の処理によって果実を示す領域として特定した分割領域を示す情報を、果実を示す領域として記憶部１４へ記憶する（ステップ１１２）。ステップＳ１１２の処理によって、被写体が果実であるか否かを示す情報が記憶部１４へ記憶される。すなわち、果実を示す領域として特定された分割領域の群が、記憶部１４に記憶される。
次に、駆動制御部２０Ｄは、ステップＳ１００〜ステップＳ１１２の処理によって、果実であると判断された被写体を把持し、予め定めた動作を行うように、駆動部１６を制御する（ステップＳ１１４）。例えば、駆動制御部２０Ｄは、判断された果実を把持し、把持した果実を所定の位置に配置された箱へ収納する動作を行うように、駆動部１６を制御する。例えば、駆動部１６は、駆動制御部２０Ｄによる制御に応じた動作を行うように、駆動機構１８を駆動する。駆動機構１８は、例えば、ロボットハンドおよびロボットアームを用いて果実を把持し、把持した果実を所定の位置に配置された箱へ収納する。そして、本ルーチンを終了する。
以上説明したように、本実施の形態の情報処理装置２０は、取得部２０Ａと、生成部２０Ｂと、判断部２０Ｃと、を備える。取得部２０Ａは、被写体の分光画像を取得する。生成部２０Ｂは、分光画像によって示される、近赤外領域Ａの少なくとも一部を含む特定波長領域Ｃの波長に対する反射率の分布に基づいて、被写体の特徴量を生成する。判断部２０Ｃは、特徴量と、予め定めた果実の基準特徴量と、の比較に基づいて、被写体が果実であるか否かを判断する。
このように、本実施の形態の情報処理装置２０では、分光画像によって示される、近赤外領域Ａの少なくとも一部を含む特定波長領域Ｃの波長に対する反射率の分布から、被写体が果実であるか否かを判断する。
従って、本実施の形態の情報処理装置２０では、果実を精度良く認識することができる。
また、特定波長領域Ｃは、近赤外領域Ａとすることができる。また、特定波長領域Ｃは、被写体が水であるときの光吸収率のピークに対応する波長を含むことが好ましい。また、特定波長領域Ｃは、波長９７０±１０ｎｍ、および、波長１１７０±１０ｎｍの少なくとも一方の波長領域を含むことが好ましい。
また、生成部２０Ｂは、分光画像によって示される特定波長領域Ｃの波長に対する反射率の分布によって示される反射スペクトルを、予め定めた波長領域ごとに分割し、各波長領域における、最低波長に対応する第１の反射率、最高波長に対応する第２の反射率、および、第１の反射率から第２の反射率への変化量を、特徴量として生成することができる。
また、本実施の形態の情報処理プログラムは、被写体の分光画像を取得するステップと、分光画像によって示される、近赤外領域Ａの少なくとも一部を含む特定波長領域Ｃの波長に対する反射率の分布に基づいて、被写体の特徴量を生成するステップと、特徴量と、予め定めた果実の基準特徴量と、の比較に基づいて、被写体が果実であるか否かを判断するステップと、を含む情報処理プログラムとすることができる。
また、本実施の形態の情報処理システム１０は、撮影部１２と、情報処理装置２０と、駆動部１６と、を備える。撮影部１２および駆動部１６は、情報処理装置２０に信号授受可能に接続されている。情報処理装置２０は、取得部２０Ａと、生成部２０Ｂと、判断部２０Ｃと、駆動制御部２０Ｄと、を備える。取得部２０Ａは、被写体の分光画像を撮影部１２から取得する。生成部２０Ｂは、分光画像によって示される、近赤外領域Ａの少なくとも一部を含む特定波長領域Ｃの波長に対する反射率の分布に基づいて、被写体の特徴量を生成する。判断部２０Ｃは、特徴量と、予め定めた果実の基準特徴量と、の比較に基づいて、被写体が果実であるか否かを判断する。駆動制御部２０Ｄは、被写体が果実であると判断された場合に、判断された果実に対して予め定めた動作を行うように駆動部１６を制御する。
（第２の実施の形態）
第１の実施の形態では、特定波長領域Ｃにおける反射率の分布を用いて、被写体が果実であるか否かを判断する場合を示した。本実施の形態では、特定波長領域Ｃにおける反射率の分布と、被写体の色と、被写体の形と、を用いて、被写体が果実であるか否かを判断する場合を説明する。
図１は、本実施の形態の情報処理システム１０Ａの機能ブロック図である。情報処理システム１０Ａは、撮影部１２と、記憶部１４と、駆動部１６と、駆動機構１８と、情報処理装置２１と、を備える。撮影部１２、記憶部１４、および駆動部１６と、情報処理装置２１と、は信号授受可能に接続されている。駆動部１６と駆動機構１８とは信号授受可能に接続されている。
情報処理システム１０Ａは、情報処理装置２０に代えて情報処理装置２１を備えた以外は、第１の実施の形態の情報処理システム１０と同様である。
情報処理装置２１は、情報処理システム１０Ａ全体を制御する。情報処理装置２１は、ＣＰＵ、ＲＯＭ、およびＲＡＭなどによって実現される。情報処理装置２１は、ＣＰＵ以外の回路などによって実現されてもよい。
情報処理装置２１は、取得部２０Ａと、生成部２０Ｂと、判断部２１Ｃと、駆動制御部２０Ｄと、を備える。取得部２０Ａ、生成部２０Ｂ、判断部２１Ｃ、および駆動制御部２０Ｄの一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること（すなわちソフトウェア）により実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、併用して実現してもよい。
情報処理装置２１は、判断部２０Ｃに代えて判断部２１Ｃを備えた以外は、第１の実施の形態の情報処理装置２０と同様である。
判断部２１Ｃは、生成部２０Ｂが生成した特徴量が、予め定めた果実の基準特徴量と一致するか否かを判別することによって、被写体が果実であるか否かを判断する、特定波長領域Ｃにおける反射率の分布を用いた判断処理を行う。この判断処理は、第１の実施の形態で説明した判断部２０Ｃによる判断処理と同じである。
本実施の形態では、判断部２１Ｃは、更に、色を用いた判断処理と、形を用いた判断処理と、を行う。
色を用いた判断処理は、分光画像を構成する各画素（分割領域でもよい）の色が、果実を示すものとして予め定めた色と一致するか否かを判別することで、被写体が果実であるか否かを判断する処理である。
例えば、判断部２１Ｃは、分光画像を構成する画素（分割領域でもよい）のＲＧＢの画素値の平均値が、果実であることを示す判断基準となる閾値以上、または閾値以下、であるか否かを判別することで、果実を示すものとして予め定めた色と一致するか否かを判別する。そして、判断部２１Ｃは、この判別結果を用いて、被写体が果実であるか否かを判断すればよい。
形を用いた判断処理は、分光画像に含まれる被写体の形状が、果実を示すものとして予め定めた形状と一致するか否かを判別することで、被写体が果実であるか否かを判断する処理である。
例えば、判断部２１Ｃは、分光画像を構成する各画素の画素値に対して微分を行い、隣接する画素間の画素値の変化量を算出する。そして、判断部２１Ｃは、この変化量が所定の状態であるか否か（例えば、丸い果実であれば、２次元画像上で丸い形状に同一の変化量が配置されているか否か）を判定することで、果実か非果実であるかを判断する。
図７は、情報処理装置２１が実行する情報処理の手順の一例を示すフローチャートである。
まず、情報処理装置２１では、第１の実施の形態のステップＳ１００〜ステップＳ１１２（図６参照）と同様にして、ステップＳ２００〜ステップＳ２１２の処理を行う。
すなわち、まず、取得部２０Ａが、撮影部１２から分光画像を取得する（ステップＳ２００）。次に、生成部２０Ｂが、ステップＳ２００で取得した分光画像から、各波長に対する反射率の分布を示す反射スペクトルを生成する（ステップＳ２０２）。例えば、生成部２０Ｂは、分割領域ごとに反射スペクトルを生成する。
次に、生成部２０Ｂが、特徴量を生成する（ステップＳ２０４）。例えば、生成部２０Ｂは、反射スペクトルから、分割領域ごとに特徴量を生成する。次に、判断部２１Ｃは、分割領域毎にステップＳ２０６〜ステップＳ２１０の処理を繰り返し実行する。全ての分割領域についてのステップＳ２０６〜ステップＳ２１０の処理が終了すると、ステップＳ２１２へ進む。
ステップＳ２１２では、判断部２１Ｃが、ステップＳ２０６〜ステップＳ２１０の処理によって果実を示す領域として特定した分割領域を示す情報を、特定波長領域Ｃにおける反射率の分布を用いた判断処理によって判断した、果実を示す領域として記憶部１４へ記憶する（ステップ２１２）。ステップＳ２１２の処理によって、特定波長領域Ｃにおける反射率の分布を用いた判断処理によって判断した、被写体が果実であるか否かを示す情報が記憶部１４へ記憶される。すなわち、果実を示す領域として特定された分割領域の群が、記憶部１４に記憶される。
次に、判断部２１Ｃは、色を用いた判断処理を行う（ステップＳ２１４）。ステップＳ２１４では、判断部２１Ｃは、分光画像を構成する分割領域のＲＧＢの画素値の平均値が、果実であることを示す判断基準となる閾値以上、または閾値以下、であるか否かを判別することで、各分割領域の色が果実を示すものとして予め定めた色と一致するか否かを判別する。そして、判断部２１Ｃは、果実を示す領域として判別した分割領域を示す情報を、色を用いた判断処理によって判断した、果実を示す領域として記憶部１４へ記憶する。
次に、判断部２１Ｃは、形を用いた判断処理を行う（ステップＳ２１６）。ステップＳ２１６では、判断部２１Ｃは、分光画像を構成する各画素の画素値に対して微分を行い、隣接する画素間の画素値の変化量を算出する。そして、判断部２１Ｃは、この変化量が所定の状態であるか否か（例えば、丸い果実であれば、２次元画像上で丸い形状に同一の変化量が配置されているか否か）を判定することで、各分割領域が、果実を示す形状を含むか否かを判別する。そして、判断部２１Ｃは、果実を示す形状を含む領域として判別した分割領域を示す情報を、形を用いた判断処理によって判断した、果実を示す領域として記憶部１４へ記憶する。
次に、判断部２１Ｃは、ステップＳ２１２で記憶部１４に記憶した、特定波長領域Ｃにおける反射率の分布を用いた判断処理によって判断した判断結果を示す情報と、ステップＳ２１４で記憶部１４に記憶した、色を用いた判断処理によって判断した判断結果を示す情報と、ステップＳ２１６で記憶部１４に記憶した、形を用いた判断処理によって判断した判断結果を示す情報と、を読取る（ステップＳ２１８）。
すなわち、ステップＳ２１８では、判断部２１Ｃは、特定波長領域Ｃにおける反射率の分布を用いた判断処理によって判断した果実を示す領域として判別した分割領域を示す情報と、色を用いた判断処理によって判断した果実を示す領域として判別した分割領域を示す情報と、形を用いた判断処理によって判断した果実を示す領域として判別した分割領域を示す情報と、を読取る。
そして、判断部２１Ｃは、分割領域ごとに、ステップＳ２２０〜ステップＳ２２６の処理を繰り返し実行する。まず、判断部２１Ｃは、特定波長領域Ｃにおける反射率の分布を用いた判断処理、色を用いた判断処理、および形を用いた判断処理、の各々の判断結果に対して、予め定めた対応する重み付けを行う（ステップＳ２２０）。
例えば、まず、判断部２１Ｃは、特定波長領域Ｃにおける反射率の分布を用いた判断処理、色を用いた判断処理、および形を用いた判断処理、の各々に対応する重み付け値を記憶部１４から読取る。
例えば、記憶部１４は、特定波長領域Ｃにおける反射率の分布を用いた判断処理、色を用いた判断処理、および形を用いた判断処理、の各々に対応する重み付け値を予め記憶する。例えば、記憶部１４は、特定波長領域Ｃにおける反射率の分布を用いた判断処理に対応する重み付け値としてある値（第１の値とする）を記憶する。また、記憶部１４は、色を用いた判断処理および形を用いた判断処理に対応する重み付け値として、第１の値より小さい値を記憶する。
これらの重み付け値は、予め記憶部１４に記憶してもよいし、ユーザによる操作部の指示などにより変更可能としてもよい。情報処理装置２１が、予め定めた条件に応じて、取得部２０Ａから取得した分光画像ごとに重み付け値を変更してもよい。
そして、判断部２１Ｃは、特定波長領域Ｃにおける反射率の分布を用いた判断処理、色を用いた判断処理、および形を用いた判断処理、の各々の判断結果に対して、対応する重み付け値を乗算することによって、各判断処理の判断結果に対して重み付けを行う。
そして、判断部２１Ｃは、処理対象の分光領域について、特定波長領域Ｃにおける反射率の分布を用いた判断処理、色を用いた判断処理、および形を用いた判断処理、の各々の判断結果に対して重み付けを行った結果（重み付け値を乗算した乗算値）を加算した値が、果実であるか否かを判断するための閾値以上であるか否かを判断することで、果実であるか否かを判断する（ステップＳ２２２）。
ステップＳ２２２で肯定判断すると（ステップＳ２２２：Ｙｅｓ）、ステップＳ２２４へ進む。ステップＳ２２４では、処理対象の分割領域が果実を示す領域であると特定する（ステップＳ２２４）。一方、ステップＳ２２２で否定判断すると（ステップＳ２２２：Ｎｏ）、ステップＳ２２６へ進む。ステップＳ２２６では、処理対象の分割領域が果実ではない（非果実を示す）領域であると特定する（ステップＳ２２６）。
全ての分割領域についてのステップＳ２２０〜ステップＳ２２６の処理が終了すると、ステップＳ２２８へ進む。ステップＳ２２８では、ステップＳ２２０〜ステップＳ２２６の処理によって果実を示す領域として特定した分割領域を示す情報を、果実を示す領域として記憶部１４へ記憶する（ステップ２２８）。
ステップＳ２２８の処理によって、特定波長領域Ｃにおける反射率の分布を用いた判断処理、色を用いた判断処理、および形を用いた判断処理から判断した判断結果である、被写体が果実であるか否かを示す情報が記憶部１４へ記憶される。すなわち、果実を示す領域として特定された分割領域の群が、記憶部１４に記憶される。
次に、駆動制御部２０Ｄは、ステップＳ２２８の処理によって記憶部１４に記憶された、果実を示す領域として特定された分割領域の群、すなわち果実であると判断された被写体を把持し、予め定めた動作を行うように、駆動部１６を制御する（ステップＳ２３０）。そして、本ルーチンを終了する。
以上説明したように、情報処理システム１０Ａでは、情報処理装置２１が、特定波長領域Ｃにおける反射率の分布と、被写体の色と、被写体の形と、を用いて、被写体が果実であるか否かを判断する。このように、特定波長領域Ｃにおける反射率の分布と、被写体の色と、被写体の形と、を用いて、被写体が果実であるか否かを判断することによって、第１の実施の形態に比べて、更に精度良く、果実を認識することができる。
（第３の実施の形態）
第２の実施の形態では、特定波長領域Ｃにおける反射率の分布と、被写体の色と、被写体の形と、を用いて、被写体が果実であるか否かを判断する場合を説明する。本実施の形態では、分光画像の撮影条件に応じて、特定波長領域Ｃにおける反射率の分布と、被写体の色および被写体の形の少なくとも一方と、を組み合わせることで、被写体が果実であるか否かを判断する場合を説明する。
図１は、本実施の形態の情報処理システム１０Ｂの機能ブロック図である。情報処理システム１０Ｂは、撮影部１２と、記憶部１４と、駆動部１６と、駆動機構１８と、情報処理装置２２と、を備える。撮影部１２、記憶部１４、および駆動部１６と、情報処理装置２２と、は信号授受可能に接続されている。駆動部１６と駆動機構１８とは信号授受可能に接続されている。
情報処理システム１０Ｂは、情報処理装置２０に代えて情報処理装置２２を備えた以外は、第１の実施の形態の情報処理システム１０と同様である。
情報処理装置２２は、情報処理システム１０Ｂ全体を制御する。情報処理装置２２は、ＣＰＵ、ＲＯＭ、およびＲＡＭなどによって実現される。情報処理装置２２は、ＣＰＵ以外の回路などによって実現されてもよい。
情報処理装置２２は、取得部２０Ａと、生成部２０Ｂと、判断部２２Ｃと、駆動制御部２０Ｄと、を備える。取得部２０Ａ、生成部２０Ｂ、判断部２２Ｃ、および駆動制御部２０Ｄの一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること（すなわちソフトウェア）により実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、併用して実現してもよい。
情報処理装置２２は、判断部２０Ｃに代えて判断部２２Ｃを備えた以外は、第１の実施の形態の情報処理装置２０と同様である。
判断部２２Ｃは、生成部２０Ｂが生成した特徴量が、予め定めた果実の基準特徴量と一致するか否かを判別することによって、被写体が果実であるか否かを判断する、特定波長領域Ｃにおける反射率の分布を用いた判断処理を行う。この判断処理は、第１の実施の形態で説明した判断部２０Ｃによる判断処理と同じである。
また、判断部２２Ｃは、色を用いた判断処理と、形を用いた判断処理と、を行う。これらの判断処理は、第２の実施の形態で説明した判断部２１Ｃによる判断処理と同じである。
さらに、判断部２２Ｃは、分光画像の撮影条件に応じて、特定波長領域Ｃにおける反射率の分布と、被写体の色と、被写体の形と、の何れかを用いた判断処理を組み合わせて実行するかを判断する。
例えば、分光画像に含まれる被写体の色と被写体以外の色である背景の色とが同系色である場合、被写体の色を用いた判断処理では、果実認識の認識率が低下する場合がある。また、動いている被写体を撮影した分光画像から、被写体の形を認識する場合、果実認識の認識率が低下する場合がある。
そこで、判断部２２Ｃは、被写体の色と、被写体以外の色である背景の色とが同系色である場合、形を用いた判断処理および色を用いた判断処理の内、色を用いた判断処理を実行しない。また、分光画像が動いている被写体を撮影した画像である場合、判断部２２Ｃは、形を用いた判断処理および色を用いた判断処理の内、形を用いた判断処理を実行しない。
このように、分光画像の撮影条件に応じて、判断処理に用いる判断基準を変更することで、果実の認識精度の更なる向上を図ることが可能となる。
図８は、情報処理装置２２が実行する情報処理の手順の一例を示すフローチャートである。
まず、情報処理装置２２では、第１の実施の形態のステップＳ１００〜ステップＳ１１２（図６参照）と同様にして、ステップＳ３００〜ステップＳ３１２の処理を行う。すなわち、情報処理装置２２は、特定波長領域Ｃにおける反射率の分布を用いた判断処理を行う。
次に、判断部２２Ｃが、被写体の色と、被写体以外の色である背景の色と、が同系色であるか否かを判断する（ステップＳ３１４）。例えば、判断部２２Ｃは、ステップＳ３００で取得した分光画像に含まれる、波長の異なる光の各々に対する被写体の反射率を示す複数の二次元画像について、二次元画像の間で同じ画素位置の画素のＲＧＢ値の合計値を、各画素の画素値として算出する。そして、判断部２２Ｃは、分光画像における被写体を示す領域を構成する各画素の画素値の平均値と、背景の領域を構成する各画素の画素値の平均値と、の差が、同系色であるか否かの判別に用いる予め定めた閾値以下であるか否かを判別することで、ステップＳ３１４の判断を行う。
被写体の色と、被写体以外の色である背景の色と、が同系色であると判断すると（ステップＳ３１４：Ｙｅｓ）、ステップＳ３１６へ進む。ステップＳ３１６では、判断部２２ＣがステップＳ２１６（図７参照）と同様にして、形を用いた判断処理を実行する（ステップＳ３１６）。そして、ステップＳ３２６へ進む。
一方、被写体の色と、被写体以外の色である背景の色と、が同系色ではないと判断すると（ステップＳ３１４：Ｎｏ）、ステップＳ３１８へ進む。
ステップＳ３１８では、判断部２２Ｃが、被写体が動いているか否かを判断する（ステップ３１８）。例えば、撮影部１２が連続して分光画像を撮影する。そして、判断部２２Ｃは、撮影部１２が前回撮影した分光画像に含まれる被写体と、今回撮影した分光画像に含まれる被写体と、の位置の差が、被写体が移動しているか否かの判断に用いる予め定めた閾値以上である場合に、被写体が動いていると判断すればよい。
被写体が動いていると判断した場合（ステップＳ３１８：Ｙｅｓ）、ステップＳ３２０へ進む。ステップＳ３２０では、判断部２２Ｃは、ステップＳ２１４（図７参照）と同様にして色を用いた判断処理を実行する。そして、ステップＳ３２６へ進む。
一方、被写体の色が背景色と同系色ではなく（ステップＳ３１４：Ｎｏ）、且つ被写体が動いていない場合（ステップＳ３１８：Ｎｏ）、ステップＳ３２２へ進む。ステップＳ３２２では、判断部２２Ｃは、ステップＳ２１６（図７参照）と同様にして、形を用いた判断処理を実行する（ステップＳ３２２）。そして、判断部２２Ｃは、ステップＳ２１４（図７参照）と同様にして、色を用いた判断処理を実行する（ステップＳ３２４）。そして、ステップＳ３２６へ進む。
次に、情報処理装置２２は、第２の実施の形態で説明したステップＳ２１８〜ステップＳ２３０（図７参照）と同様にして、ステップＳ３２６〜ステップＳ３３８の処理を実行し、本ルーチンを終了する。
以上説明したように、本実施の形態の情報処理システム１０Ｂは、分光画像の撮影条件に応じて、特定波長領域Ｃにおける反射率の分布と、被写体の色および被写体の形の少なくとも一方と、を組み合わせることで、被写体が果実であるか否かを判断する。
このように、本実施の形態の情報処理システム１０Ｂでは、撮影条件に応じて、誤認識の発生する可能性のある判断処理を省略する。
このため、本実施の形態の情報処理システム１０Ｂでは、上記実施の形態に比べて、更に精度良く、被写体が果実であるか否かを認識することができる。
なお、本実施の形態では、分光画像の撮影条件に応じて組み合わせる判断処理は、特定波長領域Ｃにおける反射率の分布を用いた判断処理と、被写体の色を用いた判断処理と、被写体の形を用いた判断処理と、の３種類である場合を説明した。しかし、分光画像の撮影条件に応じて組み合わせる判断処理は、少なくとも特定波長領域Ｃにおける反射率の分布を用いた判断処理を含む形態であればよく、更に他の判断処理を組み合わせた形態であってもよい。
なお、上記に説明した情報処理システム１０、１０Ａ、１０Ｂは、例えば、果実を認識し、認識した果実を採取するロボットなどの装置に適用可能である。
また、上記に説明した情報処理システム１０、１０Ａ、１０Ｂで認識する対象の果実は限定されないが、特に、外皮の内側に含まれる水分による反射率が測定されやすい果実の認識に、特に効果的である。すなわち、少なくとも特定波長領域Ｃの波長の光が果実の外皮を透過可能であり、且つ、反射率を測定しやすい果実の認識に、特に効果的である。
次に、上記実施の形態における情報処理装置２０、２１、２２のハードウェア構成を説明する。
図９は、上記実施の形態における情報処理装置２０、２１、２２のハードウェア構成の一例を示す図である。
上記実施の形態における情報処理装置２０、２１、２２は、ＣＰＵ５０、ＲＯＭ５２、ＲＡＭ５４、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）５６、およびＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５８を有する。ＣＰＵ５０、ＲＯＭ５２、ＲＡＭ５４、Ｉ／Ｆ５６、およびＨＤＤ５８は、バス６０により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。また、Ｉ／Ｆ５６には、公知の表示装置や、ユーザによる各種操作を受け付ける操作部や、上述した駆動部１６や撮影部１２（図１参照）が接続されている。
上記実施の形態における情報処理装置２０、２１、２２で実行される上記各種処理を実行するためのプログラムは、ＲＯＭ等に予め組み込んで提供される。
なお、上記実施の形態における情報処理装置２０、２１、２２で実行される上記各種処理を実行するためのプログラムは、これらの装置にインストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＷ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記録されて提供するように構成してもよい。
また、上記実施の形態における情報処理装置２０、２１、２２で実行される上記各種処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態における情報処理装置２０、２１、２２で実行される上記各種処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
上記実施の形態における情報処理装置２０、２１、２２で実行される上記各種処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵがＲＯＭ等の記憶媒体から各プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
なお、上記には、実施の形態を説明したが、上記実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０、１０Ａ、１０Ｂ 情報処理システム
２０、２１、２２ 情報処理装置
２０Ａ 取得部
２０Ｂ 生成部
２０Ｃ、２１Ｃ、２２Ｃ 判断部
２０Ｄ 駆動制御部
特開２００６−２２６７７５号公報

Claims (7)

  1. 被写体の分光画像を取得する取得手段と、
    前記分光画像によって示される、近赤外領域の少なくとも一部を含む特定波長領域の波長に対する反射率の分布に基づいて、前記被写体の特徴量を生成する生成手段と、
    前記特徴量と、予め定めた果実の基準特徴量と、の比較に基づいて、前記被写体が果実であるか否かを判断する判断手段と、
    を備えた情報処理装置。
  2. 前記特定波長領域は、近赤外領域である、請求項１に記載の情報処理装置。
  3. 前記特定波長領域は、前記被写体が水であるときの光吸収率のピークに対応する波長を含む、請求項１または請求項２に記載の情報処理装置。
  4. 前記特定波長領域は、波長９７０±１０ｎｍ、および、波長１１７０±１０ｎｍの少なくとも一方の波長領域を含む、請求項１〜請求項３の何れか１項に記載の情報処理装置。
  5. 前記生成手段は、
    前記分光画像によって示される前記特定波長領域の波長に対する反射率の分布によって示される反射スペクトルを、予め定めた波長領域ごとに分割し、各波長領域における、最低波長に対応する第１の反射率、最高波長に対応する第２の反射率、および、前記第１の反射率から前記第２の反射率への変化量を、前記特徴量として生成する、請求項１〜請求項４の何れか１項に記載の情報処理装置。
  6. 被写体の分光画像を取得するステップと、
    前記分光画像によって示される、近赤外領域の少なくとも一部を含む特定波長領域の波長に対する反射率の分布に基づいて、前記被写体の特徴量を生成するステップと、
    前記特徴量と、予め定めた果実の基準特徴量と、の比較に基づいて、前記被写体が果実であるか否かを判断するステップと、
    を含む情報処理プログラム。
  7. 被写体の分光画像を撮影する撮影手段と、前記撮影手段に接続された情報処理装置と、前記情報処理装置に接続され、前記被写体に対応する果実に対して予め定めた動作を行う駆動機構を駆動する駆動手段と、を備えた情報処理システムであって、
    情報処理装置は、
    被写体の分光画像を前記撮影手段から取得する取得手段と、
    前記分光画像によって示される、近赤外領域の少なくとも一部を含む特定波長領域の波長に対する反射率の分布に基づいて、前記被写体の特徴量を生成する生成手段と、
    前記特徴量と、予め定めた果実の基準特徴量と、の比較に基づいて、前記被写体が果実であるか否かを判断する判断手段と、
    前記被写体が果実であると判断された場合に、判断された果実に対して予め定めた動作を行うように前記駆動手段を制御する駆動制御手段と、
    を備えた、情報処理システム。
JP2015119373A 2015-06-12 2015-06-12 情報処理装置、情報処理プログラム、および情報処理システム Expired - Fee Related JP6586782B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015119373A JP6586782B2 (ja) 2015-06-12 2015-06-12 情報処理装置、情報処理プログラム、および情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015119373A JP6586782B2 (ja) 2015-06-12 2015-06-12 情報処理装置、情報処理プログラム、および情報処理システム

Publications (2)

Publication Number Publication Date
JP2017003495A true JP2017003495A (ja) 2017-01-05
JP6586782B2 JP6586782B2 (ja) 2019-10-09

Family

ID=57754200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015119373A Expired - Fee Related JP6586782B2 (ja) 2015-06-12 2015-06-12 情報処理装置、情報処理プログラム、および情報処理システム

Country Status (1)

Country Link
JP (1) JP6586782B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212078A1 (ja) 2017-05-17 2018-11-22 エバ・ジャパン株式会社 情報探索システム及び方法、情報探索プログラム
KR20190010576A (ko) 2017-05-17 2019-01-30 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 방법, 정보 탐색 프로그램
WO2019187277A1 (ja) 2018-03-27 2019-10-03 エバ・ジャパン株式会社 情報探索システム及びプログラム
US10768097B2 (en) 2017-03-15 2020-09-08 Canon Kabushiki Kaisha Analyzer, image capturing apparatus that acquires color information, analyzing method, and storage medium
WO2023053766A1 (ja) * 2021-09-29 2023-04-06 富士フイルム株式会社 画像データ処理装置及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59210829A (ja) * 1983-05-14 1984-11-29 株式会社クボタ 果実収穫用ロボツトハンド
JPH0981749A (ja) * 1995-09-18 1997-03-28 Iseki & Co Ltd 果実認識装置
US5791497A (en) * 1996-05-08 1998-08-11 Src Vision, Inc. Method of separating fruit or vegetable products
US6009186A (en) * 1996-08-30 1999-12-28 New Holland Braud S.A. Method and apparatus for harvesting crop material
WO2012172834A1 (ja) * 2011-06-17 2012-12-20 日本電気株式会社 収穫時熟度推定装置、収穫時熟度推定方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59210829A (ja) * 1983-05-14 1984-11-29 株式会社クボタ 果実収穫用ロボツトハンド
JPH0981749A (ja) * 1995-09-18 1997-03-28 Iseki & Co Ltd 果実認識装置
US5791497A (en) * 1996-05-08 1998-08-11 Src Vision, Inc. Method of separating fruit or vegetable products
US6009186A (en) * 1996-08-30 1999-12-28 New Holland Braud S.A. Method and apparatus for harvesting crop material
WO2012172834A1 (ja) * 2011-06-17 2012-12-20 日本電気株式会社 収穫時熟度推定装置、収穫時熟度推定方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10768097B2 (en) 2017-03-15 2020-09-08 Canon Kabushiki Kaisha Analyzer, image capturing apparatus that acquires color information, analyzing method, and storage medium
WO2018212078A1 (ja) 2017-05-17 2018-11-22 エバ・ジャパン株式会社 情報探索システム及び方法、情報探索プログラム
KR20190010576A (ko) 2017-05-17 2019-01-30 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 방법, 정보 탐색 프로그램
US10832088B2 (en) 2017-05-17 2020-11-10 EBA Japan Co., Ltd. Information search system, information search method, and information search program
WO2019187277A1 (ja) 2018-03-27 2019-10-03 エバ・ジャパン株式会社 情報探索システム及びプログラム
KR20190113523A (ko) 2018-03-27 2019-10-08 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 프로그램
US10846325B2 (en) 2018-03-27 2020-11-24 EBA Japan Co., Ltd. Information search system and information search program
WO2023053766A1 (ja) * 2021-09-29 2023-04-06 富士フイルム株式会社 画像データ処理装置及び方法

Also Published As

Publication number Publication date
JP6586782B2 (ja) 2019-10-09

Similar Documents

Publication Publication Date Title
JP6586782B2 (ja) 情報処理装置、情報処理プログラム、および情報処理システム
JP7043191B2 (ja) 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム
US10304179B2 (en) Maturity determination device and maturity determination method
Barbedo A novel algorithm for semi-automatic segmentation of plant leaf disease symptoms using digital image processing
Kurtulmus et al. Green citrus detection using ‘eigenfruit’, color and circular Gabor texture features under natural outdoor conditions
JP6332937B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11721086B2 (en) Image processing system and image processing method
US8238652B2 (en) Image processing apparatus and method, and program
US20150157243A1 (en) Health state determining method and apparatus using facial image
CN105404848A (zh) 识别装置以及识别装置的控制方法
US10420282B2 (en) Fruit or vegetable product harvesting apparatus and fruit or vegetable product harvesting method
JP5988093B2 (ja) 画像処理装置、物体識別装置、及びプログラム
KR20200084940A (ko) Cnn 기반 병해 및 손상 과일 분류 장치 및 방법
JP2018004646A (ja) 熟度判定装置および熟度判定方法
KR102448123B1 (ko) 농산물 신선도 예측 방법 및 장치
Lucca et al. Applying aggregation and pre-aggregation functions in the classification of grape berries
Murugeswari et al. Automated sugarcane disease detection using faster RCNN with an android application
EP4154214A1 (en) Systems and methods for automatically grading cannabis plants and adjusting control parameters
CN116824171A (zh) 中医高光谱舌象图像波段的选择方法及相关装置
Du et al. Diagnostic model for wheat leaf conditions using image features and a support vector machine
JP7077646B2 (ja) 画像生成装置、撮像システム、プログラム、画像生成方法、情報管理システムおよび端末
CN111325241A (zh) 果蔬分类方法、装置、智能传感器及计算机存储介质
EP3048580A1 (en) Method of extracting the optic disc of a retinal image
JP2004147539A (ja) 果樹の成育状態評価方法
CN116849612B (zh) 一种多光谱舌象图像采集分析系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190826

R151 Written notification of patent or utility model registration

Ref document number: 6586782

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees