JP2017134585A - 収穫適期判定支援装置及び収穫適期判定支援プログラム - Google Patents

Abstract

【課題】導入コストが低く、誰でも精度良く収穫適期を判定することを支援できる収穫適期判定支援装置等を提供する。【解決手段】収穫適期判定支援装置は、制御部２において、果菜物を含む元画像を取得する画像取得部２１と、元画像の色変換を行い、各画素の色相値を算出する色変換部２２と、各画素の色相値に基づいて、元画像内における果菜物の位置及び範囲を推定し、熟度判定に用いる領域である熟度判定用領域を抽出する熟度判定用領域抽出部２３と、熟度判定用領域の色相値に基づいて、熟度判定に用いる色相値である判定用色相値を算出し、判定用色相値と所定の熟度データベース２６の色相値とを比較する熟度判定部２５と、を備える。【選択図】図２

Description

本発明は、果菜物の収穫適期の判定を支援する収穫適期判定支援装置等に関するものである。

ほとんどの枝なりの果菜物（例えば、りんご、梨、ぶどう、桃等）の収穫適期は、表面の色、又は地色と呼ばれる表面深層部の色によって判断される。従来、色の判断指標として、熟度の段階に応じて色が統計的に決定されたカラーチャートが存在する。作業者は、果菜物の表面および表面深層部を目視でカラーチャートと比較し、収穫適期を判定する。しかしながら、この目視判定は、ある程度の熟練が必要である上、熟練者においても個人差があり、精度良く目視判定を行うことは難しい。

装置を利用して果菜物の表面又は地色を判断する方法として、色彩計を用いる方法がある。また、特許文献１には、スマートフォンに近赤外線領域の光を使用した非破壊糖度測定機を組み込み、糖度測定を行う方法も提案されている。

Ｇ０１Ｎ２１／００
特許第５７５５２８１号公報

しかしながら、色彩計を用いる方法も、特許文献１に記載の方法も、専用の装置が必要となり、導入コストが高い。生産現場では、導入コストが低く、経験が浅い者でも精度良く収穫適期を判定する方法が望まれている。

本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、導入コストが低く、誰でも精度良く収穫適期を判定することを支援できる収穫適期判定支援装置等を提供することである。

前述した目的を達成するための第１の発明は、果菜物の収穫適期の判定を支援する収穫適期判定支援装置であって、前記果菜物を含む元画像を取得する画像取得部と、前記元画像の色変換を行い、各画素の色相値を算出する色変換部と、各画素の色相値に基づいて、前記元画像内における前記果菜物の位置及び範囲を推定し、熟度判定に用いる領域である熟度判定用領域を抽出する熟度判定用領域抽出部と、前記熟度判定用領域の色相値に基づいて、熟度判定に用いる色相値である判定用色相値を算出し、前記判定用色相値と所定の熟度データベースの色相値とを比較する熟度判定部と、を備えることを特徴とする収穫適期判定支援装置である。第１の発明は、導入コストが低く、誰でも収穫適期を判定することを支援できる。

第１の発明における前記熟度判定用領域抽出部は、前記果菜物に対応する色相範囲によって各画素に対する閾値処理を行い、前記元画像を二値化し、二値画像を生成する真偽判定部と、前記果菜物に対応するテンプレート図形と前記二値画像とを比較し、画素ごとに前記テンプレート図形と前記二値画像との相関値を算出し、前記相関値によって多階調化される多値画像を生成する相関判定部と、前記多値画像に基づいて、前記元画像における前記果菜物の領域である果菜物領域を推定する果菜物領域推定部と、前記果菜物領域に基づいて、前記熟度判定用領域を抽出する領域抽出部と、を含むように構成しても良い。これによって、果菜物と色味が似ているものの、形状及び面積が異なる物体を、果菜物と誤って認識することを低減できる。ひいては、果菜物の収穫適期を判定するための情報を精度良く提供することができる。

第１の発明における前記熟度判定用領域抽出部は、前記果菜物領域に基づいて、熟度判定に関する前記果菜物の特徴的な部位である特徴領域を推定する特徴領域推定部、を更に含み、前記領域抽出部は、前記果菜物領域及び前記特徴領域に基づいて、前記熟度判定用領域を抽出するように構成しても良い。これによって、例えば、地色に基づいてりんご等の収穫適期を判定する場合であっても、ユーザは、撮影部による撮影方向を厳密にりんごの底面に正対させる必要がないため、収穫適期判定支援装置の操作が容易になり、誰でも精度良く収穫適期を判定することができる。

第１の発明は、前記元画像を撮影する撮影部と、前記撮影部の露出を調整する露出調整部と、前記熟度判定用領域の明度値のヒストグラムを生成し、前記ヒストグラムの中央値と、明度のダイナミックレンジの中心の値との差異が所定の範囲内か否かを判定することによって、前記元画像の再取得の要否を判定する画像再取得要否判定部と、を更に備え、前記画像再取得要否判定部による判定結果が不要の場合、前記熟度判定部による処理を実行し、前記画像再取得要否判定部による判定結果が要の場合、前記露出調整部による処理を実行し、前記画像取得部によって前記元画像を再度取得し、前記色変換部による処理から繰り返すように構成しても良い。これによって、果菜物の撮影は、必然的に屋外（＝撮影環境が一定ではない場所）での撮影となるところ、ユーザは撮影部を果菜物の対象部位に向けているだけで、自動的に果菜物を適正な露出で撮影することができる。従って、誰でも収穫適期を精度良く判定することができる。

第２の発明は、コンピュータを、果菜物の収穫適期の判定を支援する収穫適期判定支援装置として機能させるための収穫適期判定支援プログラムであって、前記コンピュータを、前記果菜物を含む元画像を取得する画像取得部と、前記元画像の色変換を行い、各画素の色相値を算出する色変換部と、各画素の色相値に基づいて、前記元画像内における前記果菜物の位置及び範囲を推定し、熟度判定に用いる領域である熟度判定用領域を抽出する熟度判定用領域抽出部と、前記熟度判定用領域の色相値に基づいて、熟度判定に用いる色相値である判定用色相値を算出し、前記判定用色相値と所定の熟度データベースの色相値とを比較する熟度判定部、として機能させるための収穫適期判定支援プログラムである。第２の発明を汎用のコンピュータにインストールすることによって、第１の発明の収穫適期判定支援装置を実現することができる。

本発明により、導入コストが低く、誰でも精度良く収穫適期を判定することを支援できる収穫適期判定支援装置等を提供することができる。

収穫適期判定支援装置１のハードウエア構成を示す図 収穫適期判定支援装置１のソフトウエア構成を示す図 熟度判定用領域抽出部２３の機能構成を示す図 収穫適期判定支援装置１の処理の流れを示すフローチャート 元画像の一例 真偽判定部２３１の判定結果を重畳した元画像の一例 真偽判定部２３１によって生成される白黒画像の一例 相関判定部２３２によって生成されるグレースケール画像の一例 相関値が所定の閾値以上の領域の外縁を示す白黒画像の一例 特徴領域を含む円を重畳した元画像の一例 判定結果出力部２７によって出力される判定結果の表示例 果菜物が画像に含まれていない場合の表示例

以下図面に基づいて、本発明の実施形態を詳細に説明する。本発明の実施形態における果菜物は、例えば、りんご、梨、ぶどう、桃等の果物、いちご、スイカ、メロン等の果実的野菜、トマト、ピーマン等の野菜を含む。

図１は、収穫適期判定支援装置１のハードウエア構成を示す図である。図１に示すように、収穫適期判定支援装置１は、制御部２、記憶部３、入力部４、表示部５、音入力部６、音出力部７、電源部８、撮影部９、通信部１０、Ｉ／Ｆ部１１等を備えるコンピュータである。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。ＣＰＵは、記憶部３、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バスを介して接続された各装置を駆動制御し、コンピュータが行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部３、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部２が各種処理を行うために使用するワークエリアを備える。本発明の実施形態では、制御部２は、果菜物を含む元画像を用いて収穫適期判定支援処理を実行する。

記憶部３は、例えば、フラッシュメモリ（Flash Memory）やＨＤＤ（Hard Disk Drive）であり、制御部２が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部２により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

入力部４は、データの入力を行う。ユーザは、入力部４を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部５は、液晶パネル等のディスプレイ装置を有する。入力部４及び表示部５は、タッチパネルディスプレイのように、一体となっていても良い。

音入力部６は、音声や音響を入力するマイクロフォンを有する。音出力部７は、音声や音響を出力するスピーカを有する。

電源部８は、電源管理システムを有し、コンピュータの各装置に電力を供給する。撮影部９は、ＣＭＯＳセンサやＣＣＤセンサなどの撮影用半導体センサを有し、対象物の撮影を行い、静止画像又は動画像を生成する。本発明の実施形態では、撮影部９は、果菜物を含む静止画像を元画像として撮影する。

通信部１０は、有線又は無線を介して、他のコンピュータとの間の通信制御を行う。無線通信としては、移動通信システム（例えば、３Ｇ、４Ｇ、ＬＴＥ（Long Term Evolution）等）、Ｗｉ−Ｆｉ、Bluetooth(登録商標)、赤外線通信、近距離無線通信（例えば、ＮＦＣ）等が挙げられる。Ｉ／Ｆ（Interface）部１１は、ＵＳＢ（Universal Serial Bus）や各種記憶媒体のスロット等、周辺装置とのインタフェースである。

収穫適期判定支援装置１は、例えば、スマートフォン、タブレット端末、携帯電話等である。また、収穫適期判定支援装置１は、複数の装置を組み合わせて構成されても良い。例えば、収穫適期判定支援装置１は、スマートフォンと、ネットワークを介して接続されるサーバとの組み合わせであっても良いし、スマートフォンと、表示部５及び撮影部９を備えるスマートグラスとの組み合わせであっても良い。

図２は、制御部２のソフトウエア構成を示す図である。図２に示すように、制御部２は、記憶部３に記憶される収穫適期判定支援プログラムを起動することによって、画像取得部２１、色変換部２２、熟度判定用領域抽出部２３、画像再取得要否判定部２４、熟度判定部２５、熟度データベース２６、判定結果出力部２７、露出調整部２８、パラメータ入力部２９等の機能を有する。

画像取得部２１は、撮影部９によって撮影される静止画像（＝元画像）を取得する。ユーザが、撮影部９のカメラレンズを対象となる果菜物に向けて、表示部５に表示されるメインメニューから「収穫適期判定」ボタンを選択すると、画像取得部２１は、ユーザが撮影操作（例えば、画面をタッチする操作等）を行わなくても、自動的に元画像を取得する。

色変換部２２は、画像取得部２１によって取得される元画像の色変換を行い、各画素の色相値を算出する。例えば、色変換部２２は、静止画像に対してＲＧＢ色空間（＝赤、緑、青の三原色によって表現される色空間）からＨＳＶ色空間（＝色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Lightness・Brightness)によって表現される色空間）に色変換を行う。

熟度判定用領域抽出部２３は、色変換部２２によって算出される各画素の色相値に基づいて、静止画像内における果菜物の位置及び範囲を推定し、熟度判定に用いる領域である熟度判定用領域を抽出する。熟度判定用領域抽出部２３の詳細は、図３を参照して説明する。

図３は、熟度判定用領域抽出部２３の機能構成を示す図である。図３に示すように、熟度判定用領域抽出部２３は、真偽判定部２３１、相関判定部２３２、果菜物領域推定部２３３、特徴領域推定部２３４、領域抽出部２３５等を含む。

真偽判定部２３１は、果菜物に対応する所定の色相範囲によって各画素に対する閾値処理を行い、元画像を二値化し、二値画像（例えば、「白黒画像」）を生成する。例えば、真偽判定部２３１は、色相値が所定の色相範囲に入る画素に対しては画素値を「１」（白黒画像の「白」に相当）、色相値が所定の色相範囲に入らない画素に対しては画素値を「０」（白黒画像の「黒」に相当）に設定する。

相関判定部２３２は、果菜物に対応するテンプレート図形と、真偽判定部２３１によって生成される二値画像とを比較し、画素ごとにテンプレート図形と二値画像との相関値を算出し、相関値によって多階調化される多値画像（例えば、「グレースケール画像」）を生成する。相関判定部２３２は、テンプレート図形の中心座標を二値画像における相関値算出対象画素の座標と合致させ、テンプレート図形内に色相値が所定の色相範囲に入る画素の割合を、相関値として算出する。

尚、テンプレート図形の面積は、二値画像の面積よりも小さく設定し、望ましくは、元画像において果菜物の領域が占める面積よりも小さく設定する。例えば、元画像内において果菜物の領域が占めるべき最低限の面積を予め決めておき、果菜物の領域が最低限の面積以上となるように元画像を撮影する運用とすれば、テンプレート図形の面積は、この最低限の面積と同程度にすれば良い。

相関判定部２３２の処理の具体例について説明する。二値画像を直交座標系の第１象限に配置し、相関値算出の対象画素の座標が（Ｘ、Ｙ）とする。例えば、テンプレート図形が３×３の正方形の場合、相関判定部２３２は、（Ｘ−１、Ｙ−１）、（Ｘ、Ｙ−１）、（Ｘ＋１、Ｙ−１）、（Ｘ−１、Ｙ）、（Ｘ、Ｙ）、（Ｘ＋１、Ｙ）、（Ｘ−１、Ｙ＋１）、（Ｘ、Ｙ＋１）、（Ｘ＋１、Ｙ＋１）の９個の画素のうち、画素値が「１」の画素の割合を算出する。例えば、画素値が「１」の画素数が５個とすると、（Ｘ、Ｙ）の相関値は、５／９となる。例えば、相関判定部２３２は、算出される相関値を０（黒）〜２５５（白）にスケール変換し、多値画像（グレースケール画像）を生成する。

真偽判定部２３１による処理に加えて、相関判定部２３２による処理を行うことによって、果菜物と色味が似ているものの、形状及び面積が異なる物体を、果菜物と誤って認識することを低減できる。ひいては、後述の処理の精度を向上することができる。

果菜物領域推定部２３３は、相関判定部２３２によって生成される多値画像に基づいて、元画像における果菜物の領域である果菜物領域を推定する。例えば、果菜物領域を円で推定する場合、果菜物領域推定部２３３は、相関値が所定の閾値以上の領域の中心、及び中心から領域外縁までの平均距離を、推定円の中心及び半径として算出しても良い。また、例えば、果菜物領域推定部２３３は、相関値が所定の閾値以上の領域の内接円又は外接円を、推定円として算出しても良いし、その他の公知技術によって推定円や多角形を算出しても良い。

特徴領域推定部２３４は、果菜物領域推定部２３３によって推定される果菜物領域に基づいて、熟度判定に関する果菜物の特徴的な部位である特徴領域を推定する。ほとんどの果菜物（例えば、りんご、梨、ぶどう、桃等）の収穫適期は、表面の色、又は地色と呼ばれる表面深層部の色によって判断される。しかし、例えば、りんごの場合、表面は日光によって焼けるため、表面の色は、熟度だけでなく、日当たりの違いにも影響される。従って、表面の色よりも地色の方が精度良く熟度を判定することができる。りんごの底部は日光が当たらず地色のままであるため、りんごの底部周辺を熟度判定用領域として抽出することが望ましい。そこで、りんごの底部を特定するため、特徴領域推定部２３４によって、りんごの底部の中心である「萼窪（がくあ）」を特徴領域として推定するようにしても良い。萼窪は、花が咲いている状態では、花びらの下部に位置する部位である。萼窪は他の部位よりも明度が低いので、特徴領域推定部２３４は、果菜物領域内の画素について、明度値が所定の閾値以下の画素を特徴領域として推定する。但し、地色ではなく表面の色によって熟度を判定する場合、特徴領域推定部２３４による処理は必要ない。

領域抽出部２３５は、果菜物領域推定部２３３によって推定される果菜物領域及び特徴領域推定部２３４によって推定される特徴領域に基づいて、熟度判定用領域を抽出する。例えば、りんごの地色によって熟度を判定する場合、領域抽出部２３５は、果菜物領域から特徴領域を除いた領域（＝果菜物領域と特徴領域との差集合）を、熟度判定用領域として抽出する。但し、特徴領域推定部２３４による処理を行わない場合、領域抽出部２３５は、果菜物領域推定部２３３によって推定される果菜物領域のみに基づいて、熟度判定用領域を抽出しても良い。

図２の説明に戻る。画像再取得要否判定部２４は、熟度判定用領域抽出部２３によって抽出される熟度判定用領域の明度値のヒストグラムを生成し、ヒストグラムの中央値と、明度のダイナミックレンジ（「ラティチュード」とも言う。）の中心の値（＝ダイナミックレンジの最大値と最小値を足して２で割った値）との差異が所定の範囲内か否かを判定することによって、元画像の再取得の要否を判定する。制御部２は、画像再取得要否判定部２４による判定結果が不要の場合、熟度判定部２５による処理を実行し、画像再取得要否判定部２４による判定結果が要の場合、露出調整部２８による処理を実行し、画像取得部２１によって撮影部９から元画像を再度取得し、色変換部２２による処理から繰り返す。

熟度判定部２５は、熟度判定用領域の色相値に基づいて、熟度判定に用いる色相値である判定用色相値を算出し、判定用色相値と所定の熟度データベース２６の色相値とを比較する。熟度データベース２６には、未熟から過熟までの程度を示す熟度スケールと、熟度スケールに対応する色相範囲とが記憶されている。熟度データベース２６には、果菜物の品種ごとに熟度と対象部位の色相との関係を調べた結果を登録しておく。

熟度判定部２５は、熟度判定用領域から所定の色相範囲に属する画素のみを抽出し、抽出される画素の色相値の平均値を判定用色相値とすることが望ましい。これは、熟度判定用領域内のノイズ（＝熟度判定に用いる部位ではない部分）を除去するためである。熟度判定部２５における所定の色相範囲は、真偽判定部２３１における所定の色相範囲と同じでも良いし、異なっていても良い。例えば、りんごについて、地色によって熟度を判定する場合、熟度判定部２５における所定の色相範囲は、真偽判定部２３１における所定の色相範囲と異なる。また、表面の色によって熟度を判定する場合、熟度判定部２５における所定の色相範囲は、真偽判定部２３１における所定の色相範囲と同じでも良い。

判定結果出力部２７は、熟度判定部２５による判定結果を出力する。判定結果出力部２７は、表示部５に判定結果を文字又は絵柄として表示しても良いし、音出力部７に判定結果を音声として出力しても良いし、通信部１０を介して他のコンピュータに判定結果を送信しても良い。

出力する判定結果の内容（＝収穫適期の判定を支援する情報）は、熟度データベース２６の熟度スケールでも良いし、熟度スケールに対応する色の名前でも良い。これらの場合、ユーザは、熟度スケールや色の名前に基づいて、収穫適期を判定する。

また、判定結果出力部２７が、熟度判定部２５による判定結果に基づいて、収穫適期を判定し、その結果を出力しても良い。すなわち、ユーザが予め収穫適期と判定する熟度スケールを収穫適期判定支援装置１に登録しておき、判定結果出力部２７が、熟度判定部２５による判定結果と予め登録されている熟度スケールとを比較する。そして、例えば、判定結果出力部２７は、比較結果が一致する場合、収穫ができる旨のメッセージを出力し、熟度判定部２５による判定結果が予め登録されている熟度スケールよりも熟していない場合、収穫が早すぎる旨のメッセージを出力し、熟度判定部２５による判定結果が予め登録されている熟度スケールよりも熟している場合、収穫が遅すぎる旨のメッセージを出力する。

露出調整部２８は、撮影部９の露出を調整する。露出調整部２８は、画像再取得要否判定部２４によって算出されるヒストグラムの中央値が、明度のダイナミックレンジの中心の値よりも低い場合、露出が上がるように撮影部９の設定値を変更し、高い場合、露出が下がるように撮影部９の設定値を変更する。

尚、撮影部９を備えていない収穫適期判定支援装置１の場合、画像再取得要否判定部２４及び露出調整部２８は不要である。この場合、画像取得部２１は、通信部１０を介して他のコンピュータから元画像を受信する、又はＩ／Ｆ部１１を介して記憶媒体に記憶される元画像を取得する。そして、収穫適期判定支援装置１は、色変換部２２、熟度判定用領域抽出部２３、熟度判定部２５及び判定結果出力部２７による処理を１回だけ実行する。

パラメータ入力部２９は、収穫適期判定支援プログラム内のパラメータの値を入力する。例えば、パラメータ入力部２９は、真偽判定部２３１における所定の色相範囲を入力する。ユーザは、パラメータ入力部２９によって、対象の果菜物がりんごの場合には赤〜黄緑の色相、梨の場合にはオレンジ〜緑の色相、シャインマスカットの場合には黄色から緑の色相等といったように、真偽判定部２３１における所定の色相範囲を設定する。

また、例えば、パラメータ入力部２９は、相関判定部２３２におけるテンプレート図形、果菜物領域推定部２３３における果菜物領域の推定に用いる所定の閾値、特徴領域推定部２３４における特徴領域、熟度データベース２６の色相値、判定結果出力部２７における収穫適期の判定基準となる熟度スケール等を入力するようにしても良い。

相関判定部２３２におけるテンプレート図形については、正方形であれば一辺の長さ、円であれば半径、三角形であれば底辺の長さ及び高さ等を入力する。例えば、りんご、梨、桃等（＝ほぼ球体の果菜物）であれば、正方形又は円をテンプレート図形としても良い。また、例えば、ぶどうであれば、逆三角形をテンプレート図形としても良い。特徴領域推定部２３４における特徴領域については、りんご、梨、桃等（＝萼窪を有する果菜物）であれば、萼窪を特徴領域とし、萼窪の推定に用いる明度値の閾値を入力するようにしても良い。また、ぶどうの場合、実の輪郭を特徴領域とし、実の輪郭の推定に用いる明度値の閾値を入力するようにしても良い。

図４は、収穫適期判定支援装置１の処理の流れを示すフローチャートである。以下、果菜物がりんごの場合を例にして説明する。

ステップＳ１において、ユーザが、撮影部９のカメラレンズをりんごに向けて、表示部５に表示されるメインメニューから「収穫適期判定」ボタンを選択すると、撮影部９が撮影を開始し、制御部２の画像取得部２１が撮影部９によって撮影される元画像を取得する。

図５は、元画像の一例である。この例では、りんごの地色に基づいて熟度を判定するため、ユーザは、りんごの底部が撮影される方向に、撮影部９のカメラレンズを向ける。

図４の説明に戻る。ステップＳ２において、色変換部２２は、ステップＳ１において取得される元画像に対してＲＧＢ色空間からＨＳＶ色空間に色変換を行い、各画素の色相値を算出する。

ステップＳ３において、真偽判定部２３１は、りんごに対応する所定の色相範囲（＝赤〜黄緑の色相）によって各画素に対する閾値処理を行い、元画像を二値化し、二値画像である白黒画像を生成する。

図６は、真偽判定部２３１の判定結果を重畳した元画像の一例である。黒の画素が、真偽判定部２３１によって、りんごに対応する所定の色相範囲外と判断された画素、それ以外の画素が、所定の色相範囲内と判断された画素である。

図７は、真偽判定部２３１によって生成される白黒画像の一例である。撮影環境によっては、露出調整、画像取得及び判定処理を複数回繰り返す必要がある。この間、ユーザは、判定結果が出力されるまで撮影部９のカメラレンズをりんごに向けておくことになるため、ユーザにストレスを感じさせないように、判定処理を高速に行うことが望ましい。そこで、図７に示す例では、真偽判定部２３１による処理の前に、制御部２は元画像を縮小している。図７において、白の画素が、真偽判定部２３１によって、りんごに対応する所定の色相範囲内と判断された画素、黒の画素が、色相範囲外と判断された画素である。

図４の説明に戻る。ステップＳ４において、相関判定部２３２は、りんごに対応するテンプレート図形と、ステップＳ３において生成される白黒画像とを比較し、各画素とりんごとの相関値を算出し、相関値によって多階調化されるグレースケール画像を生成する。

図８は、相関判定部２３２によって生成されるグレースケール画像の一例である。テンプレート図形は正方形を用いている。テンプレート図形が円でも正方形でも、最終的な判定精度はほとんど変わらないが、正方形の方が高速に処理を実行できる。

図４の説明に戻る。ステップＳ５において、果菜物領域推定部２３３は、ステップＳ４において生成されるグレースケール画像に基づいて、元画像におけるりんごの領域である果菜物領域を推定する。果菜物領域推定部２３３は、相関値が所定の閾値（相関値を０〜１で正規化する場合、例えば０．８）以上の領域を抽出し、抽出される領域に基づいて果菜物領域を推定する。この例では、果菜物領域推定部２３３は、果菜物領域を円で推定する。

図９は、相関値が所定の閾値以上の領域の外縁を示す白黒画像の一例である。図９において、白の画素が、相関値が所定の閾値以上の領域の外縁である。相関値が所定の閾値以上の領域の外縁を抽出する処理は、画像処理におけるエッジ抽出処理と同様である。例えば、果菜物領域推定部２３３は、図９に示す領域の中心、及びその中心から領域外縁までの平均距離を、推定円の中心及び半径として算出する。

図４の説明に戻る。ステップＳ６において、特徴領域推定部２３４は、ステップＳ５において推定される果菜物領域に基づいて、熟度判定に関するりんごの特徴的な部位である特徴領域を推定する。この例では、果菜物領域推定部２３３は、りんごの底部の中心である萼窪を特徴領域として推定する。

特徴領域推定部２３４は、果菜物領域内の画素について、明度値が所定の閾値以下の画素を特徴領域として推定する。特徴領域のＸ座標及びＹ座標の平均が、特徴領域の中心座標となる。尚、一般に、元画像における果菜物領域の中心座標と特徴領域の中心座標は異なる。従って、地色のままの萼窪の周辺の画素を抽出するためには、果菜物領域を推定するだけでなく、果菜物領域のどこに特徴領域（＝萼窪）が存在するかを推定する必要がある。逆に言えば、萼窪の位置を推定することによって、ユーザは、撮影部９による撮影方向を厳密にりんごの底面に正対させる（＝画像内で萼窪がりんごの中心に位置するように撮影する）必要がないため、収穫適期判定支援装置１の操作が容易になり、誰でも精度良く収穫適期を判定することができる。

図１０は、特徴領域を含む円を重畳した元画像の一例である。特徴領域を含む円の半径は、果菜物領域として推定した円の半径以下とすることが望ましい。これは、特徴領域を含む円の半径を果菜物領域として推定した円の半径よりも大きくすると、ノイズ（＝りんごではない部分）が含まれてしまい、判定精度が低下するためである。

特徴領域推定部２３４は、熟度判定が終了する前であっても、図１０に示す特徴領域を含む円を表示部５に表示しても良い。これによって、ユーザは、収穫適期判定支援装置１がりんごを認識していることを確認することができる。

図４の説明に戻る。ステップＳ７において、領域抽出部２３５は、ステップＳ５において推定される果菜物領域及びステップＳ６において推定される特徴領域に基づいて、熟度判定用領域を抽出する。この例では、領域抽出部２３５は、果菜物領域から特徴領域（＝萼窪）を除いた領域を、熟度判定用領域として抽出する。結果的に、熟度判定用領域は、ドーナツ状の領域となる。

次に、ステップＳ８において、画像再取得要否判定部２４は、ステップ７において抽出される熟度判定用領域の明度値のヒストグラムを生成し、ヒストグラムの中央値と、明度のダイナミックレンジの中心の値との差異が所定の範囲内か否かを判定することによって、元画像の再取得の要否を判定する。制御部２は、判定結果が要の場合（ステップＳ８の「要」）、ステップＳ９に進み、判定結果が不要の場合（ステップＳ８の「不要」）、ステップＳ１０に進む。

ステップＳ９において、露出調整部２８は、撮影部９の露出を調整する。そして、制御部２は、ステップＳ１から処理を繰り返す。

ステップＳ１０において、熟度判定部２５は、熟度判定用領域の色相値に基づいて、熟度判定に用いる色相値である判定用色相値を算出し、判定用色相値と所定の熟度データベース２６の色相値とを比較し、熟度を判定する。熟度判定部２５は、熟度判定用領域から、所定の色相範囲（＝地色となり得るオレンジ〜黄緑の色相）に属する画素のみを抽出し、抽出される画素の色相値の平均値を判定用色相値とする。そして、熟度判定部２５は、この判定用色相値が熟度データベース２６の何番の熟度スケールに該当するかを判定する。

ステップＳ１１において、判定結果出力部２７は、ステップＳ９における判定結果を出力する。この例では、ユーザが予め収穫適期の判定基準となる熟度スケールを収穫適期判定支援装置１に登録しておき、判定結果出力部２７が、熟度判定部２５による判定結果と判定基準の熟度スケールとを比較し、比較結果が一致する場合、収穫適期の旨のメッセージを出力する。

図１１は、判定結果出力部２７によって出力される判定結果の表示例である。図１１は、収穫前のりんごが樹木になっている状態で、ユーザがりんごの底部に収穫適期判定支援装置１（＝スマートフォン）の撮影部９を向け、判定結果が表示部５に表示されている様子を示している。図１１に示す収穫適期判定支援装置１の表示部５には、「収穫可能」のメッセージが表示されている。このように、収穫適期判定支援装置１は、りんごの底部を含む元画像を取得できれば、りんごの地色に基づいて収穫適期判定支援処理を実行することができる。

図１２は、果菜物が元画像に含まれていない場合の表示例である。図１２は、ユーザが樹木の枝葉のみが撮影される方向に収穫適期判定支援装置１（＝スマートフォン）の撮影部９を向け、エラーメッセージが表示部５に表示されている様子を示している。収穫適期判定支援装置１は、所定の時間を経過しても、撮影部９によって撮影される元画像から果菜物領域（＝りんごの領域）を推定できない場合、エラーメッセージを表示部５に表示する。図１１に示す収穫適期判定支援装置１の表示部５には、「りんごが表示されていません」のエラーメッセージが表示されている。このように、ユーザは、収穫適期判定支援装置１がりんごを認識していないことを確認することができる。

以上の通り、本発明の実施形態の収穫適期判定支援装置１によれば、スマートフォン等の携帯型コンピュータが備える一般的な機能のみを用いて、果菜物の収穫適期を判定するための情報を提供することができる。収穫適期判定支援装置１は、本発明の実施形態の収穫適期判定支援プログラムをスマートフォン等の携帯型コンピュータにインストールするだけで実現できるとともに、ユーザは撮影部９を果菜物の対象部位に向けるだけで良いので、導入コストが低く、誰でも収穫適期を判定することを支援できる。

収穫適期判定支援装置１は、果菜物に対応する色相範囲によって各画素に対する閾値処理を行い、元画像を二値化し、二値画像を生成する真偽判定部２３１による処理に加えて、果菜物に対応するテンプレート図形と二値画像とを比較し、画素ごとにテンプレート図形と二値画像との相関値を算出し、相関値によって多階調化される多値画像を生成する相関判定部２３２による処理を行うように構成しても良い。これによって、果菜物と色味が似ているものの、形状及び面積が異なる物体を、果菜物と誤って認識することを低減できる。ひいては、果菜物の収穫適期を判定するための情報を精度良く提供することができる。

また、収穫適期判定支援装置１は、多値画像に基づいて果菜物領域を推定する果菜物領域推定部２３３に加えて、果菜物領域に基づいて、熟度判定に関する元画像果菜物の特徴的な部位である特徴領域を推定する特徴領域推定部２３４を備え、領域抽出部２３５が、果菜物領域及び特徴領域に基づいて熟度判定用領域を抽出するように構成しても良い。これによって、地色に基づいてりんご等の収穫適期を判定する場合であっても、ユーザは、撮影部９による撮影方向を厳密にりんごの底面に正対させる必要がないため、収穫適期判定支援装置１の操作が容易になり、誰でも精度良く収穫適期を判定することができる。

また、収穫適期判定支援装置１は、撮影部の露出を調整する露出調整部２８と、熟度判定用領域の明度値のヒストグラムを生成し、ヒストグラムの中央値と、明度のダイナミックレンジの中心の値との差異が所定の範囲内か否かを判定することによって、元画像の再取得の要否を判定する画像再取得要否判定部２４と、を備え、画像再取得要否判定部２４による判定結果が不要の場合、熟度判定部２５による処理を実行し、画像再取得要否判定部２４による判定結果が要の場合、露出調整部２８による処理を実行し、画像取得部２１によって元画像を再度取得し、色変換部２２による処理から繰り返すように構成しても良い。これによって、本発明の実施形態における撮影は必然的に屋外（＝撮影環境が一定ではない場所）となるところ、ユーザは撮影部９を果菜物の対象部位に向けているだけで、自動的に果菜物を適正な露出で撮影することができる。従って、誰でも収穫適期を精度良く判定することができる。

以上、添付図面を参照しながら、本発明に係る収穫適期判定支援装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１.........収穫適期判定支援装置
２.........制御部
３.........記憶部
４.........入力部
５.........表示部
６.........音入力部
７.........音出力部
８.........電源部
９.........撮影部
１０.........通信部
１１.........Ｉ／Ｆ部
２１.........画像取得部
２２.........色変換部
２３.........熟度判定用領域抽出部
２３１.........真偽判定部
２３２.........相関判定部
２３３.........果菜物領域推定部
２３４.........特徴領域推定部
２３５.........領域抽出部
２４.........画像再取得要否判定部
２５.........熟度判定部
２６.........熟度データベース
２７.........判定結果出力部
２８.........露出調整部
２９.........パラメータ入力部

Claims (5)

1. 果菜物の収穫適期の判定を支援する収穫適期判定支援装置であって、
   前記果菜物を含む元画像を取得する画像取得部と、
   前記元画像の色変換を行い、各画素の色相値を算出する色変換部と、
   各画素の色相値に基づいて、前記元画像内における前記果菜物の位置及び範囲を推定し、熟度判定に用いる領域である熟度判定用領域を抽出する熟度判定用領域抽出部と、
   前記熟度判定用領域の色相値に基づいて、熟度判定に用いる色相値である判定用色相値を算出し、前記判定用色相値と所定の熟度データベースの色相値とを比較する熟度判定部と、
   を備えることを特徴とする収穫適期判定支援装置。
2. 前記熟度判定用領域抽出部は、
   前記果菜物に対応する色相範囲によって各画素に対する閾値処理を行い、前記元画像を二値化し、二値画像を生成する真偽判定部と、
   前記果菜物に対応するテンプレート図形と前記二値画像とを比較し、画素ごとに前記テンプレート図形と前記二値画像との相関値を算出し、前記相関値によって多階調化される多値画像を生成する相関判定部と、
   前記多値画像に基づいて、前記元画像における前記果菜物の領域である果菜物領域を推定する果菜物領域推定部と、
   前記果菜物領域に基づいて、前記熟度判定用領域を抽出する領域抽出部と、
   を含むことを特徴とする請求項１に記載の収穫適期判定支援装置。
3. 前記熟度判定用領域抽出部は、
   前記果菜物領域に基づいて、熟度判定に関する前記果菜物の特徴的な部位である特徴領域を推定する特徴領域推定部、
   を更に含み、
   前記領域抽出部は、前記果菜物領域及び前記特徴領域に基づいて、前記熟度判定用領域を抽出する
   ことを特徴とする請求項２に記載の収穫適期判定支援装置。
4. 前記元画像を撮影する撮影部と、
   前記撮影部の露出を調整する露出調整部と、
   前記熟度判定用領域の明度値のヒストグラムを生成し、前記ヒストグラムの中央値と、明度のダイナミックレンジの中心の値との差異が所定の範囲内か否かを判定することによって、前記元画像の再取得の要否を判定する画像再取得要否判定部と、
   を更に備え、
   前記画像再取得要否判定部による判定結果が不要の場合、前記熟度判定部による処理を実行し、前記画像再取得要否判定部による判定結果が要の場合、前記露出調整部による処理を実行し、前記画像取得部によって前記元画像を再度取得し、前記色変換部による処理から繰り返す
   ことを特徴とする請求項１から請求項３のいずれかに記載の収穫適期判定支援装置。
5. コンピュータを、果菜物の収穫適期の判定を支援する収穫適期判定支援装置として機能させるための収穫適期判定支援プログラムであって、
   前記コンピュータを、
   前記果菜物を含む元画像を取得する画像取得部と、
   前記元画像の色変換を行い、各画素の色相値を算出する色変換部と、
   各画素の色相値に基づいて、前記元画像内における前記果菜物の位置及び範囲を推定し、熟度判定に用いる領域である熟度判定用領域を抽出する熟度判定用領域抽出部と、
   前記熟度判定用領域の色相値に基づいて、熟度判定に用いる色相値である判定用色相値を算出し、前記判定用色相値と所定の熟度データベースの色相値とを比較する熟度判定部、
   として機能させるための収穫適期判定支援プログラム。