JP2017011459A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】太陽光等の光の変化による影響を受けても、植物の生育指標の誤差を低減でき、ユーザの誤判断を防止できる撮像装置を提供する。【解決手段】監視カメラ１０では、イメージセンサ２２が、可視光フィルタ（赤外カットフィルタ）Ｆ６を介して、被写体である植物のカラー画像ＧＺ１を撮像する。画像処理部２８は、イメージセンサ２２によって撮像される、植物のカラー画像のうち、緑色成分の輝度値（Ｇ値）を検出し、このＧ値が理想的なＧ値（晴天時の昼間に撮像されたような、特定の条件で得られる緑色成分の輝度値）と等しくなるように、イメージセンサ２２の露光条件を制御する。送信部２９は、露光条件が制御された状態で撮像されたカラー画像ＧＺ１をモニタ３０に出力する。モニタ３０は、カラー画像ＧＺ１を画面に表示する。【選択図】図１４

Description

本発明は、撮像された植物の画像を処理する撮像装置及び画像処理方法に関する。

従来、作物の生育状況を分析する技術として、複数の観測波長域を有するイメージセンサを用いて、作物のスペクトル画像を撮像し、このスペクトル画像に基づいて正規化植生指数（ＮＤＶＩ：Normalized Difference Vegetation Index）、蛋白含有率等を推定することが知られている（例えば特許文献１参照）。

特開２００６−２５０８２７号公報

特許文献１を含む従来の撮像装置では、天候や時間帯によって太陽光の照度や色温度が変化するので、植物の生育指標を正確に推定することが難しかった。

例えば、植物の葉の緑色成分は太陽光の影響を受けやすく、曇天の時には照度が低くなるので、実際には葉が枯れていないにもかかわらず、枯れているように見えたりする。また、朝方は太陽光の色温度が青色に近くなるので、葉が青く見えたり、夕方は太陽光の色温度がオレンジ色に近くなるので、葉に赤みが生じて見えたりする。このように、太陽光の照度や色温度の変化によって、葉の活性度が分かりにくくなり、ユーザの誤判断に繋がる。

本発明は、上述した従来の状況に鑑みてなされたものであり、太陽光等の光の変化による影響を受けても、植物の生育指標の誤差を低減でき、ユーザの誤判断を防止する撮像装置及び画像処理方法を提供することを目的とする。

本発明は、植物の画像を撮像する撮像装置であって、前記植物のカラー画像を撮像する撮像部と、前記撮像部によって撮像された前記植物のカラー画像のうち、緑色成分の輝度値を検出し、前記緑色成分の輝度値が特定の条件で得られる緑色成分の輝度値と等しくなるように、前記カラー画像の露光条件を制御する露光制御部と、前記露光制御部によって前記露光条件が制御された状態で、前記撮像部によって撮像された前記植物のカラー画像を出力する出力部と、を備える、撮像装置である。

本発明は、カラー画像を出力可能な撮像部を有する撮像装置における画像処理方法であって、前記撮像部において、植物を撮像するステップと、前記撮像装置によって撮像された前記植物のカラー画像のうち、緑色成分の輝度値を検出するステップと、検出された前記緑色成分の輝度値が特定の条件で得られる緑色成分の輝度値と等しくなるように、前記植物のカラー画像の露光条件を制御するステップと、前記露光条件が制御された状態で、前記撮像部によって撮像された前記植物のカラー画像を出力するステップと、を有する、画像処理方法である。

本発明によれば、太陽光等の光の変化による影響を受けても、植物の生育指標の誤差を低減でき、ユーザの誤判断を防止できる。

第１の実施形態の監視カメラの内部構成の一例を示すブロック図 監視カメラの内部に設けられたカメラ本体機構の一例を示す正面図 図２の矢印Ｅ−Ｅ線方向から視たカメラ本体機構の構造の一例を示す断面図 フィルタ切替機構の構造の一例を示す斜視図 フレームの形状の一例を示す正面図 各種フィルタの分光特性の一例を示すグラフ ６枚のフィルタのうちイメージセンサの前面に位置するフィルタを特定する方法の一例を説明する図 ＮＤＶＩ演算時における撮像動作手順の一例を時系列に示す図 ＰＲＩ演算時における撮像動作手順の一例を時系列に示す図 他のカメラ本体機構の一例を示す正面図 第２の実施形態における撮像時の動作手順、使用するフィルタ、及び撮像画像の一例を時系列に示す図 モニタの画面に並べて表示されるカラー画像及びＮＤＶＩ画像の一例を示す図 第３の実施形態における露光制御の一例を説明する図 自動露光制御手順の一例を示すフローチャート 色温度補正制御手順の一例を示すフローチャート 変形例における監視カメラシステムの内部構成の一例を示すブロック図

以下、適宜図面を参照しながら、本発明に係る撮像装置及び画像処理方法を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。各実施形態の撮像装置は、例えば植物の生育状況を監視する監視カメラに適用されるとして説明するが、撮像対象は植物に限らず、その他の被写体を撮像してもよい。

（第１の実施形態に至る経緯・課題）
監視カメラが光学フィルタを切り替えて使用するフィルタ切替機構を有する場合、フィルタの切り替えに長い時間がかかってしまうと、照度の変化や風等の外乱要因により撮像条件が変化する可能性がある。従って、撮像中のフィルタの切り替えの途中で撮像条件が変化した場合、ＮＤＶＩ等の植物の生育指標を精度良く推定することができなかった。そこで、第１の実施形態では、監視カメラが安価な構成であっても、撮像中、照度の変化や風等の外乱要因の影響により撮像条件が変化する可能性が低くする監視カメラの例について説明する。

（第１の実施形態）
図１は、第１の実施形態の監視カメラ１０の内部構成の一例を示すブロック図である。監視カメラ１０は、被写体である植物を撮像してその撮像画像を出力する。監視カメラ１０は、レンズ１１、光学モジュール１３、フィルタ切替機構１５、オートバックフォーカス（ＡＢＦ）機構２１、ＣＰＵ２５、画像処理部２８及び送信部２９を有する。

レンズ１１は、監視対象（つまり、撮像対象）である植物からの反射光を集光し、イメージセンサ２２にその光学像を結像させる。光学モジュール１３は、レンズ１１を通して入射する植物からの光の量を調節する絞り部の一例としての絞り（アイリス、とも呼ばれる）１３ｚを有し、ＣＰＵ２５からの絞り制御信号に従い、絞り１３ｚの開き具合（絞り量の一例としての開度）を調節する。

切替部の一例としてのフィルタ切替機構１５は、特定波長の光を透過させる複数枚のフィルタＦ１〜Ｆ６（図５参照）を保持するホルダの一例としてのフィルタ保持部１６、及び、このフィルタ保持部１６を駆動し植物からの反射光を透過させるフィルタを切り替えるモータ１７を有する。フィルタ切替機構１５の詳細については後述する。

ＡＢＦ機構２１は、イメージセンサ２２の受光面に結像する光の焦点を自動で調節する。ＡＢＦ機構２１は、レンズ１１によって集光され、フィルタを透過した光が受光面に結像した光学像を電気信号に変換する撮像部の一例としてのイメージセンサ２２、及び、このイメージセンサ２２の位置を光軸方向に移動させることで焦点調節を行うモータ２４を有する。

ＣＰＵ２５は、監視カメラ１０の各部を統括的に制御する。ＣＰＵ２５は、光学モジュール１３に絞り制御信号を出力し、フィルタ切替機構１５にフィルタ切替信号を出力し、ＡＢＦ機構２１に撮像制御信号を出力する。ＣＰＵ２５には、画像処理専用のデジタルシグナルプロセッサ（ＤＳＰ：Digital Signal Processor）が用いられる。

演算部の一例としての画像処理部２８は、例えばＤＳＰを用いて構成され、イメージセンサ２２から出力される電気信号を増幅するアンプ２８ｚ（図１３参照）を有し、電気信号として出力される画像信号に対し、画像処理を行って撮像画像（画像データ）を得る。また、画像処理部２８は、この撮像画像を基に、後述する生育状況を観察する指標であるＮＤＶＩ（Normalized Difference Vegetation Index）、又は植物の光合成の活性度合いを表す指標（光合成指標）であるＰＲＩ（Photochemical Reflectance Index）を画素毎に算出する。

出力部の一例としての送信部２９は、画像処理部２８から入力した、画像データ（画素毎のＲＧＢの輝度値）、及び画素毎のＮＤＶＩ値（又はＰＲＩ値）をモニタ３０に送信する。

表示装置の一例としてのモニタ３０は、監視カメラ１０と別体の装置であり、送信部２９から送信された画像データ及びＮＤＶＩ値（又はＰＲＩ値）に基づき、カラー画像及びＮＤＶＩ画像（又はＰＲＩ画像）を画面に並べて対比的に表示する。

図２は、監視カメラ１０の内部に設けられたカメラ本体機構２０の一例を示す正面図である。図３は、図２の矢印Ｅ−Ｅ線方向から視たカメラ本体機構２０の構造の一例を示す断面図である。カメラ本体機構２０には、前述したフィルタ切替機構１５及びＡＢＦ機構２１が組み込まれている。

カメラ本体機構２０は、前面にレンズ１１が嵌め込まれた枠体２０ｚを有する。枠体２０ｚの内側には、光軸に沿って被写体側からフィルタ切替機構１５及びＡＢＦ機構２１が配置される。

ＡＢＦ機構２１は、前述したように、イメージセンサ２２及びモータ２４を有する。イメージセンサ２２は、センサ基板２２ｚに搭載される。モータ２４は、センサ基板２２ｚを光軸方向に移動させるように駆動することで、焦点調節を行う。

カメラ本体機構２０は、図３の紙面左側から、レンズ１１、フィルタ切替機構１５、イメージセンサ２２の順に設けられている。このようにすると、レンズ１１を監視カメラ１０の筐体面（図示せず）に設けることが可能になるので、レンズ１１の交換が容易になる。

フィルタ切替機構１５は、前述したように、フィルタ保持部１６及びモータ１７（図４参照）を有する。図４は、フィルタ切替機構１５の構造の一例を示す斜視図である。フィルタ保持部１６は、６枚のフィルタＦ１〜Ｆ６が交換自在に嵌めこまれたフレーム１６１、及びこのフレーム１６１をスライド自在に収納するフレームケース１６４を有する。フレームケース１６４の上面には、ギアボックス１８が設けられる。

モータ１７は、ギアボックス１８と連結し、モータ１７のシャフト１７ｚはギアボックス１８内の歯車１８ｗを軸支する。このシャフト１７ｚの回転力は、ギアボックス１８内の複数枚の歯車１８ｗ，１８ｚ，１８ｙに順次伝達される。ギアボックス１８内の最下段の歯車１８ｙは、ピニオンギアとなっており、フレーム１６１の上面に形成されたラック１６３と歯合する。フレームケース１６４に収納されたフレーム１６１は、フレームケース１６４の内側の上面及び下面に敷設されたレール１６５に沿って、フレームケース１６４内を往復移動（スライド）自在である。従って、歯車１８ｙが回転すると、歯車１８ｙと歯合するラック１６３が移動し、フレーム１６１はフレームケース１６４の内側を矢印ｇ方向に移動する。

なお、フレームケース１６４の端部は、取り外しが可能である。フレームケース１６４の端部を取り外すことにより、レール１６５に沿ってフレーム１６１を簡易に取り出すことができ、フレーム１６１とは異なるフィルタを有する別のフレーム（図示せず）と簡易に交換することができる。これにより、ＮＤＶＩ値やＰＲＩ値以外の様々な植生指標を算出することが可能になる。

図５は、フレーム１６１の形状の一例を示す正面図である。フレーム１６１は、細長い板状に形成された部材である。その長手方向の面には、複数個（ここでは６個）の開口部１６１ｚ，１６１ｙ，１６１ｘ，１６１ｗ，１６１ｖ，１６１ｕが一列に形成されている。フレーム１６１の面に形成された６個の開口部１６１ｚ〜１６１ｕには、それぞれ特定波長の光の透過率が異なる複数のバンドパスフィルタ（単にフィルタ或いは光学フィルタともいう）が交換自在に嵌め込まれている。図５では、左側から５３０ｎｍフィルタＦ１、５７０ｎｍフィルタＦ２、赤色（Ｒ）フィルタＦ３、赤外（ＩＲ）フィルタＦ４、緑色（Ｇ）フィルタＦ５、及び可視光フィルタ（カラーフィルタ）Ｆ６が順に配される。本実施形態では、ＮＤＶＩを演算する際に使用される、ＲフィルタＦ３とＩＲフィルタＦ４とが隣り合うように、フレーム１６１に配置される。また、ＰＲＩを演算する際に使用される、５３０ｎｍフィルタＦ１と５７０ｎｍフィルタＦ２とが隣り合うように、フレーム１６１に配置される。

このように、ＲフィルタＦ３とＩＲフィルタＦ４とが隣り合う位置にあることで、ＮＤＶＩを演算する際、これらのフィルタを切り替えるためのフレーム１６１の移動距離を短くすることができ、ＲフィルタＦ３とＩＲフィルタＦ４とを組み合わせた撮像時間を短縮できる。つまり、ＩＲフィルタＦ４を用いて撮像を開始してからＲフィルタＦ３を用いて撮像を終了するまでの時間が短くなる。これにより、照度の変化や風等の外乱要因の影響により撮像条件が変化する可能性を低減でき、ＮＤＶＩの演算精度の低下が抑えられる。また、５３０ｎｍフィルタＦ１と５７０ｎｍフィルタＦ２とが隣り合う位置にある場合も同様であり、ＰＲＩの演算精度の低下が抑えられる。

本実施形態では、ＰＲＩと比べ、ＮＤＶＩを演算する頻度が高いので、ＮＤＶＩを演算する際に使用される、ＲフィルタＦ３とＩＲフィルタＦ４は、緑色（Ｇ）フィルタＦ５或いは可視光フィルタＦ６に近い側に配置される。これにより、ＧフィルタＦ５或いは可視光フィルタＦ６をＩＲフィルタＦ４に切り替える際、フレーム１６１の移動距離を短くすることができ、撮像時間の短縮に繋がる。また、本実施形態では、ＮＤＶＩを演算する際、後述するように、ＩＲ画像を撮像してからＲ画像を撮像するので、ＲフィルタＦ３に比べ、ＩＲフィルタＦ４がＧフィルタＦ５或いは可視光フィルタＦ６に近い側に配置される。これにより、フレーム１６１の移動距離をさらに短くすることができる。

また、フレーム１６１の上面には、前述したように、モータ１７によって駆動される歯車１８ｙと歯合されるラック１６３が形成される。モータ１７のシャフト１７ｚが回転し、その回転力がギアボックス１８内の歯車１８ｙに伝達されると、歯車１８ｙと歯合するラック１６３によってフレーム１６１が矢印ｇ方向に移動する。

図６は、各種フィルタの分光特性の一例を示すグラフである。グラフの縦軸は透過率（％）を示し、横軸は波長（ｎｍ）を示す。５３０ｎｍフィルタＦ１は、光の波長５３０ｎｍにおいて透過率の鋭いピークの波形（符号ａ）を有する。５７０ｎｍフィルタＦ２は、波長５７０ｎｍにおいて透過率の鋭いピークの波形（符号ｂ）を有する。ＲフィルタＦ３は、波長６６０ｎｍを中心とする透過率の高いピークの波形（符号ｃ）を有する。ＩＲ（赤外）フィルタＦ４は、７５０ｎｍを超える波長において、大きな透過率の波形（符号ｄ）を有する。ＧフィルタＦ５は、５５０ｎｍを略中心とする５３０ｎｍ〜６３０ｎｍの波長において、やや大きな透過率の波形（符号ｅ）を有する。可視光フィルタＦ６は、可視光画像（カラー画像）を撮像する際に赤外光又は近赤外光をカット（遮蔽）する赤外カットフィルタであり、４００ｎｍ〜６８０ｎｍの波長において、大きな透過率の波形（符号ｆ）を有する。なお、本実施形態では、フレーム１６１に装着されないが、青色（Ｂ）フィルタもフレームに嵌め込むことで装着可能である。Ｂフィルタは、４５０ｎｍを略中心とする４００ｎｍ〜５００ｎｍの波長において、やや大きな透過率の波形（符号ｇ）を有する。

図７は、６枚のフィルタＦ１〜Ｆ６のうちイメージセンサ２２の前面に位置するフィルタを特定する方法の一例を説明する図である。フィルタを特定する方法として、例えば次のような方法が挙げられる。フィルタＦ１〜Ｆ６が嵌め込まれた、フレーム１６１の上部には、フィルタＦ１〜Ｆ６に対応するように、それぞれ少なくとも１つの細孔１６４ｚ〜１６４ｕが形成される。また、レンズ１１と対向するフレームケース１６４の面には、フレーム１６１に形成された細孔１６４ｚ〜１６４ｕを通して入射する光を受光可能な３つのフォトセンサ１６ｚが配置される。３つのフォトセンサ１６ｚは、それぞれ受光することでオンとなり、受光パルスを出力するスイッチとして機能する。

ここでは、５３０ｎｍフィルタＦ１の上部に位置するフレーム１６１には、３つの細孔１６４ｚが形成される。イメージセンサ２２の前面に５３０ｎｍフィルタＦ１が位置すると、３つの細孔１６４ｚを通して被写体である植物側から入射する光を３つのフォトセンサ１６ｚがそれぞれ受光する。３つのフォトセンサ１６ｚは３つの受光パルスを出力する。

また、５７０ｎｍフィルタＦ２の上部に位置するフレーム１６１には、２つの細孔１６４ｙが開口部１６１ｙに対して左側に形成される。イメージセンサ２２の前面に５７０ｎｍフィルタＦ２が位置すると、２つの細孔１６４ｙを通して被写体である植物側から入射する光を左側２つのフォトセンサ１６ｚがそれぞれ受光する。左側２つのフォトセンサ１６ｚは２つの受光パルスを出力する。

以後、同様に、可視光フィルタＦ６の上部に位置するフレーム１６１には、１つの細孔１６４ｕが開口部１６１ｕに対して右側に形成される。イメージセンサ２２の前面に可視光フィルタＦ６が位置すると、１つの細孔１６４ｕを通して被写体である植物側から入射する光を右側１つのフォトセンサ１６ｚが受光する。右側１つのフォトセンサ１６ｚは１つの受光パルスを出力する。

フィルタ特定部の一例としてのＣＰＵ２５は、３つのフォトセンサ１６ｚで受光される光の受光パターンを検出することで、複数のフィルタＦ１〜Ｆ６のうちいずれのフィルタがイメージセンサ２２の前面に位置しているかを特定することが可能である。つまり、３つのフォトセンサ１６ｚから全て受光パルスが出力されると、ＣＰＵ２５は、５３０ｎｍフィルタＦ１がイメージセンサ２２の前面に位置していると判断する。また、３つのフォトセンサ１６ｚのうち右側１つから受光パルスが出力されると、ＣＰＵ２５は、可視光フィルタＦ６がイメージセンサ２２の前面に位置していると判断する。

なお、ここでは、被写体である植物側からの光をフレームに形成された細孔を通して検出するセンサとして、フォトセンサを用いたが、画像を撮像するためのイメージセンサがフレームに形成された細孔を通して植物側からの光を検出してもよく、この場合、フォトセンサが省かれ、フィルタ保持部の構成を簡単化できる。

また、他のフィルタを特定する方法として、フレームに細孔を形成する代わりに、フレーム自体にフォトセンサを取り付けてもよい。例えば、５３０ｎｍフィルタＦ１の上部に位置するフレーム１６１に３つのフォトセンサを取り付ける。５７０ｎｍフィルタＦ２の上部に位置するフレーム１６１に、開口部１６１ｙに対して左側に２つのフォトセンサを取り付ける。以後、同様に、可視光フィルタＦ６の上部に位置するフレーム１６１に、開口部１６１ｕに対して右側に１つのフォトセンサを取り付ける。この場合も、フォトセンサから出力される受光パルスの組み合わせで、イメージセンサ２２の前面に位置しているフィルタを特定することが可能である。

また、フィルタＦ１〜フィルタＦ６を特定するための細孔１６４ｚ〜１６４ｕは、それぞれフレーム１６１の下部に設けても良い。この場合、３つのフォトセンサ１６ｚは、細孔１６４ｚ〜１６４ｕに対向するようにフレームケース１６４の下部または枠体２０ｚ内に設けられる。

また、フィルタＦ１〜フィルタＦ６を特定するための手段として、細孔１６４ｚ〜１６４ｕの代わりに、フレーム１６１の下縁に複数の突起（図示せず）を設けても良い。これら突起は、細孔１６４ｚ〜１６４ｕと同じ水平位置に設けられ、３つのフォトセンサ１６ｚは、これら突起によって遮蔽されない入射光を受光して受光パルスを出力する。なお、３つのフォトセンサ１６ｚは、これら突起に対向するようにフレームケース１６４の下部または枠体２０ｚ内に設けられる。ＣＰＵ２５は、これら受光パルスのパターンを識別することによって、イメージセンサ２２の前面に位置しているフィルタを特定する。

また、フィルタＦ１〜フィルタＦ６を特定するための手段として、細孔１６４ｚ〜１６４ｕとフォトセンサ１６ｚの代わりに、複数の磁石（図示せず）と３つの磁気センサ（図示せず）を設けても良い。これら磁石は細孔１６４ｚ〜１６４ｕと同じ位置に設けられ、３つの磁気センサは、３つのフォトセンサと同じ位置に設けられる。３つの磁気センサは、複数の磁石から発生する磁界を検出すると信号パルスを出力する。ＣＰＵ２５は、これら信号パルスのパターンを識別することによって、イメージセンサ２２の前面に位置しているフィルタを特定する。なお、磁気センサとしてはコイルやホール素子が用いられる。

また、フィルタＦ１〜フィルタＦ６を特定するための手段として、細孔１６４ｚ〜１６４ｕとフォトセンサ１６ｚの代わりに、突起（図示せず）とスイッチ（図示せず）を設けても良い。この突起は、フレーム１６１の下縁上の任意の位置（例えば、フィルタＦ１の真下の位置）に設けられる。スイッチは枠体２０ｚ内の線分ＥＥに沿って配置され、当該突起と接触可能な位置に設けられる。フレーム１６１の動作中にスイッチが突起と接触すると、スイッチは信号パルスを出力する。ＣＰＵ２５は、この信号パルスを検出するとフィルタＦ１がイメージセンサ２２の前面に位置していることを認識する。また、ＣＰＵ２５は、当該信号パルスを検出した時点からのモータ１７の回転数を計測することによって、フィルタＦ２〜Ｆ６のうち、どのフィルタがイメージセンサ２２の前面に位置しているかを判断する。

上記構造を有する監視カメラ１０における撮像動作を示す。

始めに、正規化植生指数（ＮＤＶＩ）は、植物の育成状況を観察するために用いられる指標であり、数式（１）に従い、画素値毎に算出される。

ここで、Ｌ_ＩＲは赤外光又は近赤外光の輝度を表し、Ｌ_Ｒは赤色光の輝度を表す。数式（１）で算出される、ＮＤＶＩ値は、値０〜値１の範囲であり、値０に近い程、青に近い色で表現され、値１に近い程、緑に近い色で表現される。なお、ＣＰＵ２５は、Ｌ_ＩＲおよびＬ_Ｒを算出する際は、入射する光量をできるだけ一定にするため、絞り１３ｚの開度を固定値に設定する。

ＣＰＵ２５は、ＮＤＶＩの演算に必要な、植物のＩＲ（赤外光又は近赤外光）画像及びＲ（赤色）画像を連続して撮像する。

図８は、ＮＤＶＩ演算時における撮像動作手順の一例を時系列に示す図である。フィルタ切替機構１５は、初期位置（つまり、ホームポジション）として、可視光フィルタＦ６がイメージセンサ２２の前面に位置するように、モータ１７を駆動しフレーム１６１をスライドさせる。

通常、監視カメラ１０は、植物を監視する際、自動露光でカラー画像を撮像する。ＣＰＵ２５は、植物の撮像を開始すると、照度センサ（図示せず）で外光を検出し、周囲の光量に応じて、光学モジュール１３に絞り制御信号を出力し、絞り１３ｚの開度を制御する自動露光制御を行う（Ｓ１）。なお、太陽光による照度、つまり周囲の光量は、イメージセンサ２２によって検出されてもよく、この場合、照度センサを省くことができる。

監視カメラ１０は、初期位置に設定された可視光フィルタＦ６を通して入射する、植物からの反射光をイメージセンサ２２で撮像し、カラー画像を得る（Ｓ２）。送信部２９は、このカラー画像をモニタ３０に送信する。モニタ３０は、監視カメラ１０から受信したカラー画像（映像）を画面に表示する。

カラー画像を連続して撮像中、イベント（例えばタイムアップやユーザ操作）が発生すると、監視カメラ１０は、ＮＤＶＩの演算処理に移行する。ＣＰＵ２５は、絞り１３ｚの開度を固定値に設定する（Ｓ３）。この固定値は、例えば緑色（Ｇ）の輝度が、晴天時の昼間に撮像されたＧ値（理想的なＧの輝度値）となるように設定された、絞りの開度である。

ＣＰＵ２５は、フィルタ切替機構１５にフィルタ切替信号を出力する。フィルタ切替機構１５は、ＣＰＵ２５からのフィルタ切替信号に従い、イメージセンサ２２の前面に位置するフィルタを切り替える。つまり、フィルタ切替機構１５は、イメージセンサ２２の前面に位置するフィルタを、カラー画像を撮像可能な可視光フィルタＦ６からＩＲ画像を撮像可能なＩＲフィルタＦ４に切り替える。

監視カメラ１０は、ＩＲフィルタＦ４を通して入射する植物からの反射光をイメージセンサ２２で撮像してＩＲ画像を取得すると、このＩＲ画像を画像処理部２８に出力する（Ｓ４）。画像処理部２８は、ＩＲ画像を入力すると、内部メモリに一時的に記憶する。

ＣＰＵ２５は、フィルタ切替機構１５にフィルタ切替信号を出力する。フィルタ切替機構１５は、ＣＰＵ２５からのフィルタ切替信号に従い、イメージセンサ２２の前面に位置するフィルタを切り替える。つまり、フィルタ切替機構１５は、イメージセンサ２２の前面に位置するフィルタを、ＩＲ画像を撮像可能なＩＲフィルタＦ４からＲ画像を撮像可能なＲフィルタＦ３に切り替える。

監視カメラ１０は、ＲフィルタＦ３を通して入射する植物からの反射光をイメージセンサ２２で撮像してＲ画像を取得すると、このＲ画像を画像処理部２８に出力する（Ｓ５）。画像処理部２８は、Ｒ画像を入力すると、内部メモリに一時的に記憶する。画像処理部２８は、内部メモリに記憶されたＩＲ画像及びＲ画像を読み出し、画素毎にＩＲ画像の輝度Ｌ_ＩＲとＲ画像の輝度Ｌ_Ｒとを用い、数式（１）に従い、ＮＤＶＩを演算する。画像処理部２８は、画素毎に演算したＮＤＶＩ値を用いてＮＤＶＩ画像を生成する。送信部２９は、画像処理部２８によって生成されたＮＤＶＩ画像をモニタ３０に送信する。モニタ３０は、監視カメラ１０から受信したＮＤＶＩ画像を画面に表示する。

この後、ＣＰＵ２５は、フィルタ切替機構１５にフィルタ切替信号を出力する。フィルタ切替機構１５は、ＣＰＵ２５からのフィルタ切替信号に従い、イメージセンサ２２の前面に位置するフィルタを切り替える。つまり、フィルタ切替機構１５は、イメージセンサ２２の前面に位置するフィルタを、Ｒ画像を撮像可能なＲフィルタＦ３からカラー画像を撮像可能な可視光フィルタＦ６に切り替える。

この後、監視カメラ１０は通常の動作に戻り、ＣＰＵ２５は、照度センサ（不図示）で外光を検出し、周囲の光量に応じて光学モジュール１３に絞り制御信号を出力し、絞り１３ｚの開度を自動で制御する自動露光制御を行う（Ｓ６）。

監視カメラ１０は、可視光フィルタＦ６を通して入射する、植物からの反射光をイメージセンサ２２で撮像してカラー画像を取得する（Ｓ７）。送信部２９は、このカラー画像をモニタ３０に送信する。モニタ３０は、監視カメラ１０から受信したカラー画像を画面に表示する。以後、同様の動作が繰り返される。従って、カラー画像を撮像中、イベント（例えばタイムアップやユーザ操作）が発生すると、監視カメラ１０は、前述したＮＤＶＩの演算処理に移行する。

以上により、第１の実施形態の監視カメラ１０では、イメージセンサ２２は、ＩＲフィルタＦ４を介して、植物の生育状況を観察する指標であるＮＤＶＩの演算に使用されるＩＲ画像を撮像する。撮像後、フィルタ切替機構１５は、ＩＲフィルタＦ４とＲフィルタＦ３とが隣り合った位置になるように保持されたフレーム１６１を動かし、イメージセンサ２２の前面に位置するフィルタを、ＩＲフィルタＦ４からＲフィルタＦ３に切り替える。イメージセンサ２２は、ＲフィルタＦ３を介して、植物の生育状況を観察する指標であるＮＤＶＩの演算に使用されるＲ画像を撮像する。画像処理部２８は、撮像されたＩＲ画像及びＲ画像を用いて、植物の生育状況を観察する指標であるＮＶＤＩを算出する。

このように、第１の光学フィルタの一例としてのＩＲフィルタＦ４と第２の光学フィルタの一例としてのＲフィルタＦ３とは隣り合った位置になるように、フレーム１６１（ホルダ）に保持されるので、ＩＲフィルタＦ４とＲフィルタＦ３との切替時間を短縮できる。従って、安価な構成であっても、撮像中、照度の変化や風等の外乱要因により撮像条件が変化する可能性が低くなり、演算されるＮＤＶＩの精度の低下を抑制できる。

また、フィルタ切替機構１５によってイメージセンサ２２の前面に位置するように切り替えられたフィルタを検出可能な位置に配置された３つのフォトセンサ１６ｚが受光した植物からの反射光の受光波形（つまり、受光パターン）によって、ＣＰＵ２５はイメージセンサ２２の前面に位置するＩＲフィルタＦ４又はＲフィルタＦ３を特定する。ここでは、検出可能な位置は、レンズ１１と対向するフレームケース１６４の内側であって、フレーム１６１の上部に形成された細孔１６４ｚ〜１６４ｕを通して入射する光を受光可能な位置である。このように、機械的部品を用いることなく、簡単にイメージセンサ２２の前面に位置するフィルタを特定できる。

また、植物の生育指標の演算に使用されるフィルタとして、ＲフィルタＦ３は、赤色に対応する波長の光を透過させ、ＩＲフィルタＦ４は、赤外光又は近赤外光を透過させるので、植物の生育状況を観察する指標であるＮＤＶＩ（Normalized Difference Vegetation Index）を演算することができる。

また、イメージセンサ２２が、ＩＲフィルタＦ４を介してＩＲ画像を撮像し、ＲフィルタＦ３を介してＲ画像を撮像する場合、絞り１３ｚの開度を固定値に設定するので、ＩＲ画像及びＲ画像の撮像中に起こる露光量の変化を少なくし、演算される植物の生育指標の推定精度の低下を抑えることができる。

（第１の実施形態の変形例１）
第１の実施形態では、植物の生育状況を観察する指標として、正規化植生指数（ＮＤＶＩ）を用いる場合を示したが、植物の光合成の活性度合いを表す指標である光合成指標（ＰＲＩ）を用いてもよく、ＮＤＶＩと同様の手順で分析することが可能である。

光合成指標（ＰＲＩ）は、植物の光合成の活性度合いを表す指標であり、数式（２）に従い、画素値毎に算出される。

ここで、Ｌ_５３０は５３０ｎｍの波長を有する光の輝度を表し、Ｌ_５７０は５７０ｎｍの波長を有する光の輝度を表す。数式（２）で算出されるＰＲＩ値は、値０〜値１の範囲であり、値０に近い程、光合成の活性度合いが小さい色で表現され、値１に近い程、光合成の活性度合いが大きい色で表現される。

また、葉の緑色部分は、太陽光による照度の影響を受け易いので、ＣＰＵ２５は、ＰＲＩの演算に必要な、植物の５３０ｎｍ画像及び５７０ｎｍ画像を連続して撮像する際、絞り１３ｚの開度を固定値に設定し、イメージセンサ２２に入射する光の量をできるだけ一定になるようにする。

図９は、ＰＲＩ演算時における撮像動作手順の一例を時系列に示す図である。フィルタ切替機構１５は、初期位置（つまり、ホームポジション）として、可視光フィルタＦ６がイメージセンサ２２の前面に位置するように、モータ１７を駆動しフレーム１６１をスライドさせる。

通常、監視カメラ１０は、植物を監視する際、自動露光でカラー画像を撮像する。ＣＰＵ２５は、植物の撮像を開始すると、イメージセンサ２２で外光を検出し、周囲の光量に応じて、光学モジュール１３に絞り制御信号を出力し、絞り１３ｚの開度を制御する自動露光制御を行う（Ｓ１）。

監視カメラ１０は、初期位置に設定された可視光フィルタＦ６を通して入射する、植物からの反射光をイメージセンサ２２で撮像し、カラー画像を得る（Ｓ２）。送信部２９は、このカラー画像をモニタ３０に送信する。モニタ３０は、監視カメラ１０から受信したカラー画像を画面に表示する。

カラー画像を連続して撮像中、イベント（例えばタイムアップやユーザ操作）が発生すると、監視カメラ１０は、ＰＲＩの演算処理に移行する。ＣＰＵ２５は、絞り１３ｚの開度を固定値に設定する（Ｓ３）。この固定値は、例えば緑色（Ｇ）の輝度が、晴天時の昼間に撮像されたＧ値（理想的なＧの輝度値）となるように設定された、絞りの開度である。

ＣＰＵ２５は、フィルタ切替機構１５にフィルタ切替信号を出力する。フィルタ切替機構１５は、ＣＰＵ２５からのフィルタ切替信号に従い、イメージセンサ２２の前面に位置するフィルタを切り替える。つまり、フィルタ切替機構１５は、イメージセンサ２２の前面に位置するフィルタを、カラー画像を撮像可能な可視光フィルタＦ６から５３０ｎｍ画像を撮像可能な５３０ｎｍフィルタＦ１に切り替える。

監視カメラ１０は、５３０ｎｍフィルタＦ１を通して入射する植物からの反射光をイメージセンサ２２で撮像して５３０ｎｍ画像を取得すると、画像処理部２８に出力する（Ｓ４Ａ）。画像処理部２８は、５３０ｎｍ画像を入力すると、内部メモリに一時的に記憶する。

ＣＰＵ２５は、フィルタ切替機構１５にフィルタ切替信号を出力する。フィルタ切替機構１５は、ＣＰＵ２５からのフィルタ切替信号に従い、イメージセンサ２２の前面に位置するフィルタを切り替える。つまり、フィルタ切替機構１５は、イメージセンサ２２の前面に位置するフィルタを、５３０ｎｍ画像を撮像可能な５３０ｎｍフィルタＦ１から５７０ｎｍ画像を撮像可能な５７０ｎｍフィルタＦ２に切り替える。

監視カメラ１０は、５７０ｎｍフィルタＦ２を通して入射する植物からの反射光をイメージセンサ２２で撮像し、５７０ｎｍ画像を取得すると、画像処理部２８に出力する（Ｓ５Ａ）。画像処理部２８は、５７０ｎｍ画像を入力すると、内部メモリに一時的に記憶する。

画像処理部２８は、内部メモリに記憶された５３０ｎｍ画像及び５７０ｎｍ画像を読み出し、画素毎に５３０ｎｍ画像の輝度と５７０ｎｍ画像の輝度とを用い、数式（２）に従い、ＰＲＩを演算する。画像処理部２８は、画素毎に演算したＰＲＩ値を用いてＰＲＩ画像を生成する。送信部２９は、ＰＲＩ画像をモニタ３０に送信する。モニタ３０は、監視カメラ１０から受信したＰＲＩ画像を画面に表示する。

この後、ＣＰＵ２５は、フィルタ切替機構１５にフィルタ切替信号を出力する。フィルタ切替機構１５は、ＣＰＵ２５からのフィルタ切替信号に従い、イメージセンサ２２の前面に位置するフィルタを切り替える。つまり、フィルタ切替機構１５は、イメージセンサ２２の前面に位置するフィルタを、５７０ｎｍ画像を撮像可能な５７０ｎｍフィルタＦ２からカラー画像を撮像可能な可視光フィルタＦ６に切り替える。

監視カメラ１０は通常の動作に戻り、ＣＰＵ２５は、照度センサ（図示せず）で外光を検出し、周囲の光量に応じて光学モジュール１３に絞り制御信号を出力し、絞り１３ｚの開度を制御する自動露光制御を行う（Ｓ６）。

監視カメラ１０は、可視光フィルタＦ６を通して入射する、植物からの反射光をイメージセンサ２２で撮像してカラー画像を取得する（Ｓ７）。送信部２９は、このカラー画像をモニタ３０に送信する。モニタ３０は、監視カメラ１０から受信したカラー画像を画面に表示する。以後、同様の動作が繰り返される。つまり、カラー画像を撮像中、イベント（例えばタイムアップやユーザ操作）が発生すると、監視カメラ１０は、前述したＰＲＩの演算処理に移行する。

このように、５３０ｎｍフィルタＦ１と５７０ｎｍフィルタＦ２とは隣り合った位置になるように、フレーム１６１（ホルダ）に保持されるので、５３０ｎｍフィルタＦ１と５７０ｎｍフィルタＦ２との切替時間を短縮できる。従って、安価な構成であっても、撮像中、照度の変化や風等の外乱要因により撮像条件が変化する可能性が低くなり、演算されるＰＲＩの精度の低下を抑制できる。

また、植物の生育指標の演算に使用されるフィルタとして、５３０ｎｍフィルタＦ１は、５３０ｎｍの波長の光を透過させ、５７０ｎｍフィルタＦ２は、５７０ｎｍの波長の光を透過させるので、植物の光合成の活性度合いを表す指標（光合成指標）であるＰＲＩ（Photochemical Reflectance Index）を演算することができる。

（第１の実施形態の変形例２）
第１の実施形態では、フレーム１６１をその長手方向にスライド移動させることで、６枚のフィルタＦ１〜Ｆ６を切り替えていたが、この場合、フレーム１６１及びフレームケース１６４は、細長い板状に形成されるので、フィルタの枚数が多くなると、フレーム１６１及びフレームケース１６４の外形が一方向に延びて長くなり、監視カメラの筐体は取扱いに不便な形状となる。変形例では、フレーム及びフレームケースを円盤状に形成した場合を示す。

図１０は、他のカメラ本体機構２０Ａの一例を示す正面図である。カメラ本体機構２０Ａは、第１の実施形態と同様、前面にレンズ１１が嵌め込まれた枠体２０ｚを有する。カメラ本体機構２０Ａに組み込まれるフィルタ切替機構１５Ａは、円盤状に形成されたフレーム１６１Ａ及びフレームケース１６４Ａを有し、フレームケース１６４Ａに収納されたフレーム１６１Ａをその中心軸を中心に回転自在である。

ここでは、フレーム１６１Ａには、その周縁部に沿うように、８枚のフィルタＦ１〜Ｆ８が交換自在に嵌め込まれている。フィルタＦ１〜Ｆ６は、前記第１の実施形態と同様ｋのフィルタである。フィルタＦ７，Ｆ８はその他の分光特性を有するフィルタである。例えば、青色（Ｂ）フィルタＦ７は、４５０ｎｍを略中心とする４００ｎｍ〜５００ｎｍの波長において、やや大きな透過率を有するフィルタである。

フィルタ切替機構１５Ａは、前述したように、フィルタ保持部１６及びモータ１７を有する。フレームケース１６４Ａには、モータ１７と連結したギアボックス（不図示）が設けられる。フレーム１６１Ａの上面には、ギアボックスの最下段の歯車であるピニオンギア１８Ａと歯合するラック１６３Ａが形成される。

モータ１７が回転し、シャフト１７ｚの回転力がギアボックスに伝達され、ピニオンギア１８Ａが回転すると、このピニオンギアと歯合するラック１６３Ａもフレーム１６１Ａの中心軸を中心に回転する。フレーム１６１Ａに嵌め込まれたフィルタは、イメージセンサ２２の前面とレンズ１１との間に位置するように、切り替えられる。

この変形例２のように、円盤状のフレーム１６１Ａの円周上に８枚のフィルタＦ１〜Ｆ８を配置することで、直線上にフィルタを配置する場合と比べ、フレーム１６１Ａ及びフレームケース１６４Ａの外形を丸くすることができ、監視カメラの筐体を取り扱いに不便さを生じない形状にすることができる。

（第２の実施形態に至る経緯・課題）
監視カメラが光学フィルタを切り替えて撮像する場合、例えばＮＤＶＩを演算するために、赤色（Ｒ）フィルタやＩＲ（赤外光又は近赤外光）フィルタを透過させて撮像した画像は、ユーザにとって必要の無い画像である。つまり、ＲフィルタやＩＲフィルタを透過させた撮像画像は、特定の波長を有する光だけを撮像した画像であるので、この撮像画像をモニタの画面に表示した場合、ユーザに対し画像が反転したような印象を与え、ユーザは監視カメラが故障していると誤認識するおそれがあった。また、ＲフィルタやＩＲフィルタを通過させた撮像画像は専門知識を有する者でないと植物の正確な育成状況を把握することは困難であり、そのような専門知識を有さない者は、本来植物の育成状況として正常である葉や茎、幹等の部位が枯死している等と勘違いをしてしまう可能性もあった。そこで、第２の実施形態では、ユーザが監視カメラの故障や撮像対象である植物の育成状況を誤認識することを防ぐ監視カメラの例について説明する。

（第２の実施形態）
第２の実施形態の監視カメラは第１の実施形態とほぼ同一の構成を有する。第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。

図１１は、第２の実施形態における撮像時の動作手順、使用するフィルタ、及び撮像画像を時系列に示す図である。

撮像開始時（Ｔ１）、フィルタ切替機構１５は、ＩＲ光をカットする可視光フィルタＦ６がイメージセンサ２２の前面に位置するように、モータ１７を駆動しフレーム１６１をスライドさせる。なお、図中、イメージセンサ２２の前面に位置するフィルタは、太い枠線で描かれている。

監視カメラ１０は、初期位置に設定された可視光フィルタＦ６を通して入射する、植物からの反射光をイメージセンサ２２で撮像し、カラー画像ＧＺ１を得る。送信部２９は、このカラー画像ＧＺ１をモニタ３０に送信する。モニタ３０は、監視カメラ１０から受信したカラー画像ＧＺ１を画面に表示する。カラー画像ＧＺ１は、植物を撮像した画像である。

カラー画像を撮像中、イベント（例えばタイムアップやユーザ操作）が発生すると（Ｔ２）、監視カメラ１０は、ＮＤＶＩの演算処理に移行し、ＣＰＵ２５は、フィルタ切替機構１５にフィルタ切替信号を出力する。フィルタ切替機構１５は、ＣＰＵ２５からのフィルタ切替信号に従い、イメージセンサ２２の前面に位置するフィルタを切り替える。つまり、フィルタ切替機構１５は、イメージセンサ２２の前面に位置するフィルタを、カラー画像を撮像可能な可視光フィルタＦ６からＩＲ画像を撮像可能なＩＲフィルタＦ４に切り替える。

監視カメラ１０の画像処理部２８は、ＩＲフィルタＦ４を通して入射する植物からの反射光をイメージセンサ２２で撮像してＩＲ画像ＧＺ２を取得し、このＩＲ画像ＧＺ２を内部メモリに一時的に記憶する（Ｔ３）。ここでは、画像処理部２８の内部メモリに一時的に記憶されたＩＲ画像ＧＺ２は、送信部２９に出力されない。モニタ３０は、送信部２９からＩＲ画像ＧＺ２を受信しないので、既に受信済みのカラー画像ＧＺ１の表示状態を維持する。

なお、画像処理部２８は内部メモリに一時的に記憶されたＩＲ画像ＧＺ２を送信部２９に出力し、送信部２９がモニタ３０にＩＲ画像ＧＺ２を送信しないように停止してもよい。又は、モニタ３０は、送信部２９からＩＲ画像ＧＺ２を受信してもその表示を止めてもよい。

ＣＰＵ２５は、フィルタ切替機構１５にフィルタ切替信号を出力する（Ｔ４）。フィルタ切替機構１５は、ＣＰＵ２５からのフィルタ切替信号に従い、イメージセンサ２２の前面に位置するフィルタを切り替える。つまり、フィルタ切替機構１５は、イメージセンサ２２の前面に位置するフィルタを、ＩＲ画像を撮像可能なＩＲフィルタＦ４からＲ画像を撮像可能なＲフィルタＦ３に切り替える。

監視カメラ１０の画像処理部２８は、ＲフィルタＦ３を通して入射する植物からの反射光をイメージセンサ２２で撮像してＲ画像ＧＺ３を取得し、このＲ画像ＧＺ３を内部メモリに一時的に記憶する（Ｔ５）。ここでは、画像処理部２８の内部メモリに一時的に記憶されたＲ画像ＧＺ３は、送信部２９に出力されない。モニタ３０は、送信部２９からＲ画像ＧＺ３を受信しないので、既に受信済みのカラー画像ＧＺ１の表示状態を維持する。

なお、画像処理部２８は内部メモリに一時的に記憶されたＲ画像ＧＺ３を送信部２９に出力し、送信部２９がモニタ３０にＲ画像ＧＺ３を送信しないように停止してもよい。又は、モニタ３０は、送信部２９からＲ画像ＧＺ３を受信してもその表示を止めてもよい。

画像処理部２８は、ＩＲ画像ＧＺ２の輝度Ｌ_ＩＲとＲ画像ＧＺ３の輝度Ｌ_Ｒとを用い、数式（１）に従い、画素毎にＮＤＶＩを演算する。画像処理部２８は、画素毎に演算したＮＤＶＩ値を用いてＮＤＶＩ画像ＧＺ４を生成する（Ｔ６）。送信部２９は、ＮＤＶＩ画像ＧＺ４をモニタ３０に送信する。モニタ３０は、監視カメラ１０から受信したＮＤＶＩ画像ＧＺ４を画面に表示する。

この後、監視カメラ１０は、再びカラー画像の撮像動作に戻る。撮像開始時と同様、ＣＰＵ２５は、フィルタ切替機構１５にフィルタ切替信号を出力する。フィルタ切替機構１５は、イメージセンサ２２の前面に位置するフィルタを、Ｒ画像を撮像可能なＲフィルタＦ３からカラー画像を撮像可能な可視光フィルタＦ６に切り替える。以後、同様の動作が行われる。

なお、カラー画像の撮像時（Ｔ１）には、自動露光制御で絞りの開度を可変させ、ＩＲ画像の撮像時（Ｔ３）及びＲ画像の撮像時（Ｔ５）には、絞りの開度を固定値に設定してもよいことは、前記第１の実施形態と同様である。

図１２は、モニタ３０の画面に並べて表示されるカラー画像ＧＺ１及びＮＤＶＩ画像ＧＺ４の一例を示す図である。モニタ３０の画面には、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４とが並んで対比的に表示される。モニタ３０の画面の左側には、植物から反射光が可視光フィルタＦ６を透過して撮像されたカラー画像ＧＺ１が表示される。一方、モニタ３０の画面右側には、画像処理部２８によって演算された画素毎のＮＤＶＩ値を青色から緑色の範囲の色で表現したＮＤＶＩ画像ＧＺ４が表示される。

ここでは、ＮＤＶＩ画像ＧＺ４は、値０〜値１の範囲にあるＮＤＶＩ値に対し、段階的な色（例えば、青色、水色、緑色の３段階）で表現される。これにより、ユーザはおおまかに植物の生育状況を知ることができる。なお、ＮＤＶＩ値は、３段階に限らず、任意の段階数に分けて任意の色で表現してもよく、例えば青色、水色、緑色、黄色、赤色といった５段階で表現することも可能である。また、ＣＰＵ２５は、ＮＤＶＩ値に対して閾値を設定して、当該閾値以上の値に対応する色または当該閾値以下の値に対応する色のみをモニタ３０上に表示させるようにしても良い。

また、カラー画像ＧＺ１に対し、ＮＤＶＩ画像ＧＺ４は、ＩＲ画像ＧＺ２及びＲ画像ＧＺ３を撮像しＮＤＶＩ値を演算した後に生成されるので、カラー画像ＧＺ１の撮像時刻とＮＤＶＩ画像ＧＺ４の生成時刻との間には、僅かな時間差（数十秒程度）がある。

なお、ここでは、モニタ３０は、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４とを画面に並べて対比的に表示したが、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４とを交互に表示して対比できるようにしてもよい。また、ＮＤＶＩ画像ＧＺ４を生成するために、途中で撮像されたＩＲ画像ＧＺ２及びＲ画像ＧＺ３の画像データの送信を監視カメラ１０に要求する操作ボタンをモニタ３０の画面に設け、ユーザが希望した場合、この操作ボタンを押下することで、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４の他、ＩＲ画像ＧＺ２やＲ画像ＧＺ３をモニタ３０の画面に表示できるようにしてもよい。これにより、ユーザは必要な時にだけＩＲ画像ＧＺ２やＲ画像ＧＺ３を見ることも可能となり、利便性が向上する。

以上により、第２の実施形態の監視カメラ１０では、イメージセンサ２２が、可視光フィルタ（赤外カットフィルタ）Ｆ６を介してカラー画像ＧＺ１を撮像し、ＩＲフィルタＦ４及びＲフィルタＦ３を介して、植物の生育状況を観察する指標であるＮＤＶＩの演算に使用される、ＩＲ画像ＧＺ２及びＲ画像ＧＺ３をそれぞれ撮像する。送信部２９は、イメージセンサ２２がＩＲ画像ＧＺ２及びＲ画像ＧＺ３を撮像している間、カラー画像ＧＺ１をモニタ３０に出力する。モニタ３０は、ＩＲ画像ＧＺ２及びＲ画像ＧＺ３の代わりに、カラー画像ＧＺ１を表示する。

このように、植物の生育指標として植物の生育状況を観察する指標であるＮＤＶＩの演算に用いられる光学フィルタであるＩＲフィルタＦ４及びＲフィルタＦ３を透過させた画像を撮像している間、カラー画像（可視光画像）ＧＺ１を出力するので、ＩＲフィルタＦ４及びＲフィルタＦ３をそれぞれ透過させたＩＲ画像ＧＺ２及びＲ画像ＧＺ３の出力が遮られ、ユーザが監視カメラ１０の故障や撮像対象である植物の育成状況を誤認識することを防ぐことができる。

なお、イメージセンサ２２が、可視光フィルタ（赤外カットフィルタ）Ｆ６を介してカラー画像ＧＺ１を撮像し、５３０ｎｍフィルタＦ１及び５７０ｎｍフィルタＦ２を介して、植物の生育指標として植物の光合成の活性度合いを表す指標（光合成指標）の演算に使用される、５３０ｎｍ画像及び５７０ｎｍ画像をそれぞれ撮像する場合も同様である。

また、植物の生育指標に関する第１波長を通過させる第１の光学フィルタとしてＩＲフィルタＦ４、前記植物の生育指標に関する第２波長を通過させる第２の光学フィルタとしてＲフィルタＦ３を用いることで、植物の生育状況を観察する指標であるＮＤＶＩ（Normalized Difference Vegetation Index）を容易に演算することができる。また、５３０ｎｍフィルタＦ１及び５７０ｎｍフィルタＦ２を用いることで、植物の光合成の活性度合いを表す指標（光合成指標）であるＰＲＩ（Photochemical Reflectance Index）を容易に演算することができる。

また、フィルタ切替機構１５が、フレーム１６１を動かして、イメージセンサ２２の前面に位置するフィルタを切り替えている間、送信部２９はカラー画像ＧＺ１をモニタ３０に出力するので、フィルタの切替中に撮像される不要な撮像画像の出力も遮られ、より一層、ユーザが監視カメラ１０の故障を誤認識することを防ぐことができる。

また、送信部２９は、植物の生育指標の演算結果を表す画像（ＮＤＶＩ画像，ＰＲＩ画像）をモニタ３０に出力するので、カラー画像中に活性度合いの高い葉を見つけることが容易になる。

また、送信部２９は、カラー画像ＧＺ１と、植物の生育指標の演算結果を表す画像（ＮＤＶＩ画像，ＰＲＩ画像）とを対比的にモニタ３０に出力するので、活性度合いが高い葉であるにもかかわらず、枯れてしまっている葉であると、ユーザが誤認識して刈り取る（葉刈りする）ことも避けることができる。

（第３の実施形態に至る経緯・課題）
監視カメラが光学フィルタを切り替えて撮像する場合、天候や時間帯によって太陽光の照度や色温度が変化するので、植物の生育指標を正確に推定することが難しかった。葉の緑色成分は、太陽光の照度によって直線的に輝度が変化し、その他の色成分は葉の植生状態によって輝度が変化する。例えば、葉の緑色成分は曇天の時には照度が低くなるので、輝度が小さくなり暗くて見えづらくなる。また、朝方は、太陽光の色温度が青色に近くなるので、葉が青く見えたり、夕方は、太陽光の色温度がオレンジ色に近くなるので、葉に赤みが生じて見えたりする。このように、太陽光の照度や色温度の変化によって、葉の活性度が分かりにくくなり、ユーザの誤判断に繋がる。そこで、第３の実施形態では、太陽光等の光の変化による影響を受けても、植物の生育指標の誤差を低減できるようにする監視カメラの例について説明する。

（第３の実施形態）
第３の実施形態の監視カメラは第１の実施形態とほぼ同一の構成を有する。第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。

監視カメラ１０が被写体である植物を連続して撮像しカラー画像で監視する場合を示す。この撮像では、自動露光制御及び色温度補正制御が行われる。

図１３は、第３の実施形態おける露光制御の一例を説明する図である。露光条件を制御する場合、例えば次の３つの方法が挙げられる。第１の方法として、第１の実施形態で示したように、アイリス（絞り）制御を行う場合が挙げられる。イメージセンサ２２の前面に配置された、絞り１３ｚは、ＣＰＵ２５からの絞り制御信号に従い、絞り１３ｚの開度を調節し、レンズ１１を通して入射する光の光量を制御する。

第２の方法として、イメージセンサ２２で電気信号に変換された画像信号のゲイン制御を行う場合が挙げられる。画像処理部２８には、前述したように、画像処理専用のデジタルシグナルプロセッサ（ＤＳＰ）が用いられるので、ゲイン制御は、ＤＳＰ内のアンプ２８ｚの増幅度を可変することで行われる。

第３の方法として、イメージセンサ２２に入射する光の通過を開閉するシャッタを制御する場合が挙げられる。シャッタ制御を行う場合、イメージセンサの電荷蓄積時間を制御することで露光量を制御してもよいし、イメージセンサの前面に機械式シャッタを設け、機械式シャッタの開閉時間を制御することで露光量を制御してもよい。

図１４は、自動露光制御手順の一例を示すフローチャートである。まず、イメージセンサ２２は、ＣＰＵ２５からの指示に従い、被写体である植物を撮像する（Ｓ１１）。この撮像では、フィルタ切替機構１５は、可視光フィルタＦ６がイメージセンサ２２の前面に位置するように、モータ１７を駆動してフレーム１６１をスライドさせておく。

画像処理部２８は、イメージセンサ２２で撮像された画像に対し、画素ユニット（所定数の画素群）毎にＲＧＢ値及び輝度値を検出する（Ｓ１２）。ＲＧＢ値は、画素ユニットに含まれるＲ、Ｇ、Ｂの各画素の輝度である。輝度値は、画素ユニット全体の輝度である。

画像処理部２８は、撮像画像を構成する複数の画素ユニットのうち、Ｇ値の割合が所定値以上に高い画素ユニットを緑色成分の画素ユニットとして検出し、この画素ユニットの輝度値を読み込む（Ｓ１３）。

画像処理部２８は、内部メモリに記憶された、理想的なＧ値（例えば晴天時の昼間に検出された緑色の輝度値）を読み込む（Ｓ１４）。なお、理想的なＧ値としては、ユーザが観察し易い緑色の輝度値であればよく、これに限られず、任意に設定可能である。画像処理部２８は、ステップＳ１３で読み込まれた緑色成分として検出された画素ユニットの輝度値が理想的なＧ値と等しくなるように、露光条件を制御する（Ｓ１５）。露光条件を制御する方法は、前述した３つの方法のいずれでも可能であるが、ここでは、最も良く用いられる絞り制御で行われる。

露光条件を制御した結果、太陽光による照度の影響を受けることなく、イメージセンサ２２で撮像された画像は、晴天時の昼間に撮像されたような輝度を有する画像の撮像が可能となる。なお、露光条件を制御する際、緑色の輝度は、赤色や赤外光又は近赤外光の輝度と比べ、太陽光の照度にほぼ比例するので、ここでは緑色成分が用いられたが、赤色成分や赤外光成分或いは近赤外光成分を用いることも可能である。

図１５は、色温度補正制御手順の一例を示すフローチャートである。まず、イメージセンサ２２は、ＣＰＵ２５からの指示に従い、被写体である植物を撮像する（Ｓ２１）。この撮像では、フィルタ切替機構１５は、可視光フィルタＦ６がイメージセンサ２２の前面に位置するように、モータ１７を駆動しフレーム１６１をスライドさせておく。

画像処理部２８は、イメージセンサ２２で撮像された画像に対し、画素ユニット（所定数の画素群）毎にＲＧＢ値及び輝度値を検出する（Ｓ２２）。前述したように、ＲＧＢ値は、画素ユニットに含まれるＲ、Ｇ、Ｂの各画素の輝度である。輝度値は、画素ユニット全体の輝度である。

画像処理部２８は、撮像画像を構成する複数の画素ユニットのうち、Ｇ値の割合が所定値以上に高い画素ユニットを緑色成分の画素ユニットとして検出する（Ｓ２３）。更に、画像処理部２８は、緑色成分として検出された画素ユニットにおけるＲ値及びＢ値を読み込む（Ｓ２４）。

色温度制御部の一例としての画像処理部２８は、緑色成分として検出された画素ユニットに対し、Ｒ値とＢ値が所定の割合になるように制御する（Ｓ２５）。緑色成分として検出された画素ユニットに対し、Ｒ値とＢ値が所定の割合になるように制御する場合、例えば、晴天時の昼間に撮像したＲ値及びＢ値に対し、夕方ではＲ値を下げるように、また、朝ではＢ値を下げるように、ゲイン制御を行う。これにより、朝では、葉の色が青みがかることはなくなり、夕方では、赤みがかることはなくなる。なお、Ｒ値を下げる代わりに、Ｇ値及びＢ値を上げるように、ゲイン制御を行ってもよいし、Ｂ値を下げる代わりに、Ｇ値及びＲ値を上げるように、ゲイン制御を行ってもよい。

この色温度補正制御の結果、太陽光の色温度の影響を受けることなく、イメージセンサ２２で撮像された画像の色温度は、晴天時の昼間に撮像されたような色温度を有する画像、例えば緑色成分の色が真の緑色になるように色バランスが補正された画像の撮像が可能となる。

以上により、第３の実施形態の監視カメラ１０では、イメージセンサ２２が、可視光フィルタ（赤外カットフィルタ）Ｆ６を介して、被写体である植物のカラー画像ＧＺ１を撮像する。画像処理部２８は、イメージセンサ２２によって撮像される、植物のカラー画像のうち、緑色成分の輝度値（Ｇ値）を検出し、このＧ値が理想的なＧ値（晴天時の昼間に撮像されたような、特定の条件で得られる緑色成分の輝度値）と等しくなるように、イメージセンサ２２の露光条件を制御する。送信部２９は、露光条件が制御された状態で撮像されたカラー画像ＧＺ１をモニタ３０に出力する。モニタ３０は、カラー画像ＧＺ１を画面に表示する。

これにより、太陽光の照度の変化による影響を受けることなく、カラー画像を出力できる。従って、曇天であっても、晴天で撮像したようなカラー画像を得ることができる。

また、絞り１３ｚの開度を調節することで、露光条件を制御する。これにより、絞りの開度を大きくしたり小さくすることで、露光量を簡単かつダイナミックに可変できる。また、イメージセンサで変換される電気信号のＳ／Ｎ比の低下を抑えることができる。

また、画像処理部２８は、イメージセンサ２２で撮像されたカラー画像ＧＺ１の画像信号を増幅するアンプ２８ｚの増幅度を可変することで、露光条件を制御する。これにより、絞り等の部品を設けなくても、露光条件を簡単に制御できる。

また、イメージセンサ２２は、入射する光の通過を開閉するシャッタの開閉時間を調整することで、露光条件を制御する。これにより、露光量を精度良く調整できる。

また、画像処理部２８は、イメージセンサ２２によって撮像されるカラー画像のうち、緑色成分の割合が所定値以上である画素ユニットの色を検出し、画素ユニットの色が晴天時の昼間に撮像されたような、特定の条件で得られる緑色となるように、赤色成分及び青色成分の割合を制御する。

これにより、太陽光の色温度の変化による影響を受けることなく、晴天時の昼間に撮像したようなカラー画像を得ることができる。従って、朝に葉の色が青みがかって撮像されることなく、夕方に葉の色が赤みがかって撮像されることなく、晴天時の昼間に撮像されたような葉の色となる。また、水分を吸い過ぎた葉の緑色は薄くなるが、このような場合でも、葉の色は水分を吸い過ぎていないように表示されるので、ユーザは葉の状態を勘違いすることなく判断できる。従って、植物の葉の色を鮮明に撮像することができる。

（第１〜第３の各実施形態の変形例）
上記第１〜第３の各実施形態では、監視カメラが、ＮＤＶＩやＰＲＩの演算、ＮＤＶＩ画像の生成、露光制御、及び色温度補正制御を行っていたが、監視カメラは撮像した画像の画像データをＰＣ（パーソナルコンピュータ装置）に送信するだけで、ＰＣが監視カメラから受信した画像データを基に、上記処理を行ってもよい。

図１６は、変形例における監視カメラシステム５の内部構成の一例を示すブロック図である。監視カメラシステム５は、監視カメラ１０Ａ及びＰＣ５０を有する。監視カメラ１０Ａ内の画像処理部２８Ａは、イメージセンサ２２で撮像された画像に対して画像処理を行い、可視光画像、ＩＲ画像、Ｒ画像、５３０ｎｍ画像、５７０ｎｍ画像等の画像データを、送信部２９を介してＰＣ５０に送信するが、ＮＤＶＩやＰＲＩの演算を行わないので、ＮＤＶＩ画像やＰＲＩ画像の画像データは送信されない。

ＰＣ５０は、汎用のコンピュータ装置であり、ＣＰＵ５１、メモリ５４、通信部５２、操作部５３及びモニタ５５を有する。ＰＣ５０は、監視カメラ１０Ａから送信される画像データを、通信部５２を介して受信すると、前記第１〜第３の実施形態で示したような、ＮＤＶＩやＰＲＩの演算やＮＤＶＩ画像の生成を行い、また、監視カメラ１０Ａに対し、露光制御や色温度補正制御を行う。

これにより、監視カメラ１０Ａの構成を簡単化することができ、また、ＰＣ５０による監視カメラ１０Ａの遠隔制御が可能となる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記各実施形態では、フィルタ切替機構は、フレームを直線方向に或いは円周方向に動かしていたが、動かし方はこれに限定されず、例えば枠状に移動させる（つまり、水平方向及び垂直方向の移動を組み合わせて矩形状に移動させる）、楕円形に沿うように移動させる等、種々の移動の方法が可能である。

本発明は、太陽光等の光の変化による影響を受けても、植物の生育指標の誤差を低減でき、ユーザの誤判断を防止する撮像装置及び画像処理方法として有用である。

５ 監視カメラシステム
１０，１０Ａ 監視カメラ
１１ レンズ
１３ 光学モジュール
１３ｚ 絞り
１５，１５Ａ フィルタ切替機構
１６，１６Ａ フィルタ保持部
１６ｚ フォトセンサ
１７，２４ モータ
１７ｚ シャフト
１８ ギアボックス
１８ｗ，１８ｙ，１８ｚ 歯車
１８Ａ ピニオンギア
２０，２０Ａ カメラ本体機構
２０ｚ 枠体
２１ ＡＢＦ機構
２２ イメージセンサ
２２ｚ センサ基板
２５ ＣＰＵ
２８，２８Ａ 画像処理部
２８ｚ アンプ
２９ 送信部
３０ モニタ
５０ ＰＣ
５１ ＣＰＵ
５２ 通信部
５３ 操作部
５４ メモリ
５５ モニタ
１６１，１６１Ａ フレーム
１６１ｚ，１６１ｙ，１６１ｘ，１６１ｗ，１６１ｕ 開口部
１６３，１６３Ａ ラック
１６４，１６４Ａ フレームケース
１６４ｚ，１６４ｙ，１６４ｘ，１６４ｗ，１６４ｕ 細孔
１６５ レール
Ｆ１〜Ｆ６ フィルタ
ＧＺ１ カラー画像
ＧＺ２ ＩＲ画像
ＧＺ３ Ｒ画像
ＧＺ４ ＮＤＶＩ画像

Claims (6)

1. 植物の画像を撮像する撮像装置であって、
   前記植物のカラー画像を撮像する撮像部と、
   前記撮像部によって撮像された前記植物のカラー画像のうち、緑色成分の輝度値を検出し、前記緑色成分の輝度値が特定の条件で得られる緑色成分の輝度値と等しくなるように、前記カラー画像の露光条件を制御する露光制御部と、
   前記露光制御部によって前記露光条件が制御された状態で、前記撮像部によって撮像された前記植物のカラー画像を出力する出力部と、を備える、
   撮像装置。
2. 請求項１に記載の撮像装置であって、
   絞り部、を更に有し、
   前記露光制御部は、前記絞りの絞り量を調節することで、前記露光条件を制御する、
   撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記撮像部によって撮像された前記植物のカラー画像の画像信号を増幅するアンプ、を更に有し、
   前記露光制御部は、前記アンプの増幅度を変更することで、前記露光条件を制御する、
   撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記撮像部に入射する前記植物の反射光の通過を開閉するシャッタ、を更に備え、
   前記露光制御部は、前記シャッタの開閉時間を変更することで、前記露光条件を制御する、
   撮像装置。
5. 請求項１に記載の撮像装置であって、
   前記撮像部によって撮像された前記植物のカラー画像のうち、緑色成分の割合が所定値以上である画素群の色を検出し、前記画素群の色が前記特定の条件で得られる緑色となるように、赤色成分及び青色成分の割合を制御する色温度制御部、を更に備える、
   撮像装置。
6. カラー画像を出力可能な撮像部を有する撮像装置における画像処理方法であって、
   前記撮像部において、植物を撮像するステップと、
   前記撮像装置によって撮像された前記植物のカラー画像のうち、緑色成分の輝度値を検出するステップと、
   検出された前記緑色成分の輝度値が特定の条件で得られる緑色成分の輝度値と等しくなるように、前記植物のカラー画像の露光条件を制御するステップと、
   前記露光条件が制御された状態で、前記撮像部によって撮像された前記植物のカラー画像を出力するステップと、を有する、
   画像処理方法。