JP2017009396A

JP2017009396A - 撮像装置

Info

Publication number: JP2017009396A
Application number: JP2015124253A
Authority: JP
Inventors: 悠馬小林; Yuma Kobayashi; 小金　春夫; Haruo Kogane; 春夫小金; 一寛柳; Kazuhiro Yanagi; 山田　英明; Hideaki Yamada; 英明山田
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2015-06-19
Filing date: 2015-06-19
Publication date: 2017-01-12
Also published as: WO2016203689A1

Abstract

【課題】安価な構成であっても、可視光画像と植物の生育指標の演算に使用される画像とを同時に撮像でき、ユーザが装置本体の故障や撮像対象である植物の育成状況の誤認識をすることを防ぐ。【解決手段】監視カメラ１０では、プリズム２１は、入射面２１ｗを通して植物から入射した光を分光し、複数の出射面２１ｚ，２１ｙ，２１ｘから分光された光を出射する。カラー用イメージセンサ２２ｃは、赤外カットフィルタ２３ｃを介して、出射面２１ｙから出射される光を受光し、植物の可視光画像を撮像する。ＩＲ用イメージセンサ２２ｉ，Ｒ用イメージセンサ２２ｒは、ＩＲフィルタ２３ｉ，Ｒフィルタ２３ｒをそれぞれ介して、出射面２１ｚ，２１ｘから出射される光をそれぞれ受光し、植物の生育状況を観察する指標であるＮＤＶＩの演算に使用されるＩＲ画像及びＲ画像を撮像する。送信部２９は、可視光画像及びＮＤＶＩ画像をモニタ３０に送信する。【選択図】図１

Description

本発明は、植物を撮像する撮像装置に関する。

従来、作物の生育状況を分析する技術として、複数の観測波長域を有するイメージセンサを用いて、作物のスペクトル画像を撮像し、このスペクトル画像に基づいて正規化植生指数（ＮＤＶＩ：Normalized Difference Vegetation Index）、蛋白含有率等を推定することが知られている（特許文献１参照）。

特開２００６−２５０８２７号公報

特許文献１を含む従来の撮像装置では、複数の観測波長域を有するイメージセンサに、透過型回折格子が使用されていたので、イメージセンサは非常に高価であった。このため、透過型回折格子の代わりに、複数の光学フィルタを切り替えて使用するフィルタ切替機構を有し、複数の観測波長域で作物を撮像する撮像装置が提案されている。

しかしながら、光学フィルタを切り替えて画像を撮像する場合には、それぞれの光学フィルタを透過させたことで得られる複数の画像を同時に得ることはできない。このため、フィルタの切り替えに長い時間がかかってしまうと、照度の変化や風等の外乱要因の影響により撮像条件が変化する可能性がある。このため、フィルタの切り替えの途中で撮像条件が変化した場合には、ＮＤＶＩ等の植物の生育指標を精度良く推定することができなかった。

また、ＮＤＶＩを演算するために、光学フィルタとして切り替えられた赤色（Ｒ）バンドパスフィルタや赤外光（ＩＲ）バンドパスフィルタを透過させた画像を順に撮像し、これらの画像をモニタの画面に表示した場合、これらの画像は特定の波長を有する光だけを撮像した画像であるので、ユーザに画像が反転したような印象を与え、ユーザは撮像装置が故障していると誤認識する可能性があった。また、ＲフィルタやＩＲフィルタを通過させた撮像画像は専門知識を有する者でないと植物の正確な育成状況を把握することは困難であり、そのような専門知識を有さない者は、本来植物の育成状況として正常である葉や茎、幹等の部位が枯死している等と勘違いをしてしまう可能性もあった。

本発明は、上述した従来の状況に鑑みてなされたものであり、安価な構成であっても、可視光画像と植物の生育指標の演算に使用される画像とを同時に撮像でき、ユーザが装置本体の故障や撮像対象である植物の育成状況の誤認識をすることを防ぐ撮像装置を提供することを目的とする。

本発明は、植物の画像を撮像し、前記画像に基づいて前記植物の生育指標を演算する撮像装置であって、入射面を通して前記植物から入射した光を分光し、複数の出射面から分光された光を出射するプリズムと、第１の前記出射面と対向するように配置され、前記植物の可視光画像の撮像に用いられる赤外カットフィルタと、第２の前記出射面と対向するように配置され、前記植物の生育指標の演算に使用される画像の撮像に用いられる光学フィルタと、前記赤外カットフィルタを介して、前記第１の出射面から出射される光を受光し、可視光画像を撮像する第１のイメージセンサと、前記光学フィルタを介して、前記第２の出射面から出射される光を受光し、前記植物の生育指標の演算に使用される画像を撮像する第２のイメージセンサと、前記可視光画像及び演算された前記植物の生育指標を表す画像を出力する出力部と、を備える、撮像装置である。

また、本発明は、植物の画像を撮像し、前記画像に基づいて前記植物の生育指標を演算する撮像装置であって、入射面を通して前記植物から入射した反射光を分光して前記植物の可視光画像の撮像に用いられる光を第１の出射面から出射すると共に、前記植物の生育指標の演算に使用される光を第２の出射面から出射するプリズムと、前記第１の出射面からの出射光を受光し、可視光画像を撮像する第１のイメージセンサと、前記第２の出射面からの出射光を受光し、前記植物の生育指標の演算に使用される画像を撮像する第２のイメージセンサと、前記可視光画像と前記植物の生育指標の演算に使用される画像を出力する出力部と、を備える、撮像装置である。

本発明によれば、安価な構成であっても、可視光画像と植物の生育指標の演算に使用される画像とを同時に撮像でき、ユーザが装置本体の故障や撮像対象である植物の育成状況の誤認識をすることを防ぐことにより、植物の生育指標を精度良く推定することができる。また、プリズムによる分光を用いることで、可視光画像と植物の生育指標の演算に使用される画像を同時に取得することができるので、リアルタイムの可視光画像に生育指標を反映することができる。

本実施形態の監視カメラの内部構成の一例を示すブロック図撮像部の概略的な構成の一例を示す図各種フィルタの分光特性の一例を示すグラフ撮像動作手順の一例を示すフローチャート自動露光制御手順の一例を示すフローチャート色温度補正制御手順の一例を示すフローチャートモニタの画面に並べて表示されるカラー画像及びＮＤＶＩ画像の一例を示す図モニタの画面に並べて表示されるＩＲ画像及びＲ画像の一例を示す図変形例の監視カメラシステムの内部構成の一例を示すブロック図

（本開示の一形態を得るに至った経緯）
植物のスペクトル画像を撮像するために、複数の観測波長域を有するイメージセンサに、透過型回折格子を使用した場合、イメージセンサは非常に高価なものになっていた。そこで、本実施形態では、透過型回折格子を使用することなく、可視光画像と、ＮＤＶＩ等の植物の生育指標の演算に使用される画像とを同時に撮像できるようにすることで、イメージセンサの低価格化を図る。

以下、適宜図面を参照しながら、本発明に係る撮像装置を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。本実施形態の撮像装置は、例えば植物の生育状況を監視する監視カメラに適用されるとして説明するが、撮像対象は植物に限らず、その他の被写体を撮像してもよい。

図１は、本実施形態の監視カメラ１０の内部構成の一例を示すブロック図である。監視カメラ１０は、被写体である植物を撮像してその撮像画像を出力する。監視カメラ１０は、レンズ１１、光学モジュール１３、撮像部１５、遅延器１７、ＣＰＵ２５、画像処理部２８及び送信部２９を有する。

レンズ１１は、監視対象である植物からの反射光を集光し、プリズム２１を通してカラー用イメージセンサ２２ｃ，ＩＲ用イメージセンサ２２ｉ，Ｒ用イメージセンサ２２ｒにその光学像を結像させる。光学モジュール１３は、レンズ１１を通して入射する植物からの光の量を調節する絞り部の一例としての絞り（アイリス、とも呼ばれる）１３ｚを有し、ＣＰＵ２５からの絞り制御信号に従い、絞り１３ｚの開き具合（絞り量の一例としての開度）を調節する。

撮像部１５は、レンズ１１及び光学モジュール１３を通して入射する植物からの反射光を可視光、ＩＲ光及び赤色光に分光して撮像する。撮像部１５は、プリズム２１、可視光を通過させる赤外カットフィルタ２３ｃ、赤外光又は近赤外光（ＩＲ）を通過させるＩＲフィルタ２３ｉ、赤色の波長の光を通過させるＲフィルタ２３ｒ、減光フィルタとしての役割を有するＮＤフィルタ２４、カラー用イメージセンサ２２ｃ、ＩＲ用イメージセンサ２２ｉ、及びＲ用イメージセンサ２２ｒを含む。

図２は、撮像部１５の概略的な構成の一例を示す図である。図２では、プリズム２１によって分光され、カラー用イメージセンサ２２ｃ，ＩＲ用イメージセンサ２２ｉ，Ｒ用イメージセンサ２２ｒで受光される光（つまり、植物の反射光）の方向がそれぞれ矢印ｋ，ｌ，ｍで示される。プリズム２１は、入射面２１ｗを通して入射した光を３方向に分光し、３方向に分光された光を各出射面２１ｚ、２１ｙ，２１ｘから出射する。出射面２１ｚと対向する側には、ＩＲ（赤外光又は近赤外光）フィルタ２３ｉ及びＩＲ用イメージセンサ２２ｉが配置される。ＩＲフィルタ２３ｉは、赤外光又は近赤外光を透過させるフィルタである（図３の符号ｄ参照）。ＩＲ用イメージセンサ２２ｉは、ＩＲフィルタ２３ｉを通過したＩＲ光を受光し、ＩＲ画像を撮像する。

また、出射面２１ｙと対向する側には、ＮＤフィルタ２４、赤外カットフィルタ２３ｃ及びカラー用イメージセンサ２２ｃが配置される。ＮＤフィルタ２４は、入射する光の量を減らす。赤外カットフィルタ２３ｃは、赤外光又は近赤外光をカット（遮蔽）する可視光フィルタ（カラーフィルタ）である（図３の符号ｆ参照）。カラー用イメージセンサ２２ｃは、赤外カットフィルタ２３ｃを通過した可視光を受光し、可視光画像を撮像する。なお、プリズムの形状によっては、可視光を受光するカラー用イメージセンサ２２ｃ側に出射面２１ｙから出射される光の光量が、他の出射面２１ｚ，２１ｘから出射される光の光量と比べて少なくすることも可能であり、この場合、減光する必要が無くなるので、ＮＤフィルタ２４を省いた構成にしてもよい。

また、出射面２１ｘと対向する側には、Ｒフィルタ２３ｒ及びＲ用イメージセンサ２２ｒが配置される。Ｒフィルタ２３ｒは、赤色光（つまり、赤色の波長を有する光）を透過させるフィルタである（図３の符号ｃ参照）。Ｒ用イメージセンサ２２ｒは、Ｒフィルタ２３ｒを通過した６６０ｎｍ近傍の光を受光し、Ｒ画像を撮像する。

なお、本実施形態では、監視カメラ１０は、植物の生育状況を観察する指標であるＮＤＶＩ（Normalized Difference Vegetation Index）を演算するために、ＩＲ画像とＲ画像を撮像する。この他、植物の光合成の活性度合いを表す指標であるＰＲＩ（Photochemical Reflectance Index）を演算するために、５３０ｎｍ画像と５７０ｎｍ画像を撮像する場合、プリズム２１の出射面２１ｚと対向する側には、５３０ｎｍフィルタ及び５３０ｎｍの波長の光が集光されて撮像するイメージセンサが配置され、プリズム２１の出射面２１ｘと対向する側には、５７０ｎｍフィルタ及び５７０ｎｍの波長の光が集光されて撮像するイメージセンサが配置される。

なお、プリズム２１がプリズム２１内部の屈折によって、出射面２１ｚ方向に近赤外波長の光を出射し、出射面２１ｘ方向に赤色波長の光を出射可能な場合は、図１に示す監視カメラ１０の構成から、ＩＲフィルタ２３ｉおよびＲフィルタ２３ｒは不要になる。

図３は、各種フィルタの分光特性の一例を示すグラフである。グラフの縦軸は透過率（％）を示し、横軸は波長（ｎｍ）を示す。５３０ｎｍフィルタは、光の波長５３０ｎｍにおいて透過率の鋭いピークの波形（符号ａ）を有する。５７０ｎｍフィルタは、波長５７０ｎｍにおいて透過率の鋭いピークの波形（符号ｂ）を有する。Ｒフィルタ２３ｒは、波長６６０ｎｍを中心とする透過率の高いピークの波形（符号ｃ）を有する。ＩＲ（赤外光又は近赤外光）フィルタ２３ｉは、７５０ｎｍを超える波長において、大きな透過率の波形（符号ｄ）を有する。緑色（Ｇ）フィルタは、５５０ｎｍを略中心とする５３０ｎｍ〜６３０ｎｍの波長において、やや大きな透過率の波形（符号ｅ）を有する。可視光フィルタとしての役割を有する赤外カットフィルタ２３ｃは、可視光画像（カラー画像）を撮像する際に赤外光又は近赤外光をカット（遮蔽）するフィルタであり、４００ｎｍ〜６８０ｎｍの波長において、大きな透過率の波形（符号ｆ）を有する。また、青色（Ｂ）フィルタは、４５０ｎｍを略中心とする４００ｎｍ〜５００ｎｍの波長において、やや大きな透過率の波形（符号ｇ）を有する。

ＣＰＵ２５は、例えばＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Procesing Unit）を用いて構成され、監視カメラ１０の各部を統括的に制御する。ＣＰＵ２５は、光学モジュール１３に絞り制御信号を出力してプリズム２１に入射する全体の光の量を調節する。プリズム２１に入射する全体の光の量を制限することで、カラー用イメージセンサ２２ｃの前にＮＤフィルタ２４を省くことも可能である。ＣＰＵ２５は、カラー用イメージセンサ２２ｃ、ＩＲ用イメージセンサ２２ｉ及びＲ用イメージセンサ２２ｒにそれぞれ撮像信号を出力し、撮像動作を行わせる。この時、ＣＰＵ２５は、シャッタ（電子シャッタ）の開閉時間を制御することで、カラー用イメージセンサ２２ｃ、ＩＲ用イメージセンサ２２ｉ及びＲ用イメージセンサ２２ｒの電荷蓄積時間を個々に設定し、露光量を調節可能である。

ＣＰＵ２５は、画像処理部２８内の画像生成部２８ｙに対しゲイン制御信号を出力し、例えばＩＲ信号及びＲ信号の増幅度（ゲイン）を大きくすることで、可視光、ＩＲ信号及びＲ信号の大きさ（輝度）を揃えてそのバランスを良くする。ＣＰＵ２５は、演算処理部２８ｚに対し信号を出力し、ＮＤＶＩ等の演算を実行させる。ＣＰＵ２５には、画像処理専用のデジタルシグナルプロセッサ（ＤＳＰ：Digital Signal Processor）が用いられてもよい。

画像処理部２８は、植物の生育指標を演算して画像を生成するものであり、演算処理部２８ｚ及び画像生成部２８ｙを備える。演算処理部２８ｚは、ＩＲ用イメージセンサ２２ｉで撮像されたＩＲ画像、及びＲ用イメージセンサ２２ｒで撮像されたＲ画像を基に、後述する生育状況を観察する指標であるＮＤＶＩ（Normalized Difference Vegetation Index）、及び植物の光合成の活性度合いを表す指標（光合成指標）であるＰＲＩ（Photochemical Reflectance Index）を画素毎に算出する。演算処理部２８ｚは、ＩＲ用イメージセンサ２２ｉ及びＲ用イメージセンサ２２ｒからの撮像信号（ＩＲ信号及びＲ信号）をそれぞれ増幅するアンプを有する。

画像生成部２８ｙは、演算処理部２８ｚで画素毎に演算されたＮＤＶＩ（又はＰＲＩ）を用いてＮＤＶＩ画像（又はＰＲＩ画像）を生成し、このＮＤＶＩ画像（又はＰＲＩ画像）と、カラー用イメージセンサ２２ｃで撮像された可視光画像とを出力する。画像生成部２８ｙは、演算されたＮＶＤＩ画像（又はＰＲＩ画像）の画素値（輝度）を増幅するアンプを有し、ＮＤＶＩ画像の輝度を増幅することで可視光画像の輝度とのバランスを良くする。なお、演算されたＮＶＤＩ画像（又はＰＲＩ画像）の画素値（輝度）を増幅する代わりに、可視光画像の輝度を増幅（減衰）することで、これらの画像の輝度を揃えるようにしてもよい。

カラー用イメージセンサ２２ｃと画像生成部２８ｙ又は送信部２９との間には、遅延器１７が設けられている。遅延器１７は、画像処理部２８がＩＲ用イメージセンサ２２ｉで撮像されたＩＲ画像及びＲ用イメージセンサ２２ｒで撮像されたＲ画像を基に、ＮＤＶＩを演算しその画像を生成する際、カラー用イメージセンサ２２ｃで撮像されるカラー画像（可視光画像）に対して遅れる時間（遅延時間）を補正し、ＮＤＶＩ画像とカラー画像とを同期させる。また、画像処理部２８は、ＩＲ用イメージセンサ２２ｉで撮像されたＩＲ画像、及びＲ用イメージセンサ２２ｒで撮像されたＲ画像をそのまま送信部２９に出力してもよい。

出力部の一例としての送信部２９は、画像処理部２８から入力したカラー画像及びＮＤＶＩ画像（又はＰＲＩ画像）の画像データをモニタ３０に送信する。また、送信部２９は、画像処理部２８から入力した、ＩＲ画像及びＲ画像をそのままモニタ３０に送信する。

表示装置の一例としてのモニタ３０は、監視カメラ１０と別体の装置であり、送信部２９から送信された画像データに基づき、カラー画像及びＮＤＶＩ画像（又はＰＲＩ画像）を画面に並べて対比的に表示する。なお、モニタ３０は、カラー画像及びＮＤＶＩ画像（又はＰＲＩ画像）を並べることなく、切り替えることで対比的に表示してもよい。この場合、切り替えはユーザ操作或いは予め設定された時間間隔で自動的に行われてもよい。また、モニタ３０は、画像処理部２８から出力されるカラー画像とＮＤＶＩ画像とを個別に表示することも可能である。

上記構造を有する監視カメラ１０における撮像動作を示す。

始めに、正規化植生指数（ＮＤＶＩ）は、植物の育成状況を観察するために用いられる指標であり、数式（１）に従い、画素値毎に算出される。

ここで、Ｌ_ＩＲは赤外光又は近赤外光の輝度を表し、Ｌ_Ｒは赤色光の輝度を表す。数式（１）で算出される、ＮＤＶＩ値は、値０〜値１の範囲であり、値０に近い程、青に近い色で表現され、値１に近い程、緑に近い色で表現される。

また、葉の緑色部分は、太陽光の照度によって影響を受け易い色であるので、ＣＰＵ２５は、ＮＤＶＩの演算に必要な、植物のＩＲ（赤外光又は近赤外光）画像及びＲ（赤色）画像を撮像する際、絞り１３ｚの開度を固定値に設定し、イメージセンサ２２に入射する光の量をできるだけ一定になるようにする。

また、植物の光合成の活性度合いを表す指標である光合成指標（ＰＲＩ）を用いてもよく、ＮＤＶＩと同様の手順で分析することが可能である。

光合成指標（ＰＲＩ）は、植物の光合成の活性度合いを表す指標であり、数式（２）に従い、画素値毎に算出される。

ここで、Ｌ_５３０は５３０ｎｍの波長を有する光の輝度を表し、Ｌ_５７０は５７０ｎｍの波長を有する光の輝度を表す。数式（２）で算出されるＰＲＩ値は、値０〜値１の範囲であり、値０に近い程、光合成の活性度合いが小さい色で表現され、値１に近い程、光合成の活性度合いが大きい色で表現される。

図４は、撮像動作手順の一例を示すフローチャートである。始めに、ＣＰＵ２５は、初期設定を行う（Ｓ１）。この初期設定では、露光条件及び色温度補正が自動で設定される。図５は、自動露光制御手順の一例を示すフローチャートである。まず、カラー用イメージセンサ２２ｃは、露光制御部の一例としてのＣＰＵ２５からの指示に従い、被写体である植物を撮像する（Ｓ１１）。画像処理部２８は、カラー用イメージセンサ２２ｃで撮像された画像に対し、画素ユニット（所定数の画素群）毎にＲＧＢ値及び輝度値を検出する（Ｓ１２）。ＲＧＢ値は、画素ユニットに含まれるＲ、Ｇ、Ｂの各画素の輝度により表される色を特定する数値である。輝度値は、画素ユニット全体の輝度である。

画像処理部２８は、撮像画像を構成する複数の画素ユニットのうち、Ｇ値の割合が所定値以上に高い画素ユニットを緑色成分の画素ユニットとして検出し、この画素ユニットの輝度値を読み込む（Ｓ１３）。

画像処理部２８は、内部メモリに記憶された理想的なＧ値（例えば晴天時の昼間に検出された緑色の輝度値）を読み込む（Ｓ１４）。なお、理想的なＧ値としては、ユーザが観察し易い緑色の輝度値であればよく、これに限られず、任意に設定可能である。画像処理部２８は、ステップＳ１３で読み込まれた緑色成分として検出された画素ユニットの輝度値が理想的なＧ値と等しくなるように、露光条件を制御する（Ｓ１５）。露光条件を制御する方法は、前述したように、絞り１３ｚの開度を調節すること、シャッタ開閉時間を調節すること、撮像信号のゲインを調節することのいずれでも可能である。

例えば、カラー用イメージセンサ２２ｃ，ＩＲ用イメージセンサ２２ｉ，Ｒ用イメージセンサ２２ｒのシャッタ開閉時間を個々に調節することで、各露光量が変わり、カラー用イメージセンサ２２ｃ，ＩＲ用イメージセンサ２２ｉ，Ｒ用イメージセンサ２２ｒからそれぞれ出力される撮像信号（カラー信号，ＩＲ信号，Ｒ信号）の大きさを揃えることが可能である。

また、絞り１３ｚの開度を調節することで、太陽光による照度の影響を受けることなく、カラー用イメージセンサ２２ｃ，ＩＲ用イメージセンサ２２ｉ，Ｒ用イメージセンサ２２ｒで撮像された画像は、晴天時の昼間に撮像されたような輝度を有する画像の撮像が可能となる。なお、露光条件を制御する際、緑色の輝度は、赤色や赤外光或いは近赤外光の輝度と比べ、太陽光の照度にほぼ比例するので、ここでは緑色成分が用いられたが、赤色成分や赤外光成分或いは近赤外光成分を用いることも可能である。

図６は、色温度補正制御手順の一例を示すフローチャートである。まず、カラー用イメージセンサ２２ｃは、ＣＰＵ２５からの指示に従い、被写体である植物を撮像する（Ｓ２１）。画像処理部２８は、イメージセンサ２２で撮像された画像に対し、画素ユニット（所定数の画素群）毎にＲＧＢ値及び輝度値を検出する（Ｓ２２）。画像処理部２８は、撮像画像を構成する複数の画素ユニットのうち、Ｇ値の割合が所定値以上に高い画素ユニットを緑色成分の画素ユニットとして検出する（Ｓ２３）。更に、画像処理部２８は、緑色成分として検出された画素ユニットにおけるＲ値及びＢ値を読み込む（Ｓ２４）。

色温度制御部の一例としての画像処理部２８は、緑色成分として検出された画素ユニットに対し、Ｒ値とＢ値が所定の割合になるように制御する（Ｓ２５）。緑色成分として検出された画素ユニットに対し、Ｒ値とＢ値が所定の割合になるように制御する場合、例えば、晴天時の昼間に撮像したＲ値及びＢ値に対し、夕方ではＲ値を下げるように、また、朝ではＢ値を下げるように、ゲイン制御を行う。これにより、朝では、葉の色が青みがかることはなくなり、夕方では、赤みがかることはなくなる。なお、Ｒ値を下げる代わりに、Ｇ値及びＢ値を上げるように、ゲイン制御を行ってもよいし、Ｂ値を下げる代わりに、Ｇ値及びＲ値を上げるように、ゲイン制御を行ってもよい。

この色温度補正制御の結果、太陽光の色温度の影響を受けることなく、イメージセンサ２２で撮像された画像の色温度として、晴天時の昼間に撮像されたような色温度を有する画像、例えば緑色成分の色が真の緑色になるように、色バランスが補正された画像の撮像が可能となる。

ステップＳ１で、撮像動作の初期設定が行われると、ＣＰＵ２５は、カラー用イメージセンサ２２ｃ、ＩＲ用イメージセンサ２２ｉ及びＲ用イメージセンサ２２ｒにそれぞれ撮像制御信号を出力する。カラー用イメージセンサ２２ｃ、ＩＲ用イメージセンサ２２ｉ及びＲ用イメージセンサ２２ｒは、この撮像制御信号に従い、それぞれカラー画像、ＩＲ画像及びＲ画像を撮像して取得する（Ｓ２）。

画像処理部２８内の演算処理部２８ｚは、ＩＲ用イメージセンサ２２ｉ及びＲ用イメージセンサ２２ｒでそれぞれ撮像されたＩＲ画像及びＲ画像を読み込み、前述した数式（１）に従い、ＮＤＶＩを演算する（Ｓ３）。

画像処理部２８内の画像生成部２８ｙは、演算処理部２８ｚで演算されたＮＶＤＩに基づくＮＤＶＩ画像を生成し、このＮＤＶＩ画像と、カラー用イメージセンサ２２ｃから遅延器１７を介して得られるカラー画像とを送信部２９に出力する。送信部２９は、ＮＤＶＩ画像及びカラー画像をモニタ３０の表示形式に適した画像データに変換してモニタ３０に出力する（Ｓ４）。モニタ３０は、ＮＤＶＩ画像とカラー画像とを並べて画面に表示する。

この後、ＣＰＵ２５は、撮像終了であるか否かを判別する（Ｓ５）。撮像終了は、ユーザが監視カメラ１０に対し所定の操作を行ったことや、タイマが所定時間に達したこと等により判断される。撮像終了でない場合、ＣＰＵ２５は、ステップＳ２の処理に戻る。一方、撮像終了である場合、ＣＰＵ２５は本動作を終了する。

図７は、モニタ３０の画面に並べて表示されるカラー画像ＧＺ１及びＮＤＶＩ画像ＧＺ４を示す図である。モニタ３０の画面には、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４とが並んで対比的に表示される。モニタ３０の画面の左側には、植物から反射光が赤外カットフィルタ２３ｃを透過して撮像されたカラー画像ＧＺ１が表示される。一方、モニタ３０の画面右側には、画像処理部２８によって演算された画素毎のＮＤＶＩ値を青色から緑色の範囲の色で表現したＮＤＶＩ画像ＧＺ４が表示される。

ここでは、ＮＤＶＩ画像ＧＺ４は、値０〜値１の範囲にあるＮＤＶＩ値に対し、段階的な色（例えば、青色、水色、緑色の３段階）で表現される。これにより、ユーザはおおまかに植物の生育状況を知ることができる。なお、ＮＤＶＩ値は、３段階に限らず、任意の段階数に分けて任意の色で表現してもよく、例えば青色、水色、緑色、黄色、赤色といった５段階で表現することも可能である。

なお、ここでは、モニタ３０は、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４とを画面に並べて対比的に表示したが、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４とを交互に表示して対比できるようにしてもよい。また、モニタ３０は、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４とを重ね合わせ、合成画像として表示してもよいし、カラー画像ＧＺ１，ＮＤＶＩ画像ＧＺ４を個々に単独で表示してもよい。カラー画像ＧＺ１を単独で表示する場合、モニタ３０はリアルタイムカラーモニタとして動作する。

また、ＮＤＶＩ画像ＧＺ４を生成するために、途中で撮像されたＩＲ画像ＧＺ２及びＲ画像ＧＺ３の画像データの送信を監視カメラ１０に要求する操作ボタンをモニタ３０の画面に設け、ユーザが希望した場合、この操作ボタンを押下することで、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４の他、ＩＲ画像ＧＺ２やＲ画像ＧＺ３をモニタ３０の画面に表示できるようにしてもよい。図８は、モニタ３０の画面に並べて表示されるＩＲ画像ＧＺ２及びＲ画像ＧＺ３の一例を示す図である。これにより、ユーザは必要な時にだけＩＲ画像ＧＺ２やＲ画像ＧＺ３を見ることも可能となり、利便性が向上する。また、カラー画像、ＮＤＶＩ画像、ＩＲ画像及びＲ画像を任意に組み合わせて表示してもよい。例えば、これら４つの画像を一画面に表示させてもよいし、任意の１つ或いは３つの画像を一画面に表示させてもよい。

以上により、本実施形態の監視カメラ１０では、プリズム２１は、入射面２１ｗを通して植物から入射した光を分光し、複数の出射面２１ｚ，２１ｙ，２１ｘから分光された光を出射する。出射面２１ｙと対向するように配置された赤外カットフィルタ２３ｃは、植物の可視光画像の撮像に用いられる。出射面２１ｚ，２１ｘとそれぞれ対向するように配置されたＩＲフィルタ２３ｉ及びＲフィルタ２３ｒは、植物の生育状況を観察する指標であるＮＤＶＩの演算に使用される画像の撮像に用いられる。カラー用イメージセンサ２２ｃは、赤外カットフィルタ２３ｃを介して、出射面２１ｙから出射される光を受光し、植物の可視光画像を撮像する。ＩＲ用イメージセンサ２２ｉ，Ｒ用イメージセンサ２２ｒは、ＩＲフィルタ２３ｉ，Ｒフィルタ２３ｒを介して、出射面２１ｚ，２１ｘから出射される光をそれぞれ受光し、ＮＤＶＩの演算に使用されるＩＲ画像及びＲ画像を撮像する。送信部２９は、可視光画像及びＮＤＶＩ画像をモニタ３０に送信する。このように、高価な透過型回折格子を使用しなくても、プリズム及び光学フィルタを用いることで、安価な構成であっても、可視光画像（カラー画像）と植物の生育指標（ＮＤＶＩ等）の演算に使用される画像とを同時に撮像できる。これにより、植物の生育指標を精度良く推定することができる。

また、カラー画像、ＩＲ画像及びＲ画像が同時に撮像されるので、ＩＲ画像及びＲ画像を基に得られるＮＤＶＩ画像と、カラー画像とを同期させ、映像（動画）としてモニタ３０の画面に表示可能である。

また、植物の生育指標に関する第１波長を通過させる第１の光学フィルタとしてＩＲフィルタ２３ｉ、植物の生育指標に関する第２波長を通過させる第２の光学フィルタとしてＲフィルタ２３ｒを用いることで、植物の生育状況を観察する指標であるＮＤＶＩ（Normalized Difference Vegetation Index）を容易に演算することができる。また、５３０ｎｍフィルタ及び５７０ｎｍフィルタを用いることで、植物の光合成の活性度合いを表す指標（光合成指標）であるＰＲＩ（Photochemical Reflectance Index）を容易に演算することができる。

また、カラー画像ＧＺ１に対し、ＮＤＶＩ画像ＧＺ４は、ＩＲ画像ＧＺ２及びＲ画像ＧＺ３を撮像しＮＤＶＩを演算した後に生成されるので、カラー画像ＧＺ１の撮像時刻とＮＤＶＩ画像ＧＺ４の生成時刻との間には、僅かな時間差（数十秒程度）があるが、遅延器１７を設けることで、これらの画像の時間差を減らすことができ、特に、ＮＤＶＩの演算及びＮＤＶＩ画像の生成に要する時間だけ遅延させることで、カラー画像ＧＺ１とＮＤＶＩ画像ＧＺ４とを同期させて表示することも可能である。

また、露光制御部の一例としてのＣＰＵ２５は、カラー用イメージセンサ２２ｃで撮像される可視光画像（カラー画像）と、ＮＤＶＩ画像を演算するためにＲ用イメージセンサ２２ｒで撮像されるＲ画像及びＩＲ用イメージセンサ２２ｉで撮像されるＩＲ画像との露光条件を制御することで、これらの画像の輝度を大まかに揃えることができる。従って、モニタの画面に表示されるカラー画像とＮＤＶＩ画像の輝度のバランスが良くなり、これらの画像を対比し易いように表示できる。また、露光条件が制御された状態で撮像されたカラー画像ＧＺ１をモニタ３０に出力するので、太陽光の照度の変化による影響を受けることなく、カラー画像を出力できる。従って、曇天であっても、晴天で撮像したようなカラー画像を得ることができる。

また、プリズム２１の出射面２１ｙと対向する側に配置された、赤外カットフィルタ２３ｃとカラー用イメージセンサ２２ｃとの間には、ＮＤフィルタ２４が配置されるので、カラー用イメージセンサ２２ｃに入射する可視光の光量を抑えることができ、ＩＲ光，Ｒ光との光量のバランスを揃えることができる。

また、送信部２９は、カラー画像ＧＺ１と、演算された植物の生育指標を表す画像（ＮＤＶＩ画像，ＰＲＩ画像）とを対比的にモニタ３０に出力するので、活性度合いが高い葉であるにもかかわらず、枯れてしまっている葉であると、ユーザが誤認識して刈り取る（葉刈りする）ことも避けることができる。

（変形例）
図９は、変形例における監視カメラシステム５の内部構成の一例を示すブロック図である。監視カメラシステム５は、監視カメラ１０Ａ及びＰＣ５０を有する。監視カメラ１０Ａ内の画像処理部２８Ａは、カラー用イメージセンサ２２ｃ，ＩＲ用イメージセンサ２２ｉ，Ｒ用イメージセンサ２２ｒで撮像された画像に対して画像処理を行い、可視光画像、ＩＲ画像、Ｒ画像、５３０ｎｍ画像、５７０ｎｍ画像等の画像データを、送信部２９を介してＰＣ５０に送信する。一方、画像処理部２８Ａが、ＮＤＶＩやＰＲＩの演算を行わないので、ＮＤＶＩ画像やＰＲＩ画像の画像データは送信されない。

ＰＣ５０は、汎用のコンピュータ装置であり、ＣＰＵ５１、メモリ５４、通信部５２、操作部５３及びモニタ５５を有する。ＰＣ５０は、監視カメラ１０Ａから送信される画像データを、通信部５２を介して受信すると、上記した本実施形態で示したような、ＮＤＶＩやＰＲＩの演算やＮＤＶＩ画像の生成を行い、また、監視カメラ１０Ａに対し、露光制御や色温度補正制御を行う。

これにより、監視カメラ１０Ａの構成を簡単化することができ、また、ＰＣ５０による監視カメラ１０Ａの遠隔制御が可能となる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、安価な構成であっても、可視光画像と植物の生育指標の演算に使用される画像とを同時に撮像でき、ユーザが装置本体の故障や撮像対象である植物の育成状況の誤認識をすることを防ぐ撮像装置として有用である。

５監視カメラシステム
１０，１０Ａ監視カメラ
１１レンズ
１３光学モジュール
１３ｚ絞り
２１プリズム
２１ｗ入射面
２１ｚ，２１ｙ，２１ｘ出射面
２２ｃカラー用イメージセンサ
２２ｉＩＲ用イメージセンサ
２２ｒＲ用イメージセンサ
２３ｃ赤外カットフィルタ
２３ｉＩＲフィルタ
２３ｒＲフィルタ
２４ＮＤフィルタ
２５ＣＰＵ
２８，２８Ａ画像処理部
２８ｙ画像生成部
２８ｚ演算処理部
２９送信部
３０，５５モニタ
５０ＰＣ
５１ＣＰＵ
５２通信部
５３操作部
５４メモリ
ＧＺ１カラー画像（可視光画像）
ＧＺ２ＩＲ画像
ＧＺ３Ｒ画像
ＧＺ４ＮＤＶＩ画像

Claims

植物の画像を撮像し、前記画像に基づいて前記植物の生育指標を演算する撮像装置であって、
入射面を通して前記植物から入射した反射光を分光し、分光された前記反射光を、少なくとも第１の出射面及び第２の出射面から出射するプリズムと、
前記第１の出射面と対向して配置され、前記植物の可視光画像の撮像に用いられる赤外カットフィルタと、
前記第２の出射面と対向するように配置され、前記植物の生育指標の演算に使用される画像の撮像に用いられる光学フィルタと、
前記赤外カットフィルタを介して、前記第１の出射面からの出射光を受光し、可視光画像を撮像する第１のイメージセンサと、
前記光学フィルタを介して、前記第２の出射面からの出射光を受光し、前記植物の生育指標の演算に使用される画像を撮像する第２のイメージセンサと、
前記可視光画像と前記植物の生育指標の演算に使用される画像を出力する出力部と、を備える、
撮像装置。
請求項１に記載の撮像装置であって、
前記光学フィルタは、前記植物の生育指標に関する第１波長を通過させる第１の光学フィルタと、前記植物の生育指標に関する第２波長を通過させる第２の光学フィルタと、を有する、
撮像装置。
請求項１又は２に記載の撮像装置であって、
前記第１のイメージセンサと前記出力部との間に配置され、前記第１のイメージセンサで撮像された前記可視光画像の前記出力部への入力を遅延させる遅延器、を更に備える、
撮像装置。
請求項１から３のうちいずれか一項に記載の撮像装置であって、
前記第１のイメージセンサで撮像された前記可視光画像、及び前記第２のイメージセンサで撮像された前記植物の生育指標の演算に使用される画像の各露光条件を制御する露光制御部、を更に備える、
撮像装置。
請求項１から４のうちいずれか一項に記載の撮像装置であって、
前記第１の出射面と前記第１のイメージセンサとの間に減光フィルタが配置された、
撮像装置。
請求項１から５のうちいずれか一項に記載の撮像装置であって、
前記出力部は、表示装置に対し、前記可視光画像と、前記植物の生育指標の演算に使用される画像とを対比的に表示させる、
撮像装置。
植物の画像を撮像し、前記画像に基づいて前記植物の生育指標を演算する撮像装置であって、
入射面を通して前記植物から入射した反射光を分光して前記植物の可視光画像の撮像に用いられる光を第１の出射面から出射すると共に、前記植物の生育指標の演算に使用される光を第２の出射面から出射するプリズムと、
前記第１の出射面からの出射光を受光し、可視光画像を撮像する第１のイメージセンサと、
前記第２の出射面からの出射光を受光し、前記植物の生育指標の演算に使用される画像を撮像する第２のイメージセンサと、
前記可視光画像と前記植物の生育指標の演算に使用される画像を出力する出力部と、を備える、
撮像装置。