JP2017502291A - 画像出力装置、画像出力方法及び画像出力システム - Google Patents

Abstract

検出カメラは、特定の物質を検出する検出処理部と、画像データを取得する撮像光学部及び受光部と、特定の物質を検出する第一検出処理部と、撮像光学部から特定の物質までの距離情報を取得する第二検出処理部と、距離情報が検出対象距離範囲内である場合に、特定の物質に関する情報を画像データに合成した表示データを出力する表示制御部と、を備える。

Description

本発明は、画像データを出力する画像出力装置、画像出力方法及び画像出力システムに関する。

物に水分が含まれるか否かの検知方法として、水が吸収する波長帯域の赤外光と、水の吸収の変化が少ない波長帯域の赤外光とを被検知物に順次に照らし、被検知物により反射された各赤外光の強度を基にして検知する方法が、従来から知られている。

例えば日本特許第３４６６３６０号公報の図２に開示されている含水分検知装置は、水の吸収波長帯域より短波長側（例えば１．３μｍ）、水の吸収波長帯域（例えば１．４５μｍ）、水の吸収波長帯域より長波長側（例えば１．５５μｍ）にそれぞれ分光感度のピークを有する光を被検知物に順次照射する。含水分検知装置は、波長１．３μｍの光の点灯動作時、波長１．３μｍ及び１．４５μｍの両方の光の点灯動作時、波長１．４５の光の点灯動作時、波長１．４５μｍ及び１．５５μｍの光の点灯動作時、波長１．５５μｍの光の点灯動作時における被検知物からの各反射光を基に、被検知物の含水分を判断する。

この含水分検知装置に用いられている受光素子には、インジウム・ガリウム・ヒ素（ＩｎＧａＡｓ）系のフォトダイオードが用いられ、受光素子の受光感度は０．７μｍ〜１．７μｍである。含水分検知装置が照射する光の波長は、１．３μｍ、１．４５μｍ、１．５５μｍである。この含水分検知装置では、可視光の波長（例えば０．４μｍ〜０．７μｍ）に分光感度のピークを有するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）は用いられていない。

この含水分検知装置では、被検知物の含水分率が所定の範囲ではないと含水分検知装置により判断された場合、異常である旨が表示部に表示される。しかしながら、可視光画像（例えば既存の監視カメラにより撮像された画像）のどの位置に水分が検出されたかを判別することは困難である。

本発明は、所定の検出エリアにおける特定の物質の検出結果を可視光画像データに合成して出力し、所定の検出エリアにおける特定の物質の検出精度を向上する画像出力装置、画像出力方法及び画像出力システムを提供することを目的とする。

本発明の画像出力装置は、特定の物質を検出する検出部と、前記特定の物質が所定の位置で検出された場合に、前記特定の物質に関する情報を画像データに合成した表示データを出力する合成部と、を備える。

本発明の画像出力装置における画像出力方法は、特定の物質を検出するステップと、画像データを取得するステップと、前記画像出力装置から前記特定の物質までの距離情報を取得するステップと、前記距離情報が所定の範囲内である場合に、前記特定の物質に関する情報を前記画像データに合成した表示データを出力するステップと、を有する。

本発明の画像出力システムは、画像出力装置と外部接続機器とを備える。そして前記画像出力装置は、特定の物質を検出する検出部と、画像データを取得する撮像部と、前記撮像部から前記特定の物質までの距離情報を取得する取得部と、前記距離情報が前記外部接続機器により入力された所定の範囲内である場合に、前記特定の物質に関する情報を前記画像データに合成した表示データを出力する合成部と、を備える。

図１は本実施形態の検出カメラの概要説明図である。 図２は本実施形態の検出カメラの内部構成を詳細に示すブロック図である。 図３は本実施形態の検出カメラの非可視光センサ部の画像判定部の内部構成を詳細に示すブロック図である。 図４は本実施形態の検出カメラの非可視光センサ部の制御部における初期動作の一例を示すフローチャートである。 図５は本実施形態の検出カメラと、検出カメラから検出対象である水溜り、棚、人物との位置関係の一例を示す説明図である。 図６は本実施形態の検出カメラの可視光カメラ部の可視光カメラ画像データの一例を示す図である。 図７Ａは本実施形態の検出カメラの１種類の波長の投射光を用いた距離検出の原理説明図である。 図７Ｂは本実施形態の検出カメラの１種類の波長の投射光を用いた物質検出の原理説明図である。 図８は図６のＹ−Ｙ’断面における距離情報検出信号と物質情報検出信号との対比説明図である。 図９は本実施形態の検出カメラの非可視光センサ部からの距離Ｌ０の物質位置画像データの一例を示す図である。 図１０は本実施形態の検出カメラの非可視光センサ部からの距離Ｌ１の物質位置画像データの一例を示す図である。 図１１は本実施形態の検出カメラの非可視光センサ部からの距離Ｌ２の物質位置画像データの一例を示す図である。 図１２は本実施形態の検出カメラの非可視光センサ部からの距離Ｌ０における物質検出結果を示す物質位置画像データの一例を示す図である。 図１３は本実施形態の検出カメラの非可視光センサ部からの距離Ｌ１における物質検出結果を示す物質位置画像データの一例を示す図である。 図１４は本実施形態の検出カメラの非可視光センサ部からの距離Ｌ２における物質検出結果を示す物質位置画像データの一例を示す図である。 図１５Ａは本実施形態の検出カメラの異なる２種類の波長のうち第１の波長の投射光を用いた距離検出の原理説明図である。 図１５Ｂは本実施形態の検出カメラの異なる２種類の波長のうち第２の波長の投射光を用いた物質検出の原理説明図である。 図１６は本実施形態の検出カメラの非可視光センサ部における物質検出の概要説明図である。 図１７は本実施形態の検出カメラの非可視光センサ部における物質検出の詳細な動作手順を示すフローチャートである。 図１８は本実施形態の検出カメラの可視光カメラ部の表示制御部における画像サイズのキャリブレーションの詳細な動作手順の一例を示すフローチャートである。 図１９は本実施形態の検出カメラの可視光カメラ部の表示制御部における検出対象距離範囲内で特定の物質を検出した旨の報知や表示データの生成を含む動作手順の一例を示すフローチャートである。

以下、本発明に係る画像出力装置、画像出力方法及び画像出力システムの実施形態（以下、「本実施形態」という）について、図面を参照して説明する。本実施形態の画像出力装置の一例として、検出カメラを用いて説明する。なお、本発明は、画像出力装置が行う各動作（ステップ）を有する画像出力方法、画像出力装置を含む画像出力システムとして表現することも可能である。

（検出カメラの概要）
図１は、本実施形態の検出カメラ１の概要説明図である。図１に示す検出カメラ１は、可視光カメラ部ＶＳＣと、非可視光センサ部ＮＶＳＳとを含む構成である。可視光カメラ部ＶＳＣは、例えば既存の監視カメラと同様に、所定の波長（例えば０．４〜０．７μｍ）を有する可視光に対する反射光ＲＶ０を用いて、所定の検出エリアに存在する人物ＨＭや物体（不図示）を撮像する。以下、可視光カメラ部ＶＳＣにより撮像された出力画像データを、「可視光カメラ画像データ」という。

非可視光センサ部ＮＶＳＳは、可視光カメラ部ＶＳＣと同一の所定の検出エリアに対し、所定の波長（後述参照）を有する非可視光（例えば赤外光）である投射光ＬＳ１，ＬＳ２を投射する。非可視光センサ部ＮＶＳＳは、投射光ＬＳ１，ＬＳ２が被検出物（特定の物質、例えば水溜りＷＴ）により反射された反射光ＲＶ１，ＲＶ２を用いて、検出エリアにおける特定の物質の検出の有無を判定する。非可視光センサ部ＮＶＳＳが検出の有無を判定する特定の物質は、例えば可視光カメラ部ＶＳＣの可視光カメラ画像データでは一見判別が困難な物質であり、以下では「水溜りＷＴ」を一例に説明するが、水溜りＷＴに限定されず、例えばガスでも良い（後述する表１参照）。

また、検出カメラ１は、可視光カメラ部ＶＳＣが撮像した可視光カメラ画像データに、非可視光センサ部ＮＶＳＳの特定の物質の検出の有無の判定結果に相当する出力画像データ（以下、「物質位置画像データ」という）又は物質位置画像データに関する情報を合成した表示データを生成して出力する。検出カメラ１からの表示データの出力先は、例えばネットワーク（不図示）を介して検出カメラ１に接続された外部接続機器であり、カメラサーバＣＳ又は通信端末ＭＴである（図２参照）。このネットワークは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良い。

（検出カメラの各部の説明）
図２は、本実施形態の検出カメラ１の内部構成を詳細に示すブロック図である。図２に示す検出カメラ１は、非可視光センサ部ＮＶＳＳと、可視光カメラ部ＶＳＣとを含む構成である。非可視光センサ部ＮＶＳＳは、制御部１１と、投射部ＰＪと、画像判定部ＪＧとを含む構成である。投射部ＰＪは、第１投射光源１３と、第２投射光源１５と、投射光源走査用光学部１７とを有する。画像判定部ＪＧは、撮像光学部２１と、受光部２３と、信号加工部２５と、検出処理部２７と、表示処理部２９とを有する。可視光カメラ部ＶＳＣは、撮像光学部３１と、受光部３３と、撮像信号処理部３５と、表示制御部３７とを有する。

検出カメラ１の各部の説明では、制御部１１、非可視光センサ部ＮＶＳＳ、可視光カメラ部ＶＳＣの順に説明する。

制御部１１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、可視光カメラ部ＶＳＣや非可視光センサ部ＮＶＳＳの各部の動作制御を全体的に統括するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。また、制御部１１は、後述するタイミング制御部１１ａを含む（図３参照）。

算出部の一例としての制御部１１は、カメラサーバＣＳ又は通信端末ＭＴのユーザの入力操作により送信された検出対象距離の情報を取得すると、非可視光センサ部ＮＶＳＳが検出対象とする特定の物質の検出カメラ１からの検出対象距離範囲を算出し、取得された検出対象距離又は算出された検出対象距離範囲の情報を後述する信号加工部２５又は検出処理部２７に設定する。また、制御部１１は、非可視光センサ部ＮＶＳＳの検出対象となる特定の物質の検出閾値Ｍを後述する検出処理部２７に設定する。制御部１１の動作の詳細については、図４を参照して後述する。

タイミング制御部１１ａは、投射部ＰＪにおける第１投射光源１３及び第２投射光源１５の投射タイミングを制御する。具体的には、タイミング制御部１１ａは、第１投射光源１３及び第２投射光源１５に投射光を投射させる場合に、光源走査用タイミング信号ＴＲを第１投射光源１３及び第２投射光源１５に出力する。

また、タイミング制御部１１ａは、所定の投射周期の開始時に、光源発光信号ＲＦを第１投射光源１３又は第２投射光源１５に交互に出力する。具体的には、タイミング制御部１１ａは、奇数番目の投射周期の開始時に光源発光信号ＲＦを第１投射光源１３に出力し、偶数番目の投射周期の開始時に光源発光信号ＲＦを第２投射光源１５に出力する。なお、光源発光信号ＲＦは、検出カメラ１から特定の物質までの距離の測距時の開始タイミングを示す信号（リファレンス信号）として、検出処理部２７の距離検出／物質検出処理部２７ａにも入力される（後述参照）。

次に、非可視光センサ部ＮＶＳＳの各部について説明する。

第１投射光源１３は、制御部１１のタイミング制御部１１ａから光源走査用タイミング信号ＴＲが出力された後、奇数番目の投射周期（所定値）毎に、タイミング制御部１１ａからの光源発光信号ＲＦに応じて、所定の波長（例えば１．１μｍ）を有する非可視光（例えば赤外光）を、投射光源走査用光学部１７を介して、所定の検出エリアに投射（出射）する。本実施形態では、第１投射光源１３から投射された投射光ＬＳ１は、検出カメラ１から被検出物（特定の物質）までの測距に用いられる。

但し、投射光ＬＳ１は、検出対象の特定の物質の性質に応じて、後述する第２投射光源１５から投射された投射光ＬＳ２と同様に、特定の物質の検出用に用いられても良い。即ち、検出カメラ１は、１種類の波長を有する投射光ＬＳ１を用いて、検出カメラ１から特定の物質までの距離を測距し、更に、特定の物質の検出の有無を判定しても良い。これにより、検出カメラ１は、検出カメラ１から特定の物質までの距離の測距と特定の物質の検出とを、１種類の波長を有する第１投射光源１３を用いることで実現できる。従って、検出カメラ１の製造コストアップの抑制が可能となる。

なお、特定の物質の検出の有無は、所定の閾値と比較することで判断してもよい。この所定の閾値は、予め決められた値でもよく、任意に設定された値でもよく、更に、特定の物質が無い状態で取得した反射光の強度を基にした値（例えば、特定の物質が無い状態で取得した反射光の強度の値に所定のマージンを加えた値）でもよい。即ち、特定の物質の検出の有無は、特定の物質が無い状態で取得した物質位置画像データと、その後取得した物質位置画像データとを比較することで、判断されてもよい。このように、特定の物質が無い状態における反射光の強度を取得しておくことで、特定の物質の有無を検出するための閾値として、検出カメラ１の設置された環境に適する閾値を設定することができる。

第２投射光源１５は、制御部１１のタイミング制御部１１ａから光源走査用タイミング信号ＴＲが出力された後、偶数番目の投射周期（所定値）毎に、タイミング制御部１１ａからの光源発光信号ＲＦに応じて、所定の波長（例えば１．４５μｍ）を有する非可視光（例えば赤外光）を、投射光源走査用光学部１７を介して、所定の検出エリアに投射（出射）する。本実施形態では、第２投射光源１５から投射された投射光ＬＳ２は、検出カメラ１の検出エリアにおける特定の物質の検出の有無の判定に用いられる。投射光ＬＳ２の波長１．４５μｍは、検出対象の特定の物質が水溜りＷＴのような水分（水蒸気も同様）である場合に好適な波長である。

これにより、検出カメラ１は、第１の波長を有する投射光ＬＳ１及びその反射光ＲＶ１を用いて、検出カメラ１から特定の物質までの距離を測距するとともに、特定の物質を検出するための参照データとして、第１の波長を有する投射光ＬＳ１の反射光ＲＶ１を用いる。更に、検出カメラ１は、第２の波長を有する投射光ＬＳ２及びその反射光ＲＶ２と、上述した参照データ、即ち、第１の波長を有する投射光ＬＳ１の反射光ＲＶ１とを用いて、所定の検出エリアにおける特定の物質の検出の有無を判定する。従って、検出カメラ１は、検出カメラ１から特定の物質までの距離の測距と特定の物質の検出とに異なる２種類の波長の投射光及びその反射光を用いることで、所定の検出エリアにおける特定の物質を高精度に検出できる。

投射光源走査用光学部１７は、非可視光センサ部ＮＶＳＳにおける所定の検出エリアに対し、第１投射光源１３から投射された投射光ＬＳ１又は第２投射光源１５から投射された投射光ＬＳ２を２次元的に走査する。これにより、画像判定部ＪＧは、投射光ＬＳ１が特定の物質により反射された反射光ＲＶ１を基に、検出カメラ１から特定の物質までの距離を測距でき、更に、投射光ＬＳ２が特定の物質により反射された反射光ＲＶ２と上述した反射光ＲＶ１、即ち、第１の波長を有する投射光ＬＳ１の反射光ＲＶ１とを基に、所定の検出エリアにおける特定の物質の検出の有無を判定できる。

次に、画像判定部ＪＧの内部構成について、図２及び図３を参照して詳細に説明する。図３は、本実施形態の検出カメラ１の非可視光センサ部ＮＶＳＳの画像判定部ＪＧの内部構成を詳細に示すブロック図である。

撮像光学部２１は、例えばレンズを用いて構成され、検出カメラ１の外部から入射する光（例えば反射光ＲＶ１又は反射光ＲＶ２）を集光し、反射光ＲＶ１又は反射光ＲＶ２を受光部２３の所定の撮像面に結像させる。

受光部２３は、投射光ＬＳ１及び投射光ＬＳ２の両方の波長に対する分光感度のピークを有するイメージセンサである。受光部２３は、撮像面に結像した反射光ＲＶ１又は反射光ＲＶ２の光学像を電気信号に変換する。受光部２３の出力は、電気信号（電流信号）として信号加工部２５に入力される。なお、撮像光学部２１及び受光部２３は、非可視光センサ部ＮＶＳＳにおける撮像部としての機能を有する。

信号加工部２５は、Ｉ／Ｖ変換回路２５ａと、増幅回路２５ｂと、コンパレータ／ピークホールド処理部２５ｃとを有する。Ｉ／Ｖ変換回路２５ａは、受光部２３の出力信号（アナログ信号）である電流信号を電圧信号に変換する。増幅回路２５ｂは、Ｉ／Ｖ変換回路２５ａの出力信号（アナログ信号）である電圧信号のレベルを、コンパレータ／ピークホールド処理部２５ｃにおいて処理可能なレベルまで増幅する。

コンパレータ／ピークホールド処理部２５ｃは、増幅回路２５ｂの出力信号（アナログ信号）と所定の閾値との比較結果に応じて、増幅回路２５ｂの出力信号を２値化して距離検出／物質検出処理部２７ａに出力する。また、コンパレータ／ピークホールド処理部２５ｃは、ＡＤＣ（Analog Digital Converter）を含み、増幅回路２５ｂの出力信号（アナログ信号）のＡＤ（Analog Digital）変換結果のピークを検出して保持し、更に、ピークの情報を距離検出／物質検出処理部２７ａに出力する。

検出部の一例としての検出処理部２７は、距離検出／物質検出処理部２７ａと、メモリ２７ｂと、検出結果フィルタ処理部２７ｃとを有する。距離検出／物質検出処理部２７ａは、第１の波長（例えば１．１μｍ）を有する投射光ＬＳ１の反射光ＲＶ１におけるコンパレータ／ピークホールド処理部２５ｃからの出力（２値化信号）を基に、検出カメラ１から特定の物質までの距離を測距する。

具体的には、距離検出／物質検出処理部２７ａは、投射光ＬＳ１の投射時から反射光ＲＶ１の受光時までの時間差Δｔ（図７（Ａ）又は図１５（Ａ）参照）を基に、検出カメラ１から特定の物質までの距離Ｄを測距する。図７（Ａ）は、本実施形態の検出カメラ１の１種類の波長の投射光ＬＳ１を用いた距離検出の原理説明図である。図１５（Ａ）は、本実施形態の検出カメラの異なる２種類の波長のうち第１の波長の投射光ＬＳ１を用いた距離検出の原理説明図である。

距離検出／物質検出処理部２７ａは、タイミング制御部１１ａからの光源発光信号ＲＦの入力時を投射光ＬＳ１の投射時と判定し、コンパレータ／ピークホールド処理部２５ｃからの出力の入力時を反射光ＲＶ１の受光時と判定する。距離検出／物質検出処理部２７ａは、例えば距離Ｄを、「距離Ｄ＝光速度×（時間差Δｔ／２）」として算出することで、検出カメラ１から特定の物質までの距離Ｄを簡易に得られる。距離検出／物質検出処理部２７ａにおける距離Ｄの測距には、少なくとも１種類の波長の投射光ＬＳ１の反射光ＲＶ１におけるコンパレータ／ピークホールド処理部２５ｃの出力が必要となる。距離検出／物質検出処理部２７ａは、距離Ｄの情報を検出結果フィルタ処理部２７ｃに出力する。

また、距離検出／物質検出処理部２７ａは、第１の波長の投射光ＬＳ１の反射光ＲＶ１におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）と、第２の波長の投射光ＬＳ２の反射光ＲＶ２におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）とを基に、検出エリアにおける特定の物質の検出の有無を判定する。

具体的には、距離検出／物質検出処理部２７ａは、例えば第１の波長の投射光ＬＳ１の反射光ＲＶ１におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）をメモリ２７ｂに一時的に保存し、次に、第２の波長の投射光ＬＳ２の反射光ＲＶ２におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）が得られるまで待機する。距離検出／物質検出処理部２７ａは、第２の波長の投射光ＬＳ２の反射光ＲＶ２におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）が得られた後、メモリ２７ｂを参照して、検出エリアの同一ラインにおける第１の波長の投射光ＬＳ１の反射光ＲＶ１におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）と、第２の波長の投射光ＬＳ２の反射光ＲＶ２におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）とを比較する。

例えば水溜りＷＴが存在する場所では、第２の波長（例えば１．４５μｍ）の投射光ＬＳ２が吸収されるので、反射光ＲＶ１又は反射光ＲＶ２の強度（振幅）が減衰する（図７（Ｂ）又は図１５（Ｂ）参照）。図７（Ｂ）は、本実施形態の検出カメラ１の１種類の波長の投射光ＬＳ１を用いた物質検出の原理説明図である。図１５（Ｂ）は、本実施形態の検出カメラ１の異なる２種類の波長のうち第２の波長の投射光ＬＳ２を用いた物質検出の原理説明図である。従って、距離検出／物質検出処理部２７ａは、検出エリアのライン毎の比較結果、即ち反射光ＲＶ１及び反射光ＲＶ２の各強度の差分（振幅の差分ΔＶ）を基に、検出エリアにおける特定の物質の検出の有無を判定することができる。

なお、距離検出／物質検出処理部２７ａは、第１の波長を有する投射光ＬＳ１の反射光ＲＶ１の振幅ＶＡと、第２の波長を有する投射光ＬＳ２の反射光ＲＶ２の振幅ＶＢとの振幅差分（ＶＡ−ＶＢ）と振幅ＶＡとの比Ｒと所定の閾値Ｍとの大小の比較に応じて、検出エリアにおける特定の物質の検出の有無を判定しても良い（図１６参照）。図１６は、本実施形態の検出カメラ１の非可視光センサ部ＮＶＳＳにおける物質検出の概要説明図である。距離検出／物質検出処理部２７ａは、例えばＲ＞Ｍであれば水溜りＷＴを検出したと判定し、Ｒ≦Ｍであれば水溜りＷＴを検出しないと判定する。このように、距離検出／物質検出処理部２７ａは、振幅差分（ＶＡ−ＶＢ）と振幅ＶＡとの比Ｒと閾値Ｍとの比較結果に応じて、検出エリアにおける特定の物質の検出の有無を判定することで、ノイズ（例えば外乱光）の影響を排除でき、特定の物質の検出の有無を高精度に判定することができる。

メモリ２７ｂは、例えばＲＡＭ（Random Access Memory）を用いて構成され、第１の波長を有する投射光ＬＳ１の反射光ＲＶ１におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）を一時的に保存する。

検出結果フィルタ処理部２７ｃは、距離検出／物質検出処理部２７ａの出力と、制御部１１から指定された所定の検出対象距離又は検出対象距離範囲の情報とを基に、検出エリア内の検出カメラ１からの距離が検出対象距離又は検出対象距離範囲内である特定の物質に関する情報をフィルタリングして抽出する。検出結果フィルタ処理部２７ｃは、検出エリア内における抽出結果に関する情報を表示処理部２９に出力する。例えば、検出結果フィルタ処理部２７ｃは、検出エリアの床（距離Ｄ＝Ｌ０）における特定の物質の検出結果に関する情報を表示処理部２９に出力する。

表示処理部２９は、検出結果フィルタ処理部２７ｃの出力を用いて、検出エリア内の検出カメラ１からの距離が検出対象距離又は検出対象距離範囲内である特定の物質に関する情報の一例として、検出カメラ１からの距離毎の検出エリアにおける特定の物質の位置を示す物質位置画像データを生成する。表示処理部２９は、検出カメラ１から特定の物質までの距離の情報を含む物質位置画像データを可視光カメラ部ＶＳＣの表示制御部３７に出力する。

次に、可視光カメラ部ＶＳＣの各部について説明する。

撮像光学部３１は、例えばレンズを用いて構成され、検出カメラ１の検出エリア内を画角とする外部からの入射光（例えば可視光である反射光ＲＶ０）を集光し、反射光ＲＶ０を受光部３３の所定の撮像面に結像させる。

受光部３３は、可視光の波長（例えば０．４μｍ〜０．７μｍ）に対する分光感度のピークを有するイメージセンサである。受光部３３は、撮像面に結像した光学像を電気信号に変換する。受光部３３の出力は、電気信号として撮像信号処理部３５に入力される。なお、撮像光学部３１及び受光部３３は、可視光カメラ部ＶＳＣにおける撮像部としての機能を有する。

撮像信号処理部３５は、受光部３３の出力である電気信号を用いて、人が認識可能なＲＧＢ（Red Green Blue）又はＹＵＶ（輝度・色差）等により規定される可視光画像データを生成する。これにより、可視光カメラ部ＶＳＣにより撮像された可視光画像データが形成される。撮像信号処理部３５は、可視光画像データを表示制御部３７に出力する。

合成部の一例としての表示制御部３７は、撮像信号処理部３５から出力された可視光画像データと、表示処理部２９から出力された物質位置画像データとを用いて、特定の物質が可視光画像データの所定の位置で検出された場合に、特定の物質に関する情報の一例として、可視光画像データと物質位置画像データとを合成した表示データを生成する。

また、表示制御部３７は、検出カメラ１から特定の物質までの距離が検出対象距離又は検出対象距離範囲内である場合に、特定の物質に関する情報の一例として、可視光画像データと物質位置画像データとを合成した表示データを生成する。表示制御部３７は、表示データを、例えばネットワークを介して接続されたカメラサーバＣＳ又は通信端末ＭＴに送信して表示を促す。なお、表示制御部３７における表示データの生成処理の詳細については、図１８〜図２０を参照して後述する。

また、制御部１１は、検出処理部２７において設定された設定距離情報の一例としての検出対象距離、又は検出対象距離範囲を変更しても良い。この検出対象距離範囲の変更は、制御部１１が自動的に行ってもよいし、ユーザが通信端末ＭＴなどを利用して、任意のタイミングで行ってもよい。これにより、検出カメラ１が設置された環境に応じて、適切な検出対象距離又は検出対象距離範囲を設定することができる。なお、設定距離情報とは、例えば検出処理部２７の検出結果フィルタ処理部２７ｃにおいて予め設定された検出対象距離である。

また、制御部１１は、カメラサーバＣＳ又は通信端末ＭＴにより入力された検出対象距離の情報を基に検出対象距離範囲を算出する場合、検出対象距離の値に応じて算出する検出対象距離範囲の値を変更してもよい。検出対象までの距離が大きい場合には、検出対象までの距離が小さい場合に比べて、反射光の強度（振幅）の減衰が大きいので、距離検出／物質検出処理部２７ａにおける距離検出時の誤差が大きくなる。制御部１１は、入力された検出対象距離の値が大きいほど、算出する検出対象距離範囲を大きくする方が好ましい。例えば制御部１１から出力された検出対象距離が３［ｍ］である場合には、検出処理部２７は、検出対象距離範囲を２〜４［ｍ］に変更する。また、制御部１１から出力された検出対象距離が１００［ｍ］である場合には、検出処理部２７は、検出対象距離範囲を９５〜１０５［ｍ］に変更する。これにより、検出カメラ１は、検出対象までの距離に応じて、適切な検出対象距離範囲を設定することができる。従って、表示制御部３７は、検出対象距離の長さに応じた検出処理部２７における距離検出時の誤差も考慮して、特定の物質に関する情報の一例としての表示データを生成できる。また、検出カメラ１は、検出対象距離範囲を設定することで、検出カメラ１から特定の物質までの距離が制御部１１から出力された検出対象距離と完全に一致しない場合でも、特定の物質を検出することができる。

入力部の一例としてのカメラサーバＣＳは、表示制御部３７から出力された表示データを通信端末ＭＴ又は１つ以上の外部接続機器（不図示）に送信し、通信端末ＭＴ又は１つ以上の外部接続機器の表示画面における表示データの表示を促す。また、カメラサーバＣＳは、通信端末ＭＴ又は１つ以上の外部接続機器のユーザの入力操作により送信された特定の物質の検出対象距離又は検出対象距離範囲の情報を検出カメラ１に送信する。特定の物質の検出対象距離又は検出対象距離範囲の情報は、制御部１１に入力される。これにより、カメラサーバＣＳは、ユーザの入力操作により指定された特定の物質の検出対象距離又は検出対象距離範囲の情報を検出カメラ１に入力させることができる。なお、カメラサーバＣＳから検出カメラ１に入力される特定の物質の検出対象距離範囲は複数の範囲でも良く、更に、複数の検出対象距離範囲の設定数も任意に入力されても良い。これにより、カメラサーバＣＳは、ユーザにとって所望の検出対象距離範囲、又は検出対象距離範囲の設定数を任意に検出カメラ１に設定させることができる。

入力部の一例としての通信端末ＭＴは、例えばユーザ個人が用いる携帯用の通信用端末であり、ネットワーク（不図示）を介して、表示制御部３７から送信された表示データを受信し、通信端末ＭＴの表示画面（不図示）に表示データを表示させる。また、通信端末ＭＴは、ユーザの入力操作により特定の物質の検出対象距離の情報が入力された場合には、特定の物質の検出対象距離又は検出対象距離範囲の情報を、カメラサーバＣＳを介して又は直接に、検出カメラ１に送信する。同様に、特定の物質の検出対象距離又は検出対象距離範囲の情報は、制御部１１に入力される。これにより、通信端末ＭＴは、ユーザの入力操作により指定された特定の物質の検出対象距離又は検出対象距離範囲の情報を、カメラサーバＣＳを介して又は直接に、検出カメラ１に入力させることができる。なお、通信端末ＭＴから検出カメラ１に入力される特定の物質の検出対象距離範囲は複数の範囲でも良く、更に、複数の検出対象距離範囲の設定数も任意に入力されても良い。これにより、通信端末ＭＴは、ユーザにとって所望の検出対象距離範囲、又は検出対象距離範囲の設定数を任意に検出カメラ１に設定させることができる。

また、ユーザの入力操作により検出対象距離範囲が入力される場合、制御部１１は、入力された検出対象距離範囲を変更せずに検出処理部２７に設定しても良い。あるいは、算出部の一例である制御部１１は、入力された検出対象距離範囲を基に、検出処理部２７に設定する検出対象距離範囲を算出し、検出処理部２７に設定しても良い。例えば、ユーザの入力範囲により４〜７［ｍ］が検出対象範囲として入力された場合、制御部１１は、検出対象距離範囲を５〜６［ｍ］や３〜８［ｍ］等に変更して検出処理部２７に設定しても良い。

（非可視光センサ部の制御部における初期動作の一例の説明）
次に、本実施形態の検出カメラ１の非可視光センサ部ＮＶＳＳの制御部１１における初期動作の一例について、図４を参照して説明する。図４は、本実施形態の検出カメラ１の非可視光センサ部ＮＶＳＳの制御部１１における初期動作の一例を示すフローチャートである。

図４において、検出カメラ１がカメラサーバＣＳ又は通信端末ＭＴから送信された特定の物質の検出対象距離の情報を受信した場合に（Ｓ１、Ｙ）、制御部１１は、特定の物質の検出対象距離の情報を取得する。制御部１１は、特定の物質の検出対象距離の情報を基に、非可視光センサ部ＮＶＳＳが検出対象とする特定の物質の検出対象距離範囲を算出し、取得された検出対象距離又は算出された検出対象距離範囲の情報を信号加工部２５又は検出処理部２７に設定する（Ｓ２）。

なお、上記物質の検出対象距離の情報には、例えば、検出エリア内に存在する特定の物質であって検出対象となる検出カメラ１からの距離又は方向の情報や、検出カメラ１の設置条件情報などが含まれる。検出カメラ１からの距離の情報は、予め決められた値でもよく、通信端末ＭＴなどを利用したユーザによって任意に設定されてもよい。検出カメラ１の設置条件情報は、予め検出カメラ１に設定されてもよく、通信端末ＭＴなどを利用したユーザによって任意に設定されてもよい。設置条件情報とは、例えば、所定面（例えば床ＦＬ）からの検出カメラ１の高さ（図５に示す距離Ｌ０）の情報や、検出カメラ１の投射角度（例えば、床ＦＬと投射光源走査用光学部１７の投射方向とがなす角度など）や、設置された居室の広さ、などである。設置条件情報が入力された検出カメラ１において、例えば制御部１１は、設置条件情報を基に、上記特定の物質の検出対象距離又は対象距離範囲を算出してもよい。また、このように設置条件情報が設定されることで、設置環境に応じて特定の物質を検出することができ、誤検知を抑制することができる。

なお、制御部１１は、所定面（例えば床ＦＬ）からの検出カメラ１の高さの情報に応じて、ステップＳ２において算出した検出対象距離範囲を変更しても良い。この検出対象距離範囲の変更は、制御部１１が自動的に行ってもよいし、ユーザが通信端末ＭＴなどを利用して、任意のタイミングで行ってもよい。また、検出対象距離範囲は、検出対象距離を基に算出されたものでなく、カメラサーバＣＳ又は通信端末ＭＴなどによって直接入力されたものでもよい。あるいは、検出カメラ１は検出対象距離又は検出対象距離範囲を入力可能な入力部を設けてもよい。

検出対象までの距離が大きい場合には、検出対象までの距離が小さい場合に比べて、反射光の強度（振幅）の減衰が大きいので、距離検出／物質検出処理部２７ａにおける距離検出時の誤差が大きくなる。このため、制御部１１は、入力された高さの情報が大きいほど、算出する検出対象距離範囲を大きくする方が好ましい。これにより、検出カメラ１は、例えば検出カメラ１の所定面からの高さの情報が小さい場合（例えば３［ｍ］）又は大きい場合（例えば１００［ｍ］）に応じて検出対象距離範囲を変更することで、非可視光センサ部ＮＶＳＳにおける距離検出時の誤差も考慮して、非可視光センサ部ＮＶＳＳに特定の物質の検知精度を一層向上できる。また、表示制御部３７は、検出カメラ１が設置される高さに応じた検出処理部２７における距離検出時の誤差も考慮して、特定の物質に関する情報の一例としての表示データを生成できる。

また、制御部１１は、非可視光センサ部ＮＶＳＳの検出処理部２７における特定の物質の検出閾値Ｍを検出処理部２７の距離検出／物質検出処理部２７ａに設定する（Ｓ３）。検出閾値Ｍは、検出対象となる特定の物質に応じて適宜設けられることが好ましい。

ステップＳ３の後、制御部１１は、撮像処理を開始させるための制御信号を可視光カメラ部ＶＳＣの各部に出力し（Ｓ４−１）、更に、第１投射光源１３又は第２投射光源１５に投射光ＬＳ１又は投射光ＬＳ２の投射を開始させるための光源走査用タイミング信号ＴＲを非可視光センサ部ＮＶＳＳの第１投射光源１３及び第２投射光源１５に出力する（Ｓ４−２）。なお、ステップＳ４−１の動作とステップＳ４−２の動作との実行タイミングはどちらが先でも良い。

次に、本実施形態の検出カメラ１が検出対象とする特定の物質の一例としての水溜りＷＴを用いて、検出カメラ１と検出エリアに存在する人物ＨＭ、棚ＲＫ、水溜りＷＴとの位置関係について、図５を参照して説明する。図５は、本実施形態の検出カメラ１と、検出カメラ１から検出対象である水溜りＷＴ、棚ＲＫ、人物ＨＭとの位置関係の一例を示す説明図である。

図５に示す検出エリアでは、所定面（例えば床ＦＬ。以下同様とする。）から距離Ｌ０の位置（例えば天井面）に検出カメラ１が設置されている。床ＦＬには、人物ＨＭが立っており、棚ＲＫが載置されている。人物ＨＭは右手に飲料物ＰＢを保持しており、検出カメラ１から飲料物ＰＢ及び棚ＲＫまでの距離はともにＬ１である。検出カメラ１から人物ＨＭの頭部までの距離はＬ２である。また、床ＦＬには水溜りＷＴが発生している。

検出カメラ１は、可視光カメラ部ＶＳＣにおいて、画角θの範囲に存在する人物ＨＭ、棚ＲＫ、水溜りＷＴを撮像し、人物ＨＭ、棚ＲＫ、水溜りＷＴを含む可視光画像データを生成する（図６参照）。図６は、本実施形態の検出カメラ１の可視光カメラ部ＶＳＣの可視光カメラ画像データの一例を示す図である。但し、水溜りＷＴは、可視光カメラ部ＶＳＣの可視光画像データではその存在の判別が困難である（図６に示す点線の水溜りＷＴ参照）。

また、検出カメラ１は、非可視光センサ部ＮＶＳＳにおいて、検出カメラ１からの距離がＬ０の位置にある床ＦＬ、検出カメラ１からの距離Ｌ１の位置にある飲料物ＰＢ，棚ＲＫ、検出カメラ１からの距離Ｌ２の位置にある人物ＨＭの頭部に関する物質位置画像データを生成する。

図８は、図６のＹ−Ｙ’断面における距離情報検出信号と物質情報検出信号との対比説明図である。図８に示す距離情報検出信号及び物質情報検出信号は、距離検出／物質検出処理部２７ａから出力されて検出結果フィルタ処理部２７ｃに入力された信号である。検出結果フィルタ処理部２７ｃは、図４に示すステップＳ３において制御部１１により設定された検出閾値Ｍを用いて、物質情報検出信号のレベルが検出閾値Ｍ以下である場合に、検出エリアにおいて検出カメラ１からの距離がＬ０である位置に特定の物質（本実施形態では水溜りＷＴのような水分）を検出したと判定する。つまり、第２の波長（例えば１．４５μｍ）の投射光ＬＳ２は水溜りＷＴにおいて吸収されるので、投射光ＬＳ２の反射光ＲＶ２の強度（振幅）は投射光ＬＳ１の反射光ＲＶ１の強度（振幅）に比べて減衰する。従って、図８では、距離Ｌ０の水溜りＷＴの位置における物質情報検出信号のレベルは、他の位置における物質情報検出信号のレベルに比べてかなり低下する。また、人物ＨＭの頭部にも水分が含まれていると考えられるので、距離Ｌ２の人物ＨＭの頭部の位置における物質情報検出信号のレベルは、他の位置における物質情報検出信号のレベルに比べて少し低下する。

なお、検出結果フィルタ処理部２７ｃは、距離検出／物質検出処理部２７ａの出力を用いて、距離検出／物質検出処理部２７ａにより検出された距離毎の検出エリアの物質の検出結果を抽出して表示処理部２９に出力しても良い。この場合、表示処理部２９は、検出結果フィルタ処理部２７ｃからの出力を用いて、距離毎の検出エリアの物質の検出結果を示す物質位置画像データを生成する（図９〜図１４参照）。

図９は、本実施形態の検出カメラ１の非可視光センサ部ＮＶＳＳからの距離Ｌ０の物質位置画像データの一例を示す図である。図１０は、本実施形態の検出カメラの非可視光センサ部からの距離Ｌ１の物質位置画像データの一例を示す図である。図１１は、本実施形態の検出カメラの非可視光センサ部からの距離Ｌ２の物質位置画像データの一例を示す図である。図１２は、本実施形態の検出カメラの非可視光センサ部からの距離Ｌ０における物質検出結果を示す物質位置画像データの一例を示す図である。図１３は、本実施形態の検出カメラの非可視光センサ部からの距離Ｌ１における物質検出結果を示す物質位置画像データの一例を示す図である。図１４は、本実施形態の検出カメラの非可視光センサ部からの距離Ｌ２における物質検出結果を示す物質位置画像データの一例を示す図である。

図９では、検出カメラ１からの距離がＬ０である位置（具体的には床ＦＬ）を示す物質位置画像データ（図９に示すハッチング参照）が示されている。人物ＨＭの頭部、腕及び飲料物ＰＢは、検出カメラ１からの距離がＬ０の位置に存在していないので、図９に示す物質位置画像データでは示されない（図９に示す点線参照）。図１０では、検出カメラ１からの距離がＬ１である位置（具体的には棚ＲＫ及び飲料物ＰＢ）を示す物質位置画像データ（図１０に示すハッチング参照）が示されている。図１１では、検出カメラ１からの距離がＬ２である位置（具体的には人物ＨＭの頭部）を示す物質位置画像データ（図１１に示すハッチング参照）が示されている。

図１２では、検出カメラ１からの距離がＬ０である位置に水溜りＷＴが検出されたことを示す物質位置画像データ（図１２に示す黒塗りつぶし部）が示されている。図１３では、検出カメラ１からの距離がＬ１である位置に飲料物ＰＢが検出されたことを示す物質位置画像データ（図１３に示す黒塗りつぶし部）が示されている。この場合、飲料物ＰＢの物質情報検出信号のレベルは水溜りＷＴの物質情報検出信号のレベルとほぼ同等である。図１４では、検出カメラ１からの距離がＬ２である位置の物質位置画像データであるが，人物ＨＭの頭部の物質情報検出信号のレベルが検出閾値Ｍより大きいため、物質位置画像データでは表示されないことになる。

（非可視光センサ部の物質検出の詳細な動作の説明）
次に、検出カメラ１の非可視光センサ部ＮＶＳＳにおける物質検出の詳細な動作手順について、図１７を参照して説明する。図１７は、本実施形態の検出カメラ１の非可視光センサ部ＮＶＳＳにおける物質検出の詳細な動作手順を示すフローチャートである。図１７に示すフローチャートの説明の前提として、タイミング制御部１１ａは、光源走査用タイミング信号ＴＲを第１投射光源１３及び第２投射光源１５に出力している。

図１７において、奇数番目の投射周期における光源発光信号ＲＦがタイミング制御部１１ａから出力された場合には（Ｓ１１、Ｙ）、第１投射光源１３は、タイミング制御部１１ａからの光源発光信号ＲＦに応じて、第１の波長（例えば１．１μｍ）を有する投射光ＬＳ１を投射する（Ｓ１２）。投射光源走査用光学部１７は、検出エリアの所定のライン上に対して投射光ＬＳ１を１次元的に走査する（Ｓ１４）。検出エリアの所定のライン上に特定の物質が存在する場合には、投射光ＬＳ１が特定の物質により反射された反射光ＲＶ１が撮像光学部２１を介して受光部２３により受光される（Ｓ１５）。

信号加工部２５では、反射光ＲＶ１の受光部２３における出力（電気信号）が電圧信号に変換され、この電圧信号のレベルがコンパレータ／ピークホールド処理部２５ｃにおいて処理可能なレベルまで増幅される（Ｓ１６）。コンパレータ／ピークホールド処理部２５ｃは、増幅回路２５ｂの出力信号と所定の閾値との比較結果に応じて、増幅回路２５ｂの出力信号を２値化して距離検出／物質検出処理部２７ａに出力する。コンパレータ／ピークホールド処理部２５ｃは、増幅回路２５ｂの出力信号のピークの情報を距離検出／物質検出処理部２７ａに出力する。

距離検出／物質検出処理部２７ａは、第１の波長（例えば１．１μｍ）を有する投射光ＬＳ１の反射光ＲＶ１におけるコンパレータ／ピークホールド処理部２５ｃからの出力（２値化信号）を基に、検出カメラ１から特定の物質までの距離を測距する（Ｓ１７−１）。

距離検出／物質検出処理部２７ａは、第１の波長の投射光ＬＳ１の反射光ＲＶ１に対するコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）をメモリ２７ｂに一時的に保存する（Ｓ１７−２）。また、距離検出／物質検出処理部２７ａは、メモリ２７ｂに保存された前回のフレーム（投射周期）における第１又は第２の波長を有する投射光ＬＳ１又は投射光ＬＳ２に対する反射光ＲＶ１又は反射光ＲＶ２における同一ラインに関するコンパレータ／ピークホールド処理部２５ｃの出力をメモリ２７ｂから読み出す（Ｓ１７−３）。距離検出／物質検出処理部２７ａは、検出エリアの同一ラインにおける第１の波長の投射光ＬＳ１の反射光ＲＶ１におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）と、第２の波長の投射光ＬＳ２の反射光ＲＶ２におけるコンパレータ／ピークホールド処理部２５ｃの出力（ピークの情報）と、所定の検出閾値（例えば検出閾値Ｍ）とを基に、検出エリアにおける特定の物質の検出の有無を判定する（Ｓ１７−４）。検出結果フィルタ処理部２７ｃは、距離検出／物質検出処理部２７ａの出力と、制御部１１から指定された所定の検出対象距離又は検出対象距離範囲の情報とを基に、検出エリア内の検出カメラ１からの距離が検出対象距離又は検出対象距離範囲内である特定の物質に関する情報をフィルタリングして抽出する。

表示処理部２９は、検出結果フィルタ処理部２７ｃの出力を用いて、検出エリア内の検出カメラ１からの距離が検出対象距離又は検出対象距離範囲内である特定の物質に関する情報の一例として、検出カメラ１からの距離毎の検出エリアにおける特定の物質の位置を示す物質位置画像データを生成する（Ｓ１８）。ステップＳ１４、Ｓ１５、Ｓ１６、Ｓ１７−１〜Ｓ１７−４、Ｓ１８の各動作は、１回のフレーム（投射周期）の検出エリア内のライン毎に実行される。

ステップＳ１８の後、検出エリア内の全てのラインに対してステップＳ１４、Ｓ１５、Ｓ１６、Ｓ１７−１〜Ｓ１７−４、Ｓ１８の各動作の実行が終了していない場合には（Ｓ１９、Ｎ）、検出エリア内の全てのラインに対してステップＳ１４、Ｓ１５、Ｓ１６、Ｓ１７−１〜Ｓ１７−４、Ｓ１８の各動作の実行が終了するまで、ステップＳ１４、Ｓ１５、Ｓ１６、Ｓ１７−１〜Ｓ１７−４、Ｓ１８の各動作が繰り返される。

一方、検出エリア内の全てのラインに対してステップＳ１４、Ｓ１５、Ｓ１６、Ｓ１７−１〜Ｓ１７−４、Ｓ１８の各動作の実行が終了した場合には（Ｓ１９、Ｙ）、投射光の走査が継続する場合には（Ｓ２０、Ｙ）、非可視光センサ部ＮＶＳＳの動作はステップＳ１１に戻る。投射光の走査が継続しない場合には（Ｓ２０、Ｎ）、非可視光センサ部ＮＶＳＳの動作は終了する。

（表示データの生成の説明）
次に、表示制御部３７における表示データの生成処理について、図１８及び図１９を参照して詳細に説明する。図１８は、本実施形態の検出カメラ１の可視光カメラ部ＶＳＣの表示制御部３７における画像サイズのキャリブレーションの詳細な動作手順の一例を示すフローチャートである。図１９は、本実施形態の検出カメラの可視光カメラ部の表示制御部における検出対象距離範囲内で特定の物質を検出した旨の報知や表示データの生成を含む動作手順の一例を示すフローチャートである。

本実施形態の検出カメラ１は可視光カメラ部ＶＳＣと非可視光センサ部ＮＶＳＳとが一体的に組み合わされた構成であるが、本実施形態の可視光カメラ部ＶＳＣの表示制御部３７を除く他の各部の構成は既存の監視カメラと同様である。この場合、本実施形態の検出カメラ１の非可視光センサ部ＮＶＳＳは、既存の可視光カメラ部ＶＳＣにアドオン（付加）された構成となる。従って、可視光カメラ部ＶＳＣにより撮像された可視光画像データのアスペクト比と、非可視光センサ部ＮＶＳＳにより生成された物質位置画像データのアスペクト比とが一致していない場合が考えられる。図１８に示すキャリブレーションでは、表示制御部３７は、可視光カメラ部ＶＳＣにより撮像された可視光画像データのアスペクト比と、非可視光センサ部ＮＶＳＳにより生成された物質位置画像データのアスペクト比とを一致させる。

図１８において、表示制御部３７は、例えば色情報を用いたフィルタリング処理によって、可視光画像データの特徴を抽出する（Ｓ２１）。なお、ステップＳ２１の動作は、撮像信号処理部３５により実行されても良く、この場合には、表示制御部３７は、撮像信号処理部３５により実行された可視光画像データの特徴抽出結果の情報を撮像信号処理部３５から取得する。

また、表示制御部３７は、例えば距離情報毎のフィルタリング処理によって、物質位置画像データの特徴を抽出する（Ｓ２２）。なお、ステップＳ２２の動作は、表示処理部２９により実行されても良く、この場合には、表示制御部３７は、表示処理部２９により実行された物質位置画像データの特徴抽出結果の情報を表示処理部２９から取得する。表示制御部３７は、ステップＳ２２により得られた物質位置画像データの特徴抽出結果を基に、検出された物質の位置に関する情報（物質位置情報）をワークメモリ用のメモリ（不図示）保存する（Ｓ２３）。

表示制御部３７は、ステップＳ２１において得られた可視光画像データの特徴抽出結果の情報と、ステップＳ２２において得られた物質位置画像データの特徴抽出結果の情報とを用いて、可視光画像データ及び物質位置画像データの各輪郭をサーチしてパターンマッチングを実行する（Ｓ２４）。表示制御部３７は、ステップＳ２４のパターンマッチング後の可視光画像データと物質位置画像データとを重ね合わせる（Ｓ２５）。ステップＳ２４及びステップＳ２５により、表示制御部３７は、アスペクト比が一致した可視光画像データと物質位置画像データとが重ね合わせられた表示データを得ることができる。

表示制御部３７は、ステップＳ２５における重ね合わせ後の表示データの画像サイズ枠の基準点（例えば原点）及び終了点を抽出して制御部１１に保存する（Ｓ２６）。なお、図２では、図面の煩雑化を避けるために、制御部１１と表示制御部３７との間の矢印の図示を省略している。表示データの画像サイズ枠の基準点及び終了点は、非可視光センサ部ＮＶＳＳからの投射光の走査開始位置及び走査終了位置に対応する。

ステップＳ２６の後、制御部１１は、表示制御部３７から取得した表示データの画像サイズ枠の基準点（例えば原点）及び終了点の情報を用いて、非可視光センサ部ＮＶＳＳにおける投射光の走査範囲を変更し、変更後の投射光源走査用光学部１７の走査開始位置及び走査終了位置の情報を投射光源走査用光学部１７に設定する（Ｓ２７）。図１８に示すキャリブレーションが一度実行されることで、表示制御部３７は、可視光カメラ部ＶＳＣからの可視光画像データと非可視光センサ部ＮＶＳＳからの物質位置画像データとの各アスペクト比を一致させた表示データを簡易に生成することができる。

図１９において、表示制御部３７は、撮像信号処理部３５からの可視光画像データと表示処理部２９からの距離毎の物質位置画像データとを取得する（Ｓ３１）。表示制御部３７は、表示処理部２９からの距離毎の物質位置画像データを基に、検出カメラ１の所定の検出エリア（図５参照）において特定の物質が検出されたか否かを判定する（Ｓ３２）。検出エリアにおいて特定の物質が検出されなかった場合には（Ｓ３２、Ｎ）、表示制御部３７の動作はステップＳ３１に戻る。

一方、検出エリアにおいて特定の物質が検出された場合には（Ｓ３２、Ｙ）、表示制御部３７は、検出された特定の物質は検出対象距離又は検出対象距離範囲内に存在するか否かを判定する（Ｓ３３）。特定の物質が検出対象距離又は検出対象距離範囲内に存在しないと判定された場合には（Ｓ３３、Ｎ）、表示制御部３７の動作はステップＳ３１に戻る。

一方、特定の物質が検出対象距離又は検出対象距離範囲内に存在すると判定された場合には（Ｓ３３、Ｙ）、表示制御部３７は、例えば音声等のアラート、特定の物質を検出した旨の強調表示、及び可視光カメラ画像への合成（即ち、表示データの生成）のうちいずれか１つ以上を実行する（Ｓ３４）。この動作を継続しない場合には（Ｓ３５、Ｙ）、検出の動作を終了する。以上により、図１９に示すフローチャートの説明を終了する。

以上により、本実施形態の検出カメラ１は、可視光カメラ部ＶＳＣにおける撮像により得られた可視光画像データを有し、非可視光センサ部ＮＶＳＳにおいて第１の波長（例えば１．１μｍ）を有する第１の投射光ＬＳ１と第２の波長（例えば１．４５μｍ）を有する第２の投射光ＬＳ２とを所定の投射周期毎に交互に投射し、投射光ＬＳ１及び投射光ＬＳ２を検出エリアに対して２次元的にそれぞれ走査する。検出カメラ１は、投射光ＬＳ１の投射時から、投射光ＬＳ１が特定の物質により反射された反射光ＲＶ１の受光時までの時間差を基に、検出カメラ１から特定の物質までの距離を検出する。また、検出カメラ１は、反射光ＲＶ１と投射光ＬＳ２が特定の物質により反射された反射光ＲＶ２とを基に、検出エリアにおける特定の物質の検出の有無を判定する。

更に、検出カメラ１は、検出エリアにおける特定の物質が検出カメラ１から所定の検出対象距離又は検出対象距離範囲内の距離において検出された場合には、検出エリアにおいて特定の物質を検出したことを示す物質位置画像データを生成する。換言すると、検出カメラ１は、検出エリアにおいて検出された特定の物質を上記検出対象距離又は検出対象距離範囲に基づいて、表示するかどうかを選択する。そして、表示するように選択された特定の物質（所望の特定の物質）は、物質位置画像データとして生成される。そして、検出カメラ１は、可視光画像データと物質位置画像データとを合成した表示データを生成して外部接続機器（例えばカメラサーバＣＳ又は通信端末ＭＴ）に出力する。

これにより、検出カメラ１は、所定の検出エリアを含む画角を有する可視光カメラ部ＶＳＣにより得られた可視光画像データでは一見判別が困難な特定の物質（例えば水溜りＷＴ）が検出エリア内に存在している場合でも、非可視光センサ部ＮＶＳＳにより検出カメラ１からの距離毎に得られた物質位置画像データを可視光画像データに合成した表示データを生成できる。このようにして、可視光画像データに合成して表示される特定の物質は検出した特定の物質までの距離の情報に応じて選択されるため、所望の特定の物質のみを表示することができる。換言すると、所望でない特定の物質を表示することは抑制される。従って、検出カメラ１は、所定の検出エリアにおいて、検出カメラ１からの距離毎に、可視光画像データでは一見判別が困難な特定の物質の検出精度を向上できる。従って、ユーザには所望の特定の物質の有無の検出結果を通知することができ、所望の特定の物質の有無に関するユーザの誤認識を抑制することができる。

なお、上述した本実施形態では、本発明に係る画像出力装置の一例として検出カメラ１を用いて説明したが、本発明に係る画像出力装置は可視光カメラ部ＶＳＣの撮像光学部３１、受光部３３及び撮像信号処理部３５のような撮像部の構成を有さなくても良い。例えば、画像出力装置は、１つ以上の可視光画像データ（例えば地図データ、写真データ）を予め保持し、検出カメラ１の可視光カメラ部ＶＳＣの表示制御部３７と、検出カメラ１の非可視光センサ部ＮＶＳＳとを含む構成であれば、可視光カメラ部ＶＳＣの撮像光学部３１、受光部３３及び撮像信号処理部３５のような撮像部の構成を有さなくても、上述した本実施形態の検出カメラ１と同様の効果が得られ、更に、画像出力装置の部品点数を削減でき、画像出力装置の製造コストアップを抑制できる。また、画像出力装置は、可視光カメラ部ＶＳＣの撮像光学部３１、受光部３３及び撮像信号処理部３５のような撮像部の構成を有しても良い。これにより、画像出力装置は、１つ以上の可視光画像データ（例えば地図データ、写真データ）を予め保持していなくても、上述した本実施形態の検出カメラ１と同様の効果が得られる。

また、上述した本実施形態では、特定の物質として水溜りＷＴのような水分を例示して説明したが、検出カメラ１が検出可能な特定の物質は水分に限定されず、以下の表１に示すものでも良い。表１では、検出カメラ１が検出可能な特定の物質と、特定の物質を検出するために第１投射光源１３又は第２投射光源１５において用いられる投射光の使用波長とが示されている。これにより、検出カメラ１は、水分に限らず、投射光の使用波長に応じて、多種類の特定の物質を検出でき、可視光画像データに特定の物質が検出されたことを示す物質位置画像データを合成した表示データを生成して出力できる。

なお、上述の検出対象距離範囲は、１つの範囲でなく、複数の範囲が設定されてよい。例えば、検出対象距離範囲は、第１の範囲としての２〜３[ｍ]と、第２の範囲としての６〜８[ｍ]とを含む。同様に、上述の検出対象距離は１つの値でなく、複数の値が設定されてもよい。制御部１１は、複数の検出対象距離が入力される場合、各検出対象距離に応じた検出対象距離範囲を算出し、設定してもよい。このように複数の検出対象距離又は検出対象距離範囲を設定可能とすることで、検出カメラ１が設置された環境に応じて、検出カメラ１の検出条件を設定することができる。例えば、図８において、床ＦＬだけでなく、棚ＲＫ上の水も検出したい場合、それぞれの位置に応じた検出対象距離又は検出対象距離範囲を設定することができる。従って、特定の物質の誤検知を抑制することができる。

また、設定される検出対象距離又は検出対象距離範囲の数は、任意に増加又は減少されてもよい。これにより、検出カメラ１が設置された環境が、複雑さに応じて、検出カメラ１の検出条件を設定することができる。例えば、環境が複雑である場合（例えば、棚ＲＫが多数存在する場合）、検出対象距離又は検出対象距離範囲の数を多く設定し、環境が単純である場合（例えば、棚ＲＫが存在しない場合）、検出対象距離又は検出対象距離範囲の数を少なく設定する。

なお、このような複数の検出対象距離又は検出対象距離範囲は、予め設定されていてもよいし、ユーザがカメラサーバＣＳ又は通信端末ＭＴなどによって任意に設定されてもよい。あるいは、検出カメラ１にこれらを設定可能な入力部を設けてもよい。なお、検出対象距離範囲は、上述した具体例のように、上限及び下限の両方を設定する必要はなく、少なくともどちらか一方が設定されればよい。例えば、１００[ｍ]以上、又は、５[ｍ]以下といった検出対象距離範囲が設定されてもよい。

なお、本実施形態では、第１投射光源１３は奇数番目の投射周期に投射し、第２投射光源１５は偶数番目の投射周期に投射するとして説明したが、第１投射光源１３及び第２投射光源１５は投射周期毎に交互に投射しなくても良い。例えば、第１投射光源１３及び第２投射光源１５は異なる投射周期で又はランダムな投射周期に投射するタイミングを切り替えても良い。また、検出カメラ１において撮像光学部２１及び受光部２３が複数（例えば２個）ある場合には、第１投射光源１３からの投射光ＬＳ１と第２投射光源１５からの投射光ＬＳ２とは同時に投射されても良い。

なお、本実施形態では、投射部ＰＪ、画像判定部ＪＧ及び可視光カメラ部ＶＳＣを一体に構成した検出カメラ１について説明したが、投射部ＰＪ、画像判定部ＪＧ及び可視光カメラ部ＶＳＣはそれぞれ別体に設けられても良い。例えば、投射部ＰＪ及び画像判定部ＪＧは異なる筐体で保持されても良い。同様に、投射部ＰＪ及び可視光カメラ部ＶＳＣは異なる筐体で保持されても良い。また、第１投射光源１３及び第２投射光源１５もそれぞれ別体に設けられても良い。

但し、画像判定部ＪＧ及び可視光カメラ部ＶＳＣは、本実施形態のように、同一の筐体に設けられる方が好ましい。さらに詳細に説明すると、物質位置画像データの形成に利用される撮像光学部２１と、可視光画像データの形成に利用される撮像光学部３１とは同一の筐体に設けられる方が良い。撮像光学部２１，３１を同一の筐体に設けることで、この２つの受光部の受光位置を近接させることができる。即ち、物質位置画像データ及び可視光画像データの検出位置を近接させることができる。これにより、物質位置画像データ及び可視光画像データのずれを小さくすることができ、表示制御部３７による可視光画像データ及び物質位置画像データの合成処理（例えば、ステップＳ２４におけるパターンマッチングや、ステップＳ２５における画像の重ね合わせ、等）の負荷を軽減することができる。

また、受光した信号の処理は、検出カメラ１の外部（例えば、カメラサーバＣＳ又は通信端末ＭＴ）で行っても良い。この信号処理とは、例えば、上述した信号加工部２５、検出処理部２７、表示処理部２９、撮像信号処理部３５、表示制御部３７及び制御部１１などの処理に相当する。信号処理に関する機能を検出カメラ１の外部に設けることで、検出カメラ１を小型化することができる。

また、距離検出／物質検出処理部２７において距離情報検出信号のみを利用することも可能である。初期状態の距離情報検出信号をメモリ２７ａに保存しておき，新たに取得された距離情報検出信号との比較を行うことにより、初期状態との距離情報の差分情報を得ることが出来る。この差分情報は，人物などの侵入検知や物品などの持ち去り検知に利用可能である。例えば、床ＦＬに人物ＨＭが存在しない場合の初期状態の距離情報と、人物ＨＭが床ＦＬ上に侵入してきた場合の距離情報には差分が発生するため、人物ＨＭの侵入を検知できる。同様に，床ＦＬに設置されている棚ＲＫが持ち去られた場合でも，初期状態の距離情報との差分情報を得ることにより、持ち去り検知が可能となる。

さらに、距離情報の差分情報を用いることにより、人物などの人数カウントや動線監視も可能となる。距離情報の差分情報により、差分情報の塊を人物と捉えて人数カウントを行ったり、距離情報検出信号の時間推移を画像判定部ＪＧで処理することにより動線監視が出来る。この人数カウントや動線監視の情報は、可視光カメラ部ＶＳＣの表示制御部３７へ入力することにより、カメラサーバＣＳや通信端末ＭＴへの表示も可能である。

以下、上述した本発明に係る画像出力装置、画像出力方法及び画像出力システムの構成を説明する。

本発明の画像出力装置は、特定の物質を検出する検出部と、前記特定の物質が所定の位置で検出された場合に、前記特定の物質に関する情報を画像データに合成した表示データを出力する合成部と、を備える。

本発明の画像出力装置は、前記画像データを取得する撮像部を、更に備えてもよい。

本発明の画像出力装置は、特定の物質を検出する検出部と、画像データを取得する撮像部と、前記画像出力装置から前記特定の物質までの距離情報を取得する取得部と、前記距離情報が所定の範囲内である場合に、前記特定の物質に関する情報を前記画像データに合成した表示データを出力する合成部と、を備えてもよい。

本発明の画像出力装置は、設定された設定距離情報を基に、前記所定の範囲を算出する算出部、を更に備えてもよい。

本発明の画像出力装置の前記算出部は、入力された前記撮像部の設置条件情報を基に、前記設定距離情報又は前記所定の範囲を算出してもよい。

本発明の画像出力装置の前記設置条件情報は、少なくとも前記撮像部の所定面からの高さ情報を含んでもよい。

本発明の画像出力装置の前記算出部は、前記高さ情報に応じて、前記所定の範囲を変更してもよい。

本発明の画像出力装置における前記所定の範囲は、複数の範囲を有してもよい。

本発明の画像出力装置における前記複数の範囲の数は、増加又は減少されてもよい。

本発明の画像出力装置は、第１の波長を有する第１の投射光を第１の時刻に出力する第１の投射部と、前記第１の投射光が前記特定の物質により反射された第１の反射光を第２の時刻に受光する第１の受光部と、を更に備え、前記取得部は、前記第１の時刻と前記第２の時刻との時間差を基に、前記距離情報を取得してもよい。

本発明の画像出力装置の前記検出部は、前記第１の反射光の強度を基に、前記特定の物質を検出してもよい。

本発明の画像出力装置は、第１の波長を有する第１の投射光を出力する第１の投射部と、第２の波長を有する第２の投射光を出力する第２の投射部と、前記第１の投射光又は前記第２の投射光が前記特定の物質により反射された第１の反射光又は第２の反射光を受光する受光部と、を更に備え、前記取得部は、前記第１の投射光の出力から前記第１の反射光の受光までの時間差を基に、前記距離情報を取得し、前記検出部は、前記第２の反射光の強度、又は前記第１の反射光と前記第２の反射光との強度差を基に、前記特定の物質を検出してもよい。

本発明の画像出力装置における画像出力方法は、特定の物質を検出するステップと、画像データを取得するステップと、前記画像出力装置から前記特定の物質までの距離情報を取得するステップと、前記距離情報が所定の範囲内である場合に、前記特定の物質に関する情報を前記画像データに合成した表示データを出力するステップと、を有する。

本発明の画像出力システムは、画像出力装置と外部接続機器とを備え、前記画像出力装置が、特定の物質を検出する検出部と、前記画像データを取得する撮像部と、前記撮像部から前記特定の物質までの距離情報を取得する取得部と、前記距離情報が前記外部接続機器により入力された所定の範囲内である場合に、前記特定の物質に関する情報を前記画像データに合成した表示データを出力する合成部と、を備える。

本発明の画像出力システムは、前記所定の範囲を入力可能な入力部、を更に備えてもよい。

本発明の画像出力システムの前記入力部は、前記所定の範囲として、複数の範囲を入力可能であってもよい。

本発明の画像出力システムの前記入力部は、前記複数の範囲の数を設定可能であってもよい。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

Claims (17)

1. 特定の物質を検出する検出部と、
   前記特定の物質が所定の位置で検出された場合に、前記特定の物質に関する情報を前記画像データに合成した表示データを出力する合成部と、を備える
   画像データを有する画像出力装置。
2. 前記画像データを取得する撮像部を、更に備える
   請求項１に記載の装置。
3. 特定の物質を検出する検出部と、
   前記画像データを取得する撮像部と、
   前記画像出力装置から前記特定の物質までの距離情報を取得する取得部と、
   前記距離情報が所定の範囲内である場合に、前記特定の物質に関する情報を前記画像データに合成した表示データを出力する合成部と、を備える
   画像データを有する画像出力装置。
4. 設定された設定距離情報を基に、前記所定の範囲を算出する算出部、を更に備える
   請求項３に記載の装置。
5. 前記算出部は、入力された前記撮像部の設置条件情報を基に、前記設定距離情報又は前記所定の範囲を算出する
   請求項４に記載の装置。
6. 前記設置条件情報は、少なくとも前記撮像部の所定面からの高さ情報を含む
   請求項５に記載の装置。
7. 前記算出部は、前記高さ情報に応じて、前記所定の範囲を変更する
   請求項６に記載の装置。
8. 前記所定の範囲は、複数の範囲を有する．
   請求項３に記載の装置。
9. 前記複数の範囲の数は、増加又は減少される．
   請求項８に記載の装置。
10. 第１の波長を有する第１の投射光を第１の時刻に出力する第１の投射部と、
    前記第１の投射光が前記特定の物質により反射された第１の反射光を第２の時刻に受光する第１の受光部と、を備え、
    前記取得部は、前記第１の時刻と前記第２の時刻との時間差を基に、前記距離情報を取得する
    請求項３に記載の装置。
11. 前記検出部は、前記第１の反射光の強度を基に、前記特定の物質を検出する
    請求項１０に記載の装置。
12. 第１の波長を有する第１の投射光を出力する第１の投射部と、
    第２の波長を有する第２の投射光を出力する第２の投射部と、
    前記第１の投射光又は前記第２の投射光が前記特定の物質により反射された第１の反射光又は第２の反射光を受光する受光部と、
    前記取得部は、前記第１の投射光の出力から前記第１の反射光の受光までの時間差を基に、前記距離情報を取得すると、を備え、
    前記検出部は、前記第２の反射光の強度、又は前記第１の反射光と前記第２の反射光との強度差を基に、前記特定の物質を検出する
    請求項３に記載の装置。
13. 特定の物質を検出するステップと、
    画像データを取得するステップと、
    前記画像出力装置から前記特定の物質までの距離情報を取得するステップと、
    前記距離情報が所定の範囲内である場合に、前記特定の物質に関する情報を前記画像データに合成した表示データを出力するステップと、を備える
    画像出力装置における画像出力方法。
14. 画像出力装置と外部接続機器とを備え、
    前記画像出力装置は、
    特定の物質を検出する検出部と、
    画像データを取得する撮像部と、
    前記撮像部から前記特定の物質までの距離情報を取得する取得部と、
    前記距離情報が前記外部接続機器により入力された所定の範囲内である場合に、前記特定の物質に関する情報を前記画像データに合成した表示データを出力する合成部と、を備える
    画像出力システム。
15. 前記所定の範囲を入力可能な入力部、を更に備える
    請求項１４に記載のシステム。
16. 前記入力部は、前記所定の範囲として、複数の範囲を入力可能である
    請求項１５に記載のシステム。
17. 前記入力部は、前記複数の範囲の数を設定可能である．
    請求項１６に記載のシステム。

Images