JP2018119942A

JP2018119942A - 撮像装置及びその監視方法並びにプログラム

Info

Publication number: JP2018119942A
Application number: JP2017146649A
Authority: JP
Inventors: 剛諸藤; Takeshi Morofuji
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-01-20
Filing date: 2017-07-28
Publication date: 2018-08-02

Abstract

【課題】赤外照明下でも、安定したＴＯＦシステムが構築でき、且つ簡易な構成で２次元の距離データを取得することができる撮像装置及びその監視方法並びにプログラムを提供する。【解決手段】ネットワークカメラ１０１は、監視対象領域に対する各フレームの撮像を行うカラー撮像素子３０１と、監視対象領域を赤外照明光１０３で照明する赤外ＬＥＤ２０２，２０３と、ＴＯＦ撮像素子２０５とを有する。赤外照明光１０３はその周波数を変調することでＴＯＦ投光信号としても用いられる。ＴＯＦ投光信号及びＴＯＦ撮像素子２０５を用いた対象物までの距離検出の際、各フレームの露光期間に同期するように赤外照明光１０３の変調の有無が時分割制御される。また、赤外ＬＥＤ１９０５の二次元アレイ状の赤外ＬＥＤ１個単位で時系列に投光制御を行う場合、監視対象領域の二次元距離データが取得される。【選択図】図４

Description

本発明は、撮像装置及びその監視方法並びにプログラム、詳しくは、赤外照明下でのＴＯＦシステムによる距離計測、距離画像の取得及びそれらを用いた監視を行う撮像装置及びその監視方法並びにプログラムに関するものである。

現在、３Ｄ距離画像を用いて、混雑・転倒検知、人数カウンタ、異常行動検知など、様々な応用が実現されてきており、今後、監視カメラシステムへの導入も進んで行くものと期待されている。

ここで、距離画像の取得方法の一つであるステレオカメラでは、２つのカメラに写っているパターンを照合するパターンマッチング処理が必要となり、画像処理プロセッサの負担が重くなる。また、パターンマッチング処理は、白い壁などテクスチャのない物体や背景色と同じ色の物体に対する処理精度が低下するという問題がある。このため、ステレオカメラを監視カメラとして利用する場合、侵入者が背景の白い壁と同じ白い色の服を着ている場合、異なるパターンとして背景と侵入者の画像を分離することが難しい。このため、夜間の警戒時には照明が必要となるなど、現実的には実用的ではない。

対して、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）による距離計測技術では、秒速３０万ｋｍで進む光の飛行時間を計って、距離を計測するため、テクスチャや背景色に処理精度が影響されない。また、この技術は、高速光センサー、半導体レーザー、ＬＥＤなどの発光素子の技術進歩により現実化されてきている。

まず、ＴＯＦによる距離計測技術を利用するシステム（以下「ＴＯＦシステム」という。）について、図１５、図１６を用いて説明する。

図１５は、ＴＯＦシステムの構成例であり、図１６は、ＴＯＦシステムによる照射光と反射光の位相関係を示している。

図１５に示すように、赤外光光源である投光ＬＥＤ１５０１は、照射光１５０５により、測定対象１５０３を照射する。測定対象１５０３からの反射光１５０６は、結像レンズ１５０４で結像され、被写体距離１５０７に応じた遅れ時間ｔをもって図１６に示すようにＴＯＦ撮像素子１５０２に到達する。

例えば、遅れ時間ｔが１０ナノ秒である場合、被写体距離１５０７は、光の速度は３０万ｋｍ／秒のため、３ｍ（＝１０ナノ（０．０００００００１）秒×３０万ｋｍ）となる。

このような距離計測技術に関して、特許文献１には、距離画像センサーの光量の飽和、不足に対応するため、検出距離範囲に応じて照射光量の増減を行う技術が記載されている。また、特許文献２には、赤外光のパターン照射を行い、画像の歪みから距離を測定するＬｉｇｈｔＣｏｄｉｎｇ方式において、距離計測を行う照射赤外光露光と可視撮影を行う背景光露光とを時分割に行う手法が述べられている。

特許文献３には、三原色の光を互いにタイミングをずらして発光させ、それらの距離測定目標物からの反射光を受光し、色毎の位相差を計算し、この位相差に基づいて距離測定目標物までの距離を演算する光学距離センサーが記載されている。また、特許文献４には、車番認識システム用の赤外照明装置として、特定の発光角を持つ赤外発光帯域のＬＥＤを曲面状の基板に多数並べることで、各ＬＥＤの光を局所的に集光させた構成が記載されている。この赤外照明装置では、各々隣接するＬＥＤを、個々のＬＥＤのアノードとカソードの基板上への取付け位置関係がランダムになるように回転させ、個々のＬＥＤの発光パターンムラを相殺するよう配置される。

特許第５３０８０８８号公報特開２０１４−２０７４９３号公報特許第５４７８９０２号公報特開平６−７６０４９号公報

しかし、特許文献１〜４はいずれも、赤外照明下でＴＯＦシステムを使用する際の監視カメラ特有の問題については述べられてはいない。

例えば、赤外照明とＴＯＦシステムとの同時使用を行った場合、赤外照明を使用している状態では、赤外照明の発光が、ＴＯＦ撮像素子１５０２で反射光１５０６を受光する際のノイズとなり、反射光の検出が困難となる。また、逆に、反射光１５０６が、撮影画像へ写り込む、画像ムラとなるといった問題も発生してしまう。

解決手段の一つとして、赤外照明の発光の波長に対し、照射光１５０５の波長を高波長側へシフトさせれば、光学バンドパスフィルターを用いることにより、相互干渉を小さくできる。但し、高周波側へのシフトによる投光ＬＥＤ１５０１の出力低下、光学バンドパスフィルターを介して反射光１５０６を受光することによるＴＯＦ撮像素子１５０２の感度低下が発生するため、現状では、実用的な手法ではない。

そこで、本発明の目的は、赤外照明下でも、安定したＴＯＦシステムが構築でき、且つ簡易な構成で２次元の距離データを取得することができる撮像装置及びその監視方法並びにプログラムを提供することにある。

本発明の請求項１に係る撮像装置は、監視対象領域からの光を複数の画素からなる撮像面上に結像し、電気信号に変換して各フレームの撮像を行う撮像手段と、前記監視対象領域を赤外光で照明する赤外照明手段と、前記赤外光の周波数を変調して前記監視対象領域の対象物に投光する投光手段と、前記対象物からの、前記変調された赤外光の反射光を受光する受光手段と、前記投光手段による前記変調された赤外光の投光から前記受光手段による前記反射光の受光までの時間差に基づき、前記対象物までの距離を検出する検出手段と、前記各フレームの露光期間に同期するように前記赤外光の変調の有無を時分割制御する第１の制御手段とを備えることを特徴とする。

本発明の請求項１３に係る撮像装置は、監視対象領域からの光を撮像面上に結像し、電気信号に変換して撮影画像を取得する撮影手段と、前記監視対象領域を赤外光で照明する赤外照明手段と、前記赤外光の周波数を変調して前記監視対象領域の対象物に投光する投光手段と、前記対象物からの、前記変調された赤外光の反射光を受光する受光手段と、前記投光手段による前記変調された赤外光の投光から前記受光手段による前記反射光の受光までの時間差に基づき、前記対象物までの距離を検出する検出手段とを備え、前記赤外照明手段は、二次元状に配置された複数の赤外光源で構成され、前記投光手段は、前記複数の赤外光源を１個単位で時系列に投光制御を行い、前記検出手段は、前記投光制御に応じて逐次、前記対象物までの距離を検出することで、前記監視対象領域の二次元距離画像を取得することを特徴とする。

本発明によれば、赤外照明下でも、安定したＴＯＦシステムが構築でき、且つ簡易な構成で２次元の距離データを取得することができる。

本発明の実施例１に係る撮像装置としてのネットワークカメラを含むＴＯＦシステムを説明するための図である。図１のネットワークカメラの外観を示す図である。図１のネットワークカメラの内部構成を示すブロック図である。本発明の実施例１に係る夜間撮影モードにおける赤外照明用発光、及びＴＯＦ距離検出用投光のタイミングチャートを示す図である。赤外ＬＥＤのＯＮ／ＯＦＦ制御方法を説明する図である。ＴＯＦ距離計測を説明するためのタイミングチャートである。シャッタースピード、夜間撮影モードにおける赤外照明用発光、及びＴＯＦ距離検出用投光のタイミングチャートを示す図である。ネットワークカメラのＡＦ制御の切替処理の手順を示すフローチャートである。本発明の実施例２に係る、赤外光成分の強弱により、ＴＯＦ検出期間の変更を行う方法を説明するためのタイミングチャートである。本発明の実施例２に係る、高速シャッター時のＴＯＦ投光期間の設定方法を説明するためのタイミングチャートである。本発明の実施例３に係る、ＴＯＦ投光処理の手順を示すフローチャートである。本発明の実施例４に係る撮像装置としてのネットワークカメラを含むＴＯＦシステムを説明するための図である。本発明の実施例４に係る、ＴＯＦ距離情報取得処理の手順を示すフローチャートである。コンピュータズームシステムにおける、被写体距離毎のズームレンズとフォーカスレンズの軌跡を示すグラフである。従来のＴＯＦシステムによる距離計測を説明するための図である。従来のＴＯＦシステムによる照射光と反射光の位相関係を示す図である。本発明の実施例５に係るＴＯＦシステムによる距離計測を説明するための図である。本発明の実施例５に係る撮像装置としてのネットワークカメラを含むＴＯＦシステムを説明するための図である。図１８のネットワークカメラの外観を示す図である。図１９のネットワークカメラの赤外ＬＥＤの１つから発光される赤外ＬＥＤとその撮影画像における反射光の関係を説明するための図である。図１９のネットワークカメラの内部構成を示すブロック図である。本発明の実施例６における、ネットワークカメラの赤外ＬＥＤの１つから発光される赤外ＬＥＤとその撮影画像における反射光の関係を説明するための図である。本発明の実施例６に係る、ＴＯＦ投光処理の手順を示すフローチャートである。本発明の実施例７における、ネットワークカメラの一部の赤外ＬＥＤを用い物体（動体）検出方法を説明するための図である。本発明の実施例７に係る、赤外ＬＥＤの発光制御処理の手順を示すフローチャートである。本発明の実施例７における、物体（動体）検出部分のみ距離画像検出モードによる距離画像の検出の際の分解能を上げる方法を説明するための図である。本発明の実施例８に係る赤外ＬＥＤの移動による検出補間方法を説明するための図である。図２７Ａの続きである。本発明の実施例９に係る赤外ＬＥＤのハードウェア構成を示す図である。図２８の赤外ＬＥＤのハードウェア構成の変形例を示す図である。図２１のクライアントＰＣで表示される画面の一例を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１、図２、図３を参照して、本発明の実施例１に係る撮像装置としてのネットワークカメラを含む、ＴＯＦによる距離計測技術を利用する監視方法を実行するシステム（以下「ＴＯＦシステム」という。）の説明を行う。各図において、同一の構成要素には、同一の符号を付け、重複する説明は省略している。

図１において、１０１はネットワークカメラであり、撮影画像をパン、チルト方向に回動可能に構成され、且つ、ズーム機能を有するカメラである。ネットワークカメラ１０１は、図２に示すレンズユニット２０７の撮像面（図３のカラー撮像素子３０１）上に監視対象領域からの光の結像を行い、監視対象領域にある対象物である人物１０２を撮影している。さらに、ネットワークカメラ１０１は、図２に示す赤外ＬＥＤ２０２ａ、２０２ｂ、２０２ｃ、２０３ａ、２０３ｂ、２０３ｃ（赤外照明部）（以下、「赤外ＬＥＤ２０２，２０３」という。）及び、照度センサー２０４を備える。照度センサー２０４は、周囲の明るさ（環境光の照度）を監視し、環境光の照度が所定照度以下となった場合、あるいは可視照明が消灯された場合の通常撮影モードから夜間撮影モードへの切り替え等に使用される。ネットワークカメラ１０１は、夜間撮影モードの場合、赤外ＬＥＤ２０２，２０３による赤外照明用発光がＯＮとなる、また、高感度の撮影をすべく図３の赤外カットフィルター３１３が抜去される。

図３において、３１４は絞りであり、ＣＭＯＳセンサーからなるカラー撮像素子３０１への入射光量の調節が行われる。また、図２において、２０１は、赤外ＬＥＤ２０２，２０３、照度センサー２０４が実装された基板である。

また、赤外ＬＥＤ２０２，２０３（赤外照明手段）は、夜間撮影の場合、監視対象領域に対して赤外照明光１０３（赤外光）を赤外照明用に発光する。一方、図３の変調ドライバ部３１６により１０ＭＨｚの周波数に変調を行った場合、赤外ＬＥＤ２０２，２０３（投光手段）は、赤外照明光１０３を後述するＴＯＦ投光信号として人物１０２に向けて発光（投光）する。図２の２０６は結像レンズであり、ＴＯＦ撮像素子２０５の撮像面上に光を結像させる。次に、ＴＯＦ撮像素子２０５は、撮像面上に結像された光信号を電気信号への変換を行う。ＴＯＦ撮像素子２０５の前面には、赤外ＬＥＤ２０２，２０３による赤外照明の赤外光成分のみを取り込むように、不図示の光学バンドパスフィルターが装着されている。また、ネットワークカメラ１０１の撮影画像はＬＡＮ等のネットワーク（以下「ＬＡＮネットワーク」という）１０４を介して、クライアント端末１０５に配信されている。クライアントは、このクライアント端末１０５の図１の表示部に表示されるネットワークカメラ１０１から配信される撮影画像を目視することにより監視対象領域の監視を行うことが可能となる。

次に、図３を使用して、ネットワークカメラ１０１における映像信号の流れ、及び、コントロール信号の流れについて説明を行う。被写体（図１の人物１０２）からの光は、レンズユニット２０７を通してカラー撮像素子３０１が有する複数の画素の上に結像される。カラー撮像素子３０１（撮像手段）は、その結像された光を電気信号に変換し、ケーブルを通して、信号処理基板３０３に送る。信号処理基板３０３では、撮像処理部３０４により、色分離、ホワイトバランス、ガンマ補正等の処理が適宜施され、ネットワーク処理部３０５に送られる。ネットワーク処理部３０５では、所定の映像信号への変換及び圧縮が施され、ビデオ出力、あるいは、ＬＡＮネットワーク１０４を介しての録画サーバ３１５での録画、クライアントＰＣ１０５への配信等が行われる。

録画サーバ３１５、クライアントＰＣ１０５からのコントロールコマンドは、ＬＡＮネットワーク１０４を介して受信され、ネットワーク処理部３０５に内蔵されるコントローラ３０６により解析される。例えば、クライアントＰＣ１０５からパンニングコマンドが送信されると、そのコマンドは、コントローラ３０６で解析され、その制御信号に基づきドライバ３０７を介してパンモータ３０８の駆動が行われる。この結果、ネットワークカメラ１０１の撮影方向の変更が行われる。同様に、クライアントＰＣ１０５からチルチングコマンドが送信されると、そのコマンドは、コントローラ３０６で解析され、その制御信号に基づきドライバ３０９を介してチルトモータ３１０の駆動が行われる。赤外カットフィルター３１３は、カラー撮像素子３０１の光路の前面に設置され、ドライバ３１１を介して赤外カットフィルター挿抜モータ３１２（挿抜手段）により、光路の上からの挿抜が行われる。

また、赤外ＬＥＤ２０２，２０３は、コントローラ３０６での指示により、変調ドライバ部３１６により変調を施された状態で駆動し、距離検出用に変調された赤外照明光１０３がＴＯＦ投光信号として照射される。

なお、撮像処理部３０４とネットワーク処理部３０５は電子部品として一体の構成でもよく、その構成に制限を受けるものではない。

次に、図４を用いて、本実施例１に係る夜間撮影モードにおける赤外ＬＥＤ２０２，２０３による赤外照明用発光とＴＯＦ投光信号の切り替えタイミングの説明を行う。ここでは、カラー撮像素子３０１（カラーセンサー）から信号処理基板３０３に送られる電気信号（電荷）のアウトプットタイミングは、ＣＭＯＳセンサーに通常使用されている、所謂、ローリングシャッター方式で行われる。尚、本実施例のようなローリングシャッター方式に上記アウトプットタイミングは限定されるわけではなく、グローバルシャッター方式を用いるようにしてもよい。また、カラー撮像素子３０１はＦＴ（ＦｒａｍｅＴｒａｎｓｆｅｒ）型ＣＣＤであってもよい。

夜間撮影モードでは、ネットワークカメラ１０１の赤外ＬＥＤ２０２，２０３の赤外照明用発光により照射される変調前の赤外照明光１０３と、ＴＯＦ投光信号として照射される変調後の赤外照明光１０３とが相互干渉を起こさないようにする必要がある。そこで、コントローラ３０６（第１の制御手段）は、赤外ＬＥＤ２０２，２０３による赤外照明用発光とＴＯＦ投光信号の切り替え（赤外照明光１０３の変調の有無）をカラー撮像素子３０１により撮像される各フレームの露光期間に同期させる。具体的には、ＴＯＦ投光信号として赤外照明光１０３を変調する期間（ＴＯＦ投光期間）がカラー撮像素子３０１の画素の電荷蓄積期間内となるように制御が行われる。

特に、図４に示すように、ＴＯＦ投光期間は、ｎ番目のフレームの露光に対するカラー撮像素子３０１の全画素の電荷蓄積期間に重なるように制御が行われる。すなわち、ｎ番目のフレームの露光の平行四辺形で示す露光の斜め部分に重ならないように制御される。一方、赤外照明用発光は、ｎ番目のフレームの露光の開始と同時に開始し、ＴＯＦ投光信号への切り替え時にその発光を終了するよう制御が行われる。これにより、ＴＯＦ投光信号が全画素で積分され、画像に影響を及ぼさないように処理することが可能となる。

尚、ＴＯＦ投光信号の変調周波数は時系列に異なる周波数に設定することができる。例えば、図４においては、ＴＯＦ投光信号１の変調周波数は１０ＭＨｚに、ＴＯＦ投光信号２の変調周波数は５ＭＨｚに設定されている。これにより、精確な距離情報を取得することが可能となる。具体的には、ＴＯＦ投光信号１では、変調周波数を１０ＭＨｚとして１５ｍの測定レンジを持たせ、ＴＯＦ投光信号２では、変調周波数を５ＭＨｚとし３０ｍの測定レンジを持たせて時分割制御することで、より精確な距離情報を取得することが可能となる。

図５は、ＴＯＦ投光信号、赤外照明の発光状態を示すものである。

図５（ａ）は、赤外ＬＥＤ２０２，２０３からの赤外照明光１０３が、変調ドライバ部３１６により変調が施されてＴＯＦ投光信号となっている状態を示す。ここで図４では、ＴＯＦ投光信号１の変調周波数は１０ＭＨｚに、ＴＯＦ投光信号２の変調周波数は５ＭＨｚに設定されていたが、設定可能な変調周波数はこれに限定されるわけでなく、１〜１０ＭＨｚの間でＴＯＦ投光信号の変調周波数は設定することができる。

図５（ｂ）は赤外ＬＥＤ２０２，２０３の連続発光状態、図５（ｃ）は赤外ＬＥＤ２０２，２０３がデューティ制御により光量調整された状態を示している。

赤外ＬＥＤ２０２，２０３の光量を最大とする場合は図５（ｂ）のような連続発光状態とするが、光量調節を行いたい場合は図５（ｃ）のようなデューティ制御が行われる。

次に、図６を使用し、本実施例におけるＴＯＦ距離計測について説明を行う。

ここにおけるＴＯＦ距離計測では、ナノ秒オーダーの光の飛行時間を１発で直接計測するものではなく、高周波で強度変調された連続照明の位相遅れを検出する方法を採用している。

ここでは、赤外ＬＥＤ２０２，２０３からのＴＯＦ投光信号として、例えば、変調ドライバ部３１６により１０ＭＨｚで変調した赤外照明光１０３が、測定対象である人物１０２を照射している場合について説明する。人物１０２からの反射光は、結像レンズ２０６で結像され、その距離に応じた遅れ時間（時間差）をもってＴＯＦ撮像素子２０５（受光手段）に到達する（受光される）ので、変調した赤外照明光１０３の受光時における位相角は発光時からシフトしている。各画素が、変調ドライバ部３１６による変調周波数と同期した受光タイミングゲート１、受光タイミングゲート２により検出され、一定時間露出した後に、それらの成分を読み出す。その後、コントローラ３０６（検出手段）は、受光タイミングゲート１，２それぞれの蓄積割合を計算して遅延時間を算出し、測定対象までの距離（被写体距離）を検出する。尚、ＴＯＦ撮像素子２０５が受光した背景光等のノイズは受光タイミングゲート１，２の差分処理により相殺される。

尚、図４に示すＴＯＦ投光信号１，２のようにその変調周波数を変更する場合、受光タイミングゲートもその変更された変調周波数に同期する。

図７は、図４の場合よりシャッタースピードが速い場合の、夜間撮影モードにおける赤外ＬＥＤ２０２，２０３による赤外照明用発光とＴＯＦ投光信号の切り替えタイミングの説明を行う。

この場合も図４と同様、ＴＯＦ投光期間は、ｎ番目のフレームの露光に対するカラー撮像素子３０１の全画素の電荷蓄積期間に重なるように設定し、カラー撮像素子３０１による通常撮影モードの際の露光への影響を無くす必要がある。従って、シャッタースピードを速くし、全画素の電荷蓄積期間を短くする場合も、コントローラ３０６（第２の制御手段）は、この点を考慮した範囲でシャッタースピードを制御する。これにより、シャッタースピードを速くしても、ＴＯＦ投光信号が全画素で積分され、画像に影響を及ぼさないように処理することが可能となる。

本実施例においては、図４に示すＴＯＦ投光信号１，２の変調周波数を時系列に変更を行うことで、より精確な距離情報を取得することが可能としている。しかしながら、コンピュータズームシステムから求められる被写体距離に応じてＴＯＦ投光信号１，２の変調周波数を変更するようにしてもよい。また、赤外ＬＥＤ２０２，２０３が異なる変調周波数をもつようにし、赤外ＬＥＤ２０２，２０３のうちの発光するＬＥＤの変更を行うことでＴＯＦ投光信号１，２の変調周波数を変更するようにしてもよい。例えば、図２において、赤外ＬＥＤ２０２，２０３のうち、至近〜中距離撮影用の赤外ＬＥＤ２０２ａ，２０２ｂ，２０２ｃは、変調周波数を１０ＭＨｚとして１５ｍの測定レンジを持たせる。一方、赤外ＬＥＤ２０２，２０３のうち、遠距離撮影用の赤外ＬＥＤ２０３ａ，２０３ｂ，２０３ｃには、変調周波数を５ＭＨｚとし３０ｍの測定レンジを持たせて時分割制御する。これにより、より精確な距離計測情報を取得することが可能となる。

次に、図８のフローチャートを用いて、本実施例におけるネットワークカメラ１０１によるＡＦ制御の切替処理の手順について説明する。

本処理では、赤外カットフィルター３１３の挿抜、及び照度センサー２０４により監視される環境光の明るさに応じて、オートフォーカス制御（ＡＦ制御）を切り替えている。例えば、赤外カットフィルター３１３が抜去され、赤外ＬＥＤ２０２，２０３がオフとなっている通常撮影モードであっても、環境光の照度が所定照度以下では、コントラストＡＦによりピーク検出を行うことができない。この場合は、コントラストＡＦにより得られた距離情報よりＴＯＦシステムによる距離情報を優先して焦点調節を行う。これにより、低照度、低コントラスト環境においてもＡＦ制御による焦点検出を可能としている。

図８において、まず、撮影画像の方向（方角）取得し、ネットワークカメラ１０１のパン・チルトの位置から撮影方位の検出を行う（ステップＳ８０１）。

次に、撮影画像のズーム倍率（画角倍率）を取得し（ステップＳ８０２）、ＴＯＦシステムによる被写体距離を検出する（ステップＳ８０３）。

その後、撮影画像方向、設置高さ、傾き情報に基づいて、ネットワークカメラ１０１の鉛直位置から被写体の足下までの距離を算出する。これにより、被写体である人物１０２の精確な位置測位を演算し（ステップＳ８０４）、ステップＳ８０３で検出された被写体距離に従い、フォーカスレンズを移動する（ステップＳ８０５）。

その後、コントラストＡＦによるピーク検出を行い、最適なピーク位置への移動を行う（ステップＳ８０６）。この判別の結果、ピークが検出された場合は（ステップＳ８０７でＹＥＳ）、そのまま本処理を終了する。一方、所定のピークが検出されなかった場合、ステップＳ８０４で検出したＴＯＦシステムによる被写体距離に応じてフォーカスレンズを移動し、本処理を終了する。

このように、ＴＯＦシステムにより被写体距離を検出することにより、対象物（被写体）の実寸法が光学幾何の応用で簡単に計算できる。さらに、ネットワークカメラ１０１の撮影画像に対する設置方角（方位）、設置高さ、傾き等の情報を参照し、被写体距離の情報を補正することで、より精度の高い被写体距離の算出が可能となる。なお、これらの設置方角（方位）、設置高さ、傾き等は、ネットワークカメラ１０１に内蔵されている各種センサー情報により求める構成であっても問題はない。

以上、説明してきたように、天井に設置された監視カメラとしてのネットワークカメラ１０１により、夜間の赤外照明下においても人物１０２の被写体距離や実寸法を識別できる距離画像を得ることができる。また、これにより、複雑な画像処理を要せずに、混雑・転倒検知、人数カウンタ、異常行動検知、等の自動化が可能となる。

これらの例以外にも、上記距離画像を用いることで、画像処理の負担が大幅に軽減されるアプリケーションは様々に考えられる。

以下、図９、図１０を参照して、本発明の実施例２に係る撮像装置としてのネットワークカメラを含む、ＴＯＦシステムについて説明を行う。尚、図９，図１０、及び以下の説明において、以前に説明した構成要素と同一の構成要素には、同一の符号を付け、重複する説明は省略している。

まず本実施例にかかる、通常撮影モードにおける、赤外ＬＥＤ２０２，２０３によるＴＯＦ投光信号の発光制御について図９を用いて説明する。

本実施例では、通常撮影モードでの動作となるため、図３の赤外カットフィルター３１３が抜去され、赤外ＬＥＤ２０２，２０３による赤外照明用発光がＯＦＦとなる。この場合、上述したような赤外ＬＥＤ２０２，２０３による赤外照明用発光とＴＯＦ投光信号の切り替えは行われず、変調ドライバ部３１６により変調された後の赤外照明光１０３のみがＴＯＦ投光信号として使用される。

図９は、赤外光成分の強弱により、ＴＯＦ投光期間の変更を行っている例である。

通常（カラー）撮影モードでは、赤外ＬＥＤ２０２，２０３による赤外照明発光は行われず、また、赤外カットフィルター３１３も挿入されている状態であるため、ＴＯＦ投光信号が、撮影画像に写り込む割合は低い。しかし、屋外や軒下では、環境光である自然光（太陽光）の赤外光成分が強く、ＴＯＦ投光信号を受光する際の背景光ノイズとなる。そのため、図９の例では、赤外光成分の強弱により、ＴＯＦ投光信号として赤外照明光１０３を変調する期間（以下「ＴＯＦ検出期間」という）の増減が行われる。具体的には、赤外光成分が強い場合には、図９に示すように、ＴＯＦ検出期間ｂに設定し、検出回数及び蓄積時間増加により検出精度を高める。逆に、赤外光成分が弱い場合には、図９に示すように、ＴＯＦ検出期間ａ（＜ＴＯＦ検出期間ｂ）に設定し、省電力とＬＥＤ劣化防止を図っている。

尚、本実施例において、赤外光成分が強いか弱いかの判断は、ユーザがネットワークカメラ１０１を設置する際に判断し、予めネットワークカメラにその判断結果を入力するようにしてもよい。また、通常撮影モード時に受光した自然光（太陽光）の赤外光成分が強いか弱いかを判断できるセンサーを別途ネットワークカメラ１０１に追加するようにしてもよい。

また、低照度環境下においては、ハイゲイン、スローシャッターといった状態となるため、ＴＯＦ投光信号が撮影画像に写り込む可能性がある。そのため、低照度環境下では、ＴＯＦ投光期間がカラー撮像素子３０１による各フレームの露光期間に重ならないように設定し、カラー撮像素子３０１による露光に対するＴＯＦ投光信号の影響を軽減する手法も考えられる。

特に、高速シャッター時は、図１０に示すように、コントローラ３０６は、ＴＯＦ投光期間を各フレームの露光期間外に設定する。高速シャッター時は、カラー撮像素子３０１による電荷蓄積期間が短く、ＴＯＦ投光信号の成分も無視できないものとなるためである。このように制御する場合、図７の場合とは異なり、カラー撮像素子３０１の全画素による電荷蓄積期間にＴＯＦ投光期間が重なるような制御は行われない。

以下、図２、図３、図１１を参照して、本発明の実施例３によるＴＯＦシステムについて説明を行う。尚、図１１、及び以下の説明において、以前に説明した構成要素と同一の構成要素には、同一の符号を付け、重複する説明は省略している。

ＴＯＦシステムでは、赤外ＬＥＤ２０２，２０３から照射された、ＴＯＦ投光信号として変調された赤外照明光１０３の光量が一定であっても、ＴＯＦ撮像素子２０５での受光光量は、対象物（人物１０２）までの距離によって変化する。すなわち、対象物までの距離が近くなるほど受光光量は大きくなり、距離が遠くなるほど受光光量は小さくなる。一方、ＴＯＦ撮像素子２０５は、受光光量が大きすぎると飽和し、逆に受光光量が小さすぎると感度不足で光を検知できなくなる。このように、ＴＯＦシステムでは、検出可能な距離範囲は、ＴＯＦ撮像素子２０５の性能に大きく左右され、特定の範囲（ＴＯＦ撮像素子２０５が飽和したり、感度不足とならない範囲）に限定されることがある。アプリケーションによっては検出対象となる対象物までの距離が様々なケースが考えられるので、限られた検出距離範囲では多種多様なアプリケーションに対応できないという問題がある。なお、ＴＯＦ撮像素子２０５の蓄積電荷容量を大きくするなどして、その飽和光量を大きくすることも考えられるが、この方法で広げられる検出距離範囲には限界があるため、依然として多種多様なアプリケーションには対応できないことになる。

この問題の解決のため、本実施例では、図１４のコンピュータズームシステムからの距離情報を使用して、ＴＯＦ投光信号の発光量調整を行っている。このように構成することにより、撮影画像における主要被写体に対し、適正光量を照射することが可能となる。

具体的には、ＴＯＦ撮像素子２０５の撮像面で受光される光の光量（以下「受光光量」という）を調節する不図示の光量調節部をネットワークカメラ１０１が設けられる。ＴＯＦ撮像素子２０５が受光する際に、飽和あるいは感度不足とならないように光量調節部が受光光量を調節する。これにより、検出可能な距離範囲を変化させることが可能となる。すなわち、検出距離範囲を近距離側にシフトする場合には、ＴＯＦ撮像素子２０５の飽和を回避するように光量調節部が受光光量を減少させる。この光量調節部は、赤外ＬＥＤ２０２，２０３の点灯させる発光素子の個数を切り替えるだけの比較的簡単な構成でも実現可能である。

次に、図１１のフローチャートを用いて、本実施例におけるネットワークカメラ１０１によるＴＯＦ投光処理の手順について説明する。

図１１において、まず、撮影画像の方向（方角）を取得し、ネットワークカメラ１０１のパン・チルトの位置から撮影方位（方角）の検出を行う（ステップＳ１１０１）。

次に、撮影画像のズーム倍率（画角倍率）を取得し（ステップＳ１１０２）、コンピュータズームシステムからの距離情報、及び、ズーム倍率及びフォーカスレンズ位置から被写体距離を算出する（ステップＳ１１０３）。図１４に示すように、コンピュータズームシステムでは、合焦状態であれば、ズームレンズ位置に対するフォーカスレンズ位置により、被写体までの距離が算出できる。例えば、合焦点状態であり、ズームレンズ、フォーカスレンズがＡ点にあれば、１０ｍの軌跡上にあるため、被写体までの距離は１０ｍと算出される。

その後、算出された被写体距離とチルトの角度に基づき、ネットワークカメラ１０１の鉛直位置から被写体（人物１０２）の足下までの距離を算出することで、被写体の位置測位を演算する（ステップＳ１１０４）。

次に、ステップＳ１１０３で算出された被写体距離に応じて、赤外ＬＥＤ２０２，２０３のうち、ＴＯＦ投光信号として発光する（以下「ＴＯＦ投光を行う」という）発光素子の個数を算出する（ステップＳ１１０５）。この算出された個数の発光素子によるＴＯＦ投光を行って（ステップＳ１１０６）、本処理を終了する。

以下、図１２を参照して、本発明の実施例４におけるＴＯＦシステムの監視形態について説明する。

図１２において、赤外ＬＥＤ１２０１は、ＴＯＦ投光信号により、例えば、１０ＭＨｚで変調した照射光１２０５として、測定対象１２０２を照射している。測定対象１２０２からの反射光１２０６は、レンズユニット１２０４で結像され、その距離に応じた遅れ時間をもってＴＯＦ撮像素子１２０８に到達するので、変調した赤外照明光１０３の受光時における発光時から位相角はシフトしている。各画素に対する、変調ドライバ部３１６による変調周波数と同期した複数の受光タイミングゲートにより検出され、一定時間露出した後に、それらの成分を読み出す。その後、その複数の受光タイミングゲートそれぞれの蓄積割合を計算して遅延時間を算出し、測定対象１２０２までの距離（被写体距離）を求める。尚、ＴＯＦ撮像素子１２０８が受光した背景光等のノイズは上記複数の受光タイミングゲートの差分処理により相殺される。

本実施例にかかるＴＯＦシステムでは、レンズユニット１２０４により結像された被写体像は、分光手段１２０９により、可視成分はカラー撮像素子１２０３に投影され、赤外成分はＴＯＦ撮像素子１２０８に導かれる。

この構成では、カラー撮像素子１２０３とＴＯＦ撮像素子１２０８の画角が同一となるため、例えば、ＴＯＦ撮像素子１２０８の画素粗さを補間できるなど、アプリケーションは様々に考えられる。

その他、レンズの絞り１２１０を変化させるだけの比較的簡単な構成で、ＴＯＦ撮像素子１２０８への入射光量を調節することができる。例えば、コンピュータズームシステムからの距離情報を使用して、ＴＯＦ撮像素子１２０８の感度調整を行うことも可能となる。

但し、このシステムにおいて、ＴＯＦ撮像素子１２０８は、カラー撮像素子１２０３と同様に、ピントを有することになる。このため、ＴＯＦ撮像素子１２０８での距離情報（ＴＯＦ距離情報）の取得は、所定合焦範囲内で取得を行う必要が生じる。

次に、図１３のフローチャートを用いて、本実施例におけるネットワークカメラ１０１によるＴＯＦ距離情報取得処理の手順について説明する。

まず図１３において、ＴＯＦ撮像素子１２０８が合焦状態か否かを確認する（ステップＳ１３０１）。このステップは、具体的にはコンピュータズームシステムでのＴＯＦ撮像素子１２０８が所定合焦範囲内にあるか否かの判別が行われる。その結果、合焦状態であれば、ステップＳ１３０２へ進み、合焦状態でなければ、ステップＳ１３０１に戻る。

その後、ネットワークカメラ１０１のパン・チルトの位置から撮影画像方向を取得する（ステップＳ１３０２）。

次に、撮影画像のズーム倍率（画角倍率）を取得し（ステップＳ１３０３）、取得したズーム倍率及びフォーカスレンズ位置から被写体距離を算出する（ステップＳ１３０４）。

撮影画像方向、設置高さ、傾き情報に基づいて、ネットワークカメラ１０１の鉛直位置から被写体の足下までの距離を算出することで、被写体の精確な位置測位を演算する（ステップＳ１３０５）。

コンピュータズームシステムから求められた被写体距離に応じて、ＴＯＦ投光を行う発光素子の個数を算出する（ステップＳ１３０６。この算出された個数の発光素子によるＴＯＦ投光を行って（ステップＳ１３０７）、ＴＯＦ距離情報を取得し（ステップＳ１３０８）、本処理を終了する。

以下、図１７、図１８、図１９、図２０、図２１、図３０を参照して、本発明の実施例５によるＴＯＦシステムについて説明を行う。各図において、同一の構成要素には、同一の符号を付し、重複する説明は省略する。

図１７（ｂ）において、１７０１は、夜間、ＴＯＦシステムの赤外照明として使用される赤外光源アレイである。赤外光源アレイ１７０１は、図１７（ａ）に示すように２次元に配置された複数の赤外ＬＥＤから構成されている。この赤外光源アレイ１７０１の構成については図１９において詳述する。尚、本実施例では複数の赤外ＬＥＤが赤外光源アレイ１７０１に設けられていたが、赤外光を出す光源（赤外光源）であれば、他の光源を使用するようにしてもよい。

図１７（ｂ）に示すように、赤外光源アレイ１７０１からの赤外照明光１７０５により、監視対象領域の被写体（対象物）１７０２を照射する。被写体１７０２からの反射光１７０６は、結像レンズ１７０４で結像され、その被写体距離１７０７に応じた遅れ時間ｔをもってＴＯＦ受光センサー１７０３に到達する。ここで、赤外照明光１７０５の投光パルスと反射光１７０６の受光波形の遅れ時間ｔが１０ナノ秒発生した場合、光の速度は３０万ｋｍ／秒のため、１０ナノ（０．０００００００１）秒×３０万ｋｍ＝３ｍとなる。すなわち、ＴＯＦ受光センサー１７０３と被写体１７０２との被写体距離１７０７は３ｍということになる。

本実施例のＴＯＦシステムでは、図１８に示すように、赤外光源アレイ１７０１を有する赤外照明ユニット１８０８（赤外照明部）がネットワークカメラ１８０１と一体となるように取り付けられる。

１８０１はネットワークカメラであり、パン、チルト方向に回動可能に構成され、且つ、図１９に示すレンズユニット１９０４のズーム倍率を変更するズーム機能を有するカメラ（撮影手段）である。１８０８は赤外照明ユニットであり、ネットワークカメラ１８０１の撮影対象１８０２を赤外光源アレイ１７０１を用いて照明する。また、ネットワークカメラ１８０１の撮影画像はネットワーク１８０４を介して、クライアントＰＣ１８０５に配信される。

赤外照明ユニット１８０８は、図１９に示すように、二次元状に配列された多数の赤外ＬＥＤで構成される赤外光源アレイ１７０１を備える。例えば、図２０（ａ）のＡ行１列目に配置される赤外ＬＥＤ（以下、赤外ＬＥＤＡ１という）は、図２０（ｂ）のネットワークカメラ１８０１の撮影画像における反射光２００２に対応する。また、内部に図１９において不図示のＴＯＦ受光センサー１７０３が設けられるＴＯＦ受光ユニット１９０６で被写体距離１７０７の距離検出（以下単に距離検出という）が行われる。

本実施例では、赤外ＬＥＤＡ１，Ａ２，Ａ３，・・・・，Ａ２０，Ｂ１，Ｂ２，Ｂ３，・・・・，Ｂ２０，・・・・，Ｏ１，Ｏ２，Ｏ３，・・・・，Ｏ２０を１個単位で時系列に投光制御を行う。この制御に応じてＴＯＦ受光ユニット１９０６で逐次距離検出を行うことにより、二次元距離画像の取得を行なっている。

図２１において、赤外照明ユニット１８０８は、変調・ドライバ部２１０１を介して、例えば、１０ＭＨｚの変調を行って、赤外照明光１７０５を被写体１７０２に向けて照射する。１９０２は集光レンズであり、ＴＯＦ受光センサー１７０３に被写体１７０２からの反射光を集光させている。また、ＴＯＦ受光センサー１７０３の前面には、赤外光成分のみを取り込むように、不図示の光学バンドパスフィルターが装着されている。２１０２は、赤外光源アレイ１７０１が備える赤外ＬＥＤそれぞれの発光、ＴＯＦ受光センサー１７０３の受光タイミング等を制御するコントローラである。このコントローラ２１０２において、赤外照明光１７０５の投光パルスに対する反射光１７０６の受光波形の遅れ時間が評価され、被写体距離１７０７の距離検出が行われる。

次に、図２１を使用して、ネットワークカメラ１８０１、赤外照明ユニット１８０８における映像信号の流れ、及び、コントロール信号の流れについて説明を行う。被写体１７０２からの映像は、ネットワークカメラ１８０１の内部にあるレンズユニット１９０４を通してカラー撮像素子２１１９に投影される。その投影像は電気信号に変換され、ケーブルを通して、撮影画像として信号処理基板２１０３に送られる。信号処理基板２１０３では、撮像処理部２１０４により、色分離、ホワイトバランス、ガンマ補正等の処理を適宜施され、ネットワーク処理部２１０５に送られる。ネットワーク処理部２１０５では、所定の映像信号への変換及び圧縮が施され、ビデオ出力、あるいは、ＬＡＮネットワーク２１１６を介しての録画サーバ２１１５での録画、クライアントＰＣ１８０５への配信等が行われる。２１１４は入射光量の調整を行う絞り、２１１３は挿抜可能の配置された赤外カットフィルターであり、夜間の低照度環境などに応じて、挿抜が行われる。

次に、録画サーバ２１１５、クライアントＰＣ１８０５からのコントロールコマンドは、ＬＡＮネットワーク２１１６を介して受信され、ネットワーク処理部２１０５に内蔵されるコントローラ２１０６により解析される。例えば、クライアントＰＣ１８０５からパンニングコマンドが送信されると、そのコマンドは、コントローラ２１０６で解析される。その解析結果に応じてコントローラ２１０６で生成される制御信号に基づきドライバ２１０７を介してパンモータ２１０８の駆動が行われる。これにより、ネットワークカメラ１８０１の撮影方向の変更が行われる。同様に、クライアントＰＣ１８０５からチルチングコマンドが送信されると、そのコマンドは、コントローラ２１０６で解析される。その解析結果に応じてコントローラ２１０６で生成される制御信号に基づきドライバ２１０９を介してチルトモータ２１１０の駆動が行われる。赤外カットフィルター２１１３は、カラー撮像素子２１１９の光路前面に設置され、ドライバ２１１１を介して赤外カットフィルター挿抜モータ２１１２により、光路上からの挿抜が行われる。赤外照明ユニット１８０８では、コントローラ２１０６から各種制御が行われ、ネットワークカメラ１８０１の撮影画像との相関が取られる。

また、赤外光源アレイ１７０１では、コントローラ２１０２の指示により、変調・ドライバ部２１０１において変調を施された駆動が行われ、距離検出用に変調された赤外投光信号（赤外照明光１７０５）が照射される。

図３０において、クライアントＰＣ１８０５で表示される画面３００１の一例を示す。

３００４はネットワークカメラ１８０１による撮影画像を表示する第１表示部、３００６は、パン・チルト情報と連動し、ネットワークカメラ１８０１による撮影画像のパノラマ表示を行う第２表示部である。３００７は、パン・チルト情報と連動し、本実施例のＴＯＦシステムで得られた距離画像のパノラマ表示を行う第３表示部である。また、３００５はコントロールパネルであり、ネットワークカメラ１８０１、画面３００１における表示の各種設定を行う。ユーザーインターフェースとして表示される矢印３００８が第１表示部３００４で表示される撮影画像に含まれる被写体１７０２を選択すると、被写体１７０２の高さ（身長）及び被写体距離が表示されるウィンドウ３００３が表示される。ここでは、ネットワークカメラ１８０１から被写体１７０２までの距離（被写体距離）及びネットワークカメラ１８０１の設置高さ・設置角度を含む情報がネットワークカメラ１８０１から送信される。その後、クライアントＰＣ１８０５（情報処理装置）がこの送信された情報に基づき被写体１７０２の高さを演算している。

なお、パノラマ表示された撮影画像とパノラマ表示された距離画像は本実施例のように別の表示部に表示するのではなく、１つの表示部に重ね合わせて表示するようにしてもよい。また、第１表示部３００４に表示される主要被写体をクライアントＰＣ１８０５が検出し、その検出された主要被写体までの距離や高さをウィンドウ表示するようにしてもよい。

尚、本実施例では、図１８に示すように、赤外照明ユニット１８０８は、ネットワークカメラ１８０１に取り付けられる構成であったが、かかる構成に限定されない。例えば、ネットワークカメラ１８０１が赤外照明ユニットを備える構成であってもよい。

以下、図２２を参照して、本発明の実施例６におけるＴＯＦシステムの監視形態について説明する。本実施例では、実施例５と同一の構成要素には同一の符号を付し、重複した説明は省略する。

本実施例では、図１９に示すレンズユニット１９０４のズーム倍率に応じて、赤外照明ユニット１８０８では、赤外光源アレイ１７０１の発光範囲、すなわち、距離画像取得を行う際の検出範囲の変更を行う。これにより、ネットワークカメラ１８０１の撮影画像とＴＯＦシステムによる距離画像との対応を行っている。

例えば、レンズユニット１９０４のズーム倍率が２倍である時には、図２２（ａ）の赤外ＬＥＤＥ６は、図２２（ｂ）に示すネットワークカメラ１８０１による撮影画像の反射光２２０２に対応する。同様に、赤外ＬＥＤＫ１５は、反射光２２０４に、赤外ＬＥＤＨ１０は、反射光２２０３に対応する。

ここで、赤外ＬＥＤＥ６，Ｅ７，Ｅ８，・・・・，Ｅ１５，Ｆ６，Ｆ７，Ｆ８，・・・・，Ｆ１５，・・・，Ｋ６，Ｋ７，Ｋ８，・・・・，Ｋ１５に対して時系列に発光制御してＴＯＦ投光を行い、ＴＯＦ受光ユニット１９０６で逐次距離検出を行う。これにより、ネットワークカメラ１８０１による撮影画像に含まれる被写体に応じた検出範囲Ａの距離画像取得を行う。

また、レンズユニット１９０４と赤外照明ユニット１８０８との視差に応じて検出範囲Ａを補正し、検出範囲Ｂへ変更するようにしてもよい。

次に、図２３のフローチャートを用いて、本実施例におけるネットワークカメラ１８０１によるＴＯＦ投光処理の手順について説明する。

図２３において、まず、ズーム倍率（撮影画角倍率）を取得し（ステップＳ２３０１）、取得したズーム倍率において被写体に合焦するフォーカスレンズ位置から被写体距離を算出する（ステップＳ２３０２）。

次に、撮影画像に含まれる被写体に応じた検出範囲Ａを演算した後（ステップＳ２３０３）、レンズユニット１９０４と赤外照明ユニット１８０８との視差に応じて補正を行うことにより、検出範囲Ａを検出範囲Ｂに変更する（ステップＳ２３０４）。

検出範囲Ｂに含まれる赤外ＬＥＤに対して時系列に発光制御してＴＯＦ投光を行い（ステップＳ２３０５）、本処理を終了する。

尚、撮影画像と距離画像の対応をとることができれば、上述のような実施例に限定されない。例えば、全赤外ＬＥＤに対して時系列に投光制御を行って距離画像の検出を行い、ズーム倍率に応じて距離画像を切り出すことで、撮影画像と距離画像との対応を取るようにしてもよい。また、ネットワークカメラ１８０１の撮影範囲外で人物（物体）を検出したい場合は、広角への撮影範囲変更を行うようにしてもよい。

当然のことながら、被写体距離に応じて発光量制御を行うようにしてもよい。

以下、図２４を参照して、本発明の実施例７におけるＴＯＦシステムの監視形態について説明を行う。本実施例では、実施例５と同一の構成要素には同一の符号を付し、重複した説明は省略する。

本実施例では、赤外光源アレイ１７０１の有する赤外ＬＥＤの一部のみ用いた間引き発光で赤外照明を行った状態で取得した撮影画像から物体（動体）検出を行う人感センサーモードを有する。この人感センサーモードで物体を検出した場合、赤外光源アレイ１７０１の有する全赤外ＬＥＤを発光させる全発光により距離画像を検出する距離画像検出モードに切り替える。このように、物体（動体）検出時に間引き発光を行うことで省電力化が期待できる。

図２４では、人感センサーモードの一例として、中央に注視し、赤外光源アレイ１７０１の有する赤外ＬＥＤのうち赤外ＬＥＤＧ１０，Ｇ１１，Ｈ１０，Ｈ１１，Ｉ１０，Ｉ１１のみ用いた間引き発光により、物体（動体）検出を行っている。

次に、図２５のフローチャートを用いて、本実施例におけるネットワークカメラ１８０１による赤外ＬＥＤの発光制御処理の手順について説明する。

図２５において、まず、人感センサーモードへの切り換えを行い（ステップＳ２５０１）、人感センサーモードによる物体（人物）検出を行う（ステップＳ２５０２）。

その後、物体（人物）を検出した場合は（ステップＳ２５０３でＹＥＳ）、ステップＳ２５０４へ進み、距離画像検出モードへの切り替えを行った後、ステップＳ２５０５に進む。一方、検出していない場合は（ステップＳ２５０３でＮＯ）、ステップＳ２５０２へ戻る。

ステップＳ２５０５では、距離画像検出モードによる距離画像検出を行う。

その後、距離画像解析により物体（人物）を検出し続けているのであれば（ステップＳ２５０６でＹＥＳ）、ステップＳ２５０５へ戻り、検出していない場合は（ステップＳ２５０６でＮＯ）、ステップＳ２５０２へ戻る。

尚、夜間の人感センサーモードにおいては、物体（人物）検出を行った結果、動体を検出した場合は、間引き発光から全発光に切り替えるようにしてもよい。

また、距離画像検出モードを全発光で行うのではなく、物体（人物）の検出部分のみ、分解能をあげるように赤外光源アレイ１７０１の赤外ＬＥＤのうちいずれを用いて投光するかを制御するようにしてもよい。

例えば、図２４に示すように、人感センサーモードにおいては、中央に注視し、赤外光源アレイ１７０１の有する赤外ＬＥＤのうち赤外ＬＥＤＧ１０，Ｇ１１，Ｈ１０，Ｈ１１，Ｉ１０，Ｉ１１のみ用いた間引き発光により、物体（動体）検出を行う。その後、この検出結果に応じて、図２６（ａ）に示すように、距離画像検出モードにおいて、被写体１７０２周辺のみＴＯＦ投光が密に行なわれるよう、赤外光源アレイ１７０１の発光制御が行われる。例えば、赤外ＬＥＤＤ１３は反射光２６０３に、赤外ＬＥＤＬ８は反射光２６０４に、赤外ＬＥＤＨ１０は、反射光２６０２に対応している。

以下、図２７Ａ，２７Ｂを参照して、本発明の実施例８におけるＴＯＦシステムの監視形態について説明を行う。本実施例では、実施例５と同一の構成要素には同一の符号を付し、重複した説明は省略する。

本実施例では、図２７Ａ，２７Ｂに示すように、不図示の駆動機構（駆動手段）により、赤外光源アレイ１７０１の全赤外ＬＥＤを水平、垂直に移動させ、画素ずらしによる検出補間を行っている。

具体的には、まず、図２７Ａ（ａ）の状態で距離画像を取得し、次に、図２７Ａ（ａ）の状態から水平方向に全赤外ＬＥＤを半ピッチ移動させた図２７Ａ（ｂ）の状態で、距離画像を取得する。同様に、図２７Ａ（ａ）の状態から垂直方向に全赤外ＬＥＤを半ピッチ移動させた図２７Ｂ（ａ）の状態での距離画像と、図２７Ａ（ａ）の状態から水平垂直両方向に全赤外ＬＥＤを移動させた図２７Ｂ（ｂ）の状態での距離画像とを取得する。その後、図２７Ａ（ｂ），図２７Ｂ（ａ），（ｂ）の夫々の状態で取得した距離画像により、図２７Ａ（ａ）の状態で取得した距離画像の補間を行う。すなわち、全赤外ＬＥＤの移動量に応じた補間処理を図２７Ａ（ａ）の状態で取得した距離画像に対して行う。これにより、４倍密の距離画像の取得が可能となる。

当然のことながら、本実施例よりも移動ピッチを細かくすると、より精細な距離画像の取得が可能となる。

以下、図２８、図２９を参照して、本発明の実施例９におけるＴＯＦシステムの監視形態について説明を行う。本実施例では、実施例５と同一の構成要素には同一の符号を付し、重複した説明は省略する。

赤外光源アレイ１７０１の有する各赤外ＬＥＤは、スポット光となるように集光レンズを備えており、赤外照明時には、図２８（ｂ）に示すように拡散板（照明拡散手段）を有効状態に切り替え、均一光源とするように構成されている。

２８０１，２８０２は拡散板であり、２８０１は固定されており、２８０２は非図示の駆動手段により水平方向に可動可能としている。赤外光源アレイ１７０１によりＴＯＦ投光を行う場合は、図２８（ａ）の状態、すなわち、拡散板２８０１，２８０２を無効状態に切り替え、全赤外ＬＥＤの光が拡散されないようにする。一方、赤外光源アレイ１７０１により赤外照明を行う場合は、図２８（ｂ）の状態、すなわち、拡散板２８０１，２８０２を有効状態に切り替え、全赤外ＬＥＤを均一光源とする。

尚、図２８では、赤外光源アレイ１７０１のどのエリアにおいても同一の配光となるようにしたが、かかる構成に限定されない。

例えば、図２９では、赤外光源アレイ１７０１に対して同図向かって上に行くほど拡散効率が低くなる拡散板２９０１を用いている。これにより、赤外光源アレイ１７０１の上部にある赤外ＬＥＤは下部にある赤外ＬＥＤと比べて、赤外照明としての光（図２９（ｂ））が遠方まで届くようになっている。すなわち、図２９では、拡散板２９０１は、有効状態において、赤外光源アレイ１７０１に配置されるエリアに応じて赤外ＬＥＤそれぞれの拡散配光を異ならせている。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。また、上述の実施例の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１０１ネットワークカメラ
１０４ネットワーク
１０５クライアント端末
２０２，２０３赤外ＬＥＤ
２０５ＴＯＦ撮像素子
３０１カラー撮像素子
３０６コントローラ
３１２赤外カットフィルター挿抜モータ
３１６変調ドライバ部
１２０９分光手段

Claims

監視対象領域からの光を複数の画素からなる撮像面上に結像し、電気信号に変換して各フレームの撮像を行う撮像手段と、
前記監視対象領域を赤外光で照明する赤外照明手段と、
前記赤外光の周波数を変調して前記監視対象領域の対象物に投光する投光手段と、
前記対象物からの、前記変調された赤外光の反射光を受光する受光手段と、
前記投光手段による前記変調された赤外光の投光から前記受光手段による前記反射光の受光までの時間差に基づき、前記対象物までの距離を検出する検出手段と、
前記各フレームの露光期間に同期するように前記赤外光の変調の有無を時分割制御する第１の制御手段とを備えることを特徴とする撮像装置。
前記第１の制御手段は、前記投光手段による前記変調された赤外光の投光を前記撮像手段の備える画素の電荷蓄積期間内に設定することを特徴とする請求項１記載の撮像装置。
前記投光手段による前記変調された赤外光の投光を行う期間が前記撮像手段の備える全画素の電荷蓄積期間に重なるように、シャッタースピードを制御する第２の制御手段を更に備えることを特徴とする請求項１記載の撮像装置。
前記撮像手段の光路の前面に設置される赤外カットフィルターの前記光路の上からの挿抜を行う挿抜手段を更に備え、
前記挿抜手段により前記赤外カットフィルターが抜去されている場合、前記第１の制御手段は、前記赤外照明手段をオフにすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記挿抜手段による前記赤外カットフィルターの挿抜、および環境光の明るさに応じて、オートフォーカス制御を切り替えることを特徴とする請求項４記載の撮像装置。
前記挿抜手段により前記赤外カットフィルターが抜去され、且つ低照度環境下にある場合、前記第１の制御手段は、前記投光手段の投光期間を前記撮像手段による前記各フレームの露光期間外に設定することを特徴とする請求項４又は５記載の撮像装置。
前記挿抜手段により前記赤外カットフィルターが抜去されたときの環境光における赤外光成分に応じて、前記投光手段による前記変調された赤外光を投光する期間及び前記受光手段による前記反射光を受光する期間の変更を行うことを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
コンピュータズームシステムから求められる前記対象物までの距離により、前記変調された赤外光の発光量調整を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
コンピュータズームシステムから求められる前記対象物までの距離により、前記投光手段による赤外光の変調周波数を変更することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記赤外照明手段は、複数の発光素子から構成され、前記複数の発光素子の一部を前記投光手段として使用することを特徴とする請求項８又は９記載の撮像装置。
前記複数の発光素子の一部を他と異なる変調周波数とすることを特徴とする請求項１０記載の撮像装置。
前記監視対象領域からの光の赤外成分を前記検出手段に導くための分光手段をさらに有し、
コンピュータズームシステムでの所定合焦範囲内で前記検出手段は前記距離を検出することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
監視対象領域からの光を撮像面上に結像し、電気信号に変換して撮影画像を取得する撮影手段と、
前記監視対象領域を赤外光で照明する赤外照明手段と、
前記赤外光の周波数を変調して前記監視対象領域の対象物に投光する投光手段と、
前記対象物からの、前記変調された赤外光の反射光を受光する受光手段と、
前記投光手段による前記変調された赤外光の投光から前記受光手段による前記反射光の受光までの時間差に基づき、前記対象物までの距離を検出する検出手段とを備え、
前記赤外照明手段は、二次元状に配置された複数の赤外光源で構成され、
前記投光手段は、前記複数の赤外光源を１個単位で時系列に投光制御を行い、前記検出手段は、前記投光制御に応じて逐次、前記対象物までの距離を検出することで、前記監視対象領域の二次元距離画像を取得することを特徴とする撮像装置。
前記撮影手段は、その内部にあるレンズユニットのズーム倍率を変更するズーム機能を有し、
前記投光手段は、前記レンズユニットのズーム倍率に応じて、前記赤外照明手段による前記変調された赤外光の発光範囲の変更を行うことを特徴とする請求項１３記載の撮像装置。
前記撮影手段は、その内部にあるレンズユニットのズーム倍率を変更するズーム機能を有し、
前記検出手段は、前記ズーム倍率に応じて前記取得した二次元距離画像を切り出すことを特徴とする請求項１３記載の撮像装置。
前記取得された撮影画像から被写体及び被写体の動きを検出する動き検出手段を有し、
前記動き検出手段は、前記撮影画像を前記複数の赤外光源の一部のみ用いた状態で取得することを特徴とする請求項１３記載の撮像装置。
前記取得された撮影画像から被写体及び被写体の動きを検出する動き検出手段を有し、
前記投光手段は、前記動き検出手段の検出結果に応じて、前記複数の赤外光源のうちいずれを用いて投光するかを制御することを特徴とする請求項１３記載の撮像装置。
前記赤外照明手段を水平、垂直に駆動する駆動手段を更に備え、
前記検出手段は、前記駆動手段による前記赤外照明手段の移動量に応じた補間処理を前記二次元距離画像に対して行うことを特徴とする請求項１３記載の撮像装置。
前記赤外照明手段は、有効状態において、前記赤外光を拡散させて均一光源とする照明拡散手段と、前記照明拡散手段の、前記有効状態及び無効状態を切り替える切替手段とを有し、
前記投光手段による前記変調された赤外光の投光を行う場合は、前記切替手段により前記照明拡散手段を前記無効状態に切り替え、前記赤外照明手段による前記赤外光の照明を行う場合は、前記切替手段により前記照明拡散手段を前記有効状態に切り替えることを特徴とする請求項１３記載の撮像装置。
前記照明拡散手段は、前記複数の赤外光源を前記赤外照明手段に配置されるエリアに応じて拡散配光を異ならせることを特徴とする請求項１９記載の撮像装置。
ネットワークを介して接続する情報処理装置に、前記対象物までの距離、及び、前記撮像装置の設置角度の情報を送信する送信手段を更に有することを特徴とする請求項１３乃至２０のいずれか１項に記載の撮像装置。
監視対象領域からの光を複数の画素からなる撮像面上に結像し、電気信号に変換して各フレームの撮像を行う撮像素子、及び前記監視対象領域を赤外光で照明する赤外照明部を備える撮像装置を有するＴＯＦシステムによる監視方法であって、
前記赤外光の周波数を変調して前記監視対象領域の対象物に投光する投光ステップと、
前記対象物からの、前記変調された赤外光の反射光を受光する受光ステップと、
前記投光ステップにおける前記変調された赤外光の投光から前記受光ステップにおける前記反射光の受光までの時間差に基づき、前記対象物までの距離を検出する検出ステップと、
前記各フレームの露光期間に同期するように前記赤外光の変調の有無を時分割制御する第１の制御ステップとを有することを特徴とする監視方法。
監視対象領域からの光を撮像面上に結像し、電気信号に変換して撮影画像を取得する撮像素子、及び前記監視対象領域を赤外光で照明する赤外照明部を備える撮像装置を有するＴＯＦシステムによる監視方法であって、
前記赤外光の周波数を変調して前記監視対象領域の対象物に投光する投光ステップと、
前記対象物からの、前記変調された赤外光の反射光を受光する受光ステップと、
前記投光ステップにおける前記変調された赤外光の投光から前記受光ステップにおける前記反射光の受光までの時間差に基づき、前記対象物までの距離を検出する検出ステップとを有し、
前記赤外照明部は、二次元状に配置された複数の赤外光源で構成され、
前記投光ステップにより、前記複数の赤外光源を１個単位で時系列に投光制御を行い、前記検出ステップにより、前記投光制御に応じて逐次、前記対象物までの距離を検出することで、前記監視対象領域の二次元距離画像を取得することを特徴とする監視方法。
請求項２２又は２３の監視方法を実行することを特徴とするプログラム。