JP2004239840A - ステレオカメラ - Google Patents
ステレオカメラ Download PDFInfo
- Publication number
- JP2004239840A JP2004239840A JP2003031275A JP2003031275A JP2004239840A JP 2004239840 A JP2004239840 A JP 2004239840A JP 2003031275 A JP2003031275 A JP 2003031275A JP 2003031275 A JP2003031275 A JP 2003031275A JP 2004239840 A JP2004239840 A JP 2004239840A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- optical
- incident
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Cameras In General (AREA)
Abstract
【課題】ステレオカメラ機構を簡略化し、高速画像取込処理が可能なステレオカメラを提供する。
【解決手段】監視空間１０に向けて入射光軸を設定し、映像を入射させる第１の光学系１３と、第１の光学系１３から所定の間隔だけ離して、監視空間１０に向けて入射光軸を設定する第２の光学系１４と、第１の光学系１３から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２の光学系１４から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により撮像された映像の差画像を逐次形成する差画像形成部２４、２５と、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算する演算部３０と、を備える。
【選択図】 図１
【解決手段】監視空間１０に向けて入射光軸を設定し、映像を入射させる第１の光学系１３と、第１の光学系１３から所定の間隔だけ離して、監視空間１０に向けて入射光軸を設定する第２の光学系１４と、第１の光学系１３から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２の光学系１４から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により撮像された映像の差画像を逐次形成する差画像形成部２４、２５と、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算する演算部３０と、を備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラに係り、特にＣＣＤカメラやＣＭＯＳセンサ等を用いて三次元の監視空間内に位置する人体や動物や物体の移動方向の変化を検知するステレオカメラに関するものである。
【０００２】
【従来の技術】
一般に、逐次処理が可能な通過物体計数装置に用いるステレオカメラは、平面に沿って平面上の基準線を通過する通過物体を撮像する２台の撮像装置が平面に対向して設けられている。この２台の撮像装置によって撮像された通過物体の画像同士を比較して、通過物体上の基準線に沿った複数の部位に関して、通過物体の平面に交差する奥行方向の奥行情報と複数の部位のうち少なくとも１つの部位に関して、基準線に垂直で平面に平行な進行方向の速度情報を、時系列的に取得し、取得された奥行情報に速度情報で重み付けした値を基準線に沿って速度の向き別に加算した値を時間積分するように構成された通過物体計数装置が知られている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００２−１７５５１３号公報（段落００２５、図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のステレオカメラは、上述の如く、平面に対向して２台の撮像装置を設け撮像された通過物体の画像同士を比較するため、少なくとも２台の撮像装置による画像入力機構を必要とし、ハードウエアを削減させ画像取込処理を簡略化させようという技術的な課題が存在していた。
【０００５】
そこで本発明は、ステレオカメラ機構を簡略化し、従来に比して高速画像取込処理が可能なステレオカメラを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明によるステレオカメラは、例えば図１に示すように、三次元の監視空間１０における監視対象物１２を撮像するステレオカメラであって、監視空間１０に向けて入射光軸を設定し、経時的に変化をする監視対象物１２の映像を入射させる第１の光学系１３と、第１の光学系１３から所定の間隔だけ離して、監視空間１０に向けて入射光軸を設定し、経時的に変化をする監視対象物１２の映像を入射させる第２の光学系１４と、第１の光学系１３から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２の光学系１４から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された映像と所定時間遅れて撮像された映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算する演算部３０と、を備える。
【０００７】
ここで、請求項１に記載の第１の光学装置１６と第２の光学装置１８は、典型的にはアナモルフィックプリズム又は円筒型レンズを用いることができ、撮像装置１９は、ＣＣＤエリアセンサやＣＭＯＳセンサを配置し三角法で監視対象物１２との距離（位置）を測定するパッシブ型距離検出装置を用いることができる。
【０００８】
このように構成すると、第１の光学系１３から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２の光学系１４から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された映像と所定時間遅れて撮像された映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算する演算部３０と、を備えるので、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算することができる。
【０００９】
上記目的を達成するために、請求項２に係る発明による請求項１に記載のステレオカメラは、例えば図３に示すように、第１及び第２の光学装置１６、１８は、各々の画像を入射し、１対のアナモルフィックプリズム又は円筒レンズにより入射光軸（Ｄｉｎ）と異なる出射光軸（Ｄｏｕｔ）から各画像を撮像装置１９へ圧縮して入射させるように構成する。
【００１０】
このように構成すると、各画像を撮像装置１９へ圧縮して入射させることができる。
【００１１】
上記目的を達成するために、請求項３に係る発明による請求項１又は請求項２に記載のステレオカメラは、例えば図１に示すように、演算装置３０は、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、相関演算し三角法により撮像装置１９と監視対象物１２との距離を演算するように構成する。
【００１２】
このように構成すると、映像の差画像に基いて、相関演算し三角法により撮像装置１９と監視対象物１２との距離を演算することができる。
【００１３】
上記目的を達成するために、請求項４に係る発明による請求項１又は請求項２に記載のステレオカメラは、例えば図３に示すように、第１の光学系１３と第２の光学系１４の入射光軸は、略水平方向に視差を形成するように並行に配置すると共に、第１の光学装置１６と第２の光学装置１８は入射する各画像を垂直方向に偏向させて撮像装置１９に出射させるように構成する。
【００１４】
このように構成すると、第１の光学系１３と第２の光学系１４の入射光軸は、略水平方向に視差を形成するように並行に配置し、第１の光学装置１６と第２の光学装置１８は入射する各画像を垂直方向に偏向させて撮像装置１９に出射させるので、略水平方向の視差による画像変位の質を維持することができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１６】
図１は、本発明による実施の形態であるステレオカメラ１の模式的な系統図である。ステレオカメラ１は、三次元の監視空間１０に存在する監視対象物としての人物１２を監視する。人物１２は、床面５７上に直立し壁面４４に沿って床面上に規定された遠方線４２と撮像装置設置線４３との間で移動しているものとする。
【００１７】
ステレオカメラ１は、監視空間１０に向けて入射光軸を設定し、経時的に形状が変化をする人物１２の映像を入射させる第１の光学系としての第１レンズ１３と、第１の光学系としての第１レンズ１３から所定の間隔Ｗだけ水平方向に離して、監視空間１０に向けて入射光軸を設定し、経時的に形状が変化をする人物１２の映像を入射する第２の光学系としての第２レンズ１４と、第１レンズ１３から入射する画像を短軸方向（図中の縦方向）に圧縮し水平方向に走査線を配置する撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２レンズ１４から入射する画像を短軸方向（図中の縦方向）に圧縮し水平方向に走査線を配置する撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された人物１２の映像と所定時間遅れて撮像された人物１２の映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による人物１２の映像の差画像（ＣＣＤ１：差）と第２の光学装置１８による人物１２の映像の差画像（ＣＣＤ２：差）に基いて、監視対象物１２の距離（又は位置）を相関演算する演算部３０と、を備え、例えば、移動している人物１２を撮像している。
【００１８】
上記第１レンズと第２レンズの周囲には、複数の赤外線発光素子１７を配置し、制御装置２内に設けられた照度測定部２９の照度測定値に基き夜間又は暗闇状態で赤外線発光素子１７を自動点灯し人物１２を赤外線撮像するように構成している。また、撮像装置１９は、制御装置２に信号ケーブルで接続され、第１と第２の撮像領域により撮像したステレオ画像信号を制御装置２のインターフェースＩ／Ｆ部１５へ送信する。
【００１９】
制御装置２は、内部にＩ／Ｆ部１５と、Ｉ／Ｆ部１５に接続する演算部３０と、演算部３０に接続する記憶部３１と、演算部３０に接続する照度測定部２９と、演算部３０に接続する検知部３２と、この検知部３２に接続する検知信号の送信部３８とを備える。
【００２０】
また、検知部３２は、信号ライン３３を介して形状変化報知手段としてのスピーカ３４に接続され、人物１２の移動に伴う形状変化をスピーカ３４からの発信音により報知する。さらに、検知部３２は、送信部３８を介してデータレコーダ３５に接続され、人物１２の移動に伴う形状変化をデジタル信号又はアナログ信号を用いてデータレコーダ３５に逐次記憶させることができる。
【００２１】
上記記憶部３１は、第１の撮像領域で撮像した撮像信号を記憶する第１の時刻Ｔ０の撮像信号記憶部２０と第２の時刻Ｔ１の撮像信号記憶部２１、第２の撮像領域で撮像した撮像信号を記憶する第１の時刻Ｔ０の撮像信号記憶部２２と第２の時刻Ｔ１の撮像信号記憶部２３が設けられている。
【００２２】
上記演算部３０は、第１の撮像領域による差画像（ＣＣＤ１：差）を形成する第１の差画像形成部２４、第２の撮像領域による差画像（ＣＣＤ２：差）を形成する第２の差画像形成部２５、第１の撮像領域による差画像（ＣＣＤ１：差）と第２の撮像領域による差画像（ＣＣＤ２：差）とを相関処理し、監視対象物としての人物１２の位置を示す撮像装置１９と人物１２との距離を演算処理する距離演算部２６、撮像された人物１２の輪郭で囲まれた領域を特定し人物１２の大きさを演算する大きさ演算部２７を備える。
【００２３】
図１の系統図を参照して、ステレオカメラ１の動作について説明をする。第１レンズ１３と第２レンズ１４は共に、被写体として人物１２の光学的映像を入射する１又は複数のレンズで構成する。第１レンズ１３から入射した映像は、アナモリフィックプリズム又は円筒レンズのような第１の光学装置１６により、図中の縦方向に圧縮（上下に圧縮）され撮像装置１９の中心線から上側に位置する第１の撮像領域へ圧縮結像する。同様に、第２レンズ１４から入射した映像は、アナモリフィックプリズム又は円筒レンズのような第２の光学装置１８により、図中の縦方向に圧縮（上下に圧縮）され撮像装置１９の中心線から下側に位置する第２の撮像領域へ圧縮結像する。すなわち、単一の撮像装置１９の撮像部を上下に分割し、第１レンズ１３からの映像を上部領域に結像させ第２レンズからの映像を下部領域に結像させることができる。
【００２４】
ここで、撮像装置１９は撮像面に所定本数の走査線を水平方向に配置し、受光した画素信号をパラレル方式でシフトレジスタへ転送し、シフトレジスタから走査線単位で外部にシリアル出力するインタライン方式のＣＣＤセンサやフレームトランスファ方式のＣＣＤセンサを用いることができる。また、走査線上のピクセルをアドレス指定して電位を検知するＭＯＳセンサも用いることができる。
【００２５】
また、撮像装置１９の走査線の本数は、例えば、約５００本有し、各走査線には約５００ピクセルの画素を備えている。また本実施の形態では、第１の撮像領域と第２の撮像領域は、典型的には同数の走査線を具備するように、撮像面を略水平方向の中心線から上部に第１の撮像領域を設け、中心線から下部に第２の撮像領域を設けるとよい。この場合、各撮像領域には各々約２５０本の走査線が配置されていることになる。
【００２６】
制御装置２は、撮像装置１９から撮像信号を受信し、第１の撮像領域と第２の撮像領域に形成された画像を抽出する。また、シリアル出力する走査線は、撮像装置１９が有する５００本の走査線を全て抽出してもよく。撮像面を所定の間隔に区切る本数でシリアル出力させてもよい。
【００２７】
例えば、人物１２の全体像を検出する場合は約１００ｍｍ間隔の映像を撮像する走査線を抽出し、人物１２の形状変化を詳細に検出する場合は約５０ｍｍ間隔の映像を撮像する走査線を抽出し、その他、人物１２の細部を検出する場合は約１０ｍｍ間隔の映像を撮像する走査線を抽出するように個別に設定することもできる。例えば、人物１２の左右何れかの部位（腕）が上下方向又は遠近方向に移動したことを検知するには、少なくとも各撮像領域の走査線が約２５０本としたときに、等間隔毎に１本を選択し第１の撮像領域から約２０本の走査線を抽出し、第２の撮像領域から約２０本の走査線を抽出すればよい。
【００２８】
ステレオカメラ１は、第１の撮像領域が時刻Ｔ０に撮像した人物１２の画像信号をＩ／Ｆ部１５を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２０へ記憶する。また、第２の撮像領域で時刻Ｔ０に撮像した人物１２の画像信号をＩ／Ｆ部１５を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２２へ記憶する。
【００２９】
引き続き、第１の撮像領域が時刻Ｔ０より所定時間遅れて撮像された時刻Ｔ１の人物１２の画像信号をＩ／Ｆ部１５を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２１へ記憶する。また、第２の撮像領域で時刻Ｔ０より所定時間遅れて撮像された時刻Ｔ１の人物１２の画像信号をＩ／Ｆ部１５を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２３へ記憶する。
【００３０】
演算部３０は、各撮像信号に含まれる走査線上に形成される各画像の画像情報から差画像を形成する差画像形成手段としての機能を備えている。画像情報は、典型的には画像を構成する画素（ピクセル）の画素値である。
【００３１】
演算部３０は、第１の撮像領域で撮像した時刻Ｔ０の人物１２の画像と時刻Ｔ１の人物１２の画像との差画像（ＣＣＤ１：差）を逐次演算処理し、第１の撮像領域の差画像形成部２４に差画像を一時記憶する。また、第２の撮像領域で撮像した時刻Ｔ０の人物１２の画像と時刻Ｔ１の人物１２の画像との差画像（ＣＣＤ２：差）を逐次演算処理し、第２の撮像領域の差画像形成部２５に差画像を一時記憶する。この差画像は、人物１２の動いた部分を抽出した人物１２の輪郭（エッジ）を示す画像情報である。
【００３２】
差画像を形成するための２つの画像は、撮像時刻Ｔ０から所定の時間だけ遅れた撮像時刻Ｔ１により各々取得するが、ずらす遅延時間は、人物１２の部位の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０秒〜１／３秒）とする。このような差画像を演算して取得すると人物１２の背景が除去され動きのある人物１２の像だけを抽出することができる。
【００３３】
また、演算部３０は、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段としての機能を備えている。
【００３４】
撮像装置１９の走査線上に形成された画像は、背景は動くことがないので、動いている人物１２の境界部はその画素値が急激に変化する。そこで、演算部３０は、第１の差画像形成部２４と第２の差画像形成部２５から各差画像を読み出し、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を人物１２の境界とみなすことができる。ここで、境界を最大の領域としたのは、人物１２が身に付けている服装、手袋等の模様の動きにより、境界部以外にも区切られた領域の中で、閾値の小さい画素値が変化する場合があるからである。
【００３５】
距離演算部２６は、差画像形成部２４と差画像形成部２５で形成し一時記憶された、第１の撮像領域による像の差画像（ＣＣＤ１：差）と第２の撮像領域による像の差画像（ＣＣＤ２：差）に基いて、相関処理を施すことにより人物１２の位置を示す撮像装置１９と人物１２との距離を演算処理し、演算結果を検知部３２へ送信する。
【００３６】
すなわち、距離演算部２６は、第１の撮像領域と第２の撮像領域により撮像された各々の画像に対応する差画像から抽出された最大の領域同士の相関出力値を算出し、その最大相関出力値を得た位置を算出する相関出力算出手段としての機能を備えている。距離演算部２６は、演算した相関出力値に基づき撮像装置１９と人物１２までの距離を算出する。
【００３７】
距離演算部２６は、例えば、走査線に形成された差画像から最大の領域の画像情報を抽出し、人物１２の動きによって、コントラストの変化が激しかった点を特定する。また、第１の撮像領域の走査線と同様に、第２の撮像領域の走査線上に形成された差画像の最大領域の画像情報を抽出する。各々抽出された差画像の最大領域の画像情報を比較した場合、第１レンズ１３と第２レンズ１４との視差の関係から僅かに両撮像領域に形成される差画像の最大領域の位置が異なる領域画像を抽出したことが判明する。
【００３８】
引き続き、距離演算部２６は、第１の撮像領域による差画像（ＣＣＤ１：差）と第２の撮像領域による差画像（ＣＣＤ２：差）との相関処理を施し、その相関ピークが最大になった位置を計測することにより、２つの差画像間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を演算し検知部３２へ送信する。
【００３９】
ここで相関出力値とは、第１レンズ１３と第２レンズとの視差により発生する第１の撮像領域と第２の撮像領域との相対的結像位置差のことであり、相関処理により、典型的には画素数で出力される値である。演算部３０は、この相関出力値により第１の撮像領域の走査線と第２の撮像領域の走査線との視差に基づき、三角法を用いて人物１２の位置を示す撮像装置１９と人物１２との距離を算出する。
【００４０】
また、相関処理とは、第１の撮像領域の走査線と第２の撮像領域の走査線からそれぞれ得られた画像のどちらか一方を、２つの画像がほぼ一致するまで画素単位でずらして、そのずらした量を例えば画素数により示して算出する処理である。２つの差画像が一致するか否かの判定は、一方の差画像を固定し他方の差画像をずらしながら比較したときに重なり合う信号全体の強さに基いて実行する。信号がピークになった座標が一致点であり相関ピーク位置である。
【００４１】
相関処理は、第１の撮像領域、第２の撮像領域に結像した各々の画像に対応する差画像を適正な値で２値化し、そのエッジ部を抽出する事により、動きのある領域部分を抽出し、この抽出領域のみで相関処理を施すように構成してもよい。このように構成すると、相関処理は、２値化した差画像を用いるので、演算処理速度を向上させることができる。
【００４２】
距離演算部２６は、第１の撮像領域と第２の撮像領域により撮像された各々の画像に対応する差画像から抽出された最大の領域の中で、それぞれ所定の閾値より大きな画素の対応を求め、対応する画素の位置ずれに基づき、撮像装置１９と人物１２までの距離を算出するようにしてもよい。この場合、演算部３０は、前述のように差画像から抽出された最大の領域同士の相関出力値を算出せず、最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれを算出することができる。
【００４３】
距離演算部２６は、上述した三角法を用いて対応する画素の位置ずれ、即ち第１レンズ１３と第２レンズ１４との視差に基づき撮像装置１９から人物１２までの距離を算出する。これにより、距離演算部２６は、例えば、閾値を超えた画素に対して、同じ方向から番号付けを行い、対応した番号の画素同士の位置ずれから視差を求めることができる。
【００４４】
このように構成することで、距離演算部２６は、相関処理を省略し、非常に簡単な処理で視差を算出することができる。また距離演算部２６は、例えば、抽出した領域内の模様等によるコントラストの変化によって、閾値を超える画素が多く検出された場合には、上述したエッジ部以外には番号付けを行なわないように処理する。これにより、視差による影響で対応する番号の画素が、本来対応すべき画素とずれてしまうことにより、位置ずれの値に誤差が生じてしまう現象を低減することができる。これは、人物１２までの距離が短いことで視差が大きくなった場合にも有効である。
【００４５】
ステレオカメラ１は、例えば、第１レンズ１３と第２レンズ１４を水平方向に配置した場合に、人物１２の頭部から足先までに対応する映像を第１の光学装置１６と第２の光学装置１８により縦方向に圧縮し、第１の撮像領域と第２の撮像領域の各々の走査線に対応する画像が得られるため、複数の走査線の画像情報を平均化し監視精度を高めることができる。例えば、撮像装置１９の走査線の本数をαとした場合、このα値を平均化することで画像情報の標準偏差はルートα分の１の精度が得られ、ステレオカメラの信頼性を向上させることができる。
【００４６】
引き続き、ステレオカメラ１は、新たな時刻Ｔ０と時刻Ｔ１の撮像信号を第１の撮像領域及び第２の撮像領域から繰り返して取得し、各々の画像に対応する差画像から抽出された最大の領域同士の相関出力値を算出し、その最大相関出力値を得た位置を算出して数秒間のステレオ画像情報に基づく複数の相関出力値を時系列に検知部３２へ送信する。
【００４７】
検知部３２は、時系列に受信した相関出力値を相互に比較して、人物１２の系時的変化を検出する。例えば、人物１２が床面上に規定された遠方線４２から監視空間１０に侵入又は監視空間１０内で移動したときは、スピーカ３４を駆動し鳴音を発生させることができる。また、検知部３２は、送信部３８へ時系列に受信した相関出力値を送信しデータレコーダ３５へ記憶させることもできる。
【００４８】
図２は、本発明の実施の形態であるステレオカメラの原理図である。図中左側の三次元の監視空間に位置するバスケットボールのような球状の監視対象物１２を撮像するステレオカメラは、監視空間に向けて入射光軸（水平方向）を設定し、経時的に変化をする監視対象物１２の映像を入射させる第１の光学系（不図示）と、第１の光学系から所定の間隔だけ離して、監視空間に向けて入射光軸（水平方向）を設定し、経時的に変化をする監視対象物１２の映像を入射させる第２の光学系（不図示）と、第１の光学系から入射する画像を短軸方向に圧縮し走査線方向が図中のＸ軸方向である撮像装置１９の第１の撮像領域５４へ入射させる第１の光学装置１６と、第２の光学系から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域５６へ入射させる第２の光学装置１８と、第１及び第２の光学装置１６、１７と撮像装置１９との間に位置し、第１と第２の光学装置から出射される２つの圧縮映像を略９０度偏向させながら撮像装置１９の受光面に近接して結像させる第３の光学系５２と、を備える。
【００４９】
図２の原理図を参照して、本実施の形態のステレオカメラの動作を説明する。ステレオカメラは、例えば、正面から見て右側にアナモルフィックプリズムのような第１の光学装置１６を配置し、正面から見て左側にアナモルフィックプリズムのような第２の光学装置１８を第１の光学装置１６から所定の距離だけ離して配置する。この所定の距離がステレオカメラの視差に相当する。
【００５０】
監視対象物１２の映像は、第１と第２の光学装置に各々入射し縦方向（図中のＺ軸方向）に圧縮される。この圧縮された２つの映像は圧縮画像として第３の光学系を経由して撮像装置１９の受光面に結像させる。
【００５１】
第１の光学装置１６で圧縮した圧縮画像は、第３の光学装置５２により第３の光学装置５２の中心軸に集光させるよう水平方向（図中のＸ軸方向）に反射される。また、第２の光学装置１８で圧縮した圧縮画像は、第３の光学装置５２により第３の光学装置５２の中心軸に集光させるよう水平方向（図中のＸ軸方向）に反射される。但し、中心軸に集光した２つの圧縮画像は各々オフセット（互いに重なり合わない）されるように反射されるように構成する。
【００５２】
引き続き、オフセットした２つの圧縮画像は垂直方向であるが各々異なる縦方向へ反射し後方の撮像装置１９の撮像面へ結像する。例えば、第１の光学装置１６で圧縮した圧縮画像は撮像装置１９の上部に位置する第１の撮像領域５４へ結像し、第２の光学装置１８で圧縮した圧縮画像は撮像装置１９の下部に位置する第２の撮像領域５６へ結像する。
【００５３】
第１及び第２の撮像領域５４、５６の各々に結像した圧縮画像は、図示するように上下に扁平した楕円球状の画像である。したがって、撮像装置１９の複数の走査線で構成する受光面には２つの楕円球状の画像が同時に結像されることになる。よって、本実施の形態では、従来と同等の本数を備える撮像装置１９でも所定の視差を有する２つの圧縮画像を異なる領域に同時に結像し、後段に設けられた相関演算処理装置により容易にステレオカメラと監視対象物１２との距離を測定することができる。
【００５４】
図３は、本発明の実施の形態であるステレオカメラの模式的な系統図である。図上部に示す光学系正面図には、右側に第１レンズ１３と第１の光学装置１６とを配置し、この第１レンズから所定の間隔だけ離して左側に第２レンズ１４と第２の光学装置１８とを配置しているステレオカメラの入射光学系を示している。この入射光学系を構成する第１の光学装置１６と第２の光学装置１８とを図中のＡからＡ‘の方向へクランク形状の一点鎖線で切り出した側面から見た横断面図を一部に含むステレオカメラの側面図を図下部に示す。
【００５５】
図下部に示すステレオカメラの光学系は、図中の左側から第１の光学系としての第１レンズ１３と第２の光学系としての第２レンズ１４とを配置し、その次段である右側に円筒形の第１の光学装置１６を構成するアナモルフィックプリズム４８ａ、４９ａと円筒形の第２の光学装置１８を構成するアナモルフィックプリズム４８、４９とを配置し、この円筒形の第１及び第２の光学装置１６、１８の次段である図中の右側に集光手段としてのミラー５１ａ、ミラー５１を各々配置し、このミラー５１ａとミラー５１から反射する映像光を次段のミラーで反射させ図中の右側に示す結像レンズ５３に導き、この結像レンズ５３の次段である図中の右側に配置した撮像装置１９を備えている。
【００５６】
図３の模式的な系統図を参照して、ステレオカメラの光学系の動作を説明する。図中の第１レンズ１３及び第１の光学装置１６を第２レンズ１４及び第２の光学装置１８に対して下方に図示しているが、ステレオカメラの光学系を側面から見た場合、両者は重畳し一方の光学系が他方の光学系の後方に位置するため、模式的に左右の入射光軸（Ｄｉｎ）を上下に図示して動作を説明するものとする。
【００５７】
第１レンズ１３を通過した映像ビームは、所定のビームサイズを有する入射光軸（Ｄｉｎ）を形成し第１の光学装置１６の入射口４６ａへ入射する。入射した映像ビームは、前段のアナモルフィックプリズム４８ａと後段のアナモルフィックプリズム４９ａにより図中の縦方向に圧縮され出射口５０ａから所定のビームサイズを有する出射光軸（Ｄｏｕｔ）を形成して次段のミラー５１ａへ出射される。
【００５８】
第１の光学装置１６は、入射する画像を垂直方向に偏向させて撮像装置１９に出射させる。すなわち、映像ビームの入射光軸（Ｄｉｎ）と出射光軸（Ｄｏｕｔ）との間に所定のビーム軸ズレ量を形成するように構成する。本実施の形態では、例えば、円筒形に形成した第１の光学装置１６の中心線に入射光軸（Ｄｉｎ）の中心線を合わせたときは、出射光軸（Ｄｏｕｔ）の中心線が第１の光学装置１６の中心線から後方上部にズレて、ビーム軸ズレ量を形成している。このビーム軸ズレ量に合致するように第１の光学装置１６の中心線上に入射口４６ａを設け、第１の光学装置１６の中心線から上方にオフセットした出射口５０ａを設けるとよい。
【００５９】
一方、第２レンズ１４を通過した映像ビームは、所定のビームサイズを有する入射光軸（Ｄｉｎ）を形成し第２の光学装置１８の入射口４６へ入射する。入射した映像ビームは、前段のアナモルフィックプリズム４８と後段のアナモルフィックプリズム４９により図中の縦方向に圧縮され出射口５０から所定のビームサイズを有する出射光軸（Ｄｏｕｔ）を形成して次段のミラー５１へ出射される。
【００６０】
第２の光学装置１８は、入射する画像を垂直方向に偏向させて撮像装置１９に出射させる。すなわち、映像ビームの入射光軸（Ｄｉｎ）と出射光軸（Ｄｏｕｔ）との間に所定のビーム軸ズレ量を形成するように構成する。本実施の形態では、例えば、円筒形に形成した第２の光学装置１８の中心線に入射光軸（Ｄｉｎ）の中心線を合わせたときは、出射光軸（Ｄｏｕｔ）の中心線が第２の光学装置１８の中心線から後方下部にズレて、ビーム軸ズレ量を形成している。このビーム軸ズレ量に合致するように第２の光学装置１８の中心線上に入射口４６を設け、第２の光学装置１８の中心線から下方にオフセットした出射口５０を設けるとよい。
【００６１】
ミラー５１とミラー５１との間に位置する集光ミラーは、上下方向に圧縮された左右の映像ビームを次段の結像レンズ５３へ導き、結像レンズ５３は第１レンズ１３に対応する圧縮映像ビームを撮像装置１９の上部撮像部に位置する第１の撮像領域５４に結像すると共に、第２レンズ１４に対応する圧縮映像ビームを撮像装置１９の下部撮像部に位置する第２の撮像領域５６に結像する。但し、本発明は本実施の形態で図示する結像構成に限定されるものではなく。例えば、集光ミラーと結像レンズ５３を再構成し、結像レンズ５３が第１レンズ１３に対応する圧縮映像ビームを第２の撮像領域５６に結像させ、第２レンズ１４に対応する圧縮映像ビームを第１の撮像領域５４に結像させるように構成することもできる。
【００６２】
撮像装置１９は、タイミング制御装置（ＴＧ）５８と自動利得制御装置（ＡＧＣ）６６に接続され、クロック信号（ＣＬＫ）に同期したタイミング制御装置５８からの駆動信号により、撮像した圧縮映像信号を水平方向に設けられた走査線毎にＡＧＣ６６へシリアル出力する。ＡＧＣ６６は、画素信号の利得を自動制御し調整したアナログ信号を次段のアナログデジタル変換器Ａ／Ｄ６８へ出力する。このＡ／Ｄ６８は、画素のアナログ信号をデジタル信号へ変換し制御装置２内部のＩ／Ｆ１５へ圧縮映像のデジタル情報を送信する。
【００６３】
図４は、本発明の実施の形態であるステレオカメラに用いる光学系の模式的な外観斜視図である。光学系は、円筒形ケースにアナモルフィックプリズムを収納した第１の光学装置１６の前方に第１レンズ１３を配置し、この第１レンズ１３の周囲を取り囲む複数の赤外線発光素子１７を有する第１光学系と、この第１光学系と水平方向に所定の間隔Ｗだけ離して視差を形成させ、円筒形ケースにアナモルフィックプリズムを収納した第２の光学装置１８の前方に第２レンズ１４を配置し、この第２レンズ１４の周囲を取り囲む複数の赤外線発光素子１７を有する第２光学系と、第１及び第２光学系から入射する映像を各々上下に圧縮して同時に撮像する撮像装置１９と、を備え、撮像装置１９はケーブルによりＩ／Ｆ部１５に接続されている。
【００６４】
この複数の赤外線発光素子１７の自動点灯により、夜間又は暗闇でも人物１２を撮像することができる。また、撮像装置１９は左右の視差によるステレオ映像を撮像部の上下に分割して各々撮像するように構成するとよい。なお、本実施の形態では、赤外線発光素子１７は赤外線発光ＬＥＤを用いることができる。
【００６５】
図５は、本発明の実施の形態であるステレオカメラに用いる光学装置の模式的な側面図である。図示する光学装置は、図３のＡからＡ‘の一点鎖線方向に切出した横断面図で示すものとする。この光学装置は、円筒形ケースで構成し、入射口４６と出射口５０との間に前段のアナモルフィックプリズム４８と後段のアナモルフィックプリズム４９を備える。
【００６６】
前段と後段のアナモルフィックプリズムのペアによるアナモルフィック縮小機構は、２分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を２１．２度、前段アナモルフィックプリズム４８の角度ｄ２を６．０度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを５．３ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを５．１ｍｍにすることができる。
【００６７】
同様に、３分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を３０．４度、前段アナモルフィックプリズム４８の角度ｄ２を０．１度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを６．４ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを６．４ｍｍにすることができる。
【００６８】
同様に、４分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を３５．２度、前段アナモルフィックプリズム４８の角度ｄ２を−２．５度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを７．０ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを７．１ｍｍにすることができる。
【００６９】
同様に、５分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を３８．２度、前段アナモルフィックプリズム４８の角度ｄ２を−３．９度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを７．４ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを７．６ｍｍとすることができる。
【００７０】
同様に、６分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を３８．２度、前段アナモルフィックプリズム４８の角度ｄ２を−３．９度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを７．７ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを７．９ｍｍとすることができる。
【００７１】
また、上述したビーム軸ズレを出射光軸の中心から入射光軸の中心までの距離ｄとした場合、アナモルフィック倍率が２分の１で５．７ｍｍ、アナモルフィック倍率が３分の１で７．７ｍｍの出射口５０と入射口４６との光軸ズレ量を生成する。
【００７２】
図６の模式的なブロック図を参照して、三角法を用いたステレオカメラと人物１２との距離（位置）の算出方法について説明をする。ステレオカメラは、略水平方向から人物１２を撮像し、図上部に示すように第１の光学装置１６と第２の光学装置１８は水平方向に平行に左右に配置され、ＡからＡ‘までのクランク状の一点鎖線により切出した断面を図示して距離（位置）の測定原理を例示する。なお、上述した実施の形態と共通する部材については重複する説明を省略する。
【００７３】
ここで、ｗは左右に配置した第１の光学装置１６と第２の光学装置１８との光軸間距離（基線長）、ｆは各光学装置の受光レンズを単一レンズとしたときのレンズ焦点距離、ｄは第１の光学装置１６と第２の光学装置１８による撮像装置１９の撮像面上の視差とする。ここでの焦点距離ｆは、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離ｆとする。これにより対象とする人物１２と撮像装置１９との距離ａは次式で算出できる。なお、焦点距離ｆは、便宜上、直線距離で図示しているが、典型的には反射鏡で偏向される場合、その偏向を考慮し展開した光路長を用いて演算処理される。
ａ ＝ ｗ × ｆ／ｄ ………（１）
【００７４】
このようにして、第１と第２の光学装置１６、１８を経由して撮像した撮像装置１９からステレオ画像を取得したセンサ制御部６０は、内部の差画像形成部６２により第１の撮像領域の差画像と第２の撮像領域の差画像を形成し、この２つの差画像を相関出力演算部６４により相関処理し、相関処理信号として１つのライン同士における最大の相関出力値を得た視差情報を制御装置２へ出力することにより、撮像装置１９から人物１２までの距離を算出する。
【００７５】
また、予め測定した背景と撮像装置１９との基準距離ｈから人物１２までの距離を減算して人物１２との距離値ｚを算出し、距離値ｚを距離演算部２６に一時記憶することもできる。
【００７６】
図７は、本発明の実施の形態であるステレオカメラに用いる撮像装置１９の平面図である。撮像装置１９は、外周部にリード端子を備え、表面に略正方形の撮像面の上部に設けた第１の撮像領域５４と、撮像面の下部に設けた第２の撮像領域５６とを有し、この第１の撮像領域５４と第２の撮像領域５６は水平方向の中心線７０により区分けされている。
【００７７】
第１の撮像領域５４は、第１レンズ１３から入射し結像した人物１２ｂの映像を受光し、第２の撮像領域５６は、第２レンズ１４から入射し結像した人物１２ａの映像を受光する。第１及び第２の撮像領域に受光している人物の映像は共に、上下方向に圧縮した圧縮映像である。例えば、両撮像領域には二点鎖線で示す走査線部に人物の頭部、肩部、胴部、膝部、踵部が上部の１番目から下部の６番目の順に各々撮像されている。
【００７８】
ステレオカメラによる距離測定方法は、種々の距離測定方法を選択することができる。例えば、第１の撮像領域５４に配設された１番目の走査線上に結像する人物１２ｂの頭部左側エッジと第２の撮像領域５６に配設された１番目の走査線上に結像する人物１２ａの頭部左側エッジとの相関出力値だけを用いる距離測定方法や、人物１２ｂの頭部右側エッジと人物１２ａの頭部右側エッジとの相関出力値を追加する距離測定方法や、第２番目の各走査線上に結像する人物１２ｂと人物１２ａの肩部の左右端部エッジの相関出力値を追加する距離測定方法や、第１番目から第６番目までの各走査線上に結像する人物１２ｂと人物１２ａの左右端部エッジの相関出力値を用いる距離測定方法の中から適宜選択し、監視対象物に合致するように相関処理の対応点を設定する。
【００７９】
ステレオカメラ１は、複数の対応点から相関出力値を得て距離演算をする場合、各相関処理値を平均化して高精度の距離測定を行うこともできるが、対応点（又は走査線）の数を減少させて距離測定処理を高速化することもできる。要は、アプリケーションに対応させて精度を優先させるか検知速度を優先させるか任意に設定することができる。
【００８０】
図８のフローチャートを参照して、ステレオカメラの処理フローを例示する。ここで、左画像は第１の撮像領域５４で撮像された画像であり、右画像は第２の撮像領域５６で撮像された画像として説明する。処理はスタートステップＳ１１から開始し制御装置２が第１の撮像領域５４と第２の撮像領域５６で撮像された左画像と右画像のフレームを、Ｉ／Ｆ部１５を介してステレオ画像として取得する。また、取得したステレオ画像はマスク処理を施し人物の監視空間１０外の画像情報を除去することもできる。
【００８１】
制御装置２は、監視空間１０内の人物１２を時点ｔに撮像した第１の画像であるｔフレームの左画像を取得する（ステップＳ１３）。次に、所定時間のΔｔが経過した時点ｔ＋Δｔに撮像された第２の画像であるｔ＋Δｔフレームの左画像を取得する（ステップＳ１４）。
【００８２】
引き続き、ｔフレームの左画像とｔ＋Δｔフレームの左画像との差画像（左）を抽出する（ステップＳ１５）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ１６）を施してから、後続のステップＳ２１の相関処理に移行する。
【００８３】
また、制御装置２は、監視空間１０内の人物１２を時点ｔに撮像した第３の画像であるｔフレームの右画像を取得する（ステップＳ１７）。次に、所定時間のΔｔ経過した時点ｔ＋Δｔに撮像した第４の画像であるｔ＋Δｔフレームの右画像を取得する（ステップＳ１８）。
【００８４】
引き続き、ｔフレームの右画像とｔ＋Δｔフレームの右画像との差画像（右）を抽出する（ステップＳ１９）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ２０）を施してから、後続のステップＳ２１の相関処理に移行する。
【００８５】
本実施の形態では、第１の撮像装置と第２の撮像装置は同時並列的に各時点（ｔ、ｔ＋Δｔ）で撮像を行う。この場合Δｔは、計数装置の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００８６】
次に、ｔフレームの左画像のコントラストが強い人物１２の輪郭を用いてｔフレームの右画像の対応点を探索し相関処理を実行する（ステップＳ２１）。この相関処理により得られた対応点から、撮像装置１９と人物１２までの位置に対応する距離情報を算出する（ステップＳ２２）。例えば、左画像と右画像を一致させる画素数に基づき人物１２の距離を三角法に基づき演算出力する。
【００８７】
上記ステップＳ２２により得られた距離情報を時間軸に対応させてバッファリングし、人物１２の距離情報を含む時空間画像を作成し、輪郭で囲まれた人物１２の面積を大きさ情報として算出し記憶部３１へ時系列に記憶する（ステップＳ２３）。
【００８８】
引き続き、ステップＳ２４で、バッファリングした時空間画像の先頭から距離情報を順次読出し、人物１２が撮像装置１９方向に接近したか否かを判定する。
【００８９】
例えば、人物１２の輪郭を示す画素アドレスが変化したことを検出し、直前の人物１２の距離情報と比較する。人物１２の距離が撮像装置１９に接近（ステップＳ２４がＹｅｓ）したときは、処理をステップＳ２５へ分岐させ演算部３０から制御信号としての検出信号を出する。一方、人物１２の距離が撮像装置１９に接近又は変化していない場合は、処理をステップＳ２８へ分岐し、検出信号をＯＦＦに遷移させてから節点Ｎ１２へ処理を移行させステップＳ１３及びステップＳ１７を実行するように制御する。
【００９０】
また、制御装置２は、処理をステップＳ２６へ移行しタイマを増分させ、ステップＳ２７の判定処理へ移行する。
【００９１】
ステップＳ２７は、タイマがタイムアップしたか否かを判定し、タイマが所定の時間を経過するまでステップＳ２５からステップＳ２６の処理を繰り返すように制御する。すなわち、タイムアップしていない（ステップＳ２７がＮＯ）ときは処理をステップＳ２５へ分岐し、タイムアップした（ステップＳ２７がＹＥＳ）ときは処理を節点Ｎ１２へ分岐させステップＳ１３及びステップＳ１７を実行するように制御する。
【００９２】
上述した実施の形態によれば、水平方向に所定の間隔だけ離して監視空間１０に向けて配置した第１レンズと第２レンズの視差により、三角法を用いて人物１２の位置を示す撮像装置１９と人物１２との距離を測定することができる。
【００９３】
また、被写体となる人物１２の映像を圧縮光学手段としてのアナモルフィックプリズム又は円筒型レンズにより短軸方向として垂直（上下）方向に圧縮させて撮像装置１９の撮像面に受光させるため、撮像装置１９の上部に位置する第１の撮像領域に第１レンズから入射した映像を受光させ、下部に位置する第２の撮像領域に第２レンズから入射した映像を受光させることができる。
【００９４】
短軸方向に圧縮した圧縮映像は、水平走査線方向に圧縮されていないため、監視精度を維持することができる。しかも、相関処理に用いる走査線の数を減少させることができるので、撮像装置１９から読み出す画素データも減少させることができ、高速画像処理が可能となる。すなわち、入射するステレオ画像を縦方向に圧縮して１つの撮像装置１９に結像させるため、高精度で高速画像処理を遂行するステレオカメラを提供することができる。但し、本発明のステレオカメラに適用する短軸方向は上述した上下方向に限定するものではなく、水平走査線方向に短軸方向を設定し画像を左右方向に圧縮してから、１つの撮像装置１９に結像し撮像面の上下又は左右に受光させることもできる。すなわち、監視精度は減少しても単一の撮像装置に２つの圧縮映像を並行して結像させることができるため、ハードウエアの節減が可能である点で有利である。
【００９５】
図９は、本発明の他の実施の形態であるステレオカメラの模式的な系統図である。ステレオカメラ１は、三次元の監視空間１０に存在する監視対象物としての人物１２を監視する。人物１２は、床面５７上に直立し壁面４４に沿って床面上に規定された遠方線４２と撮像装置設置線４３との間で移動しているものとする。
【００９６】
ステレオカメラ１は、監視空間１０に向けて入射光軸を設定し、経時的に形状が変化をする人物１２の映像を入射させる第１の光学系としての第１レンズ１３と、第１の光学系としての第１レンズ１３から垂直方向に所定の間隔Ｗだけ離して、監視空間１０に向けて入射光軸を設定し、経時的に形状が変化をする人物１２の映像を入射する第２の光学系としての第２レンズ１４と、第１レンズ１３から入射する画像を短軸方向（図中の横方向）に圧縮し縦（垂直）方向に延在する走査線を有する撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２レンズ１４から入射する画像を短軸方向（図中の横方向）に圧縮し縦（垂直）方向に延在する走査線を有する撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された人物１２の映像と所定時間遅れて撮像された人物１２の映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による人物１２の映像の差画像（ＣＣＤ１：差）と第２の光学装置１８による人物１２の映像の差画像（ＣＣＤ２：差）に基いて、監視対象物１２の距離（又は位置）を相関演算する演算部３０と、を備え、例えば、移動している人物１２を撮像している。
【００９７】
本実施の形態でも、短軸方向に圧縮した圧縮映像は、垂直方向に配置した走査線方向に圧縮されていないため、監視精度を維持することができる。しかも、相関処理に用いる走査線の数を減少させることができるので、撮像装置１９から読み出す画素データも減少させることができ、高速画像処理が可能となる。すなわち、入射するステレオ画像を横方向に圧縮して１つの撮像装置１９に結像させるため、高精度で高速画像処理を遂行するステレオカメラを提供することができる。但し、本発明のステレオカメラに適用する短軸方向は上述した上下方向に限定するものではなく、水平走査線方向に短軸方向を設定し画像を左右方向に圧縮してから、１つの撮像装置１９に結像し撮像面の上下又は左右に受光させることもできる。すなわち、監視精度は減少しても単一の撮像装置に２つの圧縮映像を並行して結像させることができるため、ハードウエアの節減が可能である点で有利である。
【００９８】
以上のような本実施の形態によれば、監視空間１０の中の人物１２の動きを検知して、人物１２の部位が所定方向に緩やかに移動していることや、急峻に移動しているといったパターン認識を正確かつ非常に容易に行うことができる。しかも、撮像装置１９より画像フレーム全体の情報を取得し処理することがないため、複雑かつ大容量の画像処理を必要とせず、比較的簡単なデジタル回路やアナログ回路、もしくはこれらの組み合わせで、非常に安価な装置を構築することができる。
【００９９】
また、夜間又は暗闇の状態でも赤外線撮像により人物１２のビデオ信号を得ることができるため、人物１２を可視光線で刺激することもなく、人物１２の動作を記録することができるシステムとしても非常に有効である。
【０１００】
さらに、ステレオカメラ１による距離演算は、入射する画像情報を補正し測定精度を向上させ、例えば、監視対象物の系時的変化を考慮せずに純粋に撮像装置１９と監視対象物との距離を測定する距離測定装置として機能させることもできる。この場合、ステレオカメラ１は、リアルタイムに距離を測定するため、砂防ダムの監視や活断層の監視に活用することができ、地形や断層の変化を逐次監視することができる。
【０１０１】
本発明の監視装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、監視空間１０内の人物１２の動きを監視するように説明したが、他に自律式ロボットのような機械の部位が動作する形状変化を監視するシステムを構成してもよい。また、制御装置２内部の検知部３２により検知信号を取得するシーケンスも上述した処理フローに限定するものではなく。例えば、第１の光学装置１６による映像と第２の光学装置１８による映像との差を判定し、撮像装置１９と監視対象物との距離を測定してから、Δｔ時刻後に同様の映像差を判定し監視対象物の経時的変化を記録するように構成することもできる。
【０１０２】
【発明の効果】
以上のように本発明によれば、監視空間１０に向けて入射光軸を設定し、経時的に変化をする監視対象物１２の映像を入射させる第１の光学系１３と、第１の光学系１３から所定の間隔だけ離して、監視空間１０に向けて入射光軸を設定し、経時的に変化をする監視対象物１２の映像を入射させる第２の光学系１４と、第１の光学系１３から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２の光学系１４から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された映像と所定時間遅れて撮像された映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算する演算部３０と、を備えるので、ステレオカメラ機構を簡略化し、従来に比して高速画像取込処理が可能なステレオカメラを提供する、という優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態であるステレオカメラの模式的な系統図である。
【図２】本発明の実施の形態であるステレオカメラの原理図である。
【図３】本発明の実施の形態であるステレオカメラの模式的な系統図である。
【図４】本発明の実施の形態であるステレオカメラに用いる光学系の模式的な外観斜視図である。
【図５】本発明の実施の形態であるステレオカメラに用いる光学装置の模式的な側面図である。
【図６】本発明の実施の形態のステレオカメラの模式的なブロック図である。
【図７】本発明の実施の形態であるステレオカメラに用いる撮像装置の平面図である。
【図８】本発明の実施の形態のステレオカメラのフローチャート図である。
【図９】本発明の他の実施の形態であるステレオカメラの模式的な系統図である。
【符号の説明】
１ ステレオカメラ
２ 制御装置
１０ 監視空間
１２ 監視対象物
１３ 第１レンズ
１４ 第２レンズ
１６ 第１の光学装置
１７ 赤外線発光素子
１８ 第２の光学装置
１９ 撮像装置
２０、２１、２２、２３ 撮像信号記憶部
２４、２５ 差画像形成部
２６ 距離演算部
２７ 大きさ演算部
２９ 照度測定部
３０ 演算装置
３１ 記憶部
３２ 検知部
４８ 前段アナモルフィックプリズム
４９ 後段アナモルフィックプリズム
５３ 結像レンズ
５４ 第１の撮像領域
５６ 第２の撮像領域
６０ センサ制御部
６２ 差画像形成部
６４ 相関出力演算部
【発明の属する技術分野】
本発明は、ステレオカメラに係り、特にＣＣＤカメラやＣＭＯＳセンサ等を用いて三次元の監視空間内に位置する人体や動物や物体の移動方向の変化を検知するステレオカメラに関するものである。
【０００２】
【従来の技術】
一般に、逐次処理が可能な通過物体計数装置に用いるステレオカメラは、平面に沿って平面上の基準線を通過する通過物体を撮像する２台の撮像装置が平面に対向して設けられている。この２台の撮像装置によって撮像された通過物体の画像同士を比較して、通過物体上の基準線に沿った複数の部位に関して、通過物体の平面に交差する奥行方向の奥行情報と複数の部位のうち少なくとも１つの部位に関して、基準線に垂直で平面に平行な進行方向の速度情報を、時系列的に取得し、取得された奥行情報に速度情報で重み付けした値を基準線に沿って速度の向き別に加算した値を時間積分するように構成された通過物体計数装置が知られている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００２−１７５５１３号公報（段落００２５、図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のステレオカメラは、上述の如く、平面に対向して２台の撮像装置を設け撮像された通過物体の画像同士を比較するため、少なくとも２台の撮像装置による画像入力機構を必要とし、ハードウエアを削減させ画像取込処理を簡略化させようという技術的な課題が存在していた。
【０００５】
そこで本発明は、ステレオカメラ機構を簡略化し、従来に比して高速画像取込処理が可能なステレオカメラを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明によるステレオカメラは、例えば図１に示すように、三次元の監視空間１０における監視対象物１２を撮像するステレオカメラであって、監視空間１０に向けて入射光軸を設定し、経時的に変化をする監視対象物１２の映像を入射させる第１の光学系１３と、第１の光学系１３から所定の間隔だけ離して、監視空間１０に向けて入射光軸を設定し、経時的に変化をする監視対象物１２の映像を入射させる第２の光学系１４と、第１の光学系１３から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２の光学系１４から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された映像と所定時間遅れて撮像された映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算する演算部３０と、を備える。
【０００７】
ここで、請求項１に記載の第１の光学装置１６と第２の光学装置１８は、典型的にはアナモルフィックプリズム又は円筒型レンズを用いることができ、撮像装置１９は、ＣＣＤエリアセンサやＣＭＯＳセンサを配置し三角法で監視対象物１２との距離（位置）を測定するパッシブ型距離検出装置を用いることができる。
【０００８】
このように構成すると、第１の光学系１３から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２の光学系１４から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された映像と所定時間遅れて撮像された映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算する演算部３０と、を備えるので、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算することができる。
【０００９】
上記目的を達成するために、請求項２に係る発明による請求項１に記載のステレオカメラは、例えば図３に示すように、第１及び第２の光学装置１６、１８は、各々の画像を入射し、１対のアナモルフィックプリズム又は円筒レンズにより入射光軸（Ｄｉｎ）と異なる出射光軸（Ｄｏｕｔ）から各画像を撮像装置１９へ圧縮して入射させるように構成する。
【００１０】
このように構成すると、各画像を撮像装置１９へ圧縮して入射させることができる。
【００１１】
上記目的を達成するために、請求項３に係る発明による請求項１又は請求項２に記載のステレオカメラは、例えば図１に示すように、演算装置３０は、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、相関演算し三角法により撮像装置１９と監視対象物１２との距離を演算するように構成する。
【００１２】
このように構成すると、映像の差画像に基いて、相関演算し三角法により撮像装置１９と監視対象物１２との距離を演算することができる。
【００１３】
上記目的を達成するために、請求項４に係る発明による請求項１又は請求項２に記載のステレオカメラは、例えば図３に示すように、第１の光学系１３と第２の光学系１４の入射光軸は、略水平方向に視差を形成するように並行に配置すると共に、第１の光学装置１６と第２の光学装置１８は入射する各画像を垂直方向に偏向させて撮像装置１９に出射させるように構成する。
【００１４】
このように構成すると、第１の光学系１３と第２の光学系１４の入射光軸は、略水平方向に視差を形成するように並行に配置し、第１の光学装置１６と第２の光学装置１８は入射する各画像を垂直方向に偏向させて撮像装置１９に出射させるので、略水平方向の視差による画像変位の質を維持することができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１６】
図１は、本発明による実施の形態であるステレオカメラ１の模式的な系統図である。ステレオカメラ１は、三次元の監視空間１０に存在する監視対象物としての人物１２を監視する。人物１２は、床面５７上に直立し壁面４４に沿って床面上に規定された遠方線４２と撮像装置設置線４３との間で移動しているものとする。
【００１７】
ステレオカメラ１は、監視空間１０に向けて入射光軸を設定し、経時的に形状が変化をする人物１２の映像を入射させる第１の光学系としての第１レンズ１３と、第１の光学系としての第１レンズ１３から所定の間隔Ｗだけ水平方向に離して、監視空間１０に向けて入射光軸を設定し、経時的に形状が変化をする人物１２の映像を入射する第２の光学系としての第２レンズ１４と、第１レンズ１３から入射する画像を短軸方向（図中の縦方向）に圧縮し水平方向に走査線を配置する撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２レンズ１４から入射する画像を短軸方向（図中の縦方向）に圧縮し水平方向に走査線を配置する撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された人物１２の映像と所定時間遅れて撮像された人物１２の映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による人物１２の映像の差画像（ＣＣＤ１：差）と第２の光学装置１８による人物１２の映像の差画像（ＣＣＤ２：差）に基いて、監視対象物１２の距離（又は位置）を相関演算する演算部３０と、を備え、例えば、移動している人物１２を撮像している。
【００１８】
上記第１レンズと第２レンズの周囲には、複数の赤外線発光素子１７を配置し、制御装置２内に設けられた照度測定部２９の照度測定値に基き夜間又は暗闇状態で赤外線発光素子１７を自動点灯し人物１２を赤外線撮像するように構成している。また、撮像装置１９は、制御装置２に信号ケーブルで接続され、第１と第２の撮像領域により撮像したステレオ画像信号を制御装置２のインターフェースＩ／Ｆ部１５へ送信する。
【００１９】
制御装置２は、内部にＩ／Ｆ部１５と、Ｉ／Ｆ部１５に接続する演算部３０と、演算部３０に接続する記憶部３１と、演算部３０に接続する照度測定部２９と、演算部３０に接続する検知部３２と、この検知部３２に接続する検知信号の送信部３８とを備える。
【００２０】
また、検知部３２は、信号ライン３３を介して形状変化報知手段としてのスピーカ３４に接続され、人物１２の移動に伴う形状変化をスピーカ３４からの発信音により報知する。さらに、検知部３２は、送信部３８を介してデータレコーダ３５に接続され、人物１２の移動に伴う形状変化をデジタル信号又はアナログ信号を用いてデータレコーダ３５に逐次記憶させることができる。
【００２１】
上記記憶部３１は、第１の撮像領域で撮像した撮像信号を記憶する第１の時刻Ｔ０の撮像信号記憶部２０と第２の時刻Ｔ１の撮像信号記憶部２１、第２の撮像領域で撮像した撮像信号を記憶する第１の時刻Ｔ０の撮像信号記憶部２２と第２の時刻Ｔ１の撮像信号記憶部２３が設けられている。
【００２２】
上記演算部３０は、第１の撮像領域による差画像（ＣＣＤ１：差）を形成する第１の差画像形成部２４、第２の撮像領域による差画像（ＣＣＤ２：差）を形成する第２の差画像形成部２５、第１の撮像領域による差画像（ＣＣＤ１：差）と第２の撮像領域による差画像（ＣＣＤ２：差）とを相関処理し、監視対象物としての人物１２の位置を示す撮像装置１９と人物１２との距離を演算処理する距離演算部２６、撮像された人物１２の輪郭で囲まれた領域を特定し人物１２の大きさを演算する大きさ演算部２７を備える。
【００２３】
図１の系統図を参照して、ステレオカメラ１の動作について説明をする。第１レンズ１３と第２レンズ１４は共に、被写体として人物１２の光学的映像を入射する１又は複数のレンズで構成する。第１レンズ１３から入射した映像は、アナモリフィックプリズム又は円筒レンズのような第１の光学装置１６により、図中の縦方向に圧縮（上下に圧縮）され撮像装置１９の中心線から上側に位置する第１の撮像領域へ圧縮結像する。同様に、第２レンズ１４から入射した映像は、アナモリフィックプリズム又は円筒レンズのような第２の光学装置１８により、図中の縦方向に圧縮（上下に圧縮）され撮像装置１９の中心線から下側に位置する第２の撮像領域へ圧縮結像する。すなわち、単一の撮像装置１９の撮像部を上下に分割し、第１レンズ１３からの映像を上部領域に結像させ第２レンズからの映像を下部領域に結像させることができる。
【００２４】
ここで、撮像装置１９は撮像面に所定本数の走査線を水平方向に配置し、受光した画素信号をパラレル方式でシフトレジスタへ転送し、シフトレジスタから走査線単位で外部にシリアル出力するインタライン方式のＣＣＤセンサやフレームトランスファ方式のＣＣＤセンサを用いることができる。また、走査線上のピクセルをアドレス指定して電位を検知するＭＯＳセンサも用いることができる。
【００２５】
また、撮像装置１９の走査線の本数は、例えば、約５００本有し、各走査線には約５００ピクセルの画素を備えている。また本実施の形態では、第１の撮像領域と第２の撮像領域は、典型的には同数の走査線を具備するように、撮像面を略水平方向の中心線から上部に第１の撮像領域を設け、中心線から下部に第２の撮像領域を設けるとよい。この場合、各撮像領域には各々約２５０本の走査線が配置されていることになる。
【００２６】
制御装置２は、撮像装置１９から撮像信号を受信し、第１の撮像領域と第２の撮像領域に形成された画像を抽出する。また、シリアル出力する走査線は、撮像装置１９が有する５００本の走査線を全て抽出してもよく。撮像面を所定の間隔に区切る本数でシリアル出力させてもよい。
【００２７】
例えば、人物１２の全体像を検出する場合は約１００ｍｍ間隔の映像を撮像する走査線を抽出し、人物１２の形状変化を詳細に検出する場合は約５０ｍｍ間隔の映像を撮像する走査線を抽出し、その他、人物１２の細部を検出する場合は約１０ｍｍ間隔の映像を撮像する走査線を抽出するように個別に設定することもできる。例えば、人物１２の左右何れかの部位（腕）が上下方向又は遠近方向に移動したことを検知するには、少なくとも各撮像領域の走査線が約２５０本としたときに、等間隔毎に１本を選択し第１の撮像領域から約２０本の走査線を抽出し、第２の撮像領域から約２０本の走査線を抽出すればよい。
【００２８】
ステレオカメラ１は、第１の撮像領域が時刻Ｔ０に撮像した人物１２の画像信号をＩ／Ｆ部１５を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２０へ記憶する。また、第２の撮像領域で時刻Ｔ０に撮像した人物１２の画像信号をＩ／Ｆ部１５を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２２へ記憶する。
【００２９】
引き続き、第１の撮像領域が時刻Ｔ０より所定時間遅れて撮像された時刻Ｔ１の人物１２の画像信号をＩ／Ｆ部１５を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２１へ記憶する。また、第２の撮像領域で時刻Ｔ０より所定時間遅れて撮像された時刻Ｔ１の人物１２の画像信号をＩ／Ｆ部１５を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２３へ記憶する。
【００３０】
演算部３０は、各撮像信号に含まれる走査線上に形成される各画像の画像情報から差画像を形成する差画像形成手段としての機能を備えている。画像情報は、典型的には画像を構成する画素（ピクセル）の画素値である。
【００３１】
演算部３０は、第１の撮像領域で撮像した時刻Ｔ０の人物１２の画像と時刻Ｔ１の人物１２の画像との差画像（ＣＣＤ１：差）を逐次演算処理し、第１の撮像領域の差画像形成部２４に差画像を一時記憶する。また、第２の撮像領域で撮像した時刻Ｔ０の人物１２の画像と時刻Ｔ１の人物１２の画像との差画像（ＣＣＤ２：差）を逐次演算処理し、第２の撮像領域の差画像形成部２５に差画像を一時記憶する。この差画像は、人物１２の動いた部分を抽出した人物１２の輪郭（エッジ）を示す画像情報である。
【００３２】
差画像を形成するための２つの画像は、撮像時刻Ｔ０から所定の時間だけ遅れた撮像時刻Ｔ１により各々取得するが、ずらす遅延時間は、人物１２の部位の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０秒〜１／３秒）とする。このような差画像を演算して取得すると人物１２の背景が除去され動きのある人物１２の像だけを抽出することができる。
【００３３】
また、演算部３０は、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段としての機能を備えている。
【００３４】
撮像装置１９の走査線上に形成された画像は、背景は動くことがないので、動いている人物１２の境界部はその画素値が急激に変化する。そこで、演算部３０は、第１の差画像形成部２４と第２の差画像形成部２５から各差画像を読み出し、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を人物１２の境界とみなすことができる。ここで、境界を最大の領域としたのは、人物１２が身に付けている服装、手袋等の模様の動きにより、境界部以外にも区切られた領域の中で、閾値の小さい画素値が変化する場合があるからである。
【００３５】
距離演算部２６は、差画像形成部２４と差画像形成部２５で形成し一時記憶された、第１の撮像領域による像の差画像（ＣＣＤ１：差）と第２の撮像領域による像の差画像（ＣＣＤ２：差）に基いて、相関処理を施すことにより人物１２の位置を示す撮像装置１９と人物１２との距離を演算処理し、演算結果を検知部３２へ送信する。
【００３６】
すなわち、距離演算部２６は、第１の撮像領域と第２の撮像領域により撮像された各々の画像に対応する差画像から抽出された最大の領域同士の相関出力値を算出し、その最大相関出力値を得た位置を算出する相関出力算出手段としての機能を備えている。距離演算部２６は、演算した相関出力値に基づき撮像装置１９と人物１２までの距離を算出する。
【００３７】
距離演算部２６は、例えば、走査線に形成された差画像から最大の領域の画像情報を抽出し、人物１２の動きによって、コントラストの変化が激しかった点を特定する。また、第１の撮像領域の走査線と同様に、第２の撮像領域の走査線上に形成された差画像の最大領域の画像情報を抽出する。各々抽出された差画像の最大領域の画像情報を比較した場合、第１レンズ１３と第２レンズ１４との視差の関係から僅かに両撮像領域に形成される差画像の最大領域の位置が異なる領域画像を抽出したことが判明する。
【００３８】
引き続き、距離演算部２６は、第１の撮像領域による差画像（ＣＣＤ１：差）と第２の撮像領域による差画像（ＣＣＤ２：差）との相関処理を施し、その相関ピークが最大になった位置を計測することにより、２つの差画像間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を演算し検知部３２へ送信する。
【００３９】
ここで相関出力値とは、第１レンズ１３と第２レンズとの視差により発生する第１の撮像領域と第２の撮像領域との相対的結像位置差のことであり、相関処理により、典型的には画素数で出力される値である。演算部３０は、この相関出力値により第１の撮像領域の走査線と第２の撮像領域の走査線との視差に基づき、三角法を用いて人物１２の位置を示す撮像装置１９と人物１２との距離を算出する。
【００４０】
また、相関処理とは、第１の撮像領域の走査線と第２の撮像領域の走査線からそれぞれ得られた画像のどちらか一方を、２つの画像がほぼ一致するまで画素単位でずらして、そのずらした量を例えば画素数により示して算出する処理である。２つの差画像が一致するか否かの判定は、一方の差画像を固定し他方の差画像をずらしながら比較したときに重なり合う信号全体の強さに基いて実行する。信号がピークになった座標が一致点であり相関ピーク位置である。
【００４１】
相関処理は、第１の撮像領域、第２の撮像領域に結像した各々の画像に対応する差画像を適正な値で２値化し、そのエッジ部を抽出する事により、動きのある領域部分を抽出し、この抽出領域のみで相関処理を施すように構成してもよい。このように構成すると、相関処理は、２値化した差画像を用いるので、演算処理速度を向上させることができる。
【００４２】
距離演算部２６は、第１の撮像領域と第２の撮像領域により撮像された各々の画像に対応する差画像から抽出された最大の領域の中で、それぞれ所定の閾値より大きな画素の対応を求め、対応する画素の位置ずれに基づき、撮像装置１９と人物１２までの距離を算出するようにしてもよい。この場合、演算部３０は、前述のように差画像から抽出された最大の領域同士の相関出力値を算出せず、最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれを算出することができる。
【００４３】
距離演算部２６は、上述した三角法を用いて対応する画素の位置ずれ、即ち第１レンズ１３と第２レンズ１４との視差に基づき撮像装置１９から人物１２までの距離を算出する。これにより、距離演算部２６は、例えば、閾値を超えた画素に対して、同じ方向から番号付けを行い、対応した番号の画素同士の位置ずれから視差を求めることができる。
【００４４】
このように構成することで、距離演算部２６は、相関処理を省略し、非常に簡単な処理で視差を算出することができる。また距離演算部２６は、例えば、抽出した領域内の模様等によるコントラストの変化によって、閾値を超える画素が多く検出された場合には、上述したエッジ部以外には番号付けを行なわないように処理する。これにより、視差による影響で対応する番号の画素が、本来対応すべき画素とずれてしまうことにより、位置ずれの値に誤差が生じてしまう現象を低減することができる。これは、人物１２までの距離が短いことで視差が大きくなった場合にも有効である。
【００４５】
ステレオカメラ１は、例えば、第１レンズ１３と第２レンズ１４を水平方向に配置した場合に、人物１２の頭部から足先までに対応する映像を第１の光学装置１６と第２の光学装置１８により縦方向に圧縮し、第１の撮像領域と第２の撮像領域の各々の走査線に対応する画像が得られるため、複数の走査線の画像情報を平均化し監視精度を高めることができる。例えば、撮像装置１９の走査線の本数をαとした場合、このα値を平均化することで画像情報の標準偏差はルートα分の１の精度が得られ、ステレオカメラの信頼性を向上させることができる。
【００４６】
引き続き、ステレオカメラ１は、新たな時刻Ｔ０と時刻Ｔ１の撮像信号を第１の撮像領域及び第２の撮像領域から繰り返して取得し、各々の画像に対応する差画像から抽出された最大の領域同士の相関出力値を算出し、その最大相関出力値を得た位置を算出して数秒間のステレオ画像情報に基づく複数の相関出力値を時系列に検知部３２へ送信する。
【００４７】
検知部３２は、時系列に受信した相関出力値を相互に比較して、人物１２の系時的変化を検出する。例えば、人物１２が床面上に規定された遠方線４２から監視空間１０に侵入又は監視空間１０内で移動したときは、スピーカ３４を駆動し鳴音を発生させることができる。また、検知部３２は、送信部３８へ時系列に受信した相関出力値を送信しデータレコーダ３５へ記憶させることもできる。
【００４８】
図２は、本発明の実施の形態であるステレオカメラの原理図である。図中左側の三次元の監視空間に位置するバスケットボールのような球状の監視対象物１２を撮像するステレオカメラは、監視空間に向けて入射光軸（水平方向）を設定し、経時的に変化をする監視対象物１２の映像を入射させる第１の光学系（不図示）と、第１の光学系から所定の間隔だけ離して、監視空間に向けて入射光軸（水平方向）を設定し、経時的に変化をする監視対象物１２の映像を入射させる第２の光学系（不図示）と、第１の光学系から入射する画像を短軸方向に圧縮し走査線方向が図中のＸ軸方向である撮像装置１９の第１の撮像領域５４へ入射させる第１の光学装置１６と、第２の光学系から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域５６へ入射させる第２の光学装置１８と、第１及び第２の光学装置１６、１７と撮像装置１９との間に位置し、第１と第２の光学装置から出射される２つの圧縮映像を略９０度偏向させながら撮像装置１９の受光面に近接して結像させる第３の光学系５２と、を備える。
【００４９】
図２の原理図を参照して、本実施の形態のステレオカメラの動作を説明する。ステレオカメラは、例えば、正面から見て右側にアナモルフィックプリズムのような第１の光学装置１６を配置し、正面から見て左側にアナモルフィックプリズムのような第２の光学装置１８を第１の光学装置１６から所定の距離だけ離して配置する。この所定の距離がステレオカメラの視差に相当する。
【００５０】
監視対象物１２の映像は、第１と第２の光学装置に各々入射し縦方向（図中のＺ軸方向）に圧縮される。この圧縮された２つの映像は圧縮画像として第３の光学系を経由して撮像装置１９の受光面に結像させる。
【００５１】
第１の光学装置１６で圧縮した圧縮画像は、第３の光学装置５２により第３の光学装置５２の中心軸に集光させるよう水平方向（図中のＸ軸方向）に反射される。また、第２の光学装置１８で圧縮した圧縮画像は、第３の光学装置５２により第３の光学装置５２の中心軸に集光させるよう水平方向（図中のＸ軸方向）に反射される。但し、中心軸に集光した２つの圧縮画像は各々オフセット（互いに重なり合わない）されるように反射されるように構成する。
【００５２】
引き続き、オフセットした２つの圧縮画像は垂直方向であるが各々異なる縦方向へ反射し後方の撮像装置１９の撮像面へ結像する。例えば、第１の光学装置１６で圧縮した圧縮画像は撮像装置１９の上部に位置する第１の撮像領域５４へ結像し、第２の光学装置１８で圧縮した圧縮画像は撮像装置１９の下部に位置する第２の撮像領域５６へ結像する。
【００５３】
第１及び第２の撮像領域５４、５６の各々に結像した圧縮画像は、図示するように上下に扁平した楕円球状の画像である。したがって、撮像装置１９の複数の走査線で構成する受光面には２つの楕円球状の画像が同時に結像されることになる。よって、本実施の形態では、従来と同等の本数を備える撮像装置１９でも所定の視差を有する２つの圧縮画像を異なる領域に同時に結像し、後段に設けられた相関演算処理装置により容易にステレオカメラと監視対象物１２との距離を測定することができる。
【００５４】
図３は、本発明の実施の形態であるステレオカメラの模式的な系統図である。図上部に示す光学系正面図には、右側に第１レンズ１３と第１の光学装置１６とを配置し、この第１レンズから所定の間隔だけ離して左側に第２レンズ１４と第２の光学装置１８とを配置しているステレオカメラの入射光学系を示している。この入射光学系を構成する第１の光学装置１６と第２の光学装置１８とを図中のＡからＡ‘の方向へクランク形状の一点鎖線で切り出した側面から見た横断面図を一部に含むステレオカメラの側面図を図下部に示す。
【００５５】
図下部に示すステレオカメラの光学系は、図中の左側から第１の光学系としての第１レンズ１３と第２の光学系としての第２レンズ１４とを配置し、その次段である右側に円筒形の第１の光学装置１６を構成するアナモルフィックプリズム４８ａ、４９ａと円筒形の第２の光学装置１８を構成するアナモルフィックプリズム４８、４９とを配置し、この円筒形の第１及び第２の光学装置１６、１８の次段である図中の右側に集光手段としてのミラー５１ａ、ミラー５１を各々配置し、このミラー５１ａとミラー５１から反射する映像光を次段のミラーで反射させ図中の右側に示す結像レンズ５３に導き、この結像レンズ５３の次段である図中の右側に配置した撮像装置１９を備えている。
【００５６】
図３の模式的な系統図を参照して、ステレオカメラの光学系の動作を説明する。図中の第１レンズ１３及び第１の光学装置１６を第２レンズ１４及び第２の光学装置１８に対して下方に図示しているが、ステレオカメラの光学系を側面から見た場合、両者は重畳し一方の光学系が他方の光学系の後方に位置するため、模式的に左右の入射光軸（Ｄｉｎ）を上下に図示して動作を説明するものとする。
【００５７】
第１レンズ１３を通過した映像ビームは、所定のビームサイズを有する入射光軸（Ｄｉｎ）を形成し第１の光学装置１６の入射口４６ａへ入射する。入射した映像ビームは、前段のアナモルフィックプリズム４８ａと後段のアナモルフィックプリズム４９ａにより図中の縦方向に圧縮され出射口５０ａから所定のビームサイズを有する出射光軸（Ｄｏｕｔ）を形成して次段のミラー５１ａへ出射される。
【００５８】
第１の光学装置１６は、入射する画像を垂直方向に偏向させて撮像装置１９に出射させる。すなわち、映像ビームの入射光軸（Ｄｉｎ）と出射光軸（Ｄｏｕｔ）との間に所定のビーム軸ズレ量を形成するように構成する。本実施の形態では、例えば、円筒形に形成した第１の光学装置１６の中心線に入射光軸（Ｄｉｎ）の中心線を合わせたときは、出射光軸（Ｄｏｕｔ）の中心線が第１の光学装置１６の中心線から後方上部にズレて、ビーム軸ズレ量を形成している。このビーム軸ズレ量に合致するように第１の光学装置１６の中心線上に入射口４６ａを設け、第１の光学装置１６の中心線から上方にオフセットした出射口５０ａを設けるとよい。
【００５９】
一方、第２レンズ１４を通過した映像ビームは、所定のビームサイズを有する入射光軸（Ｄｉｎ）を形成し第２の光学装置１８の入射口４６へ入射する。入射した映像ビームは、前段のアナモルフィックプリズム４８と後段のアナモルフィックプリズム４９により図中の縦方向に圧縮され出射口５０から所定のビームサイズを有する出射光軸（Ｄｏｕｔ）を形成して次段のミラー５１へ出射される。
【００６０】
第２の光学装置１８は、入射する画像を垂直方向に偏向させて撮像装置１９に出射させる。すなわち、映像ビームの入射光軸（Ｄｉｎ）と出射光軸（Ｄｏｕｔ）との間に所定のビーム軸ズレ量を形成するように構成する。本実施の形態では、例えば、円筒形に形成した第２の光学装置１８の中心線に入射光軸（Ｄｉｎ）の中心線を合わせたときは、出射光軸（Ｄｏｕｔ）の中心線が第２の光学装置１８の中心線から後方下部にズレて、ビーム軸ズレ量を形成している。このビーム軸ズレ量に合致するように第２の光学装置１８の中心線上に入射口４６を設け、第２の光学装置１８の中心線から下方にオフセットした出射口５０を設けるとよい。
【００６１】
ミラー５１とミラー５１との間に位置する集光ミラーは、上下方向に圧縮された左右の映像ビームを次段の結像レンズ５３へ導き、結像レンズ５３は第１レンズ１３に対応する圧縮映像ビームを撮像装置１９の上部撮像部に位置する第１の撮像領域５４に結像すると共に、第２レンズ１４に対応する圧縮映像ビームを撮像装置１９の下部撮像部に位置する第２の撮像領域５６に結像する。但し、本発明は本実施の形態で図示する結像構成に限定されるものではなく。例えば、集光ミラーと結像レンズ５３を再構成し、結像レンズ５３が第１レンズ１３に対応する圧縮映像ビームを第２の撮像領域５６に結像させ、第２レンズ１４に対応する圧縮映像ビームを第１の撮像領域５４に結像させるように構成することもできる。
【００６２】
撮像装置１９は、タイミング制御装置（ＴＧ）５８と自動利得制御装置（ＡＧＣ）６６に接続され、クロック信号（ＣＬＫ）に同期したタイミング制御装置５８からの駆動信号により、撮像した圧縮映像信号を水平方向に設けられた走査線毎にＡＧＣ６６へシリアル出力する。ＡＧＣ６６は、画素信号の利得を自動制御し調整したアナログ信号を次段のアナログデジタル変換器Ａ／Ｄ６８へ出力する。このＡ／Ｄ６８は、画素のアナログ信号をデジタル信号へ変換し制御装置２内部のＩ／Ｆ１５へ圧縮映像のデジタル情報を送信する。
【００６３】
図４は、本発明の実施の形態であるステレオカメラに用いる光学系の模式的な外観斜視図である。光学系は、円筒形ケースにアナモルフィックプリズムを収納した第１の光学装置１６の前方に第１レンズ１３を配置し、この第１レンズ１３の周囲を取り囲む複数の赤外線発光素子１７を有する第１光学系と、この第１光学系と水平方向に所定の間隔Ｗだけ離して視差を形成させ、円筒形ケースにアナモルフィックプリズムを収納した第２の光学装置１８の前方に第２レンズ１４を配置し、この第２レンズ１４の周囲を取り囲む複数の赤外線発光素子１７を有する第２光学系と、第１及び第２光学系から入射する映像を各々上下に圧縮して同時に撮像する撮像装置１９と、を備え、撮像装置１９はケーブルによりＩ／Ｆ部１５に接続されている。
【００６４】
この複数の赤外線発光素子１７の自動点灯により、夜間又は暗闇でも人物１２を撮像することができる。また、撮像装置１９は左右の視差によるステレオ映像を撮像部の上下に分割して各々撮像するように構成するとよい。なお、本実施の形態では、赤外線発光素子１７は赤外線発光ＬＥＤを用いることができる。
【００６５】
図５は、本発明の実施の形態であるステレオカメラに用いる光学装置の模式的な側面図である。図示する光学装置は、図３のＡからＡ‘の一点鎖線方向に切出した横断面図で示すものとする。この光学装置は、円筒形ケースで構成し、入射口４６と出射口５０との間に前段のアナモルフィックプリズム４８と後段のアナモルフィックプリズム４９を備える。
【００６６】
前段と後段のアナモルフィックプリズムのペアによるアナモルフィック縮小機構は、２分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を２１．２度、前段アナモルフィックプリズム４８の角度ｄ２を６．０度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを５．３ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを５．１ｍｍにすることができる。
【００６７】
同様に、３分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を３０．４度、前段アナモルフィックプリズム４８の角度ｄ２を０．１度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを６．４ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを６．４ｍｍにすることができる。
【００６８】
同様に、４分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を３５．２度、前段アナモルフィックプリズム４８の角度ｄ２を−２．５度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを７．０ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを７．１ｍｍにすることができる。
【００６９】
同様に、５分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を３８．２度、前段アナモルフィックプリズム４８の角度ｄ２を−３．９度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを７．４ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを７．６ｍｍとすることができる。
【００７０】
同様に、６分の１の縮小率を得るには、後段アナモルフィックプリズム４９の角度ｄ１を３８．２度、前段アナモルフィックプリズム４８の角度ｄ２を−３．９度、前段アナモルフィックプリズム４８の角度ｄ３を２９．２６度、前段と後段のアナモルフィックプリズム間の距離Ｌ１を１．５ｍｍ、後段アナモルフィックプリズム４９の底辺Ｌ２を８．５ｍｍ、後段アナモルフィックプリズム４９の高さ長Ｌ３を１２．０ｍｍに設定し、出射光軸の中心から入射光軸の中心までの距離ｄを７．７ｍｍ、前段アナモルフィックプリズム４８の光軸変位量ｅを７．９ｍｍとすることができる。
【００７１】
また、上述したビーム軸ズレを出射光軸の中心から入射光軸の中心までの距離ｄとした場合、アナモルフィック倍率が２分の１で５．７ｍｍ、アナモルフィック倍率が３分の１で７．７ｍｍの出射口５０と入射口４６との光軸ズレ量を生成する。
【００７２】
図６の模式的なブロック図を参照して、三角法を用いたステレオカメラと人物１２との距離（位置）の算出方法について説明をする。ステレオカメラは、略水平方向から人物１２を撮像し、図上部に示すように第１の光学装置１６と第２の光学装置１８は水平方向に平行に左右に配置され、ＡからＡ‘までのクランク状の一点鎖線により切出した断面を図示して距離（位置）の測定原理を例示する。なお、上述した実施の形態と共通する部材については重複する説明を省略する。
【００７３】
ここで、ｗは左右に配置した第１の光学装置１６と第２の光学装置１８との光軸間距離（基線長）、ｆは各光学装置の受光レンズを単一レンズとしたときのレンズ焦点距離、ｄは第１の光学装置１６と第２の光学装置１８による撮像装置１９の撮像面上の視差とする。ここでの焦点距離ｆは、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離ｆとする。これにより対象とする人物１２と撮像装置１９との距離ａは次式で算出できる。なお、焦点距離ｆは、便宜上、直線距離で図示しているが、典型的には反射鏡で偏向される場合、その偏向を考慮し展開した光路長を用いて演算処理される。
ａ ＝ ｗ × ｆ／ｄ ………（１）
【００７４】
このようにして、第１と第２の光学装置１６、１８を経由して撮像した撮像装置１９からステレオ画像を取得したセンサ制御部６０は、内部の差画像形成部６２により第１の撮像領域の差画像と第２の撮像領域の差画像を形成し、この２つの差画像を相関出力演算部６４により相関処理し、相関処理信号として１つのライン同士における最大の相関出力値を得た視差情報を制御装置２へ出力することにより、撮像装置１９から人物１２までの距離を算出する。
【００７５】
また、予め測定した背景と撮像装置１９との基準距離ｈから人物１２までの距離を減算して人物１２との距離値ｚを算出し、距離値ｚを距離演算部２６に一時記憶することもできる。
【００７６】
図７は、本発明の実施の形態であるステレオカメラに用いる撮像装置１９の平面図である。撮像装置１９は、外周部にリード端子を備え、表面に略正方形の撮像面の上部に設けた第１の撮像領域５４と、撮像面の下部に設けた第２の撮像領域５６とを有し、この第１の撮像領域５４と第２の撮像領域５６は水平方向の中心線７０により区分けされている。
【００７７】
第１の撮像領域５４は、第１レンズ１３から入射し結像した人物１２ｂの映像を受光し、第２の撮像領域５６は、第２レンズ１４から入射し結像した人物１２ａの映像を受光する。第１及び第２の撮像領域に受光している人物の映像は共に、上下方向に圧縮した圧縮映像である。例えば、両撮像領域には二点鎖線で示す走査線部に人物の頭部、肩部、胴部、膝部、踵部が上部の１番目から下部の６番目の順に各々撮像されている。
【００７８】
ステレオカメラによる距離測定方法は、種々の距離測定方法を選択することができる。例えば、第１の撮像領域５４に配設された１番目の走査線上に結像する人物１２ｂの頭部左側エッジと第２の撮像領域５６に配設された１番目の走査線上に結像する人物１２ａの頭部左側エッジとの相関出力値だけを用いる距離測定方法や、人物１２ｂの頭部右側エッジと人物１２ａの頭部右側エッジとの相関出力値を追加する距離測定方法や、第２番目の各走査線上に結像する人物１２ｂと人物１２ａの肩部の左右端部エッジの相関出力値を追加する距離測定方法や、第１番目から第６番目までの各走査線上に結像する人物１２ｂと人物１２ａの左右端部エッジの相関出力値を用いる距離測定方法の中から適宜選択し、監視対象物に合致するように相関処理の対応点を設定する。
【００７９】
ステレオカメラ１は、複数の対応点から相関出力値を得て距離演算をする場合、各相関処理値を平均化して高精度の距離測定を行うこともできるが、対応点（又は走査線）の数を減少させて距離測定処理を高速化することもできる。要は、アプリケーションに対応させて精度を優先させるか検知速度を優先させるか任意に設定することができる。
【００８０】
図８のフローチャートを参照して、ステレオカメラの処理フローを例示する。ここで、左画像は第１の撮像領域５４で撮像された画像であり、右画像は第２の撮像領域５６で撮像された画像として説明する。処理はスタートステップＳ１１から開始し制御装置２が第１の撮像領域５４と第２の撮像領域５６で撮像された左画像と右画像のフレームを、Ｉ／Ｆ部１５を介してステレオ画像として取得する。また、取得したステレオ画像はマスク処理を施し人物の監視空間１０外の画像情報を除去することもできる。
【００８１】
制御装置２は、監視空間１０内の人物１２を時点ｔに撮像した第１の画像であるｔフレームの左画像を取得する（ステップＳ１３）。次に、所定時間のΔｔが経過した時点ｔ＋Δｔに撮像された第２の画像であるｔ＋Δｔフレームの左画像を取得する（ステップＳ１４）。
【００８２】
引き続き、ｔフレームの左画像とｔ＋Δｔフレームの左画像との差画像（左）を抽出する（ステップＳ１５）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ１６）を施してから、後続のステップＳ２１の相関処理に移行する。
【００８３】
また、制御装置２は、監視空間１０内の人物１２を時点ｔに撮像した第３の画像であるｔフレームの右画像を取得する（ステップＳ１７）。次に、所定時間のΔｔ経過した時点ｔ＋Δｔに撮像した第４の画像であるｔ＋Δｔフレームの右画像を取得する（ステップＳ１８）。
【００８４】
引き続き、ｔフレームの右画像とｔ＋Δｔフレームの右画像との差画像（右）を抽出する（ステップＳ１９）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ２０）を施してから、後続のステップＳ２１の相関処理に移行する。
【００８５】
本実施の形態では、第１の撮像装置と第２の撮像装置は同時並列的に各時点（ｔ、ｔ＋Δｔ）で撮像を行う。この場合Δｔは、計数装置の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００８６】
次に、ｔフレームの左画像のコントラストが強い人物１２の輪郭を用いてｔフレームの右画像の対応点を探索し相関処理を実行する（ステップＳ２１）。この相関処理により得られた対応点から、撮像装置１９と人物１２までの位置に対応する距離情報を算出する（ステップＳ２２）。例えば、左画像と右画像を一致させる画素数に基づき人物１２の距離を三角法に基づき演算出力する。
【００８７】
上記ステップＳ２２により得られた距離情報を時間軸に対応させてバッファリングし、人物１２の距離情報を含む時空間画像を作成し、輪郭で囲まれた人物１２の面積を大きさ情報として算出し記憶部３１へ時系列に記憶する（ステップＳ２３）。
【００８８】
引き続き、ステップＳ２４で、バッファリングした時空間画像の先頭から距離情報を順次読出し、人物１２が撮像装置１９方向に接近したか否かを判定する。
【００８９】
例えば、人物１２の輪郭を示す画素アドレスが変化したことを検出し、直前の人物１２の距離情報と比較する。人物１２の距離が撮像装置１９に接近（ステップＳ２４がＹｅｓ）したときは、処理をステップＳ２５へ分岐させ演算部３０から制御信号としての検出信号を出する。一方、人物１２の距離が撮像装置１９に接近又は変化していない場合は、処理をステップＳ２８へ分岐し、検出信号をＯＦＦに遷移させてから節点Ｎ１２へ処理を移行させステップＳ１３及びステップＳ１７を実行するように制御する。
【００９０】
また、制御装置２は、処理をステップＳ２６へ移行しタイマを増分させ、ステップＳ２７の判定処理へ移行する。
【００９１】
ステップＳ２７は、タイマがタイムアップしたか否かを判定し、タイマが所定の時間を経過するまでステップＳ２５からステップＳ２６の処理を繰り返すように制御する。すなわち、タイムアップしていない（ステップＳ２７がＮＯ）ときは処理をステップＳ２５へ分岐し、タイムアップした（ステップＳ２７がＹＥＳ）ときは処理を節点Ｎ１２へ分岐させステップＳ１３及びステップＳ１７を実行するように制御する。
【００９２】
上述した実施の形態によれば、水平方向に所定の間隔だけ離して監視空間１０に向けて配置した第１レンズと第２レンズの視差により、三角法を用いて人物１２の位置を示す撮像装置１９と人物１２との距離を測定することができる。
【００９３】
また、被写体となる人物１２の映像を圧縮光学手段としてのアナモルフィックプリズム又は円筒型レンズにより短軸方向として垂直（上下）方向に圧縮させて撮像装置１９の撮像面に受光させるため、撮像装置１９の上部に位置する第１の撮像領域に第１レンズから入射した映像を受光させ、下部に位置する第２の撮像領域に第２レンズから入射した映像を受光させることができる。
【００９４】
短軸方向に圧縮した圧縮映像は、水平走査線方向に圧縮されていないため、監視精度を維持することができる。しかも、相関処理に用いる走査線の数を減少させることができるので、撮像装置１９から読み出す画素データも減少させることができ、高速画像処理が可能となる。すなわち、入射するステレオ画像を縦方向に圧縮して１つの撮像装置１９に結像させるため、高精度で高速画像処理を遂行するステレオカメラを提供することができる。但し、本発明のステレオカメラに適用する短軸方向は上述した上下方向に限定するものではなく、水平走査線方向に短軸方向を設定し画像を左右方向に圧縮してから、１つの撮像装置１９に結像し撮像面の上下又は左右に受光させることもできる。すなわち、監視精度は減少しても単一の撮像装置に２つの圧縮映像を並行して結像させることができるため、ハードウエアの節減が可能である点で有利である。
【００９５】
図９は、本発明の他の実施の形態であるステレオカメラの模式的な系統図である。ステレオカメラ１は、三次元の監視空間１０に存在する監視対象物としての人物１２を監視する。人物１２は、床面５７上に直立し壁面４４に沿って床面上に規定された遠方線４２と撮像装置設置線４３との間で移動しているものとする。
【００９６】
ステレオカメラ１は、監視空間１０に向けて入射光軸を設定し、経時的に形状が変化をする人物１２の映像を入射させる第１の光学系としての第１レンズ１３と、第１の光学系としての第１レンズ１３から垂直方向に所定の間隔Ｗだけ離して、監視空間１０に向けて入射光軸を設定し、経時的に形状が変化をする人物１２の映像を入射する第２の光学系としての第２レンズ１４と、第１レンズ１３から入射する画像を短軸方向（図中の横方向）に圧縮し縦（垂直）方向に延在する走査線を有する撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２レンズ１４から入射する画像を短軸方向（図中の横方向）に圧縮し縦（垂直）方向に延在する走査線を有する撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された人物１２の映像と所定時間遅れて撮像された人物１２の映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による人物１２の映像の差画像（ＣＣＤ１：差）と第２の光学装置１８による人物１２の映像の差画像（ＣＣＤ２：差）に基いて、監視対象物１２の距離（又は位置）を相関演算する演算部３０と、を備え、例えば、移動している人物１２を撮像している。
【００９７】
本実施の形態でも、短軸方向に圧縮した圧縮映像は、垂直方向に配置した走査線方向に圧縮されていないため、監視精度を維持することができる。しかも、相関処理に用いる走査線の数を減少させることができるので、撮像装置１９から読み出す画素データも減少させることができ、高速画像処理が可能となる。すなわち、入射するステレオ画像を横方向に圧縮して１つの撮像装置１９に結像させるため、高精度で高速画像処理を遂行するステレオカメラを提供することができる。但し、本発明のステレオカメラに適用する短軸方向は上述した上下方向に限定するものではなく、水平走査線方向に短軸方向を設定し画像を左右方向に圧縮してから、１つの撮像装置１９に結像し撮像面の上下又は左右に受光させることもできる。すなわち、監視精度は減少しても単一の撮像装置に２つの圧縮映像を並行して結像させることができるため、ハードウエアの節減が可能である点で有利である。
【００９８】
以上のような本実施の形態によれば、監視空間１０の中の人物１２の動きを検知して、人物１２の部位が所定方向に緩やかに移動していることや、急峻に移動しているといったパターン認識を正確かつ非常に容易に行うことができる。しかも、撮像装置１９より画像フレーム全体の情報を取得し処理することがないため、複雑かつ大容量の画像処理を必要とせず、比較的簡単なデジタル回路やアナログ回路、もしくはこれらの組み合わせで、非常に安価な装置を構築することができる。
【００９９】
また、夜間又は暗闇の状態でも赤外線撮像により人物１２のビデオ信号を得ることができるため、人物１２を可視光線で刺激することもなく、人物１２の動作を記録することができるシステムとしても非常に有効である。
【０１００】
さらに、ステレオカメラ１による距離演算は、入射する画像情報を補正し測定精度を向上させ、例えば、監視対象物の系時的変化を考慮せずに純粋に撮像装置１９と監視対象物との距離を測定する距離測定装置として機能させることもできる。この場合、ステレオカメラ１は、リアルタイムに距離を測定するため、砂防ダムの監視や活断層の監視に活用することができ、地形や断層の変化を逐次監視することができる。
【０１０１】
本発明の監視装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、監視空間１０内の人物１２の動きを監視するように説明したが、他に自律式ロボットのような機械の部位が動作する形状変化を監視するシステムを構成してもよい。また、制御装置２内部の検知部３２により検知信号を取得するシーケンスも上述した処理フローに限定するものではなく。例えば、第１の光学装置１６による映像と第２の光学装置１８による映像との差を判定し、撮像装置１９と監視対象物との距離を測定してから、Δｔ時刻後に同様の映像差を判定し監視対象物の経時的変化を記録するように構成することもできる。
【０１０２】
【発明の効果】
以上のように本発明によれば、監視空間１０に向けて入射光軸を設定し、経時的に変化をする監視対象物１２の映像を入射させる第１の光学系１３と、第１の光学系１３から所定の間隔だけ離して、監視空間１０に向けて入射光軸を設定し、経時的に変化をする監視対象物１２の映像を入射させる第２の光学系１４と、第１の光学系１３から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域へ入射させる第１の光学装置１６と、第２の光学系１４から入射する画像を短軸方向に圧縮し撮像装置１９の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置１８と、撮像装置１９により同時刻に撮像された映像と所定時間遅れて撮像された映像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の光学装置１６による映像の差画像と第２の光学装置１８による映像の差画像に基いて、監視対象物１２の距離を相関演算する演算部３０と、を備えるので、ステレオカメラ機構を簡略化し、従来に比して高速画像取込処理が可能なステレオカメラを提供する、という優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態であるステレオカメラの模式的な系統図である。
【図２】本発明の実施の形態であるステレオカメラの原理図である。
【図３】本発明の実施の形態であるステレオカメラの模式的な系統図である。
【図４】本発明の実施の形態であるステレオカメラに用いる光学系の模式的な外観斜視図である。
【図５】本発明の実施の形態であるステレオカメラに用いる光学装置の模式的な側面図である。
【図６】本発明の実施の形態のステレオカメラの模式的なブロック図である。
【図７】本発明の実施の形態であるステレオカメラに用いる撮像装置の平面図である。
【図８】本発明の実施の形態のステレオカメラのフローチャート図である。
【図９】本発明の他の実施の形態であるステレオカメラの模式的な系統図である。
【符号の説明】
１ ステレオカメラ
２ 制御装置
１０ 監視空間
１２ 監視対象物
１３ 第１レンズ
１４ 第２レンズ
１６ 第１の光学装置
１７ 赤外線発光素子
１８ 第２の光学装置
１９ 撮像装置
２０、２１、２２、２３ 撮像信号記憶部
２４、２５ 差画像形成部
２６ 距離演算部
２７ 大きさ演算部
２９ 照度測定部
３０ 演算装置
３１ 記憶部
３２ 検知部
４８ 前段アナモルフィックプリズム
４９ 後段アナモルフィックプリズム
５３ 結像レンズ
５４ 第１の撮像領域
５６ 第２の撮像領域
６０ センサ制御部
６２ 差画像形成部
６４ 相関出力演算部
Claims (4)
- 三次元の監視空間における監視対象物を撮像するステレオカメラであって；
前記監視空間に向けて入射光軸を設定し、経時的に変化をする前記監視対象物の映像を入射させる第１の光学系と；
前記第１の光学系から所定の間隔だけ離して、前記監視空間に向けて入射光軸を設定し、経時的に変化をする前記監視対象物の映像を入射させる第２の光学系と；
前記第１の光学系から入射する画像を短軸方向に圧縮し撮像装置の第１の撮像領域へ入射させる第１の光学装置と；
前記第２の光学系から入射する画像を短軸方向に圧縮し前記撮像装置の第１の撮像領域と異なる第２の撮像領域へ入射させる第２の光学装置と；
前記撮像装置により同時刻に撮像された映像と所定時間遅れて撮像された映像との差画像を逐次形成する差画像形成部と；
前記差画像形成部で形成された、前記第１の光学装置による映像の差画像と前記第２の光学装置による映像の差画像に基いて、前記監視対象物の距離を相関演算する演算部と；
を備えるステレオカメラ。 - 前記第１及び第２の光学装置は、各々の画像を入射し、１対のアナモルフィックプリズム又は円筒レンズにより入射光軸と異なる出射光軸から各画像を前記撮像装置へ圧縮して入射させる請求項１に記載のステレオカメラ。
- 前記演算装置は、前記第１の光学装置による映像の差画像と前記第２の光学装置による映像の差画像に基いて、相関演算し三角法により前記撮像装置と前記監視対象物との距離を演算する請求項１又は請求項２に記載のステレオカメラ。
- 前記第１の光学系と第２の光学系の入射光軸は、略水平方向に視差を形成するように並行に配置すると共に、前記第１の光学装置と第２の光学装置は入射する各画像を垂直方向に偏向させて前記撮像装置に出射させる請求項１又は請求項２に記載のステレオカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003031275A JP2004239840A (ja) | 2003-02-07 | 2003-02-07 | ステレオカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003031275A JP2004239840A (ja) | 2003-02-07 | 2003-02-07 | ステレオカメラ |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004239840A true JP2004239840A (ja) | 2004-08-26 |
Family
ID=32957919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003031275A Pending JP2004239840A (ja) | 2003-02-07 | 2003-02-07 | ステレオカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004239840A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011027496A (ja) * | 2009-07-23 | 2011-02-10 | Konica Minolta Opto Inc | 周辺表示装置 |
| JPWO2016203998A1 (ja) * | 2015-06-19 | 2017-06-29 | 株式会社アマダミヤチ | レーザユニット及びレーザ装置 |
-
2003
- 2003-02-07 JP JP2003031275A patent/JP2004239840A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011027496A (ja) * | 2009-07-23 | 2011-02-10 | Konica Minolta Opto Inc | 周辺表示装置 |
| JPWO2016203998A1 (ja) * | 2015-06-19 | 2017-06-29 | 株式会社アマダミヤチ | レーザユニット及びレーザ装置 |
| US10170892B2 (en) | 2015-06-19 | 2019-01-01 | Amada Miyachi Co., Ltd. | Laser unit and laser device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6509027B2 (ja) | 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム | |
| US9274204B2 (en) | Camera tracing and surveillance system and method for security using thermal image coordinate | |
| JP2019194616A (ja) | 画像に基づく位置検出方法、装置、機器及び記憶媒体 | |
| KR101737085B1 (ko) | 3차원 카메라 | |
| WO2014046184A1 (ja) | 複数被写体の距離計測装置及び方法 | |
| KR101665175B1 (ko) | 화상 취득 장치, 화상 취득 방법 및 기록매체 | |
| JP5942343B2 (ja) | 撮像装置 | |
| JP3988574B2 (ja) | 画像処理装置 | |
| CN112740065A (zh) | 使用视觉惯性测距的增强深度映射 | |
| JP7401550B2 (ja) | 動体視覚センサおよびパターン投影を用いる３次元撮像および感知 | |
| JP4238042B2 (ja) | 監視装置および監視方法 | |
| JP2004239840A (ja) | ステレオカメラ | |
| JP3631541B2 (ja) | ステレオ画像による物体の移動追跡方法 | |
| JP2020194454A (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
| KR101845612B1 (ko) | 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법 | |
| US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
| TW202311781A (zh) | 障礙物偵測方法 | |
| JPH1023465A (ja) | 撮像方法及び装置 | |
| WO2011152168A1 (ja) | 立体撮像ディジタル・カメラおよびその動作制御方法 | |
| JP2007233487A (ja) | 歩行者検出方法、装置、およびプログラム | |
| JP3996864B2 (ja) | ステレオ画像を用いた監視装置 | |
| JP2011176868A (ja) | 撮像装置 | |
| JP6675510B2 (ja) | 被写体追跡装置およびその制御方法、画像処理装置およびその制御方法、撮像装置およびその制御方法、プログラム | |
| JPH0591513A (ja) | 画像監視装置 | |
| EP2426930A1 (en) | System and method of analyzing a stereo video signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050622 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071009 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080304 |