JP2002314992A - 移動要素検出方法及び移動要素検出装置 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、複数回撮像した結果を積分したもの
を比較対象として、移動の方向だけでなく速度情報も得
られる移動要素検出方法及び移動要素検出装置を提供す
る。 【解決手段】本発明の一態様によると、輝度変調光を照
射された被写体からの反射光で被写体を撮像し、この撮
像結果から移動要素を検出する移動要素検出方法であ
り、上記輝度変調光の変調周期に同期して上記被写体を
１回撮像するステップと、上記輝度変調光の変調周期に
同期して上記被写体を複数回撮像し、各回の撮像結果を
積分して行くステップと、上記１回撮像した撮像結果と
上記複数回撮像した積分結果の比較に基づいて、移動要
素を検出するステップとを有することを特徴とする移動
要素検出方法が提供される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動要素検出方法
及び移動要素検出装置に係り、特に、対象物である移動
体を検出することにより、検出した移動体を抽出・認識
して記録・警告するセキュリティ用の監視装置に適用可
能とするために、検出した移動体の濃淡、距離情報をリ
アルタイムにモニタし、目的とする移動体を抽出（セグ
メンテーション）し、これを認識し、あるいは伝送する
などの画像処理を行うことを可能にした移動要素検出方
法及び移動要素検出装置に関する。

【０００２】

【従来の技術】一般に、セキュリティ用の監視装置で
は、その監視カメラとして、パッシブＩＲ（赤外線）セ
ンサや、対向型赤外センサ等が用いられている。

【０００３】また、最近のセキュリティ用の監視装置の
傾向では、点による監視から面による監視に移行しつつ
ある。

【０００４】さらに、複数の監視カメラによる画像を通
信回路を介して統合し、広範なエリアの監視を行うこと
も求められている。

【０００５】このような監視装置では、対象物である移
動体をマシーンが認識し、あるいはこれを人間に提示し
てインタラクティブに評価を行わせる場合、さらにマシ
ーン単独で弁別・認識し、予め定められた基準と比較し
て自動的に判断を行わせ、必要に応じて警報を与える場
合などのニーズに対応することが求められている。

【０００６】ここで、移動体を検出するには、濃淡画像
を利用して、時間的に異なる二つの画像間の差分をと
る、あるいはビデオ画像のフレーム間の差分をとること
が行なわれている。

【０００７】例えば、ＵＳＰ５，６０２，５８５では、
撮像素子の画素として、“アクティブ画素”を用意し、
通常のビデオモードの他に差分モードを可能とし、観察
エリアに人間などの移動体が存在すると、差分モードの
出力が設定された閾値を超え、該差分モードからビデオ
モードに切り替えられ、移動体を撮像する安価なシステ
ムが提案されている。

【０００８】前記アクティブ画素は、撮像素子の光電変
換部に隣接して電荷蓄積部（拡散井戸）が設けられ、受
光信号に対応して発生した電荷をゲート電極を介して電
荷蓄積部に転送、蓄積できる構成を有している。

【０００９】このため、電荷蓄積部からの時間的に異な
る二つの出力をスイッチを介して二つのコンデンサに蓄
え、コンパレータにより両者の差分をとることができ
る。

【００１０】また、ＵＳＰ６，０８１，６０６では、時
系列的に流れるビデオ画像の、連続する三つのフレーム
を選び、連続する二者間の差分画像を作り、静止してい
る背景や余分な画像を消去し、必要な移動体に関する差
分情報のみを残し、両者の相関を求めることから移動体
の移動方向と移動量を求め、この移動が許容された行動
の範囲内か否かを判定し、これを超える場合には警報を
発するシステムが提案されている。

【００１１】また、ビテオ画像に見られる輝度画像以外
に距離情報を利用することも行なわれている。

【００１２】これは移動体が検出できても、それが人体
か小動物かの判別ができない場合が生ずるためで、超音
波や赤外線を用いた距離センサやステレオ撮像による距
離画像が有効となる。

【００１３】特に、後者は、豊富な情報を提供するが、
いわゆる対応問題を解く必要があり、リアルタイム性の
向上あるいは画像の高速処理のため、一次元画像センサ
をステレオで用いることも試みられている。

【００１４】また、物体の距離情報を把握するアクティ
ブな手段として、Ｔｉｍｅ ｏｆＦｌｉｇｈｔ法（略し
てＴＯＦ法という）が知られている。

【００１５】これは、光パルスを送って、対象物までの
距離を該光パルスが往復する時間を計り、これを距離に
換算する方式である。

【００１６】なかでも、Ｒ．Ｍｉｙａｇａｗａらが、１
９９５ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｈａｒ
ｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ ａｎｄ Ａｄ
ｖａｎｃｅｄ Ｉｍａｇｅ Ｓｅｎｓｏｒｓ，Ａｐｒｉ
ｌ ２０−２２；”Ｉｎｔｅｇｒａｔｉｏｎ−Ｔｉｍｅ
Ｂａｓｅｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｍａｇ
ｅ Ｓｅｎｓｏｓ”に発表した方法は、半導休基板上に
設けられた２次元撮像素子により、対象物の距離画像を
ビデオレートで得ることを可能とする方法である。

【００１７】ここに距離画像というのは、２次元撮像素
子の各画素が、対象物の濃淡画像の代わりに、対象物の
３次元形状に対応した距離情報を、各画素における電荷
の濃淡画像として有していることを意味する。

【００１８】図５は、上記Ｒ．Ｍｉｙａｇａｗａらによ
る方式の概念構成を示している。

【００１９】また、図６は、上記Ｒ．Ｍｉｙａｇａｗａ
らによる方式のタイムチャートを示している。

【００２０】図５において、参照符号５０３はｐｎ接合
による光電変換部、参照符号５０１，５０２はそれぞれ
第１及び第２の転送ゲート、参照符号５０４、５０５は
それぞれ第１及び第２の電荷蓄積部、参照符号５０６は
入射光パルス信号を表わしている。

【００２１】図６の（ａ）は、被写体に向けて送出され
たパルス幅Ｔの送出光パルス、図６の（ｂ）は、被写体
で反射されて距離画像撮像装置に入射する入射光パルス
信号、△ｔは光パルスが被写体までの距離を往復する時
間に対応する時間ずれ、図６の（ｃ）は、例えば、第１
の転送ゲート５０１のＯＮ、ＯＦＦ、図６の（ｄ）は、
第２の転送ゲート５０２のＯＮ、ＯＦＦをそれぞれ表わ
している。

【００２２】図６の（ｃ）は、図６の（ａ）と同相で、
図６の（ｄ）はこれと１８０度位相がずれている。

【００２３】図６の（ｅ）の時間ｔ₁ は第１の転送ゲー
ト５０１を介して第１の電荷蓄積部５０４に転送される
電荷量に対応している。

【００２４】また、図６の（ｆ）の符号ｔ₂ は第２の転
送ゲート５０２を介して第２の電荷蓄積部５０５に転送
される電荷量に対応している。

【００２５】すなわち、入射光パルス信号５０６に対応
して光電変換部５０３で発生した電荷は、それぞれ、第
１及び第２の転送ゲート５０１，５０２を介して第１及
び第２の電荷蓄積部５０４，５０５に振り分けられる。

【００２６】これは、電荷振分け方式と呼ばれているも
のである。

【００２７】この場合、振り分けられる電荷量の割合
は、時間ずれΔｔにより変化し、この時間ずれΔｔに基
づいて被写体までの距離情報が得られる。

【００２８】すなわち、被写体までの距離Ｒは、Ｒ＝ｃ
Δｔ／２で与えられる（ｃ：光の速さ）。

【００２９】このような電荷振分け方式の撮像素子は、
前記ＵＳＰ５，６０２，５８５によるアクティブ画素と
同様に、通常のビデオモードで撮像することによって濃
淡画像（テクスチャ）を得ることもできる。

【００３０】

【発明が解決しようとする課題】ところで、上述したよ
うなセキュリティ用の監視カメラでは、例えば、夜間の
警備では、人間が存在しないことが前提となっている場
合がある。

【００３１】このような場合には、監視カメラによる撮
影結果から移動する対象物を検出するだけで、その目的
は達成される。

【００３２】前記ＵＳＰ５，６０２，５８５の場合に
は、これに該当する。

【００３３】次に、例えば、空港における人の流れを把
握し、禁止された領域に侵入する行動をとる移動体を識
別したい場合には、移動体の移動方向と移動量を認識
し、禁止された領域に侵入するか否かの判別を必要とす
る。

【００３４】これは前記ＵＳＰ６，０８１，６０６に該
当する。

【００３５】しかし、より汎用なセキュリティ用視カメ
ラを目的とする場合には、移動体を抽出（セグメンテー
ション）することが肝要であり、その大きさを判定し、
予め、定められた分類のどれに属するかを認識すること
も求められる。

【００３６】この場合、濃淡画像を用いた処理では限界
があり、何らかの距離情報あるいは３次元情報を必要と
し、監視するエリアの３次元情報あるいはマップと照合
して移動体の行動が許容されたものであるか否かを判定
する必要がある。

【００３７】また、距離情報は、１次元ではなく、２次
元の画像を用いてリアルタイムに、移動体の抽出、認識
を行い、その時系列画像から許容された行動であるか否
かを判断し、その結果を管理人に提供することが求めら
れる。

【００３８】これらの判断は、空港における人の流れや
夜間の警備に留まらず、高速に移動する車の管理といっ
た高速な移動体の管理を含めて、照明条件を初めとする
種々に変化する環境の下で、半自動的にあるいは完全自
動的に行う場合に大切な役割を果たす。

【００３９】これらの目的を遂行するためには、ビデオ
レートの濃淡画像とともに、２次元の距離画像をリアル
タイムに取得し、移動体の抽出、認識を行い、３次元シ
ーンの中で許容された行動であるか否かを判断する必要
がある。

【００４０】また、そのときの場合によっては、ビデオ
レートよりも高速な撮像が求められる。

【００４１】また、判断した結果とともに、それに到っ
た対象物の抽出結果を時系列として、また鮮明な画像と
して管理者に提供することが求められる。

【００４２】本発明は、上記の事情に鑑みてなされたも
ので、特に、対象物である移動体を検出することによ
り、例えば、検出した移動体を抽出・認識して記録・警
告するセキュリティ用の監視装置に適用可能とするため
に、検出した移動体の濃淡、距離情報をリアルタイムに
モニタし、目的とする移動体を抽出（セグメンテーショ
ン）し、これを認識し、あるいは伝送するなどの画像処
理を行うことを可能にした移動要素検出方法及び移動要
素検出装置を提供することを目的とする。

【００４３】

【課題を解決するための手段】本発明によると、上記課
題を解決するために、（１） 光を照射された被写体か
らの反射光で被写体を撮像し、この撮像結果から移動要
素を検出する移動要素検出方法であり、上記被写体を１
回撮像するステップと、上記被写体を複数回撮像し、各
回の撮像結果を積分して行くステップと、上記１回撮像
した撮像結果と上記複数回撮像した積分結果の比較に基
づいて、移動要素を検出するステップと、を有すること
を特徴とする移動要素検出方法が提供される。

【００４４】このような（１）の発明において、「撮像
結果」は、後述する実施の形態の図４においては電荷蓄
積部４０４に蓄積される電荷が相当するとともに、図７
においてはバッファメモリ７０３に蓄積される電荷が相
当する。

【００４５】また、「積分した撮像結果」は、後述する
実施の形態の図４においては電荷蓄積部４０５に蓄積さ
れる電荷が相当するとともに、図７においてはバッファ
メモリ７０４に蓄積される電荷が相当する。

【００４６】また、「光」は、後述する実施の形態の光
源４３４より射出されるパルス光が相当する。

【００４７】なお、パルス光が好適であるが、これに限
らず、輝度変調光でよい。

【００４８】また、「１回撮像」は、後述する実施の形
態の測定モード１が相当する。

【００４９】また、「複数回撮像し、各回の撮像結果を
積分して行く」は、後述する実施の形態の測定モード２
が相当する。

【００５０】また、「比較」は、後述する実施の形態の
図１のステップＳ１０３が相当している。

【００５１】また、「移動要素を検出する」は、図１の
ステップＳ１０３が相当する。

【００５２】なお、後述する実施の形態の図４において
は、撮像結果や積分した撮像結果は、いまだ画素ごとに
分離されており、図７においては、各画素が集められ画
像情報を形成しているが、この（１）の発明はどちらの
場合も含むものとする。

【００５３】また、本発明によると、上記課題を解決す
るために、（２） 輝度変調光を照射された被写体から
の反射光で被写体を撮像し、この撮像結果から移動要素
を検出する移動要素検出方法であり、上記輝度変調光の
変調周期に同期して上記被写体を１回撮像するステップ
と、上記輝度変調光の変調周期に同期して上記被写体を
複数回撮像し、各回の撮像結果を積分して行くステップ
と、上記１回撮像した撮像結果と上記複数回撮像した積
分結果の比較に基づいて、移動要素を検出するステップ
と、を有することを特徴とする移動要素検出方法が提供
される。

【００５４】また、本発明によると、上記課題を解決す
るために、（３） 光を被写体に向けて射出する光源
と、上記被写体から帰還した上記光の反射光で上記被写
体を撮像する、複数の画素を有する撮像素子と、上記撮
像素子によって、上記被写体を１回撮像した結果と、上
記被写体を複数回撮像し、各回の撮像結果を積分した積
分結果との比較に基づいて、移動要素を検出する移動要
素検出手段と、を有することを特徴とする移動要素検出
装置が提供される。

【００５５】このような（３）の発明において、「光
源」は、後述する実施の形態の光源４３４が相当する。

【００５６】また、「移動要素を検出する手段」は、後
述する実施の形態の判別ステップＳ１０３を実行する手
段が相当する。

【００５７】また、本発明によると、上記課題を解決す
るために、（４） 輝度変調光を被写体に向けて射出す
る光源と、上記被写体から帰還した上記輝度変調光の反
射光で上記被写体を撮像する、複数の画素を有する撮像
素子と、上記撮像素子によって、上記輝度変調光の変調
周期に同期して上記被写体を１回撮像した結果と、上記
輝度変調光の変調周期に同期して上記被写体を複数回撮
像し、各回の撮像結果を積分した積分結果との比較に基
づいて、移動要素を検出する移動要素検出手段と、を有
することを特徴とする移動要素検出装置が提供される。

【００５８】また、本発明によると、上記課題を解決す
るために、（５） 被写体を撮影して移動要素を検出す
る移動要素検出装置であり、パルス光を発光する光源
と、複数の画素を有し、各画素には、受光した光を電荷
に変換する光電変換部と、上記電荷を蓄積する電荷蓄積
部と、上記光電変換部から上記電荷蓄積部に電荷を転送
する転送ゲートが含まれており、上記被写体から帰還し
た上記光源からのパルス光の反射光で上記被写体を撮像
する撮像素子と、上記撮像素子により、上記光源からの
パルス光の１回の発光で上記被写体を撮像して上記撮像
素子の電荷蓄積部に電荷を蓄積する第１の動作モード
と、上記パルス光の１回の発光で上記被写体を撮像する
動作を複数回行って、上記撮像素子の電荷蓄積部に各回
の撮影で得られた電荷を累積して行く第２の動作モード
とを有する、上記撮像素子を駆動する駆動部と、上記第
１の動作モードで蓄積された電荷と上記第２の動作モー
ドで蓄積された電荷に基づいて、移動要素を検出する移
動要素検出手段と、を有することを特徴とする移動要素
検出装置が提供される。

【００５９】このような（５）の発明において、「光
源」は、後述する実施の形態の光源４３４が相当する。

【００６０】また、「駆動部」は、後述する実施の形態
の駆動部４５０が相当する。

【００６１】また、本発明によると、上記課題を解決す
るために、（６） 上記移動要素検出手段によって検出
した移動要素の時系列画像を生成可能であることを特徴
とする（５）記載の移動要素検出装置が提供される。

【００６２】また、本発明によると、上記課題を解決す
るために、（７） 上記駆動部は、上記パルス光の発光
に同期して上記撮像素子の転送ゲートを制御して上記撮
像素子の電荷蓄積部に電荷を蓄積する第３の動作モード
をさらに有し、上記第３のモードで蓄積された電荷に基
づいて距離情報を獲得可能であり、上記移動要素検出手
段は、さらに上記第３の動作モードで得られた距離情報
にも基づいて移動要素を検出することを特徴とする
（５）記載の移動要素検出装置が提供される。

【００６３】

【発明の実施の形態】まず、本発明の基本的な考え方に
ついて、説明する。

【００６４】前述したような電荷振分け撮像素子は、転
送ゲートに印加する電圧の掛け方を変えることにより、
対象物の濃淡画像と距離画像を取込む機能をもってい
る。

【００６５】そこで、本発明では、この機能を利用し
て、移動体の抽出、認識をリアルタイムに行うことを可
能としている。

【００６６】具体的には、輝度変調が可能な光源と、対
象物からの反射光を電荷に変換する光電変換部と、該電
荷を蓄積する電荷蓄積部と、該電荷を前記光電変換部か
ら前記電荷蓄積部に転送する転送ゲートとを画素として
有する電荷振分け撮像装置において、露光時間をＴとす
る対象物のテクスチャ画像を前記電荷蓄積部の一方に取
込む第１測定モードと、前記露光時間Ｔと非露光時間
Ｔ′とを一組として前記電荷蓄積部の他方に画像を取込
む操作をＮ回繰り返して移動体画像を撮像する操作とか
らなる第２測定モードと、前記転送ゲートに前記輝度変
調に同期した転送パルスを印加し、距離画像を撮像する
第３測定モードを具備し、該第１乃至第３測定モードか
ら得られた画像から、対象物である移動体の抽出、認識
を行うことを特徴とする移動体認識装置（移動要素検出
装置）である。

【００６７】ここで、移動体の検出は、基本的に時系列
的に取込まれた対象物の濃淡画像からなされるが、この
考え方を図３を用いて説明する。

【００６８】図３において、参照符号３００で表わされ
た矩形状の波形は、時刻ｔ₀ において、一方の電荷蓄積
部（例えば、図５の参照符号５０４）に撮り込まれた対
象物の輝度画像で、横軸は空間座標（あるいは画素のあ
る行における番号）、縦軸は輝度値に対応する。

【００６９】ここでは、簡単のために１次元の対象物を
想定し、一様の輝度分布をもっているとする。

【００７０】このような対象物が、図示で左から右に等
速移動をする場合を考える。

【００７１】図３において、参照符号３０１は、時刻ｔ
₀ とは異なる時刻ｔ₁ に撮像され、他方の電荷蓄積部
（例えば、図５の参照符号５０５）に撮り込まれた対象
物の濃淡画像を表わしている。

【００７２】また、同様に、図３において、参照符号３
０２、３０３は、それぞれ、時刻ｔ ₂ 、ｔ₃ に他方の電
荷蓄積部に撮り込まれた対象物の濃淡画像を表わしてい
るものとする。

【００７３】この場合、ｔ₂ −ｔ₁ ＝ｔ₃ −ｔ₂ ＝Ｔ＋
Ｔ′といった時間間隔で撮像が行なわれる。

【００７４】ここに、Ｔは露光時間、Ｔ′は非露光時間
を表わす。

【００７５】この結果、他方の電荷蓄積部には、時刻ｔ
₁ 、ｔ₂ 、ｔ₃ に撮像された濃淡画像の積分値に相当す
る、図３において、参照符号３０４で表わされる階段状
の電荷分布が得られる。

【００７６】露光時間の相違を考慮して、時刻ｔ₀ にお
いて、一方の電荷蓄積部に撮り込まれた対象物の電荷分
布３００を３倍したものから、他方の電荷蓄積部に蓄積
された電荷分布３０４を差し引くと、図３において、参
照符号３０５で表わされる電荷分布が得られる。

【００７７】このとき固定した背景は消去され、移動の
あった部分のみが残される。

【００７８】対象物が静止しているときには、電荷分布
３０５は０となることが容易に理解される。

【００７９】対象物が移動すると、参照符号３０５で表
わされたように、電荷分布は０と異なる値をもつ。

【００８０】さらに、一方の電荷蓄積部に撮り込まれた
対象物の輝度分布が参照符号３００のように既知である
ことから、他方の電荷蓄積部に蓄積された参照符号３０
４で表わされる積分値とそれぞれが撮り込まれた時刻ｔ
₁ 、ｔ₂ 、ｔ₃ とを用いて、各時刻での輝度画像３０
１、３０２、３０３を逆に求めることができる。

【００８１】この場合、非露光時間Ｔ′の存在が大切
で、この露光時間の非連続性のため、符号３０４で表わ
される階段状の部分が存在し、移動体の分析を容易にす
る。

【００８２】すなわち、移動体の時系列的挙動を二つの
電荷蓄積部に撮り込まれた対象物の輝度分布を用いて分
析することが可能である。

【００８３】このことから、二つの電荷蓄積部にビデオ
レートで撮り込まれた画像を用いて、さらに細かい移動
体の時系列的挙動を知ることが可能となる。

【００８４】このため人体の移動といった比較的遅い移
動の把握から車の移動といった速い移動の詳細な把握も
可能となる。

【００８５】さらに、図３において、参照符号３０６で
表わされた曲線は、電荷分布３０４のピーク位置を連ね
たものであって、該電荷分布３０４の尾根線に相当す
る。

【００８６】この尾根線のすそからピーク位置（分布の
中央値）までの距離ΔＬを時間ｔ₃−ｔ₁ で割ったもの
は移動体の移動速度の概略値を与える。

【００８７】以上の説明は単純化された対象物の移動に
ついてなされたが、この発明による移動要素検出装置
は、より一般的なシーンの中の加速度運動をする移動体
の２次元的移動についても適用することが可能である。

【００８８】この場合、前記電荷分布３０４は、２次元
分布を形成するが、参照符号３０６に対応する尾根線
（直交する二方向の内、通常、長手方向のもの）の方向
は、移動体の方向を与える。

【００８９】また、電荷振分け撮像素子は、他方におい
て前述のように距離画像を撮像する機能を併せ持つこと
から、距離画像を利用して背景のシーンから対象物を切
出すことを可能とし、上述の移動体の時系列的挙動と該
距離画像を併用することにより、リアルタイムに移動体
の抽出、認識を可能とする。

【００９０】次に、以上のような基本的な考え方に基づ
く、本発明の実施の形態について、図面を参照して説明
する。

【００９１】（第１の実施の形態）本発明の第１の実施
の形態について図１乃至図４を用いて説明する。

【００９２】図１は、本発明の第１の実施の形態による
移動要素検出方法の測定の流れを示すフローチャートで
ある。

【００９３】図１において、ステップＳ１００でスター
トすると、ステップＳ１０１，Ｓ１０２での測定モード
１，２が実行された後、ステップＳ１０３での移動体の
判別が行われる。

【００９４】このステップＳ１０３での判別結果が移動
体である場合には、次のステップＳ１０４での測定モー
ド３が実行された後、ステップＳ１０５での移動体の認
識処理が行われる。

【００９５】なお、このステップＳ１０３での判別結果
が移動体でない場合には、ステップＳ１００にリターン
する。

【００９６】次に、ステップＳ１０６での移動体の追跡
処理が実行された後、ステップＳ１０７での移動体の移
動が許容範囲か否かの判定処理が行われる。

【００９７】このステップＳ１０７での判定結果が、移
動体の移動が許容範囲外である場合には、次のステップ
Ｓ１０８での警報処理が実行された後、ステップＳ１０
９での移動体のモニタ処理が行われるとともに、ステッ
プＳ１０６での移動体の追跡処理以降の処理が繰り返さ
れる。

【００９８】なお、このステップＳ１０７での判定結果
が、移動体の移動が許容範囲内である場合には、ステッ
プＳ１００にリターンする。

【００９９】図２は、輝度変調が可能な光源を駆動する
駆動パルスを表わすタイムチャートである。

【０１００】すなわち、図２の（ａ）は、一方の電荷蓄
積部に濃淡画像を撮り込む測定モード１の駆動パルスを
表わしている。

【０１０１】また、図２の（ｂ）は、他方の電荷蓄積部
に濃淡画像を撮り込む測定モード２のＮ個の間欠的駆動
パルスを表わしている。

【０１０２】図４は、本発明の第１の実施の形態による
移動要素検出装置における電荷振分け撮像素子の構成を
表わす模式図である。

【０１０３】図４において、参照符号４０３は、ｐｎ接
合による光電変換部、参照符号４０１，４０２はそれぞ
れ第１及び第２の転送ゲート、参照符号４０４、４０５
はそれぞれ第１及び第２の電荷蓄積部、参照符号４０６
は入射光パルス信号を表わしている。

【０１０４】また、図４において、参照符号４５０は、
ゲートおよび光源駆動部であって、その内部に測定モー
ド１乃至３の各駆動部を有している。

【０１０５】また、参照符号４１０，４１１は第１及び
第２の電荷蓄積部４０４、４０５に蓄積された電荷を外
部信号処理回路に転送する転送ゲート、参照符号４６０
はモード選択器、参照符号４３４は光源、参照符号４３
３は光源４３４から送出される光パルス、参照符号４２
０、４２１、４３０、４３１、４３２は、それぞれ、導
線を表わしている。

【０１０６】次に、以上のように構成される本発明の第
１の実施の形態による移動要素検出装置における電荷振
分け撮像素子の動作を説明する。

【０１０７】図１において、ステップＳ１００でスター
トすると、電荷振分け撮像素子による測定のリセットを
含む初期設定が行われた後、図１のステップＳ１０１で
の測定モード１による測定が実行される。

【０１０８】この測定モード１は、図２の（ａ）に示す
持続時間Ｔの駆動パルスにより移動体の輝度画像を撮り
込むモードである。

【０１０９】具体的には、図４のモード選択器４６０か
らの信号により、駆動部４５０における測定モード１の
駆動部が選択される。

【０１１０】この測定モード１の駆動部が選択される
と、導線４３２を介して光源４３４が駆動され、図２の
（ａ）に示す時間Ｔ（例えば、１０ｍｓ）だけ、光源４
３４が点灯し、送出光パルス４３３を送出し、不図示の
対象物を照射する。

【０１１１】そして、対象物から反射して帰還される入
射光パルス信号４０６により、電荷振分け撮像素子の光
電変換部４０３に生じた電荷は、駆動部４５０における
測定モード１の駆動部から導線４２０を介して供給され
るゲート駆動信号により隣接する転送ゲート４０１がＯ
Ｎとされて電荷蓄積部４０４に転送、蓄積される（図３
の参照符号３００に対応する）。

【０１１２】次に、図１のステップＳ１０２を実行する
ために、モード選択器４６０からの信号により駆動部４
５０における測定モード２の駆動部が選択される。

【０１１３】この測定モード２の駆動部が選択される
と、導線４３２を介して光源４３４を図２の（ｂ）に示
す持続時間Ｔ、非持続時間Ｔ′（例えば、１０ｍｓ）を
一組みとするＮ個の間欠的駆動パルス（図２の（ｂ）で
は、Ｎ＝３の場合を示す）により光源４３４が駆動され
ることにより、光源４３４がＮ回点灯し、送出光パルス
４３３を送出し、不図示の対象物を照射する。

【０１１４】そして、対象物から反射して帰還される入
射光パルス信号４０６により、電荷振分け撮像素子の光
電変換部４０３に生じた電荷は、駆動部４５０における
測定モード２の駆動部の導線４２１を介して供給され
る、上述のＮ個の間欠的駆動パルスに対応したゲート駆
動信号により転送ゲート４０２がＯＮとされて電荷蓄積
部４０５に転送、蓄積される。

【０１１５】これは移動体の時系列輝度画像（図３の参
照符号３０１乃至３０３に対応）を積分値の形で、転送
ゲート４０２を介して電荷蓄積部４０５に取り込むこと
を意味している。

【０１１６】このようにして取込まれた結果は、図３の
参照符合３０４に相当する階段状の不連続部を有する分
布曲線となる。

【０１１７】これは間欠的駆動パルスを用いたことによ
り、各駆動パルスによる輝度画像が時間的に不連続的に
加算されるためである。

【０１１８】この不連続性は、後に、移動体の詳細な時
系列的変化を解析するときに有効となる。

【０１１９】次に、図１のステップＳ１０３での判別の
ために、測定モード１の測定で得られた図３の分布曲線
３００と、測定モード２の測定で得られた分布曲線３０
４との差分曲線を求める。

【０１２０】そして、この差分曲線と、予め定められた
目標値とを比較して、これを超えた場合に移動体である
と判定し、図１のステップＳ１０４での測定モード３の
測定に移行する。

【０１２１】この差分曲線が、予め定められた目標値を
超えない場合には、図１のスタートステップＳ１００に
戻る。

【０１２２】次に、図１のステップＳ１０４の測定モー
ド３では、図６で説明した距離画像を得るモードが実行
される。

【０１２３】具体的には、図４のモード選択器４６０か
らの信号により駆動部４５０における測定モード３の駆
動部が選択される。

【０１２４】これにより、導線４３２を介して光源４３
４が駆動され、図６の（ａ）に示す時間Ｔ（例えば、５
０ｎｓ）だけ、光源４３４が点灯し、送出光パルス４３
３を送出し、不図示の対象物を照射する。

【０１２５】そして、対象物から反射して帰還される入
射光パルス信号４０６（図６の（ｂ）に対応）により、
電荷振分け撮像素子の光電変換部４０３に生じた電荷
は、駆動部４５０における測定モード３の駆動部から導
線４２０を介して供給されるゲート駆動信号（図６の
（ｃ）に対応）により隣接する転送ゲート４０１をＯＮ
として電荷蓄積部４０４に転送、蓄積される。

【０１２６】次に、電荷振分け撮像素子の光電変換部４
０３に生じた電荷は、駆動部４５０における測定モード
３の駆動部から導線４２１を介して供給されるゲート駆
動信号（図６の（ｄ）に対応）により転送ゲート４０２
をＯＮとして電荷蓄積部４０５に転送、蓄積される。

【０１２７】このようにして、二つの電荷蓄積部４０
４、４０５に蓄積される電荷の割合は、対象物までの距
離により変化する（図６の（ｅ），（ｆ）に対応）こと
から対象物の距離画像が得られる。

【０１２８】そして、図１のステップＳ１０５におい
て、距離画像と上述の測定モード１の測定から得られる
濃淡画像、あるいは測定モード１と測定モード２の測定
から分析により得られる移動体の時系列濃淡画像とか
ら、移動体のより正確な輪郭を求め、移動体を抽出、認
識することが行われる。

【０１２９】具体的には、例えば、距離画像から得られ
る輪郭からスタートし、移動体の輝度画像を参考とし
て、例えば、Ｓｎａｋｅｓといったソフトを使用し、よ
り正確な輪郭を抽出する。

【０１３０】そして、抽出された移動体にテクスチャ
（濃淡画像）を貼付けて、モニタに表示あるいは記録す
るとともに、必要に応じて、図１のステップＳ１０６に
よる移動体追跡処理にかけた後、図１のステップＳ１０
７により、その行動が許容された行動範囲か否かの判定
を行う。

【０１３１】この判定結果が許容された行動範囲であれ
ば、再び、図１のステップＳ１００で表わされる撮像モ
ードのスタートに戻り、許容された行動範囲から外れた
場合には、図１のステップＳ１０８により、警報処理を
行って、図１のステップＳ１０９によるモニタにその旨
を併せて表示する。

【０１３２】このような第１の実施の形態の特徴は、一
つの画素内に共通の光電変換部４０３で発生した電荷
を、これに隣接して設けられた二つの電荷蓄積部４０
４，４０５に転送、蓄積するため、光電変換部４０３に
おける感度のばらつきの影響を軽減することができると
ともに、距離画像と濃淡画像の両方を用いることから、
対象物である移動体のより正確な輪郭を得ることがで
き、対象物の認識の確度を向上させることができること
にある。

【０１３３】また、この第１の実施の形態の特徴は、距
離情報が二つの電荷蓄積部４０４，４０５に蓄えられた
電荷の比で与えられることから、光信号強度に依存しな
い特性を有し、照明光の変化に対してロバストな認識を
可能とすることにある。

【０１３４】（第２の実施の形態）次に、本発明の第２
の実施の形態を図７を用いて説明する。

【０１３５】図７は、本発明の第２の実施の形態による
移動要素検出装置における電荷振分け撮像素子の構成と
して、図４の二つの電荷蓄積部４０４，４０５を一つの
電荷蓄積部４０５とした場合の構成を示している。

【０１３６】なお、図７に示す構成では、図４の光源４
３４系の図示を省略しているとともに、図４と重複する
ところは、その説明を省略するものとする。

【０１３７】図７において、参照符号７０１は信号伝送
路、参照符号７１０はスイッチ、参照符号７０２は導
線、参照符号７０３，７０４，７０５はそれぞれバッフ
アメモリ１，２，３を表わしている。

【０１３８】次に、以上のように構成される本発明の第
２の実施の形態における電荷振分け撮像素子の動作を説
明する。

【０１３９】最初に、測定モード１の測定を行うため
に、モード選択器４６０により、ゲートおよび光源駆動
部４５０の測定モード１の駆動部が選択されるととも
に、信号伝送路７０１とスイッチ７１０の端子１とを接
続させ、電荷蓄積部４０５に得られた電荷量をスイッチ
７１０を経由して参照符号７０３で表わされるバッファ
メモリ１に転送させる。

【０１４０】同様にして、次の測定モード２の測定で
は、モード選択器４６０により、ゲートおよび光源駆動
部４５０の測定モード２の駆動部が選択されるととも
に、信号伝送路７０１とスイッチ７１０の端子２とを接
続させ、電荷蓄積部４０５に得られた電荷量をスイッチ
７１０を経由して符号７０４で表わされるバッファメモ
リ２に転送させる。

【０１４１】同様にして、次の測定モード３の測定で
は、モード選択器４６０により、ゲートおよび光源駆動
部４５０の測定モード３の駆動部が選択されるととも
に、信号伝送路７０１とスイッチ７１０の端子３とを接
続させ、電荷蓄積部４０５に得られた電荷量をスイッチ
７１０を経由して符号７０５で表わされるバッファメモ
リ３に転送させる。

【０１４２】このとき電荷蓄積部４０５が一つなので、
図６の（ｅ），（ｆ）の一方、例えば、ｔ₁ に相当する
電荷量が転送される。

【０１４３】この場合、光入力強度の影響を受けるた
め、これを軽減する工夫が求められるが、距離情報を得
ることは可能である。

【０１４４】参照符号７０３，７０４，７０５で表わさ
れるバッファメモリ１，２，３には、第１の実施の形態
で求めた測定モード１，２，３の測定結果と等価的に同
じ情報が提供されるので、これの代替手段と考えること
ができる。

【０１４５】このような第２の実施の形態の特徴は、画
素の構成を簡単にして、光電変換部４０３の画素におけ
る開口率を高くしたところにある。

【０１４６】また、この第２の実施の形態の特徴は、バ
ッファメモリ２を用意することにより、測定モード２の
測定において、光電変換部の飽和を軽減することができ
るところにある。

【０１４７】なお、図７において、バッファメモリ２は
一つの場合を例示したが、例えば、Ｎ個の間欠パルスに
対応してＮ個のバッファメモリを用意し、スイッチを順
次切り替えてＮ個の濃淡画像を記録することも可能であ
る。

【０１４８】

【発明の効果】従って、以上説明したように、本発明に
よれば、特に、対象物である移動体を検出する際に、複
数回撮像した結果を積分したものを比較対象としている
ので、移動の方向だけでなく速度情報も得られるので、
例えば、検出した移動体を抽出・認識して記録・警告す
るセキュリティ用の監視装置に適用可能とするために、
検出した移動体の濃淡、距離情報をリアルタイムにモニ
タし、目的とする移動体を抽出（セグメンテーション）
し、これを認識し、あるいは伝送するなどの画像処理を
行うことを可能にした移動要素検出方法及び移動要素検
出装置を提供することができる。

【図面の簡単な説明】

【図１】図１は、本発明の第１の実施の形態による移動
要素検出方法の測定の流れを示すフローチャートであ
る。

【図２】図２は、本発明の第１の実施の形態による移動
要素検出装置に用いられる輝度変調が可能な光源を駆動
する駆動パルスを表わすタイムチャートである。

【図３】図３は、本発明の基本的な考え方について説明
するために示す図である。

【図４】図４は、本発明の第１の実施の形態による移動
要素検出装置における電荷振分け撮像素子の構成を表わ
す模式図である。

【図５】図５は、従来技術として、Ｒ．Ｍｉｙａｇａｗ
ａらによる方式の概念構成を示す図である。

【図６】図６は、従来技術として、Ｒ．Ｍｉｙａｇａｗ
ａらによる方式のタイムチャートを示す図である。

【図７】図７は、本発明の第２の実施の形態による移動
要素検出装置における電荷振分け撮像素子の構成とし
て、図４の電荷蓄積部を一つにした場合の構成を示す図
である。

【符号の説明】

３００…対象物の輝度画像、 ３０１、３０２、３０３…対象物の濃淡画像（輝度画
像）、 ３０４…階段状の電荷分布、 ３０５…電荷分布、 ３０６…電荷分布３０４のピーク位置を連ねた尾根線、 ４０３…ｐｎ接合による光電変換部、 ４０１，４０２…第１及び第２の転送ゲート、 ４０４、４０５…第１及び第２の電荷蓄積部、 ４０６…入射光パルス信号、 ４５０…ゲートおよびで光源駆動部、 ４１０，４１１…転送ゲート、 ４６０…モード選択器、 ４３４…光源、 ４３３…光源４３４から送出される光パルス、 ４２０、４２１、４３０、４３１、４３２…導線、 ７０１…信号伝送路、 ７１０…スイッチ、 ７０２…導線、 ７０３，７０４，７０５…バッフアメモリ１，２，３

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/20 ２００ Ｇ０６Ｔ 7/20 ２００Ａ Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ Ｆ 5/238 5/238 Ｚ Ｆターム(参考） 5B057 AA19 BA02 CA12 CA16 DA06 DA11 DB02 DC22 5C022 AA01 AB15 AC69 5C054 AA01 CC02 CH03 EA01 EA05 FC13 HA18 5L096 AA06 BA02 CA02 GA09 HA03

Claims (7)

【特許請求の範囲】
1. 【請求項１】 光を照射された被写体からの反射光で被
   写体を撮像し、この撮像結果から移動要素を検出する移
   動要素検出方法であり、 上記被写体を１回撮像するステップと、 上記被写体を複数回撮像し、各回の撮像結果を積分して
   行くステップと、 上記１回撮像した撮像結果と上記複数回撮像した積分結
   果の比較に基づいて、移動要素を検出するステップと、 を有することを特徴とする移動要素検出方法。
2. 【請求項２】 輝度変調光を照射された被写体からの反
   射光で被写体を撮像し、この撮像結果から移動要素を検
   出する移動要素検出方法であり、 上記輝度変調光の変調周期に同期して上記被写体を１回
   撮像するステップと、 上記輝度変調光の変調周期に同期して上記被写体を複数
   回撮像し、各回の撮像結果を積分して行くステップと、 上記１回撮像した撮像結果と上記複数回撮像した積分結
   果の比較に基づいて、移動要素を検出するステップと、 を有することを特徴とする移動要素検出方法。
3. 【請求項３】 光を被写体に向けて射出する光源と、 上記被写体から帰還した上記光の反射光で上記被写体を
   撮像する、複数の画素を有する撮像素子と、 上記撮像素子によって、上記被写体を１回撮像した結果
   と、上記被写体を複数回撮像し、各回の撮像結果を積分
   した積分結果との比較に基づいて、移動要素を検出する
   移動要素検出手段と、 を有することを特徴とする移動要素検出装置。
4. 【請求項４】 輝度変調光を被写体に向けて射出する光
   源と、 上記被写体から帰還した上記輝度変調光の反射光で上記
   被写体を撮像する、複数の画素を有する撮像素子と、 上記撮像素子によって、上記輝度変調光の変調周期に同
   期して上記被写体を１回撮像した結果と、上記輝度変調
   光の変調周期に同期して上記被写体を複数回撮像し、各
   回の撮像結果を積分した積分結果との比較に基づいて、
   移動要素を検出する移動要素検出手段と、 を有することを特徴とする移動要素検出装置。
5. 【請求項５】 被写体を撮影して移動要素を検出する移
   動要素検出装置であり、 パルス光を発光する光源と、 複数の画素を有し、各画素には、受光した光を電荷に変
   換する光電変換部と、上記電荷を蓄積する電荷蓄積部
   と、上記光電変換部から上記電荷蓄積部に電荷を転送す
   る転送ゲートが含まれており、上記被写体から帰還した
   上記光源からのパルス光の反射光で上記被写体を撮像す
   る撮像素子と、 上記撮像素子により、上記光源からのパルス光の１回の
   発光で上記被写体を撮像して上記撮像素子の電荷蓄積部
   に電荷を蓄積する第１の動作モードと、上記パルス光の
   １回の発光で上記被写体を撮像する動作を複数回行っ
   て、上記撮像素子の電荷蓄積部に各回の撮影で得られた
   電荷を累積して行く第２の動作モードとを有する、上記
   撮像素子を駆動する駆動部と、 上記第１の動作モードで蓄積された電荷と上記第２の動
   作モードで蓄積された電荷に基づいて、移動要素を検出
   する移動要素検出手段と、 を有することを特徴とする移動要素検出装置。
6. 【請求項６】 上記移動要素検出手段によって検出した
   移動要素の時系列画像を生成可能であることを特徴とす
   る請求項５記載の移動要素検出装置。
7. 【請求項７】 上記駆動部は、上記パルス光の発光に同
   期して上記撮像素子の転送ゲートを制御して上記撮像素
   子の電荷蓄積部に電荷を蓄積する第３の動作モードをさ
   らに有し、 上記第３のモードで蓄積された電荷に基づいて距離情報
   を獲得可能であり、 上記移動要素検出手段は、さらに上記第３の動作モード
   で得られた距離情報にも基づいて移動要素を検出するこ
   とを特徴とする請求項５記載の移動要素検出装置。