JP2004004107A - Object location detection system using two-dimensional sensor - Google Patents

Object location detection system using two-dimensional sensor Download PDF

Info

Publication number
JP2004004107A
JP2004004107A JP2003190350A JP2003190350A JP2004004107A JP 2004004107 A JP2004004107 A JP 2004004107A JP 2003190350 A JP2003190350 A JP 2003190350A JP 2003190350 A JP2003190350 A JP 2003190350A JP 2004004107 A JP2004004107 A JP 2004004107A
Authority
JP
Japan
Prior art keywords
human body
dimensional sensor
dimensional
information
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003190350A
Other languages
Japanese (ja)
Inventor
Noriko Kaneda
兼田 典子
Hiroyuki Tsutsumi
堤 博之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003190350A priority Critical patent/JP2004004107A/en
Publication of JP2004004107A publication Critical patent/JP2004004107A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To accurately detect location of the human body using location information output from a two-dimensional infrared sensor. <P>SOLUTION: A location information coordinate conversion process part 12a4 is supplied with angle information indicating a detection field of each of two-dimensional infrared sensors 1c and passes the angle information to the human body correction process part 12a6. On a plan view of a detected area, lines (13a1, 13a2, 13b1 and 13b2) are respectively drawn from locations where the two-dimensional infrared sensors outputting the angle information are installed in a direction of the angle information. The human body correction process part 12a6 obtains intersecting points (13a3 and 13b3) where the lines intersect, and set coordinates of the intersecting points on the plan view of the detected area as a human body correction location. A plan view display process part 12a2 plots the coordinates (13a3 and 13b3) indicating the human body correction location on the plan view of the detected area on the plan view of the detected area previously displayed, thereby displaying a current location of the human body. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【産業上の利用分野】
本発明は、2次元空間に存在する物体の数又は位置を検出可能な物体検知センサを利用した物体検出システムに関する。
【0002】
【従来の技術】
以下に従来の方法について図2〜図7を用いて説明する。
図2は従来の人体位置検出システムの構成例、図3は1台の2次元赤外線センサ装置の検知可能領域を示す検出対象領域平面図、図4は人体が移動した場合の2次元赤外線センサ装置の人体検出の一例を表した対象領域の平面図、図5は従来の2次元赤外線センサ装置の内部構成図、図6は従来の2次元赤外線センサ装置から出力される人体位置関連情報、図7は従来の人体位置検出システムにおける人体位置検出の一例を示す。
【0003】
従来の2次元赤外線センサ装置2cとして、2次元赤外線センサ(National Technical Report vol.39,No.4;松下電器産業(株)製)を例にとり説明する。
【0004】
従来の人体位置検出システムは、図2に示すように、1台の2次元赤外線センサ装置2cと、2次元赤外線センサ装置からの出力情報を受信し、その検出結果をCRTなどの画面に表示するパソコン等の人体検出結果表示装置2aが、RS232Cなどのデータ線2bを介して接続されている構成となっていた。
【0005】
図2における2次元赤外線センサ装置2cを、検出対象領域の壁面に1台設置した場合、図3に示す様な死角領域3bが生じる。また、検出対象領域内に障害物3cが存在した場合、2次元赤外線センサ装置からの死角領域3bはさらに大きくなる。
【0006】
また、従来の2次元赤外線センサ2cは、センサ素子を垂直方向に複数個並べてアレイとし、それら複数のセンサ素子5a4を同時に水平方向へ回転させ、サンプリングすることで、2次元領域の検出を可能としている。しかし、センサ素子の水平方向への回転には、1回に付き2秒を要し、元の位置にセンサ素子を戻すのに、同じ時間を要するため、最低でも1回のサンプリングに4秒の時間が必要であった。従って、検出対象領域内を人体が、4秒間で、図4に示すように4a→4b→4cと移動した場合、実際の移動経路4dとは違った経路4gで、人体を検出する結果となってしまっている。
【0007】
また、図5、図6に示すように、従来の2次元赤外線センサ装置2cは、センサ素子5a4から入力した赤外線情報を変換した、検出視野に対応する8*64の512画素の温度画像情報、その温度分布から人体部分を切り出しデジタル情報に変換した512画素からなる人体切り出し画像情報6a、さらに切り出された人数、人体の存在方向を示す角度情報θ(6b1,6c1)と、2次元赤外線センサ装置の設置床面位置から人体足元位置までの距離情報r(6b2,6c2)を算出し、出力電文処理部5a7、入出力制御処理部5a1を介して、人体検出結果表示装置2aへ出力する。1回のサンプリング毎にこれら全ての情報が2次元赤外線センサ装置から出力されるが、9600bpsのボーレートで、その通信時間には約2秒を要する。
【0008】
さらに、従来の2次元赤外線センサ装置2cから出力される角度情報(6b1,6c1)と距離情報(6b2,6c2)を用いて、検出対象領域の平面図上に人体位置をプロットしたのが図7である。人体位置が2次元赤外線センサ装置から近い場合、人体の実位置7b1に対して、2次元赤外線センサ装置2cからは、人体位置情報7b2が出力されており、精度良く検出されている。しかし、人体位置が検出視野内であっても2次元赤外線センサ装置から遠い場合、人体の実位置(実際の位置)7c1に対して、2次元赤外線センサ装置2cからは、図に示すように、人体位置情報7c2が出力されており、精度が落ちている。
【0009】
【発明が解決しようとする課題】
このように、従来の技術では、1台の2次元赤外線センサ装置だけでは、検出対象領域に生じる死角領域に人体が存在した場合、検出は不可能となる。
【0010】
また、1回のサンプリング時間に4秒を要するため、人体の移動に追従できない。
【0011】
また、2次元赤外線センサ装置からの出力情報の内容も固定されており、全ての出力情報を出力するのに約2秒間を要するという通信上の問題点を有していた。
さらに、人体位置が2次元赤外線センサ装置から離れていた場合、人体の存在方向を示す角度情報は概ね正しいが、距離情報の精度が落ちるという問題点も有していた。
【0012】
本発明は、このような従来の2次元赤外線センサ装置の課題を考慮し、より精度の高い2次元センサ利用物体位置検出システムを提供することを目的とする。
【0013】
【課題を解決するための手段】
本発明は、2次元的広がりを持った領域を検出視野に持ち物体の存在方向を示す角度情報を定期的に出力する、複数の2次元センサ装置と、角度情報を前記2次元センサ装置から受信する物体検出制御装置とを備え、前記複数の2次元センサ装置は、同じ検出対象領域を持ち、前記物体検出制御装置では、複数の2次元センサ装置から受信した角度情報を用いて、前記各2次元センサ装置について、その設置位置から物体の存在方向を示す角度方向に直線を引いた場合にできる互いの交点を求め、前記交点を物体の存在する位置とすることを特徴とする2次元センサ利用物体検出システムである。
【0014】
又、本発明は、2次元的広がりを持った領域を検出視野に持ち物体の存在方向を示す角度情報と自らの設置位置から物体までの距離情報とを定期的に出力する、複数の2次元センサ装置と、角度情報及び距離情報を前記2次元センサ装置から受信する物体検出制御装置とを備え、前記複数の2次元センサ装置は、同じ検出対象領域を持ち、前記物体検出制御装置では、受信した角度情報と距離情報を用いて物体位置を検出し、さらに検出対象領域の平面上にその物体位置をプロットした際に、ある一定距離内に存在する物体位置をグルーピングし、そのグループの数を、検出対象領域に存在する人数と判定することを特徴とする2次元センサ利用物体検出システムである。
【0015】
又、本発明は、2次元的広がりを持った領域を検出視野に持ち物体の存在方向を示す角度情報と自らの設置位置から物体までの距離情報とを定期的に出力する、複数の2次元センサ装置と、角度情報及び距離情報を前記2次元センサ装置から受信する物体検出制御装置とを備え、前記複数の2次元センサ装置は、同じ検出対象領域を持ち、前記物体検出制御装置では、受信した角度情報と距離情報を用いて物体位置を検出し、さらに検出対象領域の平面上にその物体位置をプロットした際に、ある一定距離内に存在する物体位置をグルーピングし、さらに、前記角度情報を用いて、前記各2次元センサ装置について、その設置位置から物体の存在方向を示す角度方向に直線を引いた場合にできる互いの交点を求め、それら交点の内、前記グルーピングされたグループに最も近い前記交点をそのグループ毎の物体の存在する位置とすることを特徴とする2次元センサ利用物体検出システムである。
【0016】
又、本発明は、2次元的広がりを持った領域を検出視野に持ち物体の存在方向を示す角度情報と自らの設置位置から物体までの距離情報とを定期的に出力する、複数の2次元センサ装置と、角度情報及び距離情報を前記2次元センサ装置から受信する物体検出制御装置とを備え、前記複数の2次元センサ装置は、同じ検出対象領域を持ち、前記物体検出制御装置では、受信した角度情報と距離情報を用いて物体位置を検出し、さらに検出対象領域の平面上にその物体位置をプロットした際に、ある一定距離内に存在する物体位置をグルーピングし、そのグループされた複数の物体位置の重心を求め、その重心位置を物体の存在位置と判定することを特徴とする2次元センサ利用物体検出システムである。
【0017】
【作用】
本発明では、例えば、2次元赤外線センサ装置自身が持つ死角領域、障害物により生じる死角領域を互いに補完して、1台の2次元赤外線センサ装置では、検出不可能な位置の人体を検出できる。
【0018】
検出対象領域内の人体移動時にも、人体検出の追従性を高めることが可能となる。
【0019】
人体検出制御装置では必要な情報のみを2次元赤外線センサ装置から受信することができ、2次元赤外線センサ装置と人体検出制御装置との間の人体位置関連情報の通信時間の短縮が図れる。
【0020】
人体位置が、2次元赤外線センサ装置の検出視野内でも遠くはなれている場合、2次元赤外線センサ装置から出力される人体位置関連情報において、人体が存在する方向を示す角度情報の精度は高いが、2次元赤外線センサ装置の設置床面位置から人体足元位置までの距離情報の精度が低くなる傾向があるが、その場合でも、人体位置検出の精度高めることができる。
【0021】
検出領域内に複数の人体が存在し、存在する人数以上に交点が算出される場合でも、人体位置のグルーピングとグループ内の人体位置の重心を求めることで、人体検出の精度を高めることができる。
【0022】
人体位置が、2次元赤外線センサ装置の検出視野内でも遠くはなれている場合、また2次元赤外線センサ装置と人体との間に障害物が有って人体の一部がうまく切り出されなかった場合、2次元赤外線センサから出力される角度情報や距離情報の精度が大きく落ちるが、どちらの場合も、人体として切り出されている領域の大きさを示す画素数が小さくなることから、グループ内の人体位置の重心を求める際に、グループ内に属する各人体位置に対応する画素数の総和における、各人体位置の画素数の比で、グループ内の各人体位置間に重み付けを行うことで、 より人体検出の精度を高めることができる。
【0023】
人体検出制御装置は、2次元赤外線センサ装置から、切り出し画像の全画素情報ではなく、人体として切り出されている領域の画素数のみを受信すればよく、2次元赤外線センサ装置と人体検出制御装置との間の人体位置関連情報の通信時間の短縮が図れる。
【0024】
【実施例】
(実施例1)
以下本発明の実施例について、図1、8、9を参照しながら説明する。
【0025】
図1は、本発明の2次元赤外線センサ利用人体位置検出システムのシステム構成例を、図8は図1に示す人体検出制御装置の内部構成例を、図9は本発明の2次元赤外線センサ装置の設置例を示す。
【0026】
図1に示す2次元赤外線センサ装置1cは、従来の技術の説明と同様に、2次元赤外線センサ(National TechnicalReport vol.39,No.4;松下電器産業(株)製)を主構成要素とする。人体検出制御装置1aには、CRT等の表示部を備えたパソコン等を用いる。本実施例では、4台の2次元赤外線センサ装置1cを、図9に示すように壁面に向かい合わせになるように設置する。
【0027】
これら4台の2次元赤外線センサ装置1cからの出力情報は、図1に示すように、専用線1bにより、直接人体検出制御装置1aに入力される構成とする。人体検出制御装置1aにおける処理内容を図8を用いて説明する。
【0028】
人体検出制御装置1a内では、接続された4台の2次元赤外線センサ装置1cに、2次元赤外線センサ装置入出力処理部8a5から、同時にサンプリング開始信号を送る。2秒後、検出対象領域のサンプリングを終了した2次元赤外線センサ装置1cから、順番に人体位置関連情報を入力する。位置情報座標変換処理部8a4では、入力された人体位置関連情報の中の角度情報と距離情報から、検出対象領域の平面図上での座標を算出する。平面図表示処理部8a2では、予め検出対象領域関連情報記憶部8a3に記憶されている検出対象領域の大きさや、2次元赤外線センサ装置1cの設置位置を表示したCRT上に、人体位置を示す座標をプロットする。これにより、2次元赤外線センサ装置1の死角領域に人体が存在し、2次元赤外線センサ装置1では検出できない人体を、2次元赤外線センサ装置2(9c部分)、あるいは2次元赤外線センサ装置3(9b部分)が、補完して、必ず検出することができる。
【0029】
しかし、検出対象領域内に障害物がなく、かつ人体が移動している場合、本実施例のように、2次元赤外線センサ装置が同時にサンプリングを開始すると、次のサンプリング開始までに4秒の時間を要するため、人体の移動に追従できないという問題点がある。この問題点を解消する第2の実施例を説明する。
【0030】
(実施例2)
本実施例では、図10を用いて説明する。図10は、人体が4秒間かけて、検出対象領域内を10a→10b→10cの順で10dの経路を移動した場合の2次元赤外線センサ装置の人体検出例を示す。
【0031】
本実施例では、人体検出制御装置1aから、2次元赤外線センサ装置1cに対して、サンプリング開始信号を送るタイミングを1秒づつずらした場合を説明する。
【0032】
始めに、2次元赤外線センサ装置1に対して、サンプリング開始信号を送る。2次元赤外線センサ装置1では、センサ素子の回転により、人体移動開始時刻から約0.8秒後の10eの位置で人体を捕捉できる。1秒後、2次元赤外線センサ装置2に対して、サンプリング開始信号を送る。2次元赤外線センサ装置2では、人体移動開始時刻から2.2秒後に、10fの位置で人体を捕捉できる。さらに1秒後、2次元赤外線センサ装置3に対して、サンプリング開始信号を送る。2次元赤外線センサ装置3では、人体移動開始時刻から約3.7秒後に10gの位置で人体を捕捉できる。さらに1秒後、2次元赤外線センサ装置4に対して、サンプリング開始信号を送る。2次元赤外線センサ装置4では、人体移動開始時刻から約3.9秒後に10hの位置で人体を捕捉できる。
【0033】
このように、2次元赤外線センサ装置のサンプリング開始時間をずらすことで、人体移動時における、人体検出の追従性を高めることが可能となる。
【0034】
しかし、実施例1、2とも、2次元赤外線センサ装置のサンプリング終了から、人体検出制御装置に、人体位置関連情報を出力するのに、約2秒の時間を要するため、実際に人体検出制御装置のCRT上に人体位置が表示されるには、さらに時間遅れが生じる。この問題点を解決する第3の実施例を説明する。
【0035】
(実施例3)
本実施例は、図11を用いて説明する。
【0036】
図11は、本発明の2次元赤外線センサ装置の内部構成図を示す。
【0037】
2次元赤外線センサ装置11aが出力する人体位置関連情報には、センサ素子から入力した赤外線情報を変換した、検出視野に対応する8*64の512画素の温度画像情報、その温度分布から人体部分を切り出しデジタル情報に変換した512画素からなる人体切り出し画像情報、さらに切り出された人数、人体の存在方向を示す角度情報θと、2次元赤外線センサ装置の設置床面位置から人体足元位置までの距離情報rがある。
【0038】
人体検出制御装置1aは、人体検出に必要とする出力情報のみを受信できるよう、予め2次元赤外線センサ装置11aに対して、出力情報選択内容を送信し、2次元赤外線センサ装置11aは、出力情報選択内容記憶部11a8に格納しておく。
【0039】
2次元赤外線センサ装置11aのセンサ素子11a4が1回のサンプリングを終了して、赤外線情報入力部11a5が赤外線情報を入力すると、人体検出処理部11a6で、赤外線情報をもとに前述の人体位置関連情報を算出する。その結果を出力電文処理部11a7で出力電文を構成する際、出力情報選択内容記憶部11a8に格納されている情報をもとに、選択されている出力情報のみ出力電文として構成し、入出力制御処理部を介して、人体検出制御装置1aに出力する。
【0040】
実施例1、2の場合、人体検出制御装置1aは、人体検出に必要な角度情報及び距離情報のみを選択して、2次元赤外線センサ装置に設定しておくと、2次元赤外線センサ装置1cと人体検出制御装置1aとの間の通信時間は、数10msecで済み、通信時間の短縮を図れる。
【0041】
これにより、人体検出制御装置1aのCRT8a1上で、よりリアルタイムに近い人体位置表示が可能となる。
【0042】
しかし、これまでの実施例では、2次元赤外線センサ装置1cから出力される人体位置情報の確度が高いことを前提としたものであるが、実際、人体位置が2次元赤外線センサ装置1cから近い場合は、精度良く人体位置検出されているが、人体位置が検出視野内であっても2次元赤外線センサ装置1cから遠い場合、精度が落ちるという問題点がある。この問題点を解決する第4、5、6の実施例を説明する。
【0043】
(実施例4)
以下本発明の実施例について、図12、図13を用いて説明する。図12は、本発明の人体検出制御装置1aの内部構成図を示す。図13は検出対象領域の平面図であり、人体の実位置、2次元赤外線センサ装置1cの出力位置、本発明に示した方法により検出された人体位置を示すものである。
【0044】
本実施例では図1に示す4台の2次元赤外線センサ装置1cの内、2台を使って、検出対象領域に、2人の人が存在する場合の人体検出方法を説明する。
【0045】
人体検出制御装置12aでは、予め設定された検出対象領域の大きさ、2次元赤外線センサ装置の設置位置情報を検知対象領域関連情報記憶部12a3へ格納し、平面図表示処理部12a2を通して、CRT12a1上に、検出対象領域の平面図、平面図上での2次元赤外線センサ装置設置位置を表示する。さらに、実施例3に示したように、2次元赤外線センサ装置1cに対して、人体位置関連情報の内、角度情報のみを出力するように設定しておく。
【0046】
2次元赤外線センサ装置1、2からそれぞれ人体位置情報を入力した2次元赤外線センサ装置1、2入出力処理部12a5は、位置情報座標変換処理部12a4に入力情報を渡す。この入力情報は各2次元赤外線センサ装置1cの検出視野における角度情報である。角度情報を受け取った位置情報座標変換処理部12a4では、その情報をそのまま、人体位置補正処理部12a6へ渡す。人体位置補正処理部12a6では、検出対象領域の平面図上で、受け取った角度情報の方向に、その情報を出力したそれぞれの2次元赤外線センサ装置を設置位置から直線(13a1,13a2、13b1,13b2)を引いた場合にできる交点(13a3、13b3)を求め、検出対象領域の平面図上の交点の座標を人体補正位置とする。人体位置補正処理部12a6は、算出した人体補正位置を示す座標(13a3、13b3)を平面図表示処理部12a2へ渡す。平面図表示処理部12a2では、検出対象領域の平面図上の人体補正位置を示す座標(13a3、13b3)を予め表示されている検出対象領域の平面図上にプロットし、検出対象領域における現在の人体位置として表示する。
【0047】
この人体位置補正処理部12a6の補正処理により、2次元赤外線センサ装置1cから正確な角度情報を得られる場合、複数のセンサ情報を複合することで、正確な人体位置を検出することができる。
【0048】
しかし本実施例では、図14に示すような検出対象領域内の複数の人の存在位置によって、算出した交点が存在人数以上に出てしまい、正確な人数、位置の検出ができないという問題点がある。この問題点を解決する第5の実施例を説明する。
【0049】
(実施例5)
第5の実施例を、図14を用いて説明する。図14は図13と同様の検出対象領域の平面図であり、人体の実位置、センサの出力位置、補正により検出された人体位置を示すものである。
本実施例でも、実施例4と同じく、図1に示す4台の2次元赤外線センサ装置1cの内、2台を使って、検出対象領域に、2人の人が存在する場合の人体検出方法を説明する。予め、2次元赤外線センサ装置1cに対して、人体位置関連情報の内、角度情報と合わせて、距離情報を出力するように設定しておく。
本実施例では、第1の実施例と同じく2人の人が存在するが、検出対象領域における人体の存在位置が2次元赤外線センサ装置の片側に集まっている場合とする。この場合、第1の実施例の方法では交点が4つ求められるため、正しい位置を検出してはいるが、それ以外の位置にも人体を検出することとなり、人数及び人体位置情報が誤って検出される。
【0050】
そこで、本実施例では、以下に示す方法で人体位置の補正処理を行う。
【0051】
人体検出制御装置12aでは、予め設定された検出対象領域の大きさ、2次元赤外線センサ装置の設置位置情報を検知対象領域関連情報記憶部12a3へ格納し、その情報を平面図表示処理部12a2を通して、CRT12a1上に、検出対象領域の平面図、平面図上での2次元赤外線センサ装置設置位置を表示する。2次元赤外線センサ装置1、2からそれぞれ人体位置情報を入力した2次元赤外線センサ装置1、2入出力処理部12a5は、位置情報座標変換処理部12a4に入力情報を渡す。この入力情報は検出視野における角度情報と距離情報で表される座標である。各2次元赤外線角度情報と距離情報で表される座標を受け取った位置情報座標変換処理部12a4では、2次元赤外線センサ装置1から入力された角度情報と距離情報で表される座標を検出対象領域の平面図上の座標(14a1,14b1)に変換する。同様に2次元赤外線センサ装置2から入力された角度情報と距離情報で表される座標を検出対象領域の平面図上の座標(14a2,14b2)に変換する。変換を終えた位置情報座標変換処理部12a4は、検出対象領域の平面図上の座標を人体位置補正処理部12a6へ渡す。検出対象領域の平面図上の座標を受け取った人体位置補正処理部12a6において、まず検出対象領域の平面図上で、複数の検出対象領域の平面図上の座標を1mという一定距離内に存在するものでグルーピングし、そのグループ(14a3,14b3数で人数を確定する。
【0052】
又、上述のようにして求めた複数の交点の内、上記グルーピングされたグループに最も近い交点をそのグループ毎の物体の存在する位置とすることも可能である。
【0053】
他方、グルーピングをした後、グループ内で検出対象領域の平面図上の座標(14a1,14a2)(14b1,14b2)の重心を求めて、検出対象領域の平面図上の重心の座標(14a4)(14b4)を人体補正位置とする。人体位置補正処理部12a6は、算出した人体補正位置を示す座標(14a4)(14b4)を平面図表示処理部12a2へ渡す。平面図表示処理部12a2では、検出対象領域の平面図上の人体補正位置を示す座標(14a4)(14b4)を予め表示されている検出対象領域の平面図上にプロットし、検出対象領域における現在の人体位置を表示する。
【0054】
この人体位置補正処理部の補正処理により、検出対象領域に複数の人体がどのように存在しても、存在人数以上に検出される可能性も少なく、より精度の高い位置を検出できる。
【0055】
なお、本実施例に置いて、グルーピングをする際に、一定距離として1mを設定したが、2次元赤外線センサ装置の検出精度が50cmであれば、一定距離として50cmを設定するなど、2次元赤外線センサ装置の検出精度に合わせて可変とすると、さらに精度を上げることができる。
【0056】
しかし本実施例では、各点を均等に扱うため、センサ設置位置と人体位置が離れていて、2次元赤外線センサ装置から出力される人体位置を表現する角度情報、距離情報に誤差が大きく含まれていてもその影響を排除できず、位置検出の精度が下がるという問題点がある。この問題点を解決する第6の実施例を説明する。
【0057】
(実施例6)
第6の実施例を、図15、16を用いて説明する。図15、16は2次元赤外線センサ装置において検出視野内の温度情報から人体を切り出した切り出し画像と、図13、14と同様の検知対象領域の平面図であり、人体の実位置、切り出し画像から2次元赤外線センサ装置内で算出された人体位置、補正により検出された人体位置を示すものである。図15は2次元赤外線センサ装置の床面設置位置と人体位置の間の距離に、2台の2次元赤外線センサ装置間に違いがある場合、図16は2次元赤外線センサ装置の床面設置位置と人体位置との間に障害物16bがある場合である。但し、図15、16の人体位置の確定の図は既に実施例5におけるグルーピング処理を施した結果、同一グループとして判定された2点をもとに補正を行っている図である。
【0058】
本実施例は、第5の実施例と人体位置補正処理部12a6におけるグルーピング後の重心を求める際の処理方法のみ異なるものであり、その処理方法に限定して説明する。但し、予め2次元赤外線センサ装置1cに対して、人体位置関連情報の内、角度情報、距離情報に合わせて切り出し画像情報を出力するように設定しておく。また本実施例でも、第4、5の実施例と同じく2人の人が存在する場合とする。
【0059】
本実施例では、実施例5と同様の位置情報座標変換処理部12a4における座標変換処理の後、検出対象領域の平面図上の座標(15b1,15b2)を受け取った人体位置補正処理部12a6において、まず各座標が検出された時の切り出し画像(15a1,15a2)の面積をそれぞれ算出する。切り出し画像(15a1,15a2)の面積は2次元赤外線センサ装置1cから出力された8*64の512点の切り出し画像情報より、人体部分とされる画素数をカウントすることにより求める。一般的に、人体位置と2次元赤外線センサ装置の床面設置位置との距離が小さい場合は切り出し画像の面積は大きく、距離が大きい場合は切り出し画像の面積は小さく検出される。各座標に対応する画素数をカウントした後、実施例5と同様の方法で、グルーピングされた各座標(15b1,15b2)に対応する画素数の総和をグループ毎に算出する。さらに検出対象領域の平面図上の各座標(15b1,15b2)に、対応する画素数を掛け属するグループの総画素数で割って、仮座標を求める。最後に実施例5と同様に、グループ内で、検出対象領域の平面図上の仮座標の重心を求めて、検出対象領域の平面図上の重心の座標(15b3)を人体補正位置とする。なお、画素数によって人体切り出し領域の大きさを判定しているが、直接その面積を求める等他の方法により、領域の大きさを求めてもよい。
【0060】
2次元赤外線センサ装置が、人体と2次元赤外線センサ装置の床面設置位置との間の距離が小さい場合は出力される位置情報の精度が高く、人体と2次元赤外線センサ装置との間の距離が大きい場合は出力される位置情報の精度が低くなる傾向から、この人体位置補正処理部の補正処理により、複数の座標の重心を求める際に、精度の低い情報の影響を小さくすることができ、より精度の高い位置検出ができる。
【0061】
また図16に示すような2次元赤外線センサ装置と人体との間に障害物16bが有って人体の一部がうまく切り出されなかった場合(16a2)、センサから出力される人体位置情報の精度も大きく下がる(16c2)が、切り出し面積が小さくなることから、重心を求める際の影響も小さくなり、同様の効果が得られる。
【0062】
なお、本実施例では、2次元赤外線センサ装置から、512画素の切り出し画像情報を入力して、人体検出制御装置内で、人体切り出しの画素数を計数しているが、この処理を2次元赤外線センサ装置内で行い、切り出し画像情報に変わって画素数のみを入力することで、2次元赤外線センサ装置と人体検出制御装置間の通信時間を短縮できるという効果がある。
【0063】
また、第4、5、6の実施例とも2台の2次元赤外線センサ装置からの出力情報を複合しているがさらに2次元赤外線センサ装置の数を増やしても同様の効果が得られる。
【0064】
また、2次元赤外線センサ装置の数を増やした場合、人体検出制御装置に直接専用線で接続せずに、HBSなどのネットワークを介して2次元赤外線センサ装置から出力情報を収集する構成により、人体検出制御装置における2次元赤外線センサ装置に対するインターフェースの増設や専用線の引き回しの必要もなく、同様の効果が得られる。
【0065】
また、本発明のものは、人体に限らず、物体など他のものであってもよい。
【0066】
また、本発明の2次元センサは、走査型に限らず、さらに赤外線以外のセンサであってももちろん良い。
【0067】
また、本明細書でいう物体とは、当然に人体の他、動物やテレビ等をも含むことはいうまでもない。
【0068】
以上説明した様に、本発明は、次に様な長所を発揮する。
(1)複数台の2次元センサ装置を用いることで、2次元センサ装置自身が持つ死角領域、障害物により生じる死角領域を互いに補完して、1台の2次元センサ装置では、検出不可能な位置の物体を検出できる。
(2)検出対象領域内の物体移動時にも、よりリアルタイムの物体検出が可能となる。
(3)物体検出制御装置では必要な情報のみを2次元センサ装置から受信することができ、2次元センサ装置と物体検出制御装置との間の物体位置関連情報の通信時間の短縮が図れる。
(4)2次元センサ装置から出力される物体位置情報の中で、物体が存在する方向を示す角度情報の確度が高い場合、2次元センサ装置複数台から、同時に受信した角度情報を用いて、各2次元センサ装置毎に、検出対象領域内の2次元センサ装置を設置した床面位置から物体の存在方向を示す角度方向に直線を引いた場合にできる交点を物体位置とすることで、2次元センサ装置の検出視野内で、物体が遠くに存在する場合でも、物体位置検出精度を高めることができる。
(5)検出領域内に複数の物体が存在し、存在する人数以上に交点が算出される場合でも、物体位置のグルーピングとグループ内の物体位置の重心を求めることで、物体検出の精度を高めることができる。
(6)物体位置が、2次元センサ装置の検出視野内でも遠くはなれている場合、また2次元センサ装置と物体との間に障害物が有って物体の一部がうまく切り出されなかった場合、2次元センサから出力される角度情報や距離情報の精度が大きく落ちるが、どちらの場合も、物体として切り出されている領域の大きさを示す画素数が小さくなることから、グループ内の物体位置の重心を求める際に、グループ内に属する各物体位置に対応する画素数の総和における、各物体位置の画素数の比で、グループ内の各物体位置間に重み付けを行うことで、(5)の手段よりも物体検出の精度を高めることができる。
(7)2次元センサ装置において、物体切り出し画素数を算出し、出力することで、物体切り出し画素数を利用した物体検出を行う場合に、物体検出制御装置は、2次元センサ装置から、切り出し画像の全画素情報ではなく、物体として切り出されている領域の画素数のみを受信すればよく、2次元センサ装置と物体検出制御装置との間の物体位置関連情報の通信時間の短縮が図れる。
【0069】
【発明の効果】
以上述べたところから明らかなように、本発明は、より精度の高い2次元センサ利用物体位置検出システムを実現することが出来る。
【図面の簡単な説明】
【図1】本発明の2次元センサ利用物体検出システムの構成例
【図2】従来の人体等検出システムの構成例
【図3】2次元センサ装置の人体等検出可能領域を示す検出対象領域平面図
【図4】人体等が移動した場合の2次元センサ装置の人体等検出例
【図5】従来の2次元センサ装置の内部構成図
【図6】従来の2次元センサ装置から出力される人体等位置関連情報
【図7】従来の人体等位置検出システムにおける人体等位置検出例
【図8】図1に示す物体検出制御装置の内部構成例
【図9】本発明の2次元センサ装置の設置例
【図10】物体が移動した場合の2次元センサ装置の物体検出例
【図11】本発明の2次元センサ装置の内部構成図
【図12】本発明の物体検出制御装置の内部構成図
【図13】本発明の物体位置補正手段による物体検出結果例
【図14】本発明の物体位置補正手段による物体検出結果例
【図15】本発明の位置補正手段による物体検出結果例1
【図16】本発明の位置補正手段による物体検出結果例2
【符号の説明】
1a 物体検出制御装置
1b データ線
1c 2次元センサ装置
[0001]
[Industrial applications]
The present invention relates to an object detection system using an object detection sensor capable of detecting the number or position of an object existing in a two-dimensional space.
[0002]
[Prior art]
The conventional method will be described below with reference to FIGS.
2 is a configuration example of a conventional human body position detection system, FIG. 3 is a plan view of a detection target area showing a detectable area of one two-dimensional infrared sensor device, and FIG. 4 is a two-dimensional infrared sensor device when a human body moves. FIG. 5 is a plan view of a target area showing an example of human body detection, FIG. 5 is an internal configuration diagram of a conventional two-dimensional infrared sensor device, FIG. 6 is human body position-related information output from the conventional two-dimensional infrared sensor device, and FIG. Shows an example of human body position detection in a conventional human body position detection system.
[0003]
As a conventional two-dimensional infrared sensor device 2c, a two-dimensional infrared sensor (National Technical Report vol. 39, No. 4; manufactured by Matsushita Electric Industrial Co., Ltd.) will be described as an example.
[0004]
As shown in FIG. 2, the conventional human body position detection system receives one two-dimensional infrared sensor device 2c and output information from the two-dimensional infrared sensor device, and displays the detection result on a screen such as a CRT. The configuration has been such that a human body detection result display device 2a such as a personal computer is connected via a data line 2b such as RS232C.
[0005]
When one two-dimensional infrared sensor device 2c in FIG. 2 is installed on the wall surface of the detection target area, a blind spot area 3b as shown in FIG. 3 is generated. Further, when the obstacle 3c exists in the detection target area, the blind spot area 3b from the two-dimensional infrared sensor device becomes even larger.
[0006]
In the conventional two-dimensional infrared sensor 2c, a plurality of sensor elements are arranged in an array in the vertical direction to form an array, and the plurality of sensor elements 5a4 are simultaneously rotated in the horizontal direction and sampled to enable detection of a two-dimensional area. I have. However, the rotation of the sensor element in the horizontal direction requires two seconds at a time, and the same time is required to return the sensor element to the original position. Therefore, at least four seconds are required for one sampling. Time was needed. Therefore, when the human body moves within the detection target area in a period of 4 seconds from 4a to 4b to 4c as shown in FIG. 4, the result is that the human body is detected on a path 4g different from the actual moving path 4d. I have.
[0007]
As shown in FIG. 5 and FIG. 6, the conventional two-dimensional infrared sensor device 2c converts the infrared information input from the sensor element 5a4 into 8 * 64 temperature image information of 512 pixels corresponding to the detection visual field, A human body cut-out image information 6a composed of 512 pixels obtained by cutting out a human body part from the temperature distribution and converting it into digital information, furthermore, the number of cut out persons, angle information θ (6b1, 6c1) indicating the direction of the human body, and a two-dimensional infrared sensor device The distance information r (6b2, 6c2) from the installation floor position to the human foot position is calculated and output to the human body detection result display device 2a via the output telegram processing unit 5a7 and the input / output control processing unit 5a1. All of this information is output from the two-dimensional infrared sensor device each time sampling is performed. However, at a baud rate of 9600 bps, the communication time requires about 2 seconds.
[0008]
Further, the human body position is plotted on a plan view of the detection target area using the angle information (6b1, 6c1) and the distance information (6b2, 6c2) output from the conventional two-dimensional infrared sensor device 2c in FIG. It is. When the human body position is close to the two-dimensional infrared sensor device, the human body position information 7b2 is output from the two-dimensional infrared sensor device 2c with respect to the actual human body position 7b1, and is accurately detected. However, when the human body position is far from the two-dimensional infrared sensor device even within the detection field of view, the two-dimensional infrared sensor device 2c, as shown in FIG. The human body position information 7c2 has been output, and the accuracy has dropped.
[0009]
[Problems to be solved by the invention]
As described above, in the related art, it is impossible to detect a human body in a blind spot generated in a detection target area with only one two-dimensional infrared sensor device.
[0010]
In addition, since one sampling time requires 4 seconds, it cannot follow the movement of the human body.
[0011]
Further, the content of the output information from the two-dimensional infrared sensor device is fixed, and there is a communication problem that it takes about 2 seconds to output all the output information.
Further, when the position of the human body is far from the two-dimensional infrared sensor device, the angle information indicating the direction in which the human body is present is generally correct, but the accuracy of the distance information is reduced.
[0012]
An object of the present invention is to provide a more accurate two-dimensional sensor-based object position detection system in consideration of such a problem of the conventional two-dimensional infrared sensor device.
[0013]
[Means for Solving the Problems]
The present invention has a plurality of two-dimensional sensor devices that have a region having a two-dimensional spread in a detection visual field and periodically output angle information indicating the direction in which an object is present, and receive angle information from the two-dimensional sensor devices. A plurality of two-dimensional sensor devices having the same detection target area, and the object detection control device uses the angle information received from the plurality of two-dimensional sensor devices to perform each of the two-dimensional sensor devices. A two-dimensional sensor using a two-dimensional sensor, wherein a crossing point formed when a straight line is drawn from the installation position in the angular direction indicating the direction in which the object exists is determined from the installation position, and the crossing point is set as the position where the object exists. It is an object detection system.
[0014]
In addition, the present invention provides a plurality of two-dimensional images that have a region having a two-dimensional spread in a detection field of view and periodically output angle information indicating a direction in which an object is present and distance information from an installation position of the object to the object. A sensor device, and an object detection control device that receives angle information and distance information from the two-dimensional sensor device, wherein the plurality of two-dimensional sensor devices have the same detection target area, and the object detection control device The object position is detected using the obtained angle information and the distance information, and when the object position is plotted on the plane of the detection target area, the object positions existing within a certain distance are grouped, and the number of the groups is determined. An object detection system using a two-dimensional sensor is characterized by determining the number of persons existing in a detection target area.
[0015]
In addition, the present invention provides a plurality of two-dimensional images that have a region having a two-dimensional spread in a detection field of view and periodically output angle information indicating a direction in which an object is present and distance information from an installation position of the object to the object. A sensor device, and an object detection control device that receives angle information and distance information from the two-dimensional sensor device, wherein the plurality of two-dimensional sensor devices have the same detection target area, and the object detection control device The object position is detected by using the obtained angle information and the distance information, and when the object position is plotted on the plane of the detection target area, the object positions existing within a certain distance are grouped. Of each of the two-dimensional sensor devices, a crossing point obtained when a straight line is drawn from the installation position in an angular direction indicating the direction in which the object exists is determined, and among the crossing points, the group A two-dimensional sensor usage object detection system, characterized in that the closest the intersection ping are groups to be present position of the object for each the group.
[0016]
In addition, the present invention provides a plurality of two-dimensional images that have a region having a two-dimensional spread in a detection field of view and periodically output angle information indicating a direction in which an object is present and distance information from an installation position of the object to the object. A sensor device, and an object detection control device that receives angle information and distance information from the two-dimensional sensor device, wherein the plurality of two-dimensional sensor devices have the same detection target area, and the object detection control device The object position is detected by using the obtained angle information and distance information, and when the object position is plotted on the plane of the detection target area, the object positions existing within a certain distance are grouped, and the grouped plural An object detection system using a two-dimensional sensor, wherein the center of gravity of the object position is determined and the position of the center of gravity is determined as the position of the object.
[0017]
[Action]
According to the present invention, for example, a blind spot area of the two-dimensional infrared sensor device itself and a blind spot area generated by an obstacle are complemented with each other, and a human body at a position that cannot be detected by one two-dimensional infrared sensor device can be detected.
[0018]
Even when the human body moves within the detection target area, it is possible to improve the followability of the human body detection.
[0019]
The human body detection control device can receive only necessary information from the two-dimensional infrared sensor device, and the communication time of the human body position related information between the two-dimensional infrared sensor device and the human body detection control device can be reduced.
[0020]
When the human body position is far away even within the detection field of view of the two-dimensional infrared sensor device, in the human body position related information output from the two-dimensional infrared sensor device, the accuracy of the angle information indicating the direction in which the human body exists is high, The accuracy of the distance information from the floor position where the two-dimensional infrared sensor device is installed to the foot position of the human body tends to be low. Even in this case, the accuracy of detecting the human body position can be increased.
[0021]
Even when a plurality of human bodies are present in the detection area and the number of intersections is calculated for the number of existing human bodies or more, the accuracy of human body detection can be increased by grouping the human body positions and calculating the center of gravity of the human body positions in the group. .
[0022]
If the position of the human body is far away even within the detection field of view of the two-dimensional infrared sensor device, or if there is an obstacle between the two-dimensional infrared sensor device and the human body and a part of the human body is not cut out properly, Although the accuracy of the angle information and the distance information output from the two-dimensional infrared sensor is greatly reduced, in both cases, the number of pixels indicating the size of the region cut out as a human body is reduced, and thus the position of the human body in the group is reduced. When calculating the center of gravity of the human body position, the weight of each human body position in the group is weighted by the ratio of the number of pixels of each human body position in the sum of the number of pixels corresponding to each human body position belonging to the group. Accuracy can be improved.
[0023]
The human body detection control device only needs to receive, from the two-dimensional infrared sensor device, not the entire pixel information of the cut-out image, but only the number of pixels of the region cut out as a human body, and the two-dimensional infrared sensor device and the human body detection control device The communication time of the human body position related information during the period can be reduced.
[0024]
【Example】
(Example 1)
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
[0025]
FIG. 1 shows an example of a system configuration of a human body position detection system using a two-dimensional infrared sensor of the present invention, FIG. 8 shows an example of an internal configuration of the human body detection control device shown in FIG. 1, and FIG. 9 shows a two-dimensional infrared sensor device of the present invention. An example of installation is shown.
[0026]
The two-dimensional infrared sensor device 1c shown in FIG. 1 has a two-dimensional infrared sensor (National Technical Report vol. 39, No. 4; manufactured by Matsushita Electric Industrial Co., Ltd.) as a main component similarly to the description of the conventional technology. . As the human body detection control device 1a, a personal computer or the like having a display unit such as a CRT is used. In the present embodiment, four two-dimensional infrared sensor devices 1c are installed so as to face the wall as shown in FIG.
[0027]
As shown in FIG. 1, output information from these four two-dimensional infrared sensor devices 1c is directly input to the human body detection control device 1a via a dedicated line 1b. The processing contents in the human body detection control device 1a will be described with reference to FIG.
[0028]
In the human body detection control device 1a, a sampling start signal is simultaneously sent from the two-dimensional infrared sensor device input / output processing unit 8a5 to the four connected two-dimensional infrared sensor devices 1c. Two seconds later, human body position-related information is sequentially input from the two-dimensional infrared sensor device 1c that has completed sampling of the detection target area. The position information coordinate conversion processing unit 8a4 calculates the coordinates of the detection target area on the plan view from the angle information and the distance information in the input human body position related information. The plan view display processing unit 8a2 displays the size of the detection target area stored in advance in the detection target area-related information storage unit 8a3 and the coordinates indicating the position of the human body on the CRT displaying the installation position of the two-dimensional infrared sensor device 1c. Is plotted. As a result, a human body that exists in the blind spot area of the two-dimensional infrared sensor device 1 and cannot be detected by the two-dimensional infrared sensor device 1 can be detected by the two-dimensional infrared sensor device 2 (9c portion) or the two-dimensional infrared sensor device 3 (9b). Part) complements and can always be detected.
[0029]
However, when there is no obstacle in the detection target area and the human body is moving, if the two-dimensional infrared sensor device starts sampling at the same time as in this embodiment, it takes 4 seconds before the next sampling starts. Therefore, there is a problem that it cannot follow the movement of the human body. A second embodiment that solves this problem will be described.
[0030]
(Example 2)
This embodiment will be described with reference to FIG. FIG. 10 shows an example of detection of a human body by the two-dimensional infrared sensor device when the human body moves along the path of 10d in the order of 10a → 10b → 10c in the detection target area in 4 seconds.
[0031]
In the present embodiment, a case will be described in which the timing at which the sampling start signal is sent from the human body detection control device 1a to the two-dimensional infrared sensor device 1c is shifted by one second.
[0032]
First, a sampling start signal is sent to the two-dimensional infrared sensor device 1. In the two-dimensional infrared sensor device 1, by rotating the sensor element, the human body can be captured at the position 10e about 0.8 seconds after the start of the human body movement. After one second, a sampling start signal is sent to the two-dimensional infrared sensor device 2. The two-dimensional infrared sensor device 2 can capture the human body at the position 10f after 2.2 seconds from the human body movement start time. After one second, a sampling start signal is sent to the two-dimensional infrared sensor device 3. The two-dimensional infrared sensor device 3 can capture the human body at a position of 10 g about 3.7 seconds after the human body movement start time. After one second, a sampling start signal is sent to the two-dimensional infrared sensor device 4. The two-dimensional infrared sensor device 4 can capture the human body at a position 10h after about 3.9 seconds from the human body movement start time.
[0033]
In this way, by shifting the sampling start time of the two-dimensional infrared sensor device, it is possible to improve the followability of the human body detection when the human body moves.
[0034]
However, in both the first and second embodiments, it takes about 2 seconds to output the human body position related information to the human body detection control device after the sampling of the two-dimensional infrared sensor device is completed. In order for the human body position to be displayed on the CRT, there is a further time delay. A third embodiment for solving this problem will be described.
[0035]
(Example 3)
This embodiment will be described with reference to FIG.
[0036]
FIG. 11 shows an internal configuration diagram of the two-dimensional infrared sensor device of the present invention.
[0037]
The human body position-related information output by the two-dimensional infrared sensor device 11a includes temperature image information of 8 * 64 512 pixels corresponding to the detection visual field, which is obtained by converting infrared information input from the sensor element. Human body cutout image information composed of 512 pixels converted into cutout digital information, furthermore, the number of cutouts, angle information θ indicating the direction in which the human body is present, and distance information from the floor position where the two-dimensional infrared sensor device is installed to the foot position of the human body There is r.
[0038]
The human body detection control device 1a transmits the output information selection contents to the two-dimensional infrared sensor device 11a in advance so that only the output information necessary for the human body detection is received, and the two-dimensional infrared sensor device 11a outputs the output information. It is stored in the selection content storage unit 11a8.
[0039]
When the sensor element 11a4 of the two-dimensional infrared sensor device 11a completes one sampling and the infrared information input section 11a5 inputs the infrared information, the human body detection processing section 11a6 uses the human body position processing section 11a6 based on the infrared information. Calculate information. When forming the output message in the output message processing unit 11a7 based on the result, only the selected output information is configured as the output message based on the information stored in the output information selection content storage unit 11a8, and the input / output control is performed. It outputs to the human body detection control device 1a via the processing unit.
[0040]
In the case of the first and second embodiments, the human body detection control device 1a selects only the angle information and the distance information necessary for the human body detection and sets them in the two-dimensional infrared sensor device. The communication time with the human body detection control device 1a is only several tens of msec, and the communication time can be reduced.
[0041]
As a result, it is possible to display a human body position closer to real time on the CRT 8a1 of the human body detection control device 1a.
[0042]
However, in the above-described embodiments, it is assumed that the accuracy of the human body position information output from the two-dimensional infrared sensor device 1c is high. However, when the human body position is actually close to the two-dimensional infrared sensor device 1c, Although the human body position is detected with high accuracy, there is a problem that the accuracy deteriorates when the human body position is far from the two-dimensional infrared sensor device 1c even within the detection field of view. Fourth, fifth, and sixth embodiments that solve this problem will be described.
[0043]
(Example 4)
Hereinafter, an embodiment of the present invention will be described with reference to FIGS. FIG. 12 shows an internal configuration diagram of the human body detection control device 1a of the present invention. FIG. 13 is a plan view of the detection target area, showing the actual position of the human body, the output position of the two-dimensional infrared sensor device 1c, and the human body position detected by the method shown in the present invention.
[0044]
In the present embodiment, a human body detection method in the case where two persons are present in the detection target area using two of the four two-dimensional infrared sensor apparatuses 1c shown in FIG. 1 will be described.
[0045]
The human body detection control device 12a stores the preset size of the detection target area and the installation position information of the two-dimensional infrared sensor device in the detection target area related information storage unit 12a3, and stores the information on the CRT 12a1 through the plan view display processing unit 12a2. 7A, a plan view of the detection target area and the installation position of the two-dimensional infrared sensor device on the plan view are displayed. Further, as described in the third embodiment, it is set so that only the angle information of the human body position related information is output to the two-dimensional infrared sensor device 1c.
[0046]
The input / output processing unit 12a5 of the two-dimensional infrared sensor devices 1, 2 which has input the human body position information from the two-dimensional infrared sensor devices 1, 2 respectively passes the input information to the position information coordinate conversion processing unit 12a4. This input information is angle information in the detection visual field of each two-dimensional infrared sensor device 1c. Upon receiving the angle information, the position information coordinate conversion processing unit 12a4 passes the information as it is to the human body position correction processing unit 12a6. In the human body position correction processing unit 12a6, on the plan view of the detection target area, in the direction of the received angle information, the respective two-dimensional infrared sensor devices that output the information are moved straight from the installation position (13a1, 13a2, 13b1, 13b2). ) Is determined, and the coordinates of the intersection (13a3, 13b3) formed by subtracting) are determined, and the coordinates of the intersection on the plan view of the detection target area are set as the human body correction position. The human body position correction processing unit 12a6 passes the calculated coordinates (13a3, 13b3) indicating the human body correction position to the plan view display processing unit 12a2. In the plan view display processing unit 12a2, coordinates (13a3, 13b3) indicating the human body correction position on the plan view of the detection target area are plotted on the plan view of the detection target area displayed in advance, and the current position in the detection target area is plotted. Display as human body position.
[0047]
When accurate angle information can be obtained from the two-dimensional infrared sensor device 1c by the correction processing of the human body position correction processing unit 12a6, an accurate human body position can be detected by combining a plurality of pieces of sensor information.
[0048]
However, in the present embodiment, there is a problem in that the calculated intersection points appear more than the number of existing persons due to the existence positions of a plurality of persons in the detection target area as shown in FIG. is there. A fifth embodiment for solving this problem will be described.
[0049]
(Example 5)
A fifth embodiment will be described with reference to FIG. FIG. 14 is a plan view of the detection target area similar to FIG. 13, and shows the actual position of the human body, the output position of the sensor, and the human body position detected by the correction.
Also in the present embodiment, as in the fourth embodiment, a human body detection method using two of the two two-dimensional infrared sensor devices 1c shown in FIG. Will be described. The distance information is set in advance to the two-dimensional infrared sensor device 1c so as to output the distance information together with the angle information in the human body position related information.
In this embodiment, two people are present as in the first embodiment, but it is assumed that the positions of the human bodies in the detection target area are gathered on one side of the two-dimensional infrared sensor device. In this case, since four intersections are obtained in the method of the first embodiment, the correct position is detected, but the human body is also detected at other positions, and the number of persons and the human body position information are erroneously detected. Is detected.
[0050]
Therefore, in the present embodiment, the correction processing of the human body position is performed by the following method.
[0051]
The human body detection control device 12a stores the preset size of the detection target area and the installation position information of the two-dimensional infrared sensor device in the detection target area related information storage unit 12a3, and stores the information through the plan view display processing unit 12a2. , The top view of the detection target area and the installation position of the two-dimensional infrared sensor device on the top view are displayed on the CRT 12a1. The input / output processing unit 12a5 of the two-dimensional infrared sensor devices 1, 2 which has input the human body position information from the two-dimensional infrared sensor devices 1, 2 respectively passes the input information to the position information coordinate conversion processing unit 12a4. This input information is coordinates represented by angle information and distance information in the detection visual field. The position information coordinate conversion processing unit 12a4 that has received the coordinates represented by the two-dimensional infrared angle information and the distance information converts the coordinates represented by the angle information and the distance information input from the two-dimensional infrared sensor device 1 into a detection target area. Is converted to coordinates (14a1, 14b1) on the plan view. Similarly, the coordinates represented by the angle information and the distance information input from the two-dimensional infrared sensor device 2 are converted into coordinates (14a2, 14b2) on the plan view of the detection target area. After the conversion, the position information coordinate conversion processing unit 12a4 passes the coordinates of the detection target area on the plan view to the human body position correction processing unit 12a6. In the human body position correction processing unit 12a6 which receives the coordinates of the detection target area on the plan view, the coordinates of the plurality of detection target areas on the plan view are present within a fixed distance of 1 m on the plan view of the detection target area. And the number of persons is determined by the number of groups (14a3, 14b3).
[0052]
Further, among the plurality of intersections obtained as described above, the intersection closest to the grouped group may be set as the position where the object of each group exists.
[0053]
On the other hand, after grouping, the center of gravity of the coordinates (14a1, 14a2) and (14b1, 14b2) on the plan view of the detection target area in the group is obtained, and the coordinates (14a4) ( 14b4) is a human body correction position. The human body position correction processing unit 12a6 passes the coordinates (14a4) and (14b4) indicating the calculated human body correction position to the plan view display processing unit 12a2. The plan view display processing unit 12a2 plots the coordinates (14a4) and (14b4) indicating the human body correction position on the plan view of the detection target area on the previously displayed plan view of the detection target area, and displays the current position in the detection target area. Displays the human body position of.
[0054]
Due to the correction processing of the human body position correction processing unit, no matter how a plurality of human bodies exist in the detection target area, there is little possibility that more than the number of human bodies will be detected, and a position with higher accuracy can be detected.
[0055]
In this embodiment, when performing the grouping, 1 m is set as the fixed distance. However, if the detection accuracy of the two-dimensional infrared sensor device is 50 cm, the fixed distance is set to 50 cm. If it is made variable in accordance with the detection accuracy of the sensor device, the accuracy can be further increased.
[0056]
However, in this embodiment, since each point is treated equally, the sensor installation position and the human body position are far apart, and the angle information and the distance information representing the human body position output from the two-dimensional infrared sensor device include a large error. However, there is a problem in that the influence cannot be excluded even if it is, and the accuracy of position detection is reduced. A sixth embodiment for solving this problem will be described.
[0057]
(Example 6)
A sixth embodiment will be described with reference to FIGS. FIGS. 15 and 16 are cut-out images of the human body cut out from the temperature information in the detection field of view in the two-dimensional infrared sensor device, and plan views of the detection target region similar to FIGS. It shows the human body position calculated in the two-dimensional infrared sensor device and the human body position detected by the correction. 15 shows a case where the distance between the floor installation position of the two-dimensional infrared sensor device and the position of the human body is different between the two two-dimensional infrared sensor devices. FIG. 16 shows a floor installation position of the two-dimensional infrared sensor device. In this case, there is an obstacle 16b between the human body position. However, the figures of the determination of the human body position in FIGS. 15 and 16 are diagrams in which correction has been performed based on two points determined as the same group as a result of already performing the grouping process in the fifth embodiment.
[0058]
The present embodiment is different from the fifth embodiment only in the processing method for obtaining the center of gravity after grouping in the human body position correction processing unit 12a6, and only the processing method will be described. However, it is set in advance so that the cut-out image information is output to the two-dimensional infrared sensor device 1c in accordance with the angle information and the distance information of the human body position-related information. Also in this embodiment, it is assumed that there are two persons as in the fourth and fifth embodiments.
[0059]
In the present embodiment, the human body position correction processing unit 12a6 that receives the coordinates (15b1, 15b2) on the plan view of the detection target area after the coordinate conversion processing in the position information coordinate conversion processing unit 12a4 similar to the fifth embodiment, First, the areas of the cut-out images (15a1, 15a2) when the respective coordinates are detected are calculated. The area of the cut-out images (15a1, 15a2) is obtained by counting the number of pixels that are regarded as a human body part from the cut-out image information of 8 * 64 512 points output from the two-dimensional infrared sensor device 1c. Generally, when the distance between the position of the human body and the floor surface installation position of the two-dimensional infrared sensor device is small, the area of the cut-out image is large, and when the distance is large, the area of the cut-out image is small. After counting the number of pixels corresponding to each coordinate, the sum of the number of pixels corresponding to each grouped coordinate (15b1, 15b2) is calculated for each group in the same manner as in the fifth embodiment. Further, temporary coordinates are obtained by dividing each coordinate (15b1, 15b2) on the plan view of the detection target area by the total number of pixels of the group to which the corresponding number of pixels is multiplied. Lastly, similarly to the fifth embodiment, the center of gravity of the provisional coordinates on the plan view of the detection target area is obtained in the group, and the coordinates (15b3) of the center of gravity on the plan view of the detection target area are set as the human body correction position. Although the size of the human body cut-out region is determined based on the number of pixels, the size of the region may be obtained by another method such as directly obtaining the area.
[0060]
When the distance between the human body and the floor installation position of the two-dimensional infrared sensor device is small, the accuracy of the output position information is high, and the distance between the human body and the two-dimensional infrared sensor device is high. When the value is large, the accuracy of the output position information tends to be low. Therefore, the correction process of the human body position correction processing unit can reduce the influence of the low accuracy information when obtaining the center of gravity of a plurality of coordinates. , More accurate position detection is possible.
[0061]
When an obstacle 16b is present between the two-dimensional infrared sensor device and the human body as shown in FIG. 16 and a part of the human body is not cut out well (16a2), the accuracy of the human body position information output from the sensor is obtained. Is also greatly reduced (16c2), but since the cutout area is reduced, the effect of obtaining the center of gravity is reduced, and the same effect is obtained.
[0062]
In this embodiment, 512-pixel cut-out image information is input from the two-dimensional infrared sensor device, and the number of pixels of the human body cut-out is counted in the human body detection control device. The communication time between the two-dimensional infrared sensor device and the human body detection control device can be reduced by inputting only the number of pixels instead of the cut-out image information in the sensor device.
[0063]
In the fourth, fifth, and sixth embodiments, output information from two two-dimensional infrared sensor devices is combined, but the same effect can be obtained by further increasing the number of two-dimensional infrared sensor devices.
[0064]
When the number of the two-dimensional infrared sensor devices is increased, the output information is collected from the two-dimensional infrared sensor device via a network such as an HBS without directly connecting to the human body detection control device via a dedicated line. A similar effect can be obtained without the necessity of adding an interface to the two-dimensional infrared sensor device and laying out a dedicated line in the detection control device.
[0065]
Further, the thing of the present invention is not limited to a human body, and may be another thing such as an object.
[0066]
Further, the two-dimensional sensor of the present invention is not limited to the scanning type, and may be a sensor other than infrared rays.
[0067]
In addition, it goes without saying that the object in this specification includes not only a human body but also an animal, a television, and the like.
[0068]
As described above, the present invention has the following advantages.
(1) By using a plurality of two-dimensional sensor devices, a blind spot region of the two-dimensional sensor device itself and a blind spot region caused by an obstacle are complemented by each other, and cannot be detected by one two-dimensional sensor device. The object at the position can be detected.
(2) Even when an object moves within the detection target area, more real-time object detection can be performed.
(3) The object detection control device can receive only necessary information from the two-dimensional sensor device, and the communication time of the object position related information between the two-dimensional sensor device and the object detection control device can be reduced.
(4) In the object position information output from the two-dimensional sensor device, when the accuracy of the angle information indicating the direction in which the object exists is high, using the angle information simultaneously received from a plurality of two-dimensional sensor devices, For each two-dimensional sensor device, the intersection formed when a straight line is drawn from the floor surface position where the two-dimensional sensor device is installed in the detection target area in the angular direction indicating the direction in which the object exists is defined as the object position. Even when an object is far away within the detection field of view of the dimensional sensor device, the object position detection accuracy can be improved.
(5) Even when a plurality of objects are present in the detection area and the number of intersections is calculated for more than the number of existing persons, the accuracy of object detection is improved by grouping the object positions and obtaining the center of gravity of the object positions in the group. be able to.
(6) When the position of the object is far away even within the detection field of view of the two-dimensional sensor device, or when there is an obstacle between the two-dimensional sensor device and the object and a part of the object is not properly cut out. Although the accuracy of the angle information and the distance information output from the two-dimensional sensor is greatly reduced, in either case, the number of pixels indicating the size of the region cut out as the object is reduced, and therefore, the position of the object within the group is reduced. When calculating the center of gravity of (5), weighting is performed between each object position in the group by the ratio of the number of pixels of each object position in the sum of the number of pixels corresponding to each object position belonging to the group. The accuracy of the object detection can be improved as compared with the above method.
(7) In the two-dimensional sensor device, when the object detection using the number of object cutout pixels is performed by calculating and outputting the number of object cutout pixels, the object detection control device outputs the cutout image from the two-dimensional sensor device. It is sufficient to receive only the number of pixels of the region cut out as an object, instead of the entire pixel information, and the communication time of the object position related information between the two-dimensional sensor device and the object detection control device can be reduced.
[0069]
【The invention's effect】
As apparent from the above description, the present invention can realize a more accurate two-dimensional sensor-based object position detection system.
[Brief description of the drawings]
FIG. 1 is a configuration example of an object detection system using a two-dimensional sensor according to the present invention.
FIG. 2 is a configuration example of a conventional human body detection system, etc.
FIG. 3 is a plan view of a detection target area showing a detectable area of a human body or the like of the two-dimensional sensor device.
FIG. 4 is an example of detecting a human body by the two-dimensional sensor device when the human body moves.
FIG. 5 is an internal configuration diagram of a conventional two-dimensional sensor device.
FIG. 6 shows information related to the position of the human body and the like output from a conventional two-dimensional sensor device.
FIG. 7 shows an example of detecting a human body position in a conventional human body position detection system.
8 is an example of the internal configuration of the object detection control device shown in FIG.
FIG. 9 is an installation example of the two-dimensional sensor device of the present invention.
FIG. 10 shows an example of object detection by the two-dimensional sensor device when the object moves.
FIG. 11 is an internal configuration diagram of the two-dimensional sensor device of the present invention.
FIG. 12 is an internal configuration diagram of the object detection control device of the present invention.
FIG. 13 shows an example of an object detection result by the object position correcting means of the present invention.
FIG. 14 shows an example of an object detection result by the object position correcting means of the present invention.
FIG. 15 shows an example 1 of an object detection result by the position correction unit of the present invention.
FIG. 16 shows an example 2 of an object detection result by the position correction means of the present invention.
[Explanation of symbols]
1a Object detection control device
1b Data line
1c Two-dimensional sensor device

Claims (8)

2次元的広がりを持った領域を検出視野に持ち物体の存在方向を示す角度情報を定期的に出力する、複数の2次元センサ装置と、角度情報を前記2次元センサ装置から受信する物体検出制御装置とを備え、前記複数の2次元センサ装置は、同じ検出対象領域を持ち、前記物体検出制御装置では、複数の2次元センサ装置から受信した角度情報を用いて、前記各2次元センサ装置について、その設置位置から物体の存在方向を示す角度方向に直線を引いた場合にできる互いの交点を求め、前記交点を物体の存在する位置とすることを特徴とする2次元センサ利用物体検出システム。A plurality of two-dimensional sensor devices that have a region having a two-dimensional spread in a detection field of view and periodically output angle information indicating the direction in which the object exists, and object detection control that receives the angle information from the two-dimensional sensor device A plurality of two-dimensional sensor devices, the plurality of two-dimensional sensor devices have the same detection target area, and the object detection control device uses the angle information received from the plurality of two-dimensional sensor devices for each of the two-dimensional sensor devices. An object detection system using a two-dimensional sensor, wherein an intersection formed when a straight line is drawn from the installation position in an angular direction indicating the direction in which the object exists is determined, and the intersection is set as the position where the object exists. 2次元的広がりを持った領域を検出視野に持ち物体の存在方向を示す角度情報と自らの設置位置から物体までの距離情報とを定期的に出力する、複数の2次元センサ装置と、角度情報及び距離情報を前記2次元センサ装置から受信する物体検出制御装置とを備え、前記複数の2次元センサ装置は、同じ検出対象領域を持ち、前記物体検出制御装置では、受信した角度情報と距離情報を用いて物体位置を検出し、さらに検出対象領域の平面上にその物体位置をプロットした際に、ある一定距離内に存在する物体位置をグルーピングし、そのグループの数を、検出対象領域に存在する物体数と判定することを特徴とする2次元センサ利用物体検出システム。A plurality of two-dimensional sensor devices that periodically output angle information indicating a direction in which an object exists and a distance information from an installation position of the object to the object having a region having a two-dimensional spread in a detection visual field; And an object detection control device for receiving distance information from the two-dimensional sensor device, wherein the plurality of two-dimensional sensor devices have the same detection target area, and the object detection control device receives the angle information and the distance information. When the object position is detected using, and the object position is plotted on the plane of the detection target area, the object positions within a certain distance are grouped, and the number of the groups is determined in the detection target area. An object detection system using a two-dimensional sensor, which determines the number of objects to be detected. 2次元的広がりを持った領域を検出視野に持ち物体の存在方向を示す角度情報と自らの設置位置から物体までの距離情報とを定期的に出力する、複数の2次元センサ装置と、角度情報及び距離情報を前記2次元センサ装置から受信する物体検出制御装置とを備え、前記複数の2次元センサ装置は、同じ検出対象領域を持ち、前記物体検出制御装置では、受信した角度情報と距離情報を用いて物体位置を検出し、さらに検出対象領域の平面上にその物体位置をプロットした際に、ある一定距離内に存在する物体位置をグルーピングし、さらに、前記角度情報を用いて、前記各2次元センサ装置について、その設置位置から物体の存在方向を示す角度方向に直線を引いた場合にできる互いの交点を求め、それら交点の内、前記グルーピングされたグループに最も近い前記交点をそのグループ毎の物体の存在する位置とすることを特徴とする2次元センサ利用物体検出システム。A plurality of two-dimensional sensor devices that periodically output angle information indicating a direction in which an object exists and a distance information from an installation position of the object to the object having a region having a two-dimensional spread in a detection visual field; And an object detection control device for receiving distance information from the two-dimensional sensor device, wherein the plurality of two-dimensional sensor devices have the same detection target area, and the object detection control device receives the angle information and the distance information. Is used to detect the object position, and further plotting the object position on the plane of the detection target area, grouping the object positions existing within a certain distance, and further using the angle information, With respect to the two-dimensional sensor device, intersections formed when a straight line is drawn from the installation position in the angular direction indicating the direction in which the object exists are determined, and among the intersections, the grouping is performed. 2-dimensional sensor usage object detection system, characterized in that the closest the intersection in the loop to be present position of the object for each the group. 2次元的広がりを持った領域を検出視野に持ち物体の存在方向を示す角度情報と自らの設置位置から物体までの距離情報とを定期的に出力する、複数の2次元センサ装置と、角度情報及び距離情報を前記2次元センサ装置から受信する物体検出制御装置とを備え、前記複数の2次元センサ装置は、同じ検出対象領域を持ち、前記物体検出制御装置では、受信した角度情報と距離情報を用いて物体位置を検出し、さらに検出対象領域の平面上にその物体位置をプロットした際に、ある一定距離内に存在する物体位置をグルーピングし、そのグループされた複数の物体位置の重心を求め、その重心位置を物体の存在位置と判定することを特徴とする2次元センサ利用物体検出システム。A plurality of two-dimensional sensor devices that periodically output angle information indicating a direction in which an object exists and a distance information from an installation position of the object to the object having a region having a two-dimensional spread in a detection visual field; And an object detection control device for receiving distance information from the two-dimensional sensor device, wherein the plurality of two-dimensional sensor devices have the same detection target area, and the object detection control device receives the angle information and the distance information. Is used to detect the object position, and when the object position is plotted on the plane of the detection target area, the object positions existing within a certain distance are grouped, and the center of gravity of the grouped plural object positions is calculated. An object detection system using a two-dimensional sensor, wherein the position of the center of gravity is determined and the position of the object is determined. 物体位置の重心を求める際、各物体の位置について所定の規則に基づき重み付けを行い、重心を求めることを特徴とする請求項4記載の2次元センサ利用物体検出システム。5. The object detection system using a two-dimensional sensor according to claim 4, wherein when calculating the center of gravity of the object position, weighting is performed on each object position based on a predetermined rule to obtain the center of gravity. 複数の2次元センサ装置は、前記角度情報と距離情報に加えて、物体についての画像情報を検出し、前記物体検出制御装置は、画像情報からその物体として切り出されている領域の大きさを検出し、物体位置の重心を求める際、グループ内に属する各物体の領域の大きさの総和における、各物体の前記領域の大きさの割合で、グループ内の各物体の位置に重み付けを行うことを特徴とする請求項5記載の2次元センサ利用物体検出システム。The plurality of two-dimensional sensor devices detect image information about the object in addition to the angle information and the distance information, and the object detection control device detects the size of a region cut out as the object from the image information Then, when obtaining the center of gravity of the object position, weighting the position of each object in the group by the ratio of the size of the region of each object in the sum of the sizes of the regions of each object belonging to the group. The object detection system using a two-dimensional sensor according to claim 5, wherein: 物体の切り出されている領域の大きさは、画像情報における画素数で表現されることを特徴とする請求項6記載の2次元センサ利用物体検出システム。7. The object detection system using a two-dimensional sensor according to claim 6, wherein the size of the cut-out region of the object is represented by the number of pixels in the image information. 物体検出制御装置が、前記画像情報からその物体として切り出されている領域の大きさを検出する代わりに、前記複数の2次元センサ装置が、前記画像情報からその物体として切り出されている領域の大きさを検出し、出力することを特徴とする請求項7記載の2次元センサ利用物体検出システム。Instead of the object detection control device detecting the size of the region cut out as the object from the image information, the plurality of two-dimensional sensor devices may detect the size of the region cut out as the object from the image information. The object detection system using a two-dimensional sensor according to claim 7, wherein the object is detected and outputted.
JP2003190350A 2003-07-02 2003-07-02 Object location detection system using two-dimensional sensor Withdrawn JP2004004107A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003190350A JP2004004107A (en) 2003-07-02 2003-07-02 Object location detection system using two-dimensional sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003190350A JP2004004107A (en) 2003-07-02 2003-07-02 Object location detection system using two-dimensional sensor

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP09392295A Division JP3509273B2 (en) 1995-04-19 1995-04-19 Object position detection system using two-dimensional sensor

Publications (1)

Publication Number Publication Date
JP2004004107A true JP2004004107A (en) 2004-01-08

Family

ID=30438414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003190350A Withdrawn JP2004004107A (en) 2003-07-02 2003-07-02 Object location detection system using two-dimensional sensor

Country Status (1)

Country Link
JP (1) JP2004004107A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014142288A (en) * 2013-01-25 2014-08-07 Hokuyo Automatic Co Object detector, range-finder, door control device, and automatic door device
JP2018095340A (en) * 2016-12-09 2018-06-21 東芝エレベータ株式会社 Passenger conveyor
CN115721536A (en) * 2022-11-22 2023-03-03 佛山科学技术学院 Massage cleaning method, device, system and medium based on hot spring water

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014142288A (en) * 2013-01-25 2014-08-07 Hokuyo Automatic Co Object detector, range-finder, door control device, and automatic door device
JP2018095340A (en) * 2016-12-09 2018-06-21 東芝エレベータ株式会社 Passenger conveyor
CN115721536A (en) * 2022-11-22 2023-03-03 佛山科学技术学院 Massage cleaning method, device, system and medium based on hot spring water
CN115721536B (en) * 2022-11-22 2023-07-11 佛山科学技术学院 Massage cleaning method, device, system and medium based on hot spring water

Similar Documents

Publication Publication Date Title
US7116246B2 (en) Apparatus and method for sensing the occupancy status of parking spaces in a parking lot
CN103491339B (en) Video acquiring method, equipment and system
US6193657B1 (en) Image based probe position and orientation detection
JP5603663B2 (en) Moving object locus display device and moving object locus display program
KR20070041492A (en) Method and system for performing video flashlight
WO2005003792A2 (en) Method and apparatus for placing sensors using 3d models
EP1556736A1 (en) Image capture and and display and method for generating a synthesized image
JP2010128727A (en) Image processor
JP4722537B2 (en) Monitoring device
CN110460778B (en) Cruise method and device of camera, computer equipment and storage medium
EP2476999A1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
US11386579B2 (en) Context-aware real-time spatial intelligence provision system and method using converted three-dimensional objects coordinates from a single video source of a surveillance camera
JP5183152B2 (en) Image processing device
JP5147760B2 (en) Image monitoring device
CN111183401A (en) Monitoring device, monitoring system, and monitoring method
JP2003156389A (en) Vibration measuring apparatus and storage medium
JPH09282459A (en) Body detector
JP5574551B2 (en) Image processing apparatus and image processing method
JP2004004107A (en) Object location detection system using two-dimensional sensor
JP3509273B2 (en) Object position detection system using two-dimensional sensor
WO2005088962A1 (en) Tracking device and motion capture device
KR101916093B1 (en) Method for tracking object
JP2003075148A (en) Displacement measuring instrument using digital still camera
Song et al. Systems, control models, and codec for collaborative observation of remote environments with an autonomous networked robotic camera
JP6573775B2 (en) Intersection monitoring system

Legal Events

Date Code Title Description
A977 Report on retrieval

Effective date: 20051221

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060418

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20060607