JP2008158690A - 移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラム - Google Patents

移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラム Download PDF

Info

Publication number
JP2008158690A
JP2008158690A JP2006344883A JP2006344883A JP2008158690A JP 2008158690 A JP2008158690 A JP 2008158690A JP 2006344883 A JP2006344883 A JP 2006344883A JP 2006344883 A JP2006344883 A JP 2006344883A JP 2008158690 A JP2008158690 A JP 2008158690A
Authority
JP
Japan
Prior art keywords
detection
obstacle
detected
coordinate
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006344883A
Other languages
English (en)
Inventor
Akihiro Kimura
明博 木村
Takuo Moriguchi
拓雄 森口
Akira Horiguchi
彰 堀口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sohgo Security Services Co Ltd
Original Assignee
Sohgo Security Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sohgo Security Services Co Ltd filed Critical Sohgo Security Services Co Ltd
Priority to JP2006344883A priority Critical patent/JP2008158690A/ja
Publication of JP2008158690A publication Critical patent/JP2008158690A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

【課題】装置自体が移動している際に移動体を検知することができる移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラムを提供する。
【解決手段】移動可能な警備ロボット100において、レーザレンジセンサ101は、移動中に、障害物までの座標を検知し、走行情報計測部107は、当該警備ロボット100が走行した方向および距離を示す走行情報を計測し、座標算出部105は、座標記憶部110に記憶された警備ロボット100が移動する移動領域における前回検知された障害物の座標と、走行情報計測部107によって計測された走行情報とから、今回検知されるべき障害物の座標を算出し、移動体判定部106は、レーザレンジセンサ101によって検知された座標と、座標算出部105によって算出された座標との差分から移動体を判定する。
【選択図】 図1

Description

本発明は、移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラムに関する。
従来、超音波や電磁波を送出し、送出した超音波や電磁波の反射波を受信した場合に得られる方位と距離の情報から周辺に存在する障害物を検知する装置が一般に知られている。このような装置では、障害物が存在すれば反射波が反射されるため、障害物が人体であるか否かを判断することができないという問題があった。
このような問題を解決するものとして、2次元温度分布を検出し、予め定められた人体温度範囲を検出し、検出された形状から人体を検知する人体検知装置が開示されている(特許文献1参照)。
特開平11−52064号公報
しかしながら、上記特許文献1に記載された技術では、人体検知装置が車両等に搭載された場合において、車両等が走行している際に人体を検知すると、検知される熱源が見かけ上移動するため、正確に人体を検知することができないという問題があった。かかる装置を用いて人体を検知しようとすると、人体検知装置を搭載している車両自体を停止させて人体を検知する必要があった。なお、上述した超音波や電磁波によって障害物を検知する装置においても、装置自体が移動すると、同様に障害物を正確に検知できないという問題があった。
本発明は、上記に鑑みてなされたものであって、装置自体が移動している際に移動体を検知することができる移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、請求項1にかかる発明は、移動可能な移動体検知装置において、前記移動体検知装置が移動する移動領域において検知された障害物の前記移動領域における前記障害物の座標である第1検知座標を記憶する記憶手段と、移動中に、前記障害物までの距離および方向を検知する障害物検知手段と、前記障害物検知手段によって検知された前記障害物までの距離および方向から、前記移動領域における前記障害物の座標である第2検知座標を算出する検知座標算出手段と、前記記憶手段に記憶されている前記第1検知座標に対応する前記障害物を検知してから前記第2検知座標に対応する前記障害物を前記障害物検知手段によって検知するまでに、当該移動体検知装置が走行した距離および方向を示す走行情報を計測する走行情報計測手段と、前記記憶手段に記憶された前記第1検知座標と、前記走行情報計測手段によって計測された前記走行情報とから、今回検知されるべき障害物の座標である算出座標を算出する算出座標算出手段と、前記検知座標算出手段によって算出された前記第2検知座標と、前記算出座標算出手段によって算出された前記算出座標との差分から、前記障害物が移動体であるか否かを判定する移動体判定手段と、を備えることを特徴とする。
また、請求項2にかかる発明は、請求項1に記載の移動体検知装置において、前記算出座標算出手段によって算出された前記算出座標を算出点として示す第1画像情報を生成し、前記検知座標算出手段によって算出された前記第2検知座標を検知点として示す第2画像情報を生成する画像情報生成手段、をさらに備え、前記移動体判定手段は、前記画像情報生成手段によって生成された前記第1画像情報と前記第2画像情報とを重ね合わせ、重ね合わせた前記算出点と前記検知点とが所定の閾値以上離れている場合に、前記障害物が移動体であると判定すること、を特徴とする。
また、請求項3にかかる発明は、請求項2に記載の移動体検知装置において、前記第1画像情報を平行移動または回転移動の少なくともいずれか一方を行うことにより、前記第2画像情報の検知点と、前記第1画像情報の算出点が最も重なるよう補正する補正手段、をさらに備え、前記移動体判定手段は、前記補正手段によって補正された前記第1画像情報と、前記第2画像情報とを重ね合わせ、重ね合わせた前記算出点と前記検知点が所定の閾値以上離れている場合に、前記障害物が移動体であると判定すること、を特徴とする。
また、請求項4にかかる発明は、請求項3に記載の移動体検知装置において、当該移動体検知装置の移動可能領域を示す地図情報を記憶する地図情報記憶手段、をさらに備え、前記移動体判定手段は、前記補正手段によって補正された前記第1画像情報と、前記第2画像情報とを重ね合わせ、重ね合わせた画像情報から、前記地図情報記憶手段に記憶された前記地図情報に含まれない前記算出点および前記検知点を除外した上で、前記算出点と前記検知点が所定の閾値以上離れている場合に、前記障害物が移動体であると判定すること、を特徴とする。
また、請求項5にかかる発明は、請求項1〜4のいずれか一つに記載の移動体検知装置において、停止中に、検知領域での赤外線を検知する赤外線検知手段と、前記赤外線検知手段によって所定量の赤外線が検知された場合に、前記所定量の赤外線が検知された領域に人体が存在すると判定する人体判定手段と、をさらに備えることを特徴とする。
また、請求項6にかかる発明は、請求項1〜4のいずれか一つに記載の移動体検知装置において、停止中に、検知領域での赤外線を検知する赤外線検知手段と、前記移動体判定手段によって前記障害物が移動体であると判定された場合で、かつ、前記移動体の位置で前記赤外線検知手段によって前記所定量の赤外線が検知された場合に、前記障害物が人体であると判定する人体判定手段と、をさらに備えることを特徴とする。
また、請求項7にかかる発明は、移動可能な警備ロボットにおいて、請求項1〜6のいずれか一つに記載の移動体検知装置を備え、前記移動領域での移動が許可されている人物の認証情報を記憶する認証情報記憶手段と、外部から入力された前記認証情報と、前記認証情報記憶手段に記憶された前記認証情報とを照合することにより、前記人物を認証する認証手段と、前記移動体判定手段によって移動体と判定された場合、または、前記人体判定手段によって人体と判定された場合に、判定された当該移動体または当該人体に対して前記認証手段による認証を要求する認証要求手段と、前記認証要求手段によって要求された認証がされなかった場合に、不審者と判定する不審者判定手段と、前記不審者判定手段によって前記人体が不審者と判定された場合に、前記人体が不審者である旨を報知する報知手段と、をさらに備えることを特徴とする。
また、請求項8にかかる発明は、移動可能な移動体検知装置で実行される移動体検知方法において、移動中に、障害物までの距離および方向を検知する障害物検知ステップと、前記障害物検知ステップによって検知された前記障害物までの距離および方向から、前記移動領域における前記障害物の座標である第2検知座標を算出する検知座標算出ステップと、前記移動体検知装置が移動する移動領域において検知された障害物の前記移動領域における前記障害物の座標である第1検知座標を記憶する記憶手段に記憶されている前記第1検知座標に対応する前記障害物を検知してから前記第2検知座標に対応する前記障害物を前記障害物検知ステップによって検知するまでに、当該移動体検知装置が走行した距離および方向を示す走行情報を計測する走行情報計測ステップと、前記記憶手段に記憶された前記第1検知座標と、前記走行情報計測ステップによって計測された前記走行情報とから、今回検知されるべき障害物の座標である算出座標を算出する算出座標算出ステップと、前記検知座標算出ステップによって算出された前記第2検知座標と、前記算出座標算出ステップによって算出された前記算出座標との差分から、前記障害物が移動体であるか否かを判定する移動体判定ステップと、を有することを特徴とする。
また、請求項9にかかる発明は、請求項8に記載された移動体検知方法をコンピュータに実行させること、を特徴とする。
本発明によれば、移動可能な装置が移動している場合に、検知のための停止を行うことなく移動体を検知することができるため、広範囲の領域を短時間で効率よく検知することができるという効果を奏する。
また、本発明によれば、時系列に検知された検知情報と、オドメトリ情報(走行分のタイヤの回転数等)で移動体を判定することができるため、地図情報のような事前に作成すべき情報を登録することなく、移動体を検知することができるという効果を奏する。
以下に添付図面を参照して、本発明にかかる移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラムの最良な実施の形態を詳細に説明する。なお、本発明はこれらの実施の形態に限定されるものではない。
(第1の実施の形態)
第1の実施の形態について、添付図面を参照して説明する。第1の実施の形態にかかる警備ロボットは、移動体検知装置を搭載し、警備ロボット自体が移動しながら警備領域内を移動している対象物を検知して人体と判定する。人体と判定された場合には、認証操作を要求し、認証されない場合は不審者と判定して他者への報知を行う。
まず、本発明が適用される警備ロボットの構成例について説明する。図1は、第1の実施の形態にかかる警備ロボットの構成を示すブロック図である。
本実施の形態にかかる警備ロボット100は、レーザレンジセンサ(Laser Range Sensor)101と、検知情報取得部102と、タイマ部103と、画像情報生成部104と、座標算出部105と、移動体判定部106と、走行情報計測部107と、駆動制御部108と、駆動部109と、座標記憶部110と、認証情報データベース111と、IC(Integrated Circuit)カードリーダ部112と、認証情報取得部113と、認証部114と、スピーカ115と、音声制御部116と、通信部117とを備えている。
レーザレンジセンサ101は、警備ロボット100が警備領域を走行中に、警備領域に存在する障害物を検知する。レーザレンジセンサ101は、所定の角度ごとにレーザや赤外LED等を照射し、障害物からの反射波によって障害物の方向と距離を計測する。なお、レーザレンジセンサ101は、走行方向を中心に所定の角度(例えば90度や180度、360度等の適当な角度)について、所定の角度ごとにレーザ等を照射して検知する。検知情報取得部102は、レーザレンジセンサ101が計測した障害物の方向および距離を取得する。タイマ部103は、レーザレンジセンサ101が前回障害物を検知してからの経過時間を計測する。また、タイマ部103は、認証操作を要求する旨のメッセージ出力後の経過時間を計測する。
駆動部109は、警備ロボット100が自立走行するための駆動機構である。駆動部109は、直線移動および回転移動が可能な駆動車輪と、駆動車輪を回転させるためのモータ等を備えている。駆動部109は、速度30cm/s〜1m/s程度で走行することを想定している。駆動制御部108は、駆動部109に対する移動方向や移動速度、停止等を制御する。
走行情報計測部107は、警備ロボット100が移動した場合に、駆動部109が備える駆動車輪の回転数や回転角度(オドメトリ)等から走行情報を計測する。ここで、走行情報とは、左車輪移動量dlと右車輪移動量drである。また、ジャイロを使用している場合は、角度変化量dθが含まれる。
座標算出部105は、後述する座標記憶部110に記憶された前回検知した障害物の座標と、走行情報計測部107によって計測された走行情報とから、今回検知されるべき障害物の座標(以下、算出座標という)を算出する。また、座標算出部105は、検知情報取得部102によって取得された方向および距離から、検知された障害物の座標(以下、検知座標という)を算出する。座標記憶部110は、座標算出部105によって算出された検知座標を時系列に記憶する。
画像情報生成部104は、座標算出部105によって算出された座標を示す点(以下、算出点という)を描画した画像情報を生成する。ここで、画像情報生成部104が生成する画像情報は、算出座標を描画した画像情報(以下、算出画像情報という)と、検知座標を示す点(以下、検知点という)を描画した画像情報(以下、検知画像情報という)である。
移動体判定部106は、画像情報生成部104によって生成された算出画像情報と検知画像情報から、警備領域内の移動体の有無を判定する。また、移動体判定部106では、移動体が存在すると判定した場合には、移動体の位置を求める。移動体判定部106は、算出画像情報を平行移動または回転移動して、駆動車輪のスリップ等で生じた算出画像情報と検知画像情報とのずれを補正する。
認証情報データベース111は、不審者か否かを判定するための識別情報を格納する。図2は、認証情報データベースのデータ構成を示す説明図である。図2に示すようなICカード識別情報が格納されている。なお、認証情報データベース111に格納されている認証情報を警備ロボット100に備えず、通信部117を介して警備装置や監視センタから受信してもよい。
ICカードリーダ部112は、ICカードの識別情報を読取る。認証情報取得部113は、ICカードリーダ部112によって読取られた識別情報を取得する。
認証部114は、認証情報取得部113によって取得された識別情報と、認証情報データベース111に格納された認証情報とを照合し、一致するか否かを判定する。認証情報取得部113によって取得された識別情報と、認証情報データベース111に格納された認証情報が一致した場合は、ICカードを所持する者が認証される。なお、ICカード識別情報に代えて、指紋情報、静脈情報のような生体認証情報を取得し、それらを照合することによって不審者か否かを判定してもよい。
スピーカ115は、音声情報を出力する。音声制御部116は、スピーカ115に対して音声情報を出力するように制御する。通信部117は、認証部114によって警備領域内に存在する移動体が不審者であると判断された場合に、図示しない警備装置や監視センタに不審者が存在する旨を通報する。また、通信部117は、警備装置や監視センタと無線でデータを送受信する。
次に、以上のように構成されている警備ロボット100による人体判定・警備処理について説明する。図3−1、図3−2は、検知情報取得部、タイマ部、画像生成部、座標算出部、移動体判定部、走行情報計測部、認証部が行う人体判定・警備処理手順を示すフローチャートである。なお、警備ロボット100は、駆動部109を駆動することによって、警備領域内を走行している。
タイマ部103は、所定時間が経過したか否かを判定する(ステップS301)。所定時間が経過していないと判定した場合は(ステップS301:No)、ステップS301に戻り、所定時間が経過するまで処理を繰り返す。所定時間が経過したと判定した場合は(ステップS301:Yes)、検知情報取得部102がレーザレンジセンサ101によって所定の角度ごとに検知した検知情報を取得する(ステップS302)。ここで、レーザレンジセンサ101の検知情報とは、障害物までの方向と距離である。なお、レーザレンジセンサ101の検知時間は、1回につき1/1000秒単位のオーダであるため、警備ロボット100が30cm/s〜1m/s程度の速度で移動している場合、障害物までの方向と距離をほぼ正確に検知することができる。
座標算出部105は、検知情報から障害物を検知した座標(検知座標)を算出する(ステップS303)。画像情報生成部104は、検知座標を示す検知点を描画した画像情報を生成する(ステップS304)。図4は、検知点を描画した画像情報の一例を示す説明図である。レーザレンジセンサ101で障害物を検知した警備ロボット100の位置を基準座標として、障害物を検知した座標を示したものである。
走行情報計測部107は、前回の検知情報を検知した時刻と今回の検知情報を検知した時刻の間に移動した警備ロボット100の走行情報を取得する(ステップS305)。座標算出部105は、座標記憶部110に記憶された前回の検知座標および走行情報計測部107によって計測された走行情報から、今回検知されると推定される障害物の算出座標を算出する(ステップS306)。
ここで、具体的に、今回検知されるべき座標を算出する方法について説明する。図5は、警備領域における移動前および移動後の警備ロボットの位置の一例を示す説明図である。警備ロボット100の車輪間隔dhは、警備ロボット100の仕様によって決まる。走行情報計測部107によって計測された走行情報は、左車輪移動量dl、右車輪移動量dr、角度変化量dθである。図5に示すように、警備ロボット100がaの位置からbの位置に移動することによって、x座標はdx、y座標はdy変化している。
これらの条件から、移動前の障害物の座標をsrc(srcは(x,y)座標の集合とする)、移動後の障害物の座標をsrc’とすると、以下のようにしてsrc’を求めることができる。
dθ=(dl−dr)/dh
なお、dθは、ジャイロが搭載されている場合には、ジャイロ指示値の変化量とする。
dx=((dl+dr)/2)×sin(dθ)
dx=((dl+dr)/2)×cos(dθ)
src’.x=src.x×cos(dθ)−src.y×sin(dθ)−dx
src’.y=src.x×sin(dθ)+src.y×cos(dθ)−dy
図6は、移動前の障害物の座標を示す説明図である。図7は、移動後の障害物の座標を示す説明図である。図6に示す移動前の障害物の座標と、上述した計算式を用いて、検知されるべき移動後の障害物の座標を算出した結果が図7である。このように、警備ロボット100が走行している場合であっても、走行情報を考慮して移動後の障害物の座標を算出することにより、レーザレンジセンサ101によって検知される障害物の座標を算出することができる。
図3−1のフローチャートに戻り、画像情報生成部104は、座標算出部105によって算出された検知されるべき障害物の座標を示す算出点を描画した画像情報を生成する(ステップS307)。移動体判定部106は、今回検知した検知画像情報と、検知すべき座標を算出した算出画像情報を重ね合わせて補正する(ステップS308)。図8は、補正する前の検知画像情報と算出画像情報を重ね合わせた画像情報の一例を示す説明図である。図8に示すように、走行情報を加味して障害物の座標を算出した場合であっても、静止している障害物の座標に多少の誤差を生じる場合がある。すなわち、駆動部109に備える起動車輪にスリップ等が生じるため、正確な走行情報が得られず、誤差が生じる場合である。このような走行情報の誤差を補正するため、検知画像情報と算出画像情報とのマッチングを行い、検知点と算出点が最も重なるように算出画像情報を平行に移動したり、回転移動したりして補正する。図9は、補正した後の検知画像情報と算出画像情報を重ね合わせた画像情報の一例を示す説明図である。通常静止している障害物を検知した座標が、移動している障害物を検知した座標より多く検知されると考えられるため、検知点と算出点が最も重なるように補正すれば、図9に示すように移動している障害物を検知点は、算出点と重ならずにずれて描画される。
移動体判定部106は、所定の距離以上離れた検知点と算出点があるか否かを判断する(ステップS309)。所定の距離以上離れた検知点と算出点がないと判断した場合は(ステップS309:No)、ステップS320に進む。所定の距離以上離れた検知点と算出点があると判断した場合は(ステップS309:Yes)、移動体判定部106は移動体が存在し、移動体が人であると判定する(ステップS310)。なお、ここでは移動体が存在するか否かの判断を検知点と算出点が所定距離以上か否かで判断したが、それに代えて画像処理のノイズ除去手段である膨張処理を行なった上で、障害物を示す画像にずれが生じているか否かにより移動体が存在するか否かを判断してもよい。これにより、同一のセンサが同一の障害物を検知する場合であっても多少生じてしまうゆらぎ(検知誤差)を、画像情報に膨張処理することによって除去し、誤差による誤検知を削減することができる。
駆動制御部108は、駆動部109に対して人体と判定した位置に移動するよう制御する(ステップS311)。音声制御部116は、スピーカ115から認証操作を促す旨のメッセージを出力するよう制御する(ステップS312)。認証情報取得部113は、ICカードリーダ部112に挿入されたICカードから認証情報を取得したか否かを判断する(ステップS313)。認証情報を取得していないと判断した場合は(ステップS313:No)、タイマ部103が所定時間経過したか否かを判断する(ステップS314)。所定時間経過していないと判断した場合は(ステップS314:No)、ステップS313に戻る。
所定時間経過したと判断した場合は(ステップS314:Yes)、移動体判定部106は移動体を不審者であると判定する(ステップS315)。音声制御部116は、スピーカ115から不審者である旨のメッセージを出力するよう制御する(ステップS316)。なお、不審者である旨のメッセージの出力に代えて、またはメッセージ出力とともにライトの点灯や、警備装置や監視センタへの通報を行ってもよい。
ステップS313において、認証情報を取得したと判断した場合は(ステップS313:Yes)、認証部114は認証情報データベース111から認証情報を取得する(ステップS317)。認証部114は、ICカードリーダ部112から取得した認証情報と、認証情報データベース111から取得した認証情報とを照合して一致したか否かを判断する(ステップS318)。これにより、検知された人物が警備領域内の立入りを認められるか否かを判断することができる。
ICカードリーダ部112から取得した認証情報と、認証情報データベース111から取得した認証情報が一致していないと判断した場合は(ステップS318:No)、ステップS313に戻る。ICカードリーダ部112から取得した認証情報と、認証情報データベース111から取得した認証情報が一致したと判断した場合は(ステップS318:Yes)、移動体判定部106は移動体を不審者でないと判定する(ステップS319)。移動体判定部106は、座標記憶部110に検知された座標を記憶し(ステップS320)、ステップS301に戻る。
このように、警戒するため警備ロボットが警備領域を移動している場合に、検知のための停止を行うことなく移動体を検知することができるため、広範囲の警備領域を短時間で効率よく検知することができる。また、警備ロボットが常に移動している場合のみならず、停止している場合や、停止や移動を繰り返すような場合であっても、同様の処理で移動体を検知することができる。また、予め地図情報を登録することなく、警備ロボットによる移動体を検知することができるため、事前準備が必要なく容易に警備ロボットを導入することができる。
なお、上述した実施の形態では、警備中の無人となったオフィスビルやショッピング施設を警備する警備ロボットを例として説明したが、本発明は、この他にも病院や展示会場等で訪問者を検知して、訪問先の道順を案内する案内ロボット等のほか、移動しながら他の移動体を検知する様々な装置に適用することができる。
なお、本実施の形態では、所定時間ごとにレーザレンジセンサ101によって障害物を検知する例を説明したが、所定時間に代えて、駆動部109によって走行した距離が所定の距離となったときごとに、レーザレンジセンサ101によって障害物を検知するようにしてもよい。
本実施の形態の警備ロボット100は、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)、CD(Compact Disk)ドライブ装置等の外部記憶装置、入出力装置等を備えており、通常のコンピュータを利用したハードウェア構成となっている。
なお、認証情報データベース111は、HDD、光ディスク、メモリカードなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
また、本実施の形態の警備ロボット100で実行される移動体検知プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の警備ロボット100で実行される移動体検知プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施の形態の移動体検知プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施の形態の警備ロボット100で実行される移動体検知プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
本実施の形態の警備ロボット100で実行される移動体検知プログラムは、上述した各部(検知情報取得部、走行情報計測部、座標算出部、画像情報生成部、移動体判定部、認証情報取得部、認証部等)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から移動体検知プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、検知情報取得部、走行情報計測部、座標算出部、画像情報生成部、移動体判定部、認証情報取得部、認証部等が主記憶装置上に生成されるようになっている。
(第2の実施の形態)
第2の実施の形態について、添付図面を参照して説明する。第2の実施の形態にかかる警備ロボットは、上述した第1の実施の形態の機能、構成に加えて、予め警備ロボットが移動する警備領域の地図情報を登録して、移動体が移動可能な領域についてのみ移動体が存在するか否かを判定する。
本発明が適用される警備ロボットの構成例について、第1の実施の形態と異なる部分を説明する。他の部分については第1の実施の形態と同様であるので、上述した説明を参照し、ここでの説明を省略する。図10は、第2の実施の形態にかかる警備ロボットの構成を示すブロック図である。
本実施の形態の警備ロボット200は、レーザレンジセンサ101と、検知情報取得部102と、タイマ部103と、画像情報生成部104と、座標算出部105と、移動体判定部206と、走行情報計測部107と、駆動制御部108と、駆動部109と、座標記憶部110と、認証情報データベース111と、ICカードリーダ部112と、認証情報取得部113と、認証部114と、スピーカ115と、音声制御部116と、通信部117と、地図情報記憶部218とを備えている。
ここで、レーザレンジセンサ101と、検知情報取得部102と、タイマ部103と、画像情報生成部104と、座標算出部105と、走行情報計測部107と、駆動制御部108と、駆動部109と、座標記憶部110と、認証情報データベース111と、ICカードリーダ部112と、認証情報取得部113と、認証部114と、スピーカ115と、音声制御部116と、通信部117との構成、機能は、第1の実施の形態と同様であるので、説明を省略する。
地図情報記憶部218は、警備ロボット200の警備領域での壁や柱等の座標を地図情報として記憶する。図11は、地図情報記憶部に記憶された地図情報の一例を示す説明図である。図11に示すような地図情報を、座標または画像情報として予め記憶しておく。
移動体判定部206は、第1の実施の形態の構成、機能に加え、検知画像情報と算出画像情報とを重ね合わせた画像情報から、地図情報記憶部218に記憶された地図情報を用いて不要な座標を削除する。
次に、以上のように構成されている警備ロボット200による人体判定・警備処理について説明する。図12は、検知情報取得部、タイマ部、画像生成部、座標算出部、移動体判定部、走行情報計測部、認証部が行う人体判定・警備処理手順を示すフローチャートである。なお、警備ロボット200は、駆動部109を駆動することによって、警備領域内を走行している。
本実施の形態にかかる人体検知処理の手順は、図3−1、図3−2に示すフローチャートとほぼ同様であるので、異なる部分のみ説明する。ステップS1201〜ステップS1208は、図3−1での説明を参照し、ここでの説明を省略する。
ステップS1209において、移動体判定部206は、地図情報記憶部218から地図情報を取得する(ステップS1209)。移動体判定部206は、ステップS1208において補正された画像情報(以下、補正画像情報という)から地図情報を用いて、壁や柱等の障害物を示す検知点および算出点を削除する(ステップS1210)。具体的には、地図情報と走行情報から、警備ロボット200が最後に検知情報を取得した位置から検知される壁や柱等の障害物の座標を算出し、算出された座標に対応する検知点および算出点を補正画像情報から削除する。図13は、地図情報によって不要な検知点および算出点を削除した画像情報の一例を示す説明図である。図13に示すように、壁や柱等を示す検知点および算出点は、移動体か否かを判定する対象から除外される。以下の処理は、図3−2のフローチャートと同様であるので、図3−2のフローチャートとその説明を参照し、ここでの説明を省略する。
このように、移動体か否かの判定対象である検知点および算出点のうち、不要な検知点および算出点を予め記憶された地図情報を用いて除外することにより、判定対象が絞られるため、移動体判定の高速化が図られるとともに、誤報の発生を削減することができる。
(第3の実施の形態)
第3の実施の形態について、添付図面を参照して説明する。第3の実施の形態にかかる警備ロボットは、上述した第1の実施の形態の機能、構成に加えて、移動体であると判定された場合に、さらに赤外線センサで人体か否かを判定する。
本発明が適用される警備ロボットの構成例について、第1の実施の形態と異なる部分を説明する。他の部分については第1の実施の形態と同様であるので、上述した説明を参照し、ここでの説明を省略する。図14は、第3の実施の形態にかかる警備ロボットの構成を示すブロック図である。
本実施の形態の警備ロボット300は、レーザレンジセンサ101と、検知情報取得部302と、タイマ部103と、画像情報生成部104と、座標算出部105と、移動体判定部106と、走行情報計測部107と、駆動制御部108と、駆動部109と、座標記憶部110と、認証情報データベース111と、ICカードリーダ部112と、認証情報取得部113と、認証部114と、スピーカ115と、音声制御部116と、通信部117と、赤外線センサ319と、人体判定部320とを備えている。
ここで、レーザレンジセンサ101と、タイマ部103と、画像情報生成部104と、座標算出部105と、移動体判定部106と、走行情報計測部107と、駆動制御部108と、駆動部109と、座標記憶部110と、認証情報データベース111と、ICカードリーダ部112と、認証情報取得部113と、認証部114と、スピーカ115と、音声制御部116と、通信部117の構成、機能は、第1の実施の形態と同様であるので、説明を省略する。
赤外線センサ319は、物体から放出される赤外線エネルギーを検知し、所定の熱量を発する方向を取得する。例えば、焦電型赤外線センサ等を用いる。検知情報取得部302は、第1の実施の形態の構成、機能に加え、赤外線センサ319によって検知された所定の熱量を発する方向を取得する。
人体判定部320は、移動体判定部106によって判定された移動体の位置に対して、さらに赤外線センサ319によって移動体の方向から所定の熱量を発せられているか否かを判断し、移動体が人体であるか否かを判定する。
次に、以上のように構成されている警備ロボット300による人体検知処理について説明する。図15は、検知情報取得部、タイマ部、画像生成部、座標算出部、移動体判定部、走行情報計測部、認証部が行う人体判定・警備処理手順を示すフローチャートである。なお、警備ロボット300は、停止と記載されている以外は、駆動部109により警備領域内を移動している。
本実施の形態にかかる人体検知処理の手順は、図3−1、図3−2に示すフローチャートとほぼ同様であるので、異なる部分のみ説明する。図15のフローチャートの以前の処理は、図3−1のフローチャートと同様であるので、図3−1のフローチャートとその説明を参照し、ここでの説明を省略する。また、ステップS1505〜ステップS1514は、図3−2での説明を参照し、ここでの説明を省略する。
ステップS1501において、移動体判定部106は、所定の距離以上離れた検知点と算出点があるか否かを判断する(ステップS1501)。所定の距離以上離れた検知点と算出点がないと判断した場合は(ステップS1501:No)、ステップS1514に進む。
所定の距離以上離れた検知点と算出点があると判断した場合は(ステップS1501:Yes)、駆動制御部108が駆動部109を停止するように制御し、検知情報取得部302によって赤外線センサ319が検知した検知情報を取得する(ステップS1502)。人体判定部320は、赤外線センサ319の検知情報から、移動体の方向において人体を検知したか否かを判断する(ステップS1503)。移動体の方向において人体を検知したと判断した場合は(ステップS1503:Yes)、移動体が人であると判定する(ステップS1504)。移動体の方向において人体を検知していないと判断した場合は(ステップS1503:No)、移動体は人ではないと判定し、ステップS1514に進む。ステップS1505以降の処理は、図3−2を参照する。
このように、移動体と判定された方向に対して、さらに移動体が赤外線センサで人体か否かを判定することにより、人体の検知精度を向上させることができるため、警備領域内に不審者が侵入しているという誤報の発生を削減することができる。
なお、上述した実施の形態では、赤外線センサによって人体検知を行なったが、赤外線センサに代えて、警備ロボット300に監視カメラを搭載し、監視カメラが撮像した画像情報から人の形状や肌の色を判断して人体を検知してもよい。
また、上述した実施の形態では、移動体が存在すると判定された場合に、さらに赤外線センサで人体を検知したが、移動体判定を行わない場合であっても、所定時間ごとに赤外線センサで人体を検出するようにしてもよい。
以上、本発明を第1〜第3の実施の形態を用いて説明してきたが、上述した実施の形態に多様な変更または改良を加えることができる。なお、上述した第1〜第3の実施の形態において説明した構成や機能は、自由に組み合わせることができる。
第1の実施の形態にかかる警備ロボットの構成を示すブロック図である。 認証情報データベースのデータ構成を示す説明図である。 検知情報取得部、タイマ部、画像生成部、座標算出部、移動体判定部、走行情報計測部、認証部が行う人体判定・警備処理手順を示すフローチャートである。 検知情報取得部、タイマ部、画像生成部、座標算出部、移動体判定部、走行情報計測部、認証部が行う人体判定・警備処理手順を示すフローチャートである。 検知点を描画した画像情報の一例を示す説明図である。 警備領域における移動前および移動後の警備ロボットの位置の一例を示す説明図である。 移動前の障害物の座標を示す説明図である。 移動後の障害物の座標を示す説明図である。 補正する前の検知画像情報と算出画像情報を重ね合わせた画像情報の一例を示す説明図である。 補正した後の検知画像情報と算出画像情報を重ね合わせた画像情報の一例を示す説明図である。 第2の実施の形態にかかる警備ロボットの構成を示すブロック図である。 地図情報記憶部に記憶された地図情報の一例を示す説明図である。 検知情報取得部、タイマ部、画像生成部、座標算出部、移動体判定部、走行情報計測部、認証部が行う人体判定・警備処理手順を示すフローチャートである。 地図情報によって不要な検知点および算出点を削除した画像情報の一例を示す説明図である。 第3の実施の形態にかかる警備ロボットの構成を示すブロック図である。 検知情報取得部、タイマ部、画像生成部、座標算出部、移動体判定部、走行情報計測部、認証部が行う人体判定・警備処理手順を示すフローチャートである。
符号の説明
100 200 300 警備ロボット
101 レーザレンジセンサ
102 302 検知情報取得部
103 タイマ部
104 画像情報生成部
105 座標算出部
106 206 移動体判定部
107 走行情報計測部
108 駆動制御部
109 駆動部
110 座標記憶部
111 認証情報データベース
112 ICカードリーダ部
113 認証情報取得部
114 認証部
115 スピーカ
116 音声制御部
117 通信部
218 地図情報記憶部
319 赤外線センサ
320 人体判定部

Claims (9)

  1. 移動可能な移動体検知装置において、
    前記移動体検知装置が移動する移動領域において検知された障害物の前記移動領域における前記障害物の座標である第1検知座標を記憶する記憶手段と、
    移動中に、前記障害物までの距離および方向を検知する障害物検知手段と、
    前記障害物検知手段によって検知された前記障害物までの距離および方向から、前記移動領域における前記障害物の座標である第2検知座標を算出する検知座標算出手段と、
    前記記憶手段に記憶されている前記第1検知座標に対応する前記障害物を検知してから前記第2検知座標に対応する前記障害物を前記障害物検知手段によって検知するまでに、当該移動体検知装置が走行した距離および方向を示す走行情報を計測する走行情報計測手段と、
    前記記憶手段に記憶された前記第1検知座標と、前記走行情報計測手段によって計測された前記走行情報とから、今回検知されるべき障害物の座標である算出座標を算出する算出座標算出手段と、
    前記検知座標算出手段によって算出された前記第2検知座標と、前記算出座標算出手段によって算出された前記算出座標との差分から、前記障害物が移動体であるか否かを判定する移動体判定手段と、
    を備えることを特徴とする移動体検知装置。
  2. 前記算出座標算出手段によって算出された前記算出座標を算出点として示す第1画像情報を生成し、前記検知座標算出手段によって算出された前記第2検知座標を検知点として示す第2画像情報を生成する画像情報生成手段、をさらに備え、
    前記移動体判定手段は、前記画像情報生成手段によって生成された前記第1画像情報と前記第2画像情報とを重ね合わせ、重ね合わせた前記算出点と前記検知点とが所定の閾値以上離れている場合に、前記障害物が移動体であると判定すること、を特徴とする請求項1に記載の移動体検知装置。
  3. 前記第1画像情報を平行移動または回転移動の少なくともいずれか一方を行うことにより、前記第2画像情報の検知点と、前記第1画像情報の算出点が最も重なるよう補正する補正手段、をさらに備え、
    前記移動体判定手段は、前記補正手段によって補正された前記第1画像情報と、前記第2画像情報とを重ね合わせ、重ね合わせた前記算出点と前記検知点が所定の閾値以上離れている場合に、前記障害物が移動体であると判定すること、を特徴とする請求項2に記載の移動体検知装置。
  4. 当該移動体検知装置の移動可能領域を示す地図情報を記憶する地図情報記憶手段、をさらに備え、
    前記移動体判定手段は、前記補正手段によって補正された前記第1画像情報と、前記第2画像情報とを重ね合わせ、重ね合わせた画像情報から、前記地図情報記憶手段に記憶された前記地図情報に含まれない前記算出点および前記検知点を除外した上で、前記算出点と前記検知点が所定の閾値以上離れている場合に、前記障害物が移動体であると判定すること、を特徴とする請求項3に記載の移動体検知装置。
  5. 停止中に、検知領域での赤外線を検知する赤外線検知手段と、
    前記赤外線検知手段によって所定量の赤外線が検知された場合に、前記所定量の赤外線が検知された領域に人体が存在すると判定する人体判定手段と、をさらに備えることを特徴とする請求項1〜4のいずれか一つに記載の移動体検知装置。
  6. 停止中に、検知領域での赤外線を検知する赤外線検知手段と、
    前記移動体判定手段によって前記障害物が移動体であると判定された場合で、かつ、前記移動体の位置で前記赤外線検知手段によって前記所定量の赤外線が検知された場合に、前記障害物が人体であると判定する人体判定手段と、をさらに備えることを特徴とする請求項1〜4のいずれか一つに記載の移動体検知装置。
  7. 移動可能な警備ロボットにおいて、
    請求項1〜6のいずれか一つに記載の移動体検知装置を備え、
    前記移動領域での移動が許可されている人物の認証情報を記憶する認証情報記憶手段と、
    外部から入力された前記認証情報と、前記認証情報記憶手段に記憶された前記認証情報とを照合することにより、前記人物を認証する認証手段と、
    前記移動体判定手段によって移動体と判定された場合、または、前記人体判定手段によって人体と判定された場合に、判定された当該移動体または当該人体に対して前記認証手段による認証を要求する認証要求手段と、
    前記認証要求手段によって要求された認証がされなかった場合に、不審者と判定する不審者判定手段と、
    前記不審者判定手段によって前記人体が不審者と判定された場合に、前記人体が不審者である旨を報知する報知手段と、をさらに備えることを特徴とする警備ロボット。
  8. 移動可能な移動体検知装置で実行される移動体検知方法において、
    移動中に、障害物までの距離および方向を検知する障害物検知ステップと、
    前記障害物検知ステップによって検知された前記障害物までの距離および方向から、前記移動領域における前記障害物の座標である第2検知座標を算出する検知座標算出ステップと、
    前記移動体検知装置が移動する移動領域において検知された障害物の前記移動領域における前記障害物の座標である第1検知座標を記憶する記憶手段に記憶されている前記第1検知座標に対応する前記障害物を検知してから前記第2検知座標に対応する前記障害物を前記障害物検知ステップによって検知するまでに、当該移動体検知装置が走行した距離および方向を示す走行情報を計測する走行情報計測ステップと、
    前記記憶手段に記憶された前記第1検知座標と、前記走行情報計測ステップによって計測された前記走行情報とから、今回検知されるべき障害物の座標である算出座標を算出する算出座標算出ステップと、
    前記検知座標算出ステップによって算出された前記第2検知座標と、前記算出座標算出ステップによって算出された前記算出座標との差分から、前記障害物が移動体であるか否かを判定する移動体判定ステップと、
    を有することを特徴とする移動体検知方法。
  9. 請求項8に記載された移動体検知方法をコンピュータに実行させること、を特徴とする移動体検知プログラム。
JP2006344883A 2006-12-21 2006-12-21 移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラム Pending JP2008158690A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006344883A JP2008158690A (ja) 2006-12-21 2006-12-21 移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006344883A JP2008158690A (ja) 2006-12-21 2006-12-21 移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラム

Publications (1)

Publication Number Publication Date
JP2008158690A true JP2008158690A (ja) 2008-07-10

Family

ID=39659540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006344883A Pending JP2008158690A (ja) 2006-12-21 2006-12-21 移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラム

Country Status (1)

Country Link
JP (1) JP2008158690A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010127849A (ja) * 2008-11-28 2010-06-10 Sogo Keibi Hosho Co Ltd 移動体検知装置および移動体検知方法
JP2010210522A (ja) * 2009-03-11 2010-09-24 Sogo Keibi Hosho Co Ltd レーザレンジセンサのタイムスタンプ機能付加装置
US20110063443A1 (en) * 2009-09-16 2011-03-17 National Kaohsiung University Of Applied Sciences Cruising surveillance system for auto detecting and tracing suspected invaders
CN102538695A (zh) * 2010-12-15 2012-07-04 无锡物联网产业研究院 一种安防检测方法以及相关装置
JP2013250795A (ja) * 2012-05-31 2013-12-12 Aisin Seiki Co Ltd 移動体誘導装置及び移動体誘導方法
CN111242946A (zh) * 2020-03-03 2020-06-05 广州紫川电子科技有限公司 一种基于红外热成像的人体体温异常检测方法及装置
CN113075686A (zh) * 2021-03-19 2021-07-06 长沙理工大学 一种基于多传感器融合的电缆沟智能巡检机器人建图方法
CN117035745A (zh) * 2023-10-07 2023-11-10 上海华建电力设备股份有限公司 一种变电站线路保护系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59218974A (ja) * 1983-05-28 1984-12-10 Toyoda Autom Loom Works Ltd 無人搬送車における障害物検出時の運転制御方法
JPS63124114A (ja) * 1986-11-14 1988-05-27 Hitachi Ltd 移動体用環境認識装置
JPS63213005A (ja) * 1987-03-02 1988-09-05 Hitachi Ltd 移動体誘導方法
JPH0933642A (ja) * 1995-07-20 1997-02-07 Mitsubishi Electric Corp 車両周辺検知装置
JP2000321355A (ja) * 1999-05-14 2000-11-24 Calsonic Kansei Corp 道路形状抽出装置
JP2001141824A (ja) * 1999-11-09 2001-05-25 Calsonic Kansei Corp 道路形状抽出装置
JP2002168953A (ja) * 2000-11-29 2002-06-14 Mitsubishi Electric Corp 車両周辺監視装置
JP2002352399A (ja) * 2001-05-23 2002-12-06 Mitsubishi Electric Corp 車両周辺監視装置
JP2003281653A (ja) * 2002-03-26 2003-10-03 Victor Co Of Japan Ltd 自律行動ロボット

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59218974A (ja) * 1983-05-28 1984-12-10 Toyoda Autom Loom Works Ltd 無人搬送車における障害物検出時の運転制御方法
JPS63124114A (ja) * 1986-11-14 1988-05-27 Hitachi Ltd 移動体用環境認識装置
JPS63213005A (ja) * 1987-03-02 1988-09-05 Hitachi Ltd 移動体誘導方法
JPH0933642A (ja) * 1995-07-20 1997-02-07 Mitsubishi Electric Corp 車両周辺検知装置
JP2000321355A (ja) * 1999-05-14 2000-11-24 Calsonic Kansei Corp 道路形状抽出装置
JP2001141824A (ja) * 1999-11-09 2001-05-25 Calsonic Kansei Corp 道路形状抽出装置
JP2002168953A (ja) * 2000-11-29 2002-06-14 Mitsubishi Electric Corp 車両周辺監視装置
JP2002352399A (ja) * 2001-05-23 2002-12-06 Mitsubishi Electric Corp 車両周辺監視装置
JP2003281653A (ja) * 2002-03-26 2003-10-03 Victor Co Of Japan Ltd 自律行動ロボット

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010127849A (ja) * 2008-11-28 2010-06-10 Sogo Keibi Hosho Co Ltd 移動体検知装置および移動体検知方法
JP2010210522A (ja) * 2009-03-11 2010-09-24 Sogo Keibi Hosho Co Ltd レーザレンジセンサのタイムスタンプ機能付加装置
US20110063443A1 (en) * 2009-09-16 2011-03-17 National Kaohsiung University Of Applied Sciences Cruising surveillance system for auto detecting and tracing suspected invaders
CN102538695A (zh) * 2010-12-15 2012-07-04 无锡物联网产业研究院 一种安防检测方法以及相关装置
JP2013250795A (ja) * 2012-05-31 2013-12-12 Aisin Seiki Co Ltd 移動体誘導装置及び移動体誘導方法
CN111242946A (zh) * 2020-03-03 2020-06-05 广州紫川电子科技有限公司 一种基于红外热成像的人体体温异常检测方法及装置
CN111242946B (zh) * 2020-03-03 2024-04-09 广州紫川电子科技有限公司 一种基于红外热成像的人体体温异常检测方法及装置
CN113075686A (zh) * 2021-03-19 2021-07-06 长沙理工大学 一种基于多传感器融合的电缆沟智能巡检机器人建图方法
CN113075686B (zh) * 2021-03-19 2024-01-12 长沙理工大学 一种基于多传感器融合的电缆沟智能巡检机器人建图方法
CN117035745A (zh) * 2023-10-07 2023-11-10 上海华建电力设备股份有限公司 一种变电站线路保护系统及方法
CN117035745B (zh) * 2023-10-07 2023-12-19 上海华建电力设备股份有限公司 一种变电站线路保护系统及方法

Similar Documents

Publication Publication Date Title
JP2008158690A (ja) 移動体検知装置、警備ロボット、移動体検知方法および移動体検知プログラム
US20170153714A1 (en) System and method for intended passenger detection
US20210207977A1 (en) Vehicle position estimation device, vehicle position estimation method, and computer-readable recording medium for storing computer program programmed to perform said method
JP5618152B2 (ja) 進路案内システム、進路案内方法、及び進路案内プログラム
WO2013046563A1 (ja) 自律移動装置、自律移動方法、及び、自律移動装置用のプログラム
JP2020021326A (ja) 情報処理方法、情報処理装置およびプログラム
JPWO2017002441A1 (ja) 経路予測装置
JPWO2006064544A1 (ja) 自動車庫入れ装置
JPWO2013069195A1 (ja) 自律移動装置、自律移動方法、及び自律移動装置用のプログラム
WO2007113956A1 (ja) 移動体位置の推定装置と推定方法及び推定プログラム
JP5843948B1 (ja) 駐車支援装置および駐車支援方法
JPWO2020025991A1 (ja) 走行軌跡補正方法、走行制御方法、及び走行軌跡補正装置
JP5287060B2 (ja) 経路計画装置及び自律移動装置
JP2019123270A (ja) 走行軌道決定装置及び自動運転装置
JP2008305255A (ja) 地図情報作成装置及びそれを備えた自律移動装置
Coltin et al. Multi-observation sensor resetting localization with ambiguous landmarks
JP2007200070A (ja) 移動ロボット
JP2011134226A (ja) 移動ロボットの遠方環境認識装置及び方法
KR20150112536A (ko) 차량의 위치 보정 장치 및 방법과 이를 이용한 차량 위치 보정 시스템 및 무인 운행이 가능한 차량
CN112240767A (zh) 车辆定位识别
JP2009070357A (ja) 移動体の誘導システム
JP4261466B2 (ja) 自律移動装置、並びに物体及び自己位置検出システム
JP5851715B2 (ja) 自律走行装置及び自律走行方法並びにそのプログラム
US20190094025A1 (en) Apparatus and method for localising a vehicle
KR101738751B1 (ko) 실내 자기장을 이용한 이동 로봇의 위치 인식 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120703