JP2004208229A - Object identification system, light emitting device, and detection apparatus - Google Patents
Object identification system, light emitting device, and detection apparatus Download PDFInfo
- Publication number
- JP2004208229A JP2004208229A JP2002378008A JP2002378008A JP2004208229A JP 2004208229 A JP2004208229 A JP 2004208229A JP 2002378008 A JP2002378008 A JP 2002378008A JP 2002378008 A JP2002378008 A JP 2002378008A JP 2004208229 A JP2004208229 A JP 2004208229A
- Authority
- JP
- Japan
- Prior art keywords
- light
- emitting device
- light emitting
- infrared
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、対象物に取り付けられた発光装置を、ユーザに装着された検出装置により検出してユーザの視界内に位置する対象物を識別する対象物識別システム、当該対象物識別システムに用いられる発光装置及び検出装置に関するものである。
【0002】
【従来の技術】
近年、部屋の中での人の動きを認識するために、無線やウェアラブルな航行システムを使って個人の位置を知る技術が開発されている。また、赤外線を高速点滅させるIDタグを用いて、人が見ている対象物のID(識別情報)を自動認識させる技術が開発されている(例えば、非特許文献1,2参照。)。
【0003】
【非特許文献1】
青木恒、カメラで読み取る赤外線タグとその応用、インタラクティブシステムとソフトウェアVIII(WISS 2000)、日本ソフトウェア科学会、近代科学社、2000年、pp.131−136
【非特許文献2】
松下伸行、他4名、ID Cam:シーンとIDを同時に取得可能なイメージセンサ、インタラクション2002、情報処理学会、2002年、pp.9−16
【0004】
【発明が解決しようとする課題】
しかしながら、上記の赤外線を高速点滅させるIDタグを用いる方法では、通常のカメラを利用しているため、処理速度を充分に確保することができず、例えば、人の動き程度の低速なものでも捕らえることができなかった。また、特殊な高速カメラを用いて処理速度を向上するものもあるが、当該カメラが高価且つ大型なものとなり、人が身につけて使用する用途には適用できなかった。
【0005】
本発明の目的は、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システム、当該対象物識別システムに用いられる発光装置及び検出装置を提供することである。
【0006】
【課題を解決するための手段】
本発明に係る対象物識別システムは、対象物に取り付けられた発光装置と、ユーザに装着された検出装置とを備え、発光装置は、赤外線を発光する発光手段と、当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備え、検出装置は、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備えるものである。
【0007】
本発明に係る対象物識別システムにおいては、発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅し、ユーザに装着された検出装置により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて検出された発光装置の点滅状態が検出され、発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【0008】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なCMOSイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【0009】
発光装置検出手段は、赤外線画像の中から所定サイズの光点を発光装置として検出することが好ましい。この場合、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により発光装置を検出することができるので、検出装置における検出処理をより高速化することができる。
【0010】
発光装置検出手段は、赤外線画像から光点を含む検出領域を決定し、撮影手段は、検出領域の赤外線画像を撮影し、識別情報検出手段は、検出領域の赤外線画像を用いて、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出することが好ましい。
【0011】
この場合、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて発光装置の点滅状態を検出して当該発光装置の識別情報を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、検出装置における検出処理をより高速化することができる。
【0012】
撮影手段は、近赤外線透過フィルタを有し、近赤外線透過フィルタを透過した近赤外線を受光して対象物を含む所定の撮影領域の近赤外線画像を撮影することが好ましい。
【0013】
この場合、主に近赤外線のみから作成された近赤外線画像を用いて発光装置の識別情報を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理をより高速化することができる。
【0014】
検出装置は、赤外線を発光する発光手段と、当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【0015】
この場合、ユーザに対して一意的に割り付けられた識別情報に応じて点滅する発光手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別されることができ、対象物検出システムの用途を拡大することができる。
【0016】
対象物識別システムは、ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、固定検出装置は、所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて検出装置用発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された検出装置用発光装置の点滅状態を検出して当該検出装置用発光装置の識別情報を検出する識別情報検出手段とを備え、固定検出装置の撮影手段の画角は、検出装置の撮影手段の画角より狭いことが好ましい。
【0017】
この場合、ユーザの頭部に装着された検出装置だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置により、遠方に位置するユーザ及びユーザの視線方向の対象物を検出することができるので、異なる視点からユーザの周囲の状況を広範囲に検出することができる。
【0018】
検出装置は、撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【0019】
この場合、撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【0020】
本発明に係る発光装置は、対象物に取り付けられ、ユーザに装着された検出装置によって検出される発光装置であって、赤外線を発光する発光手段と、当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備えるものである。
【0021】
本発明に係る発光装置においては、取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段が点滅するので、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像を撮影し、撮影した赤外線画像を用いて検出された発光装置の点滅状態を検出して発光装置の識別情報を検出する検出装置がユーザに装着されている場合、当該検出装置によりユーザの視線方向に位置する対象物を識別することができる。
【0022】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なCMOSイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【0023】
本発明に係る検出装置は、ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備えるものである。
【0024】
本発明に係る検出装置においては、取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅する場合、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて検出された発光装置の点滅状態が検出され、発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【0025】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なCMOSイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【0026】
【発明の実施の形態】
以下、本発明による対象物識別システムについて図面を参照しながら説明する。図1は、本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【0027】
図1に示す対象物識別システムは、検出装置1、赤外線タグ6及び固定検出装置7を備える。赤外線タグ6は、対象物自体又はその近傍に取り付けられ、対象物に対して一意的に割り付けられたID番号(識別情報)を赤外線の点滅により送信する。検出装置1は、ユーザに装着され、ユーザの視界内に位置する赤外線タグ6から送信される対象物のID番号及び赤外線タグ6の赤外線画像内のXY座標を検出するとともに、赤外線タグ6を含む可視光画像を撮影し、検出したID番号及びXY座標等の情報及び撮影した可視光画像を携帯型コンピュータ10へ出力する。携帯型コンピュータ10は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報を無線によりサーバ11へ送信する。
【0028】
また、検出装置1は、ユーザのID番号を赤外線の点滅により送信する。固定検出装置7は、ユーザが位置する空間を構成する構造物に固定され、撮影範囲内に位置する検出装置1及び赤外線タグ6から送信されるID番号及び検出装置1及び赤外線タグ6の赤外線画像内のXY座標を検出してサーバ11へ出力する。
【0029】
上記のようにして収集された各情報は、サーバ11において種々の用途に使用され、例えば、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成するために使用される。
【0030】
検出装置1は、赤外線検出部2、画像撮影部3、赤外線タグ4及びマイク部5を備える。図2は、図1に示す検出装置1の外観を示す模式的斜視図である。図2に示すように、検出装置1は、ユーザの頭部に装着される耳かけ式ネックバンド方式ヘッドセットとして構成され、ユーザの頭部に装着される。赤外線検出部2及び画像撮影部3は直方体形状の筺体に一体に内蔵され、赤外線タグ4は筺体の側面に一体に固定され、マイク部5はユーザの口元付近に配置される。また、携帯型コンピュータ10は、ユーザに背負われて使用され、検出装置1からの各出力が携帯型コンピュータ10へ供給される。
【0031】
再び、図1を参照して、赤外線タグ6は、LED(Light Emitting Diode)61及び駆動回路62を備える。LED61は、赤外線LED等から構成され、例えば、光通信用高出力発光ダイオード(スタンレイ社製DN311)等を用いることができ、指向性が弱く且つ可視光に近い800nm程度の赤外LEDを好適に用いることができる。
【0032】
駆動回路62は、マイクロコンピュータ等から構成され、例えば、Atmel社製4MHz駆動マイコンAT90S2323等を用いることができ、赤外線タグ6が取り付けられた対象物に対して一意的に割り付けられたID番号が識別可能なようにLED61を点滅制御する。なお、LED61及び駆動回路62は、内部電池(図示省略)から電源を供給されている。
【0033】
具体的には、駆動回路62は、マンチェスタ符号化方式によりエンコードしたID番号(6bit)及びパリティビットと、スタートビット(1bit)及びエンドビット(2bit)とを200Hz周期の点滅により繰り返し送信する。例えば、ID番号62の場合、ID:62→“01100101010101101111”(ここで、スタートビット(01)、ID番号6ビット、パリティビット(偶数10、奇数01)、エンドビット(1111))となる。
【0034】
赤外線検出部2は、赤外線フィルタ21、レンズ22、CMOSイメージセンサ23及び画像処理装置24を備える。赤外線フィルタ21は、赤外線タグ6のLED61から発光される赤外線のうち主に近赤外線のみ透過させてレンズ22に近赤外線を導く。赤外線フィルタ21としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックIRパスフィルタを用いることができる。
【0035】
レンズ22は、赤外線フィルタ21を透過した近赤外線をCMOSイメージセンサ23上に結像させる。レンズ22の画角は90度である。この場合、対面での会話状態等において比較的近距離で広範囲に位置する赤外線タグを容易に検出することができる。
【0036】
CMOSイメージセンサ23は、レンズ22により結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置24へ出力する。CMOSイメージセンサ23としては、例えば、三菱電機社製人口網膜LSI(M64283FP)等を用いることができ、この場合の解像度は128×128pixelである。
【0037】
画像処理装置24は、CMOSイメージセンサ23の制御及びデータ処理を行い、CMOSイメージセンサ23に撮影された近赤外線画像から赤外線タグ6を検出し、検出した赤外線タグ6の点滅状態からID番号を検出するとともに、赤外線画像上の赤外線タグ6のXY座標を検出し、ID番号及びXY座標等のデータをRS232C等のデータ伝送規格に従って携帯型コンピュータ10へ出力する。画像処理装置24としては、例えば、Cygnal社製49MHz駆動マイコンC8051F124を用いることができる。
【0038】
この場合、CMOSイメージセンサ23を115200Hzのクロックで駆動させ、撮像(シャッター開放)後、1クロック毎に1pixelの明るさがアナログ値でシリアル出力される。このため、全画素撮影時の最短フレームレートは、(シャッタースピード)+(128×128×クロックスピード)となるが、128×128pixelのうち8×8pixelを検出領域に設定して500Hzのシャッタースピードで撮像した場合、400Hzのフレームレートを実現することができ、読み出し速度を高遠化することができる。このように、赤外線タグ6の点滅周期(200Hz)の2倍のフレームレート(400Hz)で読み込むため、単一LED61を用いて非同期通信を行うことができる。なお、画角90度のレンズ22を使用したときに2mの距離で1pixelは、2.2cm×2.2cmの範囲に相当する。
【0039】
上記のように、赤外線検出部2では、主に近赤外線のみから作成された近赤外線画像を用いて赤外線タグ6のID番号を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理を高速化することができる。
【0040】
画像撮影部3は、レンズ31及びCCDカメラ32を備える。レンズ31は、ユーザの視線方向に位置する、赤外線タグ6が取り付けられた対象物を含む可視光像をCCDカメラ32上に結像させる。CCDカメラ32は、可視光画像を撮影して映像信号を携帯型コンピュータ10へ出力する。レンズ31及びCCDカメラ32としては、例えば、アナログビデオ出力を有するキーエンス社製小型CCDカメラ(水平画角44度)を用いることができる。ここで、レンズ31の光軸は、赤外線検出部2のレンズ22の光軸に合わせられており、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【0041】
赤外線タグ4は、LED41及び駆動回路42を備える。赤外線タグ4は、検出装置1に一体に構成され、検出装置1を装着するユーザのID番号を送信する点を除き、赤外線タグ6と同様のハードウェアから構成され、同様に動作する。この場合、ユーザに対して一意的に割り付けられたID番号に応じて点滅する赤外線タグ4を一体に構成して小型化した検出装置1をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別され、上記のインタラクション・コーパスの収集等の種々の用途に好適に用いることができる。
【0042】
マイク部5は、音声処理回路51及びマイクロホン52を備える。マイクロホン52は、ユーザの発話又は周囲音を集音して音声処理回路51へ出力し、音声処理回路51は録音された音声信号を携帯型コンピュータ10へ出力する。なお、音声を録音しない場合は、マイク部5を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等をヘッドセットに一体に構成してもよい。
【0043】
固定検出装置7は、赤外線フィルタ71、レンズ72、CMOSイメージセンサ73及び画像処理装置74を備える。固定検出装置7は、上記の赤外線検出部2と同様に構成され、同様に動作する。但し、レンズ72の画角は60度であり、検出装置1のレンズ22の画角より狭く設定されている。この場合、CMOSイメージセンサ73のピクセル当りの集光率が高くなり、遠距離に位置する赤外線タグ4,6を容易に発見することができる。また、ユーザの頭部に装着された検出装置1だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置7により、ユーザ及びユーザの視線方向の対象物を検出することができるので、異なる視点からユーザの周囲の状況を検出することができる。
【0044】
本実施の形態では、赤外線タグ6が発光装置の一例に相当し、検出装置1が検出装置の一例に相当し、LED61が発光手段の一例に相当し、駆動回路62が発光制御手段の一例に相当し、赤外線フィルタ21、レンズ22及びCMOSイメージセンサ23が撮影手段の一例に相当し、画像処理装置24が発光装置検出手段及び識別情報検出手段の一例に相当し、画像撮影部3が可視光撮影手段の一例に相当する。また、赤外線タグ4が検出装置用発光装置の一例に相当し、LED41が発光手段の一例に相当し、駆動回路42が発光制御手段の一例に相当する。また、固定検出装置7が固定検出装置の一例に相当し、赤外線フィルタ71、レンズ72及びCMOSイメージセンサ73が撮影手段の一例に相当し、画像処理装置74が発光装置検出手段及び識別情報検出手段の一例に相当する。
【0045】
次に、検出装置1の赤外線タグ検出処理について説明する。図3は、図1に示す検出装置1の赤外線タグ検出処理を説明するためのフローチャートである。なお、図3に示す赤外線タグ検出処理は、画像処理装置24が予め記憶されている検出処理プログラムを実行することにより行われる処理であり、固定検出装置7でも同様の処理が行われる。
【0046】
まず、画像処理装置24は、CMOSイメージセンサ23等を初期化し(ステップS11)、全画面(128×128pixel)の赤外線画像を撮影する(ステップS12)。次に、画像処理装置24は、赤外線画像の中から所定サイズの光点、例えば1pixelの光点を赤外線タグ6(LED61)として抽出し(ステップS13)、所定サイズより大きな光点を排除する。このように、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により赤外線タグ6を検出することができるので、画像処理装置24による赤外線タグ検出処理を高速化することができる。
【0047】
次に、画像処理装置24は、抽出した光点を中心とする8×8pixelの領域を検出領域として決定し(ステップS14)、CMOSイメージセンサ23により検出領域を既定回数、例えば、((送信ビット数+スタートビット数+エンドビット数)×2×2)回読み込み(ステップS15)、読み込んだ赤外線画像から赤外線タグ6の点滅状態を検出してID番号を検出するとともに、パリティチェックを行い、読み込みデータの判定処理を行う(ステップS16)。このように、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて赤外線タグ6の点滅状態を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、画像処理装置24による赤外線タグ検出処理を高速化することができる。この赤外線タグ検出処理の高速化により、人の動きに充分に追従することができ、動き予測等の演算コストの高い処理を省略することができる。
【0048】
ここで、パリティチェックが正しければ(ステップS17でYES)、画像処理装置24は、赤外線タグ6のID番号及びXY座標を出力し(ステップS18)、パリティチェックが正しくなければ(ステップS17でNO)、ステップS15に戻って検出領域の読み込みを再度行う。
【0049】
最後に、画像処理装置24は、ステップS13で検出された光点のうち、まだ読み込んでいない光点があれば(ステップS19でYES)、当該光点に対してステップS14以降の処理を継続し、読み込んでいない光点がなければ(ステップS19でNO)、ステップS12に戻って赤外線タグ検出処理を繰り返す。
【0050】
上記のように、本実施の形態では、赤外線タグ6が取り付けられた対象物に対して一意的に割り付けられたID番号をLED61の点滅により送信し、ユーザに装着された検出装置1により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて赤外線タグ6のID番号が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【0051】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により赤外線タグ6を実現できるので、赤外線タグ6を小型化することができ、また、検出装置1では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なCMOSイメージセンサ23等を用いて検出装置1を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【0052】
次に、上記のように構成された対象物識別システムの応用例について説明する。図4は、図1に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【0053】
図4に示すように、説明員P1等が検出装置1を頭部に装着するとともに、携帯型コンピュータ10を背負っている。赤外線タグ6は、訪問者P2の胸部に装着されるとともに、環境側の対象物として展示説明用のコンピュータM1及びロボットM2、展示用のぬいぐるみM3、展示説明用ボードB1等に取り付けられ、それぞれ個別のID番号を送信する。また、展示場の天井又は壁には、固定検出装置7が取り付けられている。
【0054】
上記のように各装置が配置されることにより、例えば、検出装置1により説明員P1の視界に入った訪問者P2等が対象物として識別され、固定検出装置7により説明員P1が対象物として識別されるとともに、説明員P1の周囲の対象物として訪問者P2、ロボットM2等が識別される。このようにして、展示場における人と人とのインタラクション等に関するインタラクションデータを収集することができ、収集したデータから知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【0055】
上記の説明では、インタラクション・コーパスの収集を例に説明したが、本発明が適用可能な用途は、上記の例に特に限定されず、種々の用途に適用することができる。また、一つの対象物に一つの赤外線タグを取り付けたが、一つの対象物に同一のID番号を送信する複数の赤外線タグを設けるようにしてもよい。
【0056】
【発明の効果】
本発明によれば、対象物に割り付けられた識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現することができるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制し、小型且つ安価なCMOSイメージセンサ等を用いて検出装置を構成することができ、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【図2】図1に示す検出装置の外観を示す模式的斜視図である。
【図3】図1に示す検出装置の赤外線タグ検出処理を説明するためのフローチャートである。
【図4】図1に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【符号の説明】
1 検出装置
2 赤外線検出部
3 画像撮影部
4 赤外線タグ
5 マイク部
6 赤外線タグ
7 固定検出装置
21 赤外線フィルタ
22 レンズ
23 CMOSイメージセンサ
24 画像処理装置
31 レンズ
32 CCDカメラ
41 LED
42 駆動回路
51 音声処理回路
52 マイクロホン
61 LED
62 駆動回路
71 赤外線フィルタ
72 レンズ
73 CMOSイメージセンサ
74 画像処理装置[0001]
TECHNICAL FIELD OF THE INVENTION
INDUSTRIAL APPLICABILITY The present invention is used in an object identification system that detects a light emitting device attached to an object by a detection device attached to a user to identify an object located in the field of view of the user, and the object identification system. The present invention relates to a light emitting device and a detection device.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a technology has been developed for recognizing a person's position using a wireless or wearable navigation system in order to recognize the movement of a person in a room. In addition, a technology has been developed for automatically recognizing the ID (identification information) of an object viewed by a person using an ID tag that blinks infrared rays at a high speed (for example, see Non-Patent
[0003]
[Non-patent document 1]
Hisashi Aoki, Infrared tag read by camera and its application, Interactive system and software VIII (WISS 2000), Japan Society for Software Science and Technology, Modern Science Company, 2000, pp. 131-136
[Non-patent document 2]
Nobuyuki Matsushita, 4 others, ID Cam: an image sensor capable of simultaneously acquiring a scene and an ID, Interaction 2002, Information Processing Society of Japan, 2002, pp. 9-16
[0004]
[Problems to be solved by the invention]
However, in the above-described method using an ID tag that flashes infrared light at a high speed, since a normal camera is used, the processing speed cannot be sufficiently ensured. I couldn't do that. In some cases, the processing speed is improved by using a special high-speed camera, but the camera becomes expensive and large, and cannot be applied to applications worn by humans.
[0005]
An object of the present invention is to provide an object identification system capable of identifying an object located in the direction of a user's line of sight, having a high processing speed, and capable of being reduced in size and cost so that it can be worn by a person. An object of the present invention is to provide a light emitting device and a detection device used in an object identification system.
[0006]
[Means for Solving the Problems]
An object identification system according to the present invention includes a light emitting device attached to an object, and a detection device attached to a user, wherein the light emitting device has a light emitting unit that emits infrared light, and the light emitting device is attached. Light-emitting control means for blinking the light-emitting means according to the identification information uniquely assigned to the object, the detection device has an optical axis substantially coincident with the user's line of sight, A photographing means for photographing an infrared image of a predetermined photographing area including the light emitting apparatus; a light emitting device detecting means for detecting a light emitting device using the infrared image photographed by the photographing means; and a blinking state of the light emitting device detected by the light emitting device detecting means. And identification information detecting means for detecting the identification information of the light emitting device.
[0007]
In the object identification system according to the present invention, the light emitting device blinks according to the identification information uniquely assigned to the object to which the light emitting device is attached, and the detection device attached to the user causes Since an infrared image of a predetermined imaging region including an object positioned in the line of sight is captured, the blinking state of the light emitting device detected using the captured infrared image is detected, and identification information of the light emitting device is detected. , An object located in the user's line of sight can be identified.
[0008]
Here, since the light emitting device can be realized by a simple configuration of blinking infrared light according to the identification information of the object, the light emitting device can be downsized, and the detection device can detect the object by using an infrared image. Since the identification information is detected, it is possible to suppress an adverse effect due to light having a wavelength in the visible light region to be a disturbance, and to speed up the detection process, without using a special high-speed camera or the like. The detection device can be configured using a small and inexpensive CMOS image sensor or the like. Therefore, it is possible to realize an object identification system which can identify an object located in the user's line of sight, has a high processing speed, and can be reduced in size and cost so that it can be worn by a person. .
[0009]
It is preferable that the light emitting device detecting means detects a light spot of a predetermined size from the infrared image as the light emitting device. In this case, since the light emitting device can be detected by a simple process of detecting a light spot of a predetermined size from the infrared image, the speed of the detection process in the detection device can be further increased.
[0010]
The light emitting device detecting means determines a detection area including a light spot from the infrared image, the photographing means photographs an infrared image of the detection area, and the identification information detecting means detects the light emitting device using the infrared image of the detection area. Preferably, the blinking state of the light emitting device detected by the means is detected to detect the identification information of the light emitting device.
[0011]
In this case, the detection area including the light spot is determined from the infrared image, and the blinking state of the light emitting device is detected using only the infrared image of the detection area to detect the identification information of the light emitting device. Can be limited to the minimum necessary, and the detection process in the detection device can be further speeded up.
[0012]
It is preferable that the imaging unit has a near-infrared transmission filter, receives near-infrared transmitted through the near-infrared transmission filter, and captures a near-infrared image of a predetermined imaging region including the target object.
[0013]
In this case, the identification information of the light-emitting device can be detected using a near-infrared image created mainly from only near-infrared light, so that the adverse effect of light having a wavelength in the visible light region that becomes a disturbance is sufficiently reduced. And the detection process can be further speeded up.
[0014]
The detection device includes a light-emitting device that emits infrared light, and a light-emitting device for a detection device that includes a light-emission control unit that blinks the light-emitting device according to identification information uniquely assigned to a user who wears the detection device. Furthermore, it is preferable that the detection device is mounted on the head of the user.
[0015]
In this case, a light emitting unit that blinks in accordance with the identification information uniquely assigned to the user can be integrally configured, and the downsized detection device can be mounted on the user's head. Not only can an object located in the direction of the user's line of sight be identified, but also the object located in the direction of the other user's line of sight can be identified as the side on which the user is viewed. Can be expanded.
[0016]
The object identification system further includes a fixed detection device fixed to a structure constituting a space where the user is located, the fixed detection device has an optical axis set in a predetermined direction, and includes a predetermined imaging including the user. A photographing means for photographing an infrared image of the region, a light emitting device detecting means for detecting the light emitting device for the detecting device using the infrared image photographed by the photographing means, and a light emitting device for the detecting device detected by the light emitting device detecting means. Identification information detecting means for detecting the blinking state and detecting the identification information of the light emitting device for the detection device, wherein the angle of view of the imaging means of the fixed detection device is preferably smaller than the angle of view of the imaging means of the detection device. .
[0017]
In this case, not only the detection device mounted on the user's head, but also a user located far away and an object in the line of sight of the user can be detected by a fixed detection device fixed to a structure constituting a space where the user is located. Since the detection can be performed, the situation around the user can be detected in a wide range from different viewpoints.
[0018]
The detection device has an optical axis aligned with the optical axis of the imaging unit, and further includes a visible light imaging unit that captures a visible light image in the user's line of sight, and the detection device is mounted on the user's head. Is preferred.
[0019]
In this case, a downsized detection device having an optical axis aligned with the optical axis of the imaging means and integrally integrating visible light imaging means for imaging a visible light image in the user's line of sight is mounted on the user's head. Therefore, not only can an object located in the user's line of sight be identified, but also an image of the object can be taken at the same time.
[0020]
A light-emitting device according to the present invention is a light-emitting device attached to an object and detected by a detection device attached to a user, and a light-emitting unit that emits infrared light, and an object to which the light-emitting device is attached. And light emission control means for blinking the light emission means in accordance with the uniquely assigned identification information.
[0021]
In the light emitting device according to the present invention, since the light emitting means blinks in accordance with the identification information uniquely assigned to the attached object, a predetermined photographing area including the object located in the user's line of sight is provided. If the user is equipped with a detecting device that detects the flashing state of the light emitting device detected using the captured infrared image and detects the identification information of the light emitting device, the detecting device Can be identified.
[0022]
Here, since the light emitting device can be realized by a simple configuration of blinking infrared light according to the identification information of the object, the light emitting device can be downsized, and the detection device can detect the object by using an infrared image. Since the identification information is detected, it is possible to suppress an adverse effect due to light having a wavelength in the visible light region to be a disturbance, and to speed up the detection process, without using a special high-speed camera or the like. The detection device can be configured using a small and inexpensive CMOS image sensor or the like. Therefore, it is possible to realize an object identification system which can identify an object located in the user's line of sight, has a high processing speed, and can be reduced in size and cost so that it can be worn by a person. .
[0023]
A detection device according to the present invention is a detection device that is mounted on a user and detects a light emitting device attached to an object, has a light axis substantially aligned with a user's line of sight, and includes a predetermined object including an object. Photographing means for photographing an infrared image of the photographing area, a light emitting device detecting means for detecting a light emitting device using the infrared image photographed by the photographing means, and detecting a blinking state of the light emitting device detected by the light emitting device detecting means And identification information detecting means for detecting identification information of the light emitting device.
[0024]
In the detection device according to the present invention, when the light-emitting device blinks according to the identification information uniquely assigned to the attached object, a predetermined imaging region including the object located in the user's line of sight An infrared image of the light emitting device is photographed, and the blinking state of the light emitting device detected using the photographed infrared image is detected, and the identification information of the light emitting device is detected, so that an object located in the user's line of sight is identified. be able to.
[0025]
Here, since the light emitting device can be realized by a simple configuration of blinking infrared light according to the identification information of the object, the light emitting device can be downsized, and the detection device can detect the object by using an infrared image. Since the identification information is detected, it is possible to suppress an adverse effect due to light having a wavelength in the visible light region to be a disturbance, and to speed up the detection process, without using a special high-speed camera or the like. The detection device can be configured using a small and inexpensive CMOS image sensor or the like. Therefore, it is possible to realize an object identification system which can identify an object located in the user's line of sight, has a high processing speed, and can be reduced in size and cost so that it can be worn by a person. .
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an object identification system according to the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an object identification system according to one embodiment of the present invention.
[0027]
The object identification system shown in FIG. 1 includes a
[0028]
In addition, the detecting
[0029]
The information collected as described above is used for various purposes in the
[0030]
The
[0031]
Referring to FIG. 1 again, the
[0032]
The
[0033]
Specifically, the
[0034]
The infrared detector 2 includes an infrared filter 21, a
[0035]
The
[0036]
The
[0037]
The image processing device 24 controls the
[0038]
In this case, the
[0039]
As described above, since the infrared detection unit 2 can detect the ID number of the
[0040]
The image photographing unit 3 includes a lens 31 and a
[0041]
The infrared tag 4 includes an
[0042]
The microphone unit 5 includes an
[0043]
The fixed
[0044]
In the present embodiment, the
[0045]
Next, an infrared tag detection process of the
[0046]
First, the image processing device 24 initializes the
[0047]
Next, the image processing device 24 determines an 8 × 8 pixel area centered on the extracted light spot as a detection area (step S14), and the
[0048]
Here, if the parity check is correct (YES in step S17), the image processing device 24 outputs the ID number and the XY coordinates of the infrared tag 6 (step S18), and if the parity check is not correct (NO in step S17). Then, the process returns to step S15 to read the detection area again.
[0049]
Finally, among the light spots detected in step S13, if there is a light spot that has not been read yet (YES in step S19), the image processing device 24 continues the processing from step S14 on for the light spot. If there is no light spot that has not been read (NO in step S19), the flow returns to step S12 to repeat the infrared tag detection processing.
[0050]
As described above, in the present embodiment, the ID number uniquely assigned to the object to which the
[0051]
Here, since the
[0052]
Next, an application example of the object identification system configured as described above will be described. FIG. 4 is a schematic diagram for explaining an example of collecting an interaction corpus in an exhibition hall using the object identification system shown in FIG.
[0053]
As shown in FIG. 4, an explanation person P1 and the like wear the
[0054]
By arranging the devices as described above, for example, the visitor P2 or the like who has entered the field of view of the explainer P1 is identified as the target by the
[0055]
In the above description, the collection of the interaction corpus has been described as an example, but the application to which the present invention can be applied is not particularly limited to the above example, and can be applied to various applications. Also, one infrared tag is attached to one object, but a plurality of infrared tags transmitting the same ID number may be provided for one object.
[0056]
【The invention's effect】
According to the present invention, a light-emitting device can be realized by a simple configuration in which infrared light is blinked in accordance with identification information assigned to an object, so that the light-emitting device can be reduced in size and the detection device Detects the identification information of an object using an infrared image, so that the adverse effect of light having a wavelength in the visible light region, which is a disturbance, is suppressed, and the detection device is configured using a small and inexpensive CMOS image sensor or the like. And an object identification system that can identify an object located in the user's line of sight, has a high processing speed, and can be reduced in size and cost so that it can be worn by a person. be able to.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an object identification system according to an embodiment of the present invention.
FIG. 2 is a schematic perspective view showing an appearance of the detection device shown in FIG.
FIG. 3 is a flowchart for explaining an infrared tag detection process of the detection device shown in FIG. 1;
FIG. 4 is a schematic diagram for explaining an example of collecting an interaction corpus in an exhibition hall using the object identification system shown in FIG. 1;
[Explanation of symbols]
1 Detector
2 Infrared detector
3 Image shooting section
4 Infrared tags
5 Microphone section
6 infrared tags
7 Fixed detector
21 Infrared filter
22 lenses
23 CMOS Image Sensor
24 Image processing device
31 lenses
32 CCD camera
41 LED
42 Drive Circuit
51 Audio processing circuit
52 microphone
61 LED
62 drive circuit
71 Infrared filter
72 lenses
73 CMOS image sensor
74 Image processing device
Claims (9)
前記発光装置は、
赤外線を発光する発光手段と、
当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備え、
前記検出装置は、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記発光装置を検出する発光装置検出手段と、
前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする対象物識別システム。A light-emitting device attached to the target, and a detection device attached to the user,
The light emitting device,
Light emitting means for emitting infrared light,
Light-emitting control means for blinking the light-emitting means according to the identification information uniquely assigned to the object to which the light-emitting device is attached,
The detection device,
A photographing unit having an optical axis substantially coincident with a user's line of sight, and photographing an infrared image of a predetermined photographing region including the object;
Light emitting device detecting means for detecting the light emitting device using an infrared image taken by the photographing means,
An object identification system, comprising: identification information detection means for detecting a blinking state of the light emitting device detected by the light emitting device detection means and detecting identification information of the light emitting device.
前記撮影手段は、前記検出領域の赤外線画像を撮影し、
前記識別情報検出手段は、前記検出領域の赤外線画像を用いて、前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出することを特徴とする請求項2記載の対象物識別システム。The light emitting device detection means determines a detection area including the light spot from the infrared image,
The photographing means photographs an infrared image of the detection area,
The said identification information detection means detects the blinking state of the light emitting device detected by the said light emitting device detection means using the infrared image of the said detection area, and detects the identification information of the said light emitting device. Item 2. The object identification system according to Item 2.
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項1〜4のいずれかに記載の対象物識別システム。The detection device includes: a light emitting unit that emits infrared light; and a light emission control unit that blinks the light emitting unit in accordance with identification information uniquely assigned to a user wearing the detection device. Further comprising a device,
The object identification system according to claim 1, wherein the detection device is mounted on a head of a user.
前記固定検出装置は、
所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記検出装置用発光装置を検出する発光装置検出手段と、
前記発光装置検出手段により検出された検出装置用発光装置の点滅状態を検出して当該検出装置用発光装置の識別情報を検出する識別情報検出手段とを備え、
前記固定検出装置の撮影手段の画角は、前記検出装置の撮影手段の画角より狭いことを特徴とする請求項5記載の対象物識別システム。Further comprising a fixed detection device fixed to a structure constituting a space where the user is located,
The fixed detector,
An imaging unit having an optical axis set in a predetermined direction, and imaging an infrared image of a predetermined imaging region including a user,
A light-emitting device detection unit that detects the light-emitting device for the detection device using an infrared image captured by the imaging unit,
Identification information detecting means for detecting the blinking state of the light emitting device for the detection device detected by the light emitting device detection means, and detecting the identification information of the light emitting device for the detection device,
6. The object identification system according to claim 5, wherein an angle of view of an imaging unit of the fixed detection device is smaller than an angle of view of an imaging unit of the detection device.
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項1〜6のいずれかに記載の対象物識別システム。The detection device further includes a visible light imaging unit having an optical axis aligned with an optical axis of the imaging unit, and imaging a visible light image in a user's line of sight.
The object detection system according to claim 1, wherein the detection device is mounted on a user's head.
赤外線を発光する発光手段と、
当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備えることを特徴とする発光装置。A light-emitting device attached to an object and detected by a detection device attached to a user,
Light emitting means for emitting infrared light,
A light-emitting device comprising: a light-emitting control unit that causes the light-emitting unit to blink in accordance with identification information uniquely assigned to an object to which the light-emitting device is attached.
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記発光装置を検出する発光装置検出手段と、
前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする検出装置。A detection device that is mounted on a user and detects a light emitting device attached to an object,
A photographing unit having an optical axis substantially coincident with a user's line of sight, and photographing an infrared image of a predetermined photographing region including the object;
Light emitting device detecting means for detecting the light emitting device using an infrared image taken by the photographing means,
An identification information detecting means for detecting a blinking state of the light emitting device detected by the light emitting device detecting means and detecting identification information of the light emitting device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002378008A JP3762745B2 (en) | 2002-12-26 | 2002-12-26 | Object identification system, light emitting device, and detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002378008A JP3762745B2 (en) | 2002-12-26 | 2002-12-26 | Object identification system, light emitting device, and detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004208229A true JP2004208229A (en) | 2004-07-22 |
JP3762745B2 JP3762745B2 (en) | 2006-04-05 |
Family
ID=32815008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002378008A Expired - Fee Related JP3762745B2 (en) | 2002-12-26 | 2002-12-26 | Object identification system, light emitting device, and detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3762745B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007043579A (en) * | 2005-08-04 | 2007-02-15 | Advanced Telecommunication Research Institute International | Object identification system and detection apparatus |
JP2009168488A (en) * | 2008-01-11 | 2009-07-30 | Toyota Motor Corp | Position information acquisition apparatus, position estimation apparatus, and moving body |
JP6425860B1 (en) * | 2018-01-18 | 2018-11-21 | 三菱電機株式会社 | Device operating device, device operating system and device operating method |
CN111354018A (en) * | 2020-03-06 | 2020-06-30 | 合肥维尔慧渤科技有限公司 | Object identification method, device and system based on image |
-
2002
- 2002-12-26 JP JP2002378008A patent/JP3762745B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007043579A (en) * | 2005-08-04 | 2007-02-15 | Advanced Telecommunication Research Institute International | Object identification system and detection apparatus |
JP2009168488A (en) * | 2008-01-11 | 2009-07-30 | Toyota Motor Corp | Position information acquisition apparatus, position estimation apparatus, and moving body |
JP6425860B1 (en) * | 2018-01-18 | 2018-11-21 | 三菱電機株式会社 | Device operating device, device operating system and device operating method |
WO2019142295A1 (en) * | 2018-01-18 | 2019-07-25 | 三菱電機株式会社 | Device operation apparatus, device operation system and device operation method |
CN111354018A (en) * | 2020-03-06 | 2020-06-30 | 合肥维尔慧渤科技有限公司 | Object identification method, device and system based on image |
CN111354018B (en) * | 2020-03-06 | 2023-07-21 | 合肥维尔慧渤科技有限公司 | Object identification method, device and system based on image |
Also Published As
Publication number | Publication date |
---|---|
JP3762745B2 (en) | 2006-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4284949B2 (en) | Moving shooting system, moving shooting method, and shooting apparatus | |
US9692990B2 (en) | Infrared tracking system | |
US20080180537A1 (en) | Camera system and methods | |
JPWO2015186447A1 (en) | Information processing apparatus, photographing apparatus, image sharing system, information processing method, and program | |
JP6675064B2 (en) | Collation device | |
US9569660B2 (en) | Control system, control method and computer program product | |
JP2007043579A (en) | Object identification system and detection apparatus | |
US20160191797A1 (en) | Image Processing Device and Image Playback Device Which Control Display Of Wide-Range Image | |
JP2004334269A (en) | Image processing device and method, record medium, and program | |
JP2015092646A (en) | Information processing device, control method, and program | |
JP2005131713A (en) | Communication robot | |
JP3762745B2 (en) | Object identification system, light emitting device, and detection device | |
JP2007127536A (en) | Posture detecting system, and light emitter | |
JP2017112504A (en) | Imaging apparatus, visible light communication identification information registration method, and program | |
JP4095537B2 (en) | Experience display device, experience display method, and experience display program | |
KR100766995B1 (en) | 3 dimension camera module device | |
JP2004153674A (en) | Camera apparatus | |
JP5534978B2 (en) | Imaging apparatus and control method thereof | |
JP6283620B2 (en) | Biological information acquisition apparatus, biological information acquisition method, and biological information acquisition program in a predetermined space | |
JP2016062336A (en) | Operation instruction system, operation instruction method, attached terminal, and operation instruction management server | |
JP4012872B2 (en) | Information management apparatus, information management method, and information management program | |
JP3936295B2 (en) | Database creation device | |
JP2016167130A (en) | Hand gesture translation system | |
JP5253791B2 (en) | Individual information identification system | |
JP2006092290A (en) | Suspicious individual detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051025 |
|
A521 | Written amendment |
Effective date: 20051207 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060113 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 4 Free format text: PAYMENT UNTIL: 20100120 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |