JP2004208229A - Object identification system, light emitting device, and detection apparatus - Google Patents

Object identification system, light emitting device, and detection apparatus Download PDF

Info

Publication number
JP2004208229A
JP2004208229A JP2002378008A JP2002378008A JP2004208229A JP 2004208229 A JP2004208229 A JP 2004208229A JP 2002378008 A JP2002378008 A JP 2002378008A JP 2002378008 A JP2002378008 A JP 2002378008A JP 2004208229 A JP2004208229 A JP 2004208229A
Authority
JP
Japan
Prior art keywords
light
emitting device
light emitting
infrared
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002378008A
Other languages
Japanese (ja)
Other versions
JP3762745B2 (en
Inventor
Sadanobu Ito
禎宣 伊藤
Yasuyuki Sumi
康之 角
Kenji Mase
健二 間瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2002378008A priority Critical patent/JP3762745B2/en
Publication of JP2004208229A publication Critical patent/JP2004208229A/en
Application granted granted Critical
Publication of JP3762745B2 publication Critical patent/JP3762745B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object identification system which can identify an object positioned in the line of sight direction of a user, has high processing speed and can be miniaturized to be worn by a person and is low-cost. <P>SOLUTION: An infrared tag 6 is mounted on the object and transmits an ID number uniquely assigned to the object by flickering infrared rays, and a detection apparatus 1 is worn by the user and detects the ID number of the object transmitted from the infrared tag positioned within user's visual field and XY coordinates within an infrared image of the infrared tag 6. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、対象物に取り付けられた発光装置を、ユーザに装着された検出装置により検出してユーザの視界内に位置する対象物を識別する対象物識別システム、当該対象物識別システムに用いられる発光装置及び検出装置に関するものである。
【0002】
【従来の技術】
近年、部屋の中での人の動きを認識するために、無線やウェアラブルな航行システムを使って個人の位置を知る技術が開発されている。また、赤外線を高速点滅させるIDタグを用いて、人が見ている対象物のID(識別情報)を自動認識させる技術が開発されている(例えば、非特許文献1,2参照。)。
【0003】
【非特許文献1】
青木恒、カメラで読み取る赤外線タグとその応用、インタラクティブシステムとソフトウェアVIII(WISS 2000)、日本ソフトウェア科学会、近代科学社、2000年、pp.131−136
【非特許文献2】
松下伸行、他4名、ID Cam:シーンとIDを同時に取得可能なイメージセンサ、インタラクション2002、情報処理学会、2002年、pp.9−16
【0004】
【発明が解決しようとする課題】
しかしながら、上記の赤外線を高速点滅させるIDタグを用いる方法では、通常のカメラを利用しているため、処理速度を充分に確保することができず、例えば、人の動き程度の低速なものでも捕らえることができなかった。また、特殊な高速カメラを用いて処理速度を向上するものもあるが、当該カメラが高価且つ大型なものとなり、人が身につけて使用する用途には適用できなかった。
【0005】
本発明の目的は、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システム、当該対象物識別システムに用いられる発光装置及び検出装置を提供することである。
【0006】
【課題を解決するための手段】
本発明に係る対象物識別システムは、対象物に取り付けられた発光装置と、ユーザに装着された検出装置とを備え、発光装置は、赤外線を発光する発光手段と、当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備え、検出装置は、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備えるものである。
【0007】
本発明に係る対象物識別システムにおいては、発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅し、ユーザに装着された検出装置により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて検出された発光装置の点滅状態が検出され、発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【0008】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なCMOSイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【0009】
発光装置検出手段は、赤外線画像の中から所定サイズの光点を発光装置として検出することが好ましい。この場合、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により発光装置を検出することができるので、検出装置における検出処理をより高速化することができる。
【0010】
発光装置検出手段は、赤外線画像から光点を含む検出領域を決定し、撮影手段は、検出領域の赤外線画像を撮影し、識別情報検出手段は、検出領域の赤外線画像を用いて、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出することが好ましい。
【0011】
この場合、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて発光装置の点滅状態を検出して当該発光装置の識別情報を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、検出装置における検出処理をより高速化することができる。
【0012】
撮影手段は、近赤外線透過フィルタを有し、近赤外線透過フィルタを透過した近赤外線を受光して対象物を含む所定の撮影領域の近赤外線画像を撮影することが好ましい。
【0013】
この場合、主に近赤外線のみから作成された近赤外線画像を用いて発光装置の識別情報を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理をより高速化することができる。
【0014】
検出装置は、赤外線を発光する発光手段と、当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【0015】
この場合、ユーザに対して一意的に割り付けられた識別情報に応じて点滅する発光手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別されることができ、対象物検出システムの用途を拡大することができる。
【0016】
対象物識別システムは、ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、固定検出装置は、所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて検出装置用発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された検出装置用発光装置の点滅状態を検出して当該検出装置用発光装置の識別情報を検出する識別情報検出手段とを備え、固定検出装置の撮影手段の画角は、検出装置の撮影手段の画角より狭いことが好ましい。
【0017】
この場合、ユーザの頭部に装着された検出装置だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置により、遠方に位置するユーザ及びユーザの視線方向の対象物を検出することができるので、異なる視点からユーザの周囲の状況を広範囲に検出することができる。
【0018】
検出装置は、撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【0019】
この場合、撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【0020】
本発明に係る発光装置は、対象物に取り付けられ、ユーザに装着された検出装置によって検出される発光装置であって、赤外線を発光する発光手段と、当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備えるものである。
【0021】
本発明に係る発光装置においては、取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段が点滅するので、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像を撮影し、撮影した赤外線画像を用いて検出された発光装置の点滅状態を検出して発光装置の識別情報を検出する検出装置がユーザに装着されている場合、当該検出装置によりユーザの視線方向に位置する対象物を識別することができる。
【0022】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なCMOSイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【0023】
本発明に係る検出装置は、ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備えるものである。
【0024】
本発明に係る検出装置においては、取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅する場合、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて検出された発光装置の点滅状態が検出され、発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【0025】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なCMOSイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【0026】
【発明の実施の形態】
以下、本発明による対象物識別システムについて図面を参照しながら説明する。図1は、本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【0027】
図1に示す対象物識別システムは、検出装置1、赤外線タグ6及び固定検出装置7を備える。赤外線タグ6は、対象物自体又はその近傍に取り付けられ、対象物に対して一意的に割り付けられたID番号(識別情報)を赤外線の点滅により送信する。検出装置1は、ユーザに装着され、ユーザの視界内に位置する赤外線タグ6から送信される対象物のID番号及び赤外線タグ6の赤外線画像内のXY座標を検出するとともに、赤外線タグ6を含む可視光画像を撮影し、検出したID番号及びXY座標等の情報及び撮影した可視光画像を携帯型コンピュータ10へ出力する。携帯型コンピュータ10は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報を無線によりサーバ11へ送信する。
【0028】
また、検出装置1は、ユーザのID番号を赤外線の点滅により送信する。固定検出装置7は、ユーザが位置する空間を構成する構造物に固定され、撮影範囲内に位置する検出装置1及び赤外線タグ6から送信されるID番号及び検出装置1及び赤外線タグ6の赤外線画像内のXY座標を検出してサーバ11へ出力する。
【0029】
上記のようにして収集された各情報は、サーバ11において種々の用途に使用され、例えば、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成するために使用される。
【0030】
検出装置1は、赤外線検出部2、画像撮影部3、赤外線タグ4及びマイク部5を備える。図2は、図1に示す検出装置1の外観を示す模式的斜視図である。図2に示すように、検出装置1は、ユーザの頭部に装着される耳かけ式ネックバンド方式ヘッドセットとして構成され、ユーザの頭部に装着される。赤外線検出部2及び画像撮影部3は直方体形状の筺体に一体に内蔵され、赤外線タグ4は筺体の側面に一体に固定され、マイク部5はユーザの口元付近に配置される。また、携帯型コンピュータ10は、ユーザに背負われて使用され、検出装置1からの各出力が携帯型コンピュータ10へ供給される。
【0031】
再び、図1を参照して、赤外線タグ6は、LED(Light Emitting Diode)61及び駆動回路62を備える。LED61は、赤外線LED等から構成され、例えば、光通信用高出力発光ダイオード(スタンレイ社製DN311)等を用いることができ、指向性が弱く且つ可視光に近い800nm程度の赤外LEDを好適に用いることができる。
【0032】
駆動回路62は、マイクロコンピュータ等から構成され、例えば、Atmel社製4MHz駆動マイコンAT90S2323等を用いることができ、赤外線タグ6が取り付けられた対象物に対して一意的に割り付けられたID番号が識別可能なようにLED61を点滅制御する。なお、LED61及び駆動回路62は、内部電池(図示省略)から電源を供給されている。
【0033】
具体的には、駆動回路62は、マンチェスタ符号化方式によりエンコードしたID番号(6bit)及びパリティビットと、スタートビット(1bit)及びエンドビット(2bit)とを200Hz周期の点滅により繰り返し送信する。例えば、ID番号62の場合、ID:62→“01100101010101101111”(ここで、スタートビット(01)、ID番号6ビット、パリティビット(偶数10、奇数01)、エンドビット(1111))となる。
【0034】
赤外線検出部2は、赤外線フィルタ21、レンズ22、CMOSイメージセンサ23及び画像処理装置24を備える。赤外線フィルタ21は、赤外線タグ6のLED61から発光される赤外線のうち主に近赤外線のみ透過させてレンズ22に近赤外線を導く。赤外線フィルタ21としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックIRパスフィルタを用いることができる。
【0035】
レンズ22は、赤外線フィルタ21を透過した近赤外線をCMOSイメージセンサ23上に結像させる。レンズ22の画角は90度である。この場合、対面での会話状態等において比較的近距離で広範囲に位置する赤外線タグを容易に検出することができる。
【0036】
CMOSイメージセンサ23は、レンズ22により結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置24へ出力する。CMOSイメージセンサ23としては、例えば、三菱電機社製人口網膜LSI(M64283FP)等を用いることができ、この場合の解像度は128×128pixelである。
【0037】
画像処理装置24は、CMOSイメージセンサ23の制御及びデータ処理を行い、CMOSイメージセンサ23に撮影された近赤外線画像から赤外線タグ6を検出し、検出した赤外線タグ6の点滅状態からID番号を検出するとともに、赤外線画像上の赤外線タグ6のXY座標を検出し、ID番号及びXY座標等のデータをRS232C等のデータ伝送規格に従って携帯型コンピュータ10へ出力する。画像処理装置24としては、例えば、Cygnal社製49MHz駆動マイコンC8051F124を用いることができる。
【0038】
この場合、CMOSイメージセンサ23を115200Hzのクロックで駆動させ、撮像(シャッター開放)後、1クロック毎に1pixelの明るさがアナログ値でシリアル出力される。このため、全画素撮影時の最短フレームレートは、(シャッタースピード)+(128×128×クロックスピード)となるが、128×128pixelのうち8×8pixelを検出領域に設定して500Hzのシャッタースピードで撮像した場合、400Hzのフレームレートを実現することができ、読み出し速度を高遠化することができる。このように、赤外線タグ6の点滅周期(200Hz)の2倍のフレームレート(400Hz)で読み込むため、単一LED61を用いて非同期通信を行うことができる。なお、画角90度のレンズ22を使用したときに2mの距離で1pixelは、2.2cm×2.2cmの範囲に相当する。
【0039】
上記のように、赤外線検出部2では、主に近赤外線のみから作成された近赤外線画像を用いて赤外線タグ6のID番号を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理を高速化することができる。
【0040】
画像撮影部3は、レンズ31及びCCDカメラ32を備える。レンズ31は、ユーザの視線方向に位置する、赤外線タグ6が取り付けられた対象物を含む可視光像をCCDカメラ32上に結像させる。CCDカメラ32は、可視光画像を撮影して映像信号を携帯型コンピュータ10へ出力する。レンズ31及びCCDカメラ32としては、例えば、アナログビデオ出力を有するキーエンス社製小型CCDカメラ(水平画角44度)を用いることができる。ここで、レンズ31の光軸は、赤外線検出部2のレンズ22の光軸に合わせられており、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【0041】
赤外線タグ4は、LED41及び駆動回路42を備える。赤外線タグ4は、検出装置1に一体に構成され、検出装置1を装着するユーザのID番号を送信する点を除き、赤外線タグ6と同様のハードウェアから構成され、同様に動作する。この場合、ユーザに対して一意的に割り付けられたID番号に応じて点滅する赤外線タグ4を一体に構成して小型化した検出装置1をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別され、上記のインタラクション・コーパスの収集等の種々の用途に好適に用いることができる。
【0042】
マイク部5は、音声処理回路51及びマイクロホン52を備える。マイクロホン52は、ユーザの発話又は周囲音を集音して音声処理回路51へ出力し、音声処理回路51は録音された音声信号を携帯型コンピュータ10へ出力する。なお、音声を録音しない場合は、マイク部5を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等をヘッドセットに一体に構成してもよい。
【0043】
固定検出装置7は、赤外線フィルタ71、レンズ72、CMOSイメージセンサ73及び画像処理装置74を備える。固定検出装置7は、上記の赤外線検出部2と同様に構成され、同様に動作する。但し、レンズ72の画角は60度であり、検出装置1のレンズ22の画角より狭く設定されている。この場合、CMOSイメージセンサ73のピクセル当りの集光率が高くなり、遠距離に位置する赤外線タグ4,6を容易に発見することができる。また、ユーザの頭部に装着された検出装置1だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置7により、ユーザ及びユーザの視線方向の対象物を検出することができるので、異なる視点からユーザの周囲の状況を検出することができる。
【0044】
本実施の形態では、赤外線タグ6が発光装置の一例に相当し、検出装置1が検出装置の一例に相当し、LED61が発光手段の一例に相当し、駆動回路62が発光制御手段の一例に相当し、赤外線フィルタ21、レンズ22及びCMOSイメージセンサ23が撮影手段の一例に相当し、画像処理装置24が発光装置検出手段及び識別情報検出手段の一例に相当し、画像撮影部3が可視光撮影手段の一例に相当する。また、赤外線タグ4が検出装置用発光装置の一例に相当し、LED41が発光手段の一例に相当し、駆動回路42が発光制御手段の一例に相当する。また、固定検出装置7が固定検出装置の一例に相当し、赤外線フィルタ71、レンズ72及びCMOSイメージセンサ73が撮影手段の一例に相当し、画像処理装置74が発光装置検出手段及び識別情報検出手段の一例に相当する。
【0045】
次に、検出装置1の赤外線タグ検出処理について説明する。図3は、図1に示す検出装置1の赤外線タグ検出処理を説明するためのフローチャートである。なお、図3に示す赤外線タグ検出処理は、画像処理装置24が予め記憶されている検出処理プログラムを実行することにより行われる処理であり、固定検出装置7でも同様の処理が行われる。
【0046】
まず、画像処理装置24は、CMOSイメージセンサ23等を初期化し(ステップS11)、全画面(128×128pixel)の赤外線画像を撮影する(ステップS12)。次に、画像処理装置24は、赤外線画像の中から所定サイズの光点、例えば1pixelの光点を赤外線タグ6(LED61)として抽出し(ステップS13)、所定サイズより大きな光点を排除する。このように、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により赤外線タグ6を検出することができるので、画像処理装置24による赤外線タグ検出処理を高速化することができる。
【0047】
次に、画像処理装置24は、抽出した光点を中心とする8×8pixelの領域を検出領域として決定し(ステップS14)、CMOSイメージセンサ23により検出領域を既定回数、例えば、((送信ビット数+スタートビット数+エンドビット数)×2×2)回読み込み(ステップS15)、読み込んだ赤外線画像から赤外線タグ6の点滅状態を検出してID番号を検出するとともに、パリティチェックを行い、読み込みデータの判定処理を行う(ステップS16)。このように、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて赤外線タグ6の点滅状態を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、画像処理装置24による赤外線タグ検出処理を高速化することができる。この赤外線タグ検出処理の高速化により、人の動きに充分に追従することができ、動き予測等の演算コストの高い処理を省略することができる。
【0048】
ここで、パリティチェックが正しければ(ステップS17でYES)、画像処理装置24は、赤外線タグ6のID番号及びXY座標を出力し(ステップS18)、パリティチェックが正しくなければ(ステップS17でNO)、ステップS15に戻って検出領域の読み込みを再度行う。
【0049】
最後に、画像処理装置24は、ステップS13で検出された光点のうち、まだ読み込んでいない光点があれば(ステップS19でYES)、当該光点に対してステップS14以降の処理を継続し、読み込んでいない光点がなければ(ステップS19でNO)、ステップS12に戻って赤外線タグ検出処理を繰り返す。
【0050】
上記のように、本実施の形態では、赤外線タグ6が取り付けられた対象物に対して一意的に割り付けられたID番号をLED61の点滅により送信し、ユーザに装着された検出装置1により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて赤外線タグ6のID番号が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【0051】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により赤外線タグ6を実現できるので、赤外線タグ6を小型化することができ、また、検出装置1では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なCMOSイメージセンサ23等を用いて検出装置1を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【0052】
次に、上記のように構成された対象物識別システムの応用例について説明する。図4は、図1に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【0053】
図4に示すように、説明員P1等が検出装置1を頭部に装着するとともに、携帯型コンピュータ10を背負っている。赤外線タグ6は、訪問者P2の胸部に装着されるとともに、環境側の対象物として展示説明用のコンピュータM1及びロボットM2、展示用のぬいぐるみM3、展示説明用ボードB1等に取り付けられ、それぞれ個別のID番号を送信する。また、展示場の天井又は壁には、固定検出装置7が取り付けられている。
【0054】
上記のように各装置が配置されることにより、例えば、検出装置1により説明員P1の視界に入った訪問者P2等が対象物として識別され、固定検出装置7により説明員P1が対象物として識別されるとともに、説明員P1の周囲の対象物として訪問者P2、ロボットM2等が識別される。このようにして、展示場における人と人とのインタラクション等に関するインタラクションデータを収集することができ、収集したデータから知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【0055】
上記の説明では、インタラクション・コーパスの収集を例に説明したが、本発明が適用可能な用途は、上記の例に特に限定されず、種々の用途に適用することができる。また、一つの対象物に一つの赤外線タグを取り付けたが、一つの対象物に同一のID番号を送信する複数の赤外線タグを設けるようにしてもよい。
【0056】
【発明の効果】
本発明によれば、対象物に割り付けられた識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現することができるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制し、小型且つ安価なCMOSイメージセンサ等を用いて検出装置を構成することができ、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【図2】図1に示す検出装置の外観を示す模式的斜視図である。
【図3】図1に示す検出装置の赤外線タグ検出処理を説明するためのフローチャートである。
【図4】図1に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【符号の説明】
1 検出装置
2 赤外線検出部
3 画像撮影部
4 赤外線タグ
5 マイク部
6 赤外線タグ
7 固定検出装置
21 赤外線フィルタ
22 レンズ
23 CMOSイメージセンサ
24 画像処理装置
31 レンズ
32 CCDカメラ
41 LED
42 駆動回路
51 音声処理回路
52 マイクロホン
61 LED
62 駆動回路
71 赤外線フィルタ
72 レンズ
73 CMOSイメージセンサ
74 画像処理装置
[0001]
TECHNICAL FIELD OF THE INVENTION
INDUSTRIAL APPLICABILITY The present invention is used in an object identification system that detects a light emitting device attached to an object by a detection device attached to a user to identify an object located in the field of view of the user, and the object identification system. The present invention relates to a light emitting device and a detection device.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a technology has been developed for recognizing a person's position using a wireless or wearable navigation system in order to recognize the movement of a person in a room. In addition, a technology has been developed for automatically recognizing the ID (identification information) of an object viewed by a person using an ID tag that blinks infrared rays at a high speed (for example, see Non-Patent Documents 1 and 2).
[0003]
[Non-patent document 1]
Hisashi Aoki, Infrared tag read by camera and its application, Interactive system and software VIII (WISS 2000), Japan Society for Software Science and Technology, Modern Science Company, 2000, pp. 131-136
[Non-patent document 2]
Nobuyuki Matsushita, 4 others, ID Cam: an image sensor capable of simultaneously acquiring a scene and an ID, Interaction 2002, Information Processing Society of Japan, 2002, pp. 9-16
[0004]
[Problems to be solved by the invention]
However, in the above-described method using an ID tag that flashes infrared light at a high speed, since a normal camera is used, the processing speed cannot be sufficiently ensured. I couldn't do that. In some cases, the processing speed is improved by using a special high-speed camera, but the camera becomes expensive and large, and cannot be applied to applications worn by humans.
[0005]
An object of the present invention is to provide an object identification system capable of identifying an object located in the direction of a user's line of sight, having a high processing speed, and capable of being reduced in size and cost so that it can be worn by a person. An object of the present invention is to provide a light emitting device and a detection device used in an object identification system.
[0006]
[Means for Solving the Problems]
An object identification system according to the present invention includes a light emitting device attached to an object, and a detection device attached to a user, wherein the light emitting device has a light emitting unit that emits infrared light, and the light emitting device is attached. Light-emitting control means for blinking the light-emitting means according to the identification information uniquely assigned to the object, the detection device has an optical axis substantially coincident with the user's line of sight, A photographing means for photographing an infrared image of a predetermined photographing area including the light emitting apparatus; a light emitting device detecting means for detecting a light emitting device using the infrared image photographed by the photographing means; and a blinking state of the light emitting device detected by the light emitting device detecting means. And identification information detecting means for detecting the identification information of the light emitting device.
[0007]
In the object identification system according to the present invention, the light emitting device blinks according to the identification information uniquely assigned to the object to which the light emitting device is attached, and the detection device attached to the user causes Since an infrared image of a predetermined imaging region including an object positioned in the line of sight is captured, the blinking state of the light emitting device detected using the captured infrared image is detected, and identification information of the light emitting device is detected. , An object located in the user's line of sight can be identified.
[0008]
Here, since the light emitting device can be realized by a simple configuration of blinking infrared light according to the identification information of the object, the light emitting device can be downsized, and the detection device can detect the object by using an infrared image. Since the identification information is detected, it is possible to suppress an adverse effect due to light having a wavelength in the visible light region to be a disturbance, and to speed up the detection process, without using a special high-speed camera or the like. The detection device can be configured using a small and inexpensive CMOS image sensor or the like. Therefore, it is possible to realize an object identification system which can identify an object located in the user's line of sight, has a high processing speed, and can be reduced in size and cost so that it can be worn by a person. .
[0009]
It is preferable that the light emitting device detecting means detects a light spot of a predetermined size from the infrared image as the light emitting device. In this case, since the light emitting device can be detected by a simple process of detecting a light spot of a predetermined size from the infrared image, the speed of the detection process in the detection device can be further increased.
[0010]
The light emitting device detecting means determines a detection area including a light spot from the infrared image, the photographing means photographs an infrared image of the detection area, and the identification information detecting means detects the light emitting device using the infrared image of the detection area. Preferably, the blinking state of the light emitting device detected by the means is detected to detect the identification information of the light emitting device.
[0011]
In this case, the detection area including the light spot is determined from the infrared image, and the blinking state of the light emitting device is detected using only the infrared image of the detection area to detect the identification information of the light emitting device. Can be limited to the minimum necessary, and the detection process in the detection device can be further speeded up.
[0012]
It is preferable that the imaging unit has a near-infrared transmission filter, receives near-infrared transmitted through the near-infrared transmission filter, and captures a near-infrared image of a predetermined imaging region including the target object.
[0013]
In this case, the identification information of the light-emitting device can be detected using a near-infrared image created mainly from only near-infrared light, so that the adverse effect of light having a wavelength in the visible light region that becomes a disturbance is sufficiently reduced. And the detection process can be further speeded up.
[0014]
The detection device includes a light-emitting device that emits infrared light, and a light-emitting device for a detection device that includes a light-emission control unit that blinks the light-emitting device according to identification information uniquely assigned to a user who wears the detection device. Furthermore, it is preferable that the detection device is mounted on the head of the user.
[0015]
In this case, a light emitting unit that blinks in accordance with the identification information uniquely assigned to the user can be integrally configured, and the downsized detection device can be mounted on the user's head. Not only can an object located in the direction of the user's line of sight be identified, but also the object located in the direction of the other user's line of sight can be identified as the side on which the user is viewed. Can be expanded.
[0016]
The object identification system further includes a fixed detection device fixed to a structure constituting a space where the user is located, the fixed detection device has an optical axis set in a predetermined direction, and includes a predetermined imaging including the user. A photographing means for photographing an infrared image of the region, a light emitting device detecting means for detecting the light emitting device for the detecting device using the infrared image photographed by the photographing means, and a light emitting device for the detecting device detected by the light emitting device detecting means. Identification information detecting means for detecting the blinking state and detecting the identification information of the light emitting device for the detection device, wherein the angle of view of the imaging means of the fixed detection device is preferably smaller than the angle of view of the imaging means of the detection device. .
[0017]
In this case, not only the detection device mounted on the user's head, but also a user located far away and an object in the line of sight of the user can be detected by a fixed detection device fixed to a structure constituting a space where the user is located. Since the detection can be performed, the situation around the user can be detected in a wide range from different viewpoints.
[0018]
The detection device has an optical axis aligned with the optical axis of the imaging unit, and further includes a visible light imaging unit that captures a visible light image in the user's line of sight, and the detection device is mounted on the user's head. Is preferred.
[0019]
In this case, a downsized detection device having an optical axis aligned with the optical axis of the imaging means and integrally integrating visible light imaging means for imaging a visible light image in the user's line of sight is mounted on the user's head. Therefore, not only can an object located in the user's line of sight be identified, but also an image of the object can be taken at the same time.
[0020]
A light-emitting device according to the present invention is a light-emitting device attached to an object and detected by a detection device attached to a user, and a light-emitting unit that emits infrared light, and an object to which the light-emitting device is attached. And light emission control means for blinking the light emission means in accordance with the uniquely assigned identification information.
[0021]
In the light emitting device according to the present invention, since the light emitting means blinks in accordance with the identification information uniquely assigned to the attached object, a predetermined photographing area including the object located in the user's line of sight is provided. If the user is equipped with a detecting device that detects the flashing state of the light emitting device detected using the captured infrared image and detects the identification information of the light emitting device, the detecting device Can be identified.
[0022]
Here, since the light emitting device can be realized by a simple configuration of blinking infrared light according to the identification information of the object, the light emitting device can be downsized, and the detection device can detect the object by using an infrared image. Since the identification information is detected, it is possible to suppress an adverse effect due to light having a wavelength in the visible light region to be a disturbance, and to speed up the detection process, without using a special high-speed camera or the like. The detection device can be configured using a small and inexpensive CMOS image sensor or the like. Therefore, it is possible to realize an object identification system which can identify an object located in the user's line of sight, has a high processing speed, and can be reduced in size and cost so that it can be worn by a person. .
[0023]
A detection device according to the present invention is a detection device that is mounted on a user and detects a light emitting device attached to an object, has a light axis substantially aligned with a user's line of sight, and includes a predetermined object including an object. Photographing means for photographing an infrared image of the photographing area, a light emitting device detecting means for detecting a light emitting device using the infrared image photographed by the photographing means, and detecting a blinking state of the light emitting device detected by the light emitting device detecting means And identification information detecting means for detecting identification information of the light emitting device.
[0024]
In the detection device according to the present invention, when the light-emitting device blinks according to the identification information uniquely assigned to the attached object, a predetermined imaging region including the object located in the user's line of sight An infrared image of the light emitting device is photographed, and the blinking state of the light emitting device detected using the photographed infrared image is detected, and the identification information of the light emitting device is detected, so that an object located in the user's line of sight is identified. be able to.
[0025]
Here, since the light emitting device can be realized by a simple configuration of blinking infrared light according to the identification information of the object, the light emitting device can be downsized, and the detection device can detect the object by using an infrared image. Since the identification information is detected, it is possible to suppress an adverse effect due to light having a wavelength in the visible light region to be a disturbance, and to speed up the detection process, without using a special high-speed camera or the like. The detection device can be configured using a small and inexpensive CMOS image sensor or the like. Therefore, it is possible to realize an object identification system which can identify an object located in the user's line of sight, has a high processing speed, and can be reduced in size and cost so that it can be worn by a person. .
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an object identification system according to the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an object identification system according to one embodiment of the present invention.
[0027]
The object identification system shown in FIG. 1 includes a detection device 1, an infrared tag 6, and a fixed detection device 7. The infrared tag 6 is attached to the object itself or in the vicinity thereof, and transmits an ID number (identification information) uniquely assigned to the object by flashing infrared rays. The detection device 1 includes an infrared tag 6 while detecting an ID number of an object and an XY coordinate in an infrared image of the infrared tag 6 which are attached to the user and transmitted from the infrared tag 6 located within the field of view of the user. A visible light image is captured, and information such as the detected ID number and XY coordinates and the captured visible light image are output to the portable computer 10. The portable computer 10 performs predetermined processing such as addition of time information to each piece of input information, and transmits each piece of information to the server 11 wirelessly.
[0028]
In addition, the detecting device 1 transmits the user's ID number by blinking infrared rays. The fixed detection device 7 is fixed to a structure constituting a space where the user is located, and is an ID number transmitted from the detection device 1 and the infrared tag 6 located in the imaging range, and an infrared image of the detection device 1 and the infrared tag 6 XY coordinates are detected and output to the server 11.
[0029]
The information collected as described above is used for various purposes in the server 11, and is used, for example, to create an interaction corpus which serves as a knowledge base storing interaction data relating to the interaction between people. Is done.
[0030]
The detection device 1 includes an infrared detection unit 2, an image capturing unit 3, an infrared tag 4, and a microphone unit 5. FIG. 2 is a schematic perspective view showing the appearance of the detection device 1 shown in FIG. As shown in FIG. 2, the detection device 1 is configured as an ear-hung neckband headset worn on the user's head, and is worn on the user's head. The infrared detecting unit 2 and the image capturing unit 3 are integrally incorporated in a rectangular parallelepiped housing, the infrared tag 4 is integrally fixed to a side surface of the housing, and the microphone unit 5 is arranged near the mouth of the user. The portable computer 10 is used by being carried on the user, and each output from the detection device 1 is supplied to the portable computer 10.
[0031]
Referring to FIG. 1 again, the infrared tag 6 includes an LED (Light Emitting Diode) 61 and a drive circuit 62. The LED 61 is composed of an infrared LED or the like. For example, a high output light emitting diode for optical communication (DN311 manufactured by Stanley) can be used, and an infrared LED having a weak directivity and about 800 nm close to visible light is preferably used. Can be used.
[0032]
The drive circuit 62 is composed of a microcomputer or the like. For example, a 4 MHz drive microcomputer AT90S2323 manufactured by Atmel can be used, and an ID number uniquely assigned to an object to which the infrared tag 6 is attached is identified. The LED 61 is controlled to blink as much as possible. The LED 61 and the drive circuit 62 are supplied with power from an internal battery (not shown).
[0033]
Specifically, the drive circuit 62 repeatedly transmits an ID number (6 bits) and a parity bit and a start bit (1 bit) and an end bit (2 bits) encoded by the Manchester encoding method by blinking at a cycle of 200 Hz. For example, in the case of ID number 62, ID: 62 → “011001010101101111” (here, start bit (01), ID number 6 bits, parity bit (even number 10, odd number 01), end bit (1111)).
[0034]
The infrared detector 2 includes an infrared filter 21, a lens 22, a CMOS image sensor 23, and an image processing device 24. The infrared filter 21 transmits mainly the near infrared ray among the infrared rays emitted from the LED 61 of the infrared tag 6 and guides the near infrared ray to the lens 22. As the infrared filter 21, for example, a plastic IR pass filter manufactured by Edmund Corporation that blocks visible light and passes near infrared light can be used.
[0035]
The lens 22 forms near-infrared light transmitted through the infrared filter 21 on the CMOS image sensor 23. The angle of view of the lens 22 is 90 degrees. In this case, in a face-to-face conversation state or the like, an infrared tag located at a relatively short distance and in a wide range can be easily detected.
[0036]
The CMOS image sensor 23 captures a near-infrared image composed of near-infrared rays formed by the lens 22 and outputs it to the image processing device 24. As the CMOS image sensor 23, for example, an artificial retina LSI (M64283FP) manufactured by Mitsubishi Electric Corporation or the like can be used, and the resolution in this case is 128 × 128 pixels.
[0037]
The image processing device 24 controls the CMOS image sensor 23 and performs data processing, detects the infrared tag 6 from the near-infrared image captured by the CMOS image sensor 23, and detects the ID number from the blinking state of the detected infrared tag 6. At the same time, the XY coordinates of the infrared tag 6 on the infrared image are detected, and data such as an ID number and XY coordinates are output to the portable computer 10 according to a data transmission standard such as RS232C. As the image processing device 24, for example, a 49 MHz drive microcomputer C8051F124 manufactured by Cygnal can be used.
[0038]
In this case, the CMOS image sensor 23 is driven by a clock of 115200 Hz, and after imaging (shutter release), the brightness of one pixel is serially output as an analog value every clock. For this reason, the shortest frame rate at the time of shooting all pixels is (shutter speed) + (128 × 128 × clock speed), but 8 × 8 pixels out of 128 × 128 pixels are set as the detection area and the shutter speed is 500 Hz. When capturing an image, a frame rate of 400 Hz can be realized, and the reading speed can be increased. As described above, since reading is performed at a frame rate (400 Hz) that is twice the blinking cycle (200 Hz) of the infrared tag 6, asynchronous communication can be performed using the single LED 61. When a lens 22 having an angle of view of 90 degrees is used, 1 pixel at a distance of 2 m corresponds to a range of 2.2 cm × 2.2 cm.
[0039]
As described above, since the infrared detection unit 2 can detect the ID number of the infrared tag 6 using the near-infrared image created mainly from only near-infrared light, it has a wavelength in the visible light region that causes disturbance. The adverse effect of light can be sufficiently reduced, and the detection process can be sped up.
[0040]
The image photographing unit 3 includes a lens 31 and a CCD camera 32. The lens 31 forms, on the CCD camera 32, a visible light image including an object to which the infrared tag 6 is attached, which is located in the user's line of sight. The CCD camera 32 captures a visible light image and outputs a video signal to the portable computer 10. As the lens 31 and the CCD camera 32, for example, a small CCD camera (horizontal angle of view: 44 degrees) manufactured by KEYENCE having an analog video output can be used. Here, the optical axis of the lens 31 is aligned with the optical axis of the lens 22 of the infrared detection unit 2 and not only identifies an object located in the user's line of sight but also captures an image of the object at the same time. can do.
[0041]
The infrared tag 4 includes an LED 41 and a drive circuit 42. The infrared tag 4 is configured integrally with the detection device 1 and is configured of the same hardware as the infrared tag 6 except that the ID number of the user wearing the detection device 1 is transmitted, and operates similarly. In this case, the detection device 1 can be mounted on the user's head by integrally forming the infrared tag 4 that blinks in accordance with the ID number uniquely assigned to the user, so that the user can use it. In addition to identifying the object located in the line of sight of the user as the viewing side, it is also identified as the object located in the line of sight of another user as the side where the user is seen, and collecting the above-mentioned interaction corpus. Can be suitably used for various applications.
[0042]
The microphone unit 5 includes an audio processing circuit 51 and a microphone 52. The microphone 52 collects the utterance or ambient sound of the user and outputs the collected sound to the audio processing circuit 51, and the audio processing circuit 51 outputs the recorded audio signal to the portable computer 10. When no sound is recorded, the microphone section 5 may be omitted, or a speaker or the like may be integrated with the headset for transmitting sound or the like to the user.
[0043]
The fixed detection device 7 includes an infrared filter 71, a lens 72, a CMOS image sensor 73, and an image processing device 74. The fixed detector 7 is configured and operates in the same manner as the infrared detector 2 described above. However, the angle of view of the lens 72 is 60 degrees, and is set to be narrower than the angle of view of the lens 22 of the detection device 1. In this case, the light collection rate per pixel of the CMOS image sensor 73 is increased, and the infrared tags 4 and 6 located at a long distance can be easily found. In addition, not only the detection device 1 mounted on the head of the user, but also the fixed detection device 7 fixed to a structure constituting a space where the user is located, to detect the user and the target in the line of sight of the user. Therefore, the situation around the user can be detected from different viewpoints.
[0044]
In the present embodiment, the infrared tag 6 corresponds to an example of a light emitting device, the detecting device 1 corresponds to an example of a detecting device, the LED 61 corresponds to an example of a light emitting unit, and the driving circuit 62 corresponds to an example of a light emitting control unit. The infrared filter 21, the lens 22, and the CMOS image sensor 23 correspond to an example of a photographing unit, the image processing device 24 corresponds to an example of a light emitting device detecting unit and an identification information detecting unit, and the image photographing unit 3 corresponds to a visible light. This corresponds to an example of a photographing unit. Further, the infrared tag 4 corresponds to an example of a light emitting device for a detection device, the LED 41 corresponds to an example of a light emitting unit, and the drive circuit 42 corresponds to an example of a light emission control unit. Further, the fixed detection device 7 corresponds to an example of the fixed detection device, the infrared filter 71, the lens 72, and the CMOS image sensor 73 correspond to an example of the photographing unit, and the image processing device 74 includes the light emitting device detection unit and the identification information detection unit. Corresponds to an example.
[0045]
Next, an infrared tag detection process of the detection device 1 will be described. FIG. 3 is a flowchart for explaining the infrared tag detection processing of the detection device 1 shown in FIG. Note that the infrared tag detection process shown in FIG. 3 is a process performed by the image processing device 24 executing a detection process program stored in advance, and the same process is performed by the fixed detection device 7.
[0046]
First, the image processing device 24 initializes the CMOS image sensor 23 and the like (step S11), and captures an infrared image of the entire screen (128 × 128 pixels) (step S12). Next, the image processing device 24 extracts a light spot of a predetermined size, for example, a 1-pixel light spot, from the infrared image as the infrared tag 6 (LED 61) (step S13), and excludes a light spot larger than the predetermined size. As described above, since the infrared tag 6 can be detected by a simple process of detecting a light spot of a predetermined size from the infrared image, the infrared tag detection process by the image processing device 24 can be speeded up.
[0047]
Next, the image processing device 24 determines an 8 × 8 pixel area centered on the extracted light spot as a detection area (step S14), and the CMOS image sensor 23 sets the detection area to a predetermined number of times, for example, ((transmission bit (Number + start bit number + end bit number) × 2 × 2) times (step S15), and detects the blinking state of the infrared tag 6 from the read infrared image, detects the ID number, performs parity check, and reads. A data determination process is performed (step S16). As described above, the detection area including the light spot is determined from the infrared image, and the blinking state of the infrared tag 6 is detected using only the infrared image in the detection area. The speed of the infrared tag detection processing by the image processing device 24 can be increased. By increasing the speed of the infrared tag detection processing, it is possible to sufficiently follow the movement of a person, and it is possible to omit processing at high computation cost such as motion prediction.
[0048]
Here, if the parity check is correct (YES in step S17), the image processing device 24 outputs the ID number and the XY coordinates of the infrared tag 6 (step S18), and if the parity check is not correct (NO in step S17). Then, the process returns to step S15 to read the detection area again.
[0049]
Finally, among the light spots detected in step S13, if there is a light spot that has not been read yet (YES in step S19), the image processing device 24 continues the processing from step S14 on for the light spot. If there is no light spot that has not been read (NO in step S19), the flow returns to step S12 to repeat the infrared tag detection processing.
[0050]
As described above, in the present embodiment, the ID number uniquely assigned to the object to which the infrared tag 6 is attached is transmitted by blinking the LED 61, and the detection device 1 attached to the user transmits the ID number. An infrared image of a predetermined imaging region including an object located in the line of sight of the user is captured, and the ID number of the infrared tag 6 is detected using the captured infrared image. Can be identified.
[0051]
Here, since the infrared tag 6 can be realized by a simple configuration of blinking infrared light in accordance with the identification information of the target object, the infrared tag 6 can be reduced in size, and the detection device 1 uses an infrared image. Since the identification information of the target object is detected, it is possible to suppress the adverse effect due to light having a wavelength in the visible light region, which is a disturbance, to speed up the detection process, and to use a special high-speed camera or the like. Without using the small and inexpensive CMOS image sensor 23 or the like, the detection device 1 can be configured. Therefore, it is possible to realize an object identification system which can identify an object located in the user's line of sight, has a high processing speed, and can be reduced in size and cost so that it can be worn by a person. .
[0052]
Next, an application example of the object identification system configured as described above will be described. FIG. 4 is a schematic diagram for explaining an example of collecting an interaction corpus in an exhibition hall using the object identification system shown in FIG.
[0053]
As shown in FIG. 4, an explanation person P1 and the like wear the detection device 1 on the head and carry the portable computer 10 on their backs. The infrared tag 6 is attached to the chest of the visitor P2, and is attached to a computer M1 and a robot M2 for exhibit explanation, a stuffed toy M3 for exhibit, an exhibition explanation board B1 and the like as objects on the environment side, each of which is individually provided Is transmitted. A fixed detector 7 is attached to the ceiling or wall of the exhibition hall.
[0054]
By arranging the devices as described above, for example, the visitor P2 or the like who has entered the field of view of the explainer P1 is identified as the target by the detection device 1, and the explainer P1 is set as the target by the fixed detection device 7. At the same time, the visitor P2, the robot M2, and the like are identified as objects around the explainer P1. In this way, it is possible to collect interaction data relating to the interaction between persons in the exhibition hall, and to create an interaction corpus serving as a knowledge base from the collected data.
[0055]
In the above description, the collection of the interaction corpus has been described as an example, but the application to which the present invention can be applied is not particularly limited to the above example, and can be applied to various applications. Also, one infrared tag is attached to one object, but a plurality of infrared tags transmitting the same ID number may be provided for one object.
[0056]
【The invention's effect】
According to the present invention, a light-emitting device can be realized by a simple configuration in which infrared light is blinked in accordance with identification information assigned to an object, so that the light-emitting device can be reduced in size and the detection device Detects the identification information of an object using an infrared image, so that the adverse effect of light having a wavelength in the visible light region, which is a disturbance, is suppressed, and the detection device is configured using a small and inexpensive CMOS image sensor or the like. And an object identification system that can identify an object located in the user's line of sight, has a high processing speed, and can be reduced in size and cost so that it can be worn by a person. be able to.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an object identification system according to an embodiment of the present invention.
FIG. 2 is a schematic perspective view showing an appearance of the detection device shown in FIG.
FIG. 3 is a flowchart for explaining an infrared tag detection process of the detection device shown in FIG. 1;
FIG. 4 is a schematic diagram for explaining an example of collecting an interaction corpus in an exhibition hall using the object identification system shown in FIG. 1;
[Explanation of symbols]
1 Detector
2 Infrared detector
3 Image shooting section
4 Infrared tags
5 Microphone section
6 infrared tags
7 Fixed detector
21 Infrared filter
22 lenses
23 CMOS Image Sensor
24 Image processing device
31 lenses
32 CCD camera
41 LED
42 Drive Circuit
51 Audio processing circuit
52 microphone
61 LED
62 drive circuit
71 Infrared filter
72 lenses
73 CMOS image sensor
74 Image processing device

Claims (9)

対象物に取り付けられた発光装置と、ユーザに装着された検出装置とを備え、
前記発光装置は、
赤外線を発光する発光手段と、
当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備え、
前記検出装置は、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記発光装置を検出する発光装置検出手段と、
前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする対象物識別システム。
A light-emitting device attached to the target, and a detection device attached to the user,
The light emitting device,
Light emitting means for emitting infrared light,
Light-emitting control means for blinking the light-emitting means according to the identification information uniquely assigned to the object to which the light-emitting device is attached,
The detection device,
A photographing unit having an optical axis substantially coincident with a user's line of sight, and photographing an infrared image of a predetermined photographing region including the object;
Light emitting device detecting means for detecting the light emitting device using an infrared image taken by the photographing means,
An object identification system, comprising: identification information detection means for detecting a blinking state of the light emitting device detected by the light emitting device detection means and detecting identification information of the light emitting device.
前記発光装置検出手段は、前記赤外線画像の中から所定サイズの光点を前記発光装置として検出することを特徴とする請求項1記載の対象物識別システム。2. The object identification system according to claim 1, wherein the light emitting device detection unit detects a light spot of a predetermined size from the infrared image as the light emitting device. 3. 前記発光装置検出手段は、前記赤外線画像から前記光点を含む検出領域を決定し、
前記撮影手段は、前記検出領域の赤外線画像を撮影し、
前記識別情報検出手段は、前記検出領域の赤外線画像を用いて、前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出することを特徴とする請求項2記載の対象物識別システム。
The light emitting device detection means determines a detection area including the light spot from the infrared image,
The photographing means photographs an infrared image of the detection area,
The said identification information detection means detects the blinking state of the light emitting device detected by the said light emitting device detection means using the infrared image of the said detection area, and detects the identification information of the said light emitting device. Item 2. The object identification system according to Item 2.
前記撮影手段は、近赤外線透過フィルタを有し、前記近赤外線透過フィルタを透過した近赤外線を受光して前記対象物を含む所定の撮影領域の近赤外線画像を撮影することを特徴とする請求項1〜3のいずれかに記載の対象物識別システム。The image capturing means has a near-infrared transmission filter, receives near-infrared light transmitted through the near-infrared transmission filter, and captures a near-infrared image of a predetermined imaging region including the object. An object identification system according to any one of claims 1 to 3. 前記検出装置は、赤外線を発光する発光手段と、当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項1〜4のいずれかに記載の対象物識別システム。
The detection device includes: a light emitting unit that emits infrared light; and a light emission control unit that blinks the light emitting unit in accordance with identification information uniquely assigned to a user wearing the detection device. Further comprising a device,
The object identification system according to claim 1, wherein the detection device is mounted on a head of a user.
ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、
前記固定検出装置は、
所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記検出装置用発光装置を検出する発光装置検出手段と、
前記発光装置検出手段により検出された検出装置用発光装置の点滅状態を検出して当該検出装置用発光装置の識別情報を検出する識別情報検出手段とを備え、
前記固定検出装置の撮影手段の画角は、前記検出装置の撮影手段の画角より狭いことを特徴とする請求項5記載の対象物識別システム。
Further comprising a fixed detection device fixed to a structure constituting a space where the user is located,
The fixed detector,
An imaging unit having an optical axis set in a predetermined direction, and imaging an infrared image of a predetermined imaging region including a user,
A light-emitting device detection unit that detects the light-emitting device for the detection device using an infrared image captured by the imaging unit,
Identification information detecting means for detecting the blinking state of the light emitting device for the detection device detected by the light emitting device detection means, and detecting the identification information of the light emitting device for the detection device,
6. The object identification system according to claim 5, wherein an angle of view of an imaging unit of the fixed detection device is smaller than an angle of view of an imaging unit of the detection device.
前記検出装置は、前記撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段をさらに備え、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項1〜6のいずれかに記載の対象物識別システム。
The detection device further includes a visible light imaging unit having an optical axis aligned with an optical axis of the imaging unit, and imaging a visible light image in a user's line of sight.
The object detection system according to claim 1, wherein the detection device is mounted on a user's head.
対象物に取り付けられ、ユーザに装着された検出装置によって検出される発光装置であって、
赤外線を発光する発光手段と、
当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備えることを特徴とする発光装置。
A light-emitting device attached to an object and detected by a detection device attached to a user,
Light emitting means for emitting infrared light,
A light-emitting device comprising: a light-emitting control unit that causes the light-emitting unit to blink in accordance with identification information uniquely assigned to an object to which the light-emitting device is attached.
ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記発光装置を検出する発光装置検出手段と、
前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする検出装置。
A detection device that is mounted on a user and detects a light emitting device attached to an object,
A photographing unit having an optical axis substantially coincident with a user's line of sight, and photographing an infrared image of a predetermined photographing region including the object;
Light emitting device detecting means for detecting the light emitting device using an infrared image taken by the photographing means,
An identification information detecting means for detecting a blinking state of the light emitting device detected by the light emitting device detecting means and detecting identification information of the light emitting device.
JP2002378008A 2002-12-26 2002-12-26 Object identification system, light emitting device, and detection device Expired - Fee Related JP3762745B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002378008A JP3762745B2 (en) 2002-12-26 2002-12-26 Object identification system, light emitting device, and detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002378008A JP3762745B2 (en) 2002-12-26 2002-12-26 Object identification system, light emitting device, and detection device

Publications (2)

Publication Number Publication Date
JP2004208229A true JP2004208229A (en) 2004-07-22
JP3762745B2 JP3762745B2 (en) 2006-04-05

Family

ID=32815008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002378008A Expired - Fee Related JP3762745B2 (en) 2002-12-26 2002-12-26 Object identification system, light emitting device, and detection device

Country Status (1)

Country Link
JP (1) JP3762745B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043579A (en) * 2005-08-04 2007-02-15 Advanced Telecommunication Research Institute International Object identification system and detection apparatus
JP2009168488A (en) * 2008-01-11 2009-07-30 Toyota Motor Corp Position information acquisition apparatus, position estimation apparatus, and moving body
JP6425860B1 (en) * 2018-01-18 2018-11-21 三菱電機株式会社 Device operating device, device operating system and device operating method
CN111354018A (en) * 2020-03-06 2020-06-30 合肥维尔慧渤科技有限公司 Object identification method, device and system based on image

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043579A (en) * 2005-08-04 2007-02-15 Advanced Telecommunication Research Institute International Object identification system and detection apparatus
JP2009168488A (en) * 2008-01-11 2009-07-30 Toyota Motor Corp Position information acquisition apparatus, position estimation apparatus, and moving body
JP6425860B1 (en) * 2018-01-18 2018-11-21 三菱電機株式会社 Device operating device, device operating system and device operating method
WO2019142295A1 (en) * 2018-01-18 2019-07-25 三菱電機株式会社 Device operation apparatus, device operation system and device operation method
CN111354018A (en) * 2020-03-06 2020-06-30 合肥维尔慧渤科技有限公司 Object identification method, device and system based on image
CN111354018B (en) * 2020-03-06 2023-07-21 合肥维尔慧渤科技有限公司 Object identification method, device and system based on image

Also Published As

Publication number Publication date
JP3762745B2 (en) 2006-04-05

Similar Documents

Publication Publication Date Title
JP4284949B2 (en) Moving shooting system, moving shooting method, and shooting apparatus
US9692990B2 (en) Infrared tracking system
US20080180537A1 (en) Camera system and methods
JPWO2015186447A1 (en) Information processing apparatus, photographing apparatus, image sharing system, information processing method, and program
JP6675064B2 (en) Collation device
US9569660B2 (en) Control system, control method and computer program product
JP2007043579A (en) Object identification system and detection apparatus
US20160191797A1 (en) Image Processing Device and Image Playback Device Which Control Display Of Wide-Range Image
JP2004334269A (en) Image processing device and method, record medium, and program
JP2015092646A (en) Information processing device, control method, and program
JP2005131713A (en) Communication robot
JP3762745B2 (en) Object identification system, light emitting device, and detection device
JP2007127536A (en) Posture detecting system, and light emitter
JP2017112504A (en) Imaging apparatus, visible light communication identification information registration method, and program
JP4095537B2 (en) Experience display device, experience display method, and experience display program
KR100766995B1 (en) 3 dimension camera module device
JP2004153674A (en) Camera apparatus
JP5534978B2 (en) Imaging apparatus and control method thereof
JP6283620B2 (en) Biological information acquisition apparatus, biological information acquisition method, and biological information acquisition program in a predetermined space
JP2016062336A (en) Operation instruction system, operation instruction method, attached terminal, and operation instruction management server
JP4012872B2 (en) Information management apparatus, information management method, and information management program
JP3936295B2 (en) Database creation device
JP2016167130A (en) Hand gesture translation system
JP5253791B2 (en) Individual information identification system
JP2006092290A (en) Suspicious individual detector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051025

A521 Written amendment

Effective date: 20051207

Free format text: JAPANESE INTERMEDIATE CODE: A523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060113

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20100120

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100120

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110120

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees