JP2004198131A - Method, device, and system for detecting position, light emitting body used for position detection, and position detection processing program - Google Patents

Method, device, and system for detecting position, light emitting body used for position detection, and position detection processing program Download PDF

Info

Publication number
JP2004198131A
JP2004198131A JP2002363797A JP2002363797A JP2004198131A JP 2004198131 A JP2004198131 A JP 2004198131A JP 2002363797 A JP2002363797 A JP 2002363797A JP 2002363797 A JP2002363797 A JP 2002363797A JP 2004198131 A JP2004198131 A JP 2004198131A
Authority
JP
Japan
Prior art keywords
light emitting
infrared light
emitting element
image
emission image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002363797A
Other languages
Japanese (ja)
Inventor
Shoji Sakamoto
彰司 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2002363797A priority Critical patent/JP2004198131A/en
Publication of JP2004198131A publication Critical patent/JP2004198131A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To detect the position of an object to be measured by an inexpensive constitution resistant to changes in the conditions of external light and having light load in processing. <P>SOLUTION: This position detection system is provided with a light emitting part 1 which comprises a plurality of infrared light emitting diodes 11a, 11b, 11c arranged at predetermined intervals for emitting infrared rays and emits infrared rays by the infrared light emitting diodes 11a, 11b, 11c; an imaging device 2 for imaging the infrared rays emitted from the infrared light emitting diodes 11a, 11b, 11c; and a position detecting device 3 for analyzing images acquired from the imaging device 2 and detecting the orientation and distance of a light emitting part. To be concrete, the position detection device 3 determines the inclination and distance of the light emitting part 1 to the imaging device 2 from both distance values in an actual world between the infrared light emitting diodes 11a, 11b, 11c previously set by processing image analysis on the acquired images and distance values between light emission images of the infrared light emitting diodes 11a, 11b, 11c formed in an image forming plane of the imaging device 2. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、測定対象物の位置を検出する位置検出装置に関し、特に、簡便で外光条件の変化に強く且つ低コストで測定対象物の位置を検出可能な位置検出方法及び位置検出装置、位置検出システム及びその位置検出に用いられる測定対象発光体、位置検出処理プログラムに関するものである。
【0002】
【従来の技術】
計算機を用いて物体の位置を計測する場合、CCDからの入力を画像処理して特徴点を抽出し、その位置に基づいて対象の位置を推定するという方法が用いられている。
【0003】
しかし、可視光から構成された画像には、検出対象以外の物体や背景が写っており、これらを適切に分離するだけでも手間がかかる。
【0004】
また、可視光の画像は照明条件によって大きく変動するが、照明条件を固定しようとすると装置が利用できる環境が限定されてしまう。
【0005】
これに対して赤外線を用いた計測では、可視光の場合のような背景の問題は発生しない。また、外光の影響もなく照明条件も問題とならない。このような利点を生かした赤外線利用の計測手法が従来から提案されている。
【0006】
例えば、赤外線発光ダイオードを光源に利用した視線検出装置がある(特許文献1参照)。これは、眼球の正確な向きの検出が可能になっている。しかし、この計測装置の実現には専用の光学系などが必要になり、装置自体が高価になることが予想される。
【0007】
また、赤外線発光装置を備えた対象をテレビカメラで撮影して対象がカメラに接近したことを検出する方法がある(特許文献2参照)。この方法では対象が接近したという程度の大まかな情報しか得られない。
【0008】
一方、赤外線を用いることなく発光ダイオードを用いた位置検出を行う方法がある(特許文献3参照)。この方法では発光ダイオードのそれぞれに特殊な明滅パターンを割り当てた上で特殊な撮像装置を用いて撮影しており、装置の構成が複雑である。
【0009】
【特許文献1】
特開平5−245106号公報。
【0010】
【特許文献2】
特開平6−94451号公報。
【0011】
【特許文献3】
特開2000−132306号公報。
【0012】
【発明が解決しようとする課題】
ところで、可視光の画像から画像処理によって対象の位置や距離を推定する技術はコンピュータビジョンという分野で盛んに研究されており、その成果は生産現場のマニピュレータ制御などに用いられている。
【0013】
しかしながら、従来のコンピュータビジョンの方法では、可視光の画像を処理対照とするため、データ量が大きく処理が複雑で照明条件の変化に弱いなどの不都合がある。
【0014】
一方、上述の特許文献1乃至3の従来技術における赤外線の画像を用いた方法では、専用の光学系を必要とするためにコストが高騰したり、可視光画像のような詳細な情報が得られないなどの不都合がある。
【0015】
そこで、本発明は上記不都合を解消し、簡便で外光条件の変化に強く且つ低コストで測定対象物の位置を検出可能な位置検出方法及び位置検出装置、位置検出システム及びその位置検出に用いられる測定対象発光体、位置検出処理プログラムの提供を目的とするものである。
【0016】
【課題を解決するための手段】
上記目的を達成するために、請求項1の発明は、所定の間隔で配列された少なくとも3つの赤外線発光素子を有する赤外線発光素子群を測定対象物に具えるとともに、前記赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置に基づき前記測定対象物の前記基準位置に対する向きと距離を検出することを特徴とする。
【0017】
また、請求項2の発明は、請求項1の発明において、前記発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置に基づきそれら発光像間間隔を求め、該求めた発光像間間隔と前記所定の間隔とから前記測定対象物の前記基準位置に対する向きと距離を検出することを特徴とする。
【0018】
また、請求項3の発明は、請求項1の発明において、前記赤外線発光素子群の各赤外線発光素子は、前記測定対象物に一直線に配列して配置されることを特徴とする。
【0019】
また、請求項4の発明は、請求項1の発明において、前記測定対象物を互いに平行でない配置で複数用意し、前記撮像手段で前記複数の測定対象物に具えられた赤外線発光素子群の発光画像を撮像し、該撮像した発光画像を解析することにより、該発光画像上における各測定対象物の各赤外線発光素子の発光像位置に基づきそれら各測定対象物に具えられた各赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出することを特徴とする。
【0020】
また、請求項5の発明は、請求項1の発明において、前記撮像手段は、赤外線透過フィルタを有する赤外線感知撮像手段であることを特徴とする。
【0021】
また、請求項6の発明は、所定の間隔で配列された少なくとも3つの赤外線発光素子をそれぞれ含む少なくとも2組の赤外線発光素子群を互いに平行でない配置で測定対象物に具えるとともに、該少なくとも2組の赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出することを特徴とする。
【0022】
また、請求項7の発明は、請求項6の発明において、前記発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置に基づき各組毎の発光像間間隔を求め、該求めた各組の発光像間間隔と前記所定の間隔とから前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出することを特徴とする。
【0023】
また、請求項8の発明は、請求項6の発明において、前記赤外線発光素子群は、各赤外線発光素子が前記測定対象物に一直線に配列して配置された2組の赤外線発光素子群からなり、前記2組の赤外線発光素子群の赤外線発光素子は互いに直交するように配列して前記測定対象物に配設されることを特徴とする。
【0024】
また、請求項9の発明は、請求項6の発明において、前記撮像手段は、赤外線透過フィルタを有する赤外線感知撮像手段であることを特徴とする。
【0025】
また、請求項10の発明は、測定対象物に具えられた所定の間隔で配列された少なくとも3つの赤外線発光素子を有する赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該発光画像に基づき前記測定対象物の前記基準位置に対する向きと距離を検出する位置検出装置であって、前記撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置を検出する検出手段と、前記検出手段で検出された前記赤外線発光素子の発光像位置に基づき前記測定対象物の前記基準位置に対する向きと距離を演算する演算手段とを具備することを特徴とする。
【0026】
また、請求項11の発明は、請求項10の発明において、前記演算手段は、前記検出手段で検出された各赤外線発光素子の発光像位置に基づきそれら発光像間間隔を求め、該求めた発光像間間隔と前記所定の間隔とから前記測定対象物の前記基準位置に対する向きと距離を演算することを特徴とする。
【0027】
また、請求項12の発明は、請求項10の発明において、前記赤外線発光素子群の各赤外線発光素子は、前記測定対象物に一直線に配列して配置されることを特徴とする。
【0028】
また、請求項13の発明は、請求項10の発明において、前記測定対象物を互いに平行でない配置で複数用意し、前記検出手段は、前記撮像手段で撮像した前記複数の測定対象物に具えられた赤外線発光素子群の発光画像を解析することにより、該発光画像上における各測定対象物の各赤外線発光素子の発光像位置を検出し、前記演算手段は、前記検出手段で検出された各測定対象物の各赤外線発光素子の発光像位置に基づきそれら各測定対象物に具えられた各赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出することを特徴とする。
【0029】
また、請求項14の発明は、請求項10の発明において、前記撮像手段は、赤外線透過フィルタを有する赤外線感知撮像手段であることを特徴とする。
【0030】
また、請求項15の発明は、測定対象物に具えられた所定の間隔で配列された少なくとも3つの赤外線発光素子をそれぞれ含む少なくとも2組の赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該発光画像に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する位置検出装置であって、前記撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置を検出する検出手段と、前記検出手段で検出された前記各赤外線発光素子の発光像位置に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を演算する演算手段とを具備することを特徴とする。
【0031】
また、請求項16の発明は、請求項15の発明において、前記演算手段は、前記検出手段で検出された前記少なくとも2組の各赤外線発光素子の発光像位置に基づき各組毎の発光像間間隔を求め、該求めた各組の発光像間間隔と前記所定の間隔とから前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を演算することを特徴とする。
【0032】
また、請求項17の発明は、請求項15の発明において、前記赤外線発光素子群は、各赤外線発光素子が前記測定対象物に一直線に配列して配置された2組の赤外線発光素子群からなり、前記2組の赤外線発光素子群の赤外線発光素子は互いに直交するように配列して前記測定対象物に配設されることを特徴とする。
【0033】
また、請求項18の発明は、請求項15の発明において、前記撮像手段は、赤外線透過フィルタを有する赤外線感知撮像手段であることを特徴とする。
【0034】
また、請求項19の発明は、測定対象発光体を所定の基準位置に配設された撮像手段で撮像し、該撮像手段で撮像した撮像画像を解析することにより、前記測定対象発光体の前記基準位置に対する向きと距離を検出する位置検出システムで位置検出に用いられる測定対象発光体であって、少なくとも3つの赤外線発光素子を所定の間隔で配列した赤外線発光素子群を有することを特徴とする。
【0035】
また、請求項20の発明は、請求項19の発明において、前記赤外線発光素子群の各赤外線発光素子は、一直線に配列して配置されることを特徴とする。
【0036】
また、請求項21の発明は、請求項19の発明において、前記赤外線発光素子群は、各赤外線発光素子を一直線に配列して配置された2組の赤外線発光素子群からなり、前記2組の赤外線発光素子群は互いに直交するように配列して配設されることを特徴とする。
【0037】
また、請求項22の発明は、所定の間隔で配列された少なくとも3つの赤外線発光素子を有する赤外線発光素子群を具えた測定対象発光体と、所定の基準位置に配設され、前記赤外線発光素子群の発光画像を撮像する撮像手段と、前記撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置に基づき前記測定発光体の前記基準位置に対する向きと距離を検出する検出手段とを具備することを特徴とする。
【0038】
また、請求項23の発明は、請求項22の発明において、前記検出手段は、前記撮像画像上における前記少なくとも3つの赤外線発光素子の発光像位置に基づきそれら発光像間間隔を求め、該求めた発光像間間隔と前記所定の間隔とから前記測定対象物の前記基準位置に対する向きと距離を検出することを特徴とする。
【0039】
また、請求項24の発明は、請求項22の発明において、前記赤外線発光素子群の各赤外線発光素子は、前記測定対象発光体に一直線に配列して配置されることを特徴とする。
【0040】
また、請求項25の発明は、請求項22の発明において、前記測定対象発光体を互いに平行でない配置で複数用意し、前記検出手段は、前記撮像手段で撮像した前記複数の測定対象発光体に具えられた赤外線発光素子群の発光画像を解析することにより、該発光画像上における各測定対象物の各赤外線発光素子の発光像位置を検出し、前記演算手段は、前記検出手段で検出された各測定対象発光体の各赤外線発光素子の発光像位置に基づきそれら各測定対象発光体に具えられた各赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出することを特徴とする。
【0041】
また、請求項26の発明は、請求項22の発明において、前記撮像手段は、赤外線透過フィルタを有する赤外線感知撮像手段であることを特徴とする。
【0042】
また、請求項27の発明は、所定の間隔で配列された少なくとも3つの赤外線発光素子をそれぞれ有する少なくとも2組の赤外線発光素子群を具えた測定対象発光体と、所定の基準位置に配設され、前記少なくとも2組の各赤外線発光素子群の発光画像を撮像する撮像手段と、前記撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する検出手段とを具備することを特徴とする。
【0043】
また、請求項28の発明は、請求項27の発明において、前記検出手段は、前記発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置に基づき各組毎の発光像間間隔を求め、該求めた各組の発光像間間隔と前記所定の間隔とから前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出することを特徴とする。
【0044】
また、請求項29の発明は、請求項27の発明において、前記赤外線発光素子群は、各赤外線発光素子が前記測定対象発光体に一直線に配列して配置された2組の赤外線発光素子群からなり、前記2組の赤外線発光素子群の赤外線発光素子は互いに直交するように配列して前記測定対象発光体に配設されることを特徴とする。
【0045】
また、請求項30の発明は、請求項27の発明において、前記撮像手段は、赤外線透過フィルタを有する赤外線感知撮像手段であることを特徴とする。
【0046】
また、請求項31の発明は、測定対象物に具えられた所定の間隔で配列された少なくとも3つの赤外線発光素子を有する赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該発光画像に基づき前記測定対象物の前記基準位置に対する向きと距離を検出する位置検出装置で用いられる位置検出処理プログラムであって、前記撮像手段で撮像した発光画像を解析し、該発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置を算出する第1の算出ステップと、前記第1の算出ステップで算出された前記赤外線発光素子の発光像位置に基づき前記測定対象物の前記基準位置に対する向きと距離を算出する第2の算出ステップとを具える。
【0047】
また、請求項32の発明は、請求項31の発明において、前記撮像手段で撮像した互いに平行でない配置で用意された複数の前記測定対象物に具えられた赤外線発光素子群の発光画像を解析し、該発光画像上における各測定対象物の各赤外線発光素子の発光像位置を算出する第3の算出ステップと、前記第3の算出ステップで算出された各測定対象物の各赤外線発光素子の発光像位置に基づきそれら各測定対象物に具えられた各赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する第4の算出ステップとを更に具えることを特徴とする。
【0048】
また、請求項33の発明は、測定対象物に具えられた所定の間隔で配列された少なくとも3つの赤外線発光素子をそれぞれ含む少なくとも2組の赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該発光画像に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する位置検出装置の位置検出処理プログラムであって、前記撮像手段で撮像した発光画像を解析し、該発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置を算出する第1の算出ステップと、前記第1の算出ステップで算出された前記各赤外線発光素子の発光像位置に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を算出する第2の算出ステップとを具える。
【0049】
【発明の実施の形態】
以下、本発明に係る実施の形態について添付図面を参照して詳細に説明する。
【0050】
図1は、本発明を適用した位置検出システム100の概略外観構成を示す図である。
【0051】
尚、この位置検出システム100では、測定対象となる発光部1に一直線に配置した少なくとも3つ以上の赤外線発光ダイオード(11a,11b,11c)を発光し、この発光した状態の発光部1を撮像装置2により撮像し、該撮像により入力した画像データを解析して該測定対象となる発光部1の撮像装置2に対する傾きと距離を検出するものである。
【0052】
図1に示すように、この位置検出システム100は、発光部1と、撮像装置2と、位置検出装置3と、撮像画像表示部4とを具えて構成される。
【0053】
ここで、発光部1は、少なくとも3つ以上の複数の赤外線発光ダイオード11a,11b,11cを所定の間隔にて一直線に配置する。そして、これら複数の赤外線発光ダイオード11a,11b,11cの赤外線の発光を行うべく電流を流す図示しない簡単な電子回路を具える。
【0054】
尚、ここで、複数の赤外線発光ダイオードとして少なくとも3つ以上を具えるとした理由は、2つ以下だと発光部の向きを正確に特定できないからである。即ち、実世界における発光部の向きが異なる場合でも後述のCCD結像面に結像される像間の距離が同じケースがあるからである。
【0055】
撮像装置2は、例えばCCDを具えるピンホール撮影ビデオカメラなどの赤外線感知撮像装置であり、所定の基準位置にて後述の位置検出装置3に接続される。この撮像装置2に使用されている一般的なCCDは赤外線の波長に対しても反応するように構成されている。
【0056】
そのため、この撮像装置2で発光部1に具わる赤外線発光ダイオード11a,11b,11cを発光させた状態で撮影し、後述の撮像画像表示部4に表示すれば、人間の目では見ることのできない発光の様子を確認することができる。
【0057】
尚、本実施例では、処理を簡単にすべく、撮像装置2のCCD結像面の前面に赤外線のみを選択的に透過する光学フィルタを装着し、可視光を排除し赤外線だけから構成された画像を得るようにしている。このような光学フィルタは数百円程度で市販されている安価なものを利用して容易に構成することができる。
【0058】
こうして撮影すると、発光部1上の特定の位置だけが点灯した状態で背景などが一切ない画像を入手することができる。即ち、この画像を位置検出装置3に入力すると、対象と背景の分離や特徴点抽出などの煩雑な処理を一切行うことなく、該発光部1上の既知の場所(即ち、赤外線発光ダイオード)が画像上に現れる位置(発光点)を取得することができる。尚、この様子を図2に示す。
【0059】
位置検出装置3は、赤外線発光ダイオード(11a,11b,11c)が発光した状態の発光部1を撮像した画像を撮像装置2から取得する。そして、この取得した画像の解析処理を行って測定対象となる発光部1の撮像装置2に対する位置を検出する。
【0060】
具体的には、取得した画像に後述の所定閾値処理を施して画像上の当該赤外線発光素子(11a,11b,11c)の発光点像位置を検出する。次いで、予め設定されている実世界における赤外線発光ダイオード(11a、11b、11c)間の配置間隔値(距離値)に基づき、当該検出した発光点位置から該画像上での発光点間間隔(発光点間距離)を算出する。そして、この算出した発光像間間隔から発光部1の撮像装置2に対する傾き及び距離を算出する。
【0061】
尚、この位置検出装置3は、例えば、パーソナルコンピュータ(PC)等の汎用性のある計算機を用いる。
【0062】
撮像画像表示部4は、位置検出装置3に接続され、上述の撮像装置2の撮影により得た画像データに基づき、発光部1の赤外線発光ダイオード11a,11b,11cの発光の様子を目視により確認する為の映像が表示される。
【0063】
尚、この実施例では、利用者が発光部1の発光の様子を目視可能にする為に撮像画像表示部4を設けるように示したが、この構成要素は必須ではない。
【0064】
図3は、上記図1に示した位置検出システム100における測定対象となる発光部1と撮像装置2のCCD結像面21とを真上から見た様子を模式的に表した図である。
【0065】
図3において、測定対象となる発光部1の赤外線発光ダイオード11a、11b、11cは、撮像装置2のCCD結像面21上の21a,21b、21cにそれぞれ結像する。ここで、赤外線発光ダイオード11a、11b、11c間の距離が既知であるとすれば、測定対象となる発光部1の撮像装置2のCCD結像面21に対する傾きθは次の(式1)で求めることができる。
【0066】
tanθ=f(e−e')/(e'x0+ex1+L1') …(式1)
ただし、上記(式1)において、fはCCD結像面21からピンホール部分(焦点面)までの焦点距離、L1は発光部1上の赤外線発光ダイオード11a,11b間の現実世界での距離、L2は発光部1上の赤外線発光ダイオード11b,11c間の現実世界での距離、L1’はCCD結像面21上に結像した赤外線発光ダイオード11a,11bの像21a,21b間の距離(即ち、発光点像間距離)、L2’はCCD結像面21上に結像した赤外線発行ダイオード11b,11cの像21b,21c間の距離(即ち、発光点像間距離)、eはL1とL2の比、e’はL1’とL2’の比、x0はCCD結像面21上に結像した赤外線発光ダイオード11bの像21bと該CCD結像面21の光軸点となる画像中心との間の距離、x1はCCD結像面21上に結像した赤外線発光ダイオード11aの像21aと上記画像中心との間の距離である。
【0067】
また、撮像装置2のCCD結像面21との距離Dは次の(式2)で求めることができる。
【0068】
D=(fcosθ+x0sinθ)・(L2/L2')+f …(式2)
以上の方法により、測定対象となる発光部1の撮像装置2のCCD結像面21に対する傾きと距離を求めることができる。
【0069】
次に、上述の(式1)及び(式2)を用いて位置検出装置3が実際に測定対象となる発光部1の撮像装置2に対する傾きと距離を検出する場合の画像解析処理動作について説明する。
【0070】
上記図1に示した位置検出システム100の位置検出装置3を構成する汎用計算機では、図4に示す処理動作を行うソフトウェアが稼動している。
【0071】
図4において、位置検出装置3では、まず、赤外線発光ダイオード11a,11b,11cの発光を行っている発光部1を撮像した画像データを撮像装置2から取得する(ステップS101)。
【0072】
次いで、画像解析処理として、取得した画像データに基づき該画像を構成する全ての画素の値(例えば、RGBのR(レッド)部分の明度を示す値など)から事前に定められている閾値との大小関係を比較する(ステップS102)。即ち、発光点位置として特定する為の閾値との大小の比較が行われる。
【0073】
この比較の結果、上記閾値よりも値の大きい画素の位置を画像上の発光点位置として取り出す(ステップS103)。
【0074】
次いで、その取り出した各発光点の位置から画像上での発光点間の距離を算出する。即ち、CCD結像面上に結像される赤外線発光ダイオード(11a,11b,11c)の発光像間距離を算出する(ステップS104)。
【0075】
そして、この算出した画像上の発光点間距離の値と上述の(式1)を用いて測定対象となる発光部1の撮像装置2のCCD結像面21に対する傾きを算出する(ステップS105)。尚、傾きθは、(式1)で求められたtanθの逆関数をとることで求める。
【0076】
また、上記ステップS104で算出した画像上の発光点間距離の値及び上記ステップS105で算出した傾きθの値と、上記(式2)を用いて測定対象となる発光部1の撮像装置2のCCD結像面21に対する距離Dを算出する(ステップS106)。
【0077】
そして、画像解析による1回の位置検出処理を終了する。
【0078】
尚、上述の説明では、発光体1が所定の位置で停止している場合の位置検出処理を示しているが、これに限らず、発光体1が絶えず動きのある場合に適用して連続的な位置を検出しても良い。その場合、例えば、任意に可変設定可能な所定時間間隔毎に位置を検出する。
【0079】
次に、上述した実施例の応用例について説明する。即ち、図5に示すように、上記実施例に示した少なくとも3つ以上の赤外線発光ダイオードを一直線上に配置した発光部を2個用意し、これら2つの発光部の赤外線発光ダイオードの一直線の列が互いに直交するように組み合わせ、それら2つの発光部が設置される平面の撮像装置に対する向きと距離を検出する場合について説明する。
【0080】
尚、この場合の位置検出装置3における画像解析処理の流れを図6に示す。
【0081】
図6において、(ステップS201)〜(ステップS203)までの処理は上述の図4に示した(ステップS101)〜(ステップS103)までの処理と同様であるのでここでの説明を省略し、ステップS204以降の処理から説明する。
【0082】
そこで、この図5の処理では、ステップS203の処理の結果、2つの発光部に設置された6個の赤外線発光ダイオードに対応する画像上の発光点の位置が検出される。
【0083】
次いで、その検出した画像上の発光点の位置から同一直線上にある2組の点の集合に分離する。即ち、検出した発光点から2つの発光部を抽出する(ステップS204)。尚、同一直線上にある点の集合を求める方法としては、Hough変換が広く知られている。このHough変換は、画像上の特徴点を別のパラメータ空間で評価することで直線検出を行う手法である。
【0084】
そして、その抽出した各発光部毎に、上述の図4のステップS104乃至ステップS106の処理を行う。即ち、上述のステップS104乃至ステップS106で説明した方法で、該抽出した各発光部毎に画像上での発光点間の距離を算出する。即ち、CCD結像面上に結像される各発光部毎の赤外線発光ダイオードの発光像間距離を算出し(ステップS205)、各発光部毎の撮像装置2に対する傾き及び距離を算出する(ステップS206、ステップS207)。
【0085】
その後、そのようにして算出した各発光部毎の傾きの値からそれら各発光部が設置される平面の撮像装置2に対する傾きを算出する(ステップS208)。尚、この平面の傾きの算出は、直線分の傾きの組で表現しても良いし、それぞれの傾きからベクトル表現を計算し、その外積を計算することで得られる法線ベクトルで表現しても良いものとする。
【0086】
そして、画像解析による1回の位置検出処理を終了する。
【0087】
尚、上述の説明では、2つの発光体が所定の位置で停止している場合の位置検出処理を示しているが、これに限らず、それら2つの発光体1が設置される面が絶えず動きのある場合に適用して連続的な位置を検出しても良い。その場合、例えば、任意に可変設定可能な所定時間間隔毎に位置を検出する。
【0088】
また、上記図6の処理を行うにあたって、計算処理上好ましい例として、少なくとも3つ以上の赤外線発光ダイオードを一直線に配置した発光部を2つ用意し、互いに赤外線発光ダイオードの一直線の列が直交するように設置した場合を例に挙げているが、本発明は、これに限らず、上記赤外線発光ダイオードの一直線の列が平行でない配置であれば直交以外でも良い。
【0089】
また、その他、赤外線発光ダイオードの一部を共用可能な発光部[図7の(a)参照]を用意しても良いし、その他、少なくとも3つ以上の赤外線発光ダイオードが一直線に配置される赤外線発光ダイオードの列を互いに平行でない配置で2つ以上有する発光部を用意しても良い。尚、この場合も、計算処理上好ましい例としては、上記赤外線発光ダイオードの列が互いに直交するような配置にする[図7の(b)参照]。
【0090】
尚、ここで、上述の(式1)及び(式2)の導出過程について述べておく。
【0091】
まず、(式1)の導出過程について説明する。
L1”=z−x+yの関係式に、x=(h1+h2)tanβ…(1)、y=h2tanα…(2)、z=L1cosθ…(3)を代入し、
L1”=z−x+y=L1cosθ−(h1+h2)tanβ+h2tanαとする。
そして、ここに、h1+h2=L1+L2sinθ…(4)と、h2=L2sinθ…(5)を代入し、
L1”=L1(cosθ−sinθtanθ)−L2sinθ(tanβ−tanα)…(A)を求める。
また、L2”=L2cosθ−yの関係式に上記式(2)を代入し、
L2cosθ−h2tanαとする。そして、ここに、上記式(5)を代入し、
L2”=L2(cosθ−sinθtanα)…(B)を求める。
次に、e'=L1”/L2”の関係式に、上記求めた(A)及び(B)を代入し、
e'=[L1(cosθ-sinθtanθ)-L2sinθ(tanβ-tanα)]/L2(cosθ-sinθtanα)
ここで、L1=eL2…(6)を代入し、
e'=[e(cosθ-sinθtanθ)-sinθ(tanβ-tanα)]/(cosθ-sinθtanα)とする。
ここで、tanα=x0/f…(7)と、tanβ=x1/f…(8)を代入し、
e'=[e(fcosθ-xsinθ)-(x1-x0)sinθ]/(fcosθ-x0sinθ)とする。
これから、tanθ=f(e−e')/(ex1−e'x0+x1−x0)と展開し、
ここで、x1−x0=L1'…(9)を代入することにより、
上述の(式1)…tanθ=f(e−e')/(e'x0+ex1+L1')が導出される。
【0092】
次に、(式2)の導出過程について説明する。
まず、d/L2”=f/L2'の関係式から、d=f・L2"/L2'とする。
ここに、上記(B)と上記(7)を代入し、
d=f・L2/L2'・[{cosθ+(x0/f)sinθ}]
=(fcosθ+x0sinθ)L2/L2'…(C)とする。
そして、D=d+fの関係式にその(C)を代入すると、
上述の(式2)…D=(fcosθ+x0sinθ)・(L2/L2')+fが導出される。
【0093】
また、上記図1に示す位置検出装置3を汎用性のあるパーソナルコンピュータ(PC)で実現する場合の具体的なシステム構成の一例を図8及び図9に示しておく。ここで、図8は、上述の図4に示した画像解析処理動作を行う場合の位置検出装置3の一構成例を示し、図9は、上述の図6に示した画像解析処理動作を行う場合の位置検出装置3の一構成例を示している。
【0094】
図8及び図9において、位置検出装置3は、各種演算処理を行うCPU31と、この装置で利用される各種アプリケーション等のプログラムや各種データを記憶保持するハードディスク部32と、各種計算作業データを一時記憶する作業メモリ33と、撮像装置2から取得した撮像画像データの入力処理インタフェース機能を司る画像入力処理部34と、CD−ROM等の記憶媒体の記憶データの読取りアクセスを行う記憶媒体読取アクセス部35と、それら各構成要素部間で各種データの転送のやり取りを行う為のシステムバス36とを少なくとも有した構成となっている。
【0095】
そして、図8の例では、位置検出装置3が上述の図4に示す処理動作を行う為に、記憶媒体読取アクセス部35を介して予め図4に示す位置検出処理を行うのに必要なデータ(同図8の符号Aで示したデータ)を記憶した記憶媒体Bからそれら記憶されている各種データBをハードディスク32部にインストールして対応させている。
【0096】
また、図9の例では、位置検出装置3が上述の図6に示す処理動作を行う為に、記憶媒体読取アクセス部35を介して予め図6に示す位置検出処理を行うのに必要なデータ(同図9の符号で示したデータC)を記憶した記憶媒体Dからそれら記憶されている各種データCをハードディスク32部にインストールして対応させている。
【0097】
尚、この例では、図8及び図9にそれぞれ別々に上述の図4の処理を行う位置検出装置3と上述の図6の処理を行う位置検出装置3を示したが、もちろん図4及び図6に示す処理の両方を行うようにしても良い。即ち、両方の処理に必要なデータを記憶した記憶媒体を一つ用意し、その記憶媒体に記憶されたデータをハードディスク部32にインストールして対応させても良い。
【0098】
また、上記図8及び図9に示す例では、図4及び図6に示す処理を行うのに必要なデータを記憶した記憶媒体を用意して対応させるようにしているが、これに限らず、記憶媒体を用意せず、インターネット通信等を介して必要なプログラムや各種データを配信して位置検出装置にダウンロードさせても良い。
【0099】
更に、上記図8及び図9に示す例では、全てソフトウェアにて対応する例を示しているが、これとは別に、予め図4及び図6の処理を行う必要なデータを有し、それら図4及び図6の処理を専用に行う専用の拡張ボード等のハードウェアを用意して対応させても良い。
【0100】
尚、上述してきた実施例では、測定対象となる発光部1の撮像装置2に対する距離として図3に示す距離D、即ち、CCD結像面21から発光部1の手前の赤外線発光ダイオードのある位置の該CCD結像面に平行な平面までの距離を検出しているが、本発明は、更に、検出した発光点位置と光軸となる画像中心との位置関係から発光部1が光軸から左右にどれくらいずれた位置に存在するのかを求め、この求めた値と、その他に検出した発光部1の撮像装置2に対する傾きと距離の値とから該撮像装置2のCCD結像面上の光軸点から発光部1までの距離を求めるようにしても良い。
【0101】
最後に、上述してきた実施例により検出された測定対象の向き及び距離からなる位置情報を利用する形態について一例を挙げる。
【0102】
例えば、テレビ会議システム等に利用する。具体的には、上述の測定対象となる発光部をヘッドホン或いはヘッドマウントディスプレイ等の頭部装着機器に取り付け、それらを頭部に装着した人の頭部の撮像装置に対する向きと距離を検出する。そして、この検出した位置情報に応じてその人に向ける指向性の高いマイクの向きを調整することにより、会議等で喋っている人の音声を的確に拾うようにする。
【0103】
また、例えば、測定対象となる発光部の撮像装置に対する向きと距離を検出し、該発光部の動きに合わせて位置検出システムとは別に遠隔地等に設置された他の撮像装置等の向きと距離を制御するようなシステムにも適用可能である。
【0104】
即ち、本願発明による外光条件の変化に強く、処理の負荷が軽く安価な構成にて測定対象の位置を検出可能な位置検出システムは、上述のようなシステム等に低コストにて導入できるので幅広い利用が期待でき、汎用性の高いものである。
【0105】
【発明の効果】
上記に示したように、本発明によれば、外光条件の変化に強く、処理の負荷が軽く安価な構成にて測定対象の位置を検出可能となる。
【図面の簡単な説明】
【図1】本発明を適用した位置検出システムの概略外観構成を示す図。
【図2】発光部の赤外線発光ダイオードの発光の様子が表示画面上に表示されている状態を示す図。
【図3】図1に示した位置検出システムにおける測定対象となる発光部と撮像装置のCCD結像面とを真上から見た様子を模式的に表した図。
【図4】位置検出装置における画像解析の処理手順を示すフローチャート。
【図5】2つの発光部が用意された様子を示す図。
【図6】2つの発光部が設置される平面の撮像装置に対する空間内の位置と向きを検出する場合の位置検出装置における画像解析の処理手順を示すフローチャート。
【図7】発光部が設置される平面の撮像装置に対する空間内の位置と向きを検出する場合に用意される発光部の一構造例を示す図。
【図8】図1に示す位置検出装置を汎用性のあるパーソナルコンピュータ(PC)で実現する場合の具体的なシステム構成の一例を示す図。
【図9】図1に示す位置検出装置を汎用性のあるパーソナルコンピュータ(PC)で実現する場合の具体的なシステム構成の一例を示す図。
【符号の説明】
100…位置検出システム、1…発光部、2…撮像装置、3…位置検出装置、4…撮像画像表示部、11a,11b,11c…赤外線発光ダイオード、21…CCD結像面
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a position detection device that detects the position of a measurement target, and more particularly, to a position detection method and a position detection device that can detect the position of a measurement target easily, robustly to changes in external light conditions, and at low cost. The present invention relates to a detection system, a light-emitting body to be measured used for position detection, and a position detection processing program.
[0002]
[Prior art]
When measuring the position of an object using a computer, a method is used in which an input from a CCD is subjected to image processing to extract feature points, and a target position is estimated based on the position.
[0003]
However, an image composed of visible light includes an object and a background other than the detection target, and it takes time and effort to separate them appropriately.
[0004]
Further, the visible light image greatly varies depending on the lighting conditions, but if the lighting conditions are fixed, the environment in which the device can be used is limited.
[0005]
On the other hand, measurement using infrared rays does not cause a background problem as in the case of visible light. Also, there is no problem with the lighting conditions without the influence of external light. Conventionally, a measurement method using infrared rays that makes use of such advantages has been proposed.
[0006]
For example, there is a line-of-sight detection device using an infrared light emitting diode as a light source (see Patent Document 1). This makes it possible to accurately detect the direction of the eyeball. However, the realization of this measuring device requires a dedicated optical system and the like, and the device itself is expected to be expensive.
[0007]
There is also a method of detecting an object provided with an infrared light emitting device by photographing the object with a television camera and approaching the camera (see Patent Document 2). With this method, only rough information that the object has approached can be obtained.
[0008]
On the other hand, there is a method of performing position detection using a light emitting diode without using infrared rays (see Patent Document 3). In this method, a special blinking pattern is assigned to each of the light emitting diodes, and an image is taken using a special imaging device, and the configuration of the device is complicated.
[0009]
[Patent Document 1]
JP-A-5-245106.
[0010]
[Patent Document 2]
JP-A-6-94451.
[0011]
[Patent Document 3]
JP-A-2000-132306.
[0012]
[Problems to be solved by the invention]
By the way, techniques for estimating the position and distance of a target from visible light images by image processing are being actively studied in the field of computer vision, and the results are used for manipulator control in production sites and the like.
[0013]
However, in the conventional computer vision method, since a visible light image is used as a processing target, there are inconveniences such as a large amount of data, complicated processing, and susceptibility to changes in illumination conditions.
[0014]
On the other hand, the methods using infrared images in the prior arts of Patent Documents 1 to 3 described above require a dedicated optical system, so that the cost increases and detailed information such as a visible light image can be obtained. There are inconveniences such as not.
[0015]
Therefore, the present invention solves the above disadvantages, and is used for a position detection method and a position detection device, a position detection system, and a position detection system capable of easily detecting a position of a measurement target at a low cost and resistant to changes in external light conditions. The object of the present invention is to provide a measurement target illuminant and a position detection processing program.
[0016]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 includes an infrared light emitting element group having at least three infrared light emitting elements arranged at a predetermined interval on a measurement object, and emits light of the infrared light emitting element group. The image is taken by an image pickup device arranged at a predetermined reference position, and the light emission image taken by the image pickup device is analyzed, whereby the light emission image position of the at least three infrared light emitting elements on the light emission image is obtained. It is characterized in that an orientation and a distance of the measurement object with respect to the reference position are detected.
[0017]
Further, according to a second aspect of the present invention, in the first aspect of the present invention, an interval between the emission images is obtained based on an emission image position of the at least three infrared light emitting elements on the emission image. The direction and the distance of the measurement object with respect to the reference position are detected from the predetermined interval.
[0018]
According to a third aspect of the present invention, in the first aspect of the invention, the infrared light emitting elements of the infrared light emitting element group are arranged in a straight line on the object to be measured.
[0019]
According to a fourth aspect of the present invention, in the first aspect of the present invention, a plurality of the measurement objects are prepared in a non-parallel arrangement, and the imaging means emits light of the infrared light emitting element group included in the plurality of measurement objects. By capturing an image and analyzing the captured light emission image, each infrared light emitting element group included in each of the measurement objects based on the light emission image position of each infrared light emission element of each measurement object on the light emission image The orientation and the distance of the plane including the reference position with respect to the reference position are detected.
[0020]
According to a fifth aspect of the present invention, in the first aspect, the imaging means is an infrared sensing and imaging means having an infrared transmission filter.
[0021]
According to a sixth aspect of the present invention, at least two infrared light emitting element groups each including at least three infrared light emitting elements arranged at a predetermined interval are provided on the measurement object in a non-parallel arrangement. Each of the at least two sets on the luminescent image is captured by capturing the luminescent image of the set of infrared light emitting element groups by an imaging unit disposed at a predetermined reference position and analyzing the luminescent image captured by the imaging unit. An orientation and a distance of a surface of the object to be measured including the two infrared light emitting element groups with respect to the reference position are detected based on a light emission image position of the infrared light emitting element.
[0022]
According to a seventh aspect of the present invention, in the sixth aspect of the present invention, an interval between light emission images of each set is obtained based on a light emission image position of each of the at least two sets of infrared light emitting elements on the light emission image. The direction and the distance of the surface including the two sets of infrared light emitting element groups with respect to the reference position are detected from the interval between the emission images of each set and the predetermined interval.
[0023]
The invention of claim 8 is the invention according to claim 6, wherein the infrared light emitting element group comprises two infrared light emitting element groups in which each infrared light emitting element is arranged in a straight line on the object to be measured. The infrared light emitting elements of the two infrared light emitting element groups are arranged so as to be orthogonal to each other and disposed on the object to be measured.
[0024]
According to a ninth aspect of the present invention, in the sixth aspect, the imaging means is an infrared sensing and imaging means having an infrared transmission filter.
[0025]
According to a tenth aspect of the present invention, there is provided an image pickup means provided at a predetermined reference position with a light emission image of an infrared light emitting element group having at least three infrared light emitting elements arranged at a predetermined interval provided on a measurement object. A position detection device that detects the direction and distance of the measurement target object with respect to the reference position based on the luminescence image, and analyzes the luminescence image captured by the imaging unit, so that the Detecting means for detecting the light emitting image positions of the at least three infrared light emitting elements, and calculating the direction and distance of the object to be measured with respect to the reference position based on the light emitting image positions of the infrared light emitting elements detected by the detecting means And a calculating means.
[0026]
According to an eleventh aspect of the present invention, in the tenth aspect of the present invention, the calculating means obtains an interval between the light emission images based on the light emission image positions of the infrared light emitting elements detected by the detection means. A direction and a distance of the measurement target object with respect to the reference position are calculated from an inter-image interval and the predetermined interval.
[0027]
According to a twelfth aspect of the present invention, in the tenth aspect, each infrared light emitting element of the infrared light emitting element group is arranged in a straight line on the object to be measured.
[0028]
According to a thirteenth aspect of the present invention, in the tenth aspect of the present invention, a plurality of the measurement objects are prepared in a non-parallel arrangement, and the detection means is provided on the plurality of measurement objects imaged by the imaging means. By analyzing the emission image of the infrared light emitting element group, the position of the emission image of each infrared light emitting element of each object to be measured on the emission image is detected, and the calculation unit detects each measurement detected by the detection unit. The direction and distance of a surface including each infrared light emitting element group provided on each of the measurement objects with respect to the reference position are detected based on a light emission image position of each infrared light emitting element of the object.
[0029]
According to a fourteenth aspect, in the tenth aspect, the imaging means is an infrared sensing imaging means having an infrared transmission filter.
[0030]
According to a fifteenth aspect of the present invention, the light emission images of at least two infrared light emitting element groups each including at least three infrared light emitting elements arranged at a predetermined interval provided on the object to be measured are arranged at predetermined reference positions. A position detecting device that picks up an image with provided image pickup means and detects an orientation and a distance of a surface including the two sets of infrared light emitting elements of the object to be measured with respect to the reference position based on the light emission image; Detecting means for detecting a light-emitting image position of each of the at least two infrared light-emitting elements on the light-emitting image by analyzing the light-emitting image captured by the means; and detecting each of the infrared light-emitting elements detected by the detecting means. Calculating means for calculating a direction and a distance of a surface including the two sets of infrared light emitting element groups of the object to be measured with respect to the reference position based on a light emission image position. .
[0031]
In a sixteenth aspect based on the fifteenth aspect, the arithmetic means is configured to detect a light emission image of each set based on the light emission image positions of the at least two sets of infrared light emitting elements detected by the detection means. An interval is obtained, and a direction and a distance of a surface including the two sets of infrared light emitting element groups with respect to the reference position are calculated from the obtained interval between the emission images and the predetermined interval.
[0032]
According to a seventeenth aspect, in the fifteenth aspect, the infrared light emitting element group comprises two infrared light emitting element groups in which each infrared light emitting element is arranged in a straight line on the object to be measured. The infrared light emitting elements of the two infrared light emitting element groups are arranged so as to be orthogonal to each other and disposed on the object to be measured.
[0033]
The invention of claim 18 is the invention of claim 15, wherein the imaging means is an infrared sensing imaging means having an infrared transmission filter.
[0034]
Further, the invention of claim 19 is characterized in that the illuminant to be measured is imaged by an imaging means arranged at a predetermined reference position, and the image captured by the imaging means is analyzed, whereby the illuminant to be measured is measured. A light-emitting object to be measured used for position detection in a position detection system for detecting a direction and a distance with respect to a reference position, wherein the light-emitting body has an infrared light emitting element group in which at least three infrared light emitting elements are arranged at predetermined intervals. .
[0035]
According to a twentieth aspect of the present invention, in the nineteenth aspect, each infrared light emitting element of the infrared light emitting element group is arranged in a straight line.
[0036]
According to a twenty-first aspect of the present invention, in the nineteenth aspect, the infrared light emitting element group is composed of two sets of infrared light emitting elements in which each infrared light emitting element is arranged in a straight line. The infrared light emitting element groups are arranged so as to be orthogonal to each other.
[0037]
Further, according to the invention of claim 22, there is provided a light-emitting object to be measured comprising an infrared light-emitting element group having at least three infrared light-emitting elements arranged at a predetermined interval, and the infrared light-emitting element disposed at a predetermined reference position. An imaging unit that captures an emission image of the group; and analyzing the emission image captured by the imaging unit, the reference of the measurement illuminant based on the emission image positions of the at least three infrared light emitting elements on the emission image. It is characterized by comprising detecting means for detecting the direction and the distance to the position.
[0038]
According to a twenty-third aspect of the present invention, in the twenty-second aspect, the detecting means obtains an interval between the light-emitting images based on the light-emitting image positions of the at least three infrared light emitting elements on the captured image. The direction and the distance of the measurement object with respect to the reference position are detected from the interval between the emission images and the predetermined interval.
[0039]
According to a twenty-fourth aspect of the present invention, in the twenty-second aspect, each of the infrared light emitting elements of the infrared light emitting element group is arranged in a straight line on the light emitting body to be measured.
[0040]
According to a twenty-fifth aspect of the present invention, in the twenty-second aspect, a plurality of the luminous bodies to be measured are prepared in a non-parallel arrangement, and the detecting unit is configured to detect the plurality of luminous bodies to be measured by the imaging unit. By analyzing the light emission image of the provided infrared light emitting element group, the light emission image position of each infrared light emitting element of each measurement object on the light emission image is detected, and the arithmetic means is detected by the detection means. Based on the emission image position of each infrared light emitting element of each measurement target light emitting body, the direction and distance of the surface including each infrared light emitting element group provided in each measurement target light emitting body with respect to the reference position are detected. .
[0041]
According to a twenty-sixth aspect, in the twenty-second aspect, the imaging means is an infrared sensing imaging means having an infrared transmission filter.
[0042]
According to a twenty-seventh aspect of the present invention, there is provided a measurement target luminous body including at least two infrared light emitting element groups each having at least three infrared light emitting elements arranged at a predetermined interval, and disposed at a predetermined reference position. An imaging unit that captures a light emission image of each of the at least two sets of infrared light emitting elements, and analyzing the light emission image captured by the image pickup means to obtain a light emission image of the at least two sets of infrared light emission elements on the light emission image. A detection unit configured to detect a direction and a distance of a surface including the two sets of infrared light emitting elements of the measurement object with respect to the reference position based on a light emission image position.
[0043]
According to a twenty-eighth aspect of the present invention, in the twenty-seventh aspect of the present invention, the detecting means determines a distance between light emission images of each set based on a light emission image position of each of the at least two infrared light emitting elements on the light emission image. A direction and a distance of the surface including the two sets of infrared light emitting elements with respect to the reference position are detected from the obtained intervals between the emission images and the predetermined intervals.
[0044]
According to a twenty-ninth aspect of the present invention, in the invention of the twenty-seventh aspect, the infrared light emitting element group includes two infrared light emitting element groups in which each infrared light emitting element is arranged in a straight line on the measurement target light emitting body. The infrared light emitting elements of the two infrared light emitting element groups are arranged so as to be orthogonal to each other and are arranged on the light emitting body to be measured.
[0045]
The invention of claim 30 is characterized in that, in the invention of claim 27, the imaging means is an infrared sensing imaging means having an infrared transmission filter.
[0046]
The invention according to claim 31 is an imaging means in which a light emission image of an infrared light emitting element group having at least three infrared light emitting elements arranged at a predetermined interval provided on a measurement object is disposed at a predetermined reference position. A position detection processing program used in a position detection device that detects the direction and distance of the measurement target object with respect to the reference position based on the luminescence image, and analyzes the luminescence image captured by the imaging unit. A first calculating step of calculating a light emitting image position of the at least three infrared light emitting elements on the light emitting image; and the measurement object based on the light emitting image position of the infrared light emitting element calculated in the first calculating step A second calculation step of calculating an orientation and a distance with respect to the reference position.
[0047]
According to a thirty-second aspect of the present invention, in the thirty-first aspect of the present invention, the emission image of the infrared light emitting element group provided on the plurality of measurement objects prepared in a non-parallel arrangement and taken by the imaging means is analyzed. A third calculation step of calculating a light emission image position of each infrared light emitting element of each measurement object on the light emission image; and a light emission of each infrared light emission element of each measurement object calculated in the third calculation step The method further comprises a fourth calculation step of detecting a direction and a distance of a surface including each infrared light emitting element group provided on each of the measurement objects with respect to the reference position based on the image position.
[0048]
Further, according to the invention of claim 33, the luminous images of at least two infrared light emitting element groups each including at least three infrared light emitting elements arranged at a predetermined interval provided on the object to be measured are arranged at predetermined reference positions. A position detection program of a position detection device that detects an orientation and a distance of a surface including the two sets of infrared light emitting elements of the object to be measured with respect to the reference position based on the emission image. A first calculating step of analyzing a luminescent image captured by the imaging unit and calculating a luminescent image position of each of the at least two sets of infrared light emitting elements on the luminescent image; and a first calculating step. Calculating a direction and a distance of a surface including the two sets of infrared light emitting element groups of the measurement object with respect to the reference position based on the calculated light emission image position of each infrared light emitting element; Comprising the step of calculating.
[0049]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0050]
FIG. 1 is a diagram showing a schematic external configuration of a position detection system 100 to which the present invention is applied.
[0051]
In this position detection system 100, at least three or more infrared light emitting diodes (11a, 11b, 11c) arranged in a straight line with the light emitting unit 1 to be measured emit light, and the light emitting unit 1 in this light emitting state is imaged. An image is captured by the device 2, and image data input by the image capturing is analyzed to detect a tilt and a distance of the light emitting unit 1 to be measured with respect to the image capturing device 2.
[0052]
As shown in FIG. 1, the position detection system 100 includes a light emitting unit 1, an imaging device 2, a position detection device 3, and a captured image display unit 4.
[0053]
Here, the light emitting unit 1 arranges at least three or more infrared light emitting diodes 11a, 11b, 11c in a straight line at predetermined intervals. A simple electronic circuit (not shown) for supplying a current for emitting infrared rays from the plurality of infrared light emitting diodes 11a, 11b, 11c is provided.
[0054]
Here, the reason why at least three or more are provided as the plurality of infrared light emitting diodes is that if the number is two or less, the direction of the light emitting unit cannot be accurately specified. That is, even when the direction of the light emitting unit in the real world is different, the distance between images formed on a CCD image forming plane described later may be the same.
[0055]
The imaging device 2 is an infrared sensing imaging device such as a pinhole video camera having a CCD, and is connected to a position detection device 3 described later at a predetermined reference position. A general CCD used in the imaging device 2 is configured to respond to the wavelength of infrared rays.
[0056]
For this reason, if the image pickup device 2 shoots an image with the infrared light emitting diodes 11a, 11b, and 11c included in the light emitting unit 1 emitting light and displays the image on the image display unit 4 described later, the image cannot be seen by human eyes. The state of light emission can be confirmed.
[0057]
In this embodiment, in order to simplify the processing, an optical filter that selectively transmits only infrared light is mounted on the front surface of the CCD image forming surface of the image pickup device 2, and visible light is eliminated and only infrared light is used. I try to get an image. Such an optical filter can be easily configured by using an inexpensive filter commercially available for several hundred yen.
[0058]
When photographing is performed in this manner, an image without any background or the like can be obtained in a state where only a specific position on the light emitting unit 1 is turned on. That is, when this image is input to the position detection device 3, a known location on the light-emitting unit 1 (that is, an infrared light-emitting diode) is detected without performing any complicated processing such as separation of a target and a background or extraction of a feature point. The position (light emission point) appearing on the image can be acquired. This situation is shown in FIG.
[0059]
The position detection device 3 acquires, from the imaging device 2, an image of the light emitting unit 1 in a state where the infrared light emitting diodes (11a, 11b, 11c) emit light. Then, the obtained image is analyzed to detect the position of the light emitting unit 1 to be measured with respect to the imaging device 2.
[0060]
Specifically, the acquired image is subjected to a predetermined threshold process described later, and the light emitting point image position of the infrared light emitting element (11a, 11b, 11c) on the image is detected. Next, based on a preset arrangement interval value (distance value) between the infrared light emitting diodes (11a, 11b, 11c) in the real world, an interval between light emission points on the image (light emission) from the detected light emission point position. (Point-to-point distance). Then, the inclination and the distance of the light emitting unit 1 with respect to the imaging device 2 are calculated from the calculated interval between the light emission images.
[0061]
The position detecting device 3 uses a general-purpose computer such as a personal computer (PC).
[0062]
The captured image display unit 4 is connected to the position detection device 3 and visually confirms the light emission of the infrared light emitting diodes 11a, 11b, and 11c of the light emitting unit 1 based on the image data obtained by the above-described imaging device 2. Is displayed.
[0063]
In this embodiment, the captured image display unit 4 is provided to enable the user to visually check the light emission of the light emitting unit 1, but this component is not essential.
[0064]
FIG. 3 is a diagram schematically showing a state in which the light emitting unit 1 to be measured in the position detection system 100 shown in FIG. 1 and the CCD imaging plane 21 of the imaging device 2 are viewed from directly above.
[0065]
In FIG. 3, the infrared light emitting diodes 11a, 11b, and 11c of the light emitting unit 1 to be measured form images on 21a, 21b, and 21c on the CCD image forming surface 21 of the imaging device 2, respectively. Here, assuming that the distance between the infrared light emitting diodes 11a, 11b, and 11c is known, the inclination θ of the light emitting unit 1 to be measured with respect to the CCD imaging plane 21 of the imaging device 2 is expressed by the following (Equation 1). You can ask.
[0066]
tan θ = f (ee ′) / (e′x0 + ex1 + L1 ′) (formula 1)
Here, in the above (Equation 1), f is the focal length from the CCD imaging plane 21 to the pinhole portion (focal plane), L1 is the distance in the real world between the infrared light emitting diodes 11a and 11b on the light emitting unit 1, L2 is the distance in the real world between the infrared light emitting diodes 11b and 11c on the light emitting unit 1, and L1 'is the distance between the images 21a and 21b of the infrared light emitting diodes 11a and 11b imaged on the CCD imaging surface 21 (ie, , L2 ′ is the distance between the images 21b and 21c of the infrared emitting diodes 11b and 11c formed on the CCD imaging surface 21 (that is, the distance between the light emitting points), and e is L1 and L2. , E ′ is the ratio of L1 ′ to L2 ′, and x0 is the distance between the image 21b of the infrared light emitting diode 11b formed on the CCD imaging surface 21 and the image center serving as the optical axis point of the CCD imaging surface 21. The distance between x1 is the infrared ray imaged on the CCD image plane 21. Is the distance between the image 21a and the image center of the light emitting diode 11a.
[0067]
Further, the distance D between the imaging device 2 and the CCD imaging surface 21 can be obtained by the following (Equation 2).
[0068]
D = (fcos θ + x0 sin θ) · (L2 / L2 ′) + f (Equation 2)
By the above method, the inclination and the distance of the light emitting unit 1 to be measured with respect to the CCD imaging plane 21 of the imaging device 2 can be obtained.
[0069]
Next, an image analysis processing operation in the case where the position detection device 3 actually detects the inclination and the distance of the light-emitting unit 1 to be measured with respect to the imaging device 2 using the above (Equation 1) and (Equation 2) will be described. I do.
[0070]
In the general-purpose computer constituting the position detection device 3 of the position detection system 100 shown in FIG. 1, software for performing the processing operation shown in FIG. 4 is running.
[0071]
In FIG. 4, the position detection device 3 first obtains image data of the light emitting unit 1 emitting light from the infrared light emitting diodes 11a, 11b, 11c from the imaging device 2 (step S101).
[0072]
Next, as an image analysis process, a value determined in advance from a value of all pixels constituting the image based on the acquired image data (for example, a value indicating the brightness of the R (red) portion of RGB) and a threshold value determined in advance. The magnitude relation is compared (step S102). That is, a comparison with a threshold value for specifying the light emitting point position is performed.
[0073]
As a result of this comparison, the position of the pixel having a value larger than the threshold is extracted as the light emitting point position on the image (step S103).
[0074]
Next, the distance between the light-emitting points on the image is calculated from the position of each of the light-emitting points taken out. That is, the distance between the emission images of the infrared light emitting diodes (11a, 11b, 11c) formed on the CCD image formation plane is calculated (step S104).
[0075]
Then, using the calculated value of the distance between the light emitting points on the image and the above (Equation 1), the inclination of the light emitting unit 1 to be measured with respect to the CCD imaging plane 21 of the imaging device 2 is calculated (step S105). . Note that the slope θ is obtained by taking the inverse function of tan θ obtained by (Equation 1).
[0076]
Also, the value of the distance between the light emitting points on the image calculated in the above step S104 and the value of the inclination θ calculated in the above step S105, and the value of the imaging device 2 of the light emitting section 1 to be measured using the above (Equation 2) The distance D to the CCD imaging plane 21 is calculated (step S106).
[0077]
Then, one position detection process based on the image analysis ends.
[0078]
In the above description, the position detection processing in the case where the light emitting body 1 is stopped at a predetermined position is shown. However, the present invention is not limited to this, and is applied to the case where the light emitting body 1 is constantly moving. May be detected. In this case, for example, the position is detected at predetermined time intervals that can be variably set.
[0079]
Next, an application example of the above-described embodiment will be described. That is, as shown in FIG. 5, two light-emitting portions in which at least three or more infrared light-emitting diodes shown in the above embodiment are arranged on a straight line are prepared, and a straight line array of the infrared light-emitting diodes of these two light-emitting portions is provided. Will be described in which the directions and distances of the planes on which the two light emitting units are installed with respect to the imaging device are detected.
[0080]
FIG. 6 shows the flow of the image analysis process in the position detection device 3 in this case.
[0081]
In FIG. 6, the processes from (Step S201) to (Step S203) are the same as the processes from (Step S101) to (Step S103) shown in FIG. The process from S204 onward will be described.
[0082]
Therefore, in the process of FIG. 5, as a result of the process of step S203, the positions of the light emitting points on the image corresponding to the six infrared light emitting diodes installed in the two light emitting units are detected.
[0083]
Next, the detected image is separated into two sets of points on the same straight line from the position of the light emitting point on the image. That is, two light emitting units are extracted from the detected light emitting points (step S204). As a method of obtaining a set of points on the same straight line, Hough transform is widely known. The Hough transform is a method of detecting a straight line by evaluating a feature point on an image in another parameter space.
[0084]
Then, the above-described processing of steps S104 to S106 of FIG. 4 is performed for each of the extracted light emitting units. That is, the distance between the light emitting points on the image is calculated for each of the extracted light emitting units by the method described in steps S104 to S106 described above. That is, the distance between the light emitting images of the infrared light emitting diodes of each light emitting unit formed on the CCD image forming plane is calculated (step S205), and the inclination and the distance of each light emitting unit with respect to the imaging device 2 are calculated (step S205). S206, step S207).
[0085]
After that, the inclination of the plane on which each of the light emitting units is installed with respect to the imaging device 2 is calculated from the thus calculated inclination value of each light emitting unit (step S208). The calculation of the inclination of this plane may be expressed by a set of inclinations of straight lines, or by calculating a vector expression from each inclination and expressing a normal vector obtained by calculating an outer product thereof. Is also good.
[0086]
Then, one position detection process based on the image analysis ends.
[0087]
In the above description, the position detection processing when the two light emitters are stopped at a predetermined position is shown. However, the present invention is not limited to this, and the surface on which the two light emitters 1 are installed constantly moves. The present invention may be applied to the case where there is an error, and a continuous position may be detected. In this case, for example, the position is detected at predetermined time intervals that can be variably set.
[0088]
In performing the processing of FIG. 6, as a preferable example of the calculation processing, two light emitting units in which at least three or more infrared light emitting diodes are arranged in a straight line are prepared, and the straight lines of the infrared light emitting diodes are orthogonal to each other. Although the case where the infrared light emitting diodes are installed as described above is taken as an example, the present invention is not limited to this.
[0089]
In addition, a light emitting unit (see FIG. 7A) that can share a part of the infrared light emitting diode may be prepared, or an infrared light in which at least three or more infrared light emitting diodes are arranged in a straight line. A light-emitting unit having two or more rows of light-emitting diodes in a non-parallel arrangement may be prepared. Also in this case, as a preferable example in terms of calculation processing, the infrared light emitting diodes are arranged so as to be orthogonal to each other [see FIG. 7B].
[0090]
Here, the process of deriving the above-described (Equation 1) and (Equation 2) will be described.
[0091]
First, the derivation process of (Equation 1) will be described.
Substituting x = (h1 + h2) tanβ (1), y = h2tanα (2), z = L1cosθ (3) into the relational expression of L1 ″ = z−x + y,
L1 ″ = z−x + y = L1cosθ− (h1 + h2) tanβ + h2tanα.
Then, here, h1 + h2 = L1 + L2sinθ (4) and h2 = L2sinθ (5) are substituted,
L1 ″ = L1 (cos θ−sin θ tan θ) −L2 sin θ (tan β−tan α) (A) is obtained.
Further, the above equation (2) is substituted into the relational expression of L2 ″ = L2cos θ−y,
L2cosθ-h2tanα. Then, the above equation (5) is substituted here,
L2 ″ = L2 (cos θ−sin θ tan α) (B) is obtained.
Next, the above obtained (A) and (B) are substituted into the relational expression of e ′ = L1 ″ / L2 ″,
e '= [L1 (cosθ-sinθtanθ) -L2sinθ (tanβ-tanα)] / L2 (cosθ-sinθtanα)
Here, L1 = eL2 (6) is substituted,
e ′ = [e (cos θ−sin θ tan θ) −sin θ (tan β−tan α)] / (cos θ−sin θ tan α).
Here, tanα = x0 / f (7) and tanβ = x1 / f (8) are substituted,
e ′ = [e (fcosθ−xsinθ) − (x1−x0) sinθ] / (fcosθ−x0sinθ).
From this, it is developed as tan θ = f (ee ′) / (ex1−e′x0 + x1−x0),
Here, by substituting x1−x0 = L1 ′ (9),
The above (Equation 1)... Tan θ = f (ee ′) / (e′x0 + ex1 + L1 ′) is derived.
[0092]
Next, the derivation process of (Equation 2) will be described.
First, from the relational expression of d / L2 ″ = f / L2 ′, d = f · L2 ″ / L2 ′.
Here, the above (B) and the above (7) are substituted,
d = f · L2 / L2 '· [{cosθ + (x0 / f) sinθ}]
= (Fcos θ + x0 sin θ) L2 / L2 ′ (C).
Then, when (C) is substituted into the relational expression of D = d + f,
The above (Equation 2)... D = (fcos θ + x0 sin θ) · (L2 / L2 ′) + f is derived.
[0093]
FIGS. 8 and 9 show an example of a specific system configuration when the position detection device 3 shown in FIG. 1 is realized by a versatile personal computer (PC). Here, FIG. 8 shows an example of the configuration of the position detecting device 3 in the case of performing the above-described image analysis processing operation shown in FIG. 4, and FIG. 9 performs the above-described image analysis processing operation shown in FIG. 2 shows a configuration example of the position detection device 3 in the case.
[0094]
8 and 9, the position detection device 3 includes a CPU 31 that performs various arithmetic processing, a hard disk unit 32 that stores programs and various data of various applications and the like used in the device, and temporarily stores various calculation work data. A working memory 33 for storing the image data; an image input processing unit 34 for controlling an input processing interface function of captured image data acquired from the imaging device 2; and a storage medium read access unit for performing read access to storage data of a storage medium such as a CD-ROM. 35, and a system bus 36 for exchanging various data between these constituent elements.
[0095]
In the example of FIG. 8, data necessary for performing the position detection processing shown in FIG. 4 in advance via the storage medium reading access unit 35 in order for the position detection device 3 to perform the processing operation shown in FIG. Various data B stored from a storage medium B that stores (data indicated by reference numeral A in FIG. 8) are installed in the hard disk 32 and corresponded.
[0096]
In the example of FIG. 9, in order for the position detecting device 3 to perform the above-described processing operation illustrated in FIG. 6, data necessary for performing the position detecting process illustrated in FIG. Various data C stored in the storage medium D storing the data C indicated by the reference numerals in FIG. 9 are installed in the hard disk 32 and corresponded.
[0097]
In this example, the position detecting device 3 that performs the above-described processing of FIG. 4 and the position detecting device 3 that performs the above-described processing of FIG. 6 are separately shown in FIGS. 8 and 9. 6 may be performed. That is, one storage medium storing data necessary for both processes may be prepared, and the data stored in the storage medium may be installed in the hard disk unit 32 to correspond.
[0098]
In the examples shown in FIGS. 8 and 9, a storage medium storing data necessary for performing the processing shown in FIGS. 4 and 6 is prepared and corresponded. Without providing a storage medium, necessary programs and various data may be distributed via the Internet communication or the like and downloaded to the position detecting device.
[0099]
Furthermore, in the examples shown in FIGS. 8 and 9 above, all the examples corresponding to the software are shown. However, in addition to this, data necessary for performing the processing of FIGS. Alternatively, hardware such as a dedicated expansion board for performing the processes of FIG. 4 and FIG. 6 exclusively may be prepared and corresponded.
[0100]
In the embodiment described above, the distance D shown in FIG. 3 as the distance of the light emitting unit 1 to be measured from the image pickup device 2, that is, the position of the infrared light emitting diode in front of the light emitting unit 1 from the CCD imaging plane 21. Although the present invention further detects the distance to a plane parallel to the CCD image formation plane, the present invention further provides that the light emitting unit 1 moves from the optical axis based on the positional relationship between the detected light emitting point position and the image center which is the optical axis. The position on the left and right is determined, and the light on the CCD imaging surface of the imaging device 2 is calculated from the calculated value and the other detected values of the inclination and the distance of the light emitting unit 1 with respect to the imaging device 2. The distance from the axis point to the light emitting unit 1 may be obtained.
[0101]
Finally, an example will be given of an embodiment using the position information including the direction and the distance of the measurement target detected by the above-described embodiment.
[0102]
For example, it is used for a video conference system or the like. Specifically, the above-described light-emitting portion to be measured is attached to a head-mounted device such as a headphone or a head-mounted display, and the direction and distance of the head of a person wearing the head to the imaging device are detected. Then, by adjusting the direction of the microphone having high directivity toward the person in accordance with the detected position information, the voice of the person speaking at the conference or the like is accurately picked up.
[0103]
Further, for example, the direction and distance of the light emitting unit to be measured with respect to the imaging device are detected, and the orientation of another imaging device or the like installed in a remote place separately from the position detection system in accordance with the movement of the light emitting unit. The present invention is also applicable to a system for controlling a distance.
[0104]
In other words, the position detection system according to the present invention, which is resistant to changes in external light conditions, can detect the position of the object to be measured with a light processing load, and is inexpensive, can be introduced into the above-described systems at low cost. It can be expected to be widely used and is highly versatile.
[0105]
【The invention's effect】
As described above, according to the present invention, the position of the measurement target can be detected with a configuration that is resistant to changes in external light conditions, has a light processing load, and is inexpensive.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic external configuration of a position detection system to which the present invention is applied.
FIG. 2 is a diagram showing a state in which light emission of an infrared light emitting diode of a light emitting unit is displayed on a display screen.
FIG. 3 is a diagram schematically showing a light-emitting unit to be measured in the position detection system shown in FIG. 1 and a CCD image forming surface of an imaging device as viewed from directly above.
FIG. 4 is a flowchart showing a processing procedure of image analysis in the position detection device.
FIG. 5 is a diagram showing a state where two light emitting units are prepared.
FIG. 6 is a flowchart illustrating a processing procedure of image analysis in the position detection device when detecting a position and an orientation of a plane on which two light emitting units are installed with respect to the imaging device in space.
FIG. 7 is a diagram illustrating a structural example of a light emitting unit prepared when detecting a position and an orientation of a plane on which the light emitting unit is installed with respect to the imaging device in a space.
FIG. 8 is a diagram showing an example of a specific system configuration when the position detection device shown in FIG. 1 is realized by a versatile personal computer (PC).
FIG. 9 is a diagram showing an example of a specific system configuration when the position detecting device shown in FIG. 1 is realized by a versatile personal computer (PC).
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Position detection system, 1 ... Light-emitting part, 2 ... Imaging device, 3 ... Position detecting device, 4 ... Imaged image display part, 11a, 11b, 11c ... Infrared light emitting diode, 21 ... CCD imaging surface

Claims (33)

所定の間隔で配列された少なくとも3つの赤外線発光素子を有する赤外線発光素子群を測定対象物に具えるとともに、
前記赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、
該撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置に基づき前記測定対象物の前記基準位置に対する向きと距離を検出する
ことを特徴とする位置検出方法。
A measurement target includes an infrared light emitting element group having at least three infrared light emitting elements arranged at predetermined intervals,
An emission image of the infrared light emitting element group is captured by an imaging unit arranged at a predetermined reference position,
Analyzing the luminescence image captured by the imaging unit, detecting a direction and a distance of the measurement object with respect to the reference position based on the luminescence image positions of the at least three infrared light emitting elements on the luminescence image. Position detection method.
前記発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置に基づきそれら発光像間間隔を求め、該求めた発光像間間隔と前記所定の間隔とから前記測定対象物の前記基準位置に対する向きと距離を検出する
ことを特徴とする請求項1記載の位置検出方法。
An interval between the emission images of the at least three infrared light-emitting elements on the emission image is obtained, and an orientation of the measurement object with respect to the reference position is obtained from the obtained interval between the emission images and the predetermined interval. 2. The position detecting method according to claim 1, wherein the distance is detected.
前記赤外線発光素子群の各赤外線発光素子は、前記測定対象物に一直線に配列して配置される
ことを特徴とする請求項1記載の位置検出方法。
The position detecting method according to claim 1, wherein each infrared light emitting element of the infrared light emitting element group is arranged in a straight line on the object to be measured.
前記測定対象物を互いに平行でない配置で複数用意し、
前記撮像手段で前記複数の測定対象物に具えられた赤外線発光素子群の発光画像を撮像し、
該撮像した発光画像を解析することにより、該発光画像上における各測定対象物の各赤外線発光素子の発光像位置に基づきそれら各測定対象物に具えられた各赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する
ことを特徴とする請求項1記載の位置検出方法。
Prepare a plurality of the measurement object in a non-parallel arrangement,
The imaging unit captures a light emission image of the infrared light emitting element group included in the plurality of measurement objects,
By analyzing the captured light-emitting image, the surface of the surface including each infrared light-emitting element group provided in each of the measurement objects based on the light-emission image position of each infrared light-emitting element of each measurement object on the light-emission image 2. The position detecting method according to claim 1, wherein an orientation and a distance from the reference position are detected.
前記撮像手段は、
赤外線透過フィルタを有する赤外線感知撮像手段である
ことを特徴とする請求項1記載の位置検出方法。
The imaging means,
2. The position detecting method according to claim 1, wherein the detecting means is an infrared sensing and imaging means having an infrared transmitting filter.
所定の間隔で配列された少なくとも3つの赤外線発光素子をそれぞれ含む少なくとも2組の赤外線発光素子群を互いに平行でない配置で測定対象物に具えるとともに、
該少なくとも2組の赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、
該撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する
ことを特徴とする位置検出方法。
At least two infrared light emitting element groups each including at least three infrared light emitting elements arranged at predetermined intervals are provided on the measurement object in an arrangement not parallel to each other,
Imaging the emission images of the at least two infrared light emitting element groups by imaging means arranged at a predetermined reference position;
A surface including the two sets of infrared light emitting elements of the object to be measured based on a light emission image position of each of the at least two sets of infrared light emitting elements on the light emission image by analyzing the light emission image captured by the imaging unit. Detecting a direction and a distance from the reference position with respect to the reference position.
前記発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置に基づき各組毎の発光像間間隔を求め、該求めた各組の発光像間間隔と前記所定の間隔とから前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する
ことを特徴とする請求項6記載の位置検出方法。
The interval between the emission images of each set is obtained based on the emission image positions of the at least two sets of infrared light emitting elements on the emission image, and the distance between the emission images of each set and the predetermined interval is calculated. 7. The position detecting method according to claim 6, wherein a direction and a distance of a surface including the set of infrared light emitting element groups with respect to the reference position are detected.
前記赤外線発光素子群は、
各赤外線発光素子が前記測定対象物に一直線に配列して配置された2組の赤外線発光素子群からなり、
前記2組の赤外線発光素子群の赤外線発光素子は互いに直交するように配列して前記測定対象物に配設される
ことを特徴とする請求項6記載の位置検出方法。
The infrared light emitting element group,
Each infrared light emitting element is composed of two infrared light emitting element groups arranged in a straight line on the object to be measured,
7. The position detecting method according to claim 6, wherein the infrared light emitting elements of the two infrared light emitting element groups are arranged so as to be orthogonal to each other and disposed on the object to be measured.
前記撮像手段は、
赤外線透過フィルタを有する赤外線感知撮像手段である
ことを特徴とする請求項6記載の位置検出方法。
The imaging means,
7. The position detecting method according to claim 6, wherein the detecting means is an infrared sensing and imaging means having an infrared transmitting filter.
測定対象物に具えられた所定の間隔で配列された少なくとも3つの赤外線発光素子を有する赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該発光画像に基づき前記測定対象物の前記基準位置に対する向きと距離を検出する位置検出装置であって、
前記撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置を検出する検出手段と、
前記検出手段で検出された前記赤外線発光素子の発光像位置に基づき前記測定対象物の前記基準位置に対する向きと距離を演算する演算手段と
を具備することを特徴とする位置検出装置。
A light emission image of an infrared light emitting element group having at least three infrared light emitting elements arranged at a predetermined interval provided in the measurement object is captured by an imaging unit disposed at a predetermined reference position, and based on the light emission image A position detection device that detects an orientation and a distance of the measurement object with respect to the reference position,
Detecting means for detecting a light emission image position of the at least three infrared light emitting elements on the light emission image by analyzing the light emission image picked up by the image pickup means;
A position detection device comprising: a calculation unit configured to calculate a direction and a distance of the measurement object with respect to the reference position based on a light emission image position of the infrared light emitting element detected by the detection unit.
前記演算手段は、
前記検出手段で検出された各赤外線発光素子の発光像位置に基づきそれら発光像間間隔を求め、該求めた発光像間間隔と前記所定の間隔とから前記測定対象物の前記基準位置に対する向きと距離を演算する
ことを特徴とする請求項10記載の位置検出装置。
The calculating means includes:
The interval between the emission images is obtained based on the emission image position of each infrared light emitting element detected by the detection means, and the orientation of the measurement object with respect to the reference position from the obtained emission image interval and the predetermined interval. The position detecting device according to claim 10, wherein the distance is calculated.
前記赤外線発光素子群の各赤外線発光素子は、前記測定対象物に一直線に配列して配置される
ことを特徴とする請求項10記載の位置検出装置。
The position detecting device according to claim 10, wherein each infrared light emitting element of the infrared light emitting element group is arranged in a straight line on the measurement object.
前記測定対象物を互いに平行でない配置で複数用意し、
前記検出手段は、前記撮像手段で撮像した前記複数の測定対象物に具えられた赤外線発光素子群の発光画像を解析することにより、該発光画像上における各測定対象物の各赤外線発光素子の発光像位置を検出し、
前記演算手段は、前記検出手段で検出された各測定対象物の各赤外線発光素子の発光像位置に基づきそれら各測定対象物に具えられた各赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する
ことを特徴とする請求項10記載の位置検出装置。
Prepare a plurality of the measurement object in a non-parallel arrangement,
The detecting means analyzes light emission images of the infrared light emitting element group included in the plurality of measurement objects imaged by the imaging means, and emits light of each infrared light emitting element of each measurement object on the light emission image. Detect image position,
The calculation means is based on a light emission image position of each infrared light emitting element of each measurement object detected by the detection means, and an orientation of a surface including each infrared light emission element group provided in each measurement object with respect to the reference position. The position detecting device according to claim 10, wherein the distance is detected.
前記撮像手段は、
赤外線透過フィルタを有する赤外線感知撮像手段である
ことを特徴とする請求項10記載の位置検出装置。
The imaging means,
11. The position detecting device according to claim 10, wherein the position detecting device is an infrared sensing and imaging unit having an infrared transmitting filter.
測定対象物に具えられた所定の間隔で配列された少なくとも3つの赤外線発光素子をそれぞれ含む少なくとも2組の赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該発光画像に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する位置検出装置であって、
前記撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置を検出する検出手段と、
前記検出手段で検出された前記各赤外線発光素子の発光像位置に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を演算する演算手段と
を具備することを特徴とする位置検出装置。
Imaging an emission image of at least two infrared light emitting element groups each including at least three infrared light emitting elements arranged at a predetermined interval provided in the measurement object by an imaging means arranged at a predetermined reference position; A position detection device that detects an orientation and a distance of a surface including the two sets of infrared light emitting element groups of the measurement target object with respect to the reference position based on the emission image,
Detecting means for detecting a light emission image position of each of the at least two sets of infrared light emitting elements on the light emission image by analyzing the light emission image picked up by the image pickup means;
Calculating means for calculating an orientation and a distance of a surface including the two sets of infrared light emitting elements of the object to be measured with respect to the reference position based on a light emission image position of each infrared light emitting element detected by the detection means. A position detecting device.
前記演算手段は、
前記検出手段で検出された前記少なくとも2組の各赤外線発光素子の発光像位置に基づき各組毎の発光像間間隔を求め、該求めた各組の発光像間間隔と前記所定の間隔とから前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を演算する
ことを特徴とする請求項15記載の位置検出装置。
The calculating means includes:
The interval between the emission images of each set is obtained based on the emission image position of each of the at least two sets of infrared light emitting elements detected by the detection means, and the obtained interval between the emission images of each set and the predetermined interval are obtained. 16. The position detecting device according to claim 15, wherein an orientation and a distance of a surface including the two sets of infrared light emitting elements with respect to the reference position are calculated.
前記赤外線発光素子群は、
各赤外線発光素子が前記測定対象物に一直線に配列して配置された2組の赤外線発光素子群からなり、
前記2組の赤外線発光素子群の赤外線発光素子は互いに直交するように配列して前記測定対象物に配設される
ことを特徴とする請求項15記載の位置検出装置。
The infrared light emitting element group,
Each infrared light emitting element is composed of two infrared light emitting element groups arranged in a straight line on the object to be measured,
16. The position detecting device according to claim 15, wherein the infrared light emitting elements of the two infrared light emitting element groups are arranged to be orthogonal to each other and disposed on the object to be measured.
前記撮像手段は、
赤外線透過フィルタを有する赤外線感知撮像手段である
ことを特徴とする請求項15記載の位置検出装置。
The imaging means,
16. The position detecting device according to claim 15, wherein the position detecting device is an infrared sensing and imaging unit having an infrared transmitting filter.
測定対象発光体を所定の基準位置に配設された撮像手段で撮像し、該撮像手段で撮像した撮像画像を解析することにより、前記測定対象発光体の前記基準位置に対する向きと距離を検出する位置検出システムで位置検出に用いられる測定対象発光体であって、
少なくとも3つの赤外線発光素子を所定の間隔で配列した赤外線発光素子群を有する
ことを特徴とする位置検出に用いられる測定対象発光体。
The direction and distance of the luminous body to be measured with respect to the reference position are detected by taking an image of the luminous body to be measured with an imaging unit provided at a predetermined reference position and analyzing the image taken by the imaging unit. A luminous object to be measured used for position detection in a position detection system,
A measuring object luminous body used for position detection, comprising an infrared light emitting element group in which at least three infrared light emitting elements are arranged at predetermined intervals.
前記赤外線発光素子群の各赤外線発光素子は、一直線に配列して配置される
ことを特徴とする請求項19記載の位置検出に用いられる測定対象発光体。
20. The illuminant for measurement used in position detection according to claim 19, wherein the infrared luminous elements of the infrared luminous element group are arranged in a straight line.
前記赤外線発光素子群は、
各赤外線発光素子を一直線に配列して配置された2組の赤外線発光素子群からなり、
前記2組の赤外線発光素子群は互いに直交するように配列して配設される
ことを特徴とする請求項19記載の位置検出に用いられる測定対象発光体。
The infrared light emitting element group,
Each infrared light emitting element is composed of two sets of infrared light emitting elements arranged in a straight line,
20. The illuminant for measurement used in position detection according to claim 19, wherein the two sets of infrared light emitting elements are arranged so as to be orthogonal to each other.
所定の間隔で配列された少なくとも3つの赤外線発光素子を有する赤外線発光素子群を具えた測定対象発光体と、
所定の基準位置に配設され、前記赤外線発光素子群の発光画像を撮像する撮像手段と、
前記撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置に基づき前記測定発光体の前記基準位置に対する向きと距離を検出する検出手段と
を具備することを特徴とする位置検出システム。
A luminous object to be measured comprising an infrared light emitting element group having at least three infrared light emitting elements arranged at predetermined intervals,
An imaging unit that is disposed at a predetermined reference position and captures a light emission image of the infrared light emitting element group;
A detecting unit configured to analyze a luminescent image captured by the imaging unit to detect a direction and a distance of the measurement luminous body with respect to the reference position based on a luminescent image position of the at least three infrared light emitting elements on the luminescent image; A position detection system comprising:
前記検出手段は、
前記撮像画像上における前記少なくとも3つの赤外線発光素子の発光像位置に基づきそれら発光像間間隔を求め、該求めた発光像間間隔と前記所定の間隔とから前記測定対象物の前記基準位置に対する向きと距離を検出する
ことを特徴とする請求項22記載の位置検出システム。
The detecting means,
An interval between the emission images is obtained based on the emission image positions of the at least three infrared light emitting elements on the captured image, and the orientation of the measurement object with respect to the reference position is obtained from the obtained emission image interval and the predetermined interval. 23. The position detecting system according to claim 22, wherein the distance is detected.
前記赤外線発光素子群の各赤外線発光素子は、前記測定対象発光体に一直線に配列して配置される
ことを特徴とする請求項22記載の位置検出システム。
23. The position detecting system according to claim 22, wherein each of the infrared light emitting elements of the infrared light emitting element group is arranged in a straight line on the light emitting body to be measured.
前記測定対象発光体を互いに平行でない配置で複数用意し、
前記検出手段は、前記撮像手段で撮像した前記複数の測定対象発光体に具えられた赤外線発光素子群の発光画像を解析することにより、該発光画像上における各測定対象物の各赤外線発光素子の発光像位置を検出し、
前記演算手段は、前記検出手段で検出された各測定対象発光体の各赤外線発光素子の発光像位置に基づきそれら各測定対象発光体に具えられた各赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する
ことを特徴とする請求項22記載の位置検出システム。
Prepare a plurality of the luminous body to be measured in a non-parallel arrangement,
The detecting means analyzes the light emission image of the infrared light emitting element group included in the plurality of light emitting elements to be measured, which is imaged by the image pickup means, so that the infrared light emitting elements of each of the measuring objects on the light emitting image are analyzed. Detects the light emission image position,
The calculating means is based on a light emission image position of each infrared light emitting element of each measurement target light emitting element detected by the detection means, and the reference position of a surface including each infrared light emitting element group provided in each measurement target light emitting element 23. The position detection system according to claim 22, wherein an orientation and a distance with respect to are detected.
前記撮像手段は、
赤外線透過フィルタを有する赤外線感知撮像手段である
ことを特徴とする請求項22記載の位置検出システム。
The imaging means,
23. The position detection system according to claim 22, wherein the position detection system is an infrared sensing and imaging unit having an infrared transmission filter.
所定の間隔で配列された少なくとも3つの赤外線発光素子をそれぞれ有する少なくとも2組の赤外線発光素子群を具えた測定対象発光体と、
所定の基準位置に配設され、前記少なくとも2組の各赤外線発光素子群の発光画像を撮像する撮像手段と、
前記撮像手段で撮像した発光画像を解析することにより、該発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する検出手段と
を具備することを特徴とする位置検出システム。
A luminous object to be measured comprising at least two infrared light emitting element groups each having at least three infrared light emitting elements arranged at predetermined intervals,
Imaging means arranged at a predetermined reference position, for imaging a light emission image of each of the at least two infrared light emitting element groups;
A surface including the two sets of the infrared light emitting elements of the object to be measured based on a light emission image position of each of the at least two sets of the infrared light emitting elements on the light emission image by analyzing the light emission image captured by the imaging unit. And a detecting means for detecting a direction and a distance from the reference position with respect to the reference position.
前記検出手段は、
前記発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置に基づき各組毎の発光像間間隔を求め、該求めた各組の発光像間間隔と前記所定の間隔とから前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する
ことを特徴とする請求項27記載の位置検出システム。
The detecting means,
The interval between the emission images of each set is obtained based on the emission image positions of the at least two sets of infrared light emitting elements on the emission image, and the distance between the emission images of each set and the predetermined interval is calculated. 28. The position detection system according to claim 27, wherein an orientation and a distance of a surface including a set of infrared light emitting element groups with respect to the reference position are detected.
前記赤外線発光素子群は、
各赤外線発光素子が前記測定対象発光体に一直線に配列して配置された2組の赤外線発光素子群からなり、
前記2組の赤外線発光素子群の赤外線発光素子は互いに直交するように配列して前記測定対象発光体に配設される
ことを特徴とする請求項27記載の位置検出システム。
The infrared light emitting element group,
Each infrared light emitting element is composed of two infrared light emitting element groups arranged in a straight line on the light emitting body to be measured,
28. The position detection system according to claim 27, wherein the infrared light emitting elements of the two infrared light emitting element groups are arranged on the measurement target light emitting body so as to be orthogonal to each other.
前記撮像手段は、
赤外線透過フィルタを有する赤外線感知撮像手段である
ことを特徴とする請求項27記載の位置検出システム。
The imaging means,
28. The position detection system according to claim 27, wherein the position detection system is an infrared sensing and imaging unit having an infrared transmission filter.
測定対象物に具えられた所定の間隔で配列された少なくとも3つの赤外線発光素子を有する赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該発光画像に基づき前記測定対象物の前記基準位置に対する向きと距離を検出する位置検出装置で用いられる位置検出処理プログラムであって、
前記撮像手段で撮像した発光画像を解析し、該発光画像上における前記少なくとも3つの赤外線発光素子の発光像位置を算出する第1の算出ステップと、
前記第1の算出ステップで算出された前記赤外線発光素子の発光像位置に基づき前記測定対象物の前記基準位置に対する向きと距離を算出する第2の算出ステップと
を具える位置検出処理プログラム。
A light emission image of an infrared light emitting element group having at least three infrared light emitting elements arranged at a predetermined interval provided in the measurement object is captured by an imaging unit disposed at a predetermined reference position, and based on the light emission image A position detection processing program used in a position detection device that detects an orientation and a distance of the measurement object with respect to the reference position,
A first calculation step of analyzing a light emission image captured by the imaging means and calculating a light emission image position of the at least three infrared light emitting elements on the light emission image;
A second calculating step of calculating a direction and a distance of the object to be measured with respect to the reference position based on the emission image position of the infrared light emitting element calculated in the first calculating step.
前記撮像手段で撮像した互いに平行でない配置で用意された複数の前記測定対象物に具えられた赤外線発光素子群の発光画像を解析し、該発光画像上における各測定対象物の各赤外線発光素子の発光像位置を算出する第3の算出ステップと、
前記第3の算出ステップで算出された各測定対象物の各赤外線発光素子の発光像位置に基づきそれら各測定対象物に具えられた各赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する第4の算出ステップと
を更に具えることを特徴とする請求項31記載の位置検出処理プログラム。
Analyze the light emission images of the infrared light emitting element group provided in the plurality of measurement objects prepared in a non-parallel arrangement imaged by the imaging means, and on the light emission image of each infrared light emission element of each measurement object A third calculation step of calculating a light emission image position;
Based on the emission image position of each infrared light emitting element of each measurement object calculated in the third calculation step, the direction and distance of the surface including each infrared light emitting element group provided on each measurement object with respect to the reference position 34. The computer-readable storage medium according to claim 31, further comprising: a fourth calculating step of detecting the position.
測定対象物に具えられた所定の間隔で配列された少なくとも3つの赤外線発光素子をそれぞれ含む少なくとも2組の赤外線発光素子群の発光画像を所定の基準位置に配設された撮像手段で撮像し、該発光画像に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を検出する位置検出装置の位置検出処理プログラムであって、
前記撮像手段で撮像した発光画像を解析し、該発光画像上における前記少なくとも2組の各赤外線発光素子の発光像位置を算出する第1の算出ステップと、
前記第1の算出ステップで算出された前記各赤外線発光素子の発光像位置に基づき前記測定対象物の前記2組の赤外線発光素子群を含む面の前記基準位置に対する向きと距離を算出する第2の算出ステップと
を具える位置検出処理プログラム。
Imaging an emission image of at least two infrared light emitting element groups each including at least three infrared light emitting elements arranged at a predetermined interval provided in the measurement object by an imaging means arranged at a predetermined reference position; A position detection processing program of a position detection device that detects an orientation and a distance of a surface including the two sets of infrared light emitting element groups of the measurement target object with respect to the reference position based on the emission image,
A first calculation step of analyzing a light emission image captured by the imaging means and calculating a light emission image position of each of the at least two sets of infrared light emitting elements on the light emission image;
Calculating a direction and a distance of a surface including the two infrared light emitting element groups of the object to be measured with respect to the reference position based on a light emission image position of each infrared light emitting element calculated in the first calculating step; A position detection processing program comprising:
JP2002363797A 2002-12-16 2002-12-16 Method, device, and system for detecting position, light emitting body used for position detection, and position detection processing program Pending JP2004198131A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002363797A JP2004198131A (en) 2002-12-16 2002-12-16 Method, device, and system for detecting position, light emitting body used for position detection, and position detection processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002363797A JP2004198131A (en) 2002-12-16 2002-12-16 Method, device, and system for detecting position, light emitting body used for position detection, and position detection processing program

Publications (1)

Publication Number Publication Date
JP2004198131A true JP2004198131A (en) 2004-07-15

Family

ID=32761848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002363797A Pending JP2004198131A (en) 2002-12-16 2002-12-16 Method, device, and system for detecting position, light emitting body used for position detection, and position detection processing program

Country Status (1)

Country Link
JP (1) JP2004198131A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186856A (en) * 2010-03-09 2011-09-22 Nec Corp Mobile terminal to be used with head mounted display as external display device
CN111427452A (en) * 2020-03-27 2020-07-17 海信视像科技股份有限公司 Controller tracking method and VR system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186856A (en) * 2010-03-09 2011-09-22 Nec Corp Mobile terminal to be used with head mounted display as external display device
CN111427452A (en) * 2020-03-27 2020-07-17 海信视像科技股份有限公司 Controller tracking method and VR system
CN111427452B (en) * 2020-03-27 2023-10-20 海信视像科技股份有限公司 Tracking method of controller and VR system

Similar Documents

Publication Publication Date Title
CN107944422B (en) Three-dimensional camera device, three-dimensional camera method and face recognition method
JP5808502B2 (en) Image generation device
JP4791595B2 (en) Image photographing apparatus, image photographing method, and image photographing program
US20160350975A1 (en) Information processing apparatus, information processing method, and storage medium
JP6732522B2 (en) Image processing apparatus, image processing method and program
US11580720B2 (en) Information processing device and recognition support method
JP2015056057A (en) Method of estimating posture and robot
JP2018518750A (en) Enhancement of depth map representation by reflection map representation
JP5407742B2 (en) Shape recognition method and shape recognition device
JP2007293627A (en) Periphery monitoring device for vehicle, vehicle, periphery monitoring method for vehicle and periphery monitoring program for vehicle
JPWO2014174779A1 (en) Motion sensor device having a plurality of light sources
TW201415415A (en) Target object detection device, method for detecting target object, and program
KR101601475B1 (en) Pedestrian detection device and method for driving vehicle at night
JPWO2004094943A1 (en) Motion capture method, motion capture device, and motion capture marker
JP2008035301A (en) Mobile body tracing apparatus
KR20140120282A (en) Optical detection of bending motions of a flexible display
TWI521410B (en) Apparatus and method for acquiring object image of a pointer
KR100269116B1 (en) Apparatus and method for tracking 3-dimensional position of moving abject
JP2004198131A (en) Method, device, and system for detecting position, light emitting body used for position detection, and position detection processing program
CN112926367A (en) Living body detection equipment and method
JP2010286995A (en) Image processing system for vehicle
JP5120627B2 (en) Image processing apparatus and image processing program
JP2007200364A (en) Stereo calibration apparatus and stereo image monitoring apparatus using the same
JP2006227739A (en) Image processing device and image processing method
JP3994954B2 (en) Object detection apparatus and object detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080325