JP2007004439A - 光学タグ管理装置および光学タグ管理方法 - Google Patents
光学タグ管理装置および光学タグ管理方法 Download PDFInfo
- Publication number
- JP2007004439A JP2007004439A JP2005183322A JP2005183322A JP2007004439A JP 2007004439 A JP2007004439 A JP 2007004439A JP 2005183322 A JP2005183322 A JP 2005183322A JP 2005183322 A JP2005183322 A JP 2005183322A JP 2007004439 A JP2007004439 A JP 2007004439A
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- visible
- tag
- optical tag
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】 赤外映像と可視映像の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行う。
【解決手段】 赤外カメラ2は、対象物5に付帯され、赤外線を発信する光学タグ6を撮像する。可視カメラ3は、光学タグ6を含む対象物5を撮像する。情報処理装置4は、赤外カメラ2からの赤外映像から光学タグ6の赤外光の発光位置を抽出し、可視カメラ3により撮像した可視映像上にマーカを表示する。調整段階においては、手動もしくは光学タグから発せられる可視光に従って、可視映像上の実際の位置と赤外映像から得られた位置とのずれに応じて補正パラメータを生成する。以後、該補正パラメータを用いて、画面上のタグ位置に表示されるべきマーカ位置を正しく一致させて表示させる。
【選択図】 図1
【解決手段】 赤外カメラ2は、対象物5に付帯され、赤外線を発信する光学タグ6を撮像する。可視カメラ3は、光学タグ6を含む対象物5を撮像する。情報処理装置4は、赤外カメラ2からの赤外映像から光学タグ6の赤外光の発光位置を抽出し、可視カメラ3により撮像した可視映像上にマーカを表示する。調整段階においては、手動もしくは光学タグから発せられる可視光に従って、可視映像上の実際の位置と赤外映像から得られた位置とのずれに応じて補正パラメータを生成する。以後、該補正パラメータを用いて、画面上のタグ位置に表示されるべきマーカ位置を正しく一致させて表示させる。
【選択図】 図1
Description
本発明は、光学タグ管理装置および光学タグ管理方法に関する。
従来より、対象物の位置情報を赤外光を利用して発信する光学タグと、赤外カメラとを用いて、当該赤外カメラで対象物を撮影することにより光学タグを検出し、映像上の光学タグの位置にクリッカブルなマーカを表示することで、光学タグが設けられた対象物とその位置とが関連づけられた映像情報を提供するシステムが提案されている(例えば特許文献1参照)。
該システムでは、映像を見ている者に対して、遠隔からその静止または動いている実映像上のマーカをクリックすることにより、リアルタイムで対象物に関する情報を提示することができる。該システムにおいては、位置情報を検出するための赤外光を撮像する赤外カメラと、可視映像を撮像する可視カメラとを有するカメラシステムを利用している。すなわち、可視カメラでは、可視映像を撮像し、該撮像した可視映像上の、赤外カメラで撮像して検出した光学タグの位置にマーカを表示するようになっている。
特開2004−192623号公報
とろこで、上述したシステムでは、赤外カメラで捉えた光学タグの位置情報に従って、可視カメラで撮像した映像上の光学タグの位置に正確にマーカを表示することが重要である。そこで、赤外カメラで捉えたタグの位置情報を、なんらかの方法で、映像上のタグの位置に正確にマーカ表示する必要がある。
従来技術では、それぞれのカメラの被写体の位置情報が、正確に可視映像上の当該被写体の位置に対応するように事前に、どのように補正を行うかについてパラメータ設定等が必要がある。現状では、映像を目視で確認しながら、マーカの位置がタグの位置に合うように、対応付けに関連するパラメータを手動で調整している。このような調整は、専門的なスキルを有するばかりではなく、例え専門的なスキルを有していても、その調整には長時間(例えば20〜30分など)を要する。
また、カメラで撮影する状況に応じては、調整が困難な場合や、調整ができたとしても、1人ではできず、2人以上の作業人員を要する場合がある。このように手動調整では、1人で調整を行わざるを得ない状況下や、可視映像上で対角線上の隅の位置にタグを設置することができない場合などには、調整が困難であり、また、その対応付けのための関係式のパラメータ確定のための方法は時間を要するという問題があった。
また、従来技術では、赤外カメラと可視カメラとが別体である(分離型カメラ)場合には、奥行き方向への光学タグの移動に対して、対応付けがうまく行えないという問題があった。例えば、赤外カメラと可視カメラとが近接して設置されており、分離型カメラから十分に距離をとった位置に被写体となる対象物が存在する場合には、どちらのカメラからも映像中の中央に対象物が撮影されるが、その対象物が可視カメラに十分近傍に近づいた状態では、赤外カメラからみると、その被写体が可視カメラ側に寄って撮影される。
したがって分離型カメラでは、カメラから被写体までの、ある距離における調整を行ったとしても、その対象物と2つのカメラの距離それぞれが同じであるような場合には問題ないが、その距離が変わると、カメラパラメータが変化してしまい、やはりマーカの位置が実体の光学タグの位置とずれてしまうという問題があった。
本発明は、このような事情を考慮してなされたものであり、その目的は、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ(赤外、映像)の座標系の対応点を関連づける補正式に基づいて、光学タグの位置の正確な対応付けを行うことができる光学タグ管理装置および光学タグ管理方法を提供することにある。
上述した課題を解決するために、本発明は、対象物に付帯され、赤外光を発する赤外発光部を有する光学タグと、前記光学タグの赤外発光部が発する赤外光を撮像する赤外撮像手段と、前記光学タグを含む対象物を撮像する可視撮像手段と、前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出するタグ赤外位置検出手段と、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれを複数用いて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出する演算手段と、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する対応位置確定手段とを具備することを特徴とする光学タグ管理装置である。
また本発明は、対象物に付帯され、赤外光を発する赤外発光部を有する光学タグと、前記光学タグの赤外発光部が発する赤外光を撮像する複数の赤外撮像手段と、前記光学タグを含む対象物を撮像する可視撮像手段と、前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出するタグ赤外位置検出手段と、前記タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出する演算手段と、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する対応位置確定手段とを具備することを特徴とする光学タグ管理装置である。
また本発明は、上述の光学タグ管理装置において、前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする。
また本発明は、上述の光学タグ管理装置が、前記対応位置確定手段により確定された対応位置に基づいて、前記可視撮像手段により撮像された可視映像内にマーカを表示させるマーカ表示手段を具備することを特徴とする。
また本発明は、上述の光学タグ管理装置が、前記マーカ表示手段により表示されているマーカが指定されると、該マーカに対応する対象物に関する関連情報を提示する関連情報提示手段を具備することを特徴とする。
また本発明は、赤外光を発する赤外発光部を有する光学タグが、対象物に付帯され、赤外撮像手段が前記光学タグの赤外発光部が発する赤外光を撮像し、可視撮像手段が前記光学タグを含む対象物を撮像し、タグ赤外位置検出手段が、前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出し、演算手段が、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれを複数用いて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、対応位置確定手段が、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定することを特徴とする光学タグ管理方法である。
また本発明は、赤外光を発する赤外発光部を有する光学タグが、対象物に付帯され、複数の赤外撮像手段それぞれが、前記光学タグの赤外発光部が発する赤外光を撮像し、可視撮像手段が、前記光学タグを含む対象物を撮像し、タグ赤外位置検出手段が、前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出し、演算手段が、前記タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、対応位置確定手段が、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定することを特徴とする光学タグ管理方法である。
また本発明は、上述の光学タグ管理方法において、前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする。
この発明によれば、赤外撮像手段により、前記光学タグの赤外発光部が発する赤外光を撮像し、可視撮像手段により、前記光学タグを含む対象物を撮像し、タグ赤外位置検出手段により、前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出し、演算手段により、光学タグが存在する赤外発光位置と可視映像内の前記光学タグの可視位置とのずれに基づいて補正パラメータを算出し、対応位置確定手段により、補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する。したがって、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ(赤外、映像)の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができるという利点が得られる。
また、本発明によれば、複数の赤外撮像手段それぞれが、前記光学タグの赤外発光部が発する赤外光を撮像し、可視撮像手段が、前記光学タグを含む対象物を撮像し、タグ赤外位置検出手段が、前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出し、演算手段が、タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、対応位置確定手段が、演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する。したがって、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ(赤外、映像)の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができるという利点が得られる。
また、本発明によれば、前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする。これにより、可視映像上の光学タグの可視位置の指定を受けなくとも、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ(赤外、映像)の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができるという利点が得られる。
また、本発明によれば、マーカ表示手段により、前記対応位置確定手段により確定された対応位置に基づいて、前記可視撮像手段により撮像された可視映像内にマーカを表示させる。したがって、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ(赤外、映像)の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができ、正確な位置にマーカを表示させることができるという利点が得られる。
また、本発明によれば、前記マーカ表示手段により表示されているマーカが指定されると、関連情報提示手段により、該マーカに対応する対象物に関する関連情報を提示する。したがって、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ(赤外、映像)の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができ、マーカに対応する対象物の関連情報を容易に提示することができるという利点が得られる。
以下、本発明の一実施形態による光学タグ管理装置を、図面を参照して説明する。
A.第1実施形態
A−1.1つの赤外カメラおよび可視カメラによる構成
図1は、本発明の第1実施形態による光学タグ管理装置を示すブロック図である。図において、本第1実施形態による光学タグ管理装置1は、赤外カメラ2と可視カメラ3とを備えている。赤外カメラ2は、対象物5に付帯された光学タグ6を撮像する。この光学タグ6は赤外線を発信する。可視カメラ3は、光学タグ6を含む対象物5を撮像する。情報処理装置4は、光学タグ6の赤外光の発光位置を、赤外カメラ2で撮像された映像より抽出し、可視カメラ3により撮像された映像上にマーカを表示する。マーカの位置が、可視映像上の光学タグ6の位置(実際の位置)と異なる位置に表示されている場合には、後述する調整を行うことにより、映像上のタグ位置に表示されるべきマーカ位置を正しく一致させて表示させるようにする。
A.第1実施形態
A−1.1つの赤外カメラおよび可視カメラによる構成
図1は、本発明の第1実施形態による光学タグ管理装置を示すブロック図である。図において、本第1実施形態による光学タグ管理装置1は、赤外カメラ2と可視カメラ3とを備えている。赤外カメラ2は、対象物5に付帯された光学タグ6を撮像する。この光学タグ6は赤外線を発信する。可視カメラ3は、光学タグ6を含む対象物5を撮像する。情報処理装置4は、光学タグ6の赤外光の発光位置を、赤外カメラ2で撮像された映像より抽出し、可視カメラ3により撮像された映像上にマーカを表示する。マーカの位置が、可視映像上の光学タグ6の位置(実際の位置)と異なる位置に表示されている場合には、後述する調整を行うことにより、映像上のタグ位置に表示されるべきマーカ位置を正しく一致させて表示させるようにする。
次に、図2は、本第1実施形態による光学タグ6および情報処理装置4の構成を示すブロック図である。図において、光学タグ6には2種類ある。光学タグ6−1は、赤外光を発光するための赤外光発光部7を1つのみ備えている。光学タグ6−2は、赤外光発光部7に加え、可視光を発光する可視光発光部8を備えている。情報処理装置4は、赤外映像受信部4−1、タグ赤外発光位置検出部4−2、可視映像受信部4−3、タグ可視発光位置検出部4−4、データ処理部4−5、アプリケーション部4−6を備えている。
赤外映像受信部4−1は、上述した赤外カメラ2により撮像された赤外映像を受信する。タグ赤外発光位置検出部4−2は、上記赤外映像受信部4−1により受信された赤外映像から光学タグ6−1(または6−2)の位置を検出する。可視映像受信部4−3は、上述した可視カメラ3により撮像された可視映像を受信する。タグ可視発光位置検出部4−4は、可視映像受信部4−3により受信された可視映像から、可視光発光部8を備えた光学タグ6−2の位置を検出する。
データ処理部4−5は、補正パラメータ確定部4−5−1と対応位置確定部4−5−2とを有する。補正パラメータ確定部4−5−1は、タグ赤外発光位置検出部4−2により検出されたタグ位置と該タグ位置を示すマーカとの表示位置との差異(一致させるための調整量)に従って、マーカの表示位置を補正するための補正パラメータを算出して確定する。対応位置確定部4−5−2は、赤外カメラ2で撮像した赤外映像上のタグ位置と上記補正パラメータとを用いて、可視カメラ3で撮像した可視映像上のタグ位置と赤外カメラ2で撮像したタグ位置との対応位置を算出して確定し、該対応位置をアプリケーション部4−6へ出力する。
アプリケーション部4−6は、対応位置確定部4−5−2で確定された対応位置に従って、可視カメラ3で撮像された可視映像内に光学タグ6−1(または6−2)の位置を示すマーカを表示させる。また、アプリケーション部4−6は、画面上のマーカをクリックされると、該マーカに対応する対象物に関する関連情報を提示する。
次に、図3は、上述したタグ赤外発光位置検出部4−2の構成を示すブロック図である。タグ赤外発光位置検出部4−2は、画像入力部4−2−1、演算処理回路4−2−2、メモリ4−2−3、結果出力部4−2−4を備えている。画像入力部4−2−1は、上記赤外映像受信部4−1により受信された赤外映像を入力する。演算処理回路4−2−2は、画像入力部4−2−1に入力された赤外映像に従って画像処理、演算処理等を実施し、光学タグ6−1(または6−2)の位置を検出する。メモリ4−2−3は、赤外映像や上記演算処理回路4−2−2の演算結果等を記憶する。結果出力部4−2−4は、演算処理回路4−2−2による演算結果、すなわち赤外映像から得られた光学タグ6−1(または6−2)の位置を出力する。
次に、図4は、上述したタグ可視発光位置検出部4−4の構成を示すブロック図である。タグ可視発光位置検出部4−4は、画像入力部4−4−1、演算処理回路4−4−2、メモリ4−4−3、結果出力部4−4−4を備えている。画像入力部4−4−1は、上記可視映像受信部4−3により受信された可視映像を入力する。演算処理回路4−4−2は、画像入力部4−4−1に入力された可視映像に従って画像処理、演算処理等を実施し、可視光発光部8を備えた光学タグ6−2の位置を検出する。メモリ4−4−3は、可視映像や上記演算処理回路4−4−2の演算結果等を記憶する。結果出力部4−4−4は、演算処理回路4−4−2による演算結果、すなわち可視映像から得られた光学タグ6−2の位置を出力する。
以下、赤外カメラ2で撮像した光学タグ6の位置と可視カメラ3で撮像した映像上の光学タグ6の位置との対応点検出方法として、2つの方法を示す。なお、対応点の検出方法については、各カメラ画像について、ハフ変換を利用し、検出された直線の組み合わせからなる交点を利用してもよい。
A−2.簡易型手動調整
まず、簡易型手動調整方法について説明する。この場合、光学タグ6は、赤外光発光部7のみを備えたものを利用し(光学タグ6−1)、図5(a)に示すように、赤外カメラ2により撮像された赤外映像(光学タグ6−1)と可視カメラ3により撮像された可視映像(対象物が映った通常の映像)とを用いて、光学タグ6−1の位置を示すマーカの位置を調整する。
まず、簡易型手動調整方法について説明する。この場合、光学タグ6は、赤外光発光部7のみを備えたものを利用し(光学タグ6−1)、図5(a)に示すように、赤外カメラ2により撮像された赤外映像(光学タグ6−1)と可視カメラ3により撮像された可視映像(対象物が映った通常の映像)とを用いて、光学タグ6−1の位置を示すマーカの位置を調整する。
(1)光学タグ6−1が1つである場合には、まず、第1の対応付けを行う。図5(b)に示すように、赤外映像からタグ赤外発光位置検出部4−2が赤外光の発光位置を検出し、これによりアプリケーション部4−6の処理により画面上のマーカMが座標(a,b)に表示されるが、実際の光学タグ6−1(対象物)は座標(a’,b’)の位置であるとする。そこで、マウスや、タッチペン等を利用することにより、実際の光学タグ6−1(対象物)の位置を情報処理装置4の備えた画面(例えばタッチパネルの画面)上において指示する。この実際の位置を指定された情報処理装置4がその実際の座標を受付ける。
次に、第2の対応付けを行う。光学タグ6−1(対象物)を移動させ、これによりタグ赤外発光位置検出部4−2やアプリケーション部の処理により画面上のマーカMが座標(c,d)(≠(a,b))の位置に表示されているものとする。マーカMが(c,d)の座標に表示されているが、実際の光学タグ6−1(対象物)の画面上の位置は座標(c’,d’)の位置であるとする。第1の対応付けと同様に、マウスやタッチペン等を利用することにより、実際の光学タグ6−1(対象物)の位置を指示する。この実際の位置を指定された情報処理装置4がその座標を受付ける。
(2)次に、光学タグ6−1が2つある場合には、調整時に、まず、一方についての対応付けを行い、次に、残りの光学タグ6−1の位置について対応付けを行うようにする。すなわち、1つ目のマーカMが座標(a,b)に表示されているが、実際の光学タグ6−1(対象物)は座標(a’,b’)の位置であるとする。そこで、マウスや、タッチペン等を利用することにより、映像上の実際の光学タグ6−1(対象物)の位置を指示する。
次に、第2の対応付けを行う。残りの光学タグ6−1のマーカMが座標(c,d)(≠(a,b))の位置に表示されているものとする。マーカMが座標(c,d)に表示されているが、実際の光学タグ6−1(対象物)の画面上の位置は座標(c’,d’)の位置であるとする。第1の対応付けと同様に、マウスやタッチペン等を利用することにより、実際の光学タグ6−1(対象物)の位置を指示する。
(3)光学タグ6−1が複数である場合には、調整時に、まず、1つ目の光学タグ6−1についての対応付けを行い、次に残りの光学タグ6−1の位置について対応付けを行うようにする。すなわち、1つ目のマーカMが座標(a,b)に表示されているが、実際の光学タグ6−1は座標(a’,b’)の位置であるとする。そこで、マウスや、タッチペン等を利用することにより、実際の光学タグ6−1(対象物)の位置を指示する。
次に、2つ目の光学タグ6−1について対応付けを行う。残りの光学タグ6−1のマーカMの位置座標が、(c,d)(≠(a,b))の位置に表示されているものとする。マーカMが座標(c,d)に表示されているが、実際の光学タグ6−1(対象物)の映像上の位置は座標(c’,d’)の位置であるとする。第1の対応付けと同様に、マウスやタッチペン等を利用することにより、実際の光学タグ6−1(対象物)の位置を指示する。また3つ目以降の光学タグ6−1も同様に位置を特定する。
上述したように、簡易型手動調整では、情報処理装置4が、2点の対応付け、(a,b)→(a’,b’)、(c,d)→(c’,d’)の位置を受付け、この情報により、次式に従って、補正パラメータr、R(θ)、bを確定し(後述)、この補正パラメータを利用して調整を行う(後述)。
次に、補正パラメータr、R(θ)、bの確定手順について説明する。ここで、図6は、第1実施形態における簡易型手動調整での補正パラメータr、R(θ)、bの確定手順を説明するためのフローチャートである。まず、可視カメラ3で撮像した可視映像C0上および赤外カメラ2で撮像した赤外映像C1上の光学タグ6−1の位置情報を検出する(Sa1)。ここで、図8は、赤外映像と可視映像との対応付けを説明するための概念図である。赤外映像上には、赤外カメラ2で撮像された光学タグ6−1が座標p(x,y)に位置し、可視映像上には、可視カメラ3で撮像された光学タグ6−1が座標q(x,y)に位置している。次に、補正パラメータを決定するために必要な数の光学タグの位置を抽出したか否かを判定し(Sa2)、必要な数の光学タグの位置を抽出していない場合には、ステップSa1に戻り、位置情報の検出を繰り返す。そして、補正パラメータを決定するために必要な数の光学タグの位置を抽出した場合には、上記数式(1)の連立方程式を用いて、補正パラメータr、R(θ)、bを算出する(Sa3)。なお、補正パラメータR(θ)<Rは2次元回転行列>は、赤外映像の垂直・水平方向を、可視映像の垂直・水平方向と一致させる回転角度をθとした場合の、その回転を行う回転行列を示すパラメータである。また補正パラメータr(rはスカラー)は、赤外映像を可視映像に対応させるために全体の大きさをr倍に伸縮を行う一様伸縮に関するパラメータを示す。つまり赤外カメラ2と可視カメラ3が撮像したそれぞれの映像のズームの大きさが異なる場合に、赤外映像のズームの大きさを可視映像のズームの大きさに合わせる場合の、ズーム比を示す。赤外映像と可視映像の大きさが等しければr=1となる。また補正パラメータbは赤外映像の中心を可視映像の中心に合わせる際の移動分の距離を示す、位置ベクトルに関するパラメータである。
次に、補正パラメータr、R(θ)、bを用いた調整手順について説明する。ここで、図7は、第1実施形態における補正パラメータを用いた調整手順を説明するためのフローチャートである。まず、赤外カメラ2で撮像した赤外映像C1上の光学タグ6−1の位置情報を抽出し(Sb1)、抽出された位置情報と上記補正パラメータr、R(θ)、bとを用いて、可視カメラ3で撮像した可視映像C0上の対応位置を算出し(Sb2)、対応位置をアプリケーション部4−6等へ出力する(Sb3)。つまり、新たな座標(a,b)を数式(1)へ代入して、(a´,b´)を算出し、これを補正後の位置の情報として出力する。
この結果、図5(c)に示すように、画面上のマーカMの位置と、可視カメラ3で撮像された映像上の光学タグ6−1(対象物)の位置とが対応付けられることになる。すなわち、赤外カメラ2で撮像された赤外映像から得られる光学タグ6−1の位置を、補正パラメータに従って補正することで、光学タグ6−1の位置を示すマーカMを、可視カメラ3で撮像された可視映像上の光学タグ6−1の位置に一致させることが可能となる。
A−3.可視光を利用した自動調整
次に、光学タグ6−2からの可視光を利用した自動調整方法について説明する。この場合、赤外発光型の光学タグ6−1に対して、前述した図2に示すように、可視光を発光する可視光発光部8を備える光学タグ6−2を利用する。可視光は、調整時に点滅するように設定されており、例えば画像の輝度などにより、可視映像上で光学タグ6−2の位置が検出できようになっている。
次に、光学タグ6−2からの可視光を利用した自動調整方法について説明する。この場合、赤外発光型の光学タグ6−1に対して、前述した図2に示すように、可視光を発光する可視光発光部8を備える光学タグ6−2を利用する。可視光は、調整時に点滅するように設定されており、例えば画像の輝度などにより、可視映像上で光学タグ6−2の位置が検出できようになっている。
(1)光学タグ6−2が1つである場合には、まず、第1の対応付けを行う。図5(b)に示すように、画面上のマーカMが座標(a,b)に表示されているが、実際の光学タグ6−2は座標(a’,b’)の位置であるとする。調整のため、光学タグ6−2の可視光発光部8からの可視光を点滅させると、可視カメラ3により撮像されるフレーム画像内の位置を、情報処理装置4のタグ可視発光位置検出部4−4が検出し、その検出した座標(a’,b’)を実際の光学タグ6−2の位置と特定する。
次に、第2の対応付けを行う。光学タグ6−2を移動させたとき、画面上のマーカMが座標(c,d)(≠(a,b))の位置に表示されているものとする。マーカMが座標(c,d)に表示されているが、実際の光学タグ6−2の画面上の位置は座標(c’,d’)の位置であるとする。再び、調整のため、光学タグ6−2の可視光発光部8からの可視光を点滅させると、可視カメラ3により撮像されるフレーム画像内の位置を、情報処理装置4のタグ可視発光位置検出部4−4が検出し、その検出した座標(c’,d’)を実際の光学タグ6−2の位置と特定する。
(2)光学タグ6−2が2つである場合には、調整時に、まず、(1)の処理と同様に可視光の点滅の位置を検出して、一方についての対応付けを行い、次に、残りの光学タグ6−2の位置について対応付けを行うようにする。すなわち、1つ目のマーカMが座標(a,b)に表示されているが、実際の光学タグ6−2は座標(a’,b’)の位置であるとする。
次に、第2の対応付けを行う。残りの光学タグ6−2のマーカMの位置座標が座標(c,d(≠(a,b))の位置に表示されているものとする。マーカMが座標(c,d)に表示されているが、実際の光学タグ6−2の画面上の位置は座標(c’,d’)の位置であるとする。そして(1)の処理と同様に可視光の点滅の位置を検出して、その検出した座標(c’,d’)を実際の光学タグ6−2の位置と特定する。
(3)光学タグ6−2が複数である場合には、調整時に、まず、1つについての対応付けを行い、次に残りの光学タグ6−2の位置について対応付けを行うようにする。つまり(1)の処理と同様に可視光の点滅の位置を検出して、その検出した座標(a’,b’)を実際の光学タグ6−2の位置と特定する。
次に、2つ目の対応付けを行う。残りの光学タグ6−2についても同様に、可視光の点滅の位置を検出して、その検出した座標(c’,d’)を実際の光学タグ6−2の位置と特定する。また3つ目以降の光学タグ6−2も同様に位置を特定する。
上述したように、可視光を利用した自動調整方法での2点の対応付け、(a,b)→(a’,b’)、(c,d)→(c’,d’)、より、複数の補正前と補正後の座標の対応関係を検出して、上述した数式(1)の連立方程式により、補正パラメータr、R(θ)、bを確定し、この補正パラメータを利用して調整を行う。補正パラメータr、R(θ)、bの確定手順、補正パラメータを利用した調整手順については前述した通りである。
この結果、図5(c)に示すように、画面上のマーカMの位置と、可視カメラ3で撮像された映像上の光学タグ6−2(対象物)の位置とが対応付けられることになる。すなわち、赤外カメラ2で撮像された赤外映像から得られる光学タグ6−2の位置を、補正パラメータに従って補正することで、光学タグ6−2の位置を示すマーカMを、可視カメラ3で撮像された可視映像上の光学タグ6−2の位置に一致させることが可能となる。
A−4.その他
光学タグ6−2の可視光発光部(例えば可視LED)8を利用した映像中の位置検出においては、他の方法として、特定可能な目印を利用する方法によっても実現可能である。例えば、白い紙の中央に黒い「●」記号等を記し、その上にタグを付した調整用の用紙を用いることで、映像上の光学タグ6−2の位置の検出時に、容易な画像認識処理(「●」記号の認識)で実施することも可能である。その場合、例えば、映像中からは、黒い部分を有する白紙の部分画像を検出し、その黒い部分の中央を映像上のタグの位置として検出する。そして、光学タグ6−2の赤外光発光部7との対応付けを行うことにより、補正式を導出してもよい。
光学タグ6−2の可視光発光部(例えば可視LED)8を利用した映像中の位置検出においては、他の方法として、特定可能な目印を利用する方法によっても実現可能である。例えば、白い紙の中央に黒い「●」記号等を記し、その上にタグを付した調整用の用紙を用いることで、映像上の光学タグ6−2の位置の検出時に、容易な画像認識処理(「●」記号の認識)で実施することも可能である。その場合、例えば、映像中からは、黒い部分を有する白紙の部分画像を検出し、その黒い部分の中央を映像上のタグの位置として検出する。そして、光学タグ6−2の赤外光発光部7との対応付けを行うことにより、補正式を導出してもよい。
B.第2実施形態
次に、本発明の第2実施形態について説明する。
B−1.2つの赤外カメラおよび可視カメラによる構成
上述した第1実施形態では、1つの赤外カメラ2と1つの可視カメラ3の組み合わせであったが、この場合、調整時の光学タグ6と各カメラ(赤外カメラ2、可視カメラ3)間それぞれの距離が一定であれば、光学タグ6のマーカ表示位置を正確に推定することが可能である。しかしながら、タグ位置とカメラ(赤外カメラ2、可視カメラ3)それぞれの距離が変化すると、調整パラメータが異なることにより、正確な値を算出することができない。特に、カメラ(赤外カメラ2、可視カメラ3)側に光学タグ6が近づく際のずれは、離れる場合よりも大きくなる。
次に、本発明の第2実施形態について説明する。
B−1.2つの赤外カメラおよび可視カメラによる構成
上述した第1実施形態では、1つの赤外カメラ2と1つの可視カメラ3の組み合わせであったが、この場合、調整時の光学タグ6と各カメラ(赤外カメラ2、可視カメラ3)間それぞれの距離が一定であれば、光学タグ6のマーカ表示位置を正確に推定することが可能である。しかしながら、タグ位置とカメラ(赤外カメラ2、可視カメラ3)それぞれの距離が変化すると、調整パラメータが異なることにより、正確な値を算出することができない。特に、カメラ(赤外カメラ2、可視カメラ3)側に光学タグ6が近づく際のずれは、離れる場合よりも大きくなる。
そこで、本第2実施形態では、光学タグ6の奥行き方向の変化に対しても対応可能な調整を実現するために、2つの赤外カメラと1つの可視カメラの組み合わせにより、各カメラと光学タグ6のそれぞれの奥行き方向の距離変化に応じて補正パラメータが異なることによる、ずれの問題を回避することができる。
図9は、本発明の第2実施形態による光学タグ管理装置を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。図において、本第2実施形態による光学タグ管理装置1は、2つの赤外カメラ2−1、2−2と1つの可視カメラ3とを備えている。赤外カメラ2−1、2−2は、所定の間隔を空けて設けられており、対象物5に付帯され、赤外線を発信する光学タグ6を撮像する。可視カメラ3は、光学タグ6を含む対象物を撮像する。情報処理装置4は、光学タグ6の赤外光の発光位置を、2つの赤外カメラ2−1、2−2の赤外映像から抽出し、可視カメラ3により撮像した映像上にマーカを表示する。可視映像上のマーカの位置が、映像上の光学タグ6の位置と異なる位置に表示されている場合には、後述する調整を行うことにより、映像上のタグ位置に表示されるべきマーカ位置を正しく一致させて表示させるようにする。
ここで、図11は、2つの赤外カメラ2−1と2−2で撮像された、光学タグ6の座標を示す概念図である。例えば、赤外カメラ2−1で撮影された赤外映像上には、光学タグ6が座標p(xl,y)に位置し、赤外カメラ2−2で撮像された赤外映像上には、光学タグ6が座標p(xr,y)に位置する。このように、赤外カメラ2−1、2−2のそれぞれで撮像された光学タグ6は、異なる座標上に位置することになる。この座標のずれは、光学タグ6の奥行き方向(Z軸方向)に移動(変化)に応じて変化することになる。本第2実施形態では、光学タグ6の位置を、上記座標のずれから、図12に示すように、奥行き方向の成分を持つ、座標p(x,y,z)で表す。ゆえに、該座標のずれから光学タグ6の奥行き方向の変動にも対応することが可能となる。
以下、赤外カメラ2−1、2−2で撮像した光学タグ6の位置と可視カメラ3で撮像した映像上の光学タグ6の位置との対応点検出方法として、2つの方法を示す。なお、対応点の検出方法については、各カメラ画像について、ハフ変換を利用し、検出された直線の組み合わせからなる交点を利用してもよい。
B−2.簡易型手動調整
まず、簡易型手動調整方法について説明する。ここで、可視カメラ3によって撮像された可視映像をC0、2つの赤外カメラ2−1、2−2によって撮像された赤外映像をそれぞれC1、C2とする。C0、C1、C2間で光学タグ6の対応点pn0、pn1、pn2とする。
まず、簡易型手動調整方法について説明する。ここで、可視カメラ3によって撮像された可視映像をC0、2つの赤外カメラ2−1、2−2によって撮像された赤外映像をそれぞれC1、C2とする。C0、C1、C2間で光学タグ6の対応点pn0、pn1、pn2とする。
(1)光学タグ6が1つである場合には、まず、第1の対応付けを行う。光学タグ6の位置が赤外カメラ2−1、2−2の赤外映像C1、C2上ではp11、p12の座標に検出されている。そこで、マウスや、タッチペン等を利用することにより、可視映像C0上の実際の光学タグ6の位置p10を入力する。この実際の位置を指定された情報処理装置4がその座標を受付ける。
次に、第2の対応付けを行う。光学タグ6を移動させたとき、マーカが2つの赤外カメラ2−1、2−2の赤外映像C1、C2上でp21、p22の位置に表示されているものとする。そこで、マウスや、タッチペン等を利用することにより、可視映像C0上の実際のタグの位置p20を入力する。この実際の位置を指定された情報処理装置4がその座標を受付ける。
上述した手順を、7点以上の対応点(線形解放の場合には8点以上)について繰り返す。
上述した手順を、7点以上の対応点(線形解放の場合には8点以上)について繰り返す。
(2)光学タグ6が複数ある場合には、上記操作について、1つの光学タグ6の移動により検出すべき対応点の代わりとしてもよい。このとき、可視カメラ3の可視映像C0と赤外カメラ2−1の赤外映像C1の組み合わせ、及び、可視カメラ3の可視映像C0と赤外カメラ2−2の赤外映像C2の組み合わせ、のそれぞれによりFを基礎行列とした基礎方程式が2つ導出される。
上記数式(2)、(3)により、F1、F2を確定することができる(後述)。これら数式(2)、(3)式より、赤外カメラ2−1,2−1の赤外映像C1、C2から、光学タグ6の位置がp1、p2の座標に検出されると、このF1、F2を用いて、
の2式より、前述した図7に示すフローチャートに従って、映像上の対応点としてpを確定することができる。
次に、上述した補正パラメータ行列Fの確定手順について説明する。ここで、図10は、本第2実施形態における簡易型手動調整での補正パラメータ行列Fの確定手順を説明するためのフローチャートである。まず、可視カメラ3で撮像した可視映像上C0および赤外カメラ2−1、2−2で撮像した赤外映像上C1、C2のタグの位置情報を検出する(Sc1)。ここで、図12は、赤外カメラ2−1、2−2による赤外映像と可視映像との対応付けを説明するための概念図である。赤外映像上には、赤外カメラ2−1、2−2で撮像された光学タグ6の座標ずれを加味した座標p(x,y,z)に位置し、可視映像上には、可視カメラ3で撮像された光学タグ6が座標q(x,y)に位置している。次に、補正パラメータ行列を決定するために必要な数の光学タグの位置を抽出したか否かを判定し(Sc2)、必要な数の光学タグ位置を抽出していない場合には、ステップSc1に戻り、位置情報の検出を繰り返す。そして、補正パラメータ行列を決定するために必要な数の光学タグの位置を抽出した場合には、上記数式(4)、(5)に従って、補正パラメータ行列Fを算出する(Sc3)。
この結果、前述した第1実施形態と同様、図5(c)に示すように、画面上のマーカMの位置と、可視カメラ3で撮像された映像上の光学タグ6−1(対象物)の位置とが対応付けられることになる。すなわち、赤外カメラ2で撮像された赤外映像から得られる光学タグ6−1の位置を、補正パラメータに従って補正することで、光学タグ6−1の位置を示すマーカMを、可視カメラ3で撮像された可視映像上の光学タグ6−1の位置に一致させることが可能となる。
B−3.可視光を利用した自動調整
次に、光学タグ6−2からの可視光を利用した自動調整方法について説明する。この場合、赤外発光型の光学タグ6−1に対して、図2に示すように、可視光を発光する可視光発光部8を備える光学タグ6−2を利用する。可視光は、調整時に点滅するように設定されており、可視映像上で光学タグ6−2の位置が検出できようになっている。なお、可視光は、点滅に限らず、発光点がわかるように発光されればよい。
次に、光学タグ6−2からの可視光を利用した自動調整方法について説明する。この場合、赤外発光型の光学タグ6−1に対して、図2に示すように、可視光を発光する可視光発光部8を備える光学タグ6−2を利用する。可視光は、調整時に点滅するように設定されており、可視映像上で光学タグ6−2の位置が検出できようになっている。なお、可視光は、点滅に限らず、発光点がわかるように発光されればよい。
(1)光学タグ6−2が1つである場合には、まず、第1の対応付けを行う。画面上のマーカMが座標(a,b)に表示されているが、実際の光学タグ6−2は座標(a’,b’)の位置であるとする。調整のため、光学タグ6−2の可視光発光部8からの可視光を点滅させると、可視カメラ3により撮像されるフレーム画像内の位置を、その前後フレームの輝度などの差分より、変化している点として抽出する。抽出された点を座標(a’,b’)とし、実際の光学タグ6−2の位置とする。
次に、第2の対応付けを行う。光学タグ6−2を移動させたとき、画面上のマーカMが(c,d)(≠(a,b))の位置に表示されているものとする。マーカMが座標(c,d)に表示されているが、実際のタグの映像上の位置は座標(c’,d’)の位置であるとする。再び、調整のため、光学タグ6−2の可視光発光部8からの可視光を点滅させると、可視カメラ3により撮像されるフレーム画像内の位置を、その前後フレームの差分より、変化している点として抽出する。抽出された点を座標(c’,d’)とし、実際の光学タグ6−2の位置とする。
そして、必要な対応点の数だけ繰り返し、可視映像上の光学タグ6−2の位置情報と、対応する赤外映像上の光学タグ6−2の位置情報とを検出し、7つ以上の対応点(線形解放の場合には8つ以上)についてこの操作を行う。
(2)光学タグ6−2が複数(7つ以上の対応点(線形解放の場合には8つ以上))である場合には、調整パラメータの確定時に、まず、1つについての対応付けを行い、次に、残りのタグの位置について対応付けを行う。
この結果、前述した第1実施形態と同様、図5(c)に示すように、画面上のマーカMの位置と、可視カメラ3で撮像された映像上の光学タグ6−2(対象物)の位置とが対応付けられることになる。すなわち、赤外カメラ2で撮像された赤外映像から得られる光学タグ6−2の位置を、補正パラメータに従って補正することで、光学タグ6−2の位置を示すマーカMを、可視カメラ3で撮像された可視映像上の光学タグ6−2の位置に一致させることが可能となる。
B−4.その他
光学タグ6−2の可視光発光部(例えば可視LED)8を利用した映像中の位置検出においては、他の方法として、特定可能な目印を利用する方法によっても実現可能である。例えば、白い紙の中央に黒い「●」記号等をを記し、その上にタグを付した調整用の用紙を用いてることで、映像上の光学タグ6−2の位置の検出時に、容易な画像処理で実施することも可能である。その場合、例えば、映像中からは、黒い部分を有する白紙の部分画像を検出し、その黒い部分の中央を映像上の光学タグ6−2の位置として検出する。また、赤外カメラ2−1、2−2の赤外映像から赤外光発光部7の発光位置を検出し、それぞれのカメラ座標系における位置情報の対応付けを行うことにより、補正式を導出してもよい。
光学タグ6−2の可視光発光部(例えば可視LED)8を利用した映像中の位置検出においては、他の方法として、特定可能な目印を利用する方法によっても実現可能である。例えば、白い紙の中央に黒い「●」記号等をを記し、その上にタグを付した調整用の用紙を用いてることで、映像上の光学タグ6−2の位置の検出時に、容易な画像処理で実施することも可能である。その場合、例えば、映像中からは、黒い部分を有する白紙の部分画像を検出し、その黒い部分の中央を映像上の光学タグ6−2の位置として検出する。また、赤外カメラ2−1、2−2の赤外映像から赤外光発光部7の発光位置を検出し、それぞれのカメラ座標系における位置情報の対応付けを行うことにより、補正式を導出してもよい。
C.第3実施形態
次に、本発明の第3実施形態について説明する。
本第3実施形態では、3つ以上の赤外カメラおよび可視カメラを用いる。この場合は、赤外カメラ2−1、2−2、…、2−(n−1)、2−nの赤外映像C1,C2、…、Cn−1、Cnのそれぞれから抽出される抽出点r1、r2、…、rn−1、rnより、それぞれエピポーラ線l1,l2、…、ln−1、lnが確定するため、全てのエピポーラ線2つの組み合わせに対して、その交点を算出し、全ての交点の平均値を可視カメラ3上の光学タグ6の位置として出力する。
次に、本発明の第3実施形態について説明する。
本第3実施形態では、3つ以上の赤外カメラおよび可視カメラを用いる。この場合は、赤外カメラ2−1、2−2、…、2−(n−1)、2−nの赤外映像C1,C2、…、Cn−1、Cnのそれぞれから抽出される抽出点r1、r2、…、rn−1、rnより、それぞれエピポーラ線l1,l2、…、ln−1、lnが確定するため、全てのエピポーラ線2つの組み合わせに対して、その交点を算出し、全ての交点の平均値を可視カメラ3上の光学タグ6の位置として出力する。
なお、上述した実施形態においては、上述したタグ赤外発光位置検出部4−2、タグ可視発光位置検出部4−4、データ処理部4−5などによる一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。すなわち、タグ赤外発光位置検出部4−2、タグ可視発光位置検出部4−4、データ処理部4−5などにおける、各処理手段、処理部は、CPU等の中央演算処理装置がROMやRAM等の主記憶装置に上記プログラムを読み出して、情報の加工・演算処理を実行することにより、実現されるものである。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
1 光学タグ管理装置
2 赤外カメラ(赤外撮像手段)
2−1 赤外カメラ(第1の赤外撮像手段)
2−2 赤外カメラ(第2の赤外撮像手段)
3 可視カメラ(可視撮像手段)
4 情報処理装置
4−1 赤外映像受信部
4−2 タグ赤外発光位置検出部(タグ赤外位置検出手段)
4−2−1 画像入力部
4−2−2 演算処理回路
4−2−3 メモリ
4−2−4 結果出力部
4−3 可視映像受信部
4−4 タグ可視発光位置検出部(タグ可視位置検出手段)
4−4−1 画像入力部
4−4−2 演算処理回路
4−4−3 メモリ
4−4−4 結果出力部
4−5 データ処理部
4−5−1 補正パラメータ確定部(演算手段)
4−5−2 対応位置確定部(対応位置確定手段)
4−6 アプリケーション部(マーカ表示手段、関連情報提示手段)
5 対象物
6 光学タグ
6−1 光学タグ
6−2 光学タグ
7 赤外光発光部
8 可視光発光部
2 赤外カメラ(赤外撮像手段)
2−1 赤外カメラ(第1の赤外撮像手段)
2−2 赤外カメラ(第2の赤外撮像手段)
3 可視カメラ(可視撮像手段)
4 情報処理装置
4−1 赤外映像受信部
4−2 タグ赤外発光位置検出部(タグ赤外位置検出手段)
4−2−1 画像入力部
4−2−2 演算処理回路
4−2−3 メモリ
4−2−4 結果出力部
4−3 可視映像受信部
4−4 タグ可視発光位置検出部(タグ可視位置検出手段)
4−4−1 画像入力部
4−4−2 演算処理回路
4−4−3 メモリ
4−4−4 結果出力部
4−5 データ処理部
4−5−1 補正パラメータ確定部(演算手段)
4−5−2 対応位置確定部(対応位置確定手段)
4−6 アプリケーション部(マーカ表示手段、関連情報提示手段)
5 対象物
6 光学タグ
6−1 光学タグ
6−2 光学タグ
7 赤外光発光部
8 可視光発光部
Claims (8)
- 対象物に付帯され、赤外光を発する赤外発光部を有する光学タグと、
前記光学タグの赤外発光部が発する赤外光を撮像する赤外撮像手段と、
前記光学タグを含む対象物を撮像する可視撮像手段と、
前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出するタグ赤外位置検出手段と、
前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれを複数用いて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出する演算手段と、
前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する対応位置確定手段と
を具備することを特徴とする光学タグ管理装置。 - 対象物に付帯され、赤外光を発する赤外発光部を有する光学タグと、
前記光学タグの赤外発光部が発する赤外光を撮像する複数の赤外撮像手段と、
前記光学タグを含む対象物を撮像する可視撮像手段と、
前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出するタグ赤外位置検出手段と、
前記タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出する演算手段と、
前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する対応位置確定手段と
を具備することを特徴とする光学タグ管理装置。 - 前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、
前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、
前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする請求項1または請求項2に記載の光学タグ管理装置。 - 前記対応位置確定手段により確定された対応位置に基づいて、前記可視撮像手段により撮像された可視映像内にマーカを表示させるマーカ表示手段を具備することを特徴とする請求項1から請求項3のいずれかに記載の光学タグ管理装置。
- 前記マーカ表示手段により表示されているマーカが指定されると、該マーカに対応する対象物に関する関連情報を提示する関連情報提示手段を具備することを特徴とする請求項1から請求項4のいずれかに記載の光学タグ管理装置。
- 赤外光を発する赤外発光部を有する光学タグが、対象物に付帯され、
赤外撮像手段が前記光学タグの赤外発光部が発する赤外光を撮像し、
可視撮像手段が前記光学タグを含む対象物を撮像し、
タグ赤外位置検出手段が、前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出し、
演算手段が、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれを複数用いて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、
対応位置確定手段が、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する
ことを特徴とする光学タグ管理方法。 - 赤外光を発する赤外発光部を有する光学タグが、対象物に付帯され、
複数の赤外撮像手段それぞれが、前記光学タグの赤外発光部が発する赤外光を撮像し、
可視撮像手段が、前記光学タグを含む対象物を撮像し、
タグ赤外位置検出手段が、前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出し、
演算手段が、前記タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、
対応位置確定手段が、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する
ことを特徴とする光学タグ管理方法。 - 前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、
前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、
前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする請求項6または請求項7に記載の光学タグ管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005183322A JP2007004439A (ja) | 2005-06-23 | 2005-06-23 | 光学タグ管理装置および光学タグ管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005183322A JP2007004439A (ja) | 2005-06-23 | 2005-06-23 | 光学タグ管理装置および光学タグ管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007004439A true JP2007004439A (ja) | 2007-01-11 |
Family
ID=37690017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005183322A Pending JP2007004439A (ja) | 2005-06-23 | 2005-06-23 | 光学タグ管理装置および光学タグ管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007004439A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10482361B2 (en) | 2015-07-05 | 2019-11-19 | Thewhollysee Ltd. | Optical identification and characterization system and tags |
-
2005
- 2005-06-23 JP JP2005183322A patent/JP2007004439A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10482361B2 (en) | 2015-07-05 | 2019-11-19 | Thewhollysee Ltd. | Optical identification and characterization system and tags |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101761751B1 (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
US7974462B2 (en) | Image capture environment calibration method and information processing apparatus | |
US8860760B2 (en) | Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene | |
WO2018133130A1 (en) | 3d marker model construction and real-time tracking using monocular camera | |
CN112258574B (zh) | 标注位姿信息的方法、装置及计算机可读存储介质 | |
CN103189827B (zh) | 对象显示装置以及对象显示方法 | |
US9129435B2 (en) | Method for creating 3-D models by stitching multiple partial 3-D models | |
Ahn et al. | 2D drawing visualization framework for applying projection-based augmented reality in a panelized construction manufacturing facility: Proof of concept | |
US20230186680A1 (en) | Information processing device and recognition support method | |
JP6645151B2 (ja) | 投影装置、投影方法及び投影用コンピュータプログラム | |
CN102938077A (zh) | 基于双阈值二值化的在线式aoi图像检索方法 | |
US20180150967A1 (en) | Entity visualization method | |
JP2008235504A (ja) | 組立品検査装置 | |
US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
JP2015171143A (ja) | カラーコード化された構造によるカメラ較正の方法及び装置、並びにコンピュータ可読記憶媒体 | |
CN111399634B (zh) | 一种手势引导物体识别的方法及装置 | |
KR101360999B1 (ko) | 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기 | |
CN116563391B (zh) | 一种基于机器视觉的激光结构自动标定方法 | |
JP6262610B2 (ja) | 情報登録装置及び情報継続登録装置並びに方法及びプログラム | |
JP2007004439A (ja) | 光学タグ管理装置および光学タグ管理方法 | |
CN105791655A (zh) | 一种计算摄像模组的镜头畸变的方法 | |
Tybusch et al. | Color-based and recursive fiducial marker for augmented reality | |
JP6736204B2 (ja) | 作業支援方法、作業支援プログラム及び作業支援装置 | |
US11288792B2 (en) | Method and system for change detection using AR overlays | |
TWI857081B (zh) | 彎曲角的算出方法以及算出裝置,以及三維角度的算出方法 |