JP2008536112A - 撮像デバイスの位置特定を行うシステムおよび方法 - Google Patents

撮像デバイスの位置特定を行うシステムおよび方法 Download PDF

Info

Publication number
JP2008536112A
JP2008536112A JP2008504315A JP2008504315A JP2008536112A JP 2008536112 A JP2008536112 A JP 2008536112A JP 2008504315 A JP2008504315 A JP 2008504315A JP 2008504315 A JP2008504315 A JP 2008504315A JP 2008536112 A JP2008536112 A JP 2008536112A
Authority
JP
Japan
Prior art keywords
light emitting
pixel
imaging device
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008504315A
Other languages
English (en)
Other versions
JP4681043B2 (ja
Inventor
ジェイ. テイラー、カミーロ
Original Assignee
ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア filed Critical ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア
Publication of JP2008536112A publication Critical patent/JP2008536112A/ja
Application granted granted Critical
Publication of JP4681043B2 publication Critical patent/JP4681043B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

撮像デバイスによって撮影された画像を使用して、ネットワーク内の撮像デバイスの位置特定を行うシステムおよび方法。カメラ装備通信デバイスのネットワーク内での相対位置および向きは、各デバイスが、デバイスのカメラによって撮影した画像を検討することによって可能である。デバイスは、所定の方法でその出力を変動させる制御可能な光源も装備する。この変動は、画像において見出され、所定の視野においてデバイスを識別し、所定の視野において他の撮像デバイスに関連するエピポーラ点を規定するのに使用される。画像内の共通基準点もまた識別される。撮像デバイスは、その後、エピポーラ点および共通基準点の詳細を相互に交換し、それらを使用して、デバイスの相対位置および向きを得る。

Description

本発明は、ネットワーク内のノードの位置特定を行うシステムおよび方法に関し、より詳細には、撮像デバイスによって撮影された画像を使用して撮像デバイスのネットワーク内のノードを識別し、位置特定を行うことに関する。
多くの通信デバイスが、低コストの撮像能力を装備するようになっている。たとえば、多くの携帯電話は、今や、デジタルカメラを組み込み、多くのポケットパーソナルコンピュータ(PPC)および携帯情報端末(PDA)は、撮像および通信オプションを有する。こうしたデバイスが急増するにつれて、こうしたデバイスがネットワークに接続されて、撮像能力を分配配置する多くの用途が可能になっている。
たとえば、無線通信能力を装備する一群のカメラが、建物内または建物の周りの壁に設置され、次に、ネットワーク接続されて、建物の外部および内部をカバーする監視システムを形成することができる。こうした迅速に展開可能な監視システムは、たとえば、目標物の安全を確保する軍人、または、火事または事故などの出来事に対応する緊急応答チームが使用してもよい。
別の用途では、スポーツイベントの周りに分配された、通信可能なカメラのネットワークは、プレーヤの動きおよび位置を3次元で取り込むことが可能な撮像ネットワークを提供し得る。この情報は、インターネットを通じたゲームの伝送、または、プレーヤ性能のゲーム後の解析のために有用である場合がある。
通信可能なカメラのこうしたネットワークは、温度センサ、加速度計、または音響センサなどの、シーン内の他のセンサノードのロケーションを調査するのに使用することもできる。これらのロケーション推定を使用して、これらのセンサから生成された測定値をよりよく解析し解釈することができる。こうした能力は、建物監視用途で使用されることができ、センサ情報は、エネルギー管理、空気流管理、または侵入検出のために使用することができる。
こうした全ての分散撮像ネットワーク用途の一般的な特徴は、各画像取得ノードが位置特定される必要性、すなわち、各画像取得ノードの、他のノードに対する位置および向きを知る必要性があることである。
多くの従来技術の方法は、無線または音響信号を使用して、ネットワーク内のノードの相対位置を取り出すのに使用することができるレンジ情報を獲得する方法として、信号の飛翔時間または相対強度を監視してきた。しかし、こうした技法では、ネットワーク内の撮像デバイスの相対的な方向を容易に計算することはできない。
本発明のシステムおよび方法は、ネットワーク内の撮像デバイスによって撮影された画像を使用して撮像デバイスの位置特定を行う。さらに、撮像デバイスに画像解析能力を付加することによって、本発明は、処理のために、画像全体を中央ロケーションに送出することによる、伝送および記憶の負担もかなり軽減する。
好ましい実施形態では、ネットワーク内の撮像デバイスは、それぞれ、それ自身のカメ
ラで撮影した画像を検討し、適切な情報を抽出する。この情報は、その後、他の撮像デバイスと交換され、ネットワーク内のノードの相対位置および向きを計算するのに使用される。
撮像デバイスはまた、制御可能な光源を装備してもよく、光源の出力は、所定のシーケンスまたはパターンで変動する。その後、対応する画像間の強度変動を有する画素が、他の撮像デバイスによって見出され、どの撮像デバイスが、他の撮像デバイスに見られることができるかを識別するのに使用されてもよい。その後、これらの画素を使用して、撮像デバイスに関連するエピポーラ点を規定してもよい。画像内の共通基準点も識別される。エピポーラ点および任意の共通基準点のロケーションは、その後、撮像デバイスの間で交換され、撮像デバイスおよび基準点を互いに関して位置特定するのに使用される。
本発明の、これらのまた他の特徴は、添付図面を参照することによって、より完全に理解されるであろう。
本発明の方法によれば、撮像デバイスは、ネットワーク内の全てのノードの位置特定を行うために、データ交換が比較的少量で、十分な画像処理能力を備える。特に、撮像デバイスは、それ自身の画像を検討することによって、その視野内で他のネットワークノードに対する角度を効率的に測定することが可能である。このデータを他のノードと交換することによって、互いに見ることができるノードは、その相対位置および向きを計算することができる。この位置特定結果は、その後、全ネットワークを通して伝達されることができる。
この方法は、多数のカメラ装備通信デバイスの位置特定を行う、簡単でかつ直接的な方法を提供する。方法は、迅速であり、撮像能力を持たないブラインドノードのロケーションを含む、センサノードの直接測定を可能にする。さらなる実施形態では、アクティブ光がカメラ装備通信デバイスに搭載されていることによって、画像を使用して、ネットワークノードを識別することもできる。
本発明の、これらのまた他の利点は、添付図面に関連して、ここで、より詳細に述べる。
図1は、本発明の位置特定システム10の一実施形態の基本要素を示す略図である。システム10は、それぞれが、発光デバイス16および18を取り付けられた2つの撮像デバイス12および14を備える。撮像デバイス12は、撮像デバイス14の表示27および共通基準物体20の表示31を含む画像22を取得する。同様に、撮像デバイス14は、撮像デバイス12の表示29および共通基準物体20の表示33を含む画像24を取得する。
取得された画像22および24の解析は、こうして、2つの撮像デバイス12および14の相対向きおよび位置を提供することができる。好ましい実施形態では、この解析は、エピポーラ画素26および28ならびに基準画素30および32の、画像22および24内での位置を取り出すことによる。
基準画素30は、限定はしないが、基準物体20の中心などの、共通基準物体220の何らかの特性に最も密接に対応し、したがって、表示31の中心画素であってもよい、画像22内の画素である。同様に、基準画素32は、画像24内の表示33の中心画素であってよい。
エピポーラ画素26は、撮像デバイス12によって撮影された画像22内に現れるよう
な、カメラ14の焦点に最も密接に対応する画素である。本発明の好ましい実施形態では、エピポーラ画素26は、撮像デバイス14の発光デバイス18に対応する画素のうちの1つの画素であると仮定され、画像22内のカメラ14の表示27の一部である。同様に、エピポーラ画素28は、撮像デバイス14によって撮影された画像24内に現れるような、撮像デバイス12の焦点に最も密接に対応する画素であり、画像24内の撮像デバイス12の表示29の一部である。
たとえば、撮像デバイス12または14の画像平面に対し、かつ、撮像デバイス12または14の焦点を通る法線からの角度偏倚として表現される、エピポーラ画素26および28ならびに基準画素30および32のロケーションを使用して、情報処理ユニット34は、以下で詳細に説明するように、2つの撮像デバイス12および14ならびに基準物体20のロケーションを計算する。
分散撮像ネットワークを形成する撮像デバイス12および14は、たとえば、無線通信能力とデジタルカメラを装備したPDA、デジタルカメラを装備した無線電話、または、それらの何らかの組合せであってよい。
画像処理ユニット34は、独立したコンピュータであってよく、または、撮像デバイス12および14の一方または他方に関連した適切にプログラムされたマイクロプロセッサであってよい。
発光デバイス16および18は、たとえば、発光ダイオード(LED)か、白熱電球か、半導体レーザか、または、それらの何らかの組合せであってよい。発光デバイス16および18は、その関連する撮像デバイスを識別する所定のシーケンスで出力を変動させてもよい。たとえば、発光デバイス16および18は、一定周波数で指定2値ビットシーケンスを繰り返すように連続して明滅してもよい。画像22および24のシーケンスを検討することによって、同じ指定2値ビットシーケンスおよび周波数で変動する画素が、見出され、エピポーラ点26および28の位置特定を行い、関連する撮像デバイス12および14を識別するのに使用されてもよい。
撮像デバイス12および14ならびに発光デバイス16および18は、電磁スペクトルの任意の適した周波数で動作してもよく、好ましくは、電磁スペクトルの紫外部分から赤外部分を通ってマイクロ波部分内で動作してもよい。
図2は、識別シーケンスおよび画像取得の相対タイミングを示す略タイミンググラフである。グラフ40は、その出力を変動させている発光デバイス16または18の明滅パターン出力を示す。画像サンプル42は、明滅パターン出力に対する画像取得のタイミングを示す。
好ましい実施形態では、プログラムされたマイクロコントローラは、発光ダイオードを制御して、適した周期を有する2値パターン40を生成する。2値パターン40は、任意の数のビットを有してもよく、実際の数は、同じ画像内で見ることが予想される撮像デバイスの数と、2値パターンを識別するのに必要とされるビデオシーケンスの増加した長さとの兼ね合いである。たとえば、2ビット2値パターンを使用して、最大2つの撮像デバイスを一意に識別することができるだけであるが、2つの画像シーケンスを必要とするだけであろう。他方、24ビットパターンなどの長いビットパターンを使用して、何千もの撮像デバイスを一意に識別できるが、24の連続画像の画像シーケンスが、取得され、解析されることを要求されるであろう。同様に、長い周期のパターンは、画像シーケンスを取得する総時間を増加させるであろう。デジタルカメラのシャッタ速度は、通常、約1〜10ミリ秒の範囲であるため、2値パターン40についての通常の周波数は、約10〜100ミリ秒の範囲にあってよい。
1つの例示的な実施形態では、67ミリ秒の周期を有する8ビット2値パターンが選択
された。この例示的な実施形態では、撮像デバイス12および14は、それぞれ、67ミリ秒間隔で8つの画像のシーケンスを取得する。好ましい実施形態では、発光デバイスの変動する出力を画像取得に同期させる試みは何も行われない。画像シーケンスの各画素を検討して、画像シーケンスの過程にわたって最大輝度と最小輝度を獲得してもよい。これは、赤−緑−青(RGB)カラー画像の全てのチャネルについて行われてもよい。あるいは、緑チャネルなどの、チャネルのうちの1つのチャネルからの画素だけを検討して、白物体の輝度変動の良好な推定を獲得してもよい。各画素について、最大および最小輝度値が獲得されると、画像シーケンスにわたって有意の変動を有する画素が、さらに解析される。特に、画素値は、2値化され、2値化された輝度変動を検討して、輝度変動が、指定シーケンスに整合するかどうかを調べる。
好ましい実施形態では、画像取得と発光デバイスの変動は同期しないため、2値化されたシーケンスは、画像取得がシーケンス内の任意の点で始まるように、指定シーケンスの周期的置換え全てについて検討されるべきである。
好ましい実施形態では、最適サンプリング理論によって要求される、最小である、信号周波数の2倍ではなく、信号周波数で画像が取得されるという意味で、システムは、識別される信号をアンダーサンプリングする。このアンダーサンプリングは、たとえば、取得が明滅パターンの遷移にオーバラップするときに、シーケンスの検出の失敗をもたらす可能性がある。好ましい実施形態では、アンダーサンプリングに関連する問題は、測定を頻繁に繰り返し、また、カメラと発光デバイスが共に、ジッタとしても知られる十分なタイミング変動を有することによることによって克服される。方法が仮定するところによれば、このジッタのために、後続の測定に関して、画像取得と明滅パターン遷移が、もはやオーバラップせず、パターンが検出されることになる。
図3は、本発明の方法によって、3つのノードの位置特定を行うときに使用されるベクトルと長さを示す3次元グラフである。図3のグラフは、撮像デバイス12および14の焦点が、AおよびBに位置すると仮定し、それらのカメラは、焦点距離がわかっているか、または、決定されたという意味で較正された。図3では、ノードCは、共通基準物体20に相当する。こうして、エピポーラ画素26および28ならびに基準画素30および32のロケーションは、各カメラの焦点で始まる単位ベクトルによって表現することができる。これらのベクトルは、たとえば、X軸およびY軸が、カメラ画像平面に平行で、かつ、Z軸が、カメラ画像平面に垂直であるように向いたデカルト座標フレーム内で参照されることができる。実際には、エピポーラ画素26および28ならびに基準画素30および32は、撮像デバイスの画像平面に対し、かつ、撮像デバイスの焦点を通る法線に関する角度偏倚として規定される。
こうしたベクトル表示では、vabは、撮像デバイス12の基準フレーム内でエピポーラ画素26を規定する単位ベクトルであり、vbaは、撮像デバイス14の基準フレーム内でエピポーラ画素28を規定する単位ベクトルであり、vacは、撮像デバイス12の基準フレーム内で基準点20を規定する単位ベクトルであり、vbcは、撮像デバイス14の基準フレーム内で基準点20を規定する単位ベクトルである。
点A、B、およびCは全て、平面(エピポーラ平面)上にあるため、ベクトルの外積n=vab acおよびnb=vba bcは、共に、その平面に対する法線を規定する。さらに、法線とエピポーラベクトルは、撮像デバイスの基準フレームの相対的な向きを取り込む、同じ回転行列Rabによって関係付けられる。特に、
ab=−Rabab (1)
=−Rab (2)
である。
正規直交行列、すなわち、
=[vab(vab×n)]
および、
=[−vba(vba×n)]
を構築することも可能である。
式(1)および(2)ならびに正規直交行列の定義から、結果として、
=Rab (3)
になり、次に、Rabについての以下の表現、
ab=R(R (4)
が得られる。
abについて解くことは、ノードAおよびBに焦点を有する2つの撮像デバイス12および14の相対的な向きを提供する。2つの撮像デバイスの相対的な向きを見出して、ベクトルが、三角形、すなわち、
abab+Ibcbc−Icaca=0
を形成することを考えることによって、3つのノードA、B、およびCの相対的な位置が取り出されてもよい。ここで、Iab、Ibc、およびIcaは、線分AB、BC、およびCAの長さである。システムは、均質であるため、ノードの構成は、正のスケールファクタまで解くことができるだけである。すなわち、三角形ABCの角度を全て決定することができるが、絶対サイズは決定されない。これは、動き再構成による全ての構造に共通の同じスケールの曖昧さである。この曖昧さを解決するために、さらなる距離測定が必要とされる。この曖昧さを解決する一方法は、画像内で、わかっているサイズの共通物体を識別し、この物体を使用して、絶対距離を提供することである。さらに、画像のうちの1つの中で、人の平均サイズなどのおよそわかっている寸法があることは、スケールの近似解を計算することを可能にする。
上述した位置特定方法では、ノードは、撮像デバイスの焦点にあると仮定する。好ましい実施形態では、発光デバイス16および18は、撮像デバイスに並置され、撮像デバイスのレンズの焦点に一致しない場合がある。しかし、ノード間の距離が、発光デバイスと焦点との間の分離と比較して大きい限り、位置特定方法は、非常に良好な近似である。実用的な用途では、ノード間の距離は数メートルであり、一方、発光デバイスと焦点との間の分離は数ミリメートルに過ぎない場合があり、この方法を非常に良好な近似にする。
方法は、2つのアクティブノードと1つのパッシブノードを参照して上述されたが、方法が、任意の数のアクティブノードとパッシブノードに拡張されてもよいことを当業者は理解するであろう。たとえば、上述した方法を、3つ以上のアクティブカメラを含むように拡張することができることを当業者は容易に理解するであろう。さらに、撮像デバイスが全て、互いに見られることができる必要はない。撮像デバイスのオーバラップが存在する限り、ネットワーク内の全ての撮像デバイスが、ネットワーク内の少なくとも1つの他の撮像デバイスに見られることができるという意味で、上述した方法は、撮像デバイスの任意の大きなネットワークを含むように拡張することができる。
図4は、本発明の方法の代表的なステップを示すフロー図である。
ステップ44にて、画像シーケンスが、アクティブノード、すなわち、ネットワーク内の撮像デバイスによって取得される。
ステップ46にて、各アクティブノードによって取得された画像シーケンスが解析される。好ましい実施形態では、この解析は、撮像デバイスの一部であるプロセッサ上で実行されるソフトウェアによって行われる。代替の実施形態では、画像の一部または全ては、
限定はしないが、より高い処理能力を装備した別のデバイスなどの処理用の別のデバイスまたは中央ロケーションに送出されてもよい。
ステップ48では、画像シーケンスのそれぞれにおけるアクティブノードが、発光デバイスが変動する所定のシーケンスを見出すことによって識別される。
ステップ50にて、画像シーケンス内のパッシブノードが、たとえば、限定はしないが、テンプレートマッチングなどの標準的なパターン認識技法を使用することによって識別される。
ステップ52にて、識別されたアクティブノードに関連する画素を使用して、エピポーラ点の位置特定が行われ、パッシブノードに関連する画素を使用して、基準点の位置特定が行われる。
ステップ54にて、エピポーラ点および基準点が通信される。この通信は、たとえば、互いに識別される撮像デバイスの全てがデータを交換することを含む、または、データが全て、デバイスの部分集合に、または、単一処理点に送出されることを含む。通信は、無線形態で、または、限定はしないが、導電性ワイヤまたは光ファイバなどの適したコネクタを通じて、電磁スペクトルの使用を含む任意の適した手段によって実施されてもよく、あるいは、通信は、限定はしないが、超音波信号または音声音響信号またはこれらの方法の組合せなどの、音響チャネルであってよい。好ましい実施形態では、通信は、メガヘルツからギガヘルツ周波数範囲の無線伝送電磁放射による。
ステップ56にて、ネットワーク内のノードは、先に詳述した技法を使用して位置特定されてもよい。この位置特定は、たとえば、撮像デバイス上または撮像デバイスに関連して位置するプロセッサによって達成されてもよく、または、遠隔または中央ロケーションで行われてもよい。
ステップ58にて、ネットワークのスケールが、たとえば、画像のうちの1つの中の、わかっているサイズの物体を識別することによって決定される。このスケールは、その後、ネットワークを通して伝達されてもよい。
システムのさらなる実施形態では、先に詳述した協調的位置特定が可能で、ネットワークのノードが全て、スマートカメラモジュール、すなわち、通信モジュールおよび点滅発光デバイスに関連した撮像デバイスであるネットワークが確立されてもよい。あるいは、ノードのうちの少なくとも2つが、協調的位置特定が可能なスマートカメラモジュールであり、一方、ネットワーク内の1つまたは複数の他のノードが、限定はしないが、中継デバイス、画像プロセッサ、ビーコン、センサデバイス、またはメモリデバイスなどの、他のアクティブまたはパッシブデバイスであるネットワークが確立されてもよい。
本発明のさらなる実施形態では、少なくとも2つの協調的に位置特定される撮像デバイスによって撮影された画像は、遠隔または中央ロケーションに送出されてもよい。こうしたロケーションにおいて、複数の位置特定される撮像デバイスから受け取られる画像は、統合されて、個々の画像と比較して、より広い視野を提示する少なくとも1つの複合画像を形成する。複合画像は、2次元画像または3次元画像であってよく、たとえば、監視、状況評価、2次元または3次元再構成、および環境監視を含む種々の目的で使用されてもよい。
本発明のさらなる実施形態では、撮像デバイスの少なくとも1つは、限定はしないが、複数の電荷結合素子(CCD)などの複数の画像取り込み表面を有してもよい。
さらなる実施形態では、撮像デバイスの少なくとも1つは、限定はしないが、180°
の視野を可能にするフィッシュアイレンズなどの視野の増大を可能にする光学系を有してもよい。2つのこうしたデバイスは、たとえば、360°の視野を効率的に提供するために、背中合わせで設置されてもよい。
上述したステップの一部または全ては、標準的で、かつ、よく知られているコンピュータプログラミング技法を使用して実施されてもよい。上述した実施形態の新規性は、特定のプログラミング技法またはプログラミング言語にあるのではなく、述べた結果を達成するのに述べたステップの使用にある。本発明の全てまたは一部を具現化するソフトウェアプログラミングコードは、通常、撮像デバイス上の永久記憶部などの、あるタイプの永久記憶部内、または、中央ワークステーションに関連する記憶デバイス上に記憶される。クライアント/サーバ環境では、こうしたソフトウェアプログラミングコードは、サーバに関連する記憶部を用いて記憶されてもよい。ソフトウェアプログラミングコードは、CMOSメモリ、フラッシュメモリ、ディスケット、ハードドライブ、またはCD−ROMなどの、データ処理システムと共に使用するための種々の知られている媒体のうちの任意の媒体上で具現化されてもよい。コードは、こうした媒体上で配布されてもよく、または、1つのコンピュータシステムのメモリまたは記憶部から、あるタイプのネットワークを通じて他のコンピュータシステムへ、他のシステムのユーザが使用するために、ユーザに配信されてもよい。物理的媒体上でソフトウェアプログラミングコード具現化する、かつ/または、ネットワークを介してソフトウェアコードを配信する技法および方法は、よく知られており、本明細書では、さらには説明されないであろう。
本発明は、構造特性および/または方法行為の固有の言語で述べられたが、添付特許請求の範囲に規定される発明は、述べた特定の特性または行為に必ずしも限定されないことが理解される。むしろ、特定の特性または行為は、特許請求される発明を実施する例示的な形態として開示される。
本発明の位置特定システムの一実施形態の基本要素を示す略図。 識別シーケンスおよび画像取得の相対タイミングを示す略タイミンググラフ。 本発明の3ノード位置特定方法で使用されるベクトルと長さを示す3次元グラフ。 本発明の方法の一実施形態の代表的なステップを示すフロー図。

Claims (26)

  1. 少なくとも2つの撮像デバイスのロケーションを決定する方法であって、
    第1発光デバイスと並置され、情報処理ユニットに動作可能にリンクされた第1撮像デバイスを設けるステップと、
    第2発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされた第2撮像デバイスを設けるステップと、
    基準点を設けるステップと、
    前記第1撮像デバイスを使用して第1画像を取得するステップであって、同第1画像は、前記基準点に相当する第1基準画素および前記第2撮像デバイスに並置された前記発光デバイスに相当する第1エピポール画素、を有する前記取得するステップと、
    前記第2撮像デバイスを使用して第2画像を取得するステップであって、同第2画像は、前記基準点に相当する第2基準画素および前記第1撮像デバイスに並置された前記発光デバイスに相当する第2エピポール画素を有する、前記取得するステップと、
    前記基準画素および前記エピポール画素のロケーションを、前記情報処理ユニットに通信するステップと、
    前記情報処理ユニット、前記基準画素、および前記エピポール画素を使用して前記ロケーションを決定するステップと、を含む方法。
  2. 前記第1および第2の撮像デバイスはさらに通信ユニットを備え、前記画素のロケーションは、前記撮像デバイスの画像平面に対する法線に対して、かつ、前記撮像デバイスの焦点を通る法線に関して角度偏倚として提供される請求項1に記載の方法。
  3. 前記第2発光デバイスの出力を所定のシーケンスで変動させるステップと、
    前記第1撮像デバイスによって複数の画像を撮影するステップと、
    前記所定のシーケンスに相当する変動を有する前記複数の画像内で少なくとも1つの画素を識別し、それにより、前記第1エピポール画素を識別するステップと、
    をさらに含む請求項1に記載の方法。
  4. 前記基準点は、第3発光デバイスである請求項3に記載の方法。
  5. 前記出力を変動させるステップは、前記第2発光デバイスによって放出される光の輝度を変動させることを含む請求項3に記載の方法。
  6. 前記所定のシーケンスは、2元のパターンを含む請求項3に記載の方法。
  7. 前記第1発光デバイスの出力を所定のシーケンスで変動させるステップをさらに含み、前記第1撮像デバイスに並置された前記発光デバイスの出力は第1の2元パターンに従って変動し、前記第2撮像デバイスに並置された前記発光デバイスの出力は第2の2元パターンに従って変動する請求項6に記載の方法。
  8. 前記第1の2元パターンは、前記第2の2元パターンの非周期的置換えである請求項7に記載の方法。
  9. 前記第1および第2の2元パターンは互いに同期する請求項7に記載の方法。
  10. 前記基準点は、第3の2元パターンに従って変動する出力を有する第3発光デバイスを備える請求項7に記載の方法。
  11. 前記第1および第2の撮像デバイスは、第1および第2のデジタルカメラを装備した無
    線デバイスであり、前記発光デバイスは可視光発光ダイオードであり、前記第1および第2の2元パターンは、非同期型8ビット2元パターンである請求項8に記載の方法。
  12. 少なくとも2つの撮像デバイスのロケーションを決定するシステムであって、
    第1発光デバイスに並置され、情報処理ユニットに動作可能にリンクされた、第1画像を撮影するための第1撮像手段と、
    第2発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされた、第2画像を撮影する第2撮像手段と、
    前記第1画像を検討して、共通基準点に相当する第1基準画素および前記第2撮像手段に並置された前記発光デバイスに相当する第1エピポール画素を識別する第1画像処理手段と、
    前記第2画像を検討して、前記共通基準点に相当する第2基準画素および前記第1撮像手段に並置された前記発光デバイスに相当する第2エピポール画素を識別する第2画像処理手段と、
    前記基準画素および前記エピポール画素のロケーションを前記情報処理ユニットに通信する通信手段と、
    前記基準画素および前記エピポール画素を使用して、前記第1および第2の撮像手段の相対位置および向きを獲得する、前記情報処理手段上の位置特定手段と、を備えるシステム。
  13. 前記第1および第2の撮像手段はさらに通信手段を備え、前記画素のロケーションは、前記撮像デバイスの画像平面に対する法線に関する、かつ、前記撮像デバイスの焦点を通る法線に関する、角度偏倚として提供される請求項12に記載のシステム。
  14. 前記第2発光手段の出力は、所定のシーケンスで変動し、前記第1撮像手段は、複数の画像を撮影し、前記画像処理手段は、前記所定のシーケンスに相当する変動を有する複数の画像内で少なくとも1つの画素を識別し、それにより、前記第1エピポール画素を識別する請求項12に記載のシステム。
  15. 前記基準点は、第3発光デバイスである請求項14に記載のシステム。
  16. 前記第2発光手段によって放出される光の輝度が所定のシーケンスで変動する請求項14に記載のシステム。
  17. 前記第2発光手段は2元パターンで変動する請求項14に記載のシステム。
  18. 前記第1発光手段の出力は第1の2元パターンで変動し、前記第2撮像手段に並置された前記発光手段の出力は第2の2元パターンで変動する請求項17に記載のシステム。
  19. 前記第2の2元パターンは、前記第1の2元パターンの非周期的置換えである請求項18に記載のシステム。
  20. 前記第1および第2の2元パターンは互いに同期する請求項18に記載のシステム。
  21. 前記基準点は、第3の2元パターンに従って変動する出力を有する第3発光手段を備える請求項18に記載のシステム。
  22. 前記第1および第2の撮像手段は、第1および第2のデジタルカメラ搭載無線デバイスであり、前記発光手段は、可視光発光ダイオードであり、前記第1および第2の2元パターンは、非同期型8ビット2元パターンである請求項19に記載のシステム。
  23. コンピュータ読み取り可能媒体であって、
    第1撮像デバイスを使用して第1画像を取得する命令であって、前記第1撮像デバイスは、第1発光デバイスに並置され、情報処理ユニットに動作可能にリンクされる、撮影する命令と、
    第2撮像デバイスを使用して第2画像を撮影する命令であって、前記第2撮像デバイスは第2発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされる、撮影する命令と、
    前記第1画像内で、基準点に相当する第1基準画素および前記第2撮像デバイスに並置された前記発光デバイスに相当する第1エピポール画素を識別する命令と、
    前記第2画像内で、前記基準点に相当する第2基準画素および前記第1撮像デバイスに並置された前記発光デバイスに相当する第2エピポール画素を識別する命令と、
    前記基準画素および前記エピポール画素のロケーションを、前記情報処理ユニットに通信する命令と、
    前記情報処理ユニット、前記基準画素、および前記エピポール画素を使用して前記ロケーションを決定する命令と、
    を含むコンピュータ読み取り可能媒体。
  24. 前記第2発光デバイスの出力を所定のシーケンスで変動させる命令と、
    前記第1撮像デバイスによって複数の画像を撮影する命令と、
    前記所定のシーケンスに相当する変動を有する前記複数の画像内で少なくとも1つの画素を識別する命令であって、それにより、前記第1エピポール画素を識別する、識別する命令と、
    をさらに含む請求項23に記載のコンピュータ読み取り可能媒体。
  25. コンピュータ読み取り可能媒体を備えるコンピュータデバイスであって、
    コンピュータ読み取り可能媒体は、
    第1撮像デバイスを使用して第1画像を取得する命令であって、前記第1撮像デバイスは、第1発光デバイスに並置され、情報処理ユニットに動作可能にリンクされる、撮影する命令と、
    第2撮像デバイスを使用して第2画像を撮影する命令であって、前記第2撮像デバイスは、第2発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされる、撮影する命令と、
    前記第1画像内で、基準点に相当する第1基準画素および前記第2撮像デバイスに並置された前記発光デバイスに相当する第1エピポール画素を識別する命令と、
    前記第2画像内で、前記基準点に相当する第2基準画素および前記第1撮像デバイスに並置された前記発光デバイスに相当する第2エピポール画素を識別する命令と、
    前記基準画素および前記エピポール画素のロケーションを、前記情報処理ユニットに通信する命令と、
    前記情報処理ユニット、前記基準画素、および前記エピポール画素を使用して前記ロケーションを決定する命令と、
    を含むコンピュータデバイス。
  26. 前記第2発光デバイスの出力を所定のシーケンスで変動させる命令と、
    前記第1撮像デバイスによって複数の画像を撮影する命令と、
    前記所定のシーケンスに相当する変動を有する前記複数の画像内で少なくとも1つの画素を識別する命令であって、それにより、前記第1エピポール画素を識別する、識別する命令と、
    をさらに含む請求項25に記載のコンピュータデバイス。
JP2008504315A 2005-03-30 2006-03-29 撮像デバイスの位置特定を行うシステムおよび方法 Expired - Fee Related JP4681043B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/093,748 US7421113B2 (en) 2005-03-30 2005-03-30 System and method for localizing imaging devices
PCT/US2006/011490 WO2006105210A2 (en) 2005-03-30 2006-03-29 A system and method for localizing imaging devices

Publications (2)

Publication Number Publication Date
JP2008536112A true JP2008536112A (ja) 2008-09-04
JP4681043B2 JP4681043B2 (ja) 2011-05-11

Family

ID=37054089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008504315A Expired - Fee Related JP4681043B2 (ja) 2005-03-30 2006-03-29 撮像デバイスの位置特定を行うシステムおよび方法

Country Status (8)

Country Link
US (2) US7421113B2 (ja)
EP (1) EP1877955A2 (ja)
JP (1) JP4681043B2 (ja)
KR (1) KR20080012270A (ja)
CN (1) CN101180634B (ja)
AU (1) AU2006230285B2 (ja)
CA (1) CA2602810A1 (ja)
WO (1) WO2006105210A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2137548A2 (en) * 2007-03-21 2009-12-30 Nxp B.V. Camera arrangement and method for determining a relative position of a first camera with respect to a second camera
KR100936275B1 (ko) * 2007-08-24 2010-01-13 한국과학기술원 동기식 식별마커를 이용한 위치인식장치 및 위치인식방법
US8577083B2 (en) 2009-11-25 2013-11-05 Honeywell International Inc. Geolocating objects of interest in an area of interest with an imaging system
US20120250984A1 (en) 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Image segmentation for distributed target tracking and scene analysis
CN103019391A (zh) * 2011-09-22 2013-04-03 纬创资通股份有限公司 利用所撷取键盘影像作为指令输入依据的输入装置及方法
CN103512557B (zh) * 2012-06-29 2016-12-21 联想(北京)有限公司 电子设备间相对位置确定方法及电子设备
US9167160B2 (en) * 2012-11-14 2015-10-20 Karl Storz Imaging, Inc. Image capture stabilization
US9687950B2 (en) * 2013-03-13 2017-06-27 Trimble Inc. System and method for positioning a tool in a work space
CN104346805B (zh) * 2013-08-08 2018-01-19 联想(北京)有限公司 一种位置标定方法及电子设备
CN104714833B (zh) * 2013-12-16 2018-12-14 联想(北京)有限公司 一种信息处理方法及装置
EP3113485A1 (en) * 2015-07-03 2017-01-04 LG Electronics Inc. Mobile terminal and method for controlling the same
US20170155572A1 (en) * 2015-11-30 2017-06-01 International Business Machines Corporation Relative positioning of a mobile computing device in a network
TWI604417B (zh) * 2016-08-31 2017-11-01 國立交通大學 估算對極幾何模型的方法及其系統
CN108089152B (zh) * 2016-11-23 2020-07-03 杭州海康威视数字技术股份有限公司 一种设备控制方法、装置及系统
US10110994B1 (en) 2017-11-21 2018-10-23 Nokia Technologies Oy Method and apparatus for providing voice communication with spatial audio

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148591A (en) * 1981-05-11 1992-09-22 Sensor Adaptive Machines, Inc. Vision target based assembly
JPH11211414A (ja) * 1998-01-30 1999-08-06 Osaka Gas Co Ltd 位置検出システム
JP2002185939A (ja) * 2000-10-04 2002-06-28 Ricoh Co Ltd 情報取得システム
JP2004506215A (ja) * 2000-08-07 2004-02-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元再構成のためのストラップダウンシステム
JP2004184094A (ja) * 2002-11-29 2004-07-02 Tomori Kensetsu:Kk シールド推進工法における推進体の推進軌跡の計測装置ならびに計測方法
JP2004193947A (ja) * 2002-12-11 2004-07-08 Fuji Xerox Co Ltd 三次元撮像装置および方法
JP2004233334A (ja) * 2003-01-10 2004-08-19 Canon Inc 位置姿勢計測方法
JP2004291186A (ja) * 2003-03-27 2004-10-21 Ntt Docomo Inc ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置
JP2005057592A (ja) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd 監視システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力/検出装置および電子黒板システム
US6614429B1 (en) * 1999-05-05 2003-09-02 Microsoft Corporation System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling
US6661913B1 (en) * 1999-05-05 2003-12-09 Microsoft Corporation System and method for determining structure and motion using multiples sets of images from different projection models for object modeling
WO2002003314A1 (en) * 2000-07-04 2002-01-10 Casio Computer Co., Ltd. Apparatus and method for collating image
US6851999B2 (en) 2002-10-04 2005-02-08 Peter Sui Lun Fong Interactive LED device
US7228006B2 (en) 2002-11-25 2007-06-05 Eastman Kodak Company Method and system for detecting a geometrically transformed copy of an image
WO2004081868A2 (en) 2003-03-11 2004-09-23 Sarnoff Corporation Method and apparatus for determining camera pose from point correspondences

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148591A (en) * 1981-05-11 1992-09-22 Sensor Adaptive Machines, Inc. Vision target based assembly
JPH11211414A (ja) * 1998-01-30 1999-08-06 Osaka Gas Co Ltd 位置検出システム
JP2004506215A (ja) * 2000-08-07 2004-02-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元再構成のためのストラップダウンシステム
JP2002185939A (ja) * 2000-10-04 2002-06-28 Ricoh Co Ltd 情報取得システム
JP2004184094A (ja) * 2002-11-29 2004-07-02 Tomori Kensetsu:Kk シールド推進工法における推進体の推進軌跡の計測装置ならびに計測方法
JP2004193947A (ja) * 2002-12-11 2004-07-08 Fuji Xerox Co Ltd 三次元撮像装置および方法
JP2004233334A (ja) * 2003-01-10 2004-08-19 Canon Inc 位置姿勢計測方法
JP2004291186A (ja) * 2003-03-27 2004-10-21 Ntt Docomo Inc ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置
JP2005057592A (ja) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd 監視システム

Also Published As

Publication number Publication date
KR20080012270A (ko) 2008-02-11
US20060227999A1 (en) 2006-10-12
WO2006105210A2 (en) 2006-10-05
JP4681043B2 (ja) 2011-05-11
US7421113B2 (en) 2008-09-02
AU2006230285A1 (en) 2006-10-05
WO2006105210A3 (en) 2007-11-15
EP1877955A2 (en) 2008-01-16
CN101180634B (zh) 2011-10-05
CA2602810A1 (en) 2006-10-05
CN101180634A (zh) 2008-05-14
US20080159593A1 (en) 2008-07-03
AU2006230285B2 (en) 2011-09-01
US7522765B2 (en) 2009-04-21

Similar Documents

Publication Publication Date Title
JP4681043B2 (ja) 撮像デバイスの位置特定を行うシステムおよび方法
US11227172B2 (en) Determining the relative locations of multiple motion-tracking devices
Li et al. Human sensing using visible light communication
US9449233B2 (en) Distributed target tracking using self localizing smart camera networks
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
EP3321844B1 (en) Action recognition in a video sequence
JP3779308B2 (ja) カメラ校正システム及び三次元計測システム
CN105359516B (zh) 视觉命令处理
US9165190B2 (en) 3D human pose and shape modeling
CN109218619A (zh) 图像获取方法、装置和系统
CN106781165A (zh) 一种基于深度传感的室内多摄像头智能联动监控装置
CN108234927A (zh) 视频追踪方法和系统
CN111339997A (zh) 火点区域的确定方法及装置、存储介质和电子装置
CN109218667B (zh) 一种公共场所安全预警系统和方法
Roeper et al. Privacy-preserving, indoor occupant localization using a network of single-pixel sensors
US20200410226A1 (en) Method and system for locating an occupant
Oztarak et al. Lightweight object localization with a single camera in wireless multimedia sensor networks
US10893195B2 (en) Systems and methods of multi-sensor cameras and remote imagers
AU2011204965B2 (en) A system and method for localizing imaging devices
KR20220000212U (ko) 몰래카메라 탐지시스템용 감지장치
CN215647027U (zh) 摄像头模组
Riipkema et al. Pose estimation with radio-controlled visual markers
Singh Deep Scene Understanding using RF and its Fusion with other Modalities
CN213715948U (zh) 基于深度学习的轻量级和多姿态人脸检测与识别系统
Thakral et al. An Advanced IoT Based Border Surveillance and Intrusion Detection System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110203

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees