CN101180634B - 用于确定成像设备位置的系统和方法 - Google Patents

用于确定成像设备位置的系统和方法 Download PDF

Info

Publication number
CN101180634B
CN101180634B CN2006800174153A CN200680017415A CN101180634B CN 101180634 B CN101180634 B CN 101180634B CN 2006800174153 A CN2006800174153 A CN 2006800174153A CN 200680017415 A CN200680017415 A CN 200680017415A CN 101180634 B CN101180634 B CN 101180634B
Authority
CN
China
Prior art keywords
light
emitting device
imaging device
pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800174153A
Other languages
English (en)
Other versions
CN101180634A (zh
Inventor
卡米罗·J.·泰勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Arkansas
University of Pennsylvania Penn
Original Assignee
University of Pennsylvania Penn
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Pennsylvania Penn filed Critical University of Pennsylvania Penn
Publication of CN101180634A publication Critical patent/CN101180634A/zh
Application granted granted Critical
Publication of CN101180634B publication Critical patent/CN101180634B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种利用由成像设备所拍摄的图像来确定在网络中的成像设备的位置的系统和方法。通过使每个设备检查由其照相机拍摄的图像来获得配备有照相机的通信装置网络的相对位置和朝向。这些设备还配备有可控光源，它们能够按照预定的方式变化其输出。在图像中找到该变化，并且使用该变化来识别出视野中的设备，并且定义与视野中的其它成像设备相关的核点。还识别出图像中的共同参考点。这些成像设备然后彼此交换核点和共同参考点的详情，并且使用它们来获得其相对位置和朝向。

Description

用于确定成像设备位置的系统和方法
技术领域
本发明涉及用于在网络中确定节点位置的系统和方法，更具体地涉及利用由成像设备拍摄的图像识别成像设备的网络中的节点并且确定其位置。
背景技术
许多通信设备正在逐步配备有低成本的图像获取能力。例如，许多蜂窝电话目前装有数字照相机，并且许多袖珍个人计算机(PPC)和个人数字助理(PDA)具有图像获取和通信选项。随着这些设备快速增多，能够实现许多应用，其中将这些设备联网以提供分布式成像能力。
例如，可以将配备有无线通信能力的一组照相机设置在墙壁上以及建筑物周围，然后一起联成网络以形成覆盖建筑物内外的监视系统。这种可迅速投入使用的监视系统例如可以通过军事人员固定目标或者通过应急小队响应于事件例如火灾或者意外事故来使用。
在另一种应用中，分布在运动竞赛周围的可通信照相机的网络可以提供能够三维捕获运动员的动作和位置的成像网络。该信息可以用于在互联网上传输比赛或者用于对运动员表现进行赛后分析。
这种能够通信的照相机的网络也可以用来监视在场景中的其它传感器节点例如温度传感器、加速度计或声学传感器的位置。这些位置估计结果可以用来更好地分析并且解释从这些传感器获得的测量数据。这种功能可以用在建筑物监视应用中，其中可以将传感器信息用于能源管理、气流管理或者入侵检测。
所有这种分布式成像网络应用的共同特征在于需要确定每个图像获取节点的位置，即需要知道每个图像获取节点相对于其它节点的位置和朝向。
许多现有技术位置确定方法采用无线电或声学信号，并且通过检测信号的飞行时间或者相对强度来获得范围信息，该范围信息可以用来重新获得这些节点在网络中的相对位置。但是这些技术不能很容易计算出这些成像设备在网络中的相对朝向。
发明内容
简要的说，本发明的系统和方法利用由网络中的成像设备拍摄的图像来确定这些成像设备的位置。而且，通过为这些成像设备提供图像分析能力，从而本发明显著减轻了与将全部图片发送给中央位置进行处理相关的传输和存储负担。
在一个优选实施例中，在网络中的成像设备各自都检查由其自身的照相机拍摄的图像并且提取有关的信息。然后将该信息与其它成像设备交换，并且使用该信息来计算出这些节点在网络中的相对位置和朝向。
这些成像设备还可以配备有可控光源，其输出按照预定的序列或图案改变。然后可以通过其它成像设备找到具有相应的图像间强度变化的像素，并且使用这些像素来识别哪些成像设备对其来说是可见的。然后可以使用这些像素来定义与那些成像设备相关的核点(epipolar point)。还识别这些图像中的共同参考点。然后在这些成像设备之间交换这些核点和任何共同参考点的位置，并且使用它们来确定成像设备和参考点相对于彼此的位置。
根据本发明的一个方面，提供一种确定至少两个成像设备的定位的方法，所述方法包括：提供第一成像设备，它与第一发光装置协同定位，并且与信息处理单元操作性地链接；提供第二成像设备，它与第二发光装置协同定位，并且与所述信息处理单元操作性地链接；提供参考点；使用所述第一成像设备获取第一图像，所述第一图像具有与所述参考点对应的第一参考像素、以及与和所述第二成像设备协同定位的所述第二发光装置对应的第一核点像素；使用所述第二成像设备获取第二图像，所述第二图像具有与所述参考点对应的第二参考像素、以及与和所述第一成像设备协同定位的所述第一发光装置对应的第二核点像素；将所述第一和第二参考像素和所述第一和第二核点像素的位置传送给所述信息处理单元；并且使用所述信息处理单元、所述第一和第二参考像素和所述第一和第二核点像素确定所述定位。
所述第一和第二成像设备还可以包括通信单元；并且其中所述第一和第二参考像素以及所述第一和第二核点像素的所述位置可以被提供作为相对于图像平面的穿过所述第一和第二成像设备的焦点的法线的角位移。
所述方法还可以包括以下步骤：按照预定序列改变所述第二发光装置的输出；用所述第一成像设备获得多个图像；在具有与所述预定序列相对应的变化的所述多个图像中识别出至少一个像素，由此识别出所述第一核点像素。
所述参考点可以为第三发光装置。
所述改变输出的步骤可以包括改变由所述第二发光装置发出的光的亮度。
所述预定序列可以包括二进制图案。
所述方法还可以包括按照预定序列改变所述第一发光装置的输出的步骤；其中与所述第一成像设备协同定位的所述第一发光装置的输出可以根据第一二进制图案改变，并且与所述第二成像设备协同定位的所述第二发光装置的输出可以根据第二二进制图案改变。
所述第一和第二二进制图案可以彼此同步。
所述参考点可以包括具有根据第三二进制图案改变的输出的第三发光装置。
所述第一和第二成像设备可以为第一和第二配有数字照相机的无线设备，所述第一和第二发光装置可以为可见光发光二极管，并且所述第一和第二二进制图案可以为不同步的八比特二进制图案。
根据本发明的另一个方面，提供一种用于确定至少两个成像装置的定位的系统，该系统包括：用于获取第一图像的第一成像装置，所述第一成像装置与第一发光装置协同定位，并且与信息处理装置操作性地链接；用于获取第二图像的第二成像装置，所述第二成像装置与第二发光装置协同定位，并且与所述信息处理装置操作性地链接；第一图像处理装置，用于检查所述第一图像以识别出与共同参考点对应的第一参考像素、以及与和所述第二成像装置协同定位的所述第二发光装置对应的第一核点像素；第二图像处理装置，用于检查所述第二图像以识别出与所述共同参考点对应的第二参考像素、以及与和所述第一成像装置协同定位的所述第一发光装置对应的第二核点像素；通信装置，用于将所述第一和第二参考像素和所述第一和第二核点像素的位置传送给所述信息处理装置；以及在所述信息处理装置上的定位装置，用于使用所述第一和第二参考像素和所述第一和第二核点像素来获得所述第一和第二成像装置的相对位置和朝向。
所述第一和第二成像装置还可以包括通信装置；其中所述第一和第二参考像素以及所述第一和第二核点像素的所述位置可以被提供作为相对于图像平面的穿过所述第一和第二成像装置的焦点的法线的角位移。
所述第二发光装置的输出可以按照预定序列改变；所述第一成像装置可以获取多个图像；所述第一图像处理装置在具有与所述预定序列相对应的变化的所述多个图像中可以识别出至少一个像素，由此识别出所述第一核点像素。
所述参考点可以为第三发光装置。
由所述第二发光装置发出的光的亮度可以按照预定序列改变。
所述第二发光装置可以按照二进制图案改变。
所述第一发光装置的输出可以按照第一二进制图案改变，并且所述第二发光装置的输出可以根据第二二进制图案改变。
所述第一和第二二进制图案可以彼此同步。
所述参考点可以包括具有根据第三二进制图案改变的输出的第三发光装置。
所述第一和第二成像装置可以是第一和第二配有数字照相机的无线设备，所述第一和第二发光装置可以为可见光发光二极管，并且所述第一和第二二进制图案可以为不同步的八比特二进制图案。
通过参照以下附图将更加全面地理解本发明的这些和其它特征。
附图说明
图1为示出本发明定位系统的一个实施例的基本元素的示意图。
图2为示出识别序列和图像获取的相对定时的示意性时序图。
图3为示出在本发明的3节点定位方法中所使用的矢量和长度的三维图。
图4为示出本发明的方法的一个实施例的代表性步骤的流程图。
具体实施方式
根据本发明的方法，成像设备被提供有足够的图像处理能力，从而只需交换相对少量的数据以便确定在网络中所有节点的位置。具体地说，这些成像设备能够通过检查其自身的图像来有效测量出相对于在其视野范围内的其它网络节点的角度。然后通过与那些节点交换该数据，从而能够相互看到彼此的这些节点可以计算出其相对位置和朝向。然后可以在整个网络上传播该位置确定。
该方法提供了确定多个配有照相机的通信设备的位置的简单直接的方法。该方法比较快捷，并且提供了传感器节点的直接测量数据，包括没有成像能力的盲节点的位置。在另一个实施例中，通过在配有照相机的通信设备上安装主动光源，也可以使用这些图像来识别网络节点。
现在将参照这些附图对本发明的这些和其它优点进行更详细的描述。
图1为示出本发明的定位系统10的一个实施例的基本元素的示意图。该系统10包括两个成像设备12和14，每个都配备有发光装置16和18。成像设备12获取包含有成像设备14的表示27和共同参考对象20的表示31的图像22。类似地，成像设备14获取包含成像设备12的表示29和共同参考对象20的表示33的图像24。
然后，对所获取的图像22和24进行的分析能够提供这两个成像设备12和14的相对朝向和位置。在一优选实施例中，该分析依靠重新获得核点像素26和28以及参考像素30和32在图像22和24中的位置。
参考像素30是在图像22中与共同参考对象20的某些特性最密切对应的像素，例如但不限于参考对象20的中心，并且因此可以是表示31的中央像素。同样，参考像素32可以是在图像24中的表示33的中央像素。
核点像素26是当照相机14出现在由成像设备12所拍摄的图像22中时与照相机14的焦点最密切对应的像素。在本发明的该优选实施例中，假设核点像素26是与成像设备14的发光装置18对应的其中一个像素，并且是照相机14在图像22中的表示27的一部分。类似地，核点像素28是成像设备12出现在由成像设备14所拍摄的图像24中时与成像设备12的焦点最密切对应的像素，并且可以是成像设备12在图像24中的表示29的一部分。
使用核点像素26和28以及参考像素30和32的位置，例如表示为从贯穿成像设备12或14的焦点的图像平面的法线的角位移，信息处理单元34计算出两个成像设备12和14以及参考对象20的位置确定，如在下面详细讨论的一样。
形成分布式成像网络的成像设备12和14例如可以是配备有无线通信能力和数字照相机的PDA，配备有数字照相机的无线电话，或者其某种组合。
图像处理单元34可以是独立的计算机，或者它可以是与成像设备12和14中的一个或另一个相关联的适当编程的微处理器。
发光装置16和18例如可以是发光二极管(LED)或白炽灯泡或者半导体激光器或其某种组合。发光装置16和18可以按照识别出其相关联的成像设备的预定序列来改变其输出。例如，发光装置16和18可以连续闪亮并且熄灭以按照固定的频率重复规定的二进制比特序列。通过检查图像22和24的序列，可以找到以相同的规定二进制比特序列和频率变化的像素，并且使用这些像素来确定核点26和28的位置，并且识别出相关联的成像设备12和14。
成像设备12和14以及发光装置16和18可以工作于任何合适的电磁波谱频率，并且优选在电磁波谱的紫外线到红外线以至微波部分的范围内工作。
图2为示出识别序列和图像获取的相对定时的示意性时序图。曲线图40示出正在改变其输出的发光装置16或18的闪光图案输出。图像样本42示出图像获取相对于闪光图案输出的定时。
在一优选实施例中，经编程的微控制器控制发光二极管产生出具有适当周期的二进制图案40。二进制图案40可以具有任何比特数，并且实际数目可以在期望在相同图像中可看到的成像设备数量与识别出该二进制图案所需的更大视频序列长度之间进行权衡。例如，可以只使用2比特二进制图案来唯一识别出最多两个成像设备，但是将只需要两个图像的序列。另一方面，可以使用长的比特图案例如24比特图案来唯一识别出几千个成像设备，但是将需要获得并且分析24个连续图像的图像序列。类似地，长周期的图案会增大获取图像序列的总时间。由于数字照相机快门速度通常在大约1至10毫秒的范围内，所以二进制图案40的典型频率可以在大约10至100毫秒的范围内。
在一个示例性实施例中，选择周期为67毫秒的八比特二进制图案40。在该示倒性实施例中，成像设备12和14每个都以67毫秒的间隔获取八个图像的序列。在一优选实施例中，不试图使发光装置的变化输出与图像获取同步。可以检查图像序列中的每个像素以在图像序列期间获得最大和最小强度。这可以在红-绿-蓝(RGB)彩色图像的所有通道上完成。作为替换方案，可以只检查来自其中一个通道例如绿色通道的像素来获得对白色对象的强度变化的良好估计。一旦对于每个像素都获得了最大和最小强度值，则进一步分析在图像序列上具有明显变化的那些像素。具体地说，将像素值二进制化，并且检查经过二进制化的强度变化以查看它是否与预定序列相匹配。
在一优选实施例中，因为图像获取和发光装置的变化不同步，所以由于可能在该序列中的任何时刻开始图像获取，因此应对于与预定义的序列的所有循环排列检查该二进制化序列。
在一优选实施例中，该系统对被识别的信号进行欠采样，其含义在于以该信号频率获取图像，而不是如由最佳采样理论所要求的那样最少以该信号频率的两倍进行采样。这种欠采样会导致例如在获取与闪烁图案的转变重叠时不能检测序列。在一优选实施例中，通过频繁重复测量并且依靠照相机和发光装置两者都具有足够的定时变化性(也称为抖动)的事实来克服与欠采样相关联的问题。该方法假设由于该抖动，在随后的测量上，图像获取和闪烁图案转变将不再重叠，并且将检测到该图案。
图3为示出在通过本发明的方法确定三个节点位置中所使用的矢量和长度的三维图形。图3的图形假设了成像设备12和14的焦点位于A和B，并且已经在焦距已知或者已经被确定的意义上校准了其照相机。在图3中，节点C对应于共同参考对象20。然后可以用起源于每个照相机的焦点处的单位矢量来表达核点像素26和28以及参考像素30和32的位置。这些矢量例如能够在笛卡尔坐标系中被参照，所述笛卡尔坐标系被定向为使得其X和Y轴与照相机图像平面平行，并且其Z轴与照相机图像平面垂直。实际上，核点像素26和28以及参考像素30和32被定义为相对于成像设备图像平面的穿过其焦点的法线的角位移。
在这种矢量表示中，Vab为定义了在成像设备12的参考系中的核点像素26的单位矢量，Vba为定义在成像设备14的参考系中的核点像素28的单位矢量，Vac为定义在成像设备12的参考系中的参考点20的单位矢量，并且Vbc为定义在成像设备14的参考系中的参考点20的单位矢量。
因为点A_B和C都位于一个平面(核点平面)上，因此矢量交叉乘积na＝vab^vbc和nb＝vba^vbc两者都定义了那个平面的法线。而且，这些法线和核点矢量通过捕获成像设备的参考系的相对朝向的相同旋转矩阵Rab而相关。具体地说：
vab＝-Rab vab  ...(1)
na＝-Rab nb    ...(2)
还可以构造标准正交矩阵(orthonormal matrix)：
Ra＝[vab na(vabxna)]
并且
Rb＝[-vba-nb(vbaxnb)]
从式1和2以及标准正交矩阵的定义中，可以推导出：
Ra＝RabRb...(3)
这又产生出用于Rab的以下表达式：
Rab＝Ra(Rb)T  ...(4)
求解Rab提供了在节点A和B处具有焦点的两个成像设备12和14的相对朝向。已经求出这两个成像设备的相对朝向，则可以通过考虑形成三角形的矢量来重新获得三个节点A、B和C的相对位置，即
labvab+lbcvbc-lcavca＝0
其中lab，lbc和lca为线段AB、BC和CA的长度。由于该系统是齐次的(homogenous)，所以这些节点的配置只能够求解到正比例因子，即，能够确定三角形ABC的所有角度，但不是绝对尺寸。这是对从运动重构中的所有结构所共有的相同比例不确定性。为了解决这种不确定性，需要额外的距离测量。解决该不确定性的一种方式是识别在这些图像中的具有已知尺寸的共同对象，并且使用该对象来提供绝对距离。甚至是在其中一个图像例如具有平均尺寸的人中具有大致已知的尺寸也允许计算出大致的比例分辨率。
在上述定位方法中，假设节点处于成像设备的焦点处。在该优选实施例中，发光装置16和18与该成像设备协同定位，并且可能不与成像设备的透镜的焦点一致。但是该定位方法是非常好的近似方法，只要在这些节点之间的距离与在发光装置和焦点之间的间隔相比较大。在实际应用中，在这些节点之间的距离为几米，而在发光装置和焦点之间的间隔可以只是几个毫米，从而使得该方法具有非常好的近似。
虽然在上面已经参照两个主动节点和一个被动节点对该方法进行了描述，但是本领域普通技术人员要理解的是，该方法可以延伸至任何数量的主动和被动节点。例如，本领域普通技术人员很容易认可，上述方法可以延伸至包括三个或多个主动照相机。而且，所有成像设备不需要彼此可见。只要存在成像设备的重叠，即在网络中的每个成像设备对于网络中的至少一个其它成像设备是可见的，上述方法就可以延伸至包括任意大的成像设备网络。
图4为示出本发明的方法的代表性步骤的流程图。
在步骤44中，通过主动节点即通过网络中的成像设备来获得图像序列。
在步骤46中，分析通过每个主动节点获得的图像序列。在一个优选实施例中，通过在作为成像设备的一部分的处理器上运行的软件来完成这项分析。在作为替换的实施例中，可以将这些图像中的一些或全部发送给另一个用于处理的设备，例如但是不限于配备有更大处理能力的另一个成像设备，或发送给中央位置。
在步骤48中，通过找到其中其发光装置正在改变的预定序列来识别出每个图像序列中的主动节点。
在步骤50中，例如通过使用标准图案识别技术例如但不限于模板匹配来识别图像序列中的被动节点。
在步骤52中，使用与所识别出的主动节点相关联的像素来确定核点的位置，并且使用与被动节点相关联的像素来确定参考点的位置。
在步骤54中，对核点和参考点进行通信。该通信例如可以涉及所有相互识别的成像设备交换数据，或者它可以涉及将所有数据发送给那些设备的子集或者发送给单个处理点。通过任何合适的手段包括使用电磁波谱以无线形式或通过合适的连接器例如但不限于导线或光纤来进行该通信，或者该通信可以是声道例如但不限于超声波或音频声学信号，或者这些方法的某些组合。在一个优选实施例中，该通信通过在MHz到GHz频率范围中的无线传输的电磁辐射来进行。
在步骤56中，可以使用上面详细描述的技术来确定网络中的节点的位置。例如可以通过位于成像设备上或与之相关联的处理器来完成这种定位，或者可以在远程或中央位置来实现这种定位。
在步骤58中，例如通过识别其中一个图像中的具有已知尺寸的对象来确定网络的尺寸。然后可以通过网络传播该尺寸。
在该系统的其它实施例中，可以建立起如上所详述的能够协同定位的网络，其中该网络的所有节点是智能照相机模块，即与通信模块和闪烁发光装置相关联的成像设备。作为替换方案，可以建立这样的网络，其中至少两个节点是能够协同定位的智能照相机模块，同时该网络中的一个或多个其它节点是其它主动或被动装置，例如但不限于中继装置、图像处理器、信标、传感器装置或存储器装置。
在本发明的另一个实施例中，由至少两个协同定位的成像设备拍摄的图像可以被发送给远程或中央位置。在这种位置中，可以将从多个已定位的成像设备接收到的图像集成来形成至少一个复合图像，其呈现出与单个图像相比更宽的视野。复合图像可以是二维或三维图像，并且例如可以用于多种目的，例如包括监视、情况评估、二维或三维重构以及环境监测。
在本发明的另一个实施例中，至少一个成像设备可以具有多个图像捕获表面例如但不限于多个电荷耦合器件(CCD)。
在又一个实施例中，至少一个成像设备可以具有允许扩大视野的光学系统，例如但不限于能够实现180度视野的鱼眼透镜。例如可以将两个这种装置背靠背地放置以有效地提供360度视野。
上述步骤中的一些或全部可以采用标准并且公知的计算机编程技术来实施。上述实施例的新颖性不依赖于具体编程技术或所采用的编程语言，而是在于使用了所述用来实现所述结果的步骤。包含本发明的全部或一部分的软件编程代码通常存储在某种类型的永久性存储器中，例如在成像设备上的永久性存储器，或者存储在与中央工作站相关联的存储装置上。在客户端/服务器环境中，这种软件编程代码可以被存储在与服务器相关联的存储器上。该软件编程代码可以包含在供数据处理系统使用的各种已知媒介的任何一种上，例如CMOS存储器、闪存器、盘、硬盘驱动器或CD-ROM。该代码可以分布在这种介质上，或者可以从一个计算机系统的存储器或存储装置通过通向供其它计算机系统的用户使用的这种其它系统的某种类型的网络而分发给用户。在物理介质上实现软件程序代码和/或通过网络分发软件代码的技术和方法是公知的，并且在这里将不再进一步讨论。
虽然已经采用结构特征和/或方法步骤所专用的语言对本发明进行了描述，但是要理解，在所附权利要求中所限定的本发明不必限于所述的具体特征或步骤。这些具体特征和步骤只是被披露为实现所要求保护的发明的示例性形式。

Claims (20)

1.一种确定至少两个成像设备的定位的方法，所述方法包括：
提供第一成像设备，它与第一发光装置协同定位，并且与信息处理单元操作性地链接；
提供第二成像设备，它与第二发光装置协同定位，并且与所述信息处理单元操作性地链接；
提供参考点；
使用所述第一成像设备获取第一图像，所述第一图像具有与所述参考点对应的第一参考像素、以及与和所述第二成像设备协同定位的所述第二发光装置对应的第一核点像素；
使用所述第二成像设备获取第二图像，所述第二图像具有与所述参考点对应的第二参考像素、以及与和所述第一成像设备协同定位的所述第一发光装置对应的第二核点像素；
将所述第一和第二参考像素和所述第一和第二核点像素的位置传送给所述信息处理单元；并且
使用所述信息处理单元、所述第一和第二参考像素和所述第一和第二核点像素确定所述定位。
2.如权利要求1所述的方法，其中所述第一和第二成像设备还包括通信单元；并且其中所述第一和第二参考像素以及所述第一和第二核点像素的所述位置被提供作为相对于图像平面的穿过所述第一和第二成像设备的焦点的法线的角位移。
3.如权利要求1所述的方法，还包括以下步骤：
按照预定序列改变所述第二发光装置的输出；
用所述第一成像设备获得多个图像；
在具有与所述预定序列相对应的变化的所述多个图像中识别出至少一个像素，由此识别出所述第一核点像素。
4.如权利要求3所述的方法，其中所述参考点为第三发光装置。
5.如权利要求3所述的方法，其中改变输出的步骤包括改变由所述第二发光装置发出的光的亮度。
6.如权利要求3所述的方法，其中所述预定序列包括二进制图案。
7.如权利要求6所述的方法，还包括按照预定序列改变所述第一发光装置的输出的步骤；其中与所述第一成像设备协同定位的所述第一发光装置的输出根据第一二进制图案改变，并且与所述第二成像设备协同定位的所述第二发光装置的输出根据第二二进制图案改变。
8.如权利要求7所述的方法，其中所述第一和第二二进制图案彼此同步。
9.如权利要求7所述的方法，其中所述参考点包括具有根据第三二进制图案改变的输出的第三发光装置。
10.如权利要求7所述的方法，其中所述第一和第二成像设备为第一和第二配有数字照相机的无线设备，所述第一和第二发光装置为可见光发光二极管，并且所述第一和第二二进制图案为不同步的八比特二进制图案。
11.一种用于确定至少两个成像装置的定位的系统，该系统包括：
用于获取第一图像的第一成像装置，所述第一成像装置与第一发光装置协同定位，并且与信息处理装置操作性地链接；
用于获取第二图像的第二成像装置，所述第二成像装置与第二发光装置协同定位，并且与所述信息处理装置操作性地链接；
第一图像处理装置，用于检查所述第一图像以识别出与共同参考点对应的第一参考像素、以及与和所述第二成像装置协同定位的所述第二发光装置对应的第一核点像素；
第二图像处理装置，用于检查所述第二图像以识别出与所述共同参考点对应的第二参考像素、以及与和所述第一成像装置协同定位的所述第一发光装置对应的第二核点像素；
通信装置，用于将所述第一和第二参考像素和所述第一和第二核点像素的位置传送给所述信息处理装置；以及
在所述信息处理装置上的定位装置，用于使用所述第一和第二参考像素和所述第一和第二核点像素来获得所述第一和第二成像装置的相对位置和朝向。
12.如权利要求11所述的系统，其中所述第一和第二成像装置还包括通信装置；其中所述第一和第二参考像素以及所述第一和第二核点像素的所述位置被提供作为相对于图像平面的穿过所述第一和第二成像装置的焦点的法线的角位移。
13.如权利要求11所述的系统，其中所述第二发光装置的输出按照预定序列改变；所述第一成像装置获取多个图像；所述第一图像处理装置在具有与所述预定序列相对应的变化的所述多个图像中识别出至少一个像素，由此识别出所述第一核点像素。
14.如权利要求13所述的系统，其中所述参考点为第三发光装置。
15.如权利要求13所述的系统，其中由所述第二发光装置发出的光的亮度按照预定序列改变。
16.如权利要求13所述的系统，其中所述第二发光装置按照二进制图案改变。
17.如权利要求16所述的系统，其中所述第一发光装置的输出按照第一二进制图案改变，并且所述第二发光装置的输出根据第二二进制图案改变。
18.如权利要求17所述的系统，其中所述第一和第二二进制图案彼此同步。
19.如权利要求17所述的系统，其中所述参考点包括具有根据第三二进制图案改变的输出的第三发光装置。
20.如权利要求17所述的系统，其中所述第一和第二成像装置是第一和第二配有数字照相机的无线设备，所述第一和第二发光装置为可见光发光二极管，并且所述第一和第二二进制图案为不同步的八比特二进制图案。
CN2006800174153A 2005-03-30 2006-03-29 用于确定成像设备位置的系统和方法 Expired - Fee Related CN101180634B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/093,748 US7421113B2 (en) 2005-03-30 2005-03-30 System and method for localizing imaging devices
US11/093,748 2005-03-30
PCT/US2006/011490 WO2006105210A2 (en) 2005-03-30 2006-03-29 A system and method for localizing imaging devices

Publications (2)

Publication Number Publication Date
CN101180634A CN101180634A (zh) 2008-05-14
CN101180634B true CN101180634B (zh) 2011-10-05

Family

ID=37054089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800174153A Expired - Fee Related CN101180634B (zh) 2005-03-30 2006-03-29 用于确定成像设备位置的系统和方法

Country Status (8)

Country Link
US (2) US7421113B2 (zh)
EP (1) EP1877955A2 (zh)
JP (1) JP4681043B2 (zh)
KR (1) KR20080012270A (zh)
CN (1) CN101180634B (zh)
AU (1) AU2006230285B2 (zh)
CA (1) CA2602810A1 (zh)
WO (1) WO2006105210A2 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2137548A2 (en) * 2007-03-21 2009-12-30 Nxp B.V. Camera arrangement and method for determining a relative position of a first camera with respect to a second camera
KR100936275B1 (ko) * 2007-08-24 2010-01-13 한국과학기술원 동기식 식별마커를 이용한 위치인식장치 및 위치인식방법
US8577083B2 (en) 2009-11-25 2013-11-05 Honeywell International Inc. Geolocating objects of interest in an area of interest with an imaging system
US20120250984A1 (en) 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Image segmentation for distributed target tracking and scene analysis
CN103019391A (zh) * 2011-09-22 2013-04-03 纬创资通股份有限公司 利用所撷取键盘影像作为指令输入依据的输入装置及方法
CN103512557B (zh) * 2012-06-29 2016-12-21 联想(北京)有限公司 电子设备间相对位置确定方法及电子设备
US9167160B2 (en) * 2012-11-14 2015-10-20 Karl Storz Imaging, Inc. Image capture stabilization
US9687950B2 (en) * 2013-03-13 2017-06-27 Trimble Inc. System and method for positioning a tool in a work space
CN104346805B (zh) * 2013-08-08 2018-01-19 联想(北京)有限公司 一种位置标定方法及电子设备
CN104714833B (zh) * 2013-12-16 2018-12-14 联想(北京)有限公司 一种信息处理方法及装置
EP3113485A1 (en) * 2015-07-03 2017-01-04 LG Electronics Inc. Mobile terminal and method for controlling the same
US20170155572A1 (en) 2015-11-30 2017-06-01 International Business Machines Corporation Relative positioning of a mobile computing device in a network
TWI604417B (zh) * 2016-08-31 2017-11-01 國立交通大學 估算對極幾何模型的方法及其系統
CN108089152B (zh) * 2016-11-23 2020-07-03 杭州海康威视数字技术股份有限公司 一种设备控制方法、装置及系统
US10110994B1 (en) 2017-11-21 2018-10-23 Nokia Technologies Oy Method and apparatus for providing voice communication with spatial audio

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1372674A (zh) * 2000-07-04 2002-10-02 卡西欧计算机株式会社 用于核对图像的装置和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148591A (en) * 1981-05-11 1992-09-22 Sensor Adaptive Machines, Inc. Vision target based assembly
JPH11211414A (ja) * 1998-01-30 1999-08-06 Osaka Gas Co Ltd 位置検出システム
JP4033582B2 (ja) * 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
US6661913B1 (en) * 1999-05-05 2003-12-09 Microsoft Corporation System and method for determining structure and motion using multiples sets of images from different projection models for object modeling
US6614429B1 (en) * 1999-05-05 2003-09-02 Microsoft Corporation System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling
US6993179B1 (en) * 2000-08-07 2006-01-31 Koninklijke Philips Electronics N.V. Strapdown system for three-dimensional reconstruction
JP4259786B2 (ja) * 2000-10-04 2009-04-30 株式会社リコー 情報取得システム
US6851999B2 (en) * 2002-10-04 2005-02-08 Peter Sui Lun Fong Interactive LED device
US7228006B2 (en) * 2002-11-25 2007-06-05 Eastman Kodak Company Method and system for detecting a geometrically transformed copy of an image
JP3787700B2 (ja) * 2002-11-29 2006-06-21 株式会社 渡守建設 シールド推進工法における推進体の推進軌跡の計測装置ならびに計測方法
JP2004193947A (ja) * 2002-12-11 2004-07-08 Fuji Xerox Co Ltd 三次元撮像装置および方法
JP4136859B2 (ja) * 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
US7359526B2 (en) * 2003-03-11 2008-04-15 Sarnoff Corporation Method and apparatus for determining camera pose from point correspondences
JP2004291186A (ja) * 2003-03-27 2004-10-21 Ntt Docomo Inc ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置
JP4469148B2 (ja) * 2003-08-06 2010-05-26 パナソニック株式会社 監視システム、固定カメラ、移動カメラおよび撮影方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1372674A (zh) * 2000-07-04 2002-10-02 卡西欧计算机株式会社 用于核对图像的装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yu et al.Dynamic calibration of stereo photogrametric system based onoptical reference bar.Proc. SPIE4921.2002,4921104-114. *

Also Published As

Publication number Publication date
AU2006230285B2 (en) 2011-09-01
CA2602810A1 (en) 2006-10-05
US7522765B2 (en) 2009-04-21
JP4681043B2 (ja) 2011-05-11
WO2006105210A2 (en) 2006-10-05
AU2006230285A1 (en) 2006-10-05
JP2008536112A (ja) 2008-09-04
WO2006105210A3 (en) 2007-11-15
US7421113B2 (en) 2008-09-02
KR20080012270A (ko) 2008-02-11
CN101180634A (zh) 2008-05-14
US20060227999A1 (en) 2006-10-12
EP1877955A2 (en) 2008-01-16
US20080159593A1 (en) 2008-07-03

Similar Documents

Publication Publication Date Title
CN101180634B (zh) 用于确定成像设备位置的系统和方法
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
US11568511B2 (en) System and method for sensing and computing of perceptual data in industrial environments
CN111339997A (zh) 火点区域的确定方法及装置、存储介质和电子装置
CN107589551A (zh) 一种多孔径偏振成像装置及系统
US20020131643A1 (en) Local positioning system
CN117197789A (zh) 基于多尺度边界特征融合的幕墙框识别方法及系统
CN116580107A (zh) 一种跨视角多目标实时轨迹跟踪方法与系统
US20220321780A1 (en) Systems and Methods for Capturing and Generating Panoramic Three-Dimensional Models and Images
US20220003875A1 (en) Distance measurement imaging system, distance measurement imaging method, and non-transitory computer readable storage medium
CN114374903B (zh) 拾音方法和拾音装置
CN109323691A (zh) 一种定位系统以及定位方法
CN106685528A (zh) 一种基于可见光通信的监控系统和监控方法
CN209708169U (zh) 一种影厅观影人数监测系统
CN208366322U (zh) 测距群机器人及系统
Zhang et al. Indoor visible light positioning combining photometry and imaging
AU2011204965B2 (en) A system and method for localizing imaging devices
CN108225259A (zh) 测距群机器人及系统
Akdemir et al. Real-time vehicle localization and tracking using monocular panomorph panoramic vision
CN109143168B (zh) 基于可见偏振光干涉的定位方法
US20210104094A1 (en) Image processing to determine radiosity of an object
Lichtenegger et al. Simulation of fingerprinting based Visible Light Positioning without the need of prior map generation
Khan et al. Low-Cost Optical Camera Communications for IoT
US20210314477A1 (en) Exposure control of captured images
Zheng et al. High Accuracy, Extended Moving Area Positioning System Utilizing Wide-Angle Lens and Light-Emitting Diodes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111005

Termination date: 20120329