CN101513078A - 识别和校准全景光学系统的方法和装置 - Google Patents

Abstract

本发明涉及一种光学系统(WAO)，其包含图像传感器(2)和将场景图像(PI)投射到图像传感器上的前透镜(1)，其特征在于包含将图像传感器(2)提供的图像中的至少一个可见标记(10a，10b，10c)引入光学系统的标记装置。

Description

识别和校准全景光学系统的方法和装置

技术领域

本发明涉及互补型金属氧化物半导体成像器(CMOS imagers)，具体说，涉及互补型金属氧化物半导体成像器的微透镜阵列结构和制造该微透镜阵列的方法。

背景技术

以下对术语进行说明：

1.全景光学器件：一种总体上具有大于120度视场的可以折射和/或反射兼折射(无论是否相关于透镜和镜子)的光学系统。该全景光学器件本身可以分成以下定义的两种主要的类群。

极广角光学器件：一种主要由多个透镜组成的折射光学系统，其视场(field of view，FOV)大于120度。此类群又分成以下定义的两种光学系统。

鱼眼光学器件：轴对称的极广角光学器件(总体上大于160度)，其角分布函数理想地趋于常数。

全景成像(Panomorph)光学器件：一种为了增加所关注区带的分辨率以及优化传感器上的最终图像所覆盖的区域而具有更大和各种非对称(畸变)、或者可变角分布函数、或者甚至是两者的结合的可能性的极广角光学器件。

1.2.反射兼折射光学器件：一种由一个或多个各种形状的反射镜组成的系统，所述反射镜无论是否整合到折射元件中，也无论是否与附加的透镜组结合，都提供大于120度的视角。

2.全视野系统：由全景光学系统、图像传导系统和数字处理系统组成的总成，其中该数字处理系统能够通过矫正全景光学器件引起的失真而重建透视。

3.全景投射区带：拍摄或摄制的环境投射到其上的传感器(或图像的)区带。

4.邻接投射区带：未使用的传感器表面，其位于全景投射区带的周围(通常在全景光学器件的情况下)和/或中央(特别是在反射兼折射光学器件的情况下)。

二十世纪九十年代末期以来，大量被称为“浸入式(immersive)”的技术就一直试图进入视频会议和视频监控市场。全视野或浸入式装置，或者还有360°的装置，所提供的主要优点在于，仅需一个摄像机就能够使多个使用者同时在多个方向上进行观察的可能性。

尽管如此，虽然有这样明显的优点，但这种技术在过去的15年中仅有微小突破。

这样的商业困境缘于多种技术原因，其主要缘于全景视频系统的图形分辨率的缺乏(现已通过使用高分辨率传感器和/或使用全景光学器件来克服部分问题)。另外，将浸入式技术集成到现有基础结构和系统中的方法的复杂性也成为主要的难题。

该复杂性主要缘于这样的事实，即全景摄像机(全视野系统)必须通过大量的手工操作的方法每次一个地加以校准。因此，这就需要合格的经过训练的职员完成此任务。

实际上，全景光学器件将约为半球状的空间环境以极高的失真率投射到平面传感器(图像平面)上。因此，需要了解全部的特性(校准)，以通过消除失真从而模拟机动驱动摄像机来重新塑造并矫正一部分图像的透视。用于校准全景光学器件的四个主要参数如下：

1.全景光学器件的失真类型(空间中像素失真的函数)，以及传感器(全景投射区带)上经拉伸的图像的形状，

2.全景光学器件的总视角，

3.传感器上图像的位置和方向(panomorphic光学器件的情况下)，以及

4.传感器上图像的大小。

如果除了投射图像之外不能获得其它信息，那么确定所有这些特性远非那么简单。此外，自动检测或校准演算法会经常出错。

为了克服这些困难，目前上市的大部分浸入式技术为或多或少具有相同角分布函数和相同视角的专有解决方案。因而，如果不寻求与竞争系统兼容，就很容易在软件中定义上述前两个参数的默认值。

另一方面，后两个参数取决于图像传感器相对于物镜的定位。因此，它们在不同的照相机之间差别极大，即使照相机由相同的组件组成。

因此，全景系统制造商已设计出主要是手工或半自动、有时是自动的校准方法，尽管自动校准方法最后有高误差率。自动和半自动方法能够生成校准和识别数据，这些数据必须与各照相机相关并与各全景图像处理或显示系统共享。该方法的主要缺点是其需要为此目的而训练的技术人员的工作。

这就是为什么全视野系统制造商们通常选择上市整合的技术，其不是由全景光学器件组成，而是完全由全视野的专有系统(光学器件、照相机和软件)组成。因而校准可以在工厂手工完成。该解决方案倾向于在源头增加全视野系统的成本。此外，该解决方案不允许改善现有的照相机群体，而这些照相机群体代表了最大的市场份额。

本发明的目的在于允许在极大的照相机群体上有效配置和使用全视野系统，而不需要高成本的职员干预，或者甚至系统地参照各照相机。

具体说，本发明的目的在于通过完全自动或半自动数字处理允许自动确定上述可用于极广角光学器件的四个参数。

本发明的一个思想是在照相机中预见标记，使光学器件能够识别和校准。

在先技术中，极广角或更严格限制角度的光学器件不趋向于被图像传感器上任何信息的投射表征，该信息在光学器件的视场中不出现。总体上，即使信息投射装置整合到支架中或紧密结合到系统中，其也完全处于光学系统之外。

此外，场景被普遍表征，而不是光学器件。例如，US20050183273号专利申请公开了一种将标记，例如标志、参考标记等，投射到场景而非传感器上的装置。这些标记具有不同的用途，例如测定的性能、运动场限制标记或简单讯息的投射。

在US20030147594号专利申请中，预见到将标记直接应用到光学组件上，其目的是将其在装配整个光学系统过程中准确地导向。如果可以应用，这些标记允许组件的识别，但不允许整个系统的识别，并且不产生任何有关传感器的附加信息，用以表征整个光学系统。

US20040247120号专利申请考虑到了将信息直接定位到传感器电子学中。该申请公开了一种通过避免对人类观察者造成图像感知变化的方式(在技术术语中通常称为“水印”)将可见或加密信息数字化地添加至图像的装置。其中，这些装置通过将记号置于图像中而赋予防复制保护。

最后，还有大量的方法和装置，如US20040144845号专利申请所述，允许将非常特殊的标记直接置于物体上，其仅能被专为此目的而校准的装置所读取。本发明针对一种能够识别和校准全景光学系统的方法和装置。

发明内容

本发明针对一种能够识别和校准全景光学系统的方法和装置。

该目的通过预见一种包含图像传感器和将场景图像投射到图像传感器上的前透镜的光学系统来实现。根据一实施例，该光学系统包含将图像传感器提供的图像中的至少一个可见标记引入光学系统中的标记装置。

根据本发明一实施例，标记装置将至少一个标记投射到图像传感器上、图像传感器上的场景图像的投射区带之外。

根据本发明一实施例，标记装置包含发光的光源，该光通过至少一个标记以可见和/或不可见光谱向图像传感器传送或反射。

根据本发明一实施例，至少一个标记为全息图。

根据本发明一实施例，至少一个标记给出有关操作条件的信息，或其它任何有关光学系统和/或处理系统和/或与光学系统相关的观察系统的信息。

根据本发明一实施例，标记装置包含用于以使标记显现在图像传感器提供的图像中的方式针对透镜表面引入至少一个标记的器件，其中该表面对于将图像投射到图像传感器上来说是无用的。

根据本发明一实施例，引入标记的无用表面位于前透镜的侧面。

根据本发明一实施例，引入标记的无用表面被制成霜状表面。

根据本发明一实施例，标记装置包含用于通过使标记显现在图像传感器提供的图像中的方式将至少一个标记引入光学系统的控光装置附近的器件。

根据本发明一实施例，标记装置包含用于将至少一个标记直接投射到图像传感器上的器件。

根据本发明一实施例，标记装置包含光源和形成至少一个标记的掩模，光源产生的光线通过该掩模进入光学系统并到达图像传感器。

根据本发明一实施例，标记装置包含位于光源和掩模之间的散射构件。

根据本发明一实施例，标记装置包含将来自光源的光导至掩模的导光装置。

根据本发明一实施例，标记装置包含将来自光源的光变向到掩模的反射表面。

根据本发明一实施例，光学系统包含控光装置，来自至少一个标记的光线穿过该控光装置并到达图像传感器。

根据本发明一实施例，标记装置包含正光学零件(optical item ofpositive power)，其将来自至少一个标记的光线导向图像传感器。

根据本发明一实施例，标记装置包含反射表面，其将来自至少一个标记的光线导向图像传感器。

根据本发明一实施例，标记装置包含衍射零件，其将来自至少一个标记的光线导向图像传感器。

根据本发明一实施例，至少一个标记被投射或施加到中间图像平面上或其附近。

根据本发明一实施例，光学系统包含机械调准装置，其调整标记装置、光学系统和图像传感器的相对位置。

根据本发明一实施例，调准装置能在平行于图像传感器平面的平面中调整光学系统相对于图像传感器之相对位置，以及/或者相对于图像传感器调整光学系统环绕光学系统的光轴的角位置。

根据本发明一实施例，标记装置将至少一个可见标记从光学系统外引入光学系统。

根据本发明一实施例，至少一个标记由标记装置通过前透镜的表面引入光学系统，其中该表面对于将场景图像投射到图像传感器上来说是无用的，标记从光学系统外通过前透镜可以看到。

根据本发明一实施例，从光学系统外透过前透镜可以看到的标记与光源相关联。

根据本发明一实施例，光源能够通过前透镜向外部发射足够的光，以点亮光学系统观察到的全部或部分场景。

本发明还针对一种用于识别将场景图像投射到图像传感器上的光学系统的方法。根据一实施例，该方法包含以下步骤：将至少一个标记以这样一种方式引入光学系统，即该标记在图像传感器提供的图像中是可见的，在图像传感器提供的图像中搜索至少一个标记，识别至少一个找到的标记并从识别的标记识别光学系统。

根据本发明一实施例，标记投射到图像传感器上、图像传感器上的场景图像的投射区带之外。

根据本发明一实施例，通过传送或反射由光源发射的光将至少一个标记以可见和/或不可见光谱向图像传感器投射。

根据本发明一实施例，该方法包含，将至少一个标记，通过对投射图像到图像传感器来说无用的透镜的一个表面，以使标记显现在图像传感器提供的图像中的方式引入的步骤。

根据本发明一实施例，引入标记的透镜表面位于前透镜的一个侧面上。

根据本发明一实施例，该方法包含以使标记显现在图像传感器提供的图像中的方式将至少一个标记引入光学系统控光装置附近的步骤。

根据本发明一实施例，该方法包含将至少一个标记直接投射到图像传感器上的步骤。

根据本发明一实施例，该方法包含调整光学系统、图像传感器以及将标记引入光学系统的标记装置的相对位置的步骤。

根据本发明一实施例，该方法包含在平面中调整光学系统相对于图像传感器的相对位置的步骤和/或调整光学系统相对于图像传感器环绕光学系统的光轴的角位置的步骤。

根据本发明一实施例，搜索与识别步骤中的至少一个通过数字方法执行。

根据本发明一实施例，至少一个标记是几何形状的结构排列，其共同形成编码一条识别信息物件的组合。

根据本发明一实施例，在图像中搜索标记的步骤包含，施加数字阈值处理以分离图像的某些颜色和/或检测包含一个对至少一个标记来说是特定的特性的图像区带的步骤。

根据本发明一实施例，在图像中搜索标记的步骤包含，施加对图案识别之数字处理，其分析图像中检测出来的形状的固有几何特性，以及/或者将检测到的形状与参考形状进行比较。

根据本发明一实施例，至少一个标记相关于表征光学系统的光学性质之信息物件。

根据本发明一实施例，至少一个标记相关于表征包括光学系统的全视野系统的性质或操作状态之信息。

根据本发明一实施例，至少一个标记相关于表征光学系统的范围或族群之信息。

根据本发明一实施例，该方法包含以下步骤：分析识别的至少一个标记的位置和/或方向和/或尺寸，以通过比较或计算来确定投射到图像传感器上的场景图像的位置和/或方向。

根据本发明一实施例，该方法包含以下步骤：分析识别的至少一个标记的位置和/或方向和/或尺寸，以通过比较或计算来确定投射到图像传感器上的场景图像的轮廓。

根据本发明一实施例，该方法包含应用一个或多个轮廓检测演算法的迭代来确定投射到图像传感器上的场景图像的轮廓的步骤。

根据本发明一实施例，该方法包含将识别标记所收集的信息和/或有关包括光学系统的全视野系统的信息相关于计算机文件或者临时或永久变量中。

根据本发明一实施例，该方法包含至少一步由操作者从至少一个标记中引入或选择数据的步骤。

根据本发明一实施例，该方法包含至少一步以标记能从光学系统外看到的方式将至少一个标记引入光学系统的步骤。

根据本发明一实施例，该方法包含针对透镜表面引入至少一个标记的步骤，其中该表面对于将场景图像投射到图像传感器上来说是无用的，标记从光学系统外透过前透镜可以看到。

附图说明

本发明的这些以及其他目的、特性和优点将在以下本发明的具体实施例中结合附图以非限定的方式进行更详细的说明，其中：

图1是根据本发明一实施例装有标记装置的极广角光学系统的侧视图，

图2a和2b是图1所示光学系统的一部分的视图，表示标记装置的变型，

图3是根据本发明另一实施例装有标记装置的极广角光学系统的侧视图，

图4a和4b是图3所示光学系统的一部分的视图，表示标记装置的变型，图5以透视图示意性表示根据本发明装有多个标记装置的极广角光学系统，

图6表示以透视图表示根据本发明的调准装置，其能够调整光学系统相对于传感器的相对位置，

图7a至7d表示根据本发明的标记的实例，

图8表示根据本发明的光学系统识别方法的步骤，

图9表示根据本发明的全景光学器件自动校准方法的步骤，

图10是结合有根据本发明另一实施例中与标记相关且具有极广角的光学系统的前透镜的后四分之三的透视图。

具体实施方式

I—将标记投射到图像平面上的光学系统的标记装置

图1表示具有极广角的光学系统WAO。该光学系统包含具有极广角的前透镜1、图像传感器2、包含例如靠前透镜1设置的一个负透镜和设置在负透镜与控光装置5之间的正透镜的一组前透镜3以及置于控光装置5和图像传感器2之间的一组后透镜6。

前透镜1包含前表面1a、环绕在很大程度上为半球状的中央腔1c周围的后平面1b以及位于前表面1a和后平面1b之间的侧面圆柱形表面1d。

根据本发明一实施例，WAO光学系统包含标记装置21。该标记装置将一个或多个标记(视觉信息)以使标记在图像传感器2生成的图像中可以看见的方式引入光学系统中。

这种标记以其不遮掩场景图像的方式被引入到WAO光学系统的一个或多个位置。

根据光学系统的特性，根据本发明提供足够的位置来插入标记装置。因此，标记装置生成的标记通过光学系统的透镜侧面和/或通过图像传感器2前面的独立路径引入。

在同一光学系统中可以提供多种不同的标记装置来从各种来源传导信息或各种标记。

标记表示一个或多个标志、代码、符号、字母、数字或其他任意记号。

a—通过前透镜投射标记的标记装置

图1中，一个或多个标记通过前透镜1不同于有用外表面1a的光学表面引入光学系统中。所选择的表面不用于投射图像传感器观察到的场景图像。

在图1的实例中，该表面位于透镜1的侧面。实际上，在极广角光学器件中，前透镜的一般特性允许光线通过侧面1d进入。此选择在大多数情况下是优选的，因为这是最简单和成本最小的解决方案。该解决方案能够在图像传感器上获得质量较好的标记的图像，因为其获益于整个光学系统提供的对来自观察场景的光线的矫正和调焦。

根据一实施例，光源22、例如发光二极管(LED)设置在距前透镜1的侧面1d一定的距离。

根据一实施例，含有标记的掩模23设置在前透镜1的侧面1d上或与其接近。

根据一实施例，掩模23可以直接与侧面1d接触或位于距该表面与光源22之间的一定距离上。

前透镜1的侧面1d可以制成霜状以散射光。在这种情况下，掩模23在前透镜1的侧面1d上形成或位于紧靠前透镜1的侧面1d，或者位于接近侧面。

根据一实施例，散射构件24也可以设置成与掩模23接触。然后将散射构件24置于掩模和光源22之间。

包含光源22、散射构件24以及掩模23的总成形成传导器总成21。

传导器总成21产生的一定量的光通过前透镜的侧面1d传入前透镜。这些光量形成窄光束25，其通过透镜1导向WAO光学系统的内部。窄光束25对应于由光学系统的入射狭缝(光瞳)的特性决定的接收光锥。该光锥的大小由控光装置5的大小决定。

只有穿过控光装置5的光锥的光线被认为对标记有用。穿过控光装置5的光线由透镜组6聚焦到图像传感器2上，生成由掩模23形成的标记的图像。

透镜1的侧面1d上的发射总成21的位置决定图像传感器2的感光表面(图像平面)上的标记的图像位置。图像传感器上的标记的图像位于图像传感器上形成的观察到的场景的全景图像的投射区带之外。

更具体地说，图像传感器2的感光表面上的标记的图像位置是相对于光学系统的光轴O的角位置以及光学系统的光轴O与发射总成21之间的距离的函数，并且也是图像传感器2的方向的函数。

图像传感器2上的标记的准确位置可以借助于光学设计软件或通过其他任何的计算工具、或者通过经验方法确定。

应该注意的是，发射器总成21产生的一定量的光可以在光锥25之外发现。这些公知的“杂散光(spurious light)”光量在前透镜1中自由传播。在前透镜1的前表面2a和后表面2b上使用抗反射涂膜能减少前透镜的前表面和后表面上的反射和/或折射发出的杂散光，该杂散光可以在图像传感器2上发现。该杂散光可以在图像传感器的感光表面上的全景图像投射区带和邻接投射区带中产生标记的“重影”图像。

图像传感器2上的杂散光的影响，可以通过动态调整发射总成21的强度，而使图像传感器无法检测到“重影”图像、或者防止“重影”图像影响图像传感器提供的全景图像的质量，来减弱、甚至消除。

根据其他实施例，例如图2a和2b给出的实施例，传导器总成21可以替换实现。

根据图2a所示的实施例，来自光源22的光通过反射表面27被变向到散射构件24，然后是掩模23。

根据图2b所示的实施例，来自光源22的光通过一个和多个导光装置28被变向到散射构件24，然后是掩模23。

当然，标记装置也可以通过WAO光学系统的其他透镜而不是前透镜1将标记引到图像传感器上。如图1所示的实例，标记通过透镜的表面引入，该表面不用于将观察场景的图像投射到图像传感器上。

b—将标记投射到光学系统的其他透镜的标记装置

图3表示极广角或多或少与图1相同的WAO光学系统。同样的零件用相同的数字标记。

根据本发明一实施例，图3所示的WAO光学系统包含位于控光装置5后面或围绕控光装置5的标记装置。

标记装置包含例如前述实施例所述的光发射器总成21。因此，光发射器总成21包含例如发光二极管(LED)的光源22、以及与光源接触或接近光源的含有标记的掩模23。

根据一实施例，散射构件24也可以设置成与掩模23接触，置于掩模和光源22之间。

正光强度光学零件35，例如正透镜，以这样的方式设置，即在无穷远或在图像传感器2的共轭位置生成掩模图像。该共轭位置由光学系统的后透镜组6确定。掩模23的理想位置正好位于光学零件35的焦点上。

光学零件35提供准校准光，其之后被折返镜36变向至透镜组6。该镜的方向决定准校准入射光37在透镜组6上的投射角γ。被变向至透镜组6光而后被聚焦在图像传感器2的感光表面的图像平面中。

标记的图像的位置PM可以如下相对于传感器2的中心或光学系统的光轴O概括地估算：

PM＝EFL(N)xγ                       (1)

其中，EFL(N)为后透镜组6的焦距。

对位置PM进行调整，以保证标记图像处于图像传感器2的感光表面上，在通过WAO光学系统观察到的全景场景的投射区带之外。

必须注意的是，镜36可以用衍射光学零件替换。

c—将标记直接投射到图像平面上的标记装置

根据图4a、4b所示的实施例，还可以在最后的透镜6和图像传感器2之间包括与光学系统整合在一起或不整合在一起的标记装置。

作为可适用的标记装置，包含一个或多个折返镜和一个或多个用于将一个或多个标记聚焦到图像传感器2感光表面的确定位置的透镜。

根据图4a所示的实施例，标记装置40包含如上述发射器总成21的发射器总成，其将一个或多个标记直接投射到图像传感器2的感光表面(图像平面)上。

为此目的，标记装置40可以包含具有一个或多个保证标记与图像传感器2光学共轭的透镜的光学总成。标记装置40还可以包含一个或多个折返镜。

设置和定向标记装置40，以确保标记图像位于图像传感器2的感光表面上、WAO光学系统观察到的场景的全景图像的投射区带之外。

根据图4a所示的实施例，标记装置位于极广角光学(WAO)系统后面，以使光学系统生成的图像与中间图像平面51重合。

根据一实施例，标记设置于或投射于图像平面51上或接近图像平面51。

根据一实施例，标记装置包含光中继器，其中该光中继器含有一个或多个透镜52、54，如果需要，还含有一个或多个折返镜53，以将中间图像平面51中形成的WAO光学系统图像传向传感器2的感光表面。示意性表示光中继器的透镜52、54因而可以被任何能够将中间图像平面51的图像传向传感器2感光表面的光学装置所替换。

光中继器产生的放大倍数的绝对值最好为一，以防止分辨率的任何损失。此外，中继器的光学质量最好有利地预见，以不对WAO光学系统的分辨率产生影响。

d—上述标记装置产品的变型

在上述实施例中，光源22可以是单色的或不是单色的，可以是相干的或不相干的。因此，其可以由激光源组成。

光源22产生的光可以选择地来自场景的环境光，其例如是通过反射发送到掩模23上。

根据一实施例，标记包含一种或多种由光源照明的反射材料。在这种情况下，就不需要提供掩模。

可选择地，标记一种或多种发光材料组成。在这种情况下，就不需要提供光源和掩模。

根据一实施例，标记由全息图产生。在这种情况下，全息图含有标记，就使得掩模23和散射构件24不必要。全息图可以是反射型或透射型。

图5表示根据本发明的以传导系统7耦接至数字处理系统8的极广角光学WAO系统。WAO系统包含例如图1和3所示的物镜OC和连接至数字处理系统8的图像传感器2。

根据一实施例，WAO光学系统包含一个或多个组合的上述标记装置。因此，标记10a通过前透镜的侧面被引入物镜。标记10b被引入物镜的控光装置附近，标记10c直接传导至传感器2的感光表面。所有的标记都被引入光学系统中，使得它们显现在传感器感光表面上全景图像PI的投射区带之外。

II—在空间中调整标记装置和/或光学系统的机械装置

根据一实施例，WAO光学系统的内部机械装置用于将标记装置和光学系统的所有光学组件与图像传感器2调准。

例如，机械装置可以包含凹槽、防错构件和/或其他零件。当WAO光学系统因旋转而不完全对称时以及在panomorphic光学系统的情况下具有图像失真时，这种机械装置是可取的。

因此，根据图6所示的实施例，提供一种机械装置，其一部分或全部起作用，调整全部图像(标记和观察场景的投射图像)在图像传感器2的感光表面上的位置和方向。

机械装置与WAO光学系统整合或不整合，并且加上其他任何有用的调整，例如光学系统焦点的调整。

更确切地说，机械装置允许在图像平面中沿两个不同的轴线X和Y调整图像的位置，并绕光轴O旋转。

这种调整装置实际上是所关心的，因为，通常沿轴线X和Y的仅有的调整装置不作用于物镜(光学系统)，而只作用于图像传感器或其支架，或者相反作用于全部或部分照相机内部装置。此外，光学组件绕光轴O的角位置的调整通常不在照相机中提供。

图7a和7d表示用于标记和光学系统的标记的几个实例。因此，投射到传感器2上的标记可以是不同的形状，并表现出不同的符号或图形，例如方块(图7a)、圆(图7b)、十字(图7c)或线条(图7d)，或者也可以是数字或字母。

标记有利地由源于有序序列、编码识别信息的简单几何符号组成。每个序列的标记由有限数目的不同几何形状的组合组成，每个组合编码一条识别信息。因此，图7a中，每个标记包含相同大小的黑和/或白方块的组合。图7b中，标记由可变数目的同心圆组成。图7c中，标记由黑十字和黑或白方块的组合组成。图7d中，标记由条形码组成。

必须注意的是，使用简单几何符号的有序序列，提供了允许二进制定义信息和倍增可能的组合的数量的优点。这种符号的序列还提供这样的优点，即，使数字系统识别更简单，并且对光学系统或常用于传输视频内容的破坏性数字压缩系统可能会产生的噪音、干涉和干扰更有抵抗力。

这些标记或其目标部分的识别能够表征和识别光学系统并确定其是否被数字处理系统或结合的显示器引用或所知。

III—根据本发明的全景光学器件的自动识别方法

根据不同的实施例，用不同的算法分析和识别投射到图像传感器2上、WAO光学系统观察的场景图像的投射区带之外的标记。这些算法的一个代表以流程图的方式表示在图8中。

a—光学系统的识别方法

图8中，识别方法包含步骤S1至S5。

步骤S1中，首先对图像进行数字处理，以将存在于图像中的标记从图像的其余部分分离出来。例如，如果寻找的标记类型由特定的颜色表征，该操作就通过公知的色度阈值(colorimetric thresholding)算法执行，以将某些有关的颜色分离出来。

这些标记如果位于限定的色彩范围内，就更容易分离。例如，如果标记为红色，色度阈值算法就允许提取所有包含在图像中的红色形状。

步骤S2中，将公知的形状识别算法应用于色度阈值处理后所得的图像、即仅由经先前阈值提取的形状组成的图像。该步骤的目的在于确定标记是否存在于图像中，以及根据交叉参照表确定该标记是否有效。例如，如果图像被认为含有方块形标记(例如图7a所示的标记)，则从图像中提取所有的图像方块。

步骤S3中，如果在图像中检测到有效标记(对应于所需形状)，则执行步骤4S。否则识别方法结束，不提供光学系统的特性信息。

步骤S4中，对有效标记进行分析，以确定光学系统的特性和识别信息。该识别操作可以通过使用表格来提取每个标记的一条或多条识别信息来完成，其中该表格提供易于从标记中提取的信息和表征光学系统的信息之间的交叉参照。对标记的分析例如包含将被认为是光学编码(例如条形码)的标记转换成光学系统识别信息。

特性信息包含上述四个主要的全景光学器件的校准参数，即，值得注意地是光学系统的类型，以及图像中有关全景投射区带的信息，以了解其位置、角位置、形状以及大小。该交叉参照表可以储存到结合的数字处理系统内的数据库中，或者也可以是遥控表。

根据本发明，所有引入光学系统的标记可以包括：一定数量的特性标记，其为一类或一个个定族群的光学系统所共用、并为结合的数字系统所知，以及确保光学系统模式准确识别的标记。

当然，在仅使用一个极特殊的光学系统、因而不需要从其他类似的光学系统中被区分出来的专用全视野系统的情况下，就不必提供能使光学系统模式准确识别的标记。

b—识别的应用

光学系统的识别能确定适当的投射函数，来校正全景光学器件产生的失真，尤其是在全景光学系统的情况下。

光学系统的识别还可以用作对复制的保护(标志或商标在传感器上的投射)。其还可以用于追踪和地理上监控系统的销售，以管理某些专用光学系统的专有权。根据一实施例，数字系统因而可以授权或禁止使用或访问图像。

IV—全景光学系统的校准方法

一旦光学系统的识别得以成功执行，标记根据下述的方法就能用以确定投射到图像传感器2的感光表面上的图像PI(image PI)的位置、大小和角位置。

根据一实施例，标记以用作尺寸和空间参考系统的方式相对于图像上全景投射区带PI几何定位和排列。

通过将传感器2提供的图像中的标记特性(位置、方向和大小)和参考标记进行比较，数字处理系统8确定全景投射区带的特性(形状、尺寸、位置、角位置)。该数字系统从这些特性中确定将应用于图像的几何变换操作，以得到图像，其中全景光学系统引入的失真已被至少部分地消除。

全景投射区带的特性，以及与投射函数有关的信息、能够矫正全景图像失真(如果有的话)和恢复所观察到的场景的透视信息，都能存储于处理系统8可存取的数据库中。

全景投射区带或者借助于标记确定的图像的任何其他区带的特性可以用作近似值，目的在于实现对这些特性的更准确的确定。实际上，有关标记和全景投射区带的调准有可能是不完善的。标记的存在和检测允许确定由传感器提供的图像的搜索领域的界限，以及因此而避免误差和/或缩短处理的时间。

这种情况下，通过处理系统8能实施附加处理以检测全景投射区带的轮廓。图9所示的该处理包括步骤S11至S14。

在步骤S11中，可以将光学预处理应用于传感器提供的图像。该预处理包括例如图像的轮廓确定，以消除妨碍正确检测全景投射区带的乱真像素(spurious pixel)。

在步骤S12中，该处理识别全景投射区带PI，并利用取自于标记的该区带特性提供该区带的大小、位置和方向指征。

例如，如果全景投射区带PI为椭圆或者圆形形状，应用于图像的Hough变换(Hough’s transformation)(图像分析中公知的算法)能识别PI区带并给出图像中PI区带的大小、方向和位置指征。在步骤S13中，如果所得结果显示足够准确，则将所得特性用于确定要应用于图像的几何变换操作(步骤S14)。

相反，如果由自动校准得到的结果不够充分准确，利用之前的操作所得的特性再次执行步骤S12。

在得到一个不满意的结果的情况下，能手工矫正或者补偿误差，从而允许数字装置在考虑矫正重新计算全景投射区带PI的形状和位置。

如果结果不是结论性的，能够提供一种允许手工确定全景投射区带的轮廓的方法。

因此搜集的所有信息组成该光学系统校准数据。

V—通过前透镜可见的标记的光学系统的标记装置

本专利申请的目的也在于以独立的方式保护利用通过前透镜1从物镜外边可见的标记的标记装置。很明显，这样的标记装置能够独立于任何其他标记装置使用，具体说是前面所述的那些标记装置。

图10表示极广角光学系统的前透镜1，如图1作参考所述。前透镜1具有前表面1a和后表面1b，该后表面可以是环绕在程度不同地半球状的中央腔1c周围的平面。图像传感器2以这样的方式总体上设置于前透镜的光轴O上，即与物镜的其他透镜(本图未示)结合的透镜1在图像传感器2的感光表面上形成图像。

总体说来，前透镜的后表面1b对图像传导无用。通常，该表面1b做成不透明和/或使其变暗以限制光学系统内杂散光线的可能的侵入。

这样的无用区带出现在大多数光学系统中前透镜的后表面里，不管这些光学系统具有极广角还是较窄的视野。

根据一实施例，一个或者多个标记放置于光学系统前透镜的无用表面上或者其附近。这样以来，图10中，一个或者多个标记10d、10e置于透镜1的后表面1b上。

在通过前透镜1的前表面1a在有或无照明的情况下都能够看见的材料上制作标记。因此，标记用肉眼就能看见，或者，如果它们仅在位于对人来说可见的色谱之外的频率中显现或为全息图时，用合适仪器能够看见。

据一实施例，标记周围的无用表面被吸光材料所覆盖，以得到更大的对比度。

根据一实施例，一个或者多个光源11可以置于标记之后，以提高其可见度。因此，在图1例中，标记10e通过局部移除使后表面1b部分或者整体不透明的层完成，以使光透过标记。

通过适当控制光源，标记10e能够提供有关光学系统或者全视野系统总成的工作状态的信息。

光源在可见颜色的光谱内能或不能发光。这些光源最好由发光二极管组成，这些发光二极管排列在前透镜1的后表面1b的后面，在光学系统里面。这样，光源透过前透镜1a将光投射于前透镜1的外部并因此而投射于光学系统的外部。

穿过标记10e发射到前透镜1内部的光然后传播到前表面1a。在此界面上，光发生折射和反射。接着在透镜1的外部发现折射出的光线。因此，这些光线从光学系统外部可见。

优选地，前透镜1的前表面1a的表面被抗反射涂膜所覆盖，使界面上的传导最大化并使反射最小化。

如果散射到外部的光足够强，也能用于照亮光学系统观察的场景。

可以选择照明的波长或者光谱带以增强通过合适装置(例如红外可视系统)进行光学系统识别和/或标记，并且/或者产生一种特殊的照明。

然而，在非全景光学器件的情况下，一定量的光通过反射能够达到图像传感器2上，然后再传导并在全视野区带或者传感器的任何其他表面上产生“重影”。因此，优选光源11的强度以避免此现象的发生，或者至少必须不被图像传感器2感知到。

根据一实施例，对光源11聚焦并定向以限制图像传感器2上杂散反射。也可提供例如截锥形或者套管状的遮蔽装置12，以确保从光学系统的剩余部分在光源背面进行光学隔离。

根据本发明，WAO光学系统包含上述一种或多种标记装置的组合。因此，OC物镜前透镜的后表面包含标记10d、10e，并且标记10a、10b、10c以一种如前参照图5所述的投射到传感器2感光表面的方式进入物镜的不同点。

当光学系统的识别标记仅出现在前透镜的后表面，从而不投射到图像传感器上时，需要半自动校准或者手工校准。

此时，操作者实际上必须向数字处理系统提供光学系统识别信息。以这样的信息为基础，该数字系统确定全景投射区带的几何特性(步骤S12)。这些加入有关光学系统特征的信息中的信息允许校准光学系统。

这些条信息在一个数据库中存储并且与照相机的识别信息结合，然后再由数字处理装置8重新分配或者直接使用。

本发明解决的主要问题

前述本发明能够确定失真曲线。

与“鱼眼”物镜相反，全景光学器件和反射兼折射光学器件可以具有角分布函数以及具有各种不同形状的全景投射区带。所以，不预先识别光学系统的确切类型就不可能确定，此时必须利用数学公式来矫正失真。只有复杂的外测定或者校准装置能得到用于矫正的必要信息。

借助于在图像传感器上引入标记的这类标记装置(图1至5)，识别全景光学系统是可能的。以这种方式识别，如果该类光学系统对于处理系统8是已知的，就有可能确定失真的适当矫正。该标记装置使对产生于传感器上的图像的数字分析能完全自动识别。

该类标记装置也能确定图像传感器上的全景图像定位。

实际上，全景光学器件产生全景图像，该全景图像通常不占据整个传感器。为了借助于数字装置矫正失真，准确知道有关全景图像的位置、方向和大小使其能充分应用用于矫正失真的数字函数就变得重要。数字处理方法能够确定全景图像的位置、大小、形状和方向。不过，如果全景图像轮廓的形状被光假象(像引起图像轮廓部分虹光的眩光)和/或沿图像边缘的低亮度的存在而改变，这些方法经常产生严重误差或者甚至失灵。

借助于这类标记装置，一个或者多个特定标记通过光学系统被投射于图像传感器之上。这些标记允许识别全景光学系统。于是，这些已知相对尺寸和位置的标记能用于尺寸识别，以准确估计或者确定图像的位置、方向和大小，并且因此来正确应用失真矫正公式。

这类标记装置允许通过处理或者观察系统进行自动校准，而不必访问照相机的个别校准数据库。

事实上，全景光学器件产生受失真影响的图像。为了数字化地矫正这些失真，执行全视野系统的手工或者半自动校准的步骤。该操作大部分仅在安装装置期间执行，而且往往比较复杂。该操作通常需要由为此目的而训练的技术人员去执行。由此产生的校准信息存储在之后与各种显示软件共享的文件里。这必将意味着显示软件除了访问由照相机产生的图像之外，还应访问与含有这些个别校准参数的照相机有关的数据库。这致使软件体系结构和通信协议复杂化，并且相当程度地限制了互用性的可能，这样，通过仅视频流可访问的显示系统对全景光学系统进行动态实时(on-the-fly)连续校准几乎不可能。

相反，具有这类将标记投射于图像传感器上的标记装置时，数字系统能够数字化和自动化地识别参考全景光学系统，并因此提供适当的失真矫正，而不必用到含有照相机的所有个别参数的数据库。

具有这类产生从光学系统(图10)外部可见的标记的标记装置时，即可仅仅通过从系统外部透过前透镜在视觉上识别光学器件。即使标记装置被置入标记通常写于光学系统外壳上的信息的支架中，位于前透镜的后表面上的标记也一直保持可见状态。因此，光学系统能被识别，并且对于参考光学模型来说，有可能半自动地确定合适的失真矫正。

这两类标记装置能共同用于确定失真曲线。

对所属领域技术人员来说，很明显，本发明具有所述性能和应用的各种变型。具体地说，本发明不止适用于全景光学系统，而适用于提供数字图像的任何光学系统。

虽然这不是所期望的，标记也能以显现在传感器提供的图像的全景图像投射区带里的这样一种方式引入到光学系统中。这种情况下，甚至对将场景图像投射到图像传感器上有用的光学系统的透镜表面，也能用于将标记投射到图像传感器上。只要这些标记是由能够通过例如手工控制关闭、或者仅在全视野系统的初始阶段被开启的光源产生的，这些标记的负面影响(adverse effect)就可以是暂时的。关于此，必须注意，标记存在的目的仅是为了执行光学系统的识别和校准。一旦这些操作已经完成，可以将标记通过光源的适当控制“切断”。

Claims (49)

1.光学系统(WAO)，包含图像传感器(2)和将场景图像(PI)投射到图像传感器上的前透镜(1)，其特征在于其包含将图像传感器(2)提供的图像中的至少一个可见标记(10a，10b，10c)引入光学系统的标记装置。

2.根据权利要求1所述的光学系统，其中标记装置将至少一个标记投射到图像传感器(2)上、图像传感器上的场景图像(PI)的投射区带之外。

3.根据权利要求1或2所述的光学系统，其中标记装置包含发射光的光源(22)，该光通过至少一个标记以可见和/或不可见光谱向图像传感器(2)传送或者反射。

4.根据权利要求1至3中的一项所述的光学系统，其中至少一个标记为全息图。

5.根据权利要求1至4中的一项所述的光学系统，其中至少一个标记给出有关工作状态的信息，或其它任何有关光学系统(WAO)和/或处理系统和/或与光学系统相关的显示系统(8)的信息。

6.根据权利要求1至5中的一项所述的光学系统，其中标记装置包含用于以使标记显现在图像传感器提供的图像中的方式通过一个透镜的一个表面引入至少一个标记(10a)的器件(21)，其中该表面对于将图像投射到图像传感器(2)上来说是无用的。

7.根据权利要求6所述的光学系统，其中引入标记(10a)的无用表面位于前透镜(1)的侧表面(1d)上。

8.根据权利要求6或者7所述的光学系统，其中引入标记(10a)的无用表面被制成霜状表面。

9.根据权利要求1至8中的一项所述的光学系统，其中标记装置包含用于通过使标记显现在图像传感器(2)提供的图像中的方式将至少一个标记(10b)引入光学系统的控光装置(5)附近的器件(21，35，36)。

10.根据权利要求1至9中的一项所述的光学系统，其中标记装置包含用于将至少一个标记(10c)直接投射到图像传感器(2)上的器件(40)。

11.根据权利要求1至10中的一项所述的光学系统，其中标记装置包含光源(22)和形成至少一个标记的掩模(23)，光源产生的光线通过该掩模进入光学系统并到达图像传感器(2)。

12.根据权利要求11所述的光学系统，其中标记装置包含位于光源(22)和掩模(23)之间的散射构件(24)。

13.根据权利要求11或者12所述的光学系统，其中标记装置包含将来自光源(22)的光导向掩模(23)的导光装置(28)。

14.根据权利要求11至13中的一项所述的光学系统，其中标记装置包含将来自光源(22)的光变向到掩模(23)的反射表面(27)。

15.根据权利要求11至14中的一项所述的光学系统，包含控光装置(5)，来自至少一个标记(10a)的光线(25)穿过该控光装置并到达图像传感器(2)。

16.根据权利要求11至15中的一项所述的光学系统，其中标记装置包含正光学零件(35)，其将来自至少一个标记(10b)的光线导向图像传感器(2)。

17.根据权利要求16所述的光学系统，其中所述正光学零件是正透镜(35)。

18.根据权利要求1至17中的一项所述的光学系统，其中所述标记装置包含反射表面(36)，其将来自至少一个标记(10b)的光线(37)导向图像传感器(2)。

19.根据权利要求1至18中的一项所述的光学系统，其中所述标记装置包含衍射零件，其将来自至少一个标记的光线导向图像传感器(2)。

20.根据权利要求1至19中的一项所述的光学系统，其中至少一个标记被投射或置于中间图像平面(51)上或其附近。

21.根据权利要求1至20中的一项所述的光学系统，包含机械调准装置，其调整标记装置、光学系统(WAO)和图像传感器(2)的相对位置。

22.根据权利要求21所述的光学系统，其中调准装置能在平行于图像传感器平面的平面中调整光学系统(WAO)相对于图像传感器(2)的相对位置，以及/或者相对于图像传感器调整光学系统环绕光学系统的光轴(O)的角位置。

23.根据权利要求1至22中的一项所述的光学系统，其中标记装置将至少一个可见标记(10d，10e)从光学系统外引入光学系统。

24.根据权利要求1至23中的一项所述的光学系统，其中标记装置将至少一个标记(10d，10e)通过前透镜(1)的表面引入光学系统，其中该表面对于将场景图像(PI)投射到图像传感器(2)上来说是无用的，可以从光学系统外通过前透镜看到标记。

25.根据权利要求24所述的光学系统，其中从光学系统外透过前透镜(1)可以看到的标记(10e)与光源(11)相关联。

26.根据权利要求25所述的光学系统，其中光源(11)能够通过前透镜(1)向外部发射足够的光，以照亮通过光学系统观察到的全部或部分场景。

27.一种用于识别将场景图像(PI)投射到图像传感器(2)上的光学系统(WAO)的方法，

其特征在于所述方法包含以下步骤：

将至少一个标记(10a，10b，10c)以这样一种方式引入光学系统，即该标记在图像传感器(2)提供的图像中是可见的，

在图像传感器提供的图像中搜索至少一个标记，

识别至少一个找到的标记，并且

从识别的标记识别光学系统。

28.根据权利要求27所述的方法，其中标记投射到图像传感器(2)上、图像传感器上场景的图像的投射区带之外。

29.根据权利要求27和28中的一项所述的方法，其中通过传送或反射由光源(22)发出的光将至少一个标记以可见和/或不可见光谱向图像传感器(2)投射。

30.根据权利要求27至29中的一项所述的方法，包含将至少一个标记通过对投射图像到图像传感器(2)来说无用的透镜的一个表面、以使标记显现在图像传感器提供的图像中的方式引入的步骤。

31.根据权利要求30所述的方法，其中引入标记的透镜表面位于前透镜(1)的一个侧面(1d)上。

32.根据权利要求27至31中的一项所述的方法，包含以使标记显现在图像传感器(2)提供的图像上的方式将至少一个标记引入光学系统控光装置(5)附近的步骤。

33.根据权利要求27至32中的一项所述的方法，包含将至少一个标记直接投射到图像传感器(2)上的步骤。

34.根据权利要求27至32中的一项所述的方法，包含调整光学系统(WAO)、图像传感器(2)以及将标记引入光学系统的标记装置的相对位置的步骤。

35.根据权利要求27至34中的一项所述的方法，包含在平面中调整光学系统(WAO)相对于图像传感器(2)的相对位置的步骤和/或调整光学系统相对于图像传感器围绕光学系统的光轴的角位置的步骤。

36.根据权利要求27至35中的一项所述的方法，其中搜索与识别步骤中的至少一个通过数字方法执行。

37.根据权利要求27至36中的一项所述的方法，其中至少一个标记是几何形状的结构排列，其共同形成将一识别信息物件编码的组合。

38.根据权利要求27至37中的一项所述的方法，其中在图像中搜索标记的步骤包含，应用数字阈值处理以分离图像的某些颜色和/或识别包含一个对至少一个标记来说为特定之特性的图像区带的步骤。

39.根据权利要求27至38中的一项所述的方法，其中在图像中搜索标记的步骤包含，施加对形状识别之数字处理，其分析图像中检测出来的形状的固有几何特性，以及/或者将检测到的形状与参考形状进行比较。

40.根据权利要求27至39中的一项所述的方法，其中至少一个标记相关于光学系统光学性质的表征信息。

41.根据权利要求27至40中的一项所述的方法，其中至少一个标记相关于包含光学系统的全视野系统的性质或操作状态的表征信息。

42.根据权利要求27至41中的一项所述的方法，其中至少一个标记相关于光学系统的范围或族群的表征信息。

43.根据权利要求27至42中的一项所述的方法，包含以下步骤：分析识别的至少一个标记的位置和/或方向和/或尺寸，以通过比较或计算来确定图像传感器(2)上投射的场景图像(PI)的位置和/或方向。

44.根据权利要求27至43中的一项所述的方法，包含以下步骤：分析识别的至少一个标记的位置和/或方向和/或尺寸，以通过比较或计算来确定投射到图像传感器(2)上的场景图像(PI)的轮廓。

45.根据权利要求27至44中的一项所述的方法，包含应用一个或多个轮廓检测演算法的迭代来确定投射到图像传感器(2)上的场景图像(PI)的轮廓的步骤。

46.根据权利要求27至45中的一项所述的方法，包含将识别标记所收集的信息和/或有关包含光学系统的全视野系统的信息结合到计算机文件或者临时或永久变量中。

47.根据权利要求27至46中的一项所述的方法，包含至少一步由操作者从至少一个标记中引入或选择数据的步骤。

48.根据权利要求27至47中的一项所述的方法，包含以标记能从光学系统外看到的方式将至少一个标记(10d，10e)引入光学系统的步骤。

49.根据权利要求27至48中的一项所述的方法，包含通过透镜(1)的表面引入至少一个标记(10d，10e)的步骤，其中该表面对于将场景图像(PI)投射到图像传感器(2)上来说是无用的，透过前透镜可以从光学系统外看到标记。

Images