CN1871857A - 用于捕捉广视场图像以及其中感兴趣区域的方法和系统 - Google Patents

Abstract

一种捕捉系统捕捉通过提供第一光学通道的单连通广视场光学系统(1)所获得的图像，该图像由第二视频摄像机捕捉。插入该第一通道中的采样光学系统在第一视频摄像机上捕捉对应于宽广区域中的感兴趣区域的狭窄区域。

Description

用于捕捉广视场图像以及其中感兴趣区域的方法和系统

技术领域

本发明涉及用于捕捉单连通(simply connected)广视场图像的方法和系统，并且其可以应用于显示和处理图像。

背景技术

在本申请中，术语“单连通”需要以数学含义理解。在本发明的背景中，它表示所观察的宽广区域是连通的(即由一片区域构成)并且没有任何“孔洞”，例如，不像外围视场中在对称轴周围存在缺失区域。

更具体地说，本发明集中于用于捕捉或观察图像中感兴趣区域的方法和系统，所述感兴趣区域具有比图像高得多的分辨率，同时优选的是具有相同的矩阵传感器。

本发明可以不受限制地应用于图像处理系统、监视和远程监视系统、运动车辆或机器人机载观察系统中，更一般地说，应用于需要很高分辨率的应用场合中。

具体地说，这种方法可以用于通过“滑动”所观察的感兴趣区域，并且具体地说，通过在感兴趣区域上光学缩放或传感而探索覆盖整个半部空间的广视场图像。

用于显示和处理全景图像及其局部的方法和系统在本领域已经为人公知。

更具体地说，现有技术的方法是软件处理或数学处理方法，其用于校正颗粒状外观的变形或延迟其开始出现，这种颗粒状外观在放大采用鱼眼透镜获得的全景图像的一部分时将会出现。

具体地说，美国专利No.5185667公开了使用数学函数校正全景图像的感兴趣区域中的变形。

同样，法国专利No.2827680公开了一种将投影到矩形图像传感器和容易使图像失真变形的鱼眼透镜上的全景图像放大的方法。

最后，美国专利No.5680667公开了一种电话会议系统，其中全景图像中对应于特定时间的讲话者的自动选择部分在传输之前被电子校正。

总而言之，上面提到的方法和系统数字处理全景图像以放大其感兴趣区域。

这些方法都具有下面缺陷，即选择图像部分的分辨率水平受到用于获得全景图像的鱼眼透镜的分辨率的限制。

在美国专利申请No.2002/0012059(DRISCOLL)中公开了另一种现有技术的系统，它使用鱼眼透镜复制图像平面。

该系统包括放在第一图像平面中的第一矩阵传感器和放在第二图像平面中的第二矩阵传感器，第一矩阵传感器的像素小于第二矩阵传感器的像素。

第一矩阵传感器在两个图像平面中的一个图像平面中平移或者旋转运动用于以更高的分辨率扫描宽广区域。

本领域的技术人员将会认识到，上述系统中图像的感兴趣区域的分辨率的增加率等于两个矩阵传感器的像素尺寸的比率。

分辨率直接决定于两个传感器的分辨率比率的上述类型的系统不适合用于很多应用场合，并且具体地说：

—用于红外区域内(3μm(微米)至5μm和8μm至12μm)的应用场合中，因为没有传感器具有能够放大，例如10倍的尺寸，和

—用于分辨率系数大于10的可见光区域内的应用场合中。

在美国专利申请No.2003/0095338中公开了另一种现有技术的系统，它使用具有复杂形状的镜子捕捉外围区域并且在一个或多个视频摄像机上将其成像。

遗憾的是，这种系统都具有看不到一部分区域的视场捕捉系统，不可能获得单连通的广视场场景。

本发明旨在减小上述缺陷。

发明内容

为此，本发明的第一方面提供了一种用于捕捉通过广视场光学系统所获得的图像的系统，其中所述广视场光学系统由具有小于1的角度放大值(angular enlargement)的无焦透镜构成并且提供广视场第一光束。该系统包括：

—用于从第一光束中选择第二光束的选择装置，其中第二光束对应于宽广区域中的狭窄区域并且显示图像的感兴趣区域；

—第一视频摄像机，其包括适合于捕捉窄视场第二光束并且具有第一分辨率的透镜；

—用于复制广视场第一光束以产生第一复制光束的复制装置；和

—第二视频摄像机，其包括适合于捕捉整个第一复制光束并且具有第二分辨率的透镜，其中第二分辨率以一定的减小系数小于第一分辨率，该减小系数由宽广区域与狭窄区域之间的比率确定；

优选的是，第二视频摄像机和第一视频摄像机具有相同的光敏元件矩阵。

因此，本发明的捕捉系统使用纯光学技术增大图像的感兴趣区域的分辨率，即使两个视频摄像机的光敏元件矩阵相同。

而且，本发明的系统可以捕捉整个半部空间。

因此，本发明使得有可能观察其分辨率比采用现有技术的系统和方法所获得的分辨率高得多的广视场图像的感兴趣区域。

在第一种变化形式中，第一视频摄像机是活动的，选择装置包括用于使第一视频摄像机定位在接收第二光束的位置的定位装置。

在第二种变化形式中，第一视频摄像机是固定的，选择装置包括用于使第二光束朝向第一视频摄像机偏转的偏转装置。

值得注意的是，这些偏转装置可以是棱镜、镜子或可以在第一光束中旋转的任何衍射系统。

因此，通过上述两种变化形式，能够捕捉具有高分辨率的广视场图像的感兴趣区域，而不需要使第一视频摄像机在整个宽广区域上运动。例如，假设宽广区域对应于半部空间(half-space，180°)，并且由宽广区域与狭窄区域之间的比率确定的减小系数等于10，使第一视频摄像机(或偏转装置)在18°角度上运动以至于用第一视频摄像机覆盖整个半部空间就足够了。

因此可以获得特别快速的捕捉系统。

当捕捉系统装载在车辆或机器人上时，非常有利的是，捕捉系统的整个外部尺寸只对应于广视场固定光学系统的透镜。如果系统安装在具有严格空气动力学限制的飞行器上，该特征就特别重要。

优选的是，第一视频摄像机包括用于确定感兴趣区域的角度量值的光学缩放系统(optical zoom system)。

在优选实施例中，本发明的系统还包括用于复制第一光束以产生第一复制光束的装置和用于捕捉全部第一复制光束的第二视频摄像机。

在该优选实施例的第一种变化形式中，本发明的捕捉系统包括用于观看第二视频摄像机所捕捉的整个广视场图像的工作站，该工作站位于能够确定感兴趣区域的选择装置的控制装置附近。

于是，有可能结合总体的广视场图像在对应于感兴趣区域的第二光束中定位第一视频摄像机并且从观察站控制光学缩放系统。

于是，观察者能够，例如通过控制杆或操纵杆从观察站放大全景图像的一部分，其中感兴趣区域的分辨率由第一视频摄像机的特征确定。

在该优选实施例的第二种变化形式中，本发明的捕捉系统包括用于图像处理以处理第二视频摄像机所捕捉的广视场图像的装置，所述处理装置适合于检测图像中的运动和/或发光强度变化并且相应地控制选择装置。

该变化形式特别适合于监视和入侵探测应用场合。

在一种主要用于军事应用的变化形式中，光学系统和第一视频摄像机适合于捕捉第一和第二红外光束。

本发明还提供了一种用于捕捉覆盖360°空间的图像的系统，该系统包括两个背对背设置的如上简述的捕捉系统，其中所述两个捕捉系统的光学系统适合于覆盖半部空间。

因为用于捕捉覆盖360°空间的图像的该捕捉方法和该系统的优势与上述捕捉系统完全相同，这里不再重复说明。

附图说明

结合附图阅读下面仅仅作为非限制性示例提供的本发明一个特定实施例的说明部分将可以更清楚地理解本发明的其它方面和优势，其中：

—图1A显示了本发明的捕捉系统的优选实施例；

—图1B和图1C显示了图1A捕捉系统的细节；

—图2显示了本发明的捕捉系统的另一个实施例；

—图3以放大比例显示了图1A至图2中所示系统实施例的每个视频摄像机所观察的空间；

—图4显示了本发明的捕捉方法的优选实施例中的主要步骤E5至E90；

—图5A显示了覆盖360°空间的本发明的捕捉系统的优选实施例；和

—图5B显示了图5A捕捉系统的细节。

具体实施方式

具体地说，下面结合图1A至图1C说明的优选实施例使用了无焦屈光光学系统(afocal dioptric optical system)1。

该无焦屈光光学系统详细示于图1B中。

它主要由三个连续的光学单元1000、1001和1002构成。

光学单元1000捕捉来自其前面的单连通光学区域的光线。

如果需要，作为限制系统总体尺寸和机械布局的功能，棱镜1001(可以由镜子代替)使光线偏转。

后单元1002在无焦屈光光学系统的出口处提供光学放大。

图1C详细显示了屈光系统1出口处和视频摄像机10的透镜11入口处的光束6的形状。

屈光系统1出口处和视频摄像机20的透镜21入口处的光束4’具有相同的形状。

具有Z轴的广视场无焦屈光光学系统1在本领域为人公知并且安装在壁3中的开孔2中。

壁3可以是成像系统的外壳、飞行器机身的外壳或被监视的建筑物的天花板。

本发明的广视场无焦屈光系统1具有小于1的角度放大率(angular magnification)。

该光学系统1产生与Z轴同轴的第一光束4。位于第一光束4的路线上的光束复制器5沿Y方向反射第一光束4以产生与Y轴同方向的第一复制光束6，优选的是，Y方向与Z轴垂直。

位于与Z轴同方向的第一光束4的路线上并且位于复制器5下游侧的第一活动数字视频摄像机20的透镜21只捕捉第二窄光束4’，其中第二窄光束4’为第一光束4的第一部分。

该视频摄像机20配备有光敏电荷耦合装置(CCD)矩阵22和用于产生并且传输第一电信号流24的装置23。

配备有复用系统的收发器15然后通过无线电、红外线或电缆装置发送第一信号24到至少一个观察站，后面将要说明这些观察站。

与Y轴同轴的第二固定数字视频摄像机10的透镜11捕捉整个第一复制光束6。

第二视频摄像机10也配备有光敏电荷耦合装置矩阵12和用于产生并且传输第二电信号流14的装置13，其中第二电信号流14代表第二视频摄像机10所捕捉的全景图像。

收发器15发送所述第二电信号14到所述观察站。

除了透镜11和21之外，两个视频摄像机10和20可以相同。具体地说，由光敏装置矩阵12和22所确定的像素数可以相同。因此，从两个信号流14和24获得的相同尺寸的图像或相片具有相同的分辨率。

由收发器15发送的信号流14和24在观察站中由同样配备有复用系统的第二收发器30的接收器接收。

由第二收发器30接收并且与第二信号流14等价的第二信号流14’由图像变形和信息处理电子系统40处理，该系统为存储器41提供显示第二视频摄像机10所捕捉的广视场图像42的数据。

广视场图像42显示于屏幕43上并且图像42的数据可以存储在存储介质44上的存储区中用于以后观看。

按照相同的方式，由第二收发器30接收并且与第一信号流24等价的第一信号流24’由第二图像变形和信息处理电子系统50处理，该系统为第二存储器51提供显示第一视频摄像机20所捕捉的感兴趣区域52的数据。

感兴趣区域52显示于第二屏幕53上，并且有利的是，感兴趣区域52的数据可以存储在第二存储介质54上用于以后观看。

有利的是，电子系统40和50可以由，例如本领域所公知的处理广角透镜所固有的图像变形的商用微型计算机运行软件代替。

不脱离本发明的范围，广视场图像42的感兴趣区域52也可以嵌入广视场图像42中并且显示于与广视场图像相同的屏幕上。

观察站还包括用于浏览广视场图像42的浏览器60。

例如，浏览器60可以包括用于在显示于屏幕43上的广视场图像42中定位光标61的操纵杆。

光标61的位置确定观察者期望显示于第二屏幕53上并且由第一视频摄像机20拍摄的广视场图像42的感兴趣区域52的角度坐标θx、θy。

优选的是，浏览器60确定的坐标x和y被传输到第二电子系统50以至于它可以正确处理第一视频摄像机20所捕捉图像的变形。

角度坐标θx、θy也被提供给系统63，该系统将表示数值θx的第一串信号64x和表示数值θy的第二串信号64y传输到第二收发器。

第二收发器30发送信号64x和64y到成像系统的收发器15。

由收发器15接收并且与第一信号流64x等价的第一信号流64x’被传输到第一电动电机71的控制单元70，用于关于X轴枢轴旋转第一视频摄像机20以捕捉对应于第二光束4’的狭窄区域场景。

同样，由收发器15接收并且与第二信号流64y等价的第二信号流64y’被传输到第二电动电机73的第二控制单元72，用于关于第一光束4中的Y轴枢轴旋转第一视频摄像机20。

由第一视频摄像机20捕捉的第二光束4’通过关于X和Y轴枢轴旋转第一视频摄像机20而选择。

当然，很显然，第一视频摄像机20的运动对应于屏幕43上所显示的广视场图像42中的角度坐标。

要注意的是，即使第一光束4中第一视频摄像机20的角度运动θx和θy非常小，广视场图像42的角度坐标θx和θy也对应于接近180°的视角所观察的区域。

这使得第一视频摄像机20能够非常快速地运动到观察者所选择的位置(θx，θy)并且捕捉与广视场图像42的感兴趣区域52对应的第二光束4’，其将要产生高分辨率的感兴趣区域52。

有利的是，如图1中所示，浏览器60与用于显示将要显示于屏幕53上的感兴趣区域52的角度量值80的系统相联。

相应的信息被传输到产生相应信号82的电子系统81，该信号被第二收发器30发送到成像系统的第一收发器15。

相应的接收信号82’被传输到第一视频摄像机20的光学缩放系统的控制单元83。

因此，作为光学缩放系统的调节功能，显示于第二屏幕53上的感兴趣区域52将被放大到更大或更小的水平，保留相同的分辨率。

因此，有可能观看广视场图像42的具有很高精度的细节。

在一个不同的实施例中，捕捉系统包括适合于检测广视场图像42中的运动和/或发光强度变化并且相应控制选择装置的图像处理装置(例如，软件装置)。

这种图像处理装置为本领域的技术人员所公知并且这里不再说明。具体地说，它们适合于进行传统的分割和形状识别操作。

图2显示了本发明的捕捉系统的一个不同实施例。

图2没有显示该实施例的观察系统，观察系统与参考图1A至图1C所述的相同。

在该实施例中，第一视频摄像机20为固定的并且第二光束4’通过可以关于Y轴旋转的棱镜100朝向第一视频摄像机20偏转。

在这里没有示出的其它实施例中，棱镜100可以由其它偏转装置代替，并且具体地说，由镜子或本领域技术人员所公知的其它衍射系统代替。

图3显示了产生被第一视频摄像机20捕捉的第二光束4’的窄视场场景90和被第二视频摄像机10捕捉的广视场场景91。

图4显示了本发明处理方法的优选实施例中的主要步骤E5至E90。

在第一个步骤E5中，通过提供第一光束4的广视场光学系统1获得广视场图像42。

跟随该获得步骤E5之后的是复制第一光束4的步骤E10。

该复制步骤可以使用，例如前面参考图1简述的复制器5实现。

跟随复制步骤E10之后的是步骤E20，即，例如通过上述第二视频摄像机10捕捉整个第一复制光束6。

在本实施例中，跟随捕捉第一光束6的步骤E20的是步骤E30，即在观察站，例如在屏幕43上观看由第二视频摄像机10从第一复制光束6获得的广视场图像42。

跟随观看步骤E30的是从第一光束4中选择第二光束4’的步骤E40至E70。

更准确地说，在步骤E40中，在屏幕43上所显示的广视场图像42中定位光标61。

该光标可以通过，例如操纵杆移动。

无论如何，光标61的位置确定观察者可以，例如在第二屏幕53上看到的广视场图像42的感兴趣区域52的角度坐标θx、θy。

跟随定位光标61的步骤E40之后的是步骤E50，即定位第一视频摄像机20以至于它捕捉到与前面步骤中选择的感兴趣区域52对应的第二光束4’。

跟随定位第一视频摄像机20的步骤E50的是步骤E60，即从观察站选择将要显示于屏幕53上的感兴趣区域52的角度量值。

跟随选择该角度量值的步骤E60的是步骤E70，其中第一视频摄像机20的光学缩放系统作为其函数被调节。

跟随调节光学缩放系统的步骤E70的是步骤E80，其中捕捉到与感兴趣区域52的位置和角度量值对应的第二光束4’。

跟随捕捉第二光束4’的步骤E80的是步骤E90，其中感兴趣区域52被显示于，例如屏幕53上，或者嵌入屏幕43上显示的全景图像42中。

跟随显示感兴趣区域52的步骤E90的是上述定位光标61的步骤。

在另一个实施例中，跟随捕捉第一复制光束的步骤E20的是处理广视场图像42以检测其中的运动或发光强度变化的步骤。

因此，该图像处理步骤自动确定感兴趣区域的角度坐标θx、θy，而不是如上面所述通过光标61选择坐标。

在另一个实施例中，不是使第一视频摄像机20运动(步骤E50)，而是将偏转装置作为角度坐标θx、θy的函数枢轴旋转以朝向第一视频摄像机20偏转第二光束4’。

图5A显示了覆盖360°空间的本发明捕捉系统的优选实施例，并且图5B显示了其细节。

该捕捉系统包括两个背靠背设置的如上面参考图1A至图2所述的捕捉系统A和A’。

在该实施例中，两个捕捉系统A和A’的光学系统适合于覆盖超过半部空间，分别如交叉阴影线部分H和H’所示。

本领域的技术人员将很容易理解，交叉阴影线部分R1和R2是两个系统A和A’捕捉的重叠区域。

Claims (9)

1、一种捕捉系统，用于捕捉通过单连通广视场光学系统(1)所获得的图像(42)，其中所述光学系统由具有小于1的角度放大值的无焦透镜构成并且提供广视场第一光束(4)，该捕捉系统包括：

-选择装置，其用于从所述第一光束(4)中选择第二光束(4’)，其中所述第二光束对应于所述宽广区域中的狭窄区域并且显示所述图像(42)的感兴趣区域(52)；

-第一视频摄像机(20)，其包括适合于捕捉所述窄视场第二光束(4’)并且具有第一分辨率的透镜(21)；

-复制装置(5)，其用于复制所述广视场第一光束(4)以产生第一复制光束(6)；和

-第二视频摄像机(10)，其包括适合于捕捉整个所述第一复制光束(6)并且具有第二分辨率的透镜(11)，其中所述第二分辨率以由所述宽广区域与所述狭窄区域之间的比率所确定的减小系数小于所述第一分辨率；

所述第二视频摄像机(10)和所述第一视频摄像机(20)优选具有相同的光敏元件矩阵(21，22)。

2、根据权利要求1所述的捕捉系统，其特征在于，所述第一视频摄像机(20)是活动的，所述选择装置包括用于使所述第一视频摄像机(20)定位在接收所述第二光束(4’)的位置(θx，θy)上的定位装置(60，61，71，73)。

3、根据权利要求1所述的捕捉系统，其特征在于，所述第一视频摄像机(20)是固定的，所述选择装置包括用于使所述第二光束(4’)朝向所述第一视频摄像机(20)偏转的偏转装置。

4、根据权利要求3所述的捕捉系统，其特征在于，所述偏转装置包括棱镜、镜子或可以在所述第一光束(4)中旋转的任何类型的衍射系统。

5、根据权利要求1所述的捕捉系统，其特征在于，第一视频摄像机(20)包括用于确定所述感兴趣区域(52)的角度量值的光学缩放系统。

6、根据权利要求1所述的捕捉系统，其特征在于，该系统还包括用于在所述选择装置的控制装置(83)附近观看所述图像(42)的工作站(43)。

7、根据权利要求1所述的捕捉系统，其特征在于，该系统包括用于处理所述图像(42)的处理装置，所述处理装置适合于检测所述图像(42)中的运动和/或发光强度变化并且相应地控制所述选择装置。

8、根据权利要求1所述的捕捉系统，其特征在于，所述光学系统(1)和所述第一视频摄像机(10)适合于捕捉第一和第二红外光束(4，4’)。

9、一种用于捕捉覆盖360°空间的图像的系统，其特征在于，该系统包括两个背对背设置的根据权利要求1至8中任一所述的捕捉系统(A，A’)，其中所述捕捉系统(A，A’)的光学系统适合于至少覆盖半部空间。

Images