CN102132556A - 长距离目标检测相机系统 - Google Patents
长距离目标检测相机系统 Download PDFInfo
- Publication number
- CN102132556A CN102132556A CN2009801326570A CN200980132657A CN102132556A CN 102132556 A CN102132556 A CN 102132556A CN 2009801326570 A CN2009801326570 A CN 2009801326570A CN 200980132657 A CN200980132657 A CN 200980132657A CN 102132556 A CN102132556 A CN 102132556A
- Authority
- CN
- China
- Prior art keywords
- camera
- dolly
- convergence
- wide
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/12—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with monocular observation at a single point, e.g. coincidence type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Abstract
提供了一种能够从长距离到短距离宽范围地检测/跟踪目标的长距离目标检测相机系统,同时简化了结构。用于检测长距离目标的该长距离目标检测相机系统包括:一对会聚相机(10),其能够执行会聚移动;远摄相机(20),其具有比所述一对会聚相机(10)更窄的视场;广角相机(30),其具有比所述一对会聚相机(10)更宽的视场。远摄相机(20)具有与在所述一对会聚相机(10)的视线之间的交点的轨迹线基本上相等的视线。广角相机(30)具有与在远摄相机(20)的视线基本上相等的视线。此外,该长距离目标检测相机系统还包括基座(40)和用于基座移动的马达(50),在所述基座上安装了相机,用于基座移动的马达(50)控制所述基座的移动。
Description
技术领域
本发明涉及一种用于检测长距离目标的长距离目标检测相机系统,具体地说涉及其中组合具有不同的视角的相机的长距离目标检测相机系统。
背景技术
本发明人已经开发了各种类型的用于目标检测/跟踪的相机系统,其中,组合了具有不同视角的相机(专利文件1至专利文件4)。这些系统每一个一般由在基座上安装的用于目标检测/跟踪的双目活动相机组成,并且使用同一相机系统来执行相同的跟踪控制,而与相对于目标的距离无关。
专利文件1:日本专利申请Kokai公报No.2006-258543
专利文件2:日本专利申请Kokai公报No.2006-329747
专利文件3:日本专利申请Kokai公报No.2007-093479
专利文件4:日本专利申请Kokai公报No.2007-120993
发明内容
本发明要解决的问题
然而,相对于自远离相机的目标的距离而言,在双目相机的两个透镜之间的基线长度不足以检测和跟踪长距离目标,因此存在不能获得满意的距离测量精度的情况。而且,经常有自目标的距离本身不重要的情况。在该情况下,虽然仅一个高级远摄相机的使用足以检测或跟踪长距离目标,但是使用了两个相机来执行检测或跟踪。
上述的相机系统具有能够允许两眼执行共轭移动的致动器。然而,这种移动使其上安装相机系统的基座的左右旋转移动重复,由此使得控制复杂化。
因此,在用于目标检测/跟踪的传统相机系统中的相机和致动器的数量上存在冗余。然而,在指定目的或条件下,需要在冗余上的减少、在系统重量上的减少、在系统成本上的减少和视觉识别处理的简化。
已经根据上面的情况建立了本发明,并且其目的是提供一种长距离目标检测相机系统,其能够在简化结构的同时检测/跟踪从长距离到短距离的宽范围的目标。
用于解决问题的手段
为了实现上面的目的,根据本发明的一种长距离目标检测相机系统可以包括:一对会聚相机(convergence camera),其能够执行会聚移动(convergence movement);远摄相机,其具有与在所述一对会聚相机的视线之间的交点的轨迹线基本上相等的视线,并且具有比所述一对会聚相机的每一个更窄的视场;基座,在其上安装了所述一对会聚相机和所述远摄相机;以及,用于基座移动的马达,其控制所述基座的移动。
所述长距离目标检测相机系统可以进一步包括广角相机,所述广角相机具有与所述远摄相机的视线基本上相等的视线,并且具有比所述一对会聚相机的每一个更宽的视场。所述广角相机可以被安装在基座上。
所述远摄相机可以被布置在所述一对会聚相机之间的中点处。
所述远摄相机和/或所述广角相机可以被固定在所述基座上,以便与所述基座的移动联动。
所述远摄相机和/或所述广角相机可以被固定到所述一对会聚相机的一个,以便与所述一个会聚相机的移动联动。
所述会聚相机可以使用一个马达和一个皮带轮来实现会聚移动。
一种用于通过使用根据本发明的所述长距离目标检测相机系统来从宽范围区域检测目标的控制方法可以包括:广角相机控制处理、会聚相机控制处理和远摄相机控制处理。
所述广角相机控制处理可以包括步骤:使用所述广角相机来成像宽范围区域;利用通过使用所述广角相机在所述成像步骤中获得的广角图像来测量所述长距离目标检测相机系统的移动速度;以及,使用在所述测量步骤中获得的所述移动速度来执行所述基座的视觉反馈控制,以便将所述广角相机的视线保持在预定位置。
所述会聚相机控制处理可以包括步骤:使用所述一对会聚相机来成像所述目标;利用使用所述一对会聚相机在所述成像步骤中获得的会聚图像来执行所述一对会聚相机的会聚移动控制;使用在所述会聚相机移动控制步骤中获得的所述会聚相机的旋转角度来测量到所述目标的距离;以及,使用所述会聚图像来执行所述一对会聚相机的视觉反馈控制,以便将所述一对会聚相机的视线保持在预定位置。
所述远摄相机控制处理可以包括步骤:使用所述远摄相机来成像所述目标;在使用所述远摄相机在所述成像步骤中获得的远摄图像中检测是否存在所述目标;在所述检测步骤中没有所述目标存在的情况下,移动所述远摄相机的视线,使得所述远摄相机的下一个视场的一部分在当前远摄图像的范围内重叠;并且,在所述检测步骤中存在所述目标的情况下,使用所述远摄图像来执行所述远摄相机的视觉反馈控制。
本发明的优点
根据本发明的长距离目标检测相机系统具有下述优点:可以在简化结构的同时检测/跟踪从长距离到短距离的宽范围的目标。而且,实现了高速视觉识别处理,因此可检测/跟踪甚至高速移动的目标。
附图说明
图1是用于描述根据本发明的第一实施例的长距离目标检测相机系统的示意图。
图2是用于描述根据本发明的第二实施例的长距离目标检测相机系统的示意图。
图3是用于描述广角相机控制流程的流程图,广角相机控制流程用于使用本发明的长距离目标检测相机系统来从宽搜索区域检测特定目标。
图4是用于描述会聚相机控制流程的流程图,会聚相机控制流程用于使用本发明的长距离目标检测相机系统来从宽搜索区域检测特定目标。
图5是用于描述远摄相机控制流程的流程图,远摄相机控制流程用于使用本发明的长距离目标检测相机系统来从宽搜索区域检测特定目标。
具体实施方式
下面参考附图来描述用于实施本发明的优选实施例。图1是用于描述根据本发明的第一实施例的长距离目标检测相机系统的示意图。如所示,根据本发明的第一实施例的长距离目标检测相机系统主要由下述部分构成:一对会聚相机10;远摄相机20;广角相机30;其上安装了相机的基座40;以及,控制基座的移动的用于基座移动的马达50。
一对会聚相机10能够执行会聚移动。会聚移动指的是会聚相机10的旋转移动。即,例如,当一对会聚相机10用于成像给定物体时,各个相机旋转以便允许相机的视线会聚在该物体上,使得成像的照片彼此对应。在本说明书中,会聚移动也包括用于成像近物体的“特写移动”和用于成像远物体的“扩展移动”。优选的是,会聚相机10每一个具有标准的视角,即中间视角,而不是广视角或远摄视角。
所图示的一对会聚相机10使用一个马达11和一个皮带轮12来实现会聚移动。马达11和皮带轮12通过带13彼此连接。带13交叉地环绕,以便使得马达11和皮带轮12在相反方向上旋转。这种配置允许一对会聚相机10的会聚移动仅被马达11控制。本发明不限于使用一个马达和一个皮带轮的配置,而是可以采用如下的配置,其中,两个马达被提供来独立于彼此地驱动会聚相机10的每一个以便控制会聚移动。
远摄相机20具有比一对会聚相机10的每一个更窄的视场。而且,远摄相机20具有与在一对会聚相机10的视线之间的交点的轨迹线基本上相等的视线。进行会聚移动的一对会聚相机10的视线的交点绘制了在与会聚相机10的基线垂直的方向上从在一对会聚相机10之间的中点延伸的轨迹线。因此,具有与该轨迹线基本上相等的视线的远摄相机20被布置在一对会聚相机10之间的中点处。更具体地,远摄相机20被布置在一对会聚相机10的旋转中心之间的中点处。远摄相机20在基座40上的这样的布置消除了提供诸如马达这样的致动器以控制远摄相机20的视线的必要。即,远摄相机20的视线总是位于一对会聚相机10的视线的交点上,因此,当一对会聚相机10捕捉目标时,远摄相机20可以捕捉同一目标,消除了通过使用致动器来执行远摄相机20的视线控制的必要。
广角相机30具有比一对会聚相机10的每一个的视场更宽的视场。而且,广角相机30具有与远摄相机20的视线基本上相等的视线。广角相机30被布置使得具有与远摄相机20的视线基本上相等的视线,远摄相机20的视线即在一对会聚相机10的视线之间的交点的轨迹线。在该说明性示例中,广角相机30被布置在与远摄相机20基本上相同的位置。即,广角相机30被布置在一对会聚相机10之间的中间部分处。像在远摄相机的情况中那样,广角相机30在基座40上的这样的布置消除了提供诸如马达这样的致动器以控制广角相机30的视线的必要。
在根据本发明的长距离目标检测相机系统中,广角相机不是必要部件,而是根据使用目的,一对会聚相机10可以被用作广角相机的替代品。即,可以使用会聚相机的标准视角来取代广角相机的宽视角以用于长距离目标检测。
在基座40上安装了具有上面的配置的一对会聚相机10、远摄相机20和广角相机30。控制基座40的移动的用于基座移动的马达50连接到基座40。在该说明性示例中,用于基座移动的马达50具有用于三轴控制的三个马达部分,并且被配置来将基座40定位在任意方向上。远摄相机20和广角相机30被固定到基座40,以便它们与如此配置的基座40的移动联动。因此,通过用于基座移动的马达50控制远摄相机20和广角相机30的视线。
具有这样的配置的长距离目标检测相机系统被安装在诸如汽车或飞机这样的移动物体100上。根据本发明的长距离目标检测相机系统可以于在移动物体100上移动的同时检测和跟踪长距离目标。可以在必要时在基座40中设置移动传感器42。可以使用能够测量旋转或平移移动的传感器来作为移动传感器42。这样的传感器可以用于控制基座的姿态。可以设置一个或多个移动传感器42,并且在设置偶数数量的移动传感器42的情况下,优选的是,相对于基座的中心对称地设置相同数量的传感器。
接下来,将描述根据本发明的第一实施例的长距离目标检测相机系统的操作。在此,例如,将描述用于从宽搜索区域检测特定目标并且跟踪所检测到的目标的操作。首先,使用广角相机30来开始对在宽范围上的区域进行成像。然后,使用所成像的广角图像来测量长距离目标检测相机系统的移动速度,并且,基于测量结果来控制基座40的移动,由此,广角相机30的视线被固定到在环境中的预定位置。更具体地,基于以连续方式成像的多个广角图像上的特定点在移动上的变化,来测量长距离目标检测相机系统的移动速度。即,基于广角相机30的控制信号是速度信号。这个速度信号被用作反馈信号,以执行用于基座移动的马达50的视觉反馈控制,使得基座40在抵消移动速度的方向上以相同的速度旋转,以便使得广角相机30的视线相对于在环境中的预定位置稳定。
然后,从稳定的广角图像检测特定目标。该目标是具有特定形状和颜色的物体,并且可以是移动物体。该目标的示例例如包括要搜索的物体,诸如捕获物或建筑物的裂缝。可以向这样的目标的检测应用任何检测方法,诸如模式识别,包括传统的检测方法和在未来开发的方法。因此,可以在要搜索的区域各处检测目标。
在广角图像中,相对于视场范围的分辨率较低,因此仅使用广角图像的目标检测可能不能检测小目标。因此,在本发明中,不仅使用广角图像,而且使用远摄图像来执行目标检测,视线相对于环境稳定。更具体地,远摄相机的视线被移动使得远摄相机的下一个视场的一部分在当前远摄图像的范围内重叠。因为使用基座来执行远摄相机的视线的移动,所以广角相机和会聚相机的视线也随着基座的移动而移动。远摄相机的视线可以以恒定的速度移动,或以预定的间隔以跳跃的方式移动。即,可以将扫视控制用于视线移动的控制。视线移动的范围被设置得比远摄相机的视场的范围更窄,以便防止视线落在要搜索的区域之外。如上所述,检测是否在远摄图像中存在目标,并且在目标不存在的情况下,移动远摄相机的视线。因此,可以使用高分辨率远摄图像来检测目标。
然后,用于基座移动的马达50经历视觉反馈控制,使得被固定到基座40的远摄相机20的视线被设置在所检测到的目标上。这种移动被称为“扫视”。而且,用于基座移动的马达50经历视觉反馈控制,使得远摄相机20的视线跟随目标的移动。这种移动被称为“平滑追踪”。具体地说,由远摄相机20成像的远摄图像用于测量在远摄图像中的目标相对于相机的视线的位置。即,基于远摄相机20的控制信号是位置信号。这个位置信号用于执行视觉反馈控制,使得远摄相机20的视线跟随目标,由此允许远摄相机20继续以高分辨率来成像目标。
而且,一对会聚相机10经历会聚移动控制,以便对远摄相机20的视线被设置在其上的目标进行成像。即,在由一对会聚相机10成像的各自的会聚图像中的目标的位置之间的差被用来执行使用马达11的会聚移动控制。此时,一对会聚相机10的每一个的旋转角被用来测量到目标的距离。一旦已知在一对会聚相机10之间的基线长度及其旋转角,则可以基于三角测量方法来测量到目标的距离。
利用这样的控制,根据本发明的长距离目标检测相机系统可以从宽搜索区域检测特定目标,跟踪目标,并且使用高分辨率来清楚地对目标进行成像,即使目标的大小很小。
接下来,将描述根据本发明的第二实施例的长距离目标检测相机系统。图2是用于解释根据本发明的第二实施例的长距离目标检测相机系统的示意图。在图2中,与在图1中的那些相同的附图标记表示与在图1中的那些相同的部分,并且在此将省略其描述。如图2中所示,在根据本发明的第二实施例的长距离目标检测相机系统中,远摄相机20和广角相机30被固定到一对会聚相机10之一。在第一实施例中,远摄相机20被布置在一对会聚相机10之间的中点处。另一方面,在第二实施例中,远摄相机20被固定到一对会聚相机10之一,以便具有与该一个会聚相机10的视线基本上相等的视线。即使使用这种布置,远摄相机20也具有与在一对会聚相机10的视线之间的交点的轨迹线基本上相等的视线。类似地,广角相机30被固定到一对会聚相机10之一,以便具有与远摄相机20的视线基本上相等的视线。远摄相机20和广角相机30如此被固定到一对会聚相机10之一,使得它们与这一个会聚相机10的移动联动。
在第二实施例中的基本控制原理与在图1中所示的第一实施例中的相同。以下,参考流程图,将更详细地描述根据本发明的第一或第二实施例的长距离目标检测相机系统的控制流程。
图3至5是用于描述使用本发明的长距离目标检测相机系统来从宽搜索区域检测特定目标的控制流程的流程图。图3是广角相机的控制流程图,图4是一对会聚相机的控制流程图,并且图5是远摄相机的控制流程图。
如图3中所示,在广角相机的控制处理中,使用广角相机来对宽范围区域进行成像(步骤301)。然后,所成像的广角图像用于测量长距离目标检测相机系统的移动速度(步骤302)。如上所述,基于以连续方式成像的多个广角图像上的特定点的移动上的变化来测量长距离目标检测相机系统的移动速度。然后,检测在成像的广角图像中是否存在特定目标(步骤303)。在检测到目标的情况下,基座经历扫视控制,使得所检测到的目标位于例如广角图像的中心(步骤304)。另一方面,在未检测到目标的情况下,执行下述的远摄相机的控制流程(步骤305)。当通过使用远摄相机来搜索目标时,基座使用所测量的移动速度来经历视觉反馈控制,以便将广角相机的视线保持在预定位置(步骤306)。然后,组合基于远摄相机的控制信号和基于广角相机的控制信号,以便执行基座的视觉反馈控制(步骤307)。如上所述,基于远摄相机的控制信号是位置信号,并且基于广角相机的控制信号是速度信号。这些信号每一个乘以预定增益,然后被彼此相加以用作基座的反馈控制信号。
然后,如图4中所示,在一对会聚相机的控制处理中,一对会聚相机用于对目标成像(步骤401)。如在广角相机的控制流程中所述,当广角相机的成像视线被保持在预定位置时,基座总是被保持在特定方向上。因此,一对会聚相机被保持在特定方向上。因此,由会聚相机成像的图像彼此匹配(步骤402),以便执行会聚相机的会聚移动控制(步骤403)。在控制广角相机使得目标位于广角图像的中心的状态中,每一个会聚相机被控制使得目标位于会聚图像的每一个的中心处,由此会聚相机的视线彼此重合。此时获得的会聚相机的旋转角用于测量到目标的距离(步骤404)。如上所述,对于距离测量,可以使用三角测量方法。然后,测量目标的位置(坐标)(步骤405)。虽然在此还测量目标的坐标,但是在不需要位置信息的情况下不必测量它。然后,为了将会聚相机的视线保持在预定位置,使用会聚图像来执行一对会聚相机的视觉反馈控制(步骤406)。执行这种控制使得目标被定位在一对会聚相机的视线之间的交点的轨迹线上。
然后,如图5中所示,使用远摄相机来对目标进行成像(步骤501)。当在远摄相机的远摄图像上存在目标时(步骤502),测量目标的位置(步骤503)。然后,执行视觉反馈控制使得在远摄图像中包括目标(步骤504)。另一方面,当在远摄相机的远摄图像上不存在目标时(步骤502)。远摄相机的视线被移动使得远摄相机的下一个视场的一部分在当前的远摄图像的范围内重叠,以便移动搜索区域(步骤505)。
利用这样的控制,可以从宽搜索区域检测特定目标,测量到目标的距离,并且使用远摄相机以高分辨率来清楚地对目标进行成像。
可以根据到目标的距离来选择性地使用如上所述的控制流程。在其上安装了这样配置的本发明的长距离目标检测相机系统的移动物体向检测和跟踪的长距离目标移动的情况下,如下地控制该长距离目标检测相机系统。
在到目标的距离大的情况下,使用广角控制流程(图3)和远摄相机控制流程(图5)来搜索目标。当已经检测到目标时,执行扫视控制,随后,执行视觉反馈控制,同时根据远摄相机流程来测量目标位置。然后,使得移动物体向目标所位于的位置移动。
当其上安装了本发明的长距离目标检测相机系统的移动物体在一定程度上接近目标时,使用广角相机控制流程(图3)和会聚相机控制流程(图4)来以高精度测量目标的距离或位置,并且在视觉反馈控制下继续对目标进行成像。结果,移动物体可以精确地接近目标。
如上所述,根据本发明的长距离目标检测相机系统,可以从宽搜索区域检测特定目标,跟踪目标并且接近目标。
在诸如汽车或飞机这样的移动物体上安装的本发明的长距离目标检测相机系统可以检测和跟踪长距离目标或找到作为要从长距离检测的目标的建筑物的裂缝等。当需要检测长距离目标时,会聚相机基于由广角相机成像的广角图像来经历会聚移动,以获取大致的距离信息。然后,使用远摄相机来成像要被聚焦的目标,以便于检测和聚焦。对于目标的检测方法,基于由广角相机成像的广角图像和由会聚相机成像的会聚图像来执行视觉反馈控制以便使得视线稳定,远摄相机的视线被移动以便扫描搜索区域。一旦检测到目标,则可以在视觉反馈控制下在跟踪目标的同时接近目标。当到目标的距离已经变小时,可以使用会聚相机来取代远摄相机以便跟踪目标。
根据本发明的长距离目标检测相机系统的配置可以消除提供用于远摄相机或广角相机的致动器的必要,以简化结构,因此有助于减小系统的重量和大小。而且,这种简单结构使得控制简单,由此实现高速目标检测或跟踪处理。
根据本发明的长距离目标检测相机系统不限于上面的说明性示例,而是可以在本发明的范围内不同地修改。例如,一对会聚相机可以是多个会聚相机组。
附图标记的解释
10:一对会聚相机
11:马达
12:皮带轮
13:带
20:远摄相机
30:广角相机
40:基座
42:移动传感器
50.用于基座移动的马达
100:移动物体
Claims (7)
1.一种用于检测长距离目标的长距离目标检测相机系统,所述系统包括:
一对会聚相机,能够执行会聚移动;
远摄相机,具有与在所述一对会聚相机的视线之间的交点的轨迹线基本上相等的视线,并且具有比所述一对会聚相机的每一个更窄的视场;
基座,在所述基座上安装了所述一对会聚相机和所述远摄相机;以及,
用于基座移动的马达,所述马达控制所述基座的移动。
2.根据权利要求1所述的长距离目标检测相机系统,进一步包括广角相机,所述广角相机具有与所述远摄相机的视线基本上相等的视线,并且具有比所述一对会聚相机的每一个更宽的视场,所述广角相机被安装在所述基座上。
3.根据权利要求1或2所述的长距离目标检测相机系统,其中,所述远摄相机被布置在所述一对会聚相机之间的中点处。
4.根据权利要求1至3中的任何一项所述的长距离目标检测相机系统,其中,所述远摄相机和/或所述广角相机被固定在所述基座上,以便与所述基座的移动联动。
5.根据权利要求1或权利要求2所述的长距离目标检测相机系统,其中,所述远摄相机和/或所述广角相机被固定到所述一对会聚相机的一个,以便与所述一个会聚相机的移动联动。
6.根据权利要求1至5中的任何一项所述的长距离目标检测相机系统,其中,所述会聚相机使用一个马达和一个皮带轮来实现会聚移动。
7.一种用于通过使用根据权利要求2至6中的任何一项所述的长距离目标检测相机系统来从宽范围区域检测目标的控制方法,所述方法包括:
广角相机控制处理、会聚相机控制处理和远摄相机控制处理,
所述广角相机控制处理包括步骤:
使用所述广角相机来对宽范围区域进行成像;
利用在使用所述广角相机的成像步骤中获得的广角图像来测量所述长距离目标检测相机系统的移动速度;以及,
使用在所述测量步骤中获得的所述移动速度来对所述基座执行视觉反馈控制,以便将所述广角相机的视线保持在预定位置,
所述会聚相机控制处理包括步骤:
使用所述一对会聚相机来对所述目标进行成像;
利用在使用所述一对会聚相机的成像步骤中获得的会聚图像来对所述一对会聚相机执行会聚移动控制;
使用在所述会聚相机移动控制步骤中获得的会聚相机的旋转角度来测量到所述目标的距离;以及,
使用所述会聚图像来对所述一对会聚相机执行视觉反馈控制,以便将所述一对会聚相机的视线保持在预定位置,以及
所述远摄相机控制处理包括步骤:
使用所述远摄相机来对所述目标进行成像;
在使用所述远摄相机的成像步骤中获得的远摄图像中检测是否存在所述目标;
在所述检测步骤中没有所述目标存在的情况下,移动所述远摄相机的视线,使得所述远摄相机的下一个视场的一部分在当前远摄图像的范围内重叠;以及,
在所述检测步骤中存在所述目标的情况下,使用所述远摄图像来对所述远摄相机执行视觉反馈控制。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008211251A JP5229726B2 (ja) | 2008-08-20 | 2008-08-20 | 遠距離視標探査カメラシステム |
JP2008-211251 | 2008-08-20 | ||
PCT/JP2009/003902 WO2010021114A1 (ja) | 2008-08-20 | 2009-08-17 | 遠距離視標探査カメラシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102132556A true CN102132556A (zh) | 2011-07-20 |
Family
ID=41707005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801326570A Pending CN102132556A (zh) | 2008-08-20 | 2009-08-17 | 长距离目标检测相机系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20120002016A1 (zh) |
EP (1) | EP2328341A4 (zh) |
JP (1) | JP5229726B2 (zh) |
CN (1) | CN102132556A (zh) |
WO (1) | WO2010021114A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103636191A (zh) * | 2011-08-23 | 2014-03-12 | 松下电器产业株式会社 | 三维摄像装置、透镜控制装置以及程序 |
US9279676B2 (en) | 2012-02-10 | 2016-03-08 | Hon Hai Precision Industry Co., Ltd. | Parallax based distance measuring device |
CN107122770A (zh) * | 2017-06-13 | 2017-09-01 | 驭势(上海)汽车科技有限公司 | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 |
WO2018014305A1 (zh) * | 2016-07-21 | 2018-01-25 | 武汉芯泰科技有限公司 | 一种多波探测与成像系统 |
CN109813716A (zh) * | 2017-11-22 | 2019-05-28 | 北京汉能光伏投资有限公司 | 太阳能组件故障检测系统和方法 |
CN111699361A (zh) * | 2018-09-07 | 2020-09-22 | 深圳配天智能技术研究院有限公司 | 一种测量距离的方法及装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2739036T3 (es) * | 2009-09-14 | 2020-01-28 | Viion Systems Inc | Cámara de análisis de vídeo de resolución dual sacádica |
GB2499427A (en) * | 2012-02-16 | 2013-08-21 | Overview Ltd | Video tracking apparatus having two cameras mounted on a moveable unit |
US9152526B2 (en) * | 2012-11-16 | 2015-10-06 | GM Global Technology Operations LLC | Method and apparatus for state of health estimation of object sensing fusion system |
FI130426B (fi) | 2014-06-30 | 2023-08-23 | Konecranes Oyj | Kuorman kuljettaminen kuormankäsittelylaitteella |
KR101813890B1 (ko) * | 2015-06-11 | 2018-01-02 | 주식회사 두시텍 | 이동 중 근거리원거리환경 움직임위치 추적 카메라센서 |
WO2018235256A1 (ja) * | 2017-06-23 | 2018-12-27 | 株式会社日立製作所 | ステレオ計測装置及びシステム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059820A (ja) * | 1998-08-14 | 2000-02-25 | Sanyu Seni:Kk | 3カメラ方式による立体撮影用ビデオカメラ |
US6326994B1 (en) * | 1997-01-22 | 2001-12-04 | Sony Corporation | Matched field-of-view stereographic imaging apparatus |
JP2006238325A (ja) * | 2005-02-28 | 2006-09-07 | Canon Inc | カメラシステム |
EP1765014A2 (en) * | 2005-09-20 | 2007-03-21 | Fujinon Corporation | Surveillance camera apparatus and surveillance camera system |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2226923B (en) * | 1989-01-06 | 1993-03-17 | Peng Seng Toh | Automatic convergent stereoscopic machine vision |
US6701081B1 (en) * | 2000-06-06 | 2004-03-02 | Air Controls, Inc. | Dual camera mount for stereo imaging |
CN1219397C (zh) * | 2002-10-22 | 2005-09-14 | 张晓林 | 仿生型自动视觉和视线控制系统及方法 |
JP4062145B2 (ja) * | 2003-03-25 | 2008-03-19 | コニカミノルタホールディングス株式会社 | 撮像装置 |
JP4540322B2 (ja) * | 2003-09-29 | 2010-09-08 | Hoya株式会社 | 画像間対応点検出装置および画像間対応点検出方法 |
JP4243692B2 (ja) | 2005-03-16 | 2009-03-25 | 国立大学法人東京工業大学 | 立体形状検出装置及び立体形状検出方法 |
JP2006329747A (ja) | 2005-05-25 | 2006-12-07 | Tokyo Institute Of Technology | 画像撮影装置 |
JP4918675B2 (ja) | 2005-09-29 | 2012-04-18 | 国立大学法人東京工業大学 | 3次元座標測定方法 |
JP2007120993A (ja) * | 2005-10-25 | 2007-05-17 | Tokyo Institute Of Technology | 物体形状測定装置 |
JP2007240506A (ja) * | 2006-03-06 | 2007-09-20 | Giyourin Cho | 3次元形状と3次元地形計測法 |
-
2008
- 2008-08-20 JP JP2008211251A patent/JP5229726B2/ja active Active
-
2009
- 2009-08-17 EP EP09808050A patent/EP2328341A4/en not_active Withdrawn
- 2009-08-17 WO PCT/JP2009/003902 patent/WO2010021114A1/ja active Application Filing
- 2009-08-17 US US13/059,954 patent/US20120002016A1/en not_active Abandoned
- 2009-08-17 CN CN2009801326570A patent/CN102132556A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6326994B1 (en) * | 1997-01-22 | 2001-12-04 | Sony Corporation | Matched field-of-view stereographic imaging apparatus |
JP2000059820A (ja) * | 1998-08-14 | 2000-02-25 | Sanyu Seni:Kk | 3カメラ方式による立体撮影用ビデオカメラ |
JP2006238325A (ja) * | 2005-02-28 | 2006-09-07 | Canon Inc | カメラシステム |
EP1765014A2 (en) * | 2005-09-20 | 2007-03-21 | Fujinon Corporation | Surveillance camera apparatus and surveillance camera system |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103636191A (zh) * | 2011-08-23 | 2014-03-12 | 松下电器产业株式会社 | 三维摄像装置、透镜控制装置以及程序 |
CN103636191B (zh) * | 2011-08-23 | 2016-11-02 | 松下电器产业株式会社 | 三维摄像装置、透镜控制装置 |
US9279676B2 (en) | 2012-02-10 | 2016-03-08 | Hon Hai Precision Industry Co., Ltd. | Parallax based distance measuring device |
WO2018014305A1 (zh) * | 2016-07-21 | 2018-01-25 | 武汉芯泰科技有限公司 | 一种多波探测与成像系统 |
CN107122770A (zh) * | 2017-06-13 | 2017-09-01 | 驭势(上海)汽车科技有限公司 | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 |
CN107122770B (zh) * | 2017-06-13 | 2023-06-27 | 驭势(上海)汽车科技有限公司 | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 |
CN109813716A (zh) * | 2017-11-22 | 2019-05-28 | 北京汉能光伏投资有限公司 | 太阳能组件故障检测系统和方法 |
CN109813716B (zh) * | 2017-11-22 | 2024-03-08 | 东君新能源有限公司 | 太阳能组件故障检测系统和方法 |
CN111699361A (zh) * | 2018-09-07 | 2020-09-22 | 深圳配天智能技术研究院有限公司 | 一种测量距离的方法及装置 |
CN111699361B (zh) * | 2018-09-07 | 2022-05-27 | 深圳配天智能技术研究院有限公司 | 一种测量距离的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2328341A1 (en) | 2011-06-01 |
JP2010050582A (ja) | 2010-03-04 |
US20120002016A1 (en) | 2012-01-05 |
EP2328341A4 (en) | 2011-09-14 |
WO2010021114A1 (ja) | 2010-02-25 |
JP5229726B2 (ja) | 2013-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102132556A (zh) | 长距离目标检测相机系统 | |
JP2009241247A (ja) | ステレオ画像型検出移動装置 | |
CN101363717B (zh) | 用于在物体表面上进行非接触坐标测量的方法和勘测系统 | |
CN101796817B (zh) | 照相机和校准照相机的方法 | |
JP5650942B2 (ja) | 点検システムおよび点検方法 | |
US20160379066A1 (en) | Method and Camera System for Distance Determination of Objects from a Vehicle | |
JP2006503275A (ja) | 測定器用電子ディスプレイおよび制御装置 | |
CN103261838A (zh) | 机器人测绘仪和包括自准直目标的用于测绘仪的望远镜的自动自准直的方法 | |
JP2011145115A (ja) | 測距装置、測距用モジュール及びこれを用いた撮像装置 | |
CN105953771A (zh) | 一种主动式经纬仪系统及测量方法 | |
US7738733B2 (en) | Systems and methods for 3-D imaging | |
US20120236287A1 (en) | External environment visualization apparatus and method | |
JP5553202B2 (ja) | 距離測定装置及び距離測定方法 | |
US20060072019A1 (en) | System and method for detecting image capture device movement with two dual axis linear accelerometers | |
JP2000504418A (ja) | 距離及び/又は位置測定装置 | |
JP2018155709A (ja) | 位置姿勢推定装置および位置姿勢推定方法、運転支援装置 | |
KR101452342B1 (ko) | 감시카메라 유닛 및 그 구동방법 | |
CN103175504A (zh) | 光学系统 | |
KR102286945B1 (ko) | 영상 촬영 시스템 및 그 방법 | |
JP5051839B2 (ja) | 視標位置測定装置 | |
JPH0755439A (ja) | 三次元形状計測装置 | |
JP2018134712A (ja) | ロボットシステム及びロボットシステムの制御方法 | |
JP4918675B2 (ja) | 3次元座標測定方法 | |
JP6101037B2 (ja) | 追尾式レーザー装置、及び測定装置 | |
KR20170084966A (ko) | 국소위치인식시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110720 |