CN104915948B - 用于使用范围传感器选择二维兴趣区域的系统和方法 - Google Patents

用于使用范围传感器选择二维兴趣区域的系统和方法 Download PDF

Info

Publication number
CN104915948B
CN104915948B CN201510104345.6A CN201510104345A CN104915948B CN 104915948 B CN104915948 B CN 104915948B CN 201510104345 A CN201510104345 A CN 201510104345A CN 104915948 B CN104915948 B CN 104915948B
Authority
CN
China
Prior art keywords
image
coordinate system
camera
range
range sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510104345.6A
Other languages
English (en)
Other versions
CN104915948A (zh
Inventor
N.D.麦凯
J.W.韦尔斯
R.J.梅纳萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN104915948A publication Critical patent/CN104915948A/zh
Application granted granted Critical
Publication of CN104915948B publication Critical patent/CN104915948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种系统，包括第一摄像头，其限定第一摄像头坐标系(C1)且配置为获得情景的第一影像。范围传感器与第一摄像头间隔开第一距离且限定范围传感器坐标系(R)。控制器操作性地连接到第一摄像头和范围传感器。控制器具有处理器和实体非瞬时存储器装置，在该存储装置上记录了用于执行方法的指令，所述方法用于第一影像中的二维兴趣区域(u1 *，v1*)，其中其为二维强度影像。第一影像通过第一影像平面中的多个第一点(u1，v1)所代表。控制器配置为通过范围传感器获得情景的范围影像。范围影像通过第二影像平面中的多个第二点(u2，v2，d)所代表。

Description

用于使用范围传感器选择二维兴趣区域的系统和方法
技术领域
本发明大致涉及用于使用范围传感器在二维影像中选择二维兴趣区域(regionof interest)的系统和方法。
背景技术
从常规的数字摄像头获得的二维影像会例如在影像的背景或其他部分中包括分散且不相干的杂乱部分。通常，二维影像的分割可以包含环境的物理修改，例如增加幕帘(curtain)以除去不相干的背景杂乱部分。仅使用二维记号(two-dimensional cues)对二维影像进行电子分割耗费时间。
发明内容
一种系统，包括第一摄像头，该第一摄像头限定第一摄像头坐标系(C1)且配置为获得情景的第一影像。范围传感器与第一摄像头间隔开第一距离且限定范围传感器坐标系(R)。例如，第一摄像头的透镜和范围传感器的传感器部分可以分别定位在第一摄像头坐标系(C1)和范围传感器坐标系(R)的原点处。
控制器操作性地连接到第一摄像头和范围传感器。第一摄像头、控制器和范围传感器可以是单个装置的一部分。控制器具有处理器和实体非瞬时存储装置，在该存储装置上记录了用于执行方法的指令，所述方法用于获得第一影像中的二维兴趣区域(u1 *，v1 *)，其为二维强度影像(intensity image)。
通过处理器执行指令使得控制器通过第一摄像头获得情景的第一影像。第一影像通过第一影像平面中的多个第一点(u1，v1)所代表。控制器配置为通过范围传感器获得情景的范围影像。范围影像通过第二影像平面中的多个第二点(u2，v2，d)所代表。范围影像中多个第二点(u2，v2，d)每一个包括对应于从范围传感器到情景中物体的相应距离的范围距离(d)。
控制器配置为将范围影像转换为范围传感器坐标系(R)中的三维样本点(x2，y2，z2)；和在范围传感器坐标系(R)中从三维样本点(x2，y2，z2)选择三维兴趣区域(x2 *，y2 *，z2 *)。在范围传感器坐标系(R)中被选择的三维兴趣区域(x2 *，y2 *，z2 *)可以仅包括情景中距范围传感器小于最小距离的物体。三维体积中每一个被选择点的空间位置可以是范围距离(d)的函数。范围传感器坐标系(R)中被选择的三维兴趣区域(x2 *，y2 *，z2 *)可以仅包括情景中的在三维体积中或其表面上的物体。三维体积中每一个被选择点的空间位置可以是时间的函数，从而三维体积的位置、尺寸或形状可以随时间改变。
控制器配置为将三维兴趣区域从范围传感器坐标系(R)转换为第一摄像头坐标系(C1)[(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)]。控制器配置为将第一摄像头坐标系(C1)中的三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面，以获得二维兴趣区域(u1 *，v1 *)。
第一摄像头可以是数字摄像头。利用具有距离信息的范围影像可提供分割二维影像的快速且成本有效的方式，由此加速分析二维影像的处理。系统减小了将需要执行其他更耗费计算量的算法的影像部分，使得视觉处理总体上得以加速。例如，这可防止在搜索二维强度影像时的虚假匹配。
根据一实施例，本发明提出一种系统，包括：
第一摄像头，限定第一摄像头坐标系(C1)且配置为获得情景的第一影像；
范围传感器，与第一摄像头间隔开第一距离且限定范围传感器坐标系(R)；
控制器，操作性地连接到第一摄像头和范围传感器，控制器具有处理器和实体非瞬时存储装置，该存储装置上记录有用于执行获得第一影像中二维兴趣区域(u1 *，v1 *)的方法的指令；
其中通过处理器执行指令使得控制器：
通过第一摄像头获得情景的第一影像，第一影像通过第一影像平面中的多个第一点(u1，v1)所代表；
通过范围传感器获得情景的范围影像，范围影像通过第二影像平面中的多个第二点(u2，v2，d)所代表；
将范围影像转换为范围传感器坐标系(R)中的三维样本点(x2，y2，z2)；和
在范围传感器坐标系(R)中从三维样本点(x2，y2，z2)选择三维兴趣区域(x2 *，y2 *，z2 *)。
优选地，其中所述将范围影像转换为范围传感器坐标系(R)中的三维样本点(x2，y2，z2)包括：获得转换矩阵(P2)，以用于将范围传感器坐标系(R)转换到第二影像平面；和使用所述转换矩阵的逆矩阵，以用于将范围影像转换为三维样本点(x2，y2，z2)。
优选地，其中在范围传感器坐标系(R)中选择的三维兴趣区域(x2 *，y2 *，z2 *)仅包括情景中的距范围传感器小于最小距离的物体。
优选地，其中：范围影像中的所述多个第二点(u2，v2，d)的每一个包括一范围距离(d)，该范围距离对应于从范围传感器到情景中物体的相应距离；被选择的三维兴趣区域(x2 *，y2 *，z2 *)限定了被选择点，三维体积中每一个被选择点的空间位置为所述范围距离(d)的函数。
优选地，范围传感器坐标系(R)中的被选择的三维兴趣区域(x2 *，y2 *，z2 *)仅包括情景中的在三维体积中或其表面上的物体，三维体积限定被选择点；三维体积中每一个被选择点的空间位置是时间的函数。
优选地，第一摄像头、控制器和范围传感器是单个装置的一部分。
优选地，其中控制器进一步配置为：将三维兴趣区域从范围传感器坐标系(R)变换到第一摄像头坐标系(C1)[(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)]；将第一摄像头坐标系(C1)中的三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面上，以获得二维兴趣区域(u1 *，v1 *)。
优选地，其中所述将三维兴趣区域从范围传感器坐标系(R)变换到第一摄像头坐标系(C1)[(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)]包括：获得用于将范围传感器坐标系(R)转换为第一摄像头坐标系(C1)的第一变换矩阵(T21)。
优选地，其中所述将第一摄像头坐标系(C1)中的三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面上包括：获得用于将第一摄像头坐标系(C1)投影到第一影像平面的投影矩阵(P1)。
优选地，系统进一步包括第二摄像头，其与范围传感器间隔开第二距离且限定第二摄像头坐标系(C2)；其中控制器配置为：
在获得范围影像之后获得情景的第三影像，该第三影像通过第三影像平面中的多个第三点(u3，v3)限定；
确定用于将第三影像平面转换为第一影像平面的第二变换矩阵(T31)。
将来自第三影像平面的所述多个第三点(u3，v3)经由第二变换矩阵(T31)变换到第一影像平面；和
在将范围影像转换为三维样本点(x2，y2，z2)之前，将第三影像与第一影像结合。
根据另一实施例，提出一种系统，包括：
第一摄像头，限定第一摄像头坐标系(C1)且配置为获得情景的第一影像；
范围传感器，与第一摄像头间隔开第一距离且限定范围传感器坐标系(R)；
控制器，操作性地连接到第一摄像头和范围传感器，控制器具有处理器和实体非瞬时存储装置，该存储装置上记录有用于执行获得第一影像中的二维兴趣区域(u1 *，v1 *)的方法的指令；
其中通过处理器执行指令使得控制器：
通过第一摄像头获得情景的第一影像，第一影像通过第一影像平面中的多个第一点(u1，v1)所代表；
通过范围传感器获得情景的范围影像，范围影像通过第二影像平面中的多个第二点(u2，v2，d)所代表；
将范围影像转换为范围传感器坐标系(R)中的三维样本点(x2，y2，z2)；
在范围传感器坐标系(R)中从三维样本点(x2，y2，z2)选择三维兴趣区域(x2 *，y2 *，z2 *)；
将三维兴趣区域从范围传感器坐标系(R)变换到第一摄像头坐标系(C1)[(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)]；和
将第一摄像头坐标系(C1)中的三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面上，以获得二维兴趣区域(u1 *，v1 *)。
优选地，其中在范围传感器坐标系(R)中的被选择三维兴趣区域(x2 *，y2 *，z2 *)仅包括情景中的距第一摄像头小于最小距离的物体。
根据再一实施例，提出一种获得二维影像中二维兴趣区域的方法，该方法包括：
通过第一摄像头获得情景的第一影像，第一影像通过第一影像平面中的多个第一点(u1，v1)所代表，第一摄像头限定第一摄像头坐标系(C1)；
通过范围传感器获得情景的范围影像，范围影像通过第二影像平面中的多个第二点(u2，v2，d)所代表；
其中范围传感器与第一摄像头间隔开第一距离且限定范围传感器坐标系(R)；
将范围影像转换为范围传感器坐标系(R)中的三维样本点(x2，y2，z2)；
在范围传感器坐标系(R)中从三维样本点(x2，y2，z2)选择三维兴趣区域(x2 *，y2 *，z2 *)；
将三维兴趣区域从范围传感器坐标系(R)变换到第一摄像头坐标系(C1)[(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)]；和
将第一摄像头坐标系(C1)中的三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面上，以获得二维兴趣区域(u1 *，v1 *)。
优选地，其中所述将范围影像转换为范围传感器坐标系(R)中的三维样本点(x2，y2，z2)包括：获得转换矩阵(P2)，以用于将范围传感器坐标系(R)转换到第二影像平面；使用所述转换矩阵的逆矩阵，以用于将范围影像转换为三维样本点(x2，y2，z2)。
优选地，其中所述将三维兴趣区域从范围传感器坐标系(R)变换到第一摄像头坐标系(C1)[(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)]包括：获得用于将范围传感器坐标系(R)转换为第一摄像头坐标系(C1)的第一变换矩阵(T21)。
优选地，其中所述将第一摄像头坐标系(C1)中的三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面上包括：获得用于将第一摄像头坐标系(C1)投影到第一影像平面的投影矩阵(P1)。
优选地，方法进一步包括：在获得第二影像之后，通过第二摄像头获得情景的第三影像，第三影像通过第三影像平面中的多个第三点(u3，v3)限定；其中第二摄像头与范围传感器间隔开第二距离且限定第二摄像头坐标系(C2)；确定第二变换矩阵(T31)，用于将第三影像平面转换为第一影像平面；将来自第三影像平面的所述多个第三点(u3，v3)经由第二变换矩阵(T31)变换到第一影像平面；在将范围影像转换为三维样本点(x2，y2，z2)之前，将第三影像与第一影像结合。
在下文结合附图进行的对实施本发明的较佳模式做出的详尽描述中能容易地理解上述的本发明的特征和优点以及其他的特征和优点。
附图说明
图1是具有第一摄像头、范围传感器和控制器的系统的示意图；
图2是通过图1的控制器实施的过程的流程图，所述过程用于在通过图1的第一摄像头产生的二维第一影像中获得二维兴趣区域；和
图3A是在实施图2的过程之前通过图1的第一摄像头产生的示例性第一影像的示意图；和
图3B是在实施图2的过程之后图3A的第一影像的示意图。
具体实施方式
参见附图，其中在几幅图中相同的附图标记指示相同或相似的部件，图1示出了具有限定第一摄像头坐标系(C1)的第一摄像头12的系统10。系统10可以采取许多不同的形式并包括多种和/或替换的部件和设备。尽管在图中示出了一示例性系统10，但是在图中所示的部件非意旨是限制性的。实际上，可以使用额外的或替换的部件和/或实施方式。
参见图1，范围传感器14从第一摄像头12间隔开第一距离16，且限定范围传感器坐标系(R)。在一个例子中，第一摄像头12的透镜12A和范围传感器14的传感器部分14A可以分别定位在第一摄像头坐标系(C1)和范围传感器坐标系(R)的原点处。第一摄像头12和范围传感器14可以刚性安装在安装支架18上，以限定固定的几何或空间的关系。
参见图1，第一摄像头12配置为获得情景22的第一影像20。第一影像20通过第一影像平面26中的多个第一点24(u1，v1)所代表。第一影像20可以是代表灰度或彩色强度影像的二维点的网格。第一摄像头12可以是二维数字摄像头。
参见图1，范围传感器14配置为获得情景的范围影像30。范围影像30通过第二影像平面34中的多个第二点32(u2，v2，d)限定。范围传感器14产生二维影像，该二维影像显示从范围传感器14的传感器部分14A到情景中每一个物体(例如物体38)的相应距离，本文中称为范围距离36。
在一个例子中，范围传感器14是红外渡越时间(time-of-flight)传感器，其基于光的已知速度、测量范围传感器14和情景22中每一个点之间的光信号的渡越时间而求解距离。如本领域技术人员已知的，可以使用校准板(未示出)校准范围距离36(d)。范围传感器14可以被校准从而范围距离36以物理单位直接给定，例如英尺或米。范围传感器14可以返回范围影像和准确对应(exactly-registered)的红外强度影像二者。
参见图1，第一摄像头12可以包括至少一个透镜12A和/或(未示出)滤波器，其适于对来自情景的光进行接收和/或使之成形到影像传感器(未示出)。影像传感器可以例如包括一个或多个电荷耦合装置(CCD)，其配置为将光能量转换为数字信号。电荷藕合装置是模拟装置，其在被光照射时在每一个光电传感器上形成小的电荷。在像素从芯片读取且使用额外电路被转换为数字数据时，电荷被一次一个像素地转换为电压。影像传感器可以包括互补金属氧化物半导体芯片(CMOS)，其是主动像素传感器(active pixel sensor)，具有靠近每一个光电传感器的电路，将光能转换为电压，随后使用芯片上的额外电路将电压转换为数字数据。
参见图1，控制器40操作性地连接到第一摄像头12和范围传感器14。第一摄像头12，控制器40和范围传感器14可以是单个装置的部分。参见图1，控制器40具有处理器42和实体非瞬时存储器44，在该存储器上记录了用于执行方法或过程100的指令，方法或过程100用于使用由范围传感器14获得的信息在第一影像20中获得二维兴趣区域(u1 *，v1 *)。过程100驻于(reside)控制器40中或可易于被控制器40执行。将在下文参考图2详细描述过程100。
参见图1，控制器40可以包括与用户(未示出)交互的输入装置46和输出装置48。输入装置46可以包括允许用户对控制器40提供信息或命令的任何装置。输入装置46例如可以包括计算机鼠标和/或键盘。输出装置48可以包括配置为将信息提供给用户的任何装置。由此，输出装置48可以包括显示屏或计算机监测器，例如液晶显示器(LCD)屏。
可选地，第二摄像头50可以操作地连接到控制器40。第二摄像头50可以与范围传感器14间隔开第二距离52且刚性安装在安装支架18上，以限定固定的几何关系。第二摄像头50限定第二摄像头坐标系(C2)。第二摄像头50可以配置为获得情景22的第三影像54。第三影像54通过第三影像平面58中的多个第三点56(u3，v3)限定。第一和第二摄像头12，50、控制器40和范围传感器14可以是单个装置的部分。
现在参见图2，过程100可以以步骤102开始，其中控制器40配置为通过第一摄像头12获得情景22的第一影像20。如上所述，第一影像20通过第一影像平面26中的多个第一点(u1，v1)所代表。图2的步骤102到118可以按照并非下文所述顺序的顺序执行，且一些步骤可以省略。在图2的步骤104，控制器40配置为通过范围传感器14获得情景22的范围影像30。
在图2的步骤106，控制器40配置为将范围影像30(通过第二影像平面34中的多个第二点32(u2，v2，d)所代表)转换为范围传感器坐标系(R)中的三维样本点(x2，y2，z2)。步骤106可以包括子步骤106A，以获得用于将范围传感器坐标系(R)转换到第二影像平面34的转换矩阵(P2)，从而：
该转换矩阵(P2)可以通过范围传感器14的特征确定，例如其焦距。在步骤106，转换矩阵(P2)的逆矩阵(inverse)用于将范围影像30(u2，v2，d)转换为点(x2，y2，z2)的三维样本，从而：
在图2的步骤108中，控制器40配置为在范围传感器坐标系(R)中从三维样本点(x2，y2，z2)选择兴趣三维区域(x2 *，y2 *，z2 *)。被选择的三维兴趣区域(x2 *，y2 *，z2 *)可以取决于范围距离36(d)(即范围数据决定的选择体积)。例如，三维兴趣区域可以被选择为围绕最靠近范围传感器14的任何物体38的区域。被选择的三维兴趣区域(x2 *，y2 *，z2 *)或体积的位置、尺寸和形状可以全都是范围距离36(d)的函数，而不是在空间中的固定体积。被选择的三维兴趣区域(x2 *，y2 *，z2 *)可以仅包括情景22中的物体38(见图2)，所述物体距范围传感器小于的最小距离。
在一个实施例中，选择的三维兴趣区域(x2 *，y2 *，z2 *)仅包括情景22中的在预定三维体积(例如图3A所示和下文所述的体积312)中或表面上的物体38。三维体积可以是立方体、圆柱体、矩形棱柱、圆锥、三棱柱或其他规则或不规则三维形状。三维体积限定被选择的点。在一个例子中，三维体积中每一个被选择点的空间位置可以是时间的函数，从而三维体积的位置、尺寸或形状可以随时间改变。例如，这允许追踪可动物体(例如图3A和3B所示的兴趣物体304)。
在图2的步骤110中，控制器40配置为将范围传感器坐标系(R)中的三维兴趣区域(x2 *，y2 *，z2 *)变换为第一摄像头坐标系(C1)中的三维兴趣区域(x1 *，y1 *，z1 *)。参见图1，三维兴趣区域(x2 *，y2 *，z2 *)和(x1 *，y1 *，z1 *)在绝对空间坐标系A中是相同的。步骤110涉及将三维兴趣区域从一个坐标系变换到另一坐标线。步骤110可以包括子步骤110A以获得第一变换矩阵(T21)，用于将范围传感器坐标系(R)转换为第一摄像头坐标系(C1)，从而：
第一变换矩阵(T21)可以从第一摄像头12和范围传感器14之间的已知空间或几何关系确定。如本领域技术人员已知的，在三维空间中给定两个坐标系统(frame)，则可以发展出变换矩阵，其将来自一个坐标系统的坐标转换为另一坐标系统的坐标，如果两个坐标系统之间的几何关系已知的话。第一摄像头12和范围传感器14可以定位为使得范围传感器坐标系(R)和第一摄像头坐标系(C1)包含坐标系统的简单移位[例如(x2，y2，z2)到(x1，y1，z1)]。在一个例子中，其中范围传感器和第一摄像头坐标系通过沿y轴线的负5单位的位移有关，第一变换矩阵(T21)可以是：
图2的步骤110包括使用第一变换(T21)将三维兴趣区域从范围传感器坐标系(R)变换为第一摄像头坐标系(C1)[(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)]，从而：
在图2的步骤112中，控制器40配置为将三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面26以获得二维兴趣区域(u1 *，v1 *)。步骤112可以包括子步骤112A，以获得用于将第一摄像头坐标系(C1)投影到第一影像平面26的投影矩阵(P1)，从而：
可以使用投影矩阵(P1)执行用于将三维兴趣区域(x1 *，y1 *，z1 *)映射第一影像平面26上以获得二维兴趣区域(u1 *，v1 *)的步骤112，从而：
参见图2，第二摄像头50(如图1所示)可以通过可选步骤114到118而被添加。第二摄像头50与范围传感器14间隔开第二距离52且限定第二摄像头坐标系(C2)。在该例子中，在步骤114(在于步骤104中获得范围影像30之后)中，控制器40配置为获得情景22的第三影像54。参见图1且如上所述，第三影像54通过第三影像平面58中的多个第三点56(u3，v3)限定。
在图2的步骤116中，控制器40配置为将多个第三点56(u3，v3)从第三影像平面58变换为第一影像平面26。步骤116可以包括子步骤116A，以确定用于将第三影像平面58转换为第一影像平面26的第二变换矩阵(T31)。第二变换矩阵(T31)可以从第二摄像头50、第一摄像头12和范围传感器14之间的已知空间或几何关系而确定。在一个例子中，其中第一和第二摄像头坐标系与沿y轴线的10个单位的位移有关，第二变换矩阵(T31)可以是：
在图2的步骤118中(在于步骤106中将范围影像30转换为三维样本点(x2，y2，z2)之前)控制器40配置为将第三影像54与第一影像20结合。将来自第一和第二摄像头12、50的影像结合改善分辨率且允许使用低分辨率数字摄像头作为第一和第二摄像头12、50。在一个例子中，第一和第二摄像头12、50为5兆象素彩色摄像头。另外，其他摄像头可以用于不同的重叠的视野、光谱灵敏度和/或高动态范围，且通过上述过程100统一。
图2的过程100可以用于除去背景杂乱部分。图3A是在实施过程100之前的兴趣物体304的示例性第一影像302的示意图。参见图3A，每一个圈306示意性地代表情景中的距第一摄像头12小于给定距离(例如2米)的其他物体。每一个三角形308示意性地代表距第一摄像头12大于给定距离的其他物体，即背景。
图3B是已被分割的第一影像310，其代表在实施过程100之后的图3A的示例性第一影像302。这里，三维兴趣区域(x2 *，y2 *，z2 *)被选择为仅包括距第一摄像头12小于给定距离的物体。换句话说，图3B代表除去了距第一摄像头12大于给定距离的所有物体之后的图3A。替换地，三维兴趣区域(x2 *，y2 *，z2 *)可以被选择为仅包括情景中的在预定三维体积中或其表面上的物体，所述预定三维体积例如图3A所示的体积312。
简要地说，来自范围传感器14的数据用于选择第一影像20中的二维兴趣区域，其为二维强度影像。参见图1，范围传感器14针对与第一摄像头12相同的坐标系被校准。范围影像30与二维第一影像20(多色或单色)合并，从而三维位置数据可被用作用于选择第一影像20的相关部分的标准。来自范围传感器14的范围影像30被转换为三维样本点，其可被过滤以仅发现三维兴趣区域中的点。三维兴趣区域随后被映射回到第一摄像头12的二维第一影像平面26，产生第一影像20中的二维兴趣区域。
该二维兴趣区域可随后被常规的计算机视觉技术处理，而忽略二维第一影像20的其他不相关部分。换句话说，来自范围传感器14的范围影像30用于分割二维灰度或彩色强度影像。这允许影像分割，该影像分割在没有范围距离36(见图1)信息的情况下可能很困难或不可能做到。该过程可通过低分辨率范围传感器14实现。该分割可极大地降低第一影像20的需要被处理的部分，由此增加处理速度。
过程100可以用于分割情景22，其中视野中的结构元件是非常相似的且具有作为范围距离36(d)函数的变化尺度或无序(random)尺度，从而本领域技术人员已知的典型技术不适用。通过过程100，目标范围处的物体38可以被可以容易地分割，用于进一步通过二维的第一和/或第二摄像头12、50分析内部特征。另外，过程100可以用于范围调试，其中相对于视野中最近物体38(最小尺寸)的测量或可为物体或背景平面的最远物体的测量来分割目标范围。一旦最近的物体范围被找出，则可以围绕该物体范围(其将分割最近物体)实现分割，或可相对于最后部的物体或平面选择物体或平面。
如上所述，图1的控制器40可以包括计算装置，所述计算装置采用操作系统或处理器42和存储器44，用于存储和执行计算机可执行指令。计算机可执行指令可以从计算机程序编译或解读，其使用各种编程语言和/或技术形成，包括但不限于(单独或组合地)JavaTM、C、C++、Visual Basic、Java Script、Perl等。通常，处理器(例如微处理器)接收指令，例如从存储器、计算机可读介质等，且执行这些指令，由此执行一个或多个过程，包括一个或多个本文所述的过程。这种指令和其他数据可以使用各种计算机可读介质存储和传递。
计算机可读介质(还称为处理器可读介质)包括任何非瞬时(例如实体的)介质，其实施为提供可以被计算机(例如被计算机的处理器)读取的数据(例如指令)。这种介质可以采取许多形式，包括但不限于，非易失介质和易失介质。非易失介质可以包括例如光盘或磁盘和其他永久存储器。易失介质可以包括例如动态随机存储器(DRAM)，其可以构成主存储器。这种指令可以由一个或多个传递介质传递，包括同轴线缆、铜导线和光学纤维，包括含有联接到计算机处理器的系统总线的导线。一些形式的计算机可读介质包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、打孔卡、纸带、任何其他具有孔样式的物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储芯片或卡带、或计算机可读的任何其他介质。
附图中的详细的描述和显示是对本发明的支持和描述，而本发明的范围仅通过权利要求限定。尽管已经对执行本发明的较佳模式进行了详尽的描述但是本领域技术人员可得知在所附的权利要求的范围内的用来实施本发明的许多替换设计和实施例。进而，附图所示的实施例或本发明说明书提到的各种实施例的特征不应被理解为是彼此独立的实施例。相反，实施例的一个例子中所述的每一个特征可以与其他实施例的一个或多个其他期望特征组合，形成并未参考附图所述的其他实施例因而，这种其他实施例落入所附权利要求的范围。

Claims (9)

1.一种获得二维影像中二维兴趣区域的系统，该系统包括：
第一摄像头，限定第一摄像头坐标系C1且配置为获得情景的第一影像；
范围传感器，与第一摄像头间隔开第一距离且限定范围传感器坐标系R；
控制器，操作性地连接到第一摄像头和范围传感器，控制器具有处理器和实体非瞬时存储装置，该存储装置上记录有用于执行获得第一影像中二维兴趣区域(u1 *，v1 *)的方法的指令；
其中通过处理器执行指令使得控制器：
通过第一摄像头获得情景的第一影像，第一影像通过第一影像平面中的多个第一点(u1，v1)所代表；
通过范围传感器获得情景的范围影像，范围影像通过第二影像平面中的多个第二点(u2，v2，d)所代表，其中范围影像中的所述多个第二点(u2，v2，d)的每一个包括一范围距离d，该范围距离对应于从范围传感器到情景中物体的相应距离；
将范围影像转换为范围传感器坐标系R中的三维样本点(x2，y2，z2)；和
在范围传感器坐标系R中从三维样本点(x2，y2，z2)选择三维兴趣区域(x2 *，y2 *，z2 *)，
其中范围传感器坐标系R中的被选择的三维兴趣区域(x2 *，y2 *，z2 *)仅包括情景中的在三维体积中或其表面上的物体，三维体积限定被选择点；和
三维体积中每一个被选择点的空间位置是时间的函数。
2.如权利要求1所述的系统，其中所述将范围影像转换为范围传感器坐标系R中的三维样本点(x2，y2，z2)包括：
获得转换矩阵P2，以用于将范围传感器坐标系R转换到第二影像平面；和
使用所述转换矩阵的逆矩阵，以用于将范围影像转换为三维样本点(x2，y2，z2)。
3.如权利要求1所述的系统，其中：
被选择的三维兴趣区域(x2 *，y2 *，z2 *)限定了被选择点，三维体积中每一个被选择点的空间位置为所述范围距离d的函数。
4.如权利要求1所述的系统，其中控制器进一步配置为：
将三维兴趣区域从范围传感器坐标系R变换到第一摄像头坐标系C1，即(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)；和
将第一摄像头坐标系C1中的三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面上，以获得二维兴趣区域(u1 *，v1 *)。
5.如权利要求4所述的系统，其中所述将三维兴趣区域从范围传感器坐标系R变换到第一摄像头坐标系C1，即(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)，包括：
获得用于将范围传感器坐标系R转换为第一摄像头坐标系C1的第一变换矩阵T21。
6.如权利要求4所述的系统，其中所述将第一摄像头坐标系C1中的三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面上包括：
获得用于将第一摄像头坐标系C1投影到第一影像平面的投影矩阵P1。
7.如权利要求4所述的系统，进一步包括：
第二摄像头，与范围传感器间隔开第二距离且限定第二摄像头坐标系C2；
其中控制器配置为：
在获得范围影像之后获得情景的第三影像，该第三影像通过第三影像平面中的多个第三点(u3，v3)限定；
确定用于将第三影像平面转换为第一影像平面的第二变换矩阵T31；
将来自第三影像平面的所述多个第三点(u3，v3)经由第二变换矩阵T31变换到第一影像平面；和
在将范围影像转换为三维样本点(x2，y2，z2)之前，将第三影像与第一影像结合。
8.一种获得二维影像中二维兴趣区域的方法，该方法包括：
通过第一摄像头获得情景的第一影像，第一影像通过第一影像平面中的多个第一点(u1，v1)所代表，第一摄像头限定第一摄像头坐标系C1；
通过范围传感器获得情景的范围影像，范围影像通过第二影像平面中的多个第二点(u2，v2，d)所代表；
其中范围传感器与第一摄像头间隔开第一距离且限定范围传感器坐标系R；
将范围影像转换为范围传感器坐标系R中的三维样本点(x2，y2，z2)；
在范围传感器坐标系R中从三维样本点(x2，y2，z2)选择三维兴趣区域(x2 *，y2 *，z2 *)；
将三维兴趣区域从范围传感器坐标系R变换到第一摄像头坐标系C1，即(x2 *，y2 *，z2 *)到(x1 *，y1 *，z1 *)；和
将第一摄像头坐标系C1中的三维兴趣区域(x1 *，y1 *，z1 *)映射到第一影像平面上，以获得二维兴趣区域(u1 *，v1 *)，
其中范围传感器坐标系R中的被选择的三维兴趣区域(x2 *，y2 *，z2 *)仅包括情景中的在三维体积中或其表面上的物体，三维体积限定被选择点；和
三维体积中每一个被选择点的空间位置是时间的函数。
9.如权利要求8所述的方法，进一步包括：
在获得第二影像之后，通过第二摄像头获得情景的第三影像，第三影像通过第三影像平面中的多个第三点(u3，v3)限定；
其中第二摄像头与范围传感器间隔开第二距离且限定第二摄像头坐标系C2；
确定第二变换矩阵T31，用于将第三影像平面转换为第一影像平面；
将来自第三影像平面的所述多个第三点(u3，v3)经由第二变换矩阵T31变换到第一影像平面；和
在将范围影像转换为三维样本点(x2，y2，z2)之前，将第三影像与第一影像结合。
CN201510104345.6A 2014-03-11 2015-03-10 用于使用范围传感器选择二维兴趣区域的系统和方法 Active CN104915948B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/204,119 2014-03-11
US14/204,119 US9521397B2 (en) 2014-03-11 2014-03-11 System and method for selecting a two-dimensional region of interest using a range sensor

Publications (2)

Publication Number Publication Date
CN104915948A CN104915948A (zh) 2015-09-16
CN104915948B true CN104915948B (zh) 2018-08-10

Family

ID=54053729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510104345.6A Active CN104915948B (zh) 2014-03-11 2015-03-10 用于使用范围传感器选择二维兴趣区域的系统和方法

Country Status (3)

Country Link
US (1) US9521397B2 (zh)
CN (1) CN104915948B (zh)
DE (1) DE102015102928A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9821424B2 (en) 2014-10-03 2017-11-21 GM Global Technology Operations LLC Manufacturing fixture
EP3385747B1 (en) * 2017-04-05 2021-03-31 Axis AB Method, device and system for mapping position detections to a graphical representation
CN109061658B (zh) * 2018-06-06 2022-06-21 天津大学 激光雷达数据融合方法
US10937232B2 (en) * 2019-06-26 2021-03-02 Honeywell International Inc. Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames
WO2023200727A1 (en) * 2022-04-11 2023-10-19 Magik Eye Inc. Calibrating a three-dimensional sensor using detection windows

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226833A (zh) * 2013-05-08 2013-07-31 清华大学 一种基于三维激光雷达的点云数据分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226833A (zh) * 2013-05-08 2013-07-31 清华大学 一种基于三维激光雷达的点云数据分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Calibration of a 3D laser range finder and a camera based on stereoscopic checkerboard;Tingxiang Jia等;《Vehicular Electronics and Safety (ICVES), 2011 IEEE International Conference on》;20110815;第92-96页 *
基于航空LIDAR点云数据提取城市地区建筑物的目标;李福金等;《测绘与空间地理信息》;20110630;第34卷(第3期);第187-190页 *

Also Published As

Publication number Publication date
US20150264332A1 (en) 2015-09-17
US9521397B2 (en) 2016-12-13
DE102015102928A1 (de) 2015-09-24
CN104915948A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
US10402956B2 (en) Image-stitching for dimensioning
CN104915948B (zh) 用于使用范围传感器选择二维兴趣区域的系统和方法
JP7523492B2 (ja) ライト・フィールドを表すデータを生成する方法および装置
JP5567922B2 (ja) 画像処理装置及びその制御方法
US20120242795A1 (en) Digital 3d camera using periodic illumination
GB2531928A (en) Image-stitching for dimensioning
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
US9704255B2 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
CN107534731B (zh) 图像处理装置和图像处理方法
WO2015068470A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP2019003428A (ja) 画像処理装置、画像処理方法及びプログラム
EP3208773A1 (en) Disparity-to-depth calibration for plenoptic imaging systems
JP6409769B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
TWI738406B (zh) 物體偵測裝置及方法
US20180124321A1 (en) Image processing apparatus and image processing method
CN109945840B (zh) 三维影像摄取方法及系统
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
CN112634439B (zh) 一种3d信息展示方法及装置
JP6684454B2 (ja) 画像処理装置及び画像処理方法
CN112652056B (zh) 一种3d信息展示方法及装置
JP5086120B2 (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP2012098207A (ja) 位置計測装置、位置計測方法及びマーカー
JP2004257934A (ja) ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体
CN111105488B (zh) 成像仿真方法、装置、电子设备和存储介质
JP5581612B2 (ja) 位置計測システム及び位置計測方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant