CN106027952B - 摄像机系统相对于车辆的自动方向估算 - Google Patents

摄像机系统相对于车辆的自动方向估算 Download PDF

Info

Publication number
CN106027952B
CN106027952B CN201610101599.7A CN201610101599A CN106027952B CN 106027952 B CN106027952 B CN 106027952B CN 201610101599 A CN201610101599 A CN 201610101599A CN 106027952 B CN106027952 B CN 106027952B
Authority
CN
China
Prior art keywords
video camera
constraint set
vehicle
characteristic point
multiple video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610101599.7A
Other languages
English (en)
Other versions
CN106027952A (zh
Inventor
K·纳特罗什维利
K-U·舍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106027952A publication Critical patent/CN106027952A/zh
Application granted granted Critical
Publication of CN106027952B publication Critical patent/CN106027952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本文可提供一种用于利用车辆的运动来估算车辆的摄像机系统相对于车辆的方向的方法、装置以及系统。可以从位于车辆上的多个摄像机接收图像数据，并且可以基于地平面上的邻近车辆的多个特征点来为多个摄像机确定第一约束集。可以基于车辆的一个或多个边界来确定第二约束集。可以基于第一约束集和第二约束集来自动地校准摄像机中的一个或多个。

Description

摄像机系统相对于车辆的自动方向估算
技术领域
实施例总体上涉及车辆摄像机环绕系统(vehicle camera surround system)。具体而言，实施例涉及车辆的基于摄像机的驾驶员辅助系统相对于该车辆的自动校准。
背景技术
近年来，后视摄像机、侧视摄像机和前视摄像机在车辆中的使用有所增加。这些摄像机可以用于在泊车时辅助驾驶员，并且也可以用于在车辆处于运动中时辅助驾驶员，来观察车辆的周围区域。为了最大程度地利用在车辆上安装的摄像机，可以进行摄像机系统的校准。
除了每个摄像机相对于彼此的位置和方向之外，也可以确定摄像机相对于车辆的方向和位置。通常，通过使用在地上的外部标记，可以在车辆的制造期间在生产线的末尾对这样的基于摄像机的系统进行校准。然而，这样的方法可能需要在校准期间相对于外部标记非常精确地放置车辆。此外，为确保使用所述摄像机系统的应用程序的正确结果，可能需要随着时间频繁地重复所述校准。
附图说明
对于本领域技术人员而言，通过阅读以下说明书和所附权利要求书并且通过参考以下附图，实施例的各种优点将变得显而易见，其中：
图1是根据实施例的自动校准的示例的图示；
图2是根据实施例对基于摄像机的驾驶员辅助系统进行校准的示例性方法的流程图；
图3是根据实施例确定由基于摄像机的驾驶员辅助系统所执行的第二约束集(constraint set)的示例性方法的流程图；
图4是根据实施例确定由基于摄像机的驾驶员辅助系统所执行的第一约束集的示例性方法的流程图；
图5是根据实施例的基于摄像机的驾驶员辅助系统的示例的框图；
图6是约束集合生成架构的示例性系统的框图；
图7是根据实施例的所投影的车辆边缘(edge)的理想表示的示例的图示；
图8A是根据实施例的来自基于摄像机的驾驶员辅助系统的摄像机的图像的边界(border)的示例的图示；
图8B是根据实施例的图像在地平面(ground plane)上的投影的示例的图示；
图9是由根据实施例的基于摄像机的驾驶员辅助系统的摄像机所捕获的鱼眼图像的示例的图示；
图10是根据实施例的具有导航控制器的系统的示例的框图；以及
图11是根据实施例的具有小的形状因子的系统的示例的框图。
具体实施方式
图1是例示了示例性的基于摄像机的驾驶员辅助系统20的示意图。在车辆环绕视图系统(vehicular surround view system)中，由多个图像触感器(例如，具有鱼眼镜头的摄像机)所捕获的数据可以被组合，以使得用户能够容易地察看周围环境。可以在容纳(host)有基于摄像机的驾驶员辅助系统20的车辆上或之内的各种位置提供基于摄像机的驾驶员辅助系统20的图像传感器。可以执行校准操作，以建立基于摄像机的驾驶员辅助系统20的摄像机中的每个的外在参数和固有参数。基于摄像机的驾驶员辅助系统20可以包括多个摄像机27。摄像机27可以是广角摄像机，但不限于此。摄像机中的每个都可以包括鱼眼镜头，并且每个都可以包括电荷耦合器件(CCD)传感器。摄像机的电光传感器可以耦合到基于摄像机的驾驶员辅助系统20的图像处理模块(未示出)。尽管所例示的系统20可以用于提供驾驶员辅助，但是其它类型的基于摄像机的系统(例如，车辆安全系统)例如也可以使用本文所述的自动校准技术。
基于摄像机的驾驶员辅助系统20可以是被安装到车辆21的环绕视图系统。因此，摄像机27的视场(FOV)可以覆盖在车辆21周围的360°角度范围。摄像机27可以安装在车辆21的前方、后方和侧方。被安装在车辆21的前方的摄像机27可以具有延伸至车辆21的前方的FOV。同样地，被安装在车辆21的后方的摄像机27可以具有延伸至车辆21的后方的FOV。被安装在车辆的侧方的摄像机27可以具有延伸至车辆21的侧方的FOV。被安装在车辆21的侧方的摄像机27可以安装在车辆21的侧视镜(未示出)上。如果侧视镜是可动的，那么可以将摄像机27安装在侧视镜的主体(body)的不可动部分。
基于摄像机的驾驶员辅助系统20的图像处理模块(未示出)可以接收由摄像机27所生成的图像数据，并且通过使用校准逻辑单元(该逻辑单元可以包括硬件、软件、固件或者其组合)来确定摄像机27的外在参数和固有参数两者。固有参数可以包括广角摄像机的对所捕获的图像的非线性失真进行定义的参数和模型，例如焦距、主点(principal point)等。当融合(merge)所捕获的图像时，处理模块(未示出)可以存储并且随后取回固有参数，以便校正所捕获的图像中的非线性失真。车辆定向系统的外在参数可以包括有关摄像机的位置和方向的信息。
根据示例性实施例的一个方面，基于摄像机的驾驶员辅助系统20的摄像机27识别在车辆21附近的特征点22，并且估算该特征点相对于摄像机27的位置和方向。基于特征点22的估算结果，可以为外在摄像机参数定义第一约束集23。特征点22可以是非固定的点，并且可以相对于车辆21位于地平面上。
此外，车辆21的一个或多个边界24可以被检测到，并且可以匹配车辆21自身的已知几何参数。车辆21的边界24可以用于确定第二约束集25。借助于附加的第二约束集25，可以确定所有必要的外在参数。可以估算车辆21的二维(2D)运动，并且因此可以推断摄像机参数。
因此，在示例性实施例中，摄像机27的校准未利用任何固定的外部环境校准标记或图案。只是通过移动车辆来获得参数。现在将关于对第一约束集23的确定进行讨论。
假设摄像机27彼此之间的相对方向是已知的。如果RVCam1是车辆的多个摄像机27中的第一摄像机(摄像机1)的相对方向，并且检测到RVCam1，那么将知道每个摄像机相对于车辆的方向。
然而，由于可以将此方案应用于摄像机27中的全部，所以甚至可以通过使用最小二乘误差方法和对测量结果中的全部进行组合来增大所获得的参数的精度。
特征点22中的全部都可以位于地平面上邻近车辆21的位置处。运动恢复结构(SFM)算法可以用于估算特征点相对于基于摄像机的驾驶员辅助系统的摄像机坐标系的角度和位置。例如，假设根据第一摄像机(摄像机1)，估算出n个特征点在地平面上，其坐标为
将这些坐标点转换到车辆坐标中：
其中，FVCam1是摄像机1坐标系统与车辆坐标系之间的平移矢量，并且xVCam1是车辆坐标中的点的坐标。这些点中的所有点都可以在地平面上，因此车辆坐标中的Z坐标将为零：ZVCam1(n)＝0。同样的关系对于第二摄像机有效：
其中，RVCam2为摄像机2相对于车辆坐标系统的旋转矩阵。使用摄像机1与摄像机2之间的相对方向和平移(translation)，这导致以下关系：
在方程式(2)和方程式(3)所给出的这些约束的情况下并且考虑到所有点都可以 在一个平面(z＝0！)中，通过仅关注最后一行(RVCam1_31、RVCam1_32、RVCam1_33)，可以显著地简化 矩阵的计算。
通过知道RVCam1_31、RVCam1_32、RVCam1_33，我们依然不知道完整的矩阵。原因在于RVCam1是标准正交的，并且以下关系有效：
RVCam1_31 2+RVCam1_32 2+RVCam1_33 2＝1 (4)
现在参考图9来讨论获得第二约束集的方式。
继续参考图1和图9，可以从多个摄像机中的至少四个摄像机获得四张图像91、92、93和94。多个摄像机可以包括鱼眼镜头。该摄像机可以安装在车辆21上，并且可以指向四个不同的方向。附加的第二约束集25可以将摄像机系统相对于车辆21固定。利用鱼眼镜头摄像机27例如可以使得沿着外部图像捕获边界，例如车辆21的边界24。在所捕获的图像中可见的边界24可以用于生成附加的第二约束集25。可以通过图像的帧的光流(optical flow)或者通过其它图像处理算法来检测边界24。
具体地，在图像数据中的多个图像帧的处理期间，可以跟踪多个连续帧，并且可以将多个帧中被检测为恒定不变的图像确定为车辆21的边界24。图8A分别例示了鱼眼镜头摄像机27所捕获的四张图像91、92、93和94中的边界81、82、83和84的估算结果(estimation)。
图8B例示了摄像机在地平面上的投影。在所例示的情况下，仅示出了四个摄像机--第一摄像机85(“摄像机1”)、第二摄像机86(“摄像机2”)、第三摄像机87(“摄像机3”)和第三摄像机88(“摄像机4”)。然而，四个摄像机的使用仅仅是示例性的，并且可以使用任意数量的摄像机。
在图8A和图8B中，示例性实施例仅利用被附接到车辆21的前摄像机和后摄像机的边界，其中边界线投影到地平面上。对于后摄像机的投影，可以通过以下关系来确定第三摄像机87的相对方向：RVCam3＝RVCam1·RCam1Cam3，其中RCam1Cam3是已知的，并且再次RVCam1是未知的。如图8B中所示，在投影之后，车辆前方边界和后方边界的投影曲线示为曲线89(例如，对应于图1中所例示的边界24)。这种类型的几何特性可以用于外在参数的优化中。对于从图像所获得的边界点，按照以下方式执行从地平面的投影。
每个像素都可以投影到单位球面上。当鱼眼摄像机固有校准参数为已知时，可以容易地进行此投影。可以确定与摄像机中心的前方和在单位球面上的点相连接的线与地平面的交点(intersection)。在车辆坐标中，摄像机中心具有坐标FVCam1。可以通过以下方程式改变单位球面上的点：
在方程式(5)中，
是在单位球面上的点，并且
是同一点在车辆坐标系中的坐标。以此方式，对车辆坐标中的每条线进行投影，并且利用地平面来计算这些线的交点
图2是例示了根据示例性实施例自动地校准基于摄像机的驾驶员辅助系统的方法31的流程图。方法31例如可以使用电路技术(例如，专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术)，作为一个或多个模块，以被存储在机器或计算机可读的存储介质(例如，随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存等)中的逻辑指令集的形式被实施，以可配置逻辑(例如，可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD))的形式被实施，以固定功能硬件逻辑的形式被实施，或者以它们的组合被实施。例如，执行方法31中所示的操作的计算机程序代码可以用一种或多种编程语言(包括诸如C#、JAVA等之类的面向对象的编程语言)的任意组合来进行编写。
在所例示的处理框30中，基于摄像机的驾驶员辅助系统的图像处理模块(未示出)接收由位于车辆上的多个摄像机所捕获的图像数据。在框35中，可以为多个摄像机确定第一约束集。可以基于邻近车辆的地平面(ground plane)上的多个特征点来确定第一约束集。
此时，确定第二约束集。可以以多种不同的方式来确定第二约束集。如框45中所示，可以基于车辆的一个或多个边界来为多个摄像机确定第二约束集。车辆的前方边界和后方边界可以被检测到，并且投影到地平面，其中所投影的曲线的几何特性可以用作第二约束集。
或者，在框40中，可以基于从车辆传感器所获得的车辆传感器信息来确定第二约束集。该车辆传感器可以包括，但不限于，激光扫描仪和雷达扫描仪。在另一实施例中，可以将来自框40的传感器信息和来自框45的车辆的边界两者组合使用，以确定第二约束集。
然后，在所例示的框50中，基于所确定的第一约束集和所确定的第二约束集对多个摄像机中的一个或多个进行校准。图3更加清楚地例示了确定第二约束集的方式。
如图3的框45-1中所例示的，由多个摄像机所捕获的并且与该多个摄像机中的每个的视场相关联的图像数据，被基于摄像机的驾驶员辅助系统的图像处理模块(未示出)接收。在框45-2中，可以检验(examine)所接收的图像数据的帧的连续集合(a sequentialset of frames)，并且可以确定在帧序列(the sequence of frames)中是否存在一致的图像。然后，在框45-3中可以基于连续帧的光流将该一致的图像识别为一个或多个边界。
图4是示出了可以确定第一约束集的方式的流程图。由多个摄像机所捕获的图像数据可以由图像处理模块(未示出)接收，其中在所例示的框35-1处估算每个特征点相对于多个摄像机的坐标系的方向。此外，在框35-2处，可以估算每个特征点相对于摄像机的坐标系的位置。然后，可以基于所估算的特征点的方向和位置来确定第一约束集。
参考图5，示出了基于摄像机的驾驶员辅助系统28。系统28包括多个摄像机27，每个都包括用于捕获车辆(未示出)附近环境的图像的电光部件。摄像机可以位于车辆的不同位置，该车辆容纳(host)有基于摄像机的驾驶员辅助系统。将多个摄像机所捕获的图像传输(transmit)到基于摄像机的驾驶员辅助系统的传感器接口51。除了接收由多个摄像机所捕获的图像之外，传感器接口51还可以从(位于车辆上的)一个或多个传感器接收附加的传感器数据。可以将由传感器接口51所接收的信息传输到特征点提取器52和边界分析器54(54a-54c)。
所例示的特征点提取器52接收与多个摄像机27相关联的图像数据，并且基于所接收的图像数据对多个特征点进行检测。可以将所提取的特征点传输到特征点分析器53(53a-53b)，其基于多个特征点22(图1)来为多个摄像机27确定第一约束集23(图1)。特征点分析器53可以包括方向估算器53a，其对每个特征点相对于多个摄像机27的坐标系的方向进行估算。特征点分析器53还可以包括位置估算器53b，其对每个特征点相对于多个摄像机27的坐标系的位置进行估算。
所例示的边界分析器54基于车辆的一个或多个边界来为多个摄像机27确定第二约束集。边界分析器54还可以基于附加的车辆传感器数据来确定第二约束集。附加的车辆传感器可以包括速度数据、转向角数据、方向盘(wheel)信息和惯性数据中的一个或多个。然而，附加的车辆传感器数据不限于此，并且其它类型的车辆传感器可以获得。
边界分析器54还可以包括：图像数据接口54a，该图像数据接口54a接收与多个摄像机相关联的并且从传感器接口51传输的数据；帧分析器54b，该帧分析器54b基于图像数据中的多个连续帧(sequential frame)来确定光流。边界分析器54还可以包括边界检测器54c，该边界检测器54c基于图像数据的光流来确定一个或多个边界。具体而言，所例示的边界检测器54c对由多个摄像机所捕获的许多连续图像帧进行分析，并且多个连续图像帧中恒定不变的图像将作为车辆21的边界的图像。
校准器55可以接收第一约束集和第二约束集，并且基于该第一约束集和该第二约束集来对多个摄像机中的一个或多个进行自动校准。显示器56可以可视化地输出自动校准的结果。
现在转到图6，示出了约束集生成架构的另一示例。如图6所示，运动恢复结构(Structure from Motion，SFM)算法57用于估算地平面上的特征点相对于摄像机坐标系的角度(方向)和位置，由此生成第一约束集。如图6所例示，第二约束集可以根据从多个摄像机27所接收的边缘(边界)图像61来确定，或者根据直接从车辆21所接收的车辆传感器信息62来确定。
现在转到图7，线59表示在由多个摄像机27中的一个所捕获的图像信号中经识别的边界线。线58表示在车辆21的中心的线，并且线60与线58垂直。根据图像数据所检测的车辆边界投影在地平面上。实际上车辆的边界的曲线在现实中并非按照字面意义地位于地平面上，然而投影依然在地平面上完成，这是由于边界曲线将会与地平面平行。图7例示了在将所检测的车辆边界投影之后的实施例。在图7中的左边的图像对应于当摄像机外在参数正确时的实施例，并且在图7中的右边的图像对应于当所估算的摄像机外在参数不正确时的实施例。对摄像机RVCam1(相对于车辆的前摄像头方向)进行优化，以实现图7中的左边的图像中所给出的表示。用于确定是否达到图7的左边的图像中的表示的约束条件可以是以下方程式6：
方程式(6)
图10例示了系统700的实施例。在示例性实施例中，系统700可以是媒体系统，尽管系统700不限于此情境。例如，系统700可以被纳入以下设备：个人计算机(PC)、膝上型计算机、超薄膝上型计算机(ultra-laptop computer)、平板计算机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如，智能手机、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息收发设备、数据通信设备等。
在示例性实施例中，系统700包括耦合到显示器720的平台702，显示器720呈现可视内容。平台702可以从内容设备(例如，(一个或多个)内容服务设备730或(一个或多个)内容递送设备740)接收视频比特流内容或者其它类似的内容源。包括有一个或多个导航特征的导航控制器750可以用于与例如平台702和/或显示器720交互。下面详细介绍这些部件中的每个部件。
在示例性实施例中，平台702可以包括芯片组705、处理器710、存储器712、存储设备714、图形子系统715、应用程序716和/或无线电装置718的任意组合(例如，网络控制器)。芯片组705可以提供处理器710、存储器712、存储设备714、图形子系统715、应用程序716和/或无线电装置718之间的相互通信。例如，芯片组705可以包括能够提供与存储设备714的相互通信的存储适配器(未示出)。
处理器710可以实施为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核、或者任意其它微处理器或中央处理单元(CPU)。在实施例中，处理器710可以包括(一个或多个)多核处理器、(一个或多个)多核移动处理器等。
存储器712可以实施为易失性存储器设备，例如，但不限于，随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。
存储设备714可以实施为非易失性存储设备，例如，但不限于，磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加的存储设备、闪速存储器、电池备份SDRAM(同步DRAM)、和/或网络可访问存储设备。在实施例中，例如当包括多个硬盘驱动器时，存储器714可以包括对于有价值的数字媒体的用于提高存储性能增强保护(storage performanceenhanced protection)的技术。
图形子系统715可以执行对图像(例如，静止图像或视频)的处理以供显示。图形子系统715例如可以是图形处理单元(GPU)或者视觉处理单元(VPU)。可以使用模拟或数字接口将图形子系统715和显示器720进行通信耦合。例如，接口可以是高清多媒体接口、显示端口、无线HDMI、和/或兼容无线HD的技术中的任一个。图形子系统715可以集成至处理器710或芯片组705中。图形子系统715可以是以通信方式与芯片组705耦合的独立卡。在一个示例中，图形子系统715包括多个摄像机设备，并且处理器710被配置为如上所述对多个摄像机进行自动校准。
可以在各种硬件架构中实施本文所描述的图形和/或视频处理技术。例如，图形和/或视频功能可以集成在芯片组内。或者，可以使用分立的图形和/或视频处理器。作为又一实施例，图形和/或视频功能可以由通用处理器(包括多核处理器)来实施。在另一实施例中，可以在消费电子设备中实施这些功能。
无线电装置718可以是网络控制器，包括能够使用各种适当的无线通信技术来传输和接收信号的一个或多个无线电装置。这些技术可以涉及在一个或多个无线网络上的通信。示例性的无线网络包括，但不限于，无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。对于在这样的网络上的通信，无线电装置718可以根据任意版本的一个或多个适用标准来进行操作。
在示例性实施例中，显示器720可以包括任意电视机类型的监视器或显示器。显示器720例如可以包括计算机显示屏幕、触摸屏显示器、视频监视器、类似于电视机的设备和/或电视机。显示器720可以是数字的和/或模拟的。在实施例中，显示器720可以是全息显示器。此外，显示器720可以是可以接收可视投影的透明表面。这样的投影可以传递各种形式的信息、图像和/或对象。例如，这样的投影可以是移动增强现实(MAR)应用的可视交叠(visual overlay)。在一个或多个软件应用716的控制下，平台702可以在显示器720上显示用户界面722。
在示例性实施例中，(一个或多个)内容服务设备730例如由任意国内、国际和/或独立服务所容纳，并且因此可访问平台702，例如经由互联网。(一个或多个)内容服务设备730可以耦合到平台702和/或显示器720。平台702和/或(一个或多个)内容服务设备730可以耦合到网络760，以通信(例如，发送和/或接收)去向和来自网络760的媒体信息。内容递送设备740也可以耦合到平台702和/或显示器720。
在实施例中，(一个或多个)内容服务设备730可以包括有线电视盒、个人计算机、网络、手机、支持互联网的设备或者能够递送数字信息和/或内容的装置(appliance)、以及能够经由网络760或直接地在内容提供者与平台702和/或显示器720之间单向地或双向地通信内容的任意其它类似的设备。应当意识到，可以经由网络760在系统700中部件中的任意一个与内容提供者之间单向地或双向地通信内容往来。内容的示例可以包括任意媒体信息，例如包括视频、音乐、医疗和游戏信息等。
(一个或多个)内容服务设备730接收内容，例如有线电视节目(包括媒体信息、数字信息)和/或其它内容。内容提供者的示例可以包括任意有线电视或卫星电视或无线电或互联网内容提供者。所提供的示例并非意味着限制实施例。
在实施例中，平台702可以从具有一个或多个导航特征的导航控制器750接收控制信号。控制器750的导航特征例如可以用于与用户界面722交互。在实施例中，导航控制器750可以是定点设备(pointing device)，其可以是使用户能够将空间(例如，连续的和多维度的)数据输入到计算机中的计算机硬件部件(具体地，人机接口设备)。诸如图形用户界面(GUI)和电视和监视器之类的许多系统使用户能够利用物理姿势来控制计算机或电视机并且向计算机或电视机提供数据。
通过移动显示器上所显示的指针、光标、聚焦环或其它可视指示器，控制器750的导航特征的移动可以在显示器(例如，显示器720)上重复(echo)。例如，在软件应用716的控制下，位于导航控制器750上的导航特征例如可以映射到用户界面722上所显示的可视导航特征。在实施例中，控制器750可能不是独立部件，而是被集成到平台702和/或显示器720中。然而，实施例不限于本文所示或所述的元件或方面。
在示例性实施例中，驱动器(未示出)例如可以包括当驱动器已启动时，使用户在初始开机之后像电视机那样通过触摸按钮就能立即接通或关停平台702的技术。当“关停”平台时，程序逻辑可以使平台702能够将内容流至媒体适配器或其它(一个或多个)内容服务设备730或(一个或多个)内容递送设备740。此外，芯片组705例如可以包括用于5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可以包括用于集成图形平台的图形驱动器。在实施例中，图形驱动器可以包括外围部件互连(PCI)高速图形卡。
在各种实施例中，可以集成系统700中所示的部件中的任意一个或多个。例如，可以集成平台702和(一个或多个)内容服务设备730，或者可以集成平台702和(一个或多个)内容递送设备740，或者例如可以集成平台702、(一个或多个)内容服务设备730和(一个或多个)内容递送设备740。在各种实施例中，平台702和显示器720可以是集成单元。例如可以集成显示器720和(一个或多个)内容服务设备730，或者可以集成显示器720和(一个或多个)内容递送设备740。这些示例并非意味着限制实施例。
在各种实施例中，系统700可以实施为无线系统、有线系统或两者的组合。当实施为无线系统时，系统700可以包括适用于通过无线共享媒体进行通信的部件和接口，例如一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等。无线共享媒体的示例可以包括无线频谱的部分，例如RF频谱等。当实施为有线系统时，系统700可以包括适用于通过有线通信媒体进行通信的部件和接口，例如输入/输出(I/O)适配器、将I/O适配器与相对应的有线通信媒体进行连接的物理连接器、网络接口卡(NIC)、碟片控制器、视频控制器、音频控制器等。有线通信媒体的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。
平台702可以建立一个或多个逻辑或物理信道来通信信息。信息可以包括媒体信息和控制信息。媒体信息可以指表示针对用户的内容的任何数据。内容的示例例如可以包括来自语音对话、视频会议、流视频、电子邮件消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据例如可以是语音信息、静默时段、背景噪声、舒缓噪声、音调等。控制信息可以指表示用于自动化系统的命令、指令或控制字等任何数据。例如，控制信息可以用于通过系统来递送媒体信息，或者指令节点以预定方式处理媒体信息。然而，实施例不限于图10中所示或所述的元件或方面。
如上所述，系统700可以以各种物理款式或形状因子来实施。图10例示了小形状因子设备800的实施例，其中可以实施系统700。例如，在实施例中，设备800可以实施为具有无线功能的移动计算设备。移动计算设备可以例如指具有处理系统和移动功率源或电源(例如，诸如一个或多个电池)的任意设备。
如上所述，移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超薄膝上型计算机、平板计算机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如，智能手机、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息收发设备、数据通信设备等。
移动计算设备的示例还可以包括被设置为由人穿戴的计算机，例如腕式计算机、手指式计算机、戒指式计算机、眼镜式计算机、带夹式计算机、臂带式计算机、鞋式计算机、衣式计算机以及其它可穿戴的计算机。例如，在实施例中，移动计算设备可以实施为能够执行计算机应用程序以及语音通信和/或数据通信的智能电话。尽管以举例的方式将某些示例性实施例描述成把移动计算设备实施为智能电话，但是可以理解的是，也可以使用其它无线移动计算设备来实施其它实施例。示例性实施例不限于这个方面。
如图11所示，设备800可以包括外壳802、显示器804、输入/输出(I/O)设备806以及天线808。设备800还可以包括导航特征812。显示器804可以包括任意适当的显示器单元，用于显示适用于移动计算设备的信息。I/O设备806可以包括任意合适的I/O设备，用于把信息输入到移动计算设备。I/O设备806的示例可以包括字母数字键盘、数字键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备以及软件等。还可以通过麦克风向设备800输入信息。可以通过语音识别设备使这样的信息数字化。实施例不限于这个方面。
附加的注释和示例：
示例1可以包括一种基于摄像机的驾驶员辅助系统，包括多个摄像机，每个所述摄像机包括用于捕捉图像的电光部件，其中，所述摄像机位于容纳有所述基于摄像机的驾驶员辅助系统的车辆上的不同区域中；特征点分析器，所述特征点分析器基于地平面上的邻近所述车辆的多个特征点来为所述多个摄像机确定第一约束集；边界分析器，所述边界分析器基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集；校准器，所述校准器基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准；以及显示器，所述显示器可视化地输出自动校准的结果。
示例2可以包括如权利要求1所述的系统，其中，所述边界分析器包括：图像、数据接口，所述图像、数据接口接收与所述多个摄像机相关联的图像数据；帧分析器，所述帧分析器基于所述图像数据中的多个帧来确定光流；以及边界检测器，所述边界检测器基于所述光流来识别所述一个或多个边界。
示例3可以包括如权利要求1所述的系统，还包括传感器接口，所述传感器接口从所述车辆上的一个或多个传感器接收附加的传感器数据，其中，所述边界分析器基于所述附加的传感器数据来确定所述第二约束集，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
示例4可以包括如权利要求1所述的系统，其中，所述特征点分析器包括：用于估算每个特征点相对于所述多个摄像机的坐标系的方向的方向估算器以及用于估算每个特征点相对于所述多个摄像机的坐标系的位置的位置估算器。
示例5可以包括如权利要求5所述的系统，还包括特征点提取器，所述特征点提取器接收与所述多个摄像机相关联的图像数据，并且基于所述图像数据对所述多个特征点进行检测。
示例6可以包括如权利要求1至5中任一项所述的系统，其中，所述校准器对所述多个摄像机中的一个或多个摄像机的方向进行估算，以进行所述自动校准。
示例7可以包括一种摄像机校准装置，包括特征点分析器，所述特征点分析器基于地平面上的邻近所述车辆的多个特征点来为所述多个摄像机确定第一约束集；边界分析器，所述边界分析器基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集；以及校准器，所述校准器基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准。
示例8可以包括如权利要求7所述的装置，其中，所述边界分析器包括图像数据接口，所述图像数据接口接收与所述多个摄像机相关联的图像数据；帧分析器，所述帧分析器基于所述图像数据中的多个帧来确定光流；以及边界检测器，所述边界检测器基于所述光流来识别所述一个或多个边界。
示例9可以包括如权利要求7所述的装置，还包括传感器接口，所述传感器接口从所述车辆上的一个或多个传感器接收附加的传感器数据，其中，所述边界分析器基于所述附加的传感器数据来确定所述第二约束集，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
示例10可以包括如权利要求7所述的装置，其中，所述帧分析器包括：用于估算每个特征点相对于所述多个摄像机的坐标系的方向的方向估算器，以及用于估算每个特征点相对于所述多个摄像机的坐标系的位置的位置估算器。
示例11可以包括如权利要求7所述的装置，还包括特征点提取器，所述特征点提取器接收与所述多个摄像机相关联的图像数据，并且基于所接收的图像数据对所述多个特征点进行检测。
示例12可以包括如权利要求7至11中任一项所述的装置，其中，所述校准器对所述多个摄像机中的一个或多个摄像机的方向进行估算，以进行所述自动校准。
示例13可以包括一种对基于摄像机的驾驶员辅助系统进行自动校准的方法，包括基于地平面上的邻近车辆的多个特征点来为多个摄像机确定第一约束集；基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集；以及基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准。
示例14可以包括如权利要求13所述的方法，其中，确定所述第二约束集包括接收与所述多个摄像机相关联的图像数据，基于所述图像数据中的多个帧来确定光流，以及基于所述光流来识别所述一个或多个边界。
示例15可以包括如权利要求13所述的方法，还包括从所述车辆上的一个或多个传感器接收附加的传感器数据，其中，所述第二约束集是基于所述附加的传感器数据被确定的，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
示例16可以包括如权利要求13所述的方法，其中，确定所述第一约束集包括估算每个特征点相对于所述多个摄像机的坐标系的方向，以及估算每个特征点相对于所述多个摄像机的坐标系的位置。
示例17可以包括如权利要求13所述的方法，还包括接收与所述多个摄像机相关联的图像数据，以及基于所述图像数据对所述多个特征点进行检测。
示例18可以包括如权利要求13至17中任一项所述的方法，其中，进行自动校准包括对所述多个摄像机中的一个或多个摄像机的方向进行估算。
示例19可以包括至少一种非暂态计算机可读存储介质，包括指令集，当所述指令集被计算设备执行时，使得所述计算设备：基于地平面上的邻近车辆的多个特征点来为多个摄像机确定第一约束集；基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集；以及基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准。
示例20可以包括如权利要求19所述的至少一种计算机可读存储介质，其中，所述指令当被执行时，使得所述计算设备接收与所述多个摄像机相关联的图像数据，基于所述图像数据中的多个帧来确定光流，以及基于所述光流来识别所述一个或多个边界，以确定所述第二约束集。
示例21可以包括如权利要求19所述的至少一种计算机可读存储介质，其中，所述指令当被执行时，使得所述计算设备从所述车辆上的一个或多个传感器接收附加的传感器数据，其中，所述第二约束集是基于所述附加的传感器数据被确定的，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
示例22可以包括如权利要求19所述的至少一种计算机可读存储介质，其中，所述指令当被执行时，使得所述计算设备估算每个特征点相对于所述多个摄像机的坐标系的方向，以及估算每个特征点相对于所述多个摄像机的坐标系的位置，以确定所述第一约束集。
示例23可以包括如权利要求19所述的至少一种计算机可读存储介质，其中，所述指令当被执行时，使得所述计算设备接收与所述多个摄像机相关联的图像数据，以及基于所述图像数据对所述多个特征点进行检测。
示例24可以包括如权利要求19至23中任一项所述的至少一种计算机可读存储介质，其中，所述指令当被执行时，使得所述计算设备对所述多个摄像机中的一个或多个摄像机的方向进行估算，以进行所述自动校准。
示例25可以包括一种摄像机校准装置，包括：用于基于地平面上的邻近车辆的多个特征点来为多个摄像机确定第一约束集的模块；用于基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集的模块；以及用于基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准的模块。
示例26可以包括如权利要求25所述的装置，其中，所述用于确定第二约束集的模块包括用于接收与所述多个摄像机相关联的图像数据的模块，用于基于所述图像数据中的多个帧来确定光流的模块，以及用于基于所述光流来识别所述一个或多个边界的模块。
示例27可以包括如权利要求25所述的装置，还包括用于从所述车辆上的一个或多个传感器接收附加的传感器数据的模块，其中，所述第二约束集基于所述附加的传感器数据被确定，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
示例28可以包括如权利要求25所述的装置，其中，所述用于确定第一约束集的模块包括：用于估算每个特征点相对于所述多个摄像机的坐标系的方向的模块，以及用于估算每个特征点相对于所述多个摄像机的坐标系的位置的模块。
示例29可以包括如权利要求25所述的装置，还包括用于接收与所述多个摄像机相关联的图像数据的模块，以及用于基于所接收的图像数据对所述多个特征点进行检测的模块。
示例30可以包括如权利要求25至29中任一项所述的装置，其中，所述用于进行所述自动校准的装置包括用于估算所述多个摄像机中的一个或多个摄像机的方向的模块。
因此，本文所描述的技术可以提供一种自动地估算摄像机系统相对于车辆的方向的方法。该方法可以用于先进的驾驶员辅助系统和车载式信息娱乐系统中。信息娱乐系统通常是基于信息和基于娱乐的媒体内容或者编程系统，其包括被内置在车辆内或者可以被添加至车辆以便增强驾驶员和/或乘客的舒适度和便利性的娱乐内容或者硬件和/或软件产品和系统。该技术可以使用图像识别软件来处理由摄像机(位于车辆上)所捕获的图像。该技术还可以提供位于车辆上的摄像机的自动校准，而不需要诸如标记或校准图案之类的外部资源并且不需要制造商进行服务。该技术可以自动地校准所有的旋转参数。可以识别靠近车辆的特征点，并且可以估算特征点相对于车辆的位置和方向，以针对外在摄像机参数确定第一约束集。该技术可以通过检测车辆的边界并且将所检测的边界与车辆自身的已知几何几何形状进行匹配，来确定第二约束集。使用附加的第二约束集的技术允许对所有必要的外在参数。可以对车辆的二维运动进行估算，并且因此可以推断摄像机参数。该技术仅使用车辆的运动来估算摄像机系统相对于车辆的方向。如果地平面平坦的话，那么几乎可以使用任何环境。该技术能够在无需车辆的驾驶员付出努力的情况下获得校准参数。
除非特别声明，否则可以理解，诸如“处理”、“计算”、“算”、“确定”等之类的术语是指计算机或计算系统、或类似的电子计算设备的动作和/或过程，这些动作或过程对计算系统的寄存器和/或存储器内表示物理量(例如，电子)的数据进行操纵和/或转换成在计算系统的存储器、寄存器或其它这样的信息存储、传输或显示设备中类似地表示物理量的其它数据。实施例不限于此情境。
本文所使用的术语“耦合的”是指所涉及的部件之间的任意类型的关系(直接的或间接的)，并且可以适用于电连接、机械连接、流体连接、光连接、电磁连接、机电连接、或其它连接。此外，本所使用术语“第一”、“第二”等仅仅是为了便于讨论，并不带有特定的时间或时序意义，除非另作指示。
根据以上说明书本领域技术人员将意识到，可以以各种形式来实施实施例的宽泛技术。因此，尽管已经结合具体示例描述了本发明的实施例，但是实施例的真实范围不应当仅限于此，这是由于，对于本领域技术人员来说，在研究了附图、说明书以及所附权利要求书之后，其它修改将变得显而易见。

Claims (24)

1.一种基于摄像机的驾驶员辅助系统，包括：
多个摄像机，每个所述摄像机包括用于捕捉图像的电光部件，其中，所述摄像机位于容纳有所述基于摄像机的驾驶员辅助系统的车辆上的不同区域中；
特征点分析器，所述特征点分析器基于地平面上的邻近所述车辆的多个特征点的估算的位置以及多个特征点的估算的方向来为所述多个摄像机确定第一约束集；
边界分析器，所述边界分析器基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集；
校准器，所述校准器基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准；以及
显示器，所述显示器可视化地输出所述自动校准的结果。
2.根据权利要求1所述的系统，其中，所述边界分析器包括：
图像数据接口，所述图像数据接口接收与所述多个摄像机相关联的图像数据；
帧分析器，所述帧分析器基于所述图像数据中的多个帧来确定光流；以及
边界检测器，所述边界检测器基于所述光流来识别所述一个或多个边界。
3.根据权利要求1所述的系统，还包括传感器接口，所述传感器接口从所述车辆上的一个或多个传感器接收附加的传感器数据，其中，所述边界分析器基于所述附加的传感器数据来确定所述第二约束集，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
4.根据权利要求1所述的系统，其中，所述特征点分析器包括：
方向估算器，所述方向估算器估算每个特征点相对于所述多个摄像机的坐标系的方向；以及
位置估算器，所述位置估算器估算每个特征点相对于所述多个摄像机的坐标系的位置。
5.根据权利要求1所述的系统，还包括特征点提取器，所述特征点提取器接收与所述多个摄像机相关联的图像数据，并且基于所述图像数据对所述多个特征点进行检测。
6.根据权利要求1至5中任一项所述的系统，其中，所述校准器对所述多个摄像机中的一个或多个摄像机的方向进行估算，以进行所述自动校准。
7.一种摄像机校准装置，包括：
特征点分析器，所述特征点分析器基于地平面上的邻近车辆的多个特征点的估算的位置以及多个特征点的估算的方向来为多个摄像机确定第一约束集；
边界分析器，所述边界分析器基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集；以及
校准器，所述校准器基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准。
8.根据权利要求7所述的装置，其中，所述边界分析器包括：
图像数据接口，所述图像数据接口接收与所述多个摄像机相关联的图像数据；
帧分析器，所述帧分析器基于所述图像数据中的多个帧来确定光流；以及
边界检测器，所述边界检测器基于所述光流来识别所述一个或多个边界。
9.根据权利要求7所述的装置，还包括传感器接口，所述传感器接口从所述车辆上的一个或多个传感器接收附加的传感器数据，其中，所述边界分析器基于所述附加的传感器数据来确定所述第二约束集，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
10.根据权利要求7所述的装置，其中，所述特征点分析器包括：
方向估算器，所述方向估算器估算每个特征点相对于所述多个摄像机的坐标系的方向；以及
位置估算器，所述位置估算器估算每个特征点相对于所述多个摄像机的坐标系的位置。
11.根据权利要求7所述的装置，还包括特征点提取器，所述特征点提取器接收与所述多个摄像机相关联的图像数据，并且基于所接收的图像数据对所述多个特征点进行检测。
12.根据权利要求7至11中任一项所述的装置，其中，所述校准器对所述多个摄像机中的一个或多个摄像机的方向进行估算，以进行所述自动校准。
13.一种对基于摄像机的驾驶员辅助系统进行自动校准的方法，包括：
基于地平面上的邻近车辆的多个特征点的估算的位置以及多个特征点的估算的方向来为多个摄像机确定第一约束集；
基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集；以及
基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准。
14.根据权利要求13所述的方法，其中，确定所述第二约束集包括：
接收与所述多个摄像机相关联的图像数据；
基于所述图像数据中的多个帧来确定光流；以及
基于所述光流来识别所述一个或多个边界。
15.根据权利要求13所述的方法，还包括从所述车辆上的一个或多个传感器接收附加的传感器数据，其中，所述第二约束集是基于所述附加的传感器数据被确定的，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
16.根据权利要求13所述的方法，其中，确定所述第一约束集包括：
估算每个特征点相对于所述多个摄像机的坐标系的方向；以及
估算每个特征点相对于所述多个摄像机的坐标系的位置。
17.根据权利要求13所述的方法，还包括：
接收与所述多个摄像机相关联的图像数据；以及
基于所述图像数据对所述多个特征点进行检测。
18.根据权利要求13至17中任一项所述的方法，其中，进行自动校准包括对所述多个摄像机中的一个或多个摄像机的方向进行估算。
19.一种摄像机校准装置，包括：
用于基于地平面上的邻近车辆的多个特征点的估算的位置以及多个特征点的估算的方向来为多个摄像机确定第一约束集的模块；
用于基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集的模块；以及
用于基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准的模块。
20.根据权利要求19所述的装置，其中，所述用于确定第二约束集的模块包括：
用于接收与所述多个摄像机相关联的图像数据的模块；
用于基于所述图像数据中的多个帧来确定光流的模块；以及
用于基于所述光流来识别所述一个或多个边界的模块。
21.根据权利要求19所述的装置，还包括用于从所述车辆上的一个或多个传感器接收附加的传感器数据的模块，其中，所述第二约束集基于所述附加的传感器数据被确定，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
22.根据权利要求19所述的装置，其中，所述用于确定第一约束集的模块包括：
用于估算每个特征点相对于所述多个摄像机的坐标系的方向的模块；以及
用于估算每个特征点相对于所述多个摄像机的坐标系的位置的模块。
23.根据权利要求19所述的装置，还包括：
用于接收与所述多个摄像机相关联的图像数据的模块；以及
用于基于所述图像数据对所述多个特征点进行检测的模块。
24.根据权利要求19至23中任一项所述的装置，其中，所述用于进行所述自动校准的装置包括用于估算所述多个摄像机中的一个或多个摄像机的方向的模块。
CN201610101599.7A 2015-03-24 2016-02-24 摄像机系统相对于车辆的自动方向估算 Active CN106027952B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/667,031 US10013761B2 (en) 2015-03-24 2015-03-24 Automatic orientation estimation of camera system relative to vehicle
US14/667,031 2015-03-24

Publications (2)

Publication Number Publication Date
CN106027952A CN106027952A (zh) 2016-10-12
CN106027952B true CN106027952B (zh) 2019-08-02

Family

ID=56975581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610101599.7A Active CN106027952B (zh) 2015-03-24 2016-02-24 摄像机系统相对于车辆的自动方向估算

Country Status (2)

Country Link
US (1) US10013761B2 (zh)
CN (1) CN106027952B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3358294A4 (en) * 2015-09-30 2019-04-10 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
CN106846369A (zh) * 2016-12-14 2017-06-13 广州市联奥信息科技有限公司 基于双目视觉的车辆转向状态判别方法及装置
US10733697B2 (en) 2016-12-27 2020-08-04 Intel IP Corporation Convolutional neural network for wide-angle camera images
US10621753B2 (en) 2017-09-29 2020-04-14 Intel IP Corporation Extrinsic calibration of camera systems
US10430970B2 (en) * 2017-12-04 2019-10-01 GM Global Technology Operations LLC Detection and recalibration for a camera system using lidar data
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
DE102019200186A1 (de) * 2019-01-09 2020-07-09 Continental Automotive Gmbh Verfahren zur Lokalisierung von Kameras sowie ein Kamerasystem und ein Fahrzeug mit einem Kamerasystem
DE102019202269B4 (de) * 2019-02-20 2020-11-19 Continental Automotive Gmbh Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug
US20210405641A1 (en) * 2020-06-29 2021-12-30 Lyft, Inc. Detecting positioning of a sensor system associated with a vehicle
DE102020213146B3 (de) * 2020-10-19 2021-08-05 Continental Automotive Gmbh Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie Verfahren zum Betrieb eines derartigen Kamerasystems
WO2024017444A1 (de) * 2022-07-20 2024-01-25 Continental Automotive Technologies GmbH Selbstkalibrierendes kamerasystem, fahrzeug und verfahren

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200607249A (en) * 2004-08-09 2006-02-16 Univ Nat Central Method for transforming serial scrambler to parallel scrambler, parallel scrambler and double edge-triggered register with XOR operation
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
CN102666262A (zh) * 2009-09-25 2012-09-12 法雷奥开关和传感器有限责任公司 用于车辆的驾驶员辅助系统，具有驾驶员辅助系统的车辆，和用于辅助驾驶员驾驶车辆的方法
CN103916572A (zh) * 2012-12-28 2014-07-09 财团法人工业技术研究院 车用镜头的自动化校正与应用其的影像转换方法与装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542840B2 (en) * 2000-01-27 2003-04-01 Matsushita Electric Industrial Co., Ltd. Calibration system, target apparatus and calibration method
US7696903B2 (en) * 2003-03-20 2010-04-13 Gentex Corporation Imaging system for detecting vehicle and human movement
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
EP2530647A1 (en) 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
US9688200B2 (en) * 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200607249A (en) * 2004-08-09 2006-02-16 Univ Nat Central Method for transforming serial scrambler to parallel scrambler, parallel scrambler and double edge-triggered register with XOR operation
CN102666262A (zh) * 2009-09-25 2012-09-12 法雷奥开关和传感器有限责任公司 用于车辆的驾驶员辅助系统，具有驾驶员辅助系统的车辆，和用于辅助驾驶员驾驶车辆的方法
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
CN103916572A (zh) * 2012-12-28 2014-07-09 财团法人工业技术研究院 车用镜头的自动化校正与应用其的影像转换方法与装置

Also Published As

Publication number Publication date
US20160284087A1 (en) 2016-09-29
CN106027952A (zh) 2016-10-12
US10013761B2 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
CN106027952B (zh) 摄像机系统相对于车辆的自动方向估算
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
WO2019196581A1 (zh) 人体姿态预测方法、装置、设备及存储介质
EP3779883A1 (en) Method and device for repositioning in camera orientation tracking process, and storage medium
CN110647865A (zh) 人脸姿态的识别方法、装置、设备及存储介质
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
CN110599549A (zh) 界面显示方法、装置及存储介质
US20140240225A1 (en) Method for touchless control of a device
CN107833219B (zh) 图像识别方法及装置
US9392165B2 (en) Array camera, mobile terminal, and methods for operating the same
CN109522863B (zh) 耳部关键点检测方法、装置及存储介质
CN108288032B (zh) 动作特征获取方法、装置及存储介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN112036331A (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN111680697A (zh) 实现领域自适应的方法、装置、电子设备及介质
CN111062248A (zh) 图像检测的方法、装置、电子设备及介质
CN111862148A (zh) 实现视觉跟踪的方法、装置、电子设备及介质
US20170302908A1 (en) Method and apparatus for user interaction for virtual measurement using a depth camera system
CN110705438A (zh) 步态识别方法、装置、设备及存储介质
CN113570645A (zh) 图像配准方法、装置、计算机设备及介质
CN111898535A (zh) 目标识别方法、装置及存储介质
CN111768507A (zh) 图像融合方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant