CN108933936A - 用于摄像头校准的方法和装置 - Google Patents

用于摄像头校准的方法和装置 Download PDF

Info

Publication number
CN108933936A
CN108933936A CN201810460527.0A CN201810460527A CN108933936A CN 108933936 A CN108933936 A CN 108933936A CN 201810460527 A CN201810460527 A CN 201810460527A CN 108933936 A CN108933936 A CN 108933936A
Authority
CN
China
Prior art keywords
camera
point
edge
horizontal mid
pixel distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810460527.0A
Other languages
English (en)
Other versions
CN108933936B (zh
Inventor
A·路易斯
M·纳塞里安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108933936A publication Critical patent/CN108933936A/zh
Application granted granted Critical
Publication of CN108933936B publication Critical patent/CN108933936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)

Abstract

提供了一种用于校准摄像头的方法和装置。该方法包括：检测从摄像头接收到的图像中的固定物体的至少一个边缘，确定至少一个边缘的至少一个水平中点，计算确定的至少一个水平中点与预先存储的至少一个水平中点之间的第一像素距离，计算固定物体的检测的至少一个边缘上的多个点与固定物体的至少一个边缘的预先存储的多个点之间的第二像素距离，基于第一像素距离和第二像素距离来确定是否重新校准摄像头，以及如果该确定确定了重新校准摄像头，则重新校准摄像头。

Description

用于摄像头校准的方法和装置
引言
根据示例性实施例的装置和方法涉及校准摄像头。更具体地，根据示例性实施例的装置和方法涉及校准车辆摄像头。
发明内容
一个或多个示例性实施例提供了一种检测摄像头是否需要重新校准并且如果摄像头需要重新校准则重新校准该摄像头的方法和装置。更具体地，一个或多个示例性实施例提供了一种基于摄像头的图像来检测该摄像头是否需要重新校准并且根据需要重新校准该摄像头的方法和装置。
根据示例性实施例的一个方面，提供了一种用于校准摄像头的方法。该方法包括检测从摄像头接收到的图像中的固定物体的至少一个边缘，确定至少一个边缘的至少一个水平中点，计算确定的至少一个水平中点与预先存储的至少一个水平中点之间的第一像素距离，计算固定物体的检测的至少一个边缘上的多个点与固定物体的至少一个边缘的预先存储的多个点之间的第二像素距离，基于第一像素距离和第二像素距离来确定是否重新校准摄像头，以及如果该确定确定了重新校准摄像头，则重新校准摄像头。
固定物体可以是车辆货厢，多个点可以对应于车辆货厢的拐角，并且确定至少一个边缘的至少一个水平中点可以包括确定对应于车辆货厢的门的边缘的水平中点以及对应于与车辆货厢的门相对的侧边的边缘的水平中点。
固定物体可以是保险杠，确定至少一个边缘的至少一个水平中点可以包括确定对应于保险杠的边缘的水平中点，并且多个点是保险杠上的对应于以下中的一个或多个的点：a)保险杠的第一端和保险杠的第二端；以及b)水平中点与保险杠的第一端之间的点以及水平中点与保险杠的第二端之间的点。
基于第一像素距离和第二像素距离来确定是否重新校准摄像头可以包括确定第一像素距离或第二像素距离是否大于预定阈值距离。
基于第一像素距离和第二像素距离来确定是否重新校准摄像头可以包括基于确定的水平中点和固定物体的至少一个边缘上的多个点来确定是否已经发生了仿射移动。
重新校准摄像头可以包括变换接收的图像并且重新裁剪变换后的图像。
变换接收的图像包括基于确定的至少一个水平中点与预先存储的至少一个水平中点之间的第一像素距离以及固定物体的检测的至少一个边缘上的多个点与固定物体的至少一个边缘的预先存储的多个点之间的第二像素距离，对接收的图像执行仿射变换。
摄像头包括对包括车辆保险杠的车辆后方区域进行成像的摄像头或者对包括车辆货厢的区域进行成像的摄像头。
多个点可以包括四个点或六个点。
根据示例性实施例的一个方面，提供了一种用于校准摄像头的方法。该方法包括检测从摄像头接收到的图像中的固定物体的至少一个边缘，确定至少一个边缘的至少一个中点，计算确定的至少一个中点与预先存储的至少一个中点之间的第一像素距离，计算固定物体的检测的至少一个边缘上的多个点与固定物体的至少一个边缘的预先存储的多个点之间的第二像素距离，基于第一像素距离和第二像素距离来确定是否重新校准摄像头，以及如果该确定确定了重新校准摄像头，则重新校准摄像头。
根据示例性实施例的一个方面，提供了一种用于校准摄像头的装置。该装置包括至少一个存储器，该存储器包括计算机可执行指令以及配置为读取并执行计算机可执行指令的至少一个处理器。计算机可执行指令可以使得至少一个处理器检测从摄像头接收到的图像中的固定物体的至少一个边缘，确定至少一个边缘的至少一个水平中点，计算确定的至少一个水平中点与预先存储的至少一个水平中点之间的第一像素距离，计算固定物体的检测的至少一个边缘上的多个点与固定物体的至少一个边缘的预先存储的多个点之间的第二像素距离，基于第一像素距离和第二像素距离来确定是否重新校准摄像头，以及如果该确定确定了重新校准摄像头，则重新校准摄像头。
固定物体可以是车辆货厢，多个点可以对应于车辆货厢的拐角，并且计算机可执行指令可以使得至少一个处理器通过确定对应于车辆货厢的门的边缘的水平中点以及对应于与车辆货厢的门相对的侧边的边缘的水平中点来确定至少一个边缘的至少一个水平中点。
固定物体可以是保险杠，多个点可以是保险杠上的对应于以下中的一个或多个的点：a)保险杠的第一端和保险杠的第二端；以及b)水平中点与保险杠的第一端之间的点以及水平中点与保险杠的第二端之间的点，并且计算机可执行指令可以使得至少一个处理器通过确定对应于保险杠的边缘的水平中点来确定至少一个边缘的至少一个水平中点。
计算机可执行指令可以使得至少一个处理器通过确定第一像素距离或第二像素距离是否大于预定阈值距离来基于第一像素距离和第二像素距离确定是否重新校准摄像头。
计算机可执行指令还可以使得至少一个处理器基于确定的水平中点和固定物体的至少一个边缘上的多个点进一步确定是否已经发生了仿射移动，由此基于第一像素距离和第二像素距离确定是否重新校准摄像头。
计算机可执行指令还可以使得至少一个处理器通过变换接收的图像并且重新裁剪变换后的图像来重新校准摄像头。
计算机可执行指令还可以使得至少一个处理器通过如下方式变换接收的图像：基于确定的至少一个水平中点与预先存储的至少一个水平中点之间的第一像素距离以及固定物体的检测的至少一个边缘上的多个点与固定物体的至少一个边缘的预先存储的多个点之间的第二像素距离，对接收的图像执行仿射变换。
该装置还可以包括对包括车辆保险杠的车辆后方区域进行成像的摄像头。
该装置可以包括对包括车辆货厢的区域进行成像的摄像头。
多个点可以包括四个点或六个点。
通过以下对示例性实施例的详细描述以及附图，示例性实施例的其他目的、优点和新颖特征将变得更加明显。
附图说明
图1示出了根据示例性实施例的校准摄像头的装置的框图；
图2示出了根据示例性实施例的校准摄像头的方法的流程图；
图3A至图3C示出了根据示例性实施例的一方面的在校准过程中使用的图像和边缘的图示；以及
图4示出了根据示例性实施例的一方面的来自经过校准的摄像头和需要重新校准的摄像头的图像的图示。
具体实施方式
现在将参照附图部分的图1至图4详细描述用于校准摄像头的装置和方法，其中相同的附图标记始终表示相同的元件。
以下公开内容将使本领域技术人员能够实践本发明的构思。然而，在此公开的示例性实施例仅仅是示例性的，并不将本发明的构思限制于在此描述的示例性实施例。此外，对每个示例性实施例的特征或方面的描述通常应被视为可用于其他示例性实施例的方面。
还应理解，在此处陈述的是，第一元件“连接到”、“附接到”、“形成在”或“设置在”第二元件上时，第一元件可以直接连接到第二元件、直接形成在第二元件上或直接设置在第二元件上，或者，除非陈述了第一元件“直接”连接到第二元件、附接到第二元件、形成在第二元件上或设置在第二元件上，否则在第一元件与第二元件之间可以存在有中间元件。此外，如果第一元件配置为从第二元件“发送”或“接收”信息，则第一元件可以直接向第二元件发送信息或从第二元件接收信息、通过总线发送或接收信息、通过网络发送或接收信息或者通过中间元件发送或接收信息，除非指示第一元件“直接”向第二元件或从第二元件发送或接收信息。
在本公开中，可以将所公开的一个或多个元件组合成单个设备或者组合成一个或多个设备。另外，可以在分开的设备上提供单独的元件。
摄像头安装在诸如卡车、汽车、踏板车、自行车、船只、飞机等车辆上。这些摄像头被校准并用于向车辆操作者提供引导信息。操作者可以采用一种引导信息来将车辆引至通向拖车挂钩和拖车连接点的路线。可以由车辆牵引的拖车的一些示例包括五轮式、鹅颈式或标准低安装式联结器拖车。拖车挂钩可以位于车辆货厢(如卡车货厢)中，或者位于保险杠附近的车辆后部。但是，当摄像头或其他图像传感器发生移动或没有对准时，可能会错误地显示出来自摄像头的引导信息和/或图像。
为了解决上述问题，可以采用摄像头(诸如，后视摄像头、后置摄像头、中央高位刹车灯(CHMSL)摄像头、安装在卡车、后挡板或保险杠上的摄像头)所提供的图像来确定摄像头是否需要重新校准。图像可以用于确定摄像头的移动，并且通过变换和/或裁剪来自未对准摄像头的图像来重新校准摄像头的图像。可以通过对图像中的固定物体执行边缘检测并识别边缘上的点或界标来确定摄像头的移动。点或界标的位置可以与一组预先存储的对应于正确校准图像的值进行比较。之后，这组预先存储的值与所识别的位置或点之间的差异可以用于确定摄像头是否已经发生了移动并且随后通过调整图像来重新校准摄像头或图像传感器。
图1示出了根据示例性实施例的校准摄像头的装置100的框图。如图1所示，根据示例性实施例的校准摄像头的装置100包括控制器101、电源102、存储装置103、输出装置104、用户输入装置106、图像传感器107以及通信设备108。然而，校准摄像头的装置100并不限于上述配置，并且可以配置为包括附加元件和/或省略掉一个或多个前述元件。校准摄像头的装置100可以被实现为车辆的一部分，实现为独立部件，实现为车上和车外设备的混合装置，或者实现在另一个计算设备中。
控制器101控制校准摄像头的装置100的整体操作和功能。控制器101可以控制校准摄像头的装置100的存储装置103、输出装置104、用户输入装置106、图像传感器107和通信设备108中的一个或多个。控制器101可以包括处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路以及硬件、软件和固件组件的组合中的一个或多个。
控制器101配置为从校准摄像头的装置100的存储装置103、输出装置104、用户输入装置106、图像传感器107和通信设备108中的一个或多个发送和/或接收信息。信息可以经由总线或网络发送和接收，或者可以直接从校准摄像头的装置100的存储装置103、输出装置104、用户输入装置106、图像传感器107和通信设备108中的一个或多个读取或向其写入。合适的网络连接的示例包括控制器区域网络(CAN)、面向媒体的系统传输(MOST)、本地互连网络(LIN)、局域网(LAN)、诸如蓝牙和802.11的无线网络以及诸如以太网的其他适当连接。
电源102向校准摄像头的装置100的控制器101、存储装置103、输出装置104、用户输入装置106、图像传感器107和通信设备108中的一个或多个供给电力。电源102可以包括电池、插座、电容器、太阳能电池、电机、风能设备、交流发电机等中的一个或多个。
存储装置103配置为存储信息并检索由校准摄像头的装置100所使用的信息。存储装置103可以由控制器101控制来存储和检索从图像传感器107接收的信息。信息可以包括图像传感器107拍摄的图像的图像信息、包括固定物体的边缘或拐角的预先存储的多个点和/或固定物体的边缘的预先存储的水平中点的校准信息、关于像素距离的信息等。存储装置103还可以包括配置为由处理器执行以执行校准摄像头的装置100的功能的计算机指令。
存储装置103可以包括软盘、光盘、CD-ROM(光盘只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、高速缓冲存储器以及适用于存储机器可执行指令的其他类型的介质/机器可读介质中的一种或多种。
输出装置104以一种或多种形式输出信息，所述形式包括：视觉、听觉和/或触觉形式。输出装置104可以由控制器101控制来向校准摄像头的装置100的用户提供输出。输出装置104可以包括扬声器、音频设备、显示器、中置显示器、平视显示器、挡风玻璃显示器、触觉反馈设备、振动设备、触感反馈设备、敲击反馈设备、全息显示器、仪表灯、指示灯等中的一种或多种。
输出装置104可以输出通知，其中包括声音通知、光通知和显示通知中的一种或多种。另外，输出装置104可以将来自图像传感器107或面向车辆后部的摄像头的图像输出，该图像示出了车辆的货厢和/或车辆后方区域，其中包括车辆尝试挂接在其上的拖车。
可以根据拖车联结器或拖车的位置对来自车辆后部的图像进行处理或调整。例如，根据拖车所在的区域，可以对图像进行缩放、放大和/或裁剪。此外，输出装置104可以显示引导信息。引导信息可以覆盖在由图像传感器107拍摄的图像上。引导信息的形式可以采用引导线、箭头或网格中的一种或多种
用户输入装置106配置为向校准摄像头的装置100提供信息和命令。用户输入装置106可以用来将用户输入等提供给控制器101。用户输入装置106可以包括触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、转向设备、摄像头、触控板、鼠标、触摸板等中的一种或多种。用户输入装置106可以配置为提供用于通过调整图像来重新校准图像传感器107或摄像头的信息。该信息可以包括用于裁剪或变换图像的用户输入。该信息还可以包括用于调整在输出装置104上显示的引导信息的转向角度或车轮角度信息。
图像传感器107可以包括多个传感器中的一个或多个，这些传感器包括成像传感器、摄像头、激光传感器、超声波传感器、红外摄像头、LIDAR、雷达传感器、超短程雷达传感器、超宽带雷达传感器以及微波传感器。由图像传感器107提供的信息可以用于生成图像。可以对图像进行分析，确定图像传感器是否需要重新校准。
在一个示例中，图像传感器107可以提供来自一个或多个后置摄像头的可以在输出装置104上显示的一张或多张图像。例如，可以提供来自体现为CHMSL摄像头的图像传感器107的图像。在另一个示例中，可以提供来自体现为安装在车辆后备箱、后挡板或保险杠上的摄像头的图像传感器107的图像。
根据各种通信方法，通信设备108可以由校准摄像头的装置100来与各种类型的外部装置进行通信。可以将通信设备108用于向/从校准摄像头的装置100的控制器101发送/接收信息，所述信息包括来自图像传感器107的信息、校准信息、引导信息、关于车辆动态特性(如车辆速度和车辆轨迹)的信息。
通信设备108可以包括各种通信模块，例如远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收器、有线通信模块或无线通信模块中的一个或多个。广播接收模块可以包括地面广播接收模块，该地面广播接收模块包括用于接收地面广播信号的天线、解调器和均衡器等。NFC模块是根据NFC方法与位于附近距离处的外部装置进行通信的模块。GPS接收器是从GPS卫星接收GPS信号并检测当前位置的模块。有线通信模块可以是通过有线网络(诸如局域网、控制器区域网络(CAN)或外部网络)接收信息的模块。无线通信模块是采用无线通信协议(诸如IEEE802.11协议、WiMAX、Wi-Fi或IEEE通信协议)连接到外部网络并与该外部网络进行通信的模块。无线通信模块还可以包括移动通信模块，此移动通信模块访问移动通信网络并根据各种移动通信标准(诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee)执行通信。。
校准摄像头的装置100的控制器101可以配置为检测从摄像头接收到的图像中的固定物体的至少一个边缘，确定至少一个边缘的至少一个水平中点，计算确定的至少一个水平中点与预先存储的至少一个水平中点之间的第一像素距离，计算固定物体的检测的至少一个边缘上的多个点与固定物体的至少一个边缘的预先存储的多个点之间的第二像素距离，基于第一像素距离和第二像素距离来确定是否重新校准摄像头，以及如果该确定确定了重新校准摄像头，则重新校准摄像头。
在一个示例中，如果第一像素距离、第二像素距离或者固定物体的至少一个边缘的多个点之间的差异指示出多个点位于预先存储的多个点之上或之下，则控制器101可以确定摄像头已经向上移动或已经向下移动。在另一个示例中，如果在由一个或多个边缘或多个点限定的区域与预先存储的区域之间存在有尺寸差异，则控制器101可以确定摄像头向前或向后。在又一个示例中，如果第一像素距离、第二像素距离或多个点指示出仿射移动，则控制器101可以确定摄像头已经发生了旋转。
校准摄像头的装置100的控制器101可以配置为通过确定对应于车辆货厢的门的边缘的水平中点以及对应于与车辆货厢的门相对的侧边的边缘的水平中点来确定至少一个边缘的至少一个水平中点。
校准摄像头的装置100的控制器101可以配置为通过确定对应于保险杠的边缘的水平中点来确定至少一个边缘的至少一个水平中点。
校准摄像头的装置100的控制器101可以配置为通过确定第一像素距离或第二像素距离是否大于预定阈值距离来基于第一像素距离和第二像素距离确定是否重新校准摄像头。
校准摄像头的装置100的控制器101可以配置为基于确定的水平中点和固定物体的至少一个边缘上的多个点进一步确定是否已经发生了仿射移动，由此基于第一像素距离和第二像素距离确定是否重新校准摄像头。例如，如果发生了仿射移动，则摄像头可能已经进行了旋转。
校准摄像头的装置100的控制器101可以配置为通过变换接收的图像并重新裁剪变换后的图像来重新校准照摄像头。
校准摄像头的装置100的控制器101可以配置为通过如下方式变换接收的图像：基于确定的至少一个水平中点与预先存储的至少一个水平中点之间的第一像素距离以及固定物体的检测的至少一个边缘上的多个点与固定物体的至少一个边缘的预先存储的多个点之间的第二像素距离，对接收的图像执行仿射变换。
图2示出了根据示例性实施例的校准摄像头的方法的流程图；图2的方法可以由校准摄像头的装置100执行，或者可以被编码到计算机可读介质中，作为可由计算机执行以执行该方法的指令。
参考图2，在操作S210中，在从摄像头接收到的图像中或摄像头的图像中检测到固定物体的至少一个边缘。在操作S220中，确定至少一个边缘的中点。另外，还可以确定检测的至少一个边缘上的多个点的位置。中点可以是至少一个检测的边缘的水平中点或垂直中点。
在操作S230中，计算确定的至少一个中点与预先存储的至少一个中点之间的第一像素距离。在操作S240中，还计算出在固定物体的检测的至少一个边缘上的多个点与固定物体的至少一个边缘的预先存储的多个点之间的第二像素距离。
在操作S250中，基于第一像素距离和第二像素距离，确定是否重新校准摄像头。如果确定了重新校准摄像头(操作S250-是)，则在操作S260中执行重新校准摄像头。否则(操作S250-否)，此过程结束。
图3A至图3C示出了根据示例性实施例的一方面的在校准过程中使用的图像和边缘的图示。图3A示出了车辆的俯视图图示，其示出了可以用于重新校准图像传感器或摄像头的边缘和点，而图3B示出了来自后置CHMSL车辆摄像头的图像312的图示，该后置CHMSL车辆摄像头可以用于检测边缘和点的位置，以便用于确定是否需要对摄像头进行重新校准。
参考图3A和图3B，在后置摄像头的图像312中检测到边缘308-311。边缘308可以对应于车辆车门，边缘309可以对应于车辆货厢的与车门相对的一侧，边缘310可以对应于车辆货厢的与乘客侧平行的边缘，而边缘311可以对应于车辆货厢的与驾驶员侧平行的边缘。
基于图像312和检测的边缘308-311，可以确定对应于车辆货厢的拐角的多个点301、302、303和304。另外，还可以确定水平中点305和306。可以将多个点301-304以及水平中点305和306的确定的像素位置与预先存储的像素位置值进行比较，从而确定摄像头是否已经发生了移动和/或是否需要重新校准。在另一个示例中，可以将多个点301-304以及垂直中点的确定的像素位置与预先存储的像素位置值进行比较，从而确定摄像头是否已经发生了移动和/或是否需要重新校准。
参考图3C，来自于后挡板摄像头的图像320示出了保险杠328。在执行边缘检测之后，边缘检测算法检测边缘329。还可以检测到与保险杠328上的界标相对应的多个点321-326。另外，可以检测到水平中点327。可以将多个点321-326中的一个或多个点的位置以及水平中点327的位置与关于多个点321-326和水平中点327的位置的预先存储信息进行比较，从而确定像素差或距离。然后可以使用此信息来校准摄像头、图像传感器、摄像头图像等。
图4示出了根据示例性实施例的一方面的来自经过校准的摄像头和需要重新校准的摄像头的图像的图示。
参考图4，来自经过正确校准的图像传感器或摄像头的第一图像401包括第一引导线403，该第一引导线403位于与第一图像401中挂钩的位置相对应的适当位置。图像传感器可能会因为各种条件(如道路上的凹凸不平)和重力等因素而发生移动，由此失去校准效果。当图像传感器或摄像头失去校准效果时，可能发生第二图像402中所示出的问题。如第二图像402所示，未经过正确校准的图像传感器、摄像头或摄像头图像使得第二引导线404未能正确对准。
本文公开的过程、方法或算法可以传输给处理设备、控制器或计算机/由处理设备、控制器或计算机执行，所述处理设备、控制器或计算机可以包括任何现有的可编程电子控制设备或专用电子控制设备。类似地，过程、方法或算法可以存储为可由控制器或计算机以多种形式执行的数据和指令，所述形式包括但不限于永久存储在不可写存储介质(诸如ROM设备)上的信息以及可更改地存储在可写存储介质(如软盘、磁带、CD、RAM设备以及其他磁性和光学介质)上的信息。过程、方法或算法也可以在软件可执行对象中实施。替代地，可以使用合适的硬件组件来全部或部分地实现过程、方法或算法，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件组件或设备、或者硬件、软件和固件组件的组合。
以上参照附图描述了一个或多个示例性实施例。上面描述的示例性实施例应仅被认为是描述性的，而不是为了限制的目的。而且，示例性实施例可以在不脱离由所附权利要求限定的本发明构思的精神和范围的前提下进行修改。

Claims (10)

1.一种用于校准摄像头的装置，所述装置包含：
至少一个存储器，所述至少一个存储器包含计算机可执行指令；以及至少一个处理器，所述至少一个处理器配置为读取并执行所述计算机可执行指令，所述计算机可执行指令使得所述至少一个处理器：
检测从摄像头接收到的图像中的固定物体的至少一个边缘；
确定所述至少一个边缘的至少一个水平中点；
计算所述确定的至少一个水平中点与预先存储的至少一个水平中点之间的第一像素距离；
计算所述固定物体的所述检测的至少一个边缘上的多个点与所述固定物体的所述至少一个边缘的预先存储的多个点之间的第二像素距离；
基于所述第一像素距离和所述第二像素距离来确定是否重新校准所述摄像头；以及
如果所述确定确定了重新校准所述摄像头，则重新校准所述摄像头。
2.根据权利要求1所述的装置，其中所述固定物体包含车辆货厢，
其中所述多个点对应于所述车辆货厢的拐角，并且
其中所述计算机可执行指令使得所述至少一个处理器通过确定对应于所述车辆货厢的门的边缘的水平中点以及对应于与所述车辆货厢的所述门相对的侧边的边缘的水平中点来确定所述至少一个边缘的所述至少一个水平中点。
3.根据权利要求1所述的装置，其中所述固定物体包含保险杠，
其中所述多个点是所述保险杠上的对应于以下中的一个或多个的点：
a)所述保险杠的第一端和所述保险杠的第二端；以及b)所述水平中点与所述保险杠的所述第一端之间的点以及所述水平中点与所述保险杠的所述第二端之间的点，并且
其中所述计算机可执行指令使得所述至少一个处理器通过确定对应于所述保险杠的边缘的水平中点来确定所述至少一个边缘的所述至少一个水平中点。
4.根据权利要求3所述的装置，其中所述计算机可执行指令使得所述至少一个处理器通过确定所述第一像素距离或所述第二像素距离是否大于预定阈值距离来基于所述第一像素距离和所述第二像素距离确定是否重新校准所述摄像头。
5.根据权利要求4所述的装置，其中所述计算机可执行指令还使得所述至少一个处理器基于所述确定的水平中点和所述固定物体的所述至少一个边缘上的所述多个点进一步确定是否已经发生了仿射移动，由此基于所述第一像素距离和所述第二像素距离确定是否重新校准所述摄像头。
6.根据权利要求1所述的装置，其中所述计算机可执行指令还使得所述至少一个处理器通过变换所述接收的图像并且重新裁剪所述变换后的图像来重新校准所述摄像头。
7.根据权利要求6所述的装置，其中所述计算机可执行指令还使得所述至少一个处理器通过如下方式变换所述接收的图像：基于所述确定的至少一个水平中点与预先存储的至少一个水平中点之间的所述第一像素距离以及所述固定物体的所述检测的至少一个边缘上的多个点与所述固定物体的所述至少一个边缘的预先存储的多个点之间的所述第二像素距离，对所述接收的图像执行仿射变换。
8.根据权利要求1所述的装置，还包含对包括所述车辆保险杠的车辆后方区域进行成像的摄像头。
9.根据权利要求1所述的装置，还包含对包括车辆货厢的区域进行成像的摄像头。
10.根据权利要求1所述的装置，其中所述多个点包含四个点或六个点。
CN201810460527.0A 2017-05-25 2018-05-15 用于摄像头校准的方法和装置 Active CN108933936B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/605,470 US10304210B2 (en) 2017-05-25 2017-05-25 Method and apparatus for camera calibration
US15/605470 2017-05-25

Publications (2)

Publication Number Publication Date
CN108933936A true CN108933936A (zh) 2018-12-04
CN108933936B CN108933936B (zh) 2021-08-17

Family

ID=64109303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810460527.0A Active CN108933936B (zh) 2017-05-25 2018-05-15 用于摄像头校准的方法和装置

Country Status (3)

Country Link
US (1) US10304210B2 (zh)
CN (1) CN108933936B (zh)
DE (1) DE102018112152A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712731A (zh) * 2020-12-21 2021-04-27 北京百度网讯科技有限公司 图像处理方法、装置、系统、路侧设备及云控平台
CN117128888A (zh) * 2023-10-26 2023-11-28 天津华夏联盛汽车部件有限公司 一种用于不规则保险杠面形的误差识别方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190122382A1 (en) * 2017-10-24 2019-04-25 GM Global Technology Operations LLC Method and apparatus that display view alert
WO2020028219A1 (en) * 2018-07-30 2020-02-06 Pony Ai Inc. System and method for calibrating on-board vehicle cameras
US10991121B2 (en) * 2018-11-27 2021-04-27 GM Global Technology Operations LLC Movement tracking of operator-facing cameras
FR3090170B1 (fr) * 2018-12-12 2020-11-27 Safran Electronics & Defense Dispositif et procédé d’hybridation inertielle/vidéo
US11639234B2 (en) 2019-04-24 2023-05-02 The Boeing Company Method, system and apparatus for aligning a removable sensor on a vehicle
CA3076342A1 (en) * 2019-04-24 2020-10-24 The Boeing Company Aligning sensors on vehicles using sensor output
DE102019135189A1 (de) * 2019-12-19 2021-06-24 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Kameraparameters für eine Kamera einesPritschenfahrzeugs mittels eines Regressions-Analyse Algorithmus,Computerprogrammprodukt, elektronische Recheneinrichtung sowie Kamerasystem
DE102019135187A1 (de) * 2019-12-19 2021-07-08 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Korrekturwerts für eine Kamera eines Pritschenfahrzeugs durch Bestimmen eines Kreuzprodukts von Ladeflächenkantenlinien, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Kamerasystem
DE102019135190B4 (de) * 2019-12-19 2021-11-11 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Korrekturwerts für eine Kamera eines Pritschenfahrzeugs auf Basis eines Maskenvergleichs, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Kamerasystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1196151A (zh) * 1995-09-08 1998-10-14 奥瑞德高技术系统有限公司 虚演播室中用于确定电视摄像机位置的方法和设备
CN103731658A (zh) * 2013-12-25 2014-04-16 深圳市墨克瑞光电子研究院 双目摄像机复位方法和双目摄像机复位装置
CN104506857A (zh) * 2015-01-15 2015-04-08 苏州阔地网络科技有限公司 一种摄像头位置偏离检测方法及设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
EP1876412B1 (en) * 2005-04-15 2012-03-28 The University of Tokyo Motion capture system and method for three-dimensional reconfiguring of characteristic point in motion capture system
JP4803450B2 (ja) * 2006-11-20 2011-10-26 アイシン精機株式会社 車載カメラの校正装置及び当該装置を用いた車両の生産方法
US8373763B2 (en) * 2008-05-22 2013-02-12 GM Global Technology Operations LLC Self calibration of extrinsic camera parameters for a vehicle camera
WO2010109730A1 (ja) * 2009-03-26 2010-09-30 アイシン精機株式会社 カメラ校正装置
JP5091902B2 (ja) * 2009-03-31 2012-12-05 アイシン精機株式会社 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム
JP5393318B2 (ja) * 2009-07-28 2014-01-22 キヤノン株式会社 位置姿勢計測方法及び装置
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
US8262229B2 (en) * 2010-03-22 2012-09-11 Seiko Epson Corporation Multi-projector display system calibration
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
JP5839971B2 (ja) * 2010-12-14 2016-01-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP5863440B2 (ja) * 2010-12-28 2016-02-16 キヤノン株式会社 情報処理装置および方法
WO2012139636A1 (en) * 2011-04-13 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road surface texture tracking and geometric properties
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
US20130259403A1 (en) * 2012-04-03 2013-10-03 Oluwatosin Osinusi Flexible easy-to-use system and method of automatically inserting a photorealistic view of a two or three dimensional object into an image using a cd,dvd or blu-ray disc
US9135705B2 (en) * 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
US8923650B2 (en) * 2013-01-07 2014-12-30 Wexenergy Innovations Llc System and method of measuring distances related to an object
US9953420B2 (en) * 2014-03-25 2018-04-24 Ford Global Technologies, Llc Camera calibration
US10694175B2 (en) * 2015-12-28 2020-06-23 Intel Corporation Real-time automatic vehicle camera calibration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1196151A (zh) * 1995-09-08 1998-10-14 奥瑞德高技术系统有限公司 虚演播室中用于确定电视摄像机位置的方法和设备
CN103731658A (zh) * 2013-12-25 2014-04-16 深圳市墨克瑞光电子研究院 双目摄像机复位方法和双目摄像机复位装置
CN104506857A (zh) * 2015-01-15 2015-04-08 苏州阔地网络科技有限公司 一种摄像头位置偏离检测方法及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712731A (zh) * 2020-12-21 2021-04-27 北京百度网讯科技有限公司 图像处理方法、装置、系统、路侧设备及云控平台
CN112712731B (zh) * 2020-12-21 2022-08-12 阿波罗智联(北京)科技有限公司 图像处理方法、装置、系统、路侧设备及云控平台
CN117128888A (zh) * 2023-10-26 2023-11-28 天津华夏联盛汽车部件有限公司 一种用于不规则保险杠面形的误差识别方法
CN117128888B (zh) * 2023-10-26 2024-01-09 天津华夏联盛汽车部件有限公司 一种用于不规则保险杠面形的误差识别方法

Also Published As

Publication number Publication date
US10304210B2 (en) 2019-05-28
DE102018112152A1 (de) 2018-11-29
CN108933936B (zh) 2021-08-17
US20180342082A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
CN108933936A (zh) 用于摄像头校准的方法和装置
CN109094669B (zh) 用于评估铰接角度的方法和设备
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109002754A (zh) 车辆远程停车系统和方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11463408B2 (en) Vehicular secure gateway system
CN109143290B (zh) 用于位置误差检测的方法和装置
US10748012B2 (en) Methods and apparatus to facilitate environmental visibility determination
JP2017220051A (ja) 画像処理装置、画像処理方法、および車両
CN108664883B (zh) 用于启动挂接视图的方法和装置
CN112009479B (zh) 调整传感器视场的方法和设备
US10077046B2 (en) Method and apparatus for preventing collision with trailer
CN108569298A (zh) 用于增强俯视图图像的方法和装置
CN108313124B (zh) 探测车辆周边障碍物的方法和装置
JP2004064441A (ja) 車載画像処理装置及び周囲モニタシステム
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
US11186223B2 (en) Large vehicle approach warning device and method for controlling the same
CN111587572A (zh) 图像处理装置、图像处理方法和程序
CN109693613B (zh) 生成可牵引物体的定位指示符的方法和设备
CN109644241B (zh) 图像处理设备和图像处理方法
US20220155459A1 (en) Distance measuring sensor, signal processing method, and distance measuring module
US20190122382A1 (en) Method and apparatus that display view alert
JP2018107620A (ja) 撮像システム、移動体、および制御方法
KR20190033998A (ko) 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법
KR102374016B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant