CN113284194A - 多rs设备的标定方法、装置及设备 - Google Patents

多rs设备的标定方法、装置及设备 Download PDF

Info

Publication number
CN113284194A
CN113284194A CN202110689372.XA CN202110689372A CN113284194A CN 113284194 A CN113284194 A CN 113284194A CN 202110689372 A CN202110689372 A CN 202110689372A CN 113284194 A CN113284194 A CN 113284194A
Authority
CN
China
Prior art keywords
camera
equipment
determining
image
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110689372.XA
Other languages
English (en)
Other versions
CN113284194B (zh
Inventor
单国航
贾双成
朱磊
李成军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202110689372.XA priority Critical patent/CN113284194B/zh
Publication of CN113284194A publication Critical patent/CN113284194A/zh
Application granted granted Critical
Publication of CN113284194B publication Critical patent/CN113284194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

本申请是关于一种多RS设备的标定方法、装置及设备。该方法包括：获取至少两个RS设备的GPS坐标，其中第一RS设备通过预设方式确定第一相机外参，第二RS设备通过预设方式确定第二相机外参；确定所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的重合区域；根据所述重合区域中相同设定特征点的像素对应的地理位置关系，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系。本申请提供的方案，能够利用多RS设备提高标定的精度。

Description

多RS设备的标定方法、装置及设备
技术领域
本申请涉及智慧交通技术领域，尤其涉及一种多RS设备的标定方法、装置及设备。
背景技术
目前的智慧交通系统中，在道路上部署大量的RS（Road Side，路侧）设备。RS设备也可以称为RSU（Road Side Unit，路侧单元）。RS设备具有相机，可以通过相机采集视频数据来计算一些交通的场景，例如车辆故障停驶、追尾等。RS设备提供的图像信息能够为各项交通应用和信息服务提供基础支撑。在对相机所采集的视频和图像数据进行处理之前，需要进行RS设备标定，以确定所拍到的车辆等对象的实际位置和距离。
当路口存在多个RS设备时，相关技术中还未提供有效的标定方法。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种多RS设备的标定方法、装置及设备，能够利用多RS设备提高标定的精度。
本申请第一方面提供一种多RS设备的标定方法，包括：
获取至少两个RS设备的GPS坐标，其中第一RS设备通过预设方式确定第一相机外参，第二RS设备通过预设方式确定第二相机外参；
确定所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的重合区域；
根据所述重合区域中相同设定特征点的像素对应的地理位置关系，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系。
在一种实施方式中，所述根据所述重合区域中相同设定特征点的像素对应的地理位置关系，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系，包括：
根据所述重合区域中相同设定特征点的像素对应的地理位置相等，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系。
在一种实施方式中，所述确定所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的重合区域，包括：
分别识别所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的车道线，确定所述车道线上多个设定特征点的像素坐标及其对应的地理位置；
根据所述第一图像和所述第二图像中地理位置相同的设定特征点，确定重合区域。
在一种实施方式中，所述分别识别所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的车道线，确定所述车道线上多个设定特征点的像素坐标及其对应的地理位置，包括：
识别所述第一RS设备的第一相机所拍摄的第一图像中的车道线，根据所述第一RS设备的所述第一图像、第一相机外参和所述第一RS设备的GPS坐标，确定第一图像中车道线上多个设定特征点的像素坐标及其对应的地理位置；
识别所述第二RS设备的第二相机所拍摄的第二图像中的车道线，根据所述第二RS设备的所述第二图像、第二相机外参和所述第二RS设备的GPS坐标，确定第二图像中车道线上多个设定特征点的像素坐标及其对应的地理位置。
在一种实施方式中，所述根据所述重合区域中相同设定特征点的像素对应的地理位置相等，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系，包括：
通过最小二乘优化，获得使整体误差最小的第一RS设备和所述第二RS设备的两个相机坐标系的转换关系：
Figure 43229DEST_PATH_IMAGE001
式1
Figure 558786DEST_PATH_IMAGE002
式2
其中，E为两个设定特征点之间的最大误差，
Figure DEST_PATH_IMAGE003
为所述为第二RS设备单独标定外参后设定特征点在第二相机坐标系中的坐标，
Figure 765777DEST_PATH_IMAGE004
为所述第一RS设备单独标定外参后设定特征点在第一相机坐标系中的坐标，
Figure DEST_PATH_IMAGE005
为
Figure 675964DEST_PATH_IMAGE006
经过空间坐标转换后在第二相机坐标系中的坐标；
Figure DEST_PATH_IMAGE007
为第一相机坐标系和第二相机坐标系的旋转转换关系，
Figure 194670DEST_PATH_IMAGE008
为第一相机坐标系和第二相机坐标系的平移转换关系，其中
Figure DEST_PATH_IMAGE009
。
本申请第二方面提供一种多RS设备的标定装置，包括：
获取模块，用于获取至少两个RS设备的GPS坐标，其中第一RS设备通过预设方式确定第一相机外参，第二RS设备通过预设方式确定第二相机外参；
重合区域确定模块，用于确定所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的重合区域；
标定模块，用于根据所述重合区域中相同设定特征点的像素对应的地理位置关系，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系。
在一种实施方式中，所述标定模块，根据根据所述重合区域中相同设定特征点的像素对应的地理位置相等，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系。
在一种实施方式中，所述重合区域确定模块包括：
地理位置确定子模块，用于分别识别所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的车道线，确定所述车道线上多个设定特征点的像素坐标及其对应的地理位置；
区域确定子模块，用于根据所述第一图像和所述第二图像中地理位置相同的设定特征点，确定重合区域。
在一种实施方式中，所述地理位置确定子模块包括：
第一确定子模块，用于识别所述第一RS设备的第一相机所拍摄的第一图像中的车道线，根据所述第一RS设备的所述第一图像、第一相机外参和所述第一RS设备的GPS坐标，确定第一图像中车道线上多个设定特征点的像素坐标及其对应的地理位置；
第二确定子模块，用于识别所述第二RS设备的第二相机所拍摄的第二图像中的车道线，根据所述第二RS设备的所述第二图像、第二相机外参和所述第二RS设备的GPS坐标，确定第二图像中车道线上多个设定特征点的像素坐标及其对应的地理位置。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请提供的技术方案，在包含多个RS设备时，可以确定所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的重合区域；然后根据所述重合区域中相同设定特征点的像素对应的地理位置关系，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系，从而能够利用多RS设备提高标定的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的多RS设备的标定方法的流程示意图；
图2是本申请实施例示出的多RS设备的标定方法的另一流程示意图；
图3是本申请实施例示出的多RS设备的相机采集的图像重合的示意图；
图4是本申请实施例示出的多RS设备的标定装置的结构示意图；
图5是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
本申请实施例提供一种多RS设备的标定方法，能够利用多RS设备提高标定的精度。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的一种RS设备的标定方法的流程示意图。
参见图1，该方法包括：
步骤S101、获取至少两个RS设备的GPS坐标，其中第一RS设备通过预设方式确定第一相机外参，第二RS设备通过预设方式确定第二相机外参。
其中，可以先精确测量得到多个RS设备的实际位置，也即确定RS设备的GPS坐标（实际经纬度地理坐标）。之后就可以知道RS设备所在的道路地面的海拔高度，本申请实施例假设地面是水平的情况。
其中第一RS设备通过预设方式确定第一相机外参，第二RS设备通过预设方式确定第二相机外参。
其中预设方式可以是：获取RS设备的GPS坐标；获取RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标；根据多个设定特征点的像素坐标，确定RS设备的相机外参。其中，根据多个设定特征点的像素坐标，确定RS设备的相机外参，可以包括：根据RS设备的相机内参、多个设定特征点的像素坐标，预设的设定特征点的像素坐标、设定特征点的RS设备坐标、相机坐标系与RS设备坐标系间的旋转变换关系和相机内参之间的函数关系，以及预设的设定特征点间的约束关系，确定旋转变换关系和相机安装高度。
步骤S102、确定第一RS设备的第一相机和第二RS设备的第二相机所拍摄的图像中的重合区域。
RS设备上安装有相机，可以拍摄路口或路边的照片或视频。相机如果是采集道路及两边环境的视频，可以从相机采集的视频中选出符合预设条件的目标图片，作为当前帧图像进行处理。
在一个路口有多个RS设备时，所拍摄的图像会有重合也即重叠的区域。本申请实施例是利用两个RS设备视野内重复区域中，两个RS设备图像中的图像像素具有对应关系的特点。
该步骤可以分别识别第一RS设备的第一相机和第二RS设备的第二相机所拍摄的图像中的车道线，确定车道线上多个设定特征点的像素坐标及其对应的地理位置；根据第一图像和第二图像中地理位置相同的设定特征点，确定重合区域。
步骤S103、根据重合区域中相同设定特征点的像素对应的地理位置关系，确定第一RS设备和第二RS设备的两个相机坐标系的转换关系。
其中，根据重合区域中相同设定特征点的像素对应的地理位置相等，确定第一RS设备和第二RS设备的两个相机坐标系的转换关系。
对于单个RS设备，通过预设方式进行相机外参的标定后，可以根据相机外参和RS设备的GPS坐标，计算出相机拍摄的当前帧图像中的每一个设定特征点的像素坐标对应的实际地理空间位置（也就是每一个像素的空间位置）。也就是说，通过单个RS设备的标定，可以计算得到相机拍摄的图片上的某个像素(uv)对应的实际地理位置，后续就可以将这个地理位置标记在地图上。
在一个路口有多个RS设备时，所拍摄的图像会有重合也即重叠的区域。根据重合区域中相同设定特征点的像素对应的地理位置关系，确定第一RS设备和第二RS设备的两个相机坐标系的转换关系。
从该实施例可以看出，本申请提供的技术方案，在包含多个RS设备时，可以确定第一RS设备的第一相机和第二RS设备的第二相机所拍摄的图像中的重合区域；然后根据重合区域中相同设定特征点的像素对应的地理位置关系，确定第一RS设备和第二RS设备的两个相机坐标系的转换关系，从而能够利用多RS设备提高标定的精度。
图2是本申请实施例示出的一种多RS设备的标定方法的另一流程示意图。图2相对于1更详细描述了本申请的技术方案。
本申请实施例主要是利用多RS设备视野相同重合的部分进行计算，通过多RS设备相互依靠来提高标定的精度。本申请实施例，在一个路口有多个RS设备场景下进行多设备的标定。其中主要是利用两个RS设备视野内重复区域，两个RS设备图像中图像像素具有对应关系的特点。对于单个RS设备，首先得到其绝对的地理位置（GPS坐标）。其中单个设备的标定可以采用设定特征点等进行标定。假设路面为某个高度的水平面，从而可以得到在这个标定下的某个道路的设定特征点的像素对应的地理位置也即经纬度的位置，之后可以得到多个RS设备的重合区域。其中，通过单个RS设备的标定，可以计算得到图像中某个特征点像素(uv)对应的实际地理位置，将这个地理位置标记在地图上，就如图3中所示。重合区域指的是两个RS设备的相机所拍摄到的重叠区域。然后，利用重合区域识别到的特征点的经纬度应该相等这个特点来进行后续操作。例如，可以首先先对第一RS设备（简称A设备）得到图像，进行车道线识别，之后得到车道线上的各个特征点的经纬度位置，也可以理解为得到车道线上端点的经纬度位置。之后同理对第二RS设备（简称B设备）进行相同的操作。然后，利用其车道线的区别来对RS设备的标定方法进行迭代，从而得到更加准确的RS标定方法。在标定过程中，可以建立最小二乘优化，使整体误差error最小。两个RS设备的相机标定好外参之后，它们的视野中有几个相同的特征点。如果标定准确，同一个特征点经过两个相机得到的经纬度位置的数值应该是一样的。但由于相机的经纬度/朝向测量有误差，二者很可能有一些偏差。因此，仍然是通过建立最小二乘优化，使整体误差error最小。
参见图2，该方法包括：
步骤S201、获取至少两个RS设备的GPS坐标。
其中，可以先精确测量得到RS设备的实际位置，也即确定RS设备的GPS坐标（实际经纬度地理坐标）。之后就可以知道RS设备所在的道路地面的海拔高度，本申请实施例假设地面是水平的情况。
其中单个RS设备可以通过预设方式确定相机外参。例如第一RS设备通过预设方式确定第一相机外参，第二RS设备通过预设方式确定第二相机外参。
其中预设方式可以是：获取RS设备的GPS坐标；获取RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标；根据多个设定特征点的像素坐标，确定RS设备的相机外参。
其中，根据多个设定特征点的像素坐标，确定RS设备的相机外参，包括：根据RS设备的相机内参、多个设定特征点的像素坐标，预设的设定特征点的像素坐标、设定特征点的RS设备坐标、相机坐标系与RS设备坐标系间的旋转变换关系和相机内参之间的函数关系，以及预设的设定特征点间的约束关系，确定旋转变换关系和相机安装高度。其中，可以通过最小二乘优化，获得使整体误差最小的旋转变换关系和相机安装高度。函数关系包括：设定特征点的RS设备坐标等于相机内参矩阵的逆矩阵、相机坐标系与RS设备坐标系之间的旋转变换矩阵的逆矩阵与设定特征点的像素坐标相乘。
步骤S202，分别识别第一RS设备的第一相机和第二RS设备的第二相机所拍摄的图像中的车道线，确定车道线上多个设定特征点的像素坐标及其对应的地理位置；根据第一图像和第二图像中地理位置相同的设定特征点，确定重合区域。
RS设备可以安装在路口或者路边。RS设备上安装有相机，可以拍摄路口或路边的照片或视频，例如车辆故障停驶、追尾等。RS设备提供的图像信息能够为各项交通应用和信息服务提供基础支撑。相机如果是采集道路及两边环境的视频，可以从相机采集的视频中选出符合预设条件的目标图片，作为当前帧图像进行处理。在一种实现中，可以由操作人员在图片处理工具中打开目标图片，在目标图片上指定设定特征点，图片处理工具可以输出所指定的设定特征点的像素坐标。可以理解的，本申请还可通过其他方式获得设定特征点的像素坐标，不仅限于此。可以理解的，在另一些实施例中，也可选择其他静态对象上的设定特征点，例如建筑物等。
该步骤可以分别识别第一RS设备的第一相机和第二RS设备的第二相机所拍摄的图像中的车道线，确定车道线上多个设定特征点的像素坐标及其对应的地理位置；根据第一图像和第二图像中地理位置相同的设定特征点，确定重合区域。
其中，可以识别第一RS设备的第一相机所拍摄的第一图像中的车道线，根据第一RS设备的第一图像、第一相机外参和第一RS设备的GPS坐标，确定第一图像中车道线上多个设定特征点的像素坐标及其对应的地理位置；识别第二RS设备的第二相机所拍摄的第二图像中的车道线，根据第二RS设备的第二图像、第二相机外参和第二RS设备的GPS坐标，确定第二图像中车道线上多个设定特征点的像素坐标及其对应的地理位置。
也就是说，本申请实施例利用重合区域识别到的特征点的经纬度应该相等这个特点来进行后续操作。例如，首先先对第一RS设备（简称A设备）得到图像，进行车道线识别，之后得到车道线上的各个特征点的经纬度位置，也可以理解为得到车道线上端点的经纬度位置。之后同理对第二RS设备（简称B设备）进行相同的操作。后续就可以利用其车道线的区别来对RS设备的标定方法进行迭代，从而得到更加准确的RS标定方法。
参见图3，图3中显示了两个相机所拍摄到的重叠区域，图3中两个不同的扇形区域分别为两个相机的视野，其中的每一个点对应图像中的一个像素，通过前面外参的标定，可以计算出相机拍摄图像中的每一个像素的空间位置。图3中的几条线为车道线、斑马线包围框，二者中间有重合的区域，其中包含了几条车道线和斑马线。
步骤S203，根据重合区域中相同设定特征点的像素对应的地理位置相等，确定第一RS设备和第二RS设备的两个相机坐标系的转换关系。
该步骤利用车道线的区别来对RS设备的标定方法进行迭代，从而得到更加准确的RS标定方法。两个RS设备的相机标定好外参之后，它们的视野中有几个相同的特征点。如果标定准确，同一个特征点经过两个相机得到的经纬度位置的数值应该是一样的。但由于相机的经纬度/朝向测量有误差，二者很可能有一些偏差。因此，仍然是通过建立最小二乘优化，使整体误差error最小。
本实施例中，通过最小二乘优化，获得使整体误差最小的第一RS设备和第二RS设备的两个相机坐标系的转换关系：
Figure 153399DEST_PATH_IMAGE001
式1
Figure 542792DEST_PATH_IMAGE002
式2
其中，E为两个设定特征点之间的最大误差，
Figure 92722DEST_PATH_IMAGE003
为为第二RS设备单独标定外参后设定特征点在第二相机坐标系中的坐标，
Figure 974090DEST_PATH_IMAGE004
为第一RS设备单独标定外参后设定特征点在第一相机坐标系中的坐标，
Figure 828520DEST_PATH_IMAGE005
为
Figure 478944DEST_PATH_IMAGE006
经过空间坐标转换后在第二相机坐标系中的坐标；
Figure 934196DEST_PATH_IMAGE007
为第一相机坐标系和第二相机坐标系的旋转转换关系，
Figure 161915DEST_PATH_IMAGE008
为第一相机坐标系和第二相机坐标系的平移转换关系，其中
Figure 196867DEST_PATH_IMAGE010
。
可以理解的，在另一些实施例中，也可通过其他方法求解出旋转变换矩阵，而不仅限于最小二乘优化。
从该实施例可以看出，本申请实施例可以利用多RS设备视野相同重合的部分进行计算，从而可以通过多RS设备相互依靠来提高标定的精度。
与前述应用功能实现方法实施例相对应，本申请还提供了一种多RS设备的标定装置、电子设备及相应的实施例。
图4是本申请实施例示出的一种RS设备的标定装置的结构示意图。
参见图4，多RS设备的标定装置，包括：获取模块41、重合区域确定模块42、标定模块43。
获取模块41，用于获取至少两个RS设备的GPS坐标，其中第一RS设备通过预设方式确定第一相机外参，第二RS设备通过预设方式确定第二相机外参。
重合区域确定模块42，用于确定第一RS设备的第一相机和第二RS设备的第二相机所拍摄的图像中的重合区域。
标定模块43，用于根据重合区域中相同设定特征点的像素对应的地理位置关系，确定第一RS设备和第二RS设备的两个相机坐标系的转换关系。
标定模块43，可以根据根据重合区域中相同设定特征点的像素对应的地理位置相等，确定第一RS设备和第二RS设备的两个相机坐标系的转换关系。
重合区域确定模块42可以包括：地理位置确定子模块421、区域确定子模块422。
地理位置确定子模块421，用于分别识别第一RS设备的第一相机和第二RS设备的第二相机所拍摄的图像中的车道线，确定车道线上多个设定特征点的像素坐标及其对应的地理位置；
区域确定子模块422，用于根据第一图像和第二图像中地理位置相同的设定特征点，确定重合区域。
地理位置确定子模块421包括：第一确定子模块4211、第二确定子模块4212。
第一确定子模块4211，用于识别第一RS设备的第一相机所拍摄的第一图像中的车道线，根据第一RS设备的第一图像、第一相机外参和第一RS设备的GPS坐标，确定第一图像中车道线上多个设定特征点的像素坐标及其对应的地理位置；
第二确定子模块4212，用于识别第二RS设备的第二相机所拍摄的第二图像中的车道线，根据第二RS设备的第二图像、第二相机外参和第二RS设备的GPS坐标，确定第二图像中车道线上多个设定特征点的像素坐标及其对应的地理位置。
本申请提供的多RS设备的标定装置，在包含多个RS设备时，可以确定第一RS设备的第一相机和第二RS设备的第二相机所拍摄的图像中的重合区域；然后根据重合区域中相同设定特征点的像素对应的地理位置关系，确定第一RS设备和第二RS设备的两个相机坐标系的转换关系，可以利用多RS设备视野相同重合的部分进行计算，从而可以通过多RS设备相互依靠来提高标定的精度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图5是本申请实施例示出的电子设备的结构示意图。该电子设备例如可以RS设备。
参见图5，电子设备500包括存储器510和处理器520。
处理器520可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器510可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器520或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器510可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器55可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器510上存储有可执行代码，当可执行代码被处理器520处理时，可以使处理器520执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种多RS设备的标定方法，其特征在于，包括：
获取至少两个RS设备的GPS坐标，其中第一RS设备通过预设方式确定第一相机外参，第二RS设备通过预设方式确定第二相机外参；
确定所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的重合区域；
根据所述重合区域中相同设定特征点的像素对应的地理位置关系，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系。
2.根据权利要求1所述的方法，其特征在于，所述根据所述重合区域中相同设定特征点的像素对应的地理位置关系，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系，包括：
根据所述重合区域中相同设定特征点的像素对应的地理位置相等，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系。
3.根据权利要求1所述的方法，其特征在于，所述确定所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的重合区域，包括：
分别识别所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的车道线，确定所述车道线上多个设定特征点的像素坐标及其对应的地理位置；
根据所述第一图像和所述第二图像中地理位置相同的设定特征点，确定重合区域。
4.根据权利要求3所述的方法，其特征在于，所述分别识别所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的车道线，确定所述车道线上多个设定特征点的像素坐标及其对应的地理位置，包括：
识别所述第一RS设备的第一相机所拍摄的第一图像中的车道线，根据所述第一RS设备的所述第一图像、第一相机外参和所述第一RS设备的GPS坐标，确定第一图像中车道线上多个设定特征点的像素坐标及其对应的地理位置；
识别所述第二RS设备的第二相机所拍摄的第二图像中的车道线，根据所述第二RS设备的所述第二图像、第二相机外参和所述第二RS设备的GPS坐标，确定第二图像中车道线上多个设定特征点的像素坐标及其对应的地理位置。
5.根据权利要求2所述的方法，其特征在于，所述根据所述重合区域中相同设定特征点的像素对应的地理位置相等，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系，包括：
通过最小二乘优化，获得使整体误差最小的第一RS设备和所述第二RS设备的两个相机坐标系的转换关系：
Figure 563820DEST_PATH_IMAGE001
式1
Figure 558321DEST_PATH_IMAGE002
式2
其中，E为两个设定特征点之间的最大误差，
Figure 732076DEST_PATH_IMAGE003
为所述为第二RS设备单独标定外参后设定特征点在第二相机坐标系中的坐标，
Figure 698895DEST_PATH_IMAGE004
为所述第一RS设备单独标定外参后设定特征点在第一相机坐标系中的坐标，
Figure 798438DEST_PATH_IMAGE005
为
Figure 217918DEST_PATH_IMAGE006
经过空间坐标转换后在第二相机坐标系中的坐标；
Figure 366003DEST_PATH_IMAGE007
为第一相机坐标系和第二相机坐标系的旋转转换关系，
Figure 311962DEST_PATH_IMAGE008
为第一相机坐标系和第二相机坐标系的平移转换关系，其中
Figure 723352DEST_PATH_IMAGE009
。
6.一种多RS设备的标定装置，其特征在于，包括：
获取模块，用于获取至少两个RS设备的GPS坐标，其中第一RS设备通过预设方式确定第一相机外参，第二RS设备通过预设方式确定第二相机外参；
重合区域确定模块，用于确定所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的重合区域；
标定模块，用于根据所述重合区域中相同设定特征点的像素对应的地理位置关系，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系。
7.如权利要求6所述的装置，其特征在于：
所述标定模块，根据根据所述重合区域中相同设定特征点的像素对应的地理位置相等，确定所述第一RS设备和所述第二RS设备的两个相机坐标系的转换关系。
8.如权利要求6所述的装置，其特征在于，所述重合区域确定模块包括：
地理位置确定子模块，用于分别识别所述第一RS设备的第一相机和所述第二RS设备的第二相机所拍摄的图像中的车道线，确定所述车道线上多个设定特征点的像素坐标及其对应的地理位置；
区域确定子模块，用于根据所述第一图像和所述第二图像中地理位置相同的设定特征点，确定重合区域。
9.如权利要求8所述的装置，其特征在于，所述地理位置确定子模块包括：
第一确定子模块，用于识别所述第一RS设备的第一相机所拍摄的第一图像中的车道线，根据所述第一RS设备的所述第一图像、第一相机外参和所述第一RS设备的GPS坐标，确定第一图像中车道线上多个设定特征点的像素坐标及其对应的地理位置；
第二确定子模块，用于识别所述第二RS设备的第二相机所拍摄的第二图像中的车道线，根据所述第二RS设备的所述第二图像、第二相机外参和所述第二RS设备的GPS坐标，确定第二图像中车道线上多个设定特征点的像素坐标及其对应的地理位置。
10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的方法。
CN202110689372.XA 2021-06-22 2021-06-22 多rs设备的标定方法、装置及设备 Active CN113284194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110689372.XA CN113284194B (zh) 2021-06-22 2021-06-22 多rs设备的标定方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110689372.XA CN113284194B (zh) 2021-06-22 2021-06-22 多rs设备的标定方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113284194A true CN113284194A (zh) 2021-08-20
CN113284194B CN113284194B (zh) 2024-06-11

Family

ID=77285100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110689372.XA Active CN113284194B (zh) 2021-06-22 2021-06-22 多rs设备的标定方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113284194B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387300A (zh) * 2021-12-17 2022-04-22 武汉中观自动化科技有限公司 一种多跟踪器位置关系实时校正方法及系统
EP4212902A1 (en) * 2022-01-13 2023-07-19 Wistron Corporation Positioning system and calibration method of object location

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015084826A1 (en) * 2013-12-02 2015-06-11 The Board Of Trustees Of The Leland Stanford Junior University Determination of the coordinate transformation between an optical motion tracking system and a magnetic resonance imaging scanner
CN104766292A (zh) * 2014-01-02 2015-07-08 株式会社理光 多台立体相机标定方法和系统
US20160267661A1 (en) * 2015-03-10 2016-09-15 Fujitsu Limited Coordinate-conversion-parameter determination apparatus, coordinate-conversion-parameter determination method, and non-transitory computer readable recording medium having therein program for coordinate-conversion-parameter determination
CN109242915A (zh) * 2018-09-29 2019-01-18 合肥工业大学 基于多面立体靶标的多相机系统标定方法
US20190028632A1 (en) * 2017-07-21 2019-01-24 Panasonic Intellectual Property Management Co., Ltd. Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
CN110148185A (zh) * 2019-05-22 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110689585A (zh) * 2019-10-09 2020-01-14 北京百度网讯科技有限公司 多相机外参的联合标定方法、装置、设备和介质
US20200020234A1 (en) * 2018-07-10 2020-01-16 Cavh Llc Safety technologies for connected automated vehicle highway systems
CN110766760A (zh) * 2019-10-21 2020-02-07 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN111754581A (zh) * 2019-03-28 2020-10-09 阿里巴巴集团控股有限公司 一种摄像头标定方法、路侧感知设备和智慧交通系统
CN111783502A (zh) * 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
CN112102417A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 确定世界坐标的方法和装置及用于车路协同路侧相机的外参标定方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015084826A1 (en) * 2013-12-02 2015-06-11 The Board Of Trustees Of The Leland Stanford Junior University Determination of the coordinate transformation between an optical motion tracking system and a magnetic resonance imaging scanner
CN104766292A (zh) * 2014-01-02 2015-07-08 株式会社理光 多台立体相机标定方法和系统
US20160267661A1 (en) * 2015-03-10 2016-09-15 Fujitsu Limited Coordinate-conversion-parameter determination apparatus, coordinate-conversion-parameter determination method, and non-transitory computer readable recording medium having therein program for coordinate-conversion-parameter determination
US20190028632A1 (en) * 2017-07-21 2019-01-24 Panasonic Intellectual Property Management Co., Ltd. Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
US20200020234A1 (en) * 2018-07-10 2020-01-16 Cavh Llc Safety technologies for connected automated vehicle highway systems
CN109242915A (zh) * 2018-09-29 2019-01-18 合肥工业大学 基于多面立体靶标的多相机系统标定方法
CN111754581A (zh) * 2019-03-28 2020-10-09 阿里巴巴集团控股有限公司 一种摄像头标定方法、路侧感知设备和智慧交通系统
CN111783502A (zh) * 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
CN110148185A (zh) * 2019-05-22 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110689585A (zh) * 2019-10-09 2020-01-14 北京百度网讯科技有限公司 多相机外参的联合标定方法、装置、设备和介质
CN110766760A (zh) * 2019-10-21 2020-02-07 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN112102417A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 确定世界坐标的方法和装置及用于车路协同路侧相机的外参标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武非凡;梁浩翔;宋焕生;贾金明;刘莅辰;: "基于相机标定的跨相机场景拼接方法", 计算机系统应用, no. 01, 15 January 2020 (2020-01-15), pages 180 - 187 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387300A (zh) * 2021-12-17 2022-04-22 武汉中观自动化科技有限公司 一种多跟踪器位置关系实时校正方法及系统
EP4212902A1 (en) * 2022-01-13 2023-07-19 Wistron Corporation Positioning system and calibration method of object location
US11854221B2 (en) 2022-01-13 2023-12-26 Wistron Corporation Positioning system and calibration method of object location

Also Published As

Publication number Publication date
CN113284194B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
US10909395B2 (en) Object detection apparatus
CN111340877B (zh) 一种车辆定位方法及装置
CN110927708A (zh) 智能路侧单元的标定方法、装置及设备
CN113284194B (zh) 多rs设备的标定方法、装置及设备
WO2023035301A1 (en) A camera calibration method
CN113284193B (zh) Rs设备的标定方法、装置及设备
US20230334696A1 (en) Camera orientation estimation
CN114241062A (zh) 自动驾驶的相机外参确定方法、装置和计算机可读存储介质
CN112595335B (zh) 一种智慧交通行车停止线的生成方法及相关装置
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN116052117A (zh) 基于位姿的交通要素匹配方法、设备和计算机存储介质
CN116128974A (zh) 路杆上多相机协同标定自检方法、装置及电子设备、存储介质
CN115249345A (zh) 一种基于倾斜摄影三维实景地图的交通拥堵检测方法
CN114863347A (zh) 地图校验方法、装置及设备
CN114820748A (zh) 基于全景数据的全视角特征的智能取证方法
CN113450415B (zh) 一种成像设备标定方法以及装置
CN113591720A (zh) 车道偏离检测方法、装置及计算机存储介质
CN111292382A (zh) 车载图像采集设备标定的方法和装置、电子设备、介质
CN116304142B (zh) 点云数据获取方法、装置、设备及存储介质
CN115761010A (zh) 相机标定方法以及装置、电子设备、存储介质
CN113658268B (zh) 摄像头标定结果的验证方法、装置及电子设备、存储介质
CN116152355A (zh) 一种路侧相机标定方法与装置、目标检测方法与装置
CN112991434B (zh) 自动驾驶交通标识信息的生成方法及相关装置
CN114332130A (zh) 高精图像的单目相机采集方法及装置
CN114255280A (zh) 数据处理方法及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant