CN117152400B - 交通道路上多路连续视频与三维孪生场景融合方法及系统 - Google Patents

交通道路上多路连续视频与三维孪生场景融合方法及系统 Download PDF

Info

Publication number
CN117152400B
CN117152400B CN202311418033.3A CN202311418033A CN117152400B CN 117152400 B CN117152400 B CN 117152400B CN 202311418033 A CN202311418033 A CN 202311418033A CN 117152400 B CN117152400 B CN 117152400B
Authority
CN
China
Prior art keywords
image
camera
pixel
dimensional model
oblique photography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311418033.3A
Other languages
English (en)
Other versions
CN117152400A (zh
Inventor
李磊
梅送军
官小平
尹银青
王德虎
许文军
喻成翩
陈妍
汪照富
杨佳伟
万静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianqiongrong New Technology Co ltd
Original Assignee
Wuhan Tianqiongrong New Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tianqiongrong New Technology Co ltd filed Critical Wuhan Tianqiongrong New Technology Co ltd
Priority to CN202311418033.3A priority Critical patent/CN117152400B/zh
Publication of CN117152400A publication Critical patent/CN117152400A/zh
Application granted granted Critical
Publication of CN117152400B publication Critical patent/CN117152400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种交通道路上多路连续视频与三维孪生场景融合方法及系统，包括：S1，基于改进的calibrate camera算法对相机标定，获得相机的外方位元素、内方位元素和畸变系数；S2，根据畸变系数对相机获取的图像进行畸变校正，设置Mask图以提取图像的重点关注部分；S3，构建倾斜摄影三维模型到像素坐标系的映射关系，获取当前视频流图像中各像素点的RGB值，根据映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中；S4，将多路视频流图像根据其对应的映射关系投影到倾斜摄影三维模型并进行融合，对于图像重叠区域，仅保留分辨率较高的图像。本发明提升多路连续视频融合的数字交通孪生场景在实时、连续、动态性表达方面的能力。

Description

交通道路上多路连续视频与三维孪生场景融合方法及系统
技术领域
本发明涉及三维GIS（Geographic Information System或 Geo－Informationsystem，地理信息系统）技术与交通管理领域，更具体地，涉及一种交通道路上多路连续视频与三维孪生场景融合方法、系统、电子设备及存储介质。
背景技术
近年来，随着各项物联网工程的逐步推进，如何充分利用海量道路监控数据已经成为一个热点问题。传统道路监控方式是基于一个大屏幕显示多个监控画面的形式来进行工作的，由于缺少空间位置等信息，存在如下弊端：每一个镜头只能从镜头所在的视点观看视频图像；每一个监控摄像机所拍摄到的视频图像和周围的环境是割裂的，每个摄像机和摄像机之间的图像也是割裂的，对于视频画面之外的环境一无所知，极大地降低了道路交通智慧管理的精准定位能力和应急响应效率。为解决目前的道路交通监控平台视频覆盖不全、关联性弱、无空间感、分镜头盯防等问题，故提出利用三维视频融合技术将道路交通实时监控画面投到三维模型上，并将相邻的画面进行拼接，实现监控视频与三维场景有机融合，更好的对交通全局大场景进行监控，提升监控视频信息获取效率，实现高效的掌控道路安全态势。
现阶段，视频融合技术还存在很多未解决的行业痛点问题，比如视频拉伸变形、场景与画面贴合度低、场景无法承载多路视频、视频融合配置复杂等。其中，视频拉伸变形是由于摄像机布局问题和姿态问题，导致采集到的图像与模型不匹配，造成视频纹理的扭曲和畸变，使画面失真；场景与画面贴合度低是因为目前大部分三维视频融合是将视频以广告牌的形式加载到场景中，忽略了视频的空间信息，无法达到实际应用的目的。此外当场景模型过于复杂，且细节过多时，对模型进行二维纹理映射不满足纹理深度的信息，导致场景与画面贴合度低；场景无法承载多路视频是因为当在三维场景中加载大量视频和海量模型时，由于视频数据量较大，且需要实时更新，场景渲染速度下降，无法满足实时性和交互性；当前我们在市面上看到的多为单路视频融合，一次性融合的视频数量很少；当前的三维视频融合实现配置起来比较复杂，技术人员不能可视化进行畸变校正、场景裁切等操作，维护效率低成本高。
因此，有必要研究一种能够有效校正视频畸变、提升视频融合效果的三维场景视频融合方法。
发明内容
本发明针对现有技术中存在的技术问题，提供一种交通道路上多路连续视频与三维孪生场景融合方法、系统、电子设备及存储介质，通过基于同名点匹配的相机内、外方元素计算以及图像与模型空间相互转换与畸变矫正算法，有效解决了实时摄像头视频与倾斜摄影三维模型无缝融合过程中，融合度低、参数调整麻烦，参数调整对人员专业性要求太高以及相机硬件条件带来的畸变等问题，从而提升数字交通孪生场景在实时、连续、动态性表达方面的能力。
根据本发明的第一方面，提供了一种交通道路上多路连续视频与三维孪生场景融合方法，包括：
S1，基于改进的calibrate camera算法对相机进行标定，以获得相机的外方位元素、内方位元素和畸变系数；
S2，根据所述畸变系数对相机获取的图像进行畸变校正，设置Mask图以提取图像的重点关注部分；
S3，根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，获取当前视频流图像中各像素点的RGB值，根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中；
S4，将多路视频流图像根据其对应的映射关系投影到倾斜摄影三维模型并进行融合。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，步骤S1包括：
获取图像中静态目标的像素坐标，获取静态目标的同名点对应到倾斜摄影三维模型中的经纬度坐标；
将同名点的像素坐标和经纬度坐标作为改进的calibrate camera算法的输入，利用相机初始位置信息和初始内方位元素以及地面控制点信息，估算出相机的姿态元素（ω,φ,κ）；
根据同名点的经纬度坐标以及像素坐标，结合估算出的相机姿态元素（ω,φ,κ），采用带权观测值的最小二乘方法，迭代解算出外方位元素（x0,y0,z0,ω,φ,κ）、内方位元素（f, cx, cy）、畸变系数k1~k4的全局最优解；
其中，x0、y0、z0代表摄影中心在地面坐标系中的坐标,ω、φ、κ描述摄影光束空间姿态的三个角元素，分别为旁向倾角ω、航向倾角φ、像片旋角κ；f表示摄影中心到像片的主距，cx、cy表示像主点在图像坐标系中的横纵坐标值。
可选的，步骤S2中，根据所述畸变系数对相机获取的图像进行畸变校正，包括：
获取图像中各像素点的入射角θ，将图像各像素点的入射角θ分别输入Kannala-Brandt模型，通过下式逐像素计算图像中畸变校正后的入射角：
，
其中，入射角θ为当前像素点的投影光线与光束主轴的夹角，k1~k4为畸变系数。
可选的，步骤S2中，设置Mask图以提取图像的重点关注部分，包括：
截取任意一帧历史视频画面图片，将截取的图片导入图片处理工具中以选定无效区域范围，图片的未选定区域默认为重点关注部分；
用涂色工具将无效区域涂上预设的无效颜色，以得到Mask图，记录无效颜色的RGB值。
可选的，步骤S3中，根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，包括：
S301，给定相机坐标系下任一点Pc=(x,y,z)；
S302，依据相机外方位元素（x0,y0,z0,ω,φ,κ）计算出倾斜摄影三维模型的视图矩阵MV；
S303，依据图像长宽(width,height)、相机焦距F算出相机视场角fov以及相机长宽比aspectRatio：
；
；
S304，利用图像长宽(width,height)、视场角fov以及相机长宽比aspectRatio计算出相机的投影矩阵Proj；指定归一化矩阵N为：
；
S305，计算得到点Pc的归一化坐标为：
；
S306，对归一化坐标点Pn进行畸变矫正，得到矫正后坐标点Pn’(Pn’.x , Pn’.y)：
，
；
S307，计算得到矫正后坐标点Pn’对应的像素坐标Ps(Ps.x , Ps.y)：
，
。
可选的，步骤S3中，获取当前视频流图像中各像素点的RGB值，根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中，包括：
S308，将所述Mask图施加到当前视频流的各帧图像中，并获取图像中各像素点的RGB值；
S309，将图像中各像素点的RGB值分别与Mask图中无效颜色的RGB值相比较，以判断各像素点是否位于无效区域，从而筛选出图像中的重点关注部分，对重点关注部分进行亮度和/或饱和度调整：
S310，根据图像中像素坐标与倾斜摄影三维模型之间的映射关系，逐像素将重点关注部分的各像素点RGB值填充到倾斜摄影三维模型中。
可选的，步骤S4包括：
分别计算各路视频流图像的像素坐标与倾斜摄影三维模型之间的映射关系，根据所述映射关系将多路视频流图像作为纹理映射到所述倾斜摄影三维模型的对应空间位置；
对于多路视频流图像之间的重叠区域，比较重叠区域中不同图像的分辨率，保留分辨率较高的图像，裁剪去除分辨率较低的图像。
根据本发明的第二方面，提供一种交通道路上多路连续视频与三维孪生场景融合系统，包括：
标定模块，用于基于改进的calibrate camera算法对相机进行标定，以获得相机的外方位元素、内方位元素和畸变系数；
预处理模块，用于根据所述畸变系数对相机获取的图像进行畸变校正，还用于设置Mask图以提取图像的重点关注部分；
投影及填充模块，用于根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，并获取当前视频流图像中各像素点的RGB值，以及根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中；
融合模块，用于将多路视频流图像根据其对应的映射关系投影到倾斜摄影三维模型并进行融合。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述交通道路上多路连续视频与三维孪生场景融合方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述交通道路上多路连续视频与三维孪生场景融合方法的步骤。
本发明提供的一种交通道路上多路连续视频与三维孪生场景融合方法、系统、电子设备及存储介质，其通过改进的相机标定算法快速获取相机的外参、内参和畸变系数，对相机拍摄的视频流图像实时进行畸变校正，并通过Mask图对图像过滤以选取视频流图像的重点关注部分，通过构建三维模型与图像像素坐标之间的映射关系，将交通场景下多路视频图像的重点关注部分RGB值逐像素填充到三维模型并进行融合，视频融合将实时交通流视频与三维孪生场景同步展现，结合交通智能监管系统，既能有效地监管闯红灯、逆行等交通违章行为，减少由此引发的事故，又能通过交通诱导、交通预测、公共车辆调度等手段，促进交通秩序的良性循环，大大提高人们对于道路场景内整体事物、态势的动态掌控，从而提升视频分析及人工智能在交通领域的应用价值。本发明将相机拍摄的实时视频流与倾斜摄影三维模型无缝融合，可实现多路视频融合，融合度高、参数调整简单，对操作人员专业性要求不高且能实时自动校正相机硬件条件带来的畸变问题，提升了数字交通孪生场景在实时、连续、动态性表达方面的能力。
附图说明
图1为本发明提供的一种交通道路上多路连续视频与三维孪生场景融合方法流程图；
图2为本发明实施例中对相机进行标定的流程示意图；
图3为本发明提供的一种交通道路上多路连续视频与三维孪生场景融合系统组成框图；
图4为本发明提供的一种可能的电子设备的硬件结构示意图；
图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种交通道路上多路连续视频与三维孪生场景融合方法流程图，如图1所示，方法包括：
S1，基于改进的calibrate camera算法对相机进行标定，以获得相机的外方位元素、内方位元素和畸变系数；
S2，根据所述畸变系数对相机获取的图像进行畸变校正，设置Mask图以提取图像的重点关注部分；
S3，根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，获取当前视频流图像中各像素点的RGB值，根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中；
S4，将多路视频流图像根据其对应的映射关系投影到倾斜摄影三维模型并进行融合，对于图像重叠区域，仅保留分辨率较高的图像。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种交通道路上多路连续视频与三维孪生场景融合方法，尤其适用于交通领域，针对例如十字路口这种具有多路监控视频的复杂场景。通过改进的相机标定算法快速获取相机的外参、内参和畸变系数，对相机拍摄的视频流图像实时进行畸变校正，并通过Mask图对图像过滤以选取视频流图像的重点关注部分，通过构建三维模型与图像像素坐标之间的映射关系，将交通场景下多路视频图像的重点关注部分RGB值逐像素填充到三维模型并进行融合，视频融合将实时交通流视频与三维孪生场景同步展现，结合交通智能监管系统，既能有效地监管闯红灯、逆行等交通违章行为，减少由此引发的事故，又能通过交通诱导、交通预测、公共车辆调度等手段，促进交通秩序的良性循环，大大提高人们对于道路场景内整体事物、态势的动态掌控，从而提升视频分析及人工智能在交通领域的应用价值。
本发明将相机拍摄的实时视频流与倾斜摄影三维模型无缝融合，可实现多路视频融合，融合度高、参数调整简单，对操作人员专业性要求不高且能实时自动校正相机硬件条件带来的畸变问题，提升了数字交通孪生场景在实时、连续、动态性表达方面的能力。
图2展示了某一实施例中相机标定过程的的流程图，如图2所示，步骤S1包括：
S101，获取图像中静态目标的像素坐标，获取静态目标的同名点对应到倾斜摄影三维模型中的经纬度坐标；
具体做法为，采集相机拍摄的图像上的静态目标，例如房屋角、树木、马路指引线或者井盖等静态目标，记录并提取选定的静态目标在图像中的像素坐标，然后在倾斜摄影三维模型中找到对应的静态目标，记录并提取这些静态目标在倾斜摄影三维场景中的经纬度坐标；也即，提取同名点分别对应到图像中的像素坐标以及对应到倾斜摄影三维模型中的经纬度坐标；
S102，将同名点的像素坐标和经纬度坐标作为改进的calibrate camera算法的输入，利用相机初始位置信息和初始内方位元素以及地面控制点信息，估算出相机的姿态元素（ω,φ,κ）；
根据同名点的经纬度坐标以及像素坐标，结合估算出的相机姿态元素（ω,φ,κ），采用带权观测值的最小二乘方法，迭代解算出外方位元素（x0,y0,z0,ω,φ,κ）、内方位元素（f, cx, cy）、畸变系数k1~k4的全局最优解；
其中，x0、y0、z0代表摄影中心在地面坐标系中的坐标,ω、φ、κ描述摄影光束空间姿态的三个角元素（包括旁向倾角ω、航向倾角φ、像片旋角κ）；f表示摄影中心到像片的垂距（主距），cx、cy表示像主点在图像坐标系中的横纵坐标值。
可以理解的是，本步骤用改进的calibrate camera算法来标定相机参数，输入采集到的同名点的像素坐标以及经纬度坐标，自动计算出相机外方位元素、内方位元素和畸变系数，可对相机进行更加准确的标定，提升了后续的投影精度。
在一种可能的实施例方式中，步骤S2中，根据所述畸变系数对相机获取的图像进行畸变校正，包括：
根据相机的固定参数获取图像中各像素点的入射角θ，将图像各像素点的入射角θ分别输入Kannala-Brandt模型，通过下式逐像素计算图像中畸变校正后的入射角：
，
其中，入射角θ为当前像素点的投影光线与光束主轴的夹角，k1~k4为畸变系数。
可以理解的是，图像中各像素点的入射角θ由相机的固有特性决定，可通过相机的固定参数获取。图像中每个像素点的入射角θ大小还与该像素点在图像中的位置有关。例如，越靠近图像中心（即靠近投影光束主轴）的像素点，其入射角θ越小。
对相机拍摄的每帧图像自动进行畸变校正，可以理解为对融合前的视频流进行预处理。本实施例利用Kannala-Brandt模型对相机拍摄的图像做畸变矫正处理，同针孔模型一样，鱼眼模型也有畸变。观察各种投影方式，发现他们都是一个关于上述入射角θ的奇函数，因此鱼眼镜头的畸变也是对入射角θ的畸变，因此KB（Kannala-Brandt）模型用只包含上述奇次项的多项式来描述畸变过程。
在一种可能的实施例方式中，步骤S2中，设置Mask图以提取图像的重点关注部分，包括：
截取任意一帧历史视频画面图片，将截取的图片导入图片处理工具（例如PhotoShop或其它任意图片处理工具）中，通过套索等工具以选定无效区域范围，图片的未选定区域默认为重点关注部分；
用涂色工具（例如油漆桶）将无效区域涂上预设的无效颜色（例如红色），以得到Mask图，记录好无效颜色的RGB值以便于后续对视频流的图像进行裁剪。
可以理解的是，设置Mask图也可被认为是对融合前的视频流图像进行预处理的步骤之一。通过设置Mask图，可对视频画面进行裁剪。
有些摄像头由于拍摄范围比较大，在边缘部分容易出现画面覆盖面广、分辨率低、扭曲等问题，导致边缘部分的图像精确度不高，因此，选定的无效区域通常位于图像的边缘位置。可通过为每个摄像头定义有效范围的Mask图来裁剪掉非重点关注部分，后续在进行视频融合时仅对保留的重点关注部分图像进行操作，保障视频与倾斜摄影模型的整体融合度，提升融合后三维孪生场景的展览真实性。
在一种可能的实施例方式中，步骤S3中，根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，包括：
S301，给定相机坐标系下任一点Pc=(x,y,z)；
S302，依据相机外方位元素（x0,y0,z0,ω,φ,κ）计算出倾斜摄影三维模型的视图矩阵MV；
通过相机外方位元素（外参）计算倾斜摄影三维模型的视图矩阵MV的方法为现有技术，此处不再赘述；
S303，依据图像长宽(width,height)、相机焦距F算出相机视场角fov以及相机长宽比aspectRatio：
；
；
S304，利用图像长宽(width,height)、视场角fov以及相机长宽比aspectRatio计算出相机的投影矩阵Proj；指定归一化矩阵N为：
；
本步骤中，投影矩阵Proj的计算方法为本领域公知常识，此处不再赘述；
S305，计算得到点Pc的归一化坐标为：
；
S306，对归一化坐标点Pn进行畸变矫正，得到矫正后坐标点Pn’(Pn’.x , Pn’.y)：
，
；
S307，计算得到矫正后坐标点Pn’对应的像素坐标Ps(Ps.x , Ps.y)：
，
。
可以理解的是，通过步骤S301~S307，计算得到了倾斜摄影三维模型到图像的像素坐标系的上述映射关系式，通过映射关系式，可将倾斜摄影三维模型中的坐标点对应到图像的像素点上，以精确获取各个像素点的RGB值，从而实现对倾斜摄影三维模型的填充。且在进行倾斜摄影三维模型到图像的像素坐标系转换的过程中，通过算法自动对图像进行逐像素的畸变校正，以提升图像的精度。
在一种可能的实施例方式中，步骤S3中，获取当前视频流图像中各像素点的RGB值，根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中，包括：
S308，将所述Mask图施加到当前视频流的各帧图像中，并获取图像中各像素点的RGB值；
S309，将图像中各像素点的RGB值分别与Mask图中无效颜色的RGB值相比较，以判断各像素点是否位于无效区域，从而筛选出图像中的重点关注部分，通过设置图片处理工具中的软件参数对重点关注部分进行亮度和/或饱和度调整：
S310，根据图像中像素坐标与倾斜摄影三维模型之间的映射关系，逐像素将重点关注部分的各像素点RGB值填充到倾斜摄影三维模型中。
可以理解的是，步骤S308~S309中通过Mask图对视频流的图像逐帧过滤，以裁减掉视频流各帧图像中精度不高的所述无效区域，步骤S310则采用裁剪后剩下的重点关注部分的各像素点RGB值对倾斜摄影三维模型进行填充。
步骤S3中通过映射关系将倾斜摄影三维模型中的坐标点反算到图像的像素坐标系中以寻找精确的像素点，然后通过裁剪后的图像对倾斜摄影三维模型进行逐像素纹理填充，实现了当前单路视频流在三维孪生模型上的实时展示。
在一种可能的实施例方式中，步骤S4包括：
分别计算各路视频流图像的像素坐标与倾斜摄影三维模型之间的映射关系，根据所述映射关系将多路视频流图像作为纹理映射到所述倾斜摄影三维模型的对应空间位置；
对于多路视频流图像之间的重叠区域，比较重叠区域中相同时间戳的不同图像的分辨率，保留重叠区域中分辨率较高的图像，裁剪去除重叠区域中分辨率较低的图像，从而将多路视频流图像融合拼接为整体。
可以理解的是，本实施例实现了将多路不同视角的视频流融合到同一个三维孪生场景中进行展示。具体的，根据监控摄像头（相机）的摄像参数，分别构建多路视频内容与三维孪生场景的映射关系，将多个动态视频流画面作为纹理映射至三维孪生场景模型对应空间位置中，从而形成多路实景视频融合的数字孪生场景。由于各路视频的视场具有交叉区域，因此不同视频流的图像具有重叠区域。对于重叠区域，保留单位英寸内所包含的像素点数多的图像，即分辨率高的图像画面，对其余画面进行裁剪操作。
图3为本发明实施例提供的一种交通道路上多路连续视频与三维孪生场景融合系统结构图，如图3所示，一种交通道路上多路连续视频与三维孪生场景融合系统，包括标定模块、预处理模块、投影及填充模块和融合模块，其中：
标定模块，用于基于改进的calibrate camera算法对相机进行标定，以获得相机的外方位元素、内方位元素和畸变系数；
预处理模块，用于根据所述畸变系数对相机获取的图像进行畸变校正，还用于设置Mask图以提取图像的重点关注部分；
投影及填充模块，用于根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，并获取当前视频流图像中各像素点的RGB值，以及根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中；
融合模块，用于将多路视频流图像根据其对应的映射关系投影到倾斜摄影三维模型并进行融合，对于图像重叠区域，仅保留分辨率较高的图像。
可以理解的是，本发明提供的一种交通道路上多路连续视频与三维孪生场景融合系统与前述各实施例提供的交通道路上多路连续视频与三维孪生场景融合方法相对应，交通道路上多路连续视频与三维孪生场景融合系统的相关技术特征可参考交通道路上多路连续视频与三维孪生场景融合方法的相关技术特征，在此不再赘述。
请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提供了一种电子设备400，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现以下步骤：
S1，基于改进的calibrate camera算法对相机进行标定，以获得相机的外方位元素、内方位元素和畸变系数；
S2，根据所述畸变系数对相机获取的图像进行畸变校正，设置Mask图以提取图像的重点关注部分；
S3，根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，获取当前视频流图像中各像素点的RGB值，根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中；
S4，将多路视频流图像根据其对应的映射关系投影到倾斜摄影三维模型并进行融合，对于图像重叠区域，仅保留分辨率较高的图像。
请参阅图5，图5为本发明提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：
S1，基于改进的calibrate camera算法对相机进行标定，以获得相机的外方位元素、内方位元素和畸变系数；
S2，根据所述畸变系数对相机获取的图像进行畸变校正，设置Mask图以提取图像的重点关注部分；
S3，根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，获取当前视频流图像中各像素点的RGB值，根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中；
S4，将多路视频流图像根据其对应的映射关系投影到倾斜摄影三维模型并进行融合，对于图像重叠区域，仅保留分辨率较高的图像。
本发明实施例提供的一种交通道路上多路连续视频与三维孪生场景融合方法、系统及存储介质，相比于传统的方案，具有以下优点：
（1）大范围立体展示
通过将多路实时交通视频流与三维场景进行融合，针对重点道路等条状场景可实现不间断连续监控，针对十字交叉路口、高速收费站等片状场景可实现大范围连片监控。
（2）适用范围广
适用于不同类型的摄像头，包括枪机、球机以及鱼眼相机；不同的摄像头厂商，包括海康、大华等；不同的倾斜摄影提供商，包括CC、大疆等都可达到像素级的视频融合效果。
（3）正确率高
对于不同的摄像头，通过改进的一系列复杂算法将摄像头的外方元素、内方元素以及畸变系数计算出来，然后采用GPU（图形处理器）逐像素投影方式来计算每个像素点的颜色，确保每个像素都是用同一套算法计算出来颜色，准确率高，在相机主要拍摄区域，该算法可保证像素误差在5以内。
（4）效率高
所有计算都是利用GPU高效的并行计算，既保证了计算的准确性，也提高了计算效率，同时融合多路视频，三维场景浏览帧率无明显影像，保证三维场景浏览倾斜摄影数据的流畅性。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (8)

1.一种交通道路上多路连续视频与三维孪生场景融合方法，其特征在于，包括：
S1，基于改进的calibrate camera算法对相机进行标定，以获得相机的外方位元素、内方位元素和畸变系数；具体包括：
获取图像中静态目标的像素坐标，获取静态目标的同名点对应到倾斜摄影三维模型中的经纬度坐标；
将同名点的像素坐标和经纬度坐标作为改进的calibrate camera算法的输入，利用相机初始位置信息和初始内方位元素以及地面控制点信息，估算出相机的姿态元素（ω,φ,κ）；
根据同名点的经纬度坐标以及像素坐标，结合估算出的相机姿态元素（ω,φ,κ），采用带权观测值的最小二乘方法，迭代解算出外方位元素（x0,y0,z0,ω,φ,κ）、内方位元素（f,cx, cy）、畸变系数k1~k4的全局最优解；
其中，x0、y0、z0代表摄影中心在地面坐标系中的坐标,ω、φ、κ描述摄影光束空间姿态的三个角元素，分别为旁向倾角ω、航向倾角φ和像片旋角κ；f代表表示摄影中心到像片的主距，cx、cy表示像主点在图像坐标系中的横纵坐标值；
S2，根据所述畸变系数对相机获取的图像进行畸变校正，设置Mask图以提取图像的重点关注部分；
S3，根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，获取当前视频流图像中各像素点的RGB值，根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中；其中，所述根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，具体包括：
S301，给定相机坐标系下任一点Pc=(x,y,z)；
S302，依据相机外方位元素（x0,y0,z0,ω,φ,κ）计算出倾斜摄影三维模型的视图矩阵MV；
S303，依据图像长宽(width,height)、相机焦距F算出相机视场角fov以及相机长宽比aspectRatio：
；
；
S304，利用图像长宽(width,height)、视场角fov以及相机长宽比aspectRatio计算出相机的投影矩阵Proj；指定归一化矩阵N为：
；
S305，计算得到点Pc的归一化坐标为：
；
S306，对归一化坐标点Pn进行畸变矫正，得到矫正后坐标点Pn’(Pn’.x , Pn’.y)：
，
；
S307，计算得到矫正后坐标点Pn’对应的像素坐标Ps(Ps.x , Ps.y)：
，
；
S4，将多路视频流图像根据其对应的映射关系投影到倾斜摄影三维模型并进行融合。
2.根据权利要求1所述的一种交通道路上多路连续视频与三维孪生场景融合方法，其特征在于，步骤S2中，根据所述畸变系数对相机获取的图像进行畸变校正，包括：
获取图像中各像素点的入射角θ，将图像各像素点的入射角θ分别输入Kannala-Brandt模型，通过下式逐像素计算图像中畸变校正后的入射角：
，
其中，入射角θ为当前像素点的投影光线与光束主轴的夹角，k1~k4为畸变系数。
3.根据权利要求1所述的一种交通道路上多路连续视频与三维孪生场景融合方法，其特征在于，步骤S2中，设置Mask图以提取图像的重点关注部分，包括：
截取任意一帧历史视频画面图片，将截取的图片导入图片处理工具中以选定无效区域范围，图片的未选定区域默认为重点关注部分；
用涂色工具将无效区域涂上预设的无效颜色，以得到Mask图，记录无效颜色的RGB值。
4.根据权利要求1或3所述的一种交通道路上多路连续视频与三维孪生场景融合方法，其特征在于，步骤S3中，获取当前视频流图像中各像素点的RGB值，根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中，包括：
S308，将所述Mask图施加到当前视频流的各帧图像中，并获取图像中各像素点的RGB值；
S309，将图像中各像素点的RGB值分别与Mask图中无效颜色的RGB值相比较，以判断各像素点是否位于无效区域，从而筛选出图像中的重点关注部分，对重点关注部分进行亮度和/或饱和度调整：
S310，根据图像中像素坐标与倾斜摄影三维模型之间的映射关系，逐像素将重点关注部分的各像素点RGB值填充到倾斜摄影三维模型中。
5.根据权利要求1所述的一种交通道路上多路连续视频与三维孪生场景融合方法，其特征在于，步骤S4包括：
分别计算各路视频流图像的像素坐标与倾斜摄影三维模型之间的映射关系，根据所述映射关系将多路视频流图像作为纹理映射到所述倾斜摄影三维模型的对应空间位置；
对于多路视频流图像之间的重叠区域，比较重叠区域中不同图像的分辨率，保留分辨率较高的图像，裁剪去除分辨率较低的图像。
6.一种交通道路上多路连续视频与三维孪生场景融合系统，其特征在于，包括：
标定模块，用于基于改进的calibrate camera算法对相机进行标定，以获得相机的外方位元素、内方位元素和畸变系数；具体包括：
获取图像中静态目标的像素坐标，获取静态目标的同名点对应到倾斜摄影三维模型中的经纬度坐标；
将同名点的像素坐标和经纬度坐标作为改进的calibrate camera算法的输入，利用相机初始位置信息和初始内方位元素以及地面控制点信息，估算出相机的姿态元素（ω,φ,κ）；
根据同名点的经纬度坐标以及像素坐标，结合估算出的相机姿态元素（ω,φ,κ），采用带权观测值的最小二乘方法，迭代解算出外方位元素（x0,y0,z0,ω,φ,κ）、内方位元素（f,cx, cy）、畸变系数k1~k4的全局最优解；
其中，x0、y0、z0代表摄影中心在地面坐标系中的坐标,ω、φ、κ描述摄影光束空间姿态的三个角元素，分别为旁向倾角ω、航向倾角φ和像片旋角κ；f代表表示摄影中心到像片的主距，cx、cy表示像主点在图像坐标系中的横纵坐标值；
预处理模块，用于根据所述畸变系数对相机获取的图像进行畸变校正，还用于设置Mask图以提取图像的重点关注部分；
投影及填充模块，用于根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，并获取当前视频流图像中各像素点的RGB值，以及根据所述映射关系将图像中重点关注部分的RGB值逐像素填充到倾斜摄影三维模型中；其中，所述根据相机的外方位元素和内方位元素，构建倾斜摄影三维模型到像素坐标系的映射关系，具体包括：
S301，给定相机坐标系下任一点Pc=(x,y,z)；
S302，依据相机外方位元素（x0,y0,z0,ω,φ,κ）计算出倾斜摄影三维模型的视图矩阵MV；
S303，依据图像长宽(width,height)、相机焦距F算出相机视场角fov以及相机长宽比aspectRatio：
；
；
S304，利用图像长宽(width,height)、视场角fov以及相机长宽比aspectRatio计算出相机的投影矩阵Proj；指定归一化矩阵N为：
；
S305，计算得到点Pc的归一化坐标为：
；
S306，对归一化坐标点Pn进行畸变矫正，得到矫正后坐标点Pn’(Pn’.x , Pn’.y)：
，
；
S307，计算得到矫正后坐标点Pn’对应的像素坐标Ps(Ps.x , Ps.y)：
，
；
融合模块，用于将多路视频流图像根据其对应的映射关系投影到倾斜摄影三维模型并进行融合。
7.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-5任一项所述的交通道路上多路连续视频与三维孪生场景融合方法的步骤。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-5任一项所述的交通道路上多路连续视频与三维孪生场景融合方法的步骤。
CN202311418033.3A 2023-10-30 2023-10-30 交通道路上多路连续视频与三维孪生场景融合方法及系统 Active CN117152400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311418033.3A CN117152400B (zh) 2023-10-30 2023-10-30 交通道路上多路连续视频与三维孪生场景融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311418033.3A CN117152400B (zh) 2023-10-30 2023-10-30 交通道路上多路连续视频与三维孪生场景融合方法及系统

Publications (2)

Publication Number Publication Date
CN117152400A CN117152400A (zh) 2023-12-01
CN117152400B true CN117152400B (zh) 2024-03-19

Family

ID=88904669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311418033.3A Active CN117152400B (zh) 2023-10-30 2023-10-30 交通道路上多路连续视频与三维孪生场景融合方法及系统

Country Status (1)

Country Link
CN (1) CN117152400B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765880A (zh) * 2011-09-12 2014-04-30 英特尔公司 局部化分割的图像的连网捕捉和三维显示
CN108668108A (zh) * 2017-03-31 2018-10-16 杭州海康威视数字技术股份有限公司 一种视频监控的方法、装置及电子设备
CN110009561A (zh) * 2019-04-10 2019-07-12 南京财经大学 一种监控视频目标映射到三维地理场景模型的方法及系统
CN110517356A (zh) * 2019-08-21 2019-11-29 佳都新太科技股份有限公司 实现多路视频融合的三维增强现实的系统、方法及设备
WO2019239460A1 (ja) * 2018-06-11 2019-12-19 三菱電機株式会社 カメラ較正装置
CN110992484A (zh) * 2019-11-20 2020-04-10 中电科新型智慧城市研究院有限公司 一种交通动态视频在真景三维平台中的显示方法
CN111294580A (zh) * 2020-03-12 2020-06-16 佳都新太科技股份有限公司 基于gpu的摄像头视频投影方法、装置、设备及存储介质
CN111836012A (zh) * 2020-06-28 2020-10-27 航天图景（北京）科技有限公司 基于三维场景的视频融合与视频联动方法及电子设备
CN112437276A (zh) * 2020-11-20 2021-03-02 埃洛克航空科技（北京）有限公司 一种基于WebGL的三维视频融合方法及系统
CN112584060A (zh) * 2020-12-15 2021-03-30 北京京航计算通讯研究所 一种视频融合系统
CN114332385A (zh) * 2021-11-23 2022-04-12 南京国图信息产业有限公司 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法
CN115641379A (zh) * 2022-09-30 2023-01-24 中国人民解放军93114部队 一种三维视频融合标定及实时渲染的方法及装置
CN115937440A (zh) * 2022-09-29 2023-04-07 浙江静远电力实业有限公司 一种无人机实时视频与三维场景融合的方法
CN116883610A (zh) * 2023-09-07 2023-10-13 园测信息科技股份有限公司 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4187483A1 (en) * 2021-11-26 2023-05-31 Samsung Electronics Co., Ltd. Apparatus and method with image processing

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765880A (zh) * 2011-09-12 2014-04-30 英特尔公司 局部化分割的图像的连网捕捉和三维显示
CN108668108A (zh) * 2017-03-31 2018-10-16 杭州海康威视数字技术股份有限公司 一种视频监控的方法、装置及电子设备
WO2019239460A1 (ja) * 2018-06-11 2019-12-19 三菱電機株式会社 カメラ較正装置
CN110009561A (zh) * 2019-04-10 2019-07-12 南京财经大学 一种监控视频目标映射到三维地理场景模型的方法及系统
CN110517356A (zh) * 2019-08-21 2019-11-29 佳都新太科技股份有限公司 实现多路视频融合的三维增强现实的系统、方法及设备
CN110992484A (zh) * 2019-11-20 2020-04-10 中电科新型智慧城市研究院有限公司 一种交通动态视频在真景三维平台中的显示方法
CN111294580A (zh) * 2020-03-12 2020-06-16 佳都新太科技股份有限公司 基于gpu的摄像头视频投影方法、装置、设备及存储介质
CN111836012A (zh) * 2020-06-28 2020-10-27 航天图景（北京）科技有限公司 基于三维场景的视频融合与视频联动方法及电子设备
CN112437276A (zh) * 2020-11-20 2021-03-02 埃洛克航空科技（北京）有限公司 一种基于WebGL的三维视频融合方法及系统
CN112584060A (zh) * 2020-12-15 2021-03-30 北京京航计算通讯研究所 一种视频融合系统
CN114332385A (zh) * 2021-11-23 2022-04-12 南京国图信息产业有限公司 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法
CN115937440A (zh) * 2022-09-29 2023-04-07 浙江静远电力实业有限公司 一种无人机实时视频与三维场景融合的方法
CN115641379A (zh) * 2022-09-30 2023-01-24 中国人民解放军93114部队 一种三维视频融合标定及实时渲染的方法及装置
CN116883610A (zh) * 2023-09-07 2023-10-13 园测信息科技股份有限公司 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于WebGL的实景三维场景与视频监控图像融合技术研究;马瞳宇;崔静;储鼎;;测绘与空间地理信息(第S1期);全文 *
大范围倾斜多视影像连接点自动提取的区域网平差法;闫利;费亮;叶志云;夏旺;;测绘学报(第03期);全文 *

Also Published As

Publication number Publication date
CN117152400A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
US10205896B2 (en) Automatic lens flare detection and correction for light-field images
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN102148965B (zh) 多目标跟踪特写拍摄视频监控系统
CN110009561B (zh) 一种监控视频目标映射到三维地理场景模型的方法及系统
CN109872401B (zh) 一种无人机视频增强现实实现方法
US20110211040A1 (en) System and method for creating interactive panoramic walk-through applications
KR20170135855A (ko) 패닝 샷들의 자동 생성
US20230078763A1 (en) Image generation device, image generation method, recording medium generation method, learning model generation device, learning model generation method, learning model, data processing device, data processing method, inference method, electronic device, generation method, program and non-temporary computer readable medium
JP2010503078A (ja) モザイク斜め画像、並びにモザイク斜め画像の作成及び使用方法
CN106447602A (zh) 一种图像拼接方法及装置
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
US11741571B2 (en) Voronoi cropping of images for post field generation
WO2019037038A1 (zh) 图像处理方法、装置及服务器
US11972507B2 (en) Orthophoto map generation method based on panoramic map
CN109883433B (zh) 基于360度全景视图的结构化环境中车辆定位方法
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN109120901B (zh) 一种摄像机间画面切换的方法
US20180322671A1 (en) Method and apparatus for visualizing a ball trajectory
CN110278366B (zh) 一种全景图像虚化方法、终端及计算机可读存储介质
CN103544696A (zh) 一种用于fpga实现的缝合线实时查找方法
CN115375779A (zh) 相机ar实景标注的方法及系统
GB2537886A (en) An image acquisition technique
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
WO2022126430A1 (zh) 辅助对焦方法、装置及系统
CN112529006B (zh) 全景图片的检测方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant