CN112905831A - 物体在虚拟场景中的坐标获取方法、系统及电子设备 - Google Patents

物体在虚拟场景中的坐标获取方法、系统及电子设备 Download PDF

Info

Publication number
CN112905831A
CN112905831A CN202110363039.XA CN202110363039A CN112905831A CN 112905831 A CN112905831 A CN 112905831A CN 202110363039 A CN202110363039 A CN 202110363039A CN 112905831 A CN112905831 A CN 112905831A
Authority
CN
China
Prior art keywords
coordinates
grid
virtual scene
image
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110363039.XA
Other languages
English (en)
Other versions
CN112905831B (zh
Inventor
杨旭波
谢镇涛
李霖
安康
窦瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai International Automobile City Group Co ltd
Shanghai Jiaotong University
Original Assignee
Shanghai International Automobile City Group Co ltd
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai International Automobile City Group Co ltd, Shanghai Jiaotong University filed Critical Shanghai International Automobile City Group Co ltd
Priority to CN202110363039.XA priority Critical patent/CN112905831B/zh
Publication of CN112905831A publication Critical patent/CN112905831A/zh
Application granted granted Critical
Publication of CN112905831B publication Critical patent/CN112905831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

本发明提供一种物体在虚拟场景中的坐标获取方法、系统及电子设备，所述物体在虚拟场景中的坐标获取方法包括：根据图像视域进行网格化分，并根据网格化分情况计算网格属性；基于网格划分的图像，对网格顶点进行采样；识别物体像素坐标，并基于用双线性插值算法计算对应的物体的三维空间坐标；将计算得到的物体三维空间坐标存入数据库。本发明对于网格规模的选择是动态的，且精度取决于网格规模的选择，可以直接进行二维像素坐标与三维空间坐标的映射，避免了可能造成的虚拟场景和真实场景中动态物体与静态物体的相对位置不一致的问题。

Description

物体在虚拟场景中的坐标获取方法、系统及电子设备
技术领域
本发明涉及虚拟城市构建领域，特别设计一种物体在虚拟场景中的坐标获取方法、系统及电子设备。
背景技术
随着计算机技术的进步，数字孪生概念与技术经历被提出，被具化，被实现，进入当下高速发展的阶段。数字孪生最早由密歇根大学的Michael Grieves提出，在2012年由NASA定义：数字孪生是指充分利用物理模型、传感器、运行历史等数据，集成多学科、多尺度的仿真过程，它作为虚拟空间中对实体产品的镜像，反映了相对应物理实体产品的全生命周期过程。数字孪生的意义在于将现实世界数字化，以达到储存、分析、仿真、数据积累、数据挖掘等目的。基于图像的数字孪生技术链可概括为：静态场景建模，图像采集，图像分析，动态物体位置映射，虚拟场景智能分析等。
动态物体位置映射算法的研究从未间断。该算法的内容是给定静态虚拟场景，采集的图像和图像中动态物体的矩形包围框，要求计算该动态物体在静态虚拟场景中的对应三维坐标。
现有技术路线大体包括：
1、基于相机内外参及相关参数的算法。给定目标的像素坐标，基于已知的相机内外参和相关参数，计算相机与目标连线方程，即将目标位置限定于该直线上，再结合其他已知约束，例如目标物体深度，或目标物位于地面等，即可联立方程，求解目标的三维坐标。
2、基于深度学习的算法。数据集的输入为图像和相机的内参，标签为目标在相机坐标系中的坐标，再结合已知的相机外参，可计算目标的三维坐标。
3、基于采样和拟合的算法。代表算法包括直接线性变换(DLT),PnP(Perspective-n-Point)等。DLT是待定像素坐标与空间坐标的变换矩阵中的11个独立参数，通过采样和最小二乘法进行参数优化。PnP是基于物点和像点间的几何约束，结合已知的相机内参，以较少的采样点计算像素坐标与空间坐标间的转换矩阵。
显然的，上述的现有技术方案基本都依赖于精确的相机内参和外参数据(DLT除外)。对于相机的内参标定，已有较为成熟的技术方案，主要是基于棋盘格的张正友标定法，具有较高的精确度。但在路侧探头等环境下，由于环境限制，棋盘格离相机较远，很难进行识别和定位，且难以在视域中充分采样，则无法执行内参标定流程；对于相机的外参标定，一般要求多相机系统间有足够的公共视域，基于特征点匹配的算法能确定多相机系统的外参。但在路侧探头等环境下，相机间间隔较远且没有公共视域，几乎不可能经由标定得到相机间的外参。此外，上述现有方案虽然在实验室环境下误差可控，但在室外等真实环境下易受地形、天气等不可控因素影响，稳定性较差。
而对于DLT算法，虽然可以绕过相机内参，通过较多采样点，计算像素坐标与空间坐标的变换矩阵，但在本算法的应用场景下，虚拟环境的建模不可避免的存在系统性误差，使得虚拟场景与真实场景存在不一致。图1和图2分别为真实场景与虚拟场景的俯视示意图，实心圆点为采样点，空心圆点为根据DLT算法计算而得的对应点。明显的，在高精确采样下，仍然会出现算法最优点在视觉下位置不正确的问题。将上述问题定义为视觉正确点与算法最优点不一致。
综上所述，一方面，在路侧探头等极端环境下，很难得到相机的内参和外参；另一方面，DLT算法存在虚实不一致问题。即无法基于现有的动态物体位置映射算法，由二维图像像素坐标计算虚拟场景中对应的三维坐标。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种物体在虚拟场景中的坐标获取方法、系统及电子设备，用于解决现有技术中由二维图像像素坐标计算虚拟场景中对应的三维坐标时存在的很大程度上虚实不一致的技术问题。
为实现上述目的及其他相关目的，本发明的实施例提供一种物体在虚拟场景中的坐标获取方法，包括：根据图像视域进行网格化分，并根据网格化分情况计算网格属性；基于网格划分的图像，对网格顶点进行采样；识别物体像素坐标，并基于用双线性插值算法计算对应的物体的三维空间坐标；将计算得到的物体三维空间坐标存入数据库。
于本发明的一实施例中，所述基于网格划分的图像，对网格顶点进行采样包括：根据图像信息，标记图像的有效网格；根据网格形状，规划采样顶点并采样；基于双线性插值，计算子网格单元顶点的坐标映射。
于本发明的一实施例中，所述物体在虚拟场景中的坐标获取方法还包括：基于所述物体的三维空间坐标在虚拟场景中生成和渲染目标物体，实现虚实孪生。
于本发明的一实施例中，所述数据库包括时间戳、车辆三维坐标、车辆类型、车辆颜色中的多种组合。
为实现上述目的及其他相关目的，本发明的实施例还提供一种物体在虚拟场景中的坐标获取系统，包括：网格适配模块，选取和标注采样点模块，插值映射模块和持久化存储模块；所述网格适配模块根据图像视域进行网格化分，并根据网格化分情况计算网格属性；所述选取和标注采样点模块基于网格划分的图像，对网格顶点进行采样；所述插值映射模块识别物体像素坐标，并基于用双线性插值算法计算对应的物体的三维空间坐标；所述持久化存储模块将计算得到的物体三维空间坐标存入数据库。
于本发明的一实施例中，所述选取和标注采样点模块包括有效网格单元标记单元，网格顶点采样单元和网格填充单元；所述有效网格单元标记单元根据图像信息，标记图像的有效网格；所述网格顶点采样单元根据网格形状，规划采样顶点并采样；所述网格填充单元基于双线性插值，计算子网格单元顶点的坐标映射。
于本发明的一实施例中，所述物体在虚拟场景中的坐标获取系统还包括显示模块；所述显示模块基于所述物体的三维空间坐标在虚拟场景中生成和渲染目标物体，实现虚实孪生。
于本发明的一实施例中，所述的显示模块挂载于显示设备；所述显示设备包括LED大屏或投影仪。
于本发明的一实施例中，所述数据库包括时间戳、车辆三维坐标、车辆类型、车辆颜色中的多种组合。
本发明的实施例还提供一种电子设备，包括存储器，用于存储计算机程序；处理器，与所述存储器相连，用于运行所述计算机程序以实现如上所述的物体在虚拟场景中的坐标获取方法。
如上所述，本发明的物体在虚拟场景中的坐标获取方法、系统及电子设备具有以下有益效果：
本发明避免了对相机内参和外参的高度依赖，减少了环境因素对坐标转换的限制，具有高可用性和高稳定性，对于新增的探头，只需通过网格式配、选取和标注采样点步骤，新增该探头的一组像素坐标与三维空间坐标的映射，即可完成系统的扩展，具有高可扩展性。更近一步的，本发明对于网格规模的选择是动态的，且精度取决于网格规模的选择，可以直接进行二维像素坐标与三维空间坐标的映射，避免了可能造成的虚拟场景和真实场景中动态物体与静态物体的相对位置不一致的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1和图2分别显示为本申请一实施例中的物体在虚拟场景中的坐标获取方法中真实场景的俯视示意图和虚拟场景的俯视示意图。
图3显示为本申请一实施例中的物体在虚拟场景中的坐标获取方法的整体流程示意图。
图4显示为本申请一实施例中的物体在虚拟场景中的坐标获取方法的运行原理图。
图5显示为本申请一实施例中的物体在虚拟场景中的坐标获取方法中网格划分示意图。
图6显示为本申请一实施例中的物体在虚拟场景中的坐标获取方法中路侧探头原始图像。
图7显示为本申请一实施例中的物体在虚拟场景中的坐标获取方法中虚拟场景示意图。
图8显示为本申请一实施例中的物体在虚拟场景中的坐标获取方法中标记有效网格示意图。
图9显示为本申请一实施例中的物体在虚拟场景中的坐标获取方法中虚拟场景采样点对应点示意图。
图10显示为本申请一实施例中的物体在虚拟场景中的坐标获取系统的原理框图。
图11显示为本申请一实施例中的物体在虚拟场景中的选取和标注采样点模块的原理框图。
图12显示为本申请一实施例中的物体在虚拟场景中的坐标获取系统的优选原理框图。
图13显示为本申请一实施例中的电子设备的原理框图。
元件标号说明
100 物体在虚拟场景中的坐标获取系统
110 网格适配模块
120 选取和标注采样点模块
121 有效网格单元标记单元
122 网格顶点采样单元
123 网格填充单元
130 插值映射模块
140 持久化存储模块
150 显示模块
10 电子设备
101 处理器
102 存储器
S100～S400 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本实施例的目的在于提供一种物体在虚拟场景中的坐标获取方法、系统及电子设备，用于解决现有技术中由二维图像像素坐标计算虚拟场景中对应的三维坐标时存在的很大程度上虚实不一致的技术问题。
本实施例的物体在虚拟场景中的坐标获取方法、系统及电子设备提供了一种在极端环境下，由二维图像像素坐标计算虚拟场景中对应的三维坐标的算法，且能很大程度上解决虚实不一致问题，该算法旨在当环境不满足相机内外参标定条件时，实现包括但不限于数字孪生技术链中的动态物体位置映射。
以下将详细阐述本发明的物体在虚拟场景中的坐标获取方法、系统及电子设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的物体在虚拟场景中的坐标获取方法、系统及电子设备。
实施例1
如图1所示，本实施例提供一种物体在虚拟场景中的坐标获取方法，所述物体在虚拟场景中的坐标获取方法包括：
步骤S100，根据图像视域进行网格化分，并根据网格化分情况计算网格属性；
步骤S200，基于网格划分的图像，对网格顶点进行采样；
步骤S300，识别物体像素坐标，并基于用双线性插值算法计算对应的物体的三维空间坐标；
步骤S400，将计算得到的物体三维空间坐标存入数据库。
本实施例的物体在虚拟场景中的坐标获取方法适用于但不仅限于车辆的坐标转换计算。
本实施例的物体在虚拟场景中的坐标获取方法通过固定单目相机拍摄的图像中的物体二维像素坐标，和预先构建的静态三维场景，能完成物体二维像素坐标与三维空间坐标间的映射。
本实施例的物体在虚拟场景中的坐标获取方法可以应用在动态三维重建，数字孪生城市构建等场景，实现动态目标的位置映射，对于难以标定固定单目相机的内参和外参的情形尤为适用。
以下对本实施例的物体在虚拟场景中的坐标获取方法中上述步骤S100至步骤S400进行详细说明。
本实施例中的物体在虚拟场景中的坐标获取方法设计了一种在极端环境下，由二维图像像素坐标计算虚拟场景中对应的三维坐标的算法，且能很大程度上解决虚实不一致问题。本实施例中的物体在虚拟场景中的坐标获取方法旨在当环境不满足相机内外参标定条件时，实现包括但不限于数字孪生技术链中的动态物体位置映射。(注：为叙述方便，下述内容以路侧探头为图像采集设备，以汽车为目标物体，但使用场景不限于路侧探头，目标物体不限于汽车。)
图4展示了本实施例中的物体在虚拟场景中的坐标获取方法的流程及前后依赖关系。输入为识别网络输出的车辆像素坐标，输出为车辆三维空间坐标。本实施例中的物体在虚拟场景中的坐标获取方法主要包括网格适配，选取和标注采样点，插值映射，持久化存储。
步骤S100，根据图像视域进行网格化分，并根据网格化分情况计算网格属性。
步骤S100即网格适配。网格适配是根据路侧探头视域进行网格化分，并根据网格化分情况计算网格属性。具体的，网格化分是在图像上划分uSize*vSize大小的均匀矩形网格，网格的规模即uSize和vSize数值的选取应考虑精度的需求。uSize和vSize数值越大，则单个网格包含的像素越少，则单个网格间的误差越小。图5为网格划分示意图。计算网格属性是根据图像分辨率uRes和vRes，以及设定的网格规模uSize和vSize，储存目标探头分辨率和网格规模数值，计算每个网格单元的像素长度uGridLen和像素宽度vGridLen，网格单元的像素长度和像素宽度计算公式如下：
Figure BDA0003006343220000061
Figure BDA0003006343220000062
步骤S200，基于网格划分的图像，对网格顶点进行采样。
于本实施例中，所述基于网格划分的图像，对网格顶点进行采样包括：
1)根据图像信息，标记图像的有效网格；
2)根据网格形状，规划采样顶点并采样；
3)基于双线性插值，计算子网格单元顶点的坐标映射。
所述的选取和标注采样点是给定已进行网格划分的图像，对网格顶点进行采样。具体的，选取和标注采样点流程是：
1)定义有效网格单元为：存在汽车可能经过的路面像素的网格单元。标记出图像中所有有效网格单元。
2)计算1中网格单元的四个顶点的像素坐标(u,v)。
3)在静态虚拟场景中找到2中顶点对应的三维空间坐标(x,y,z)。
4)在配置文件中记下2，3中的坐标映射(x,y)->(x,y,z)。
通过上述步骤可以得到，图像中所有有效网格单元的顶点的像素坐标与三维空间坐标间的映射。特别的，对于网格规模较大的路侧探头，标注所有有效网格单元是十分繁琐的。定义大有效网格单元为：若干个相邻有效网格单元组合成的大矩形网格，其中的有效网格单元称为有效网格单元的子网格单元。对于精度要求较低或像素线性程度较好的局部，可标注组合有效网格单元的四个顶点坐标映射，再应用双线性插值计算其子网格单元顶点的坐标映射。
步骤S300，识别物体像素坐标，并基于用双线性插值算法计算对应的物体的三维空间坐标。
双线性插值是指已知矩形网格四个顶点的值(此场景下，值指三维空间坐标)，计算矩形网格中任意一点的值，计算公式如下：
Figure BDA0003006343220000071
其中，ul、ur分别是矩形网格左侧顶点的像素坐标u轴值、右侧顶点的像素坐标u轴值；vt、vb分别是矩形网格上方顶点的像素坐标v轴值、下方顶点的像素坐标v轴值；Qtl＝(utl，vtl)、Qtr＝(utl，vtl)、Qbl＝(utl，vtl)、Qbr＝(utl，vtl)分别是矩形网格左上顶点的像素坐标、右上顶点的像素坐标、左下顶点的像素坐标、右下顶点的像素坐标；u、v分别是所求点的像素坐标的u轴值和v轴值；f(Q)是像素坐标为Q的像素点对应的三维空间坐标。
所述的插值映射是指给定已识别到的车辆图像像素坐标，用前述双线性插值算法计算对应的三维空间坐标。具体的，给定车辆图像像素坐标(u,v),结合网格单元u轴长度uGridLen和v轴长度vGridLen，先计算该像素所在的单元格的左上顶点索引坐标(vGridIdx，uGridIdx),计算公式如下：
Figure BDA0003006343220000081
Figure BDA0003006343220000082
由计算结果可得像素(u,v)所在的网格单元的四个顶点索引为(vGridIdx，uGridIdx),(vGridIdx，uGridIdx+1),(vGridIdx+1，uGridIdx),(vGridIdx+1，uGridIdx+1)。则四个顶点的像素坐标依次为(ul,vt)、(ur,vt)、(ul,vb)、(ur,vb),坐标分量表达式如下：
ul＝uGridIdx*uGridLen；
ur＝(uGridIdx+1)*uGridLen；
vb＝vGridIdx*vGridLen；
vt＝(vGridIdx+1)*vGridLen。
将数值代入上述所示的双线性插值公式，可计算像素(u,v)对应的三维空间坐标。特别的，对于像素(u,v)所在的网格单元不是有效网格单元的情况，则抛出异常，提示用户在非有效网格单元内检测到车辆。
步骤S400，将计算得到的物体三维空间坐标存入数据库。
于本实施例中，所述数据库包括但不限于时间戳、车辆三维坐标、车辆类型、车辆颜色等。
所述的持久化存储是指将坐标映射计算得到的车辆三维空间坐标存入数据库，以支持包括但不限于事故回放，车辆轨迹追踪等功能。其中，数据库的词条可包括时间戳、车辆三维坐标、车辆类型、车辆颜色等，且具有强扩展性。
于本实施例中，所述物体在虚拟场景中的坐标获取方法还包括：基于所述物体的三维空间坐标在虚拟场景中生成和渲染目标物体，实现虚实孪生。
本实施例中，对于一个给定路侧探头，该探头图像的像素坐标到三维空间坐标的映射方程，可由一组像素坐标与三维空间坐标的映射唯一确定。显然的，本实施例中的物体在虚拟场景中的坐标获取方法避免了对相机内参和外参的高度依赖，减少了环境因素对坐标转换的限制，凸显本算法的高可用性和高稳定性；此对于新增的探头，只需通过网格式配、选取和标注采样点步骤，新增该探头的一组像素坐标与三维空间坐标的映射，即可完成系统的扩展，凸显本实施例中的物体在虚拟场景中的坐标获取方法的高可扩展性。更近一步的，本实施例中的物体在虚拟场景中的坐标获取方法对于网格规模的选择是动态的，且算法精度取决于网格规模的选择，因此，本实施例中的物体在虚拟场景中的坐标获取方法是误差可控的。由于本实施例中的物体在虚拟场景中的坐标获取方法提供的算法是端对端的算法，直接进行二维像素坐标与三维空间坐标的映射，避免了可能造成的虚拟场景和真实场景中动态物体与静态物体的相对位置不一致。
为便于描述，本实施例将以路侧探头采集的图像为例，阐述本实施例中的物体在虚拟场景中的坐标获取方法的具体实施流程和使用细节。应当注意的是，本算法可以简单地迁移应用于其他应用场景下的由二维图像像素坐标计算对应的三维空间坐标。
图6示意的是一路侧探头的原始图像。图7示意的是虚拟场景中对应位置的场景示意。本算法旨在给定原始图像中车辆像素坐标，计算该车辆对应的在虚拟场景中的三维空间坐标。
对于该实例的网格适配步骤，根据图像的分辨率将图像分割为适当规模的网格，使得网格单元大小合适(该实例中以12*8为例)。完成划分后，即唯一确定网格的各属性(uSize,vSize,uRes,vRes，uGridLen,vGridLen)。
对于该实例的选取和标注采样点步骤，首先应划出有效单元格。图8为标记有效网格示意图，粗实线区域即包含该图像中的所有有效网格单元。特别的，对于图8中的双线区域部分，由于距离探头较远，超出了识别算法的有效距离，所以可以选择性地将之排除。接着应确定采样点。图8中实心圆即为确定的采样点。之所以其中部分子网格单元的顶点并未确定为采样点，是因为其线性程度在误差容忍范围内，可以通过大有效网格单元的四个顶点进行双线性插值，计算和填充这些非采样点的顶点。接着应在虚拟场景中找到采样点对应的三维坐标。图9为虚拟场景采样点对应点示意图，其中实心圆即为采样点对应点。最后应读取所有采样点对应点的三维坐标，并记录采样点网格索引和三维坐标的映射，以文件形式储存。需要注意的是，每个文件即代表每个相机的采样数据，亦即根据该文件即可唯一确定该相机的映射规律。
对于该实例的插值映射步骤，由识别算法给定识别到的车辆像素坐标设为(u,v)，先根据前述公式：
Figure BDA0003006343220000091
可计算其所在的有效单元格四个顶点的索引(vIdx,uIdx)依次为(vGridIdx，uGridIdx)、(vGridIdx，uGridIdx+1)、(vGridIdx+1，uGridIdx)、(vGridIdx+1，uGridIdx+1)，根据ul＝uGridIdx*uGridLen；ur＝(uGridIdx+1)*uGridLen；vb＝vGridIdx*vGridLen；vt＝(vGridIdx+1)*vGridLen可计算四个顶点的像素坐标分量为ul、ur、vt、vb。由该相机文件记录的映射数据读出并初始化映射规律，得到Qtl,Qtr，Qbl，Qbr。将数据代入双线性插值公式：
Figure BDA0003006343220000101
计算得到该车辆的二维像素坐标对应的三维空间坐标(x,y,z)。最后将该三维坐标值传递给显示系统，在虚拟场景中构建出车辆模型。应注意的是，在不同应用场景下，显示系统亦不同，本实施例中的物体在虚拟场景中的坐标获取方法的使用不会受限于显示系统。更进一步的，显示系统可搭载于显示设备，包括但不限于LED大屏，投影仪等，以增强显示效果。
对于该实例的持久化存储步骤，由依赖的图像识别步骤给出车辆颜色，车辆类型，由本算法计算得到的三维坐标，时间戳。
实施例2
如图10所示，本实施例提供一种物体在虚拟场景中的坐标获取系统100，所述物体在虚拟场景中的坐标获取系统100包括：网格适配模块110，选取和标注采样点模块120，插值映射模块130和持久化存储模块140。
具体地，所述网格适配模块110根据图像视域进行网格化分，并根据网格化分情况计算网格属性；所述选取和标注采样点模块120基于网格划分的图像，对网格顶点进行采样；
所述插值映射模块130识别物体像素坐标，并基于用双线性插值算法计算对应的物体的三维空间坐标；所述持久化存储模块140将计算得到的物体三维空间坐标存入数据库。
于本实施例中，如图11所示，所述选取和标注采样点模块120包括有效网格单元标记单元121，网格顶点采样单元122和网格填充单元123。
具体地，所述有效网格单元标记单元121根据图像信息，标记图像的有效网格；所述网格顶点采样单元122根据网格形状，规划采样顶点并采样；所述网格填充单元123基于双线性插值，计算子网格单元顶点的坐标映射。
于本实施例中，如图12所示，所述物体在虚拟场景中的坐标获取系统100还包括显示模块150；所述显示模块150基于所述物体的三维空间坐标在虚拟场景中生成和渲染目标物体，实现虚实孪生。
于本实施例中，所述的显示模块150挂载于显示设备；所述显示设备包括LED大屏或投影仪。
于本实施例中，所述数据库包括时间戳、车辆三维坐标、车辆类型、车辆颜色中的多种组合。
本实施例中，物体在虚拟场景中的坐标获取系统100的具体实现的技术特征与前述实施例1中的物体在虚拟场景中的坐标获取方法基本相同，实施例间可以通用的技术内容不作重复赘述。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，部分模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以部分模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
实施例3
如图13所示，本实施例还提供一种电子设备10，所述电子设备10为但不限于智能手机、平板、智能穿戴设备、个人台式电脑、笔记本电脑、服务器以及服务器集群等。
所述电子设备10包括存储器102，用于存储计算机程序；处理器101，用于运行所述计算机程序以实现如实施例1所述的于物体在虚拟场景中的坐标获取方法的步骤。
存储器102通过系统总线与处理器101连接并完成相互间的通信，存储器102用于存储计算机程序，处理器101用于运行计算机程序，以使所述电子设备10执行所述的于物体在虚拟场景中的坐标获取方法。实施例1中已经对所述于物体在虚拟场景中的坐标获取方法进行了说明，在此不再赘述。
另需说明的是，上述提到的系统总线可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问系统与其他设备(例如客户端、读写库和只读库)之间的通信。存储器102可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器101可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
实施例4
本实施例提供一种存储介质，存储有程序指令，所述程序指令被处理器执行时实现实施例1中所述的于物体在虚拟场景中的坐标获取方法的步骤。实施例1已经对所述于物体在虚拟场景中的坐标获取方法进行了说明，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括实施例1中各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明避免了对相机内参和外参的高度依赖，减少了环境因素对坐标转换的限制，具有高可用性和高稳定性，对于新增的探头，只需通过网格式配、选取和标注采样点步骤，新增该探头的一组像素坐标与三维空间坐标的映射，即可完成系统的扩展，具有高可扩展性。更近一步的，本发明对于网格规模的选择是动态的，且精度取决于网格规模的选择，可以直接进行二维像素坐标与三维空间坐标的映射，避免了可能造成的虚拟场景和真实场景中动态物体与静态物体的相对位置不一致的问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种物体在虚拟场景中的坐标获取方法，其特征在于：包括：
根据图像视域进行网格化分，并根据网格化分情况计算网格属性；
基于网格划分的图像，对网格顶点进行采样；
识别物体像素坐标，并基于用双线性插值算法计算对应的物体的三维空间坐标；
将计算得到的物体三维空间坐标存入数据库。
2.根据权利要求1所述的物体在虚拟场景中的坐标获取方法，其特征在于：所述基于网格划分的图像，对网格顶点进行采样包括：
根据图像信息，标记图像的有效网格；
根据网格形状，规划采样顶点并采样；
基于双线性插值，计算子网格单元顶点的坐标映射。
3.根据权利要求1所述的物体在虚拟场景中的坐标获取方法，其特征在于：所述物体在虚拟场景中的坐标获取方法还包括：
基于所述物体的三维空间坐标在虚拟场景中生成和渲染目标物体，实现虚实孪生。
4.根据权利要求1所述的物体在虚拟场景中的坐标获取方法，其特征在于：所述数据库包括时间戳、车辆三维坐标、车辆类型、车辆颜色中的多种组合。
5.一种物体在虚拟场景中的坐标获取系统，其特征在于：包括：网格适配模块，选取和标注采样点模块，插值映射模块和持久化存储模块；
所述网格适配模块根据图像视域进行网格化分，并根据网格化分情况计算网格属性；
所述选取和标注采样点模块基于网格划分的图像，对网格顶点进行采样；
所述插值映射模块识别物体像素坐标，并基于用双线性插值算法计算对应的物体的三维空间坐标；
所述持久化存储模块将计算得到的物体三维空间坐标存入数据库。
6.根据权利要求5所述的物体在虚拟场景中的坐标获取系统，其特征在于：所述选取和标注采样点模块包括有效网格单元标记单元，网格顶点采样单元和网格填充单元；
所述有效网格单元标记单元根据图像信息，标记图像的有效网格；
所述网格顶点采样单元根据网格形状，规划采样顶点并采样；
所述网格填充单元基于双线性插值，计算子网格单元顶点的坐标映射。
7.根据权利要求5所述的物体在虚拟场景中的坐标获取系统，其特征在于：所述物体在虚拟场景中的坐标获取系统还包括显示模块；
所述显示模块基于所述物体的三维空间坐标在虚拟场景中生成和渲染目标物体，实现虚实孪生。
8.根据权利要求7所述的物体在虚拟场景中的坐标获取系统，其特征在于：所述的显示模块挂载于显示设备；所述显示设备包括LED大屏或投影仪。
9.根据权利要求5所述的物体在虚拟场景中的坐标获取系统，其特征在于：所述数据库包括时间戳、车辆三维坐标、车辆类型、车辆颜色中的多种组合。
10.一种电子设备，其特征在于，包括存储器，用于存储计算机程序；处理器，与所述存储器相连，用于运行所述计算机程序以实现如权利要求1至4任一项所述的物体在虚拟场景中的坐标获取方法。
CN202110363039.XA 2021-04-02 2021-04-02 物体在虚拟场景中的坐标获取方法、系统及电子设备 Active CN112905831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110363039.XA CN112905831B (zh) 2021-04-02 2021-04-02 物体在虚拟场景中的坐标获取方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110363039.XA CN112905831B (zh) 2021-04-02 2021-04-02 物体在虚拟场景中的坐标获取方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN112905831A true CN112905831A (zh) 2021-06-04
CN112905831B CN112905831B (zh) 2023-03-24

Family

ID=76110192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110363039.XA Active CN112905831B (zh) 2021-04-02 2021-04-02 物体在虚拟场景中的坐标获取方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN112905831B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114329747A (zh) * 2022-03-08 2022-04-12 盈嘉互联（北京）科技有限公司 一种面向建筑数字孪生的虚实实体坐标映射方法及系统
CN114396944A (zh) * 2022-01-18 2022-04-26 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114494647A (zh) * 2022-01-27 2022-05-13 北京华如科技股份有限公司 一种基于数字高程模型的通视域分析方法及装置
CN115272490A (zh) * 2022-08-12 2022-11-01 上海几何伙伴智能驾驶有限公司 一种路端交通检测设备摄像头标定方法
CN115841557A (zh) * 2023-02-23 2023-03-24 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作环境构建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529536A (zh) * 2016-11-10 2017-03-22 北京昊翔信达科技有限公司 基于空间建模实现运动目标定位的图像分析方法及系统
CN106803286A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 基于多视点图像的虚实遮挡实时处理方法
CN107220925A (zh) * 2017-05-05 2017-09-29 珠海全志科技股份有限公司 一种实时虚拟现实加速方法及装置
CN108830894A (zh) * 2018-06-19 2018-11-16 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN112015275A (zh) * 2020-08-29 2020-12-01 南京翱翔智能制造科技有限公司 基于数字孪生ar交互方法和系统
CN112465912A (zh) * 2020-11-18 2021-03-09 新拓三维技术(深圳)有限公司 一种立体相机标定方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529536A (zh) * 2016-11-10 2017-03-22 北京昊翔信达科技有限公司 基于空间建模实现运动目标定位的图像分析方法及系统
CN106803286A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 基于多视点图像的虚实遮挡实时处理方法
CN107220925A (zh) * 2017-05-05 2017-09-29 珠海全志科技股份有限公司 一种实时虚拟现实加速方法及装置
CN108830894A (zh) * 2018-06-19 2018-11-16 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
WO2019242262A1 (zh) * 2018-06-19 2019-12-26 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN112015275A (zh) * 2020-08-29 2020-12-01 南京翱翔智能制造科技有限公司 基于数字孪生ar交互方法和系统
CN112465912A (zh) * 2020-11-18 2021-03-09 新拓三维技术(深圳)有限公司 一种立体相机标定方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114396944A (zh) * 2022-01-18 2022-04-26 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114396944B (zh) * 2022-01-18 2024-03-22 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114494647A (zh) * 2022-01-27 2022-05-13 北京华如科技股份有限公司 一种基于数字高程模型的通视域分析方法及装置
CN114329747A (zh) * 2022-03-08 2022-04-12 盈嘉互联（北京）科技有限公司 一种面向建筑数字孪生的虚实实体坐标映射方法及系统
CN114329747B (zh) * 2022-03-08 2022-05-10 盈嘉互联（北京）科技有限公司 一种面向建筑数字孪生的虚实实体坐标映射方法及系统
CN115272490A (zh) * 2022-08-12 2022-11-01 上海几何伙伴智能驾驶有限公司 一种路端交通检测设备摄像头标定方法
CN115272490B (zh) * 2022-08-12 2023-08-08 上海几何伙伴智能驾驶有限公司 一种路端交通检测设备摄像头标定方法
CN115841557A (zh) * 2023-02-23 2023-03-24 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作环境构建方法
CN115841557B (zh) * 2023-02-23 2023-05-19 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作环境构建方法

Also Published As

Publication number Publication date
CN112905831B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN112905831B (zh) 物体在虚拟场景中的坐标获取方法、系统及电子设备
JP6918885B2 (ja) 相対的位置姿勢の標定方法、相対的位置姿勢の標定装置、機器及び媒体
EP3506212B1 (en) Method and apparatus for generating raster map
Chen et al. Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge
KR102314228B1 (ko) 지도 구축 방법, 장치, 기기 및 판독가능 저장 매체
US10134152B2 (en) Method and system for determining cells traversed by a measuring or visualization axis
CN109816704A (zh) 物体的三维信息获取方法和装置
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
CN111080682B (zh) 点云数据的配准方法及装置
Windreich et al. Voxel-based surface area estimation: from theory to practice
CN103123263A (zh) 导航电子地图的显示方法及装置
CN108711356B (zh) 矢量地理pdf地图制作中地理目标与符号图形配准方法
CN116721231A (zh) 基于无人机机载定位的可扩展场景三维重建方法及系统
CN110322553B (zh) 激光雷达点云混合现实场景实施放样的方法和系统
CN116994012A (zh) 一种基于生态修复的图斑匹配系统及匹配方法
CN115830073A (zh) 地图要素重建方法、装置、计算机设备和存储介质
CN115345944A (zh) 外参标定参数确定方法、装置、计算机设备和存储介质
CN112669196B (zh) 一种硬件加速引擎中因子图优化数据的方法和设备
CN115187709A (zh) 地理模型处理方法、装置、电子设备及可读存储介质
CN114820965B (zh) 一种全息地图建设用实景三维建模方法
CN117036511B (zh) 多类型传感器的标定方法、装置、计算机设备和存储介质
CN114998380A (zh) 点云数据的分割方法、装置、计算机设备和存储介质
Bennett et al. Introduction to DigTrace
CN117033862A (zh) 地理坐标转换为ar坐标的转换方法、系统及存储介质
CN116772821A (zh) 地图生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant