CN108431871B - 在三维模型上显示对象的方法 - Google Patents

Abstract

本发明涉及信息技术领域。本发明涉及：获得图像，所述图像使用视频相机形成，并且形成模型，包括识别图像的帧上的兴趣点并确定其坐标、移动视频相机以及接收关于移动参数的数据；运算用于扇区的可预测的空间坐标，在该扇区中可找到实际的空间对象，该实际的空间对象使用对应的兴趣点显示在图像上；运算用于每个指示扇区的帧的区域的坐标，对应的兴趣点期望在该扇区中找到，在帧的指示区域的边界内执行对兴趣点的搜索，并且如果兴趣点被找到，将对应的扇区的空间坐标存储到存储器中；在空间模型上将兴趣点的图像关联到与其对应的扇区，识别空间模型上的平面和/或曲面，从存储器提取附加对象的模型，并且形成用于控制该模型的信号；运算用于附加对象的模型和空间模型的参数之间的交互的结果，并且形成用于附加对象的图像的信号并将该信号输出到显示器，该附加对象叠加在由视频相机形成的图像上。

Description

在三维模型上显示对象的方法

技术领域

本发明涉及信息技术领域、计算机技术，即图像数据的处理和图像数据的生成、计算机图形的图像处理，并且可以用于使3D模型在图像中可视化。

背景技术

最接近的技术原型是绘图冰川地貌的方法，该方法包含以下步骤：取得由卫星获得的正在探索的扇区的图像；取得正在探索的扇区的海拔的数字模型；识别数字高程模型上的平原和山脊；识别由卫星获得的图像中的沼泽和森林；并根据被识别的平原、山脊、沼泽和森林形成具有冰川特征的冰川地图。（参见RU 2519667C2，cl.GO C11/06，CЈО6Т17/05）。

已知的方法可以被实施以将把地形的制图信息考虑在内的自然过程建模的结果可视化。

该已知的方法的缺点在于其有限的应用：仅建模过程的结果映射在数字高程地图为其存在的地形上。已知的方法不能用于在可移动的对象的表面上显示模拟结果或不与地形相关联的对象的表面上显示模拟结果。已知的解决方案不允许在构建的模型中实施附加对象并确定附加对象与模型交互的结果。

这个缺点限制了已知方法的应用范围。

发明内容

本发明的技术效果在于，通过提供形成3D模型而不涉及正在探测的扇区上的附加数据的可能性而扩大应用范围；通过提供形成可移动的对象的3D模型的可能性或对象的内部空间的3D模型的可能性而扩大应用范围；以及提供获得3D模型与各种对象的模型交互的结果的可能性而扩大应用范围。

该结果是通过在3D模型上显示对象的方法实现的，该方法包含：获得由视频相机形成的图像并进一步形成模型；识别图像帧上的兴趣点并确定兴趣点在帧上的坐标；移动视频相机；获得关于视频相机运动的参数的数据，该数据在扇区的广阔坐标的计算值的基础上获得，在扇区中有可能找到真实空间的细节，该细节通过对应的兴趣点显示在图像上，作为视频相机的移动的结果，并确定帧上区域的坐标，用于扇区中的每个，在该扇区中期望检测到对应的兴趣点，对象在帧上的指定区域内搜索兴趣点，并且其位置被存储在相关扇区的3D坐标的存储器中；通过实施列出的动作来指定这些扇区的3D坐标，该动作为随后将来自3D模型上的对应扇区的广阔坐标的兴趣点的图像与从视频相机的运动轨迹中的不同点获得的图像帧进行比较；在3D模型上检测平面和曲面；从存储器中提取附加对象的模型，并在3D模型中形成用于其控制的信号；计算附加对象模型与3D模型的参数交互的结果；形成并输出用于显示的图像信号，该图像信号是叠加在由视频相机实时形成的图像上的附加对象。

另外：

兴趣点是具有存储在成套连续图像帧上的特征配置的相邻的图像点的组；

帧上兴趣点的搜索区域对应于3D扇区，该3D扇区将视频相机的光学系统的参数考虑在内来确定3D扇区的角坐标；

基于3D模型的尺寸选择附加对象的图像大小和/或用户手动地选择附加对象的图像大小；

实施附加对象的图像与3D模型的参数交互的缩放和/或旋转和/或3D转换和/或情景转换；

获得包含由帧分析工具生成的视频相机的移动的方向和幅度的估算的信号；

以信号的形式接收关于视频相机的移动的参数的数据，该信号包含视频相机的移动的方向和幅度的估算，该估算在陀螺传感器或速度和方向传感器或加速度传感器的输出生成；

通过采用用户对图像形成设备的控制的影响形成附加对象模型的控制信号；

在任意方向上和/或依据预先确定的推荐移动视频相机；

仅存储扇区的3D坐标作为扇区的精细3D坐标，该精细3D坐标与先前帧上计算出的视频图像一致；

检测预先确定的对象的图像并将它们的3D特性整合到3D模型中；

将模型的片段存储在存储器中，包括那些对应于空间的那些真实细节，那些真实细节已经停止落入视频相机的视野；

基于扇区的3D坐标的分析，在3D模型上展示平面和/或曲面；

基于横跨多个兴趣点的帧片段的图像参数的分析，在3D模型上展示平面和/或曲面。

附图说明

借助于附图来说明在3D模型上显示对象的方式，其中，图1示意性地示出在汽车相关的游戏中的方法的一个实施例，图2示意性地示出作为视频图像的三个帧的图像处理结果的3D坐标精细化的过程；图3示出具有监视器图像的一部分显示器，其具有被定义为兴趣点的对比点的特征配置；图4示出用于实施在3D模型上显示对象的方法的图像形成设备的功能图；图5示出处理器控制程序的框图。

以下的要点在附图中展示。

1-图像处理设备的显示器；2-图像处理设备相机的轨迹；3-显示的场景的平面；4-显示的场景的圆柱表面；5-描绘在显示器上的图像处理设备上附加对象的图像；6、7、8分别是从视频相机的运动路径的不同点获得的第一帧、第二帧和第三帧；9-从处理第一帧的结果计算出的场景细节的方向；10-扇区的角尺寸，在该扇区中对应于兴趣点的场景细节将期望从对应于第二帧的轨迹的点观察到；11-第三帧的轨迹的点的扇区角尺寸，其中对应于兴趣点的场景细节将期望被观察到；12 -由三个帧运算出的场景细节的精细3D坐标的阴影区域；13 -形成图像的场景细节，定义为兴趣点；14 -识别具有特征配置的兴趣点的示例；15-用于识别兴趣点的计算装置；18-用于计算帧上的兴趣点的坐标的装置；19-用于计算扇区的3D坐标的装置，在扇区中对应的部分期望在下一帧中观察到；20-用于计算帧上的兴趣点的期望坐标的区域的装置；21-形成3D模型的装置；22-用于提取附加对象的模型的装置；23-用于计算附加对象模型与3D模型交互的结果的控制体装置；24-用于模型交互的装置；25用于生成最终图像信号的装置；26-用于描绘图像的显示器；27-图像形成的开始选项，以及提取附加对象的模型；28-兴趣点的展示；29-计算兴趣点的坐标；30-计算扇区的3D坐标和期望被检测到的兴趣点的帧的区域的坐标；31-检查3D模型的存在；32-计算3D模型与附加对象的模型交互的结果；33、34-分别为形成最终图像信号和将其描绘在显示器上；35-检查程序完成命令的存在；36-完成程序；37-检查在帧的期望区域中找到兴趣点的条件；38指定扇区的3D坐标；39-移动到下一帧。

具体实施方式

在3D模型上显示对象的方法包括：获得由视频相机形成的图像，在相机的视野中的空间，而不是在图像帧上展示的兴趣点，即相邻的图像点的组，该相邻的图像点的组具有持续存在在接下来一个接一个的成套图像帧上的特征配置，并确定它们在帧上的坐标。在任意方向上和/或依据预先确定的推荐移动视频相机，获得关于视频相机的运动参数的数据，在其基础上预测扇区的3D坐标，在该扇区中有可能通过对应的兴趣点找到显示在图像中的真实空间的细节，作为视频相机的这种移动的结果。在这种情况下，关于视频相机的运动参数的数据是以信号的形式获得的，该信号包含由视频逐帧分析装置形成或生成在陀螺传感器或速度和方向传感器或加速度传感器的输出的视频相机的运动的方向和量的估算。

对于每个扇区，帧上的区域的坐标也被确定，在每个扇区中对应的兴趣点期望被检测到，并且在帧上的指定区域内搜索兴趣点，并且当其被检测到时，对应的扇区的3D坐标保存在存储器中。在这种情况下，将光学系统（即相机镜头）的参数考虑在内，帧上的搜索兴趣点的帧的区域对应于其角坐标被确定的3D扇区。

进一步，当处理下一帧时，这些扇区的3D 坐标通过对从视频相机的运动路径的点获得的图像的后续帧上执行上述动作并且以及将兴趣点的图像与对应扇区的3D坐标相比较而被精细化，以建立3D模型。在这种情况下，作为扇区的指定3D坐标，只有扇区的那些3D坐标与在视频图像的先前帧上计算出的坐标一致。

另外，平面和/或曲面从扇区的3D坐标和/或帧片段的图像参数的分析中在3D模型上被识别，该帧片段包含对应于这些扇区的兴趣点的集合。

模型的分段被保存在存储器中，包括对应于视频相机的视野中不再出现的空间的实际细节的那些分段。

预先确定的对象的图像也被检测和鉴别，所述图像存储在存储器中并且它们的3D特性被构建到3D模型中。

在某些阶段，从存储器中提取附加对象的模型，并且在3D模型内用于其控制的信号由用户对图像处理设备的控制的影响形成。如果此时3D模型已经被构建，则计算附加对象模型与3D模型的参数交互的结果。附加对象的图像的大小基于3D模型的尺寸和/或用户手动地选择。当与3D模型的参数交互时，也执行附加对象的图像的缩放和/或旋转和/或3D转换和/或情景转换。

附加对象的图像信号形成并描绘在显示器上，该附加对象叠加在由视频相机形成的图像上。

将对象与附加对象映射在3D模型上的方法如下实施。

利用用户移动的视频相机图像信号形成捕获场景空间中的视野，其特征在于存在各种细节以及存在各个对象。在图像帧上识别其分段，这些分段具有特征配置并出现在成套视频图像的连续帧上，并被指代为兴趣点。兴趣点的特征在于存在亮度或颜色的对比度过渡，并且可以对应于例如在视频相机的视野中捕获的对象的光亮边缘或金属表面的弯曲等。

确定图像帧上的兴趣点的坐标。

视频相机在场景内或场景周围移动，是为了形成3D模型。空间或场景的细节的3D坐标被计算并显示为图像帧上的兴趣点并且从相机移动的不同点观察到。在这种情况下，来自视频相机的光学系统的数据被用来确定到对应的场景细节的方向和预测由视频相机的移动引起的在这个方向上的变化。

为了生成这个预测，获得关于已经执行的位移的参数的数据，该数据可以通过应用变化图像的时间推移分析的适当的算法来获得，该变化图像来自陀螺传感器的输出或速度和方向传感器。

预测方向形成为具有在视频相机的位置的顶点的圆锥形状的扇区，在该预测方向上对应的空间细节期望被检测到。

初始帧使用关于相机镜头的焦距的数据和关于帧上对应的兴趣点的坐标的数据仅确定对应于兴趣点的场景的细节的方面方向。接收已经从视频相机的运动路径的其他点安排的后续帧，到对应的场景细节的方向可能变化，使得帧上的对应的兴趣点的坐标也改变。同时，预测的准确性越低，对应的场景细节的期望方面方向的扇区应该越宽。

期望的方面方向的扇区对应于帧上的搜索空间，在该搜索空间内搜索对应的兴趣点。搜索空间是期望方向的对应扇区的投影，其幅度也取决于预测的准确性。另外，兴趣点的搜索空间的大小也通过视频相机的移动速度确定。

当在对应的搜索空间中找到兴趣点时，对应的兴趣点的3D坐标在存储器中存储为3D模型的元素。在相关联的搜索空间中兴趣点的多个检测过程中，扇区的3D坐标被精细化，因为观察发生在空间的不同点。扇区的3D坐标的精细化意味着其减小，这允许无限地增加3D模型的准确性。

在这种情况下，3D坐标的精细化只涉及空间的固定部分。

为了生成这个预测，获得在已经执行的位移的参数上的数据，该数据可以通过应用变化图像的时间推移分析的适当的算法来获得，该变化图像来自陀螺传感器的输出或速度和方向传感器。

预测方向形成为具有在视频相机位置的顶点的圆锥的扇区，在该预测方向上对应的空间细节期望被检测到。

初始帧使用关于相机镜头的焦距的数据和关于帧上对应的兴趣点的坐标的数据仅确定对应于兴趣点的场景的细节的观察方向。接收已经从视频相机的运动路径的其他点安排的后续帧，到对应的场景细节的方向可能变化，使得帧上的对应的兴趣点的坐标也改变。同时，预测的准确性越低，对应的场景细节的期望观察方向的扇区应该越宽。

期望的观察方向的扇区对应于帧上的搜索空间，在该搜索空间内搜索对应的兴趣点。搜索空间是期望方向的对应扇区的投影，其幅度也取决于预测的准确性。另外，兴趣点的搜索空间的大小也通过视频相机的移动速度确定。

当在对应的搜索空间中检测到兴趣点时，对应的兴趣点的3D坐标在存储器中保存为3D模型的元素。在相关联的搜索空间中兴趣点的多个检测过程中，扇区的3D坐标被精细化，因为观察发生在空间的不同点。扇区的3D坐标的精细化意味着其减小，这允许无限地增加3D模型的准确性。

在这种情况下，3D坐标的精细化只涉及空间的固定部分。

对应于兴趣点的扇区的成套3D坐标确定3D模型。

接下来，将帧上对应的片段的图像参数考虑在内来分析扇区的3D坐标。如果某些扇区的坐标形成平坦度并且对应的图像区域的颜色和亮度以变化的恒定性或平滑度为特征，则可以得出结论，存在具有平面的模型分段，该平面由对应的扇区限制，该对应的扇区通过对应的兴趣点显示在帧上。

计算出的扇区坐标可以非线性地变化并表征，例如圆柱表面，然后对应的图像区的亮度也将在一个方向上指数地变化。对于这种分段，得出关于圆柱表面存在的结论。

因此，可以识别具有各种表面特性的3D模型的分段。

此外，检测预先确定的对象的图像，例如铅笔、马克杯等。并且将它们的3D特性结合到3D模型中。

在建立模型之后，根据用户的命令通过控制图像处理设备而形成对应的信号，选择附加对象的模型并将其放置在3D模型内。图像处理设备的控制是机械按钮和触摸式按钮、按键、操纵杆、语音输入等等。

附加对象可以是虚拟生物，也可以是各种虚拟对象和设备，如汽车。

附加对象的模型的以某些特性为特征，并且可以被编程以执行某些动作或由用户控制，该用户在控制的帮助下生成适当命令的信号，该信号用于通过附加对象模型制定它们。

图像处理设备的运算装置执行附加对象模型的特性与3D模型参数交互的结果的计算。这样的结果是各种位移、附加对象的模型的图像转换或3D模型的部分的转换、声音信号的转换等。

生成最终图像的信号，该信号包括由视频相机实时形成的视频图像和叠加在其上的对象的图像。

用于实施在3D模型上显示对象的方法的图像处理设备包括：视频相机，该视频相机的输出连接到用于定位兴趣点的装置对应的输入，该用于定位兴趣点的装置的输出连接到用于计算兴趣点坐标的装置的输入，该用于计算兴趣点坐标的装置的输出通过3D坐标计算装置连接到用于计算帧上的兴趣点期望的坐标的装置的输入，该用于计算帧上的兴趣点期望的坐标的装置的输出连接到兴趣点检测装置对应的输入，用于计算兴趣点坐标的装置的输出连接到用于形成3D模型的装置的输入；电子存储器，该电子存储器的输出通过提取附加对象模型的装置连接到用于计算模型的交互结果的装置的输入，该用于计算模型的交互结果的装置的输出通过图像信号生成装置连接到显示器的输入。移动的参数连接到用于计算扇区的3D坐标的装置的输入，并且控制装置连接到用于计算模型的交互结果的装置的输入。

图像处理设备操作如下。

来自视频相机的输出的数字图像的信号来到定位兴趣点的装置，其中后续被视为兴趣点的图像分段被识别。用于计算兴趣点的坐标的装置提供被识别的兴趣点的坐标的计算，基于该计算并且将相机镜头的参数和相机移动数据考虑在内来计算扇区的3D坐标，通过计算扇区的3D坐标，其中期望出现之前被认为是兴趣点的空间的细节的存在。基于扇区的3D坐标，计算帧中兴趣点检测的期望的空间的坐标。

基于检测到的兴趣点的坐标并且将相机镜头的参数考虑在内，处理3D模型的装置建立对应于3D场景的3D模型，该3D场景落入视频相机的视野中。

用于处理3D模型的装置还提供用于检测平面或曲面的扇区的3D坐标的分析。

通过控制，从存储器中提取附加对象的模型，将其放置在创建的3D模型中并进行控制。

用于计算模型交互的结果的装置提供了附加对象的模型在由3D模型的特性确定的条件下可能的位移、转换和其他动作。交互的结果可以是位置的变化、附加对象的图像、声音变换等。

在图像处理装置中，生成最终图像信号，其中附加对象的图像叠加在被提供用于在显示器上可视化的3D场景的实时图像上。

图像处理设备的运算装置15基于实施程序的处理器而制成，其框图在图5中示出。该结构方案实现了针对一个兴趣点的方法的实施。为了实施针对成套兴趣点的方法，将针对其余的兴趣点添加相同的操作。

程序通过从相机输出中获取视频图像和形成命令以从存储器中提取模型的附加对象以及在图像中放置附加对象的图像而开始。

然后接着识别兴趣点和确定其坐标以及计算扇区的3D坐标和下一帧上兴趣点的等待空间的坐标的操作。

进一步，如果3D模型尚未创建，则继续处理下一帧，如果已经构建了3D模型，则计算模型的交互结果。

最终图像信号在显示器上形成并描绘。

程序完成命令的存在被验证，如果接收到命令，则终止程序，如果没有这样的命令，则继续在帧上的兴趣点的期望位置的先前确定的区域中发现兴趣点。

如果在帧的期望区域中未检测到兴趣点，则转到下一帧。如果在帧的期望区域中检测到兴趣点，则精细化对应于兴趣点的3D场景的细节所在的扇区的3D坐标。

可以在3D模型上显示对象的方式既可以针对地形地点得到实现也可以针对移动的对象得到实现，包括与场所的内部空间相关的对象，并且不需要使用特殊的表面捕捉器。

在3D模型上显示对象的方式允许形成3D模型并模拟各种对象与构建的3D模型的特性的交互。

示例 1。

在实施可被描述为虚拟宠物的游戏的过程中，用户引导移动电话的视频相机，该视频相机作为图像处理设备用于形成他想要放置虚拟宠物的场景。场景包含各种对象和表面。

由相机捕捉的3D场景的图像信号在移动电话的运算工具上被接收，图像信号在运算工具处被处理。在处理图像信号的过程中，有可能识别具有特征配置的在图像上的点：兴趣点。兴趣点是附近图像像素点的集合，该集合表现场景的表面的对比细节，例如角落、突出物等。

在这种情况下，例如根据以下表达式来确定角度值φ（对应于在帧上的兴趣点的3D场景的细节的方向）：

φ= arctg (d / f)，其中。

d-与光轴的偏差坐标，

f -视频相机的光学系统的焦距。

移动电话的相机随意移动或根据由软件生成的提示进行移动，目的在于加速3D模型的创建。

作为视频图像的逐帧分析的结果，对移动电话的视频相机的运动参数进行评估，同时继续在显示器上描绘图像。

基于获得的位移参数的估算，预测角扇区，其中期望看到兴趣点所对应的场景的细节。这些角落扇区对应于视频图像帧上的搜索空间。在指定的搜索空间内，执行对应的兴趣点的搜索和发现，并计算对应的场景细节的3D坐标区域。

进一步移动视频相机并从不同观看角度计算3D坐标，提供了对应的扇区的3D坐标的清晰化，在此基础上形成3D模型。

在3D模型中，识别平面或曲面的分段。因此，如果部分扇区的坐标以平坦度为表征，并且对应的图像具有均匀的亮度和颜色，则假定该模型分段对应于平面并且将平面的特性的一部分分配在所指示的点组的轮廓中。

进一步，根据用户的命令，从存储器中选择至少一种宠物并将其放置在已经由3D模型描述的图像上。

宠物是某种生物的模型，其动作是预先按时间进行编程的。依据设定的程序，宠物可以移动、长大、发出声音、对障碍物作出反应等。宠物模型程序还假定其图像的各种转换。

除了自主移动之外，宠物模型程序还假定通过移动电话控制装置的帮助由用户控制。

最终图像信号被应用于用于描绘的移动电话的显示器的对应输入，该最终图像信号包括叠加在由视频相机捕捉的场景的图像上的宠物图像。

示例 2

在实施汽车主题的游戏的过程中，用户将作为图像处理设备的移动电话或智能手机的视频相机引导到水平表面上，例如桌子，各种对象放置在桌子上：花瓶、铅笔、书和其他物品。

由视频相机生成的视频图像被移动电话的运算工具接收以用于处理。在处理视频图像期间，图像中对比的、时间稳定的、多像素点对象的检测被感知为它们的兴趣点。

移动电话视频相机被移动，测量对应于在接收到的帧上的兴趣点的部分3D场景的坐标。在这种情况下，视频相机的运动参数是基于从移动电话的陀螺发射器接收到的信号计算出来的。

对应于兴趣点的扇区的3D坐标被计算并利用处理后续帧的图像的结果来精细化。在移动视频相机的过程中进行精细化，与对应的兴趣点相关联的扇区的3D坐标确定3D模型。

在3D模型中，分段被识别，其中扇区的坐标被表征为平面或曲面。这可以对应于例如桌子的表面或其他对象的表面。

如果相邻点组的颜色是均匀的，并且它们轮廓的形状具有线性细长结构，则假定这样的点组对应于铅笔并将固体对象的特性分配到指定的点组，该固体对象在表面以上的高度对应于其宽度等。

在用户的命令构建3D模型之后，从存储在移动电话处的组中选择车辆以将其输出到图像。所选车辆（例如SUV）具有与帧的尺寸成比例的初始尺寸，例如图像区域的1/20，其可由用户调整。当移动电话相机的位置变化时，车辆图像尺寸保持与对应于兴趣点的扇区之间的距离成比例或与检测到的对象的大小成比例。例如，当便携式摄像机接近花瓶所在的桌子时，形成SUV的图像，使得其大小与花瓶和/或桌子的大小保持成比例。

接下来，用户使用手机的控制装置生成命令，以在图像内移动车辆。

运算装置提供车辆模型参数与出现在指示车辆上的表面参数的比较，并确定是否有可能在给定方向上执行移动。如果移动是可能的，则形成移动车辆的图像，如果预先确定的移动是不可能的，例如由于在路径中存在超过车辆尺寸的障碍物，形成具有紧急情况的可视化、停在障碍物前方的车辆的图像。

在克服障碍物的情况下，车辆图像根据车轴和车身的相应变形、斜率、旋转元素、倾斜（如果模型提供的表面倾斜）等形成。因此，例如汽车车轮的直径可以允许它克服躺在其路径上的铅笔，但是站在其途中的花瓶将成为不可逾越的障碍物，这导致汽车停下来。

从存储器中提取的汽车模型通过某些参数、速度限制、车轮大小、悬架参数等来表征，这些在制定汽车的移动以及在移动过程中更改其图像（例如弯曲）或克服障碍物时使用。

在游戏过程中，生成视频信号，该视频信号将车辆图像叠加在由视频相机形成的图像上，并将其馈送到用于描绘的移动电话显示器的输入。

用户对移动车辆的图像作出反应，纠正移动方向，使用移动电话的控制装置形成命令。

示例 3。

图像处理设备安装在汽车上，旨在帮助处于困难情况下的驾驶员。它包括视频相机、带有存储器的处理器和监视器。场景是汽车前方道路或后方道路的片段。

在克服障碍物的过程中，来自相机输出的图像进入运算装置，其中显示图像的兴趣点，作为具有特征亮度和/或特征颜色及其坐标的一些对象的轮廓。

在汽车移动过程中，表征位移、速度和方向的信号也会输入到处理器输入。

计算对应于兴趣点的道路片段的3D坐标形成在视频相机视野中捕获的道路的片段的3D模型。

然而道路的某些片段可能具有表征特征。因此，水坑被显示为反射表面，坑和小丘具有照亮的区域和黑暗的区域，在这些区域上有可能得出有关这些对象在道路上存在的结论。此外，还可以识别标记元素：道路的边缘、路缘石、陡坡或下坡、树干等。

包含所识别的对象的特性的3D模型允许预测在给定方向上移动汽车的后果。如果依据当前的方向和速度，由于存在所识别的障碍物之一，有可能会导致危险的后果，这个障碍物在最终图像中通过取决于危险的颜色而突出显示。

结果图像是从视频相机接收到的道路的部分和车辆的位置（预测为几秒钟后）以及叠加在其上的分配的危险区域的组合。该最终图像被输出到显示器，使得驾驶员能够改变驾驶参数（如有需要）。

在这个示例中，附加对象的模型是车辆的技术特征和其移动的参数，初始坐标是运动开始时的固定坐标。

可以使用数字电子数据库的标准元素和组件来实施在3D模型上显示对象的方法，包括用于将光学信息转换为电子信号的装置、运算装置以及电子存储器和放映装置。

因此，通过允许形成3D模型而不涉及所探测区上的附加数据（例如高程图）、形成可移动对象或对象的内部空间的3D模型的可能性，本发明具有更宽广的应用领域，并且还提供了获得3D模型与不同对象结果的模型交互的可能性。

Claims (13)

1.一种用于在3D模型上显示虚拟对象的方法，该方法包括：

获得由视频相机形成的真实空间图像并基于接收到的图像形成3D模型，所述真实空间图像包括一个或多个帧，其特征在于，该方法还包括：

检测真实空间图像的一个或多个帧中的至少一个帧上的一个或多个兴趣点并在所述帧上确定兴趣点的坐标，其中兴趣点是相邻的图像点的组，该图像点的组具有持续在多个连续图像帧上的特征配置；

移动视频相机，以及基于所述移动的参数预测某些扇区的3D坐标，真实空间图像的显示的真实空间细节在该扇区中能够定位为兴趣点，

确定帧中一个或多个区域的坐标，用于预测的扇区中的每个，在该扇区中期望检测到对应的兴趣点，

在帧上的所述一个或多个区域内搜索兴趣点，并且一旦检测到，将对应的扇区的3D坐标保存到存储器，

当移动视频相机时，通过对从视频相机的运动路径的点获得的图像的后续帧上执行上述动作并且以及将兴趣点的图像与对应扇区的3D坐标相比较来精细化预测扇区的3D坐标，

将各自预测的扇区中的兴趣点的3D坐标与3D模型并列，从而识别平面和/或曲面，

从存储器中检索补充虚拟对象并基于3D模型的被识别的表面形成用于补充虚拟对象的控制的信号，

计算补充虚拟对象的模型与3D模型的参数交互的结果，

形成和输出补充虚拟对象的图像信号，以在显示器上描绘，该补充虚拟对象叠加在真实空间图像上。

2.根据权利要求1所述的方法，其特征在于，帧上的兴趣点的搜索区域对应于3D扇区，将视频相机的光学系统的参数考虑在内来确定该3D扇区的角坐标。

3.根据权利要求1所述的方法，其中基于3D模型的尺寸选择补充虚拟对象的图像大小和/或通过用户手动地选择补充虚拟对象的图像大小。

4.根据权利要求1所述的方法，其特征在于，当补充虚拟对象图像与3D模型的参数交互时，执行补充虚拟对象图像的缩放和/或旋转以及3D转换和/或情景转换。

5.根据权利要求1所述的方法，其特征在于，关于视频相机的移动参数的数据以信号的形式接收，该信号包含由视频逐帧分析装置生成的视频相机的运动的方向和幅度的估算。

6.根据权利要求1所述的方法，其中关于视频相机的移动参数的数据以信号的形式接收，该信号包含输出的陀螺传感器或速度和方向传感器或加速度传感器的视频相机的运动的方向和幅度的估算。

7.根据权利要求1所述的方法，其中补充虚拟对象模型的控制信号通过用户在图像处理设备的控制上的动作而形成。

8.根据权利要求1所述的方法，其中视频相机的移动在任意方向上执行和/或依据预先确定的提示执行。

9.根据权利要求1所述的方法，其特征在于，只有与先前的帧上计算出的坐标相同的扇区的3D坐标被存储为预测的扇区的精细3D坐标。

10.根据权利要求1所述的方法，其特征在于，检测预先确定的对象的图像并将它们的3D特性嵌入到3D模型中。

11.根据权利要求1所述的方法，其特征在于，模型的分段被存储在存储器中，该分段包括对应于空间的那些真实特征的那些分段，那些真实特征已经停止落入视频相机的视野。

12.根据权利要求1所述的方法，其特征在于，基于对预测的扇区的3D坐标的分析，在3D模型上识别平面和曲面。

13.根据权利要求1所述的方法，其特征在于，在3D模型上，基于对包含多个兴趣点的一个或多个帧的预测的片段的图像参数的分析来检测平面和/或曲面。

Images