CN104956403B - 用于处理3d图像数据的方法和装置 - Google Patents

用于处理3d图像数据的方法和装置 Download PDF

Info

Publication number
CN104956403B
CN104956403B CN201480006266.5A CN201480006266A CN104956403B CN 104956403 B CN104956403 B CN 104956403B CN 201480006266 A CN201480006266 A CN 201480006266A CN 104956403 B CN104956403 B CN 104956403B
Authority
CN
China
Prior art keywords
image
scene
scenes
data
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480006266.5A
Other languages
English (en)
Other versions
CN104956403A (zh
Inventor
S·冯鲍宁根
T·洛特巴赫
T·奥克斯
M·舒尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN104956403A publication Critical patent/CN104956403A/zh
Application granted granted Critical
Publication of CN104956403B publication Critical patent/CN104956403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Abstract

规定用于处理在至少一个显示单元(29、32、35、36、37)上显示图像用的3d输入图像数据的方法,‑根据所配设的3d图像场景(19、20、21)相应逐个场景地提供所述3d输入图像数据,‑所述3d输入图像数据分别送入场景处理单元(24)以用于管理和处理,‑所述3d输入图像数据在所述场景处理单元(24)中逐个场景地处理,其中,至少两个3d图像场景(19、20、21)至少部分地叠加,并且形成和管理3d整体场景(26),‑从所述3d整体场景(26)导出多个3d输出场景(33、34、40),在这些3d输出场景中分别根据透视观察位置进行叠加并且在此产生3d输出图像数据,并且‑所述3d输出图像数据送入至少一个渲染单元(27、30、38、39),所述渲染单元配设于显示单元(29、32、35、36、37),以用于产生匹配于显示单元(29、32、35、36、37)的目标图像数据。

Description

用于处理3d图像数据的方法和装置
技术领域
本发明涉及用于处理3d图像数据的方法和装置。所述发明特别是涉及如下方法和系统,在所述方法和系统中,在三维(3d)的显示中的对象利用所谓的3d图像数据进行描述。
背景技术
例如在机动车辆中具有微处理器控制系统,在所述微处理器控制系统上实施如下应用,所述应用产生3d图像数据。对此,每个应用或应用程序构建单独的、描述3d场景的所谓的场景模型。为了在显示单元上显示所述3d场景使用所谓的渲染器。所述系统同样地可以在微处理器上、特别是计算机上实施。所述系统基本上用于如此处理所述3d场景的3d图像数据,使得所述3d图像数据为了显示而匹配于显示单元。
在渲染处理的过程中例如可以对由三维场景组成的图像进行计算。在对所述描述矢量图形的3d图像数据进行转化时,在渲染处理的过程中例如可以实现对象的矢量图形转换至对象在二维(2d)计算机图形中的点状的像素显示。
3d渲染器例如可以由每个单个3d场景生成一个单独的2d图形。借助于控制组件、即所谓的图层管理器,可以通过不同的2d图形的叠加产生用于在显示单元上进行显示的整体图像。在此,各个2d图像根据固定的顺序作为图层上下重叠地设置。在此,较高图层中的内容可以覆盖较低图层中的内容。对于最高图层可以保证其内容的可见性。
通过这种基于图层的结构或数据处理可以在一个共同的显示器上显示不同应用的3d内容。在此还可以确保,安全重要的应用的内容被显示在显示器上,亦即,安全重要的应用的内容不被其他非安全重要的应用所覆盖。
图1示出相应的图像处理结构。在此,在机动车辆中,多个控制器或设备中运行三个应用程序,即,在车载控制器中运行用于行人识别的应用程序1,在车辆中安装的多媒体系统中运行媒体播放器2以及在车辆中暂时连接的智能手机中运行电子邮件应用程序3。所述应用程序分别产生如下图像数据,所述图像数据描述3d场景4、5或6。例如在场景4中可以示出行人轮廓,在所述场景5中可以示出由媒体播放器产生的照片以及在所述场景6中可以示出电子邮件列表。在相应的应用程序所配设的渲染器7、8、9中,所述场景图像数据被转化成2d图像。在此,所述应用程序1、2、3也配设有图层,其中,图像数据10配设于最上图层,图像数据11配设于中间图层以及图像数据12配设于最底图层。图层管理器应用13接收所述相应的图像数据并且逐层地叠加,其中,最上图层叠加所有其他位于下面的图层。由此产生如下2d图像14,所述2d图像由图层管理器13输出。
在所描述的方法中,每个3d场景单独地进行渲染以及稍后进行逐层的叠加,在该方法中不利的是,不能计算在空间上引起的遮盖或不同的3d场景的元素之间的光学效应、如反射和阴影。此外,例如在机动车辆中有时必要的是,确定的图形内容在多个显示单元上分布地显示,例如在方向盘区域中的主显示单元中显示第一图形部分,在中控台区域中的信息娱乐系统中显示第二图形部分以及在后排座椅区域中的其他信息娱乐系统显示第三图形部分。各个图形部分在此还可以同时在多个显示单元中显示。所述基于图层的方案不能足够良好地满足这种要求。
由US 7,145,562 B2已知一种用于在二维计算机图形中显示二维和三维对象的系统,在所述系统中2d对象和3d对象可以划分等级地集成到一个共同的场景中。在此,所述公开文献的内容通过引证纳入到本说明书中。
在显示计算机图形时,通常在相同的设备中产生和呈现最终的图像。为了越过设备边界实现图形内容的交换,所述图形数据通常以预定的格式、所谓的视频流进行传输。所述视频流在此通过接口传输到远程设备上并且在此集成到本地的场景中。在此不利的是,这通常仅以高的耗费才能够在远程和本地场景之间确定相互作用并且使其在目标图形中实现。如果在所传输的视频流中例如存在如下对象,所述对象投上一层阴影并且该阴影应该在本地场景中的对象上应也是可见的,则一方面需要的是,在所述两个设备之间交换附加的信息。另一方面,这在产生目标图形时需要高的计算耗费。
发明内容
本发明的任务在于,以高精度以及合理的计算耗费能实现基于3d输入图像数据的图像的叠加。
该任务通过本发明得到解决。按照本发明的一种用于处理在至少一个显示单元上显示图像用的3d输入图像数据的方法,其中,根据所配设的3d图像场景相应逐个场景地提供所述3d输入图像数据,所述3d输入图像数据分别送入场景处理单元以用于管理和处理,所述3d输入图像数据在所述场景处理单元中逐个场景地处理,其中,至少两个3d图像场景至少部分地叠加,并且形成和管理3d整体场景,从所述3d整体场景导出多个3d输出场景,在这些3d输出场景中分别根据透视观察位置进行叠加并且在此产生3d输出图像数据,并且其中,所述3d输出图像数据送入至少一个渲染单元,所述渲染单元配设于显示单元,以用于产生匹配于显示单元的目标图像数据。此外,本发明也涉及一种图像处理系统,其包括至少一个用于实施本发明的方法的控制器。另外,本发明也涉及一种车辆,其包括所述图像处理系统以及如下显示单元,按照由图像处理系统所处理的数据能在所述显示单元上显示图像。
按照本发明,为了处理用于在至少一个显示单元上显示图像用的3d输入图像数据而规定,根据所配设的3d图像场景分别逐个场景地提供所述3d输入图像数据。所述3d输入图像数据分别送入场景处理单元以用于管理和处理,并且所述3d输入图像数据在所述场景处理单元中逐个场景地处理。在此,至少部分地叠加至少两个3d图像场景,并且形成和管理3d整体场景。多个3d输出场景从所述3d整体场景得到,在这些3d输出场景中分别根据不同的透视观察位置进行叠加,并且在此产生3d输出图像数据。所述3d输出图像数据送入至少一个渲染单元,所述渲染单元配设于显示单元,以用于产生匹配于显示单元的目标图像数据。
所述3d输入图像数据包括用于显示3d对象的典型值、特别是3d坐标数据和对象属性。3d场景特别是可以在数据技术上通过场景树或场景图表(Szenengraphen)进行结构化。所述3d输入图像数据特别是可以由多个客户计算机系统提供。客户计算机系统、场景处理单元以及渲染单元可以是微处理器控制的设备和/或在这种设备上加载或运行的计算机程序应用。
本发明基于如下知识,即,3d整体场景的形成能实现简化地以及同时精确地处理,以用于从不同3d输入图像数据或其所配设的3d图像场景中导出3d输出图像数据。本发明还基于如下知识,即,可以有利地从3d整体场景叠加所述3d图像场景。此外已知有利的是,相应的透视观察位置在从3d整体场景叠加时注入到3d输出图像数据的形成(Bildung)中。
所述透视观察位置可以作为摄像机参数注入到叠加中,其中,通常的透视参数、如图像场景的张角或至图像场景的距离可以用作为摄像机参数。例如可以将如下参数设置为摄像机参数:
-变换矩阵,所述变换矩阵描述摄像机在3d空间中的位置和定向并且例如描述位置和/或相对观察方向或摄像机所指向的点。附加地可以设置如下矢量,所述矢量说明如下优先方向、例如垂直向上。
-张角、特别是在竖直方向上的张角
-目标图像的纵横比、例如16:9
-所谓的近平面参数,所述近平面参数相应于摄像机位置到投影面的距离,其中,在该投影面前面的所有元素在目标图像中是不可见的。
-所谓的远平面参数,所述远平面参数相应于摄像机位置到界定摄像机空间的面的距离,其中在该界定摄像机空间的面后面的所有元素在目标图像中是不可见的。
如果应用近平面和远平面参数,则摄像机仅拍摄如下场景元素,所述场景元素位于近平面和远平面之间。所述平面的面积由竖直的张角、纵横比以及近平面或远平面相应的值得出。
所述透视观察位置或摄像机参数可以分别相应于所述至少一个显示单元的空间位置、定向和/或其他参数。所述显示单元能够适合于显示3d图像。所述显示单元也可以构成为用于显示2d图像。根据显示类型,所述渲染单元将3d输出图像数据转化为3d目标图像数据或2d目标图像数据。在2d目标图像数据的情况下,所述渲染单元特别是一种镜头处理器(Rasterprozessor)。可以设置多个显示单元。不同的显示单元可以配设有不同的透视观察位置或不同的摄像机参数。于是为了从3d整体场景导出3d输出场景可以分别根据不同的透视观察位置或参数来实现3d图像场景的叠加。还可以设置多个渲染单元,所述多个渲染单元可以分别配设有一个或多个显示单元。
通过全局管理的3d整体场景可以精简视频流的传输并且在不同的显示单元之间直接地交换图形内容。附加的显示单元的相互连接将显著地简化。对此足够的可以是,在相应的系统单元中匹配小的控制部分、例如小的软件部分,以便在多个显示单元的显示联合中接纳新的显示单元。附加地可能的是,任意的设备将新的图形内容添加到整体场景中。显示单元分别可以具有与其物理上固定连接的自身的渲染单元。
所述3d输入图像数据分别可以配设有至少两个优先级中的一个优先级,其中,优先级相应说明,所属的3d图像场景在与其他3d图像场景进行叠加时以何种程度保持可见。于是,所述3d输出场景于是可以如此构造,使得在渲染单元中产生目标图像数据时在目标图像坐标上由较高的优先级的3d图像场景中导出的目标图像数据叠加由较低的优先级导出的目标图像数据。由此例如可以实现,安全重要的图像元素在显示单元上叠加其他非安全重要的图像元素,亦即,以高安全性进行显示。例如在机动车辆中可以确保,在显示单元上所述安全重要的关于所挂入挡位的高度的显示叠加非安全重要的导航数据的显示。优先级的配置可以逐个3d图像场景地、在场景树中和/或以属性的形式实现。附加地可以规定,在对标志为安全重要的图像数据进行存储时,特别是在场景管理单元和/或渲染单元中对存储器进行写保护,由此防止存储器的无意的覆盖。
利用本发明可能的是,安全重要的和非安全重要的3d内容由不同的客户计算机系统共同地在场景处理单元进行处理并且从中产生具有混合内容的3d整体场景。在此,一方面可以借助于所配设的属性防止安全重要的3d内容被无意地篡改以及覆盖。由此另一方面由此可能的是,在考虑3d图像场景的覆盖、3d图像场景之间的光学效应以及互相作用的情况下形成一种相关联的3d整体场景。因此利用本发明可以给出用于特别是在机动车中进行图像处理的所谓的混合临界系统(Mixed-Criticality System)。
为了确保,用于安全重要的显示、由渲染单元输出到显示单元上的目标图像数据在此被正确地显示,可以通过所述两个单元的校验和比较进行检验。
在本发明的一种有利的实施例中设置多个显示单元,所述多个显示单元分别配设有渲染单元。于是,所述场景处理单元可以对于显示单元分别产生不同的3d输出图像数据特别是作为部分场景或所谓的3d整体场景中的子场景并且所述3d输出图像数据特别是可以逐个子场景地分配到一个或多个渲染单元上,以用于产生目标图像数据。所述3d输出图像数据在多个渲染单元上的分配也能够有利地实现:对于单个显示单元分配确定的图像数据到多个渲染单元上。另一方面通过这种分配的渲染过程可能的是,第一显示单元的较少地负载的渲染单元也用于渲染其渲染单元强烈受负载的第二显示单元的3d输出图像数据。该优点可以通过如下方式被进一步被加强,即,例如通过所基于的3d输出图像数据以及所配设的透视摄像机参数分别将目标图像数据配设给显示单元。所述渲染单元于是可以将目标图像数据输出到相应的所述目标图像数据所配设的显示单元上。
如果对于渲染过程设置多个渲染单元,于是可以实现多个结构和优点。一方面存在一定的故障安全性,其中,在一个渲染单元故障时其它渲染单元可以承担其渲染任务。另一方面存在可伸缩性,其中可以通过如下方式提高渲染效率,即,可以设置附加的渲染单元或存在的弱地受负载的渲染单元承担其他的强烈受负载的渲染单元的附加的渲染任务。此外在安全重要性方面可以在不同的渲染单元之间划分渲染任务。例如在多个渲染单元的联合中的一个渲染单元可以对于相应的3d输出图像数据进行保存,所述3d输出图像数据标记为安全重要或配设有最高优先级。于是,该渲染单元例如可以设置对于安全重要的数据的存储器写保护。
在渲染单元与场景管理单元之间特别是可以如下地存在一种双向的交互作用,即,所述渲染单元将关于透视观察位置的数据传输到场景管理单元上,以及相反地,场景管理单元将3d输出图像数据传输到渲染单元上。关于透视观察位置的数据又可以包括或者可以由其导出显示单元的相应数据、特别是显示单元的坐标数据。特别是如果设置多个显示单元,由此可以确保在不同的显示单元上透视地正确地实现图像场景重叠的或耦合的显示。
按照本发明的另外一种有利的实施形式,所述用于形成3d整体场景的场景处理单元使用如下交互作用参数,所述交互作用参数描述至少两个所述客户计算机系统的3d图像元素之间的相互作用。由此例如可以计算客户计算机系统的3d图像元素的覆盖并且在显示单元中正确地进行显示。3d图像元素之间的光学效应、如反射和阴影可以有利地由场景处理单元从3d整体场景计算并且稍后显示在显示单元上。在此可以使用例如延迟参数、透明度参数或反射系数作为交互作用参数,所述参数作为属性配设给3d图像元素,或者使用照明参数、如光源的光强度、色彩和光传播方向作为交互作用参数,所述光源配设给3d图像场景或在3d图像场景中设置为3d图像元素。基于所要显示的闪烁的交通灯的黄光例如可以在机动车的显示单元上周期性地将临近于交通灯要显示的行人标识的图像着色为浅黄色。如果在例如一毫秒至50毫秒的合适的动态时间范围内分别重新计算所述3d图像元素并且在显示单元上进行显示,则所述3d图像元素之间的交互作用可以动态地实现。由此还可以实现动画。
在所述渲染单元中优选地可以实现所谓的延迟渲染(Deferred Shading),在延迟渲染时所述渲染过程可以逐级地进行,其中,所述过程可以在预定的过程级别上提前结束,在所述过程级别上存在可在所述显示单元中输出的目标图像数据并且其中在相应较高的过程级别上逐渐地实现更好的图像质量。
为了监控渲染器的精确度此外可以规定,在对3d输出图像数据进行渲染的过程中并行地渲染预定的参考图像、特别是参考图案和/或在图像尺寸方面相对于3d输出图像数据小很多的迷你图像。于是可以根据所述参考图像的渲染结果来决定,所述3d输出图像数据的渲染结果是用于进一步处理还是丢弃。对于迷你或参考图像特别是可以应用渲染数据记录,所述渲染数据记录与相应的渲染单元、3d图像场景和/或其所配设的参数相匹配。例如对于相应的3d图像元素和/或3d图像场景设置这样的迷你图像,所述迷你图像是安全重要的。在与图像处理重要的特征如尺寸、位置、色彩、复杂性等方面可以适合于所述相应的3d图像元素。对于3d图像场景可以设置多个迷你图像。
附图说明
以下根据附图将进一步阐明本发明的其他实施例。图中:
图1示出按照现有技术的图像处理结构,
图2示出按照本发明所述的图像处理结构,
图3示出图像处理结构的细节,以及
图4示出延迟渲染过程。
具体实施方式
在图2中示出的图像处理结构15中,由客户计算机程序应用16、17、18产生的3d图像数据送入场景管理器24,所述场景管理器将所接收到的3d输入图像数据汇集在世界场景26中并且处理成3d输出图像数据以用于最终将图像场景显示在显示设备(显示器)29、32上。对此,用于相应所配设的显示场景33、34的3d输出图像数据由场景管理器24输出到两个渲染器27、30上,所述渲染器从3d输出图像数据产生显示器所特定的目标图像数据。渲染器27产生用于显示器29的目标图像数据。渲染器30产生用于显示器32的目标图像数据。
在该实施例中,该图像处理系统设置在机动车辆中。导航系统实施所述客户应用16,所述客户应用17实施车辆特定的功能例如所挂入的挡位的检测。在车辆中暂时连接的移动电话通信设备(智能手机)实施所述客户应用18。所述客户应用16、17、18对于相应所配设的3d图像场景(客户场景)19、20、21分别产生个别的3d图像数据。附加地,所述客户应用16、17、18分别产生配设于3d图像场景的参数。安全参数22分别说明优先级,即,所属的3d图像场景在与其他3d图像场景进行叠加时以何种程度保持可见。交互作用参数23描述,3d图像场景的3d图像对象以哪种方式与其他3d图像场景的3d图像对象进行相互作用。交互作用参数23例如对于3d图像对象的反射度说明,其他3d图像对象在所述对象上被反射的强度。所述安全参数22和交互作用参数23可以由客户应用16、17、18分别共同地或在客户场景19、20、21中传输到场景管理器24上。所述安全参数和交互作用参数也可以包含在世界场景26和显示器场景33、34中。
不仅所述用于3d图像场景19、20、21的3d图像数据而且所述参数22、23被送入场景管理器24以用于图像处理。所述场景管理器包括用于处理3d图像数据的3d处理器以及根据3d图像场景创建3d整体场景,所述3d整体场景在此也称为世界场景26。所述不同的3d图像场景19、20和21在此可以互相叠加,其中,应用安全参数22和交互作用参数23和/或此外将其配设给3d图像场景19、20和21。在3d处理器25中应用所述安全参数22时,高的安全参数的值所配设给的3d图像数据例如叠加其他的3d图像数据并且所述结果在由3d处理器25所管理的存储器中通过写保护来防止被覆盖。该应用相应地也可以在渲染器27、30中实现。所述场景管理器24在此通过应用所述安全参数24的读取规则在此确保,安全重要的内容不能被错误地覆盖或者改变,并且安全重要的场景元素在渲染后能够在相应的显示器29、32上是可见的。所述3d处理器25可以是传统的中央处理器(CPU),在所述中央处理器上,3d场景利用相应的应用来处理,或者也是用于处理3d场景的专用的硬件处理器、例如图形处理器或矢量处理器。
所述客户应用16、17和18以及各个过程可以将相应的图形内容添加给世界场景26中且在其侧查询:在世界场景26中已经存在哪些内容。所述场景管理器24管理世界场景26并且从中导出相应的子场景,所述场景管理器将所述子场景分配到渲染器27、30上。为了形成世界场景26以及子场景,所述场景管理器24分别考虑显示器特定的数据28、31,所述数据说明显示器29、32在机动车中的相应的安装位置以及视角。所述数据28、31由相应的渲染器27、30作为参数送入场景管理器24。因此所述世界场景26为所有由客户应用16、17和18所提供的3d图像场景并且包括考虑所有其显示器29、32地提供3d整体场景。在图1的实施例中,显示器29和32是2d显示器。与此相应地,所述渲染器27、31根据镜头处理器的类型将到达在其中的3d输出图像数据渲染成2d目标图像数据。
在图3中详细地示出场景管理器24以及按照本发明所述的图像处理系统的输出侧的组件。在该系统中设置三个显示器35、36、37。在此,两个显示器35、36由单个渲染器38提供目标图像数据。渲染器39仅对于显示器37从显示场景40的3d输出图像数据中产生目标图像数据。渲染器38管理对于所述两个显示器35、36的位置和视角的参数。相反地还可能的是,将显示器连接到多个渲染器上,其中,每个所述渲染器分别产生显示器的部分图像。还可能的是,在渲染器相互间的联合中划分用于对一个或多个显示器的部分图像进行渲染的任务。
在图3中还描述有如下不同的过程,所述过程发生在3d处理器25中并且借助于参数控制所述过程,所述参数由客户应用16、17、18或由显示器35、36、37产生并且通知到场景管理器24上。在过程41中,处理安全参数并且确保:安全重要的内容最终在相应的显示器中是可见的。在完整性安全过程42中确保:确定的图像内容最后显示在相应的显示器中。对此,对于相应的图像内容在3d处理器中形成校验和并且将其与相应的显示器的校验和进行比较。在延迟安全过程43中监控:图像对象在预定的时间内被显示。这点特别是可以借助于延迟渲染实现,其中,在例如100ms的一定时间过程后在下一个可能的过程步骤中停止渲染过程并且将相应的图像对象立即显示在显示器上。对于该过程控制的参数例如可以耦合到安全参数22或交互作用参数23上。
利用用于数据保护管理的过程44可以进行如下控制,确定的3d图像元素和/或3d图像场景在确定的显示器上、在确定的显示器区域中不显示或普遍地不进行显示。该过程也是参数控制的。利用过程45对于在3d处理器中的过程进行错误管理。利用用于负载管理的过程46控制过程速度。对此例如可以如此控制3d输出图像数据分配到渲染器38、39上,使得所述渲染器均匀地受负载。
在图4中描述了在渲染器中发生的延迟渲染。在此,3d图像数据连续地在各过程等级中被处理以便产生目标图像数据。在过程步骤PS1中,处理相应的3d图像数据的色彩数据,在过程步骤PS2中,处理3d图像数据的深度数据,在过程步骤PS3中,处理关于图像对象的表面的相应法线。过程步骤PS1、PS2和PS3可以共同地在一个方法步骤中进行。于是,色彩、深度以及法线为这一方法步骤的结果。
在过程步骤PS4中必要时根据存在的光源来处理3d图像数据的亮度值(灯光)。所述过程步骤PS1至PS4为产生质量足够该的目标图像是必要的。在所设置的图像处理方法以目标图像的创建结束(方法步骤PS6)前,随后的步骤PS5用于对象的线条平滑(所谓的抗锯齿)。然而所述过程步骤PS5是计算耗费高的。因此在延迟渲染中能实现在过程步骤PS4后停止图像处理过程并且以创建备选的目标图像结束(过程步骤PS7),所述备选的目标图像至少描述一定的最少信息内容。附加地或随后地,过程步骤PS5可以设置其他的可选择的图像处理步骤。在可选择的步骤之间于是可以设置其他的可选择的终点。
所描述的设备以及系统组件特别是利用计算机程序进行控制并且对此包括其他的本身已知的计算机的元件以及数字控制装置如微处理器、易失性或非易失性存储器、接口等。因此,本发明也可以整体地或部分地以计算机程序产品的形式实现,所述计算机程序产品在在计算机上加载或执行时,整体地或部分地引起按照本发明的过程。例如可以以数据载体、如CD/DVD来提供或者也可以以在服务器上的一个或多个文件的形式能由所述计算机程序进行下载。

Claims (18)

1.用于处理在至少一个显示单元(29、32、35、36、37)上显示图像用的3d输入图像数据的方法,其中,
-根据所配设的3d图像场景(19、20、21)相应逐个场景地提供所述3d输入图像数据,每个3d图像场景包括3d图像对象,
-所述3d输入图像数据分别送入场景处理单元(24)以用于管理和处理,
-所述3d输入图像数据在所述场景处理单元(24)中逐个场景地处理,其中,至少两个3d图像场景(19、20、21)至少部分地叠加,并且形成和管理3d整体场景(26),
-从所述3d整体场景(26)导出多个3d输出场景(33、34、40),在这些3d输出场景中分别根据透视观察位置进行叠加并且在此产生3d输出图像数据,并且
-其中,所述3d输出图像数据送入至少一个渲染单元(27、30、38、39),所述渲染单元配设于显示单元(29、32、35、36、37),以用于产生匹配于显示单元(29、32、35、36、37)的目标图像数据。
2.根据权利要求1所述的方法,其特征在于,设置多个显示单元(29、32、35、36、37),所述多个显示单元分别配设有渲染单元(27、30、38、39),并且所述场景处理单元(24)对于所述显示单元(29、32、35、36、37)分别产生不同的3d输出图像数据,并且所述3d输出图像数据分配到所述一个或多个渲染单元(27、30、38、39)上,以用于产生目标图像数据。
3.根据权利要求2所述的方法,其特征在于,所述目标图像数据分别配设给显示单元(29、32、35、36、37),并且所述渲染单元(27、30、38、39)将目标图像数据输出到分别配设给所述目标图像数据的显示单元(29、32、35、36、37)上。
4.根据权利要求1至3之一的方法,其特征在于,所述至少一个显示单元(29、32、35、36、37)构成用于显示2d图像,所述渲染单元(27、30、38、39)为镜头处理器,并且所述目标图像数据是2d图像数据。
5.根据权利要求1至3之一的方法,其特征在于,所述3d输入图像数据分别配设有至少两个优先级中的一个优先级,其中,所述优先级分别说明,所属的3d图像场景(19、20、21)在与其他的3d图像场景(19、20、21)进行叠加时以何种程度保持可见,以及所述3d输出场景(33、34、40)如此构造,使得在渲染单元(27、30、38、39)中产生目标图像数据时在目标图像坐标上由较高优先级的3d图像场景(19、20、21)导出的目标图像数据叠加由较低优先级导出的目标图像数据。
6.根据权利要求5所述的方法,其特征在于,在车辆中实施所述方法,并且借助于优先级和3d输出场景(33、34、40),在显示单元(29、32、35、36、37)上将安全重要的图像元素叠加其他的非安全重要的图像元素。
7.根据权利要求1至3之一的方法,其特征在于,所述透视观察位置相应于所述显示单元(29、32、35、36、37)的空间位置。
8.根据权利要求1至3之一的方法,其特征在于,所述场景处理单元(24)为了形成3d整体场景(26)而应用交互作用参数,所述交互作用参数描述至少两个客户计算机系统(16、17、18)的3d图像元素之间的相互作用,所述客户计算机系统提供3d输入图像数据。
9.根据权利要求1至3之一的方法,其特征在于,在所述渲染单元(27、30、38、39)中进行延迟渲染。
10.根据权利要求1至3之一的方法,其特征在于,在3d输出图像数据的渲染过程中并行地对预定的参考图像进行渲染并且借助所述参考图像的渲染结果决定:所述3d输出图像数据的渲染结果是用于进一步处理还是丢弃。
11.根据权利要求1至3之一的方法,其特征在于,所述3d输入图像数据由客户计算机程序应用(16、17、18)在车辆中产生。
12.根据权利要求11所述的方法,其特征在于,在车辆中实施多个客户计算机程序应用(16、17、18),所述客户计算机程序应用对于相应所配设的3d图像场景分别产生个别的3d输入图像数据以及分别产生配设于3d图像场景的参数。
13.根据权利要求12所述的方法,其特征在于,所述由客户计算机程序应用(16、17、18)所产生的参数包括安全参数(22),所述安全参数分别说明如下优先级,即,所属的3d图像场景在与其他的3d图像场景进行叠加时以何种程度保持可见。
14.根据权利要求12或13所述的方法,其特征在于,由客户计算机程序应用(16、17、18)所产生的参数包括交互作用参数(23),所述交互作用参数描述:3d图像场景的3d图像对象以哪种方式与其他的3d图像场景的3d图像对象进行相互作用。
15.根据权利要求14所述的方法,其特征在于,交互作用参数(23)说明3d图像对象的反射率,即,其他3d图像对象被反射在所述3d图像对象上的强度。
16.图像处理系统,其包括至少一个用于实施按照权利要求1至15之一所述的方法的控制器。
17.车辆,其包括按照权利要求16所述的图像处理系统以及如下显示单元(29、32、35、36、37),按照由图像处理系统所处理的数据能在所述显示单元上显示图像。
18.按照权利要求17所述的车辆,其特征在于,所述车辆是机动车。
CN201480006266.5A 2013-01-29 2014-01-28 用于处理3d图像数据的方法和装置 Active CN104956403B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013201377.9A DE102013201377A1 (de) 2013-01-29 2013-01-29 Verfahren und Vorrichtung zum Verarbeiten von 3d-Bilddaten
DE102013201377.9 2013-01-29
PCT/EP2014/051576 WO2014118145A1 (de) 2013-01-29 2014-01-28 Verfahren und vorrichtung zum verarbeiten von 3d-bilddaten

Publications (2)

Publication Number Publication Date
CN104956403A CN104956403A (zh) 2015-09-30
CN104956403B true CN104956403B (zh) 2018-05-04

Family

ID=50029031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480006266.5A Active CN104956403B (zh) 2013-01-29 2014-01-28 用于处理3d图像数据的方法和装置

Country Status (7)

Country Link
US (1) US9767603B2 (zh)
EP (1) EP2951787B1 (zh)
JP (1) JP6362622B2 (zh)
KR (1) KR102076385B1 (zh)
CN (1) CN104956403B (zh)
DE (1) DE102013201377A1 (zh)
WO (1) WO2014118145A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2942103B1 (en) * 2014-05-05 2023-06-14 Nano Temper Technologies GmbH Thermophoresis measurements in nanoliter-droplets
DE102014214666A1 (de) 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Hardwareunabhängiges Anzeigen von graphischen Effekten
DE102014214667A1 (de) 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von dynamischen sicherheitsrelevanten dreidimensionalen Inhalten auf einer Anzeigeeinrichtung
DE102017207557B4 (de) 2017-05-05 2020-08-06 Audi Ag Verfahren zum Steuern einer Bedienvorrichtung eines Kraftfahrzeugs sowie Bedienvorrichtung und Kraftfahrzeug
GB2579111B (en) * 2019-05-30 2021-06-23 Imagination Tech Ltd Functional safety in graphics processing systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN102413164A (zh) * 2011-08-31 2012-04-11 北京华电万通科技有限公司 一种基于Web的三维场景可视化编辑装置和方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09123848A (ja) * 1995-11-06 1997-05-13 Toyota Motor Corp 車両用情報表示装置
JPH09245196A (ja) * 1996-03-05 1997-09-19 Mitsubishi Electric Corp 3次元仮想世界共有装置
US6356297B1 (en) * 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
AU5688199A (en) * 1998-08-20 2000-03-14 Raycer, Inc. System, apparatus and method for spatially sorting image data in a three-dimensional graphics pipeline
US7009626B2 (en) * 2000-04-14 2006-03-07 Picsel Technologies Limited Systems and methods for generating visual representations of graphical data and digital document processing
US6803912B1 (en) * 2001-08-02 2004-10-12 Mark Resources, Llc Real time three-dimensional multiple display imaging system
US7113183B1 (en) * 2002-04-25 2006-09-26 Anark Corporation Methods and systems for real-time, interactive image composition
WO2005091221A1 (en) * 2004-03-12 2005-09-29 Koninklijke Philips Electronics N.V. Creating a depth map
US7145562B2 (en) * 2004-05-03 2006-12-05 Microsoft Corporation Integration of three dimensional scene hierarchy into two dimensional compositing system
US7836086B2 (en) * 2006-06-09 2010-11-16 Pixar Layering and referencing of scene description
US8683386B2 (en) * 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
KR100848687B1 (ko) * 2007-01-05 2008-07-28 삼성전자주식회사 3차원 그래픽 처리 장치 및 그것의 동작 방법
JP4286876B2 (ja) * 2007-03-01 2009-07-01 富士通テン株式会社 画像表示制御装置
WO2008109798A2 (en) * 2007-03-07 2008-09-12 Ideaflood, Inc. Multi-instance, multi-user animation platforms
US8319825B1 (en) * 2008-06-16 2012-11-27 Julian Urbach Re-utilization of render assets for video compression
US8471858B2 (en) * 2009-06-02 2013-06-25 Qualcomm Incorporated Displaying a visual representation of performance metrics for rendered graphics elements
US20110078801A1 (en) * 2009-09-29 2011-03-31 Rapidform, Inc. Utility computing with preview and pay feature
DE102009048834A1 (de) * 2009-10-09 2011-04-14 Volkswagen Ag Verfahren und Anzeigeeinrichtung zum Anzeigen von Informationen
US9524138B2 (en) * 2009-12-29 2016-12-20 Nvidia Corporation Load balancing in a system with multi-graphics processors and multi-display systems
CN102196300A (zh) * 2010-03-18 2011-09-21 国际商业机器公司 虚拟世界场景的图像的提供方法和设备及处理方法和设备
JP2011233045A (ja) * 2010-04-28 2011-11-17 Denso Corp 送信装置、受信装置、表示装置、プログラム、通信システム
US20120019522A1 (en) * 2010-07-25 2012-01-26 Raytheon Company ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
EP2469474B1 (en) * 2010-12-24 2020-02-12 Dassault Systèmes Creation of a playable scene with an authoring system
US9619911B2 (en) * 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN102413164A (zh) * 2011-08-31 2012-04-11 北京华电万通科技有限公司 一种基于Web的三维场景可视化编辑装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Second life and the new generation of virtual worlds;Sanieev Kumar 等;《Computer》;20080909;第41卷(第9期);第47-48页,图2 *

Also Published As

Publication number Publication date
DE102013201377A1 (de) 2014-07-31
KR20150111910A (ko) 2015-10-06
WO2014118145A1 (de) 2014-08-07
US20150332499A1 (en) 2015-11-19
US9767603B2 (en) 2017-09-19
KR102076385B1 (ko) 2020-02-11
JP2016511869A (ja) 2016-04-21
JP6362622B2 (ja) 2018-07-25
EP2951787B1 (de) 2019-12-18
EP2951787A1 (de) 2015-12-09
CN104956403A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104956403B (zh) 用于处理3d图像数据的方法和装置
CN103946895B (zh) 基于平铺块的呈现中的镶嵌方法和设备
EP3321889A1 (en) Device and method for generating and displaying 3d map
Goesele et al. Ambient point clouds for view interpolation
JP2022091849A (ja) 光線バンドルの光線に対する差分データを決定する方法及びグラフィックス処理ユニット
JP2017220923A (ja) 画像生成装置、画像生成方法、およびプログラム
US20130057540A1 (en) Methods and apparatus for digital stereo drawing
CN109737983A (zh) 用于生成行驶路径的方法和装置
AU2006287351A1 (en) 2D editing metaphor for 3D graphics
CN105513112A (zh) 图像处理方法和装置
US10242264B1 (en) System and method for training a machine-learning model to identify real-world elements
US10382747B2 (en) Image processing apparatus, image processing method, and image processing program
CN110488979A (zh) 一种基于增强现实的汽车展示系统
US11097486B2 (en) System and method of 3D print modeling utilizing a point cloud representation and generating a voxel representation of the point cloud
WO2011123710A1 (en) Synthesizing panoramic three-dimensional images
GB2406252A (en) Generation of texture maps for use in 3D computer graphics
CN105823475A (zh) 场景的三维表示方法
RU2295772C1 (ru) Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации
CN114255314A (zh) 一种规避遮挡的三维模型自动纹理映射方法、系统及终端
CN116485984A (zh) 全景影像车辆模型全局光照模拟方法、装置、设备及介质
CN105488840A (zh) 一种信息处理方法及电子设备
Mendez et al. Importance masks for revealing occluded objects in augmented reality
Aromaa et al. Virtual prototyping in the design of see-through features in mobile machinery
CN103370731A (zh) 估计虚拟环境中的遮挡的方法
Santos et al. Supporting outdoor mixed reality applications for architecture and cultural heritage

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant