CN109552177A - 用于环境动画和在界面上投射环境动画的系统和方法 - Google Patents

用于环境动画和在界面上投射环境动画的系统和方法 Download PDF

Info

Publication number
CN109552177A
CN109552177A CN201811091848.4A CN201811091848A CN109552177A CN 109552177 A CN109552177 A CN 109552177A CN 201811091848 A CN201811091848 A CN 201811091848A CN 109552177 A CN109552177 A CN 109552177A
Authority
CN
China
Prior art keywords
lighting object
image
display interface
environment
virtual spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811091848.4A
Other languages
English (en)
Other versions
CN109552177B (zh
Inventor
G·韦布
D·加勒特
C·霍瓦斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso International America Inc
Original Assignee
Denso International America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso International America Inc filed Critical Denso International America Inc
Publication of CN109552177A publication Critical patent/CN109552177A/zh
Application granted granted Critical
Publication of CN109552177B publication Critical patent/CN109552177B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Instrument Panels (AREA)

Abstract

一种环境动画系统,包括:图像传感器,被配置为拍摄车辆(1)外部的环境的图像(500);显示界面(300),被配置为向车辆(1)的驾驶者(400)显示信息;以及控制器(200),与图像传感器和显示界面(300)通信,并被配置为:生成虚拟球形照明对象(600),对图像(500)进行整形以适配在虚拟球形照明对象(600)周围,以及将适配在虚拟球形照明对象(600)周围的图像(500)的一部分投射到显示界面(300)上。

Description

用于环境动画和在界面上投射环境动画的系统和方法
技术领域
本公开内容涉及用于在界面(interface)上投射环境动画的环境动画系统和方法。
背景技术
本节提供与本公开内容相关的背景信息,其不一定是现有技术。
车辆内部的数字界面正越来越多地取代车辆内部驾驶室中的模拟显示器以及车辆的传统仪表盘和中央控制台。例如,这些数字界面可以强调车辆的特定特征或控制,例如用于车辆的无线电设备的音频控制或由车辆的发动机产生的动力的显示。
然而,这些数字界面的实施没有考虑车辆外部的当前环境的状态。此外,数字界面上显示的图像是平面和二维的,从而使驾驶体验对于驾驶者变得平淡无趣。
需要进一步增强数字界面上的动画并使驾驶体验对于驾驶者更加愉悦,尤其是在车辆内度过长途旅行中。
发明内容
本节提供了对本公开内容的总体概述,而不是对其全部范围或其所有特征的全面公开。
根据本文提供的描述,其他适用领域将变得显而易见。本概述中的描述和具体示例仅要用于举例的目的,而不是要限制本公开内容的范围。
本教导包括环境动画系统。环境动画系统包括图像传感器、显示界面和控制器。图像传感器被配置为拍摄车辆外部的环境的图像。显示界面被配置为向车辆的驾驶者显示信息。控制器与图像传感器和显示界面通信。控制器被配置为生成虚拟球形照明对象(virtual spherical lighting object),对图像进行整形以适配在虚拟球形照明对象周围,并将适配在虚拟球形照明对象周围的图像的一部分投射到显示界面上。
本教导还包括环境动画方法。该方法包括利用图像传感器拍摄车辆外部的风景的图像,利用控制器生成虚拟球形照明对象,利用控制器对图像进行整形以适配在球形照明对象周围,以及利用控制器将适配在球形照明对象周围的图像的一部分投射到车辆的显示界面上。
附图说明
本文描述的附图仅用于说明所选实施例而不是所有可能实施方式的目的,而不是要限制本公开内容的范围。
图1示出了包括根据本教导的环境动画系统的车辆;
图2是根据本教导的环境动画系统的示意图;
图3A是照明对象的特写;
图3B是根据本教导的环境动画系统的球形照明对象的特写;
图4是根据本教导的环境动画系统的控制器的方框图;
图5是由根据本教导的环境动画系统的控制器执行的方法的流程图;
图6A示出了根据本教导的环境动画系统的显示界面;
图6B示出了根据本教导的环境动画系统的另一显示界面;
图6C示出了根据本教导的环境动画系统的另一显示界面;
图7A示出了根据本教导的环境动画系统的另一显示界面;
图7B示出了根据本教导的环境动画系统的另一显示界面;以及
图8是根据本教导的环境动画系统的示意图。
在附图的全部几个视图中,相应的附图标记表示相应的部件。
具体实施方式
现在将参考附图更全面地描述示例性实施例。
图1示出了包括根据本教导的环境动画系统的车辆1。在图1中,车辆1包括彼此连接并通信的成像器(例如包括图像传感器的相机100)、控制器200和显示界面300。车辆1可以是汽车、卡车、机动艇或由发动机或电动机供以动力的任何其他机械设备。而且,相机100内的图像传感器可以包括检测光的强度、色调或其他特性的传感器。
环境动画系统允许可安装在车辆1外部的相机100与可在车辆1内的控制器200之间的通信。即,相机100拍摄风景S的图像,其包括室外周围环境的图像,并且将数字图像信号发送到控制器200以进行处理。然后,控制器200确定与环境室外条件匹配的一种或多种颜色和强度的光,并将其作为环境照明的一部分投射到显示界面300上。显示界面300可以位于车辆1上或内部。例如,显示界面300可以是仪表组、中央信息显示器(CID)、数字仪表盘、后屏幕等。
在本教导中,包括下面的定义,术语“控制器”、“模块”和“系统”可以指代或包括电路或电路系统,或为电路或电路系统的部分,该电路或电路系统可以包括执行代码的处理器硬件(共享、专用或组)和存储由处理器硬件执行的代码的存储器硬件(共享、专用或组)。该代码被配置为提供本文描述的控制器、模块和系统的特征。另外,在本申请中,术语“模块”或“控制器”可以用术语“电路”代替。
车辆1还可以包括检测或确定车辆1的当前位置的全球定位系统(GPS)(未示出)。车辆还可以包括代替相机100的其他图像传感器、以及诸如激光雷达传感器、雷达传感器、超声传感器或安装在车辆前部的其他传感器等环境传感器(未示出)。图像传感器和环境传感器检测关于车辆1的周围环境的信息。可以将来自图像传感器和环境传感器的数据传送到控制器200并由控制器200接收。例如,可以将来自图像传感器和环境传感器的数据通过通信设备230传送到控制器200,如图4所示并在下面详细讨论。
显示界面300可以包括车辆1中的各种信息显示器。例如,显示界面300可以是仪表组、导航设备或位于车辆1内部或上的一些其他设备中的多功能显示器。以这种方式,显示界面300向驾驶者400显示信息,并且具体地向驾驶者400的眼睛410(图2中示出)显示信息以供驾驶者400查看。
如下所述,环境动画系统感测车辆1外部的三维风景S的颜色和照明,并在显示界面300上显示这些颜色中的一种或多种作为背景照明,以与例如已经在位于车辆1上或内的显示界面300上为驾驶者400显示的信息相结合,从而增强驾驶者驾驶或乘坐车辆1的体验的乐趣。
图2是示出根据本教导的环境动画系统如何显示在车辆1外部检测到的颜色作为显示界面300的一部分的示意图。在图2中,相机100捕获来自风景S的光,风景S可以是车辆1外部的环境,也称为“环境外部条件”,并且产生可以由控制器200处理以创建平面图像500的数字图像信号。例如,将数字图像信号发送到控制器200以创建平面图像500,其是由相机100检测到的风景S(即,环境外部条件)的二维表示。然后,由控制器200对平面图像500处理并整形,以依从、弯曲、适配和/或环绕在由控制器200创建的虚拟球形照明对象600周围。这样,控制器200创建了被环绕图像500(或适配的图像)(即,先前的平面图像500)围绕的球形照明对象600。球形照明对象600是球形对象的数字或虚拟表示。
控制器200使用具有环绕图像500的球形对象的虚拟表示的构造,以将球形环绕图像500投射到车辆1的显示界面300上,以供驾驶者400查看。这允许环绕球形照明对象600的图像500的照明和色调与车辆1外部的室外周围环境的照明和色调相对应。
控制器200能够使球形照明对象600在虚拟三维空间(采用XYZ坐标)中虚拟地旋转和移动,以将来自环绕球形照明对象600的图像500的不同颜色显示到显示界面300上。当用于在显示界面300上显示颜色时,在来自球形照明对象600的光投射在显示界面300上时,球形照明对象600的移动对于驾驶者400是可见的。例如,如果球形照明对象600虚拟地投射在显示界面300的左上方,则该区域的光将最饱和,并且最亮的颜色将在该位置然后从那里逐渐淡化。
图3A是根据现有技术的照明对象的特写。此处,计算机生成的一般光源610在所有方向上投射光,其中仅一部分投射光行进到平面图像500,并且部分光行进通过平面图像500以将平面图像500的颜色投射到显示界面(未显示)。此处,由于并非来自光源610的所有光都用于将光投射到图像500上,所以光投射对于驾驶者(未示出)看起来不鲜明或立体。相反,图像500看起来平坦且无趣。
而且,因为图像500是平坦的,所以来自光源610的光可能难以将图像500的不同颜色投射到显示界面上。
图3B是根据本教导的环境动画系统的球形照明对象600的特写。此处,来自相机100的平面图像500环绕在球形照明对象600周围。这样,来自球形照明对象600并沿不同方向投射的所有光能够照亮整个环绕图像500。此外,当环绕图像500随着球形照明对象600旋转时,能够在不同方向上投射与外部环境照明对应的来自环绕图像500的不同颜色。
作为示例,对球形照明对象600形象化的一种方式是想象人在房间中,在房间中,墙壁、地板和天花板覆盖有金属材料,并且类似于球形照明对象600的灯泡存在于房间内。这种具有球形表面的灯泡具有围绕灯泡表面的蓝色和红色图像。当点亮灯泡时,蓝色和红色的光发射到整个房间,并投射到金属墙壁上。当旋转在灯泡表面上具有蓝色和红色图像的灯泡时,投射在墙壁的特定区域上的颜色也会改变。与示例性灯泡相对应的球形照明对象600以类似的方式与环绕图像500一起工作。
更详细地,车辆1中的相机100生成图像500。然后,图像500由控制器200处理成高动态范围图像(HDRI),其中,球形照明对象600具有挨着球形照明对象600的平面图像500。然后,平面图像500完全环绕在球形照明对象600周围,其中光从球形照明对象600透出。
与上述示例类似,光从球形照明对象600透出,穿过环绕图像500(其基本上是球形图像),并且在所有方向上将对应于环绕球形照明对象600的图像的颜色的彩色光投射到周围环境中。取决于球形图像500随着球形照明对象600的旋转,与外部环境的环境照明相对应的不同彩色图形被投射到显示界面300上。
与在照明对象前面具有平面图像500(照明对象仅在平面图像500面对的单个一维方向上推送彩色光)相比,通过使图像500环绕成在球形照明对象600周围的球形形状,来自球形照明对象600的所有光都用于投射来自环绕图像500的颜色。因此,可以将更亮的照明颜色投射到显示界面300上。而且,与涉及平面图像500的情况相比,当球体移动或旋转时,可以更容易地将来自环绕图像500的不同部分的不同颜色的光投射到特定界面上。
如前所述,具有环绕图像500的球形照明对象600可以被移动、旋转、倾斜、围绕其轴转动等。此处,环绕图像500可以随着球形照明对象600移动和旋转。这样,随着具有环绕图像500的球形照明对象600的取向改变,球形照明对象600与环绕图像500一起将在不同方向上朝向显示界面300投射不同颜色的光。即,从球形照明对象600投射并通过环绕图像500的颜色根据具有环绕图像500的球形照明对象600的旋转而改变。
图4是根据本教导的环境动画系统的控制器200的方框图。控制器200可以是微型计算机,控制器200包括连接到处理器220并连接到通信设备230的存储器210。存储器210可以存储由相机100拍摄的图像500的图像数据,包括由相机100捕获的颜色信息或者光强度。通信设备230可以与车辆1中的其他设备或车辆1外部的其他设备进行信息通信。控制器200可以具有用软件编程以实施软件程序的硬件组件。
图5是根据本教导的环境动画系统的控制器200执行和实施的方法的流程图。在步骤S100中,相机100拍摄风景S的图像500。然后将图像500的图像数据信号发送到控制器200。在步骤S200,控制器200生成虚拟球形照明对象600。在步骤S300,控制器200随后将由相机100拍摄的图像500虚拟地适配或环绕到虚拟球形照明对象600。然后,在S400,控制器将环绕并覆盖球形照明对象600的图像500虚拟地投射在显示界面300上,以供驾驶者400用他或她的眼睛410查看。即,控制器200执行在虚拟空间中的步骤S200-S400。
环境动画系统可以是导航系统或仪表组的一部分,其可以从外界“吸收”照明情况并在车辆1的显示界面上显示相应的颜色。以下提供根据本教导的环境动画系统的示例性实施方式。
图6A示出了根据本教导的环境动画系统的显示界面300。在该示例中,显示界面300是仪表组700,如图6A的下半部分所示。仪表组700包括速度表710、转速表720(或转数表)和转速表720内的针730。图6A的顶部还示出了由相机100拍摄的图像500。在这种情况下,车辆1驾驶通过风景S,例如沙漠场景,例如莫哈韦沙漠,背景中有山。车辆1上的控制器200从车辆1的相机100(或前相机)接收风景S的图像500,例如数字图像500。控制器200然后将图像500用作图形的“现场光源”(即,不是简单的颜色),并将该光投射到“渲染表面”(即构成人机界面(HMI)界面或仪表组图形的数字图形部分的任何形状)。
在该示例中,相机100在一天中的特定时间(例如在日出或日落期间)检测或拍摄外部环境的图像500。此处,检测在此期间由相机100拍摄的天空的所有颜色,橙色、黄色、黑色、灰色、蓝色、图像500中的任何事物,由处理器220对其处理并记录到控制器200的存储器210中。然后可以由控制器200指定这些颜色中的任何颜色,以从球形照明对象600投射到仪表组700形式的显示界面300的特定部分上。可替换地,可以将图像500的颜色指定为整个仪表组700顶部上的层。
仪表组700的画面(frame)具有来自其上投射有风景S(即,来自相机100的馈送)的球形照明对象600的“光源”。这些图形可以每隔几秒(不到1秒)或几分钟(不到1分钟)自动或手动更新,并且“实时”或接近“实时”地被重新渲染,使得光源总是正在渲染平面图像500,其中平面图像500是相机100所拍摄的风景S的现场或最接近现场的图像。在车辆1外部太阳正在落山的日落情况下,该过程允许与天空的变化颜色相对应的颜色投射到仪表组700上。此处,投射的颜色将会与天空的变化的外部环境颜色(外部环境颜色从蓝色、橙色、粉色等变为连续的较暗颜色,然后以漆黑色结束)相对应地改变颜色。
特别地,图像500示出了日出或日落的风景S,其具有黄色YE背景,其描绘了太阳附近的天空颜色。然后,该颜色由相机100捕获到图像500中,然后由控制器200将图像500环绕在球形照明对象600周围。球形照明对象600然后将黄色YE从图像500投射到转速表720的位于针730下方的部分上。这可以被制作为动画,以显示车辆1的发动机的每分钟转数(RPM)的变化(即,显示对应于加速车辆的增加的发动机RPM和/或由车辆1的发动机吸入的增加的燃料,以供驾驶者400用他/她的眼睛410查看)。
注意,通常仅将图像500投射在显示界面300的由控制器200指定的部分上,而不是将整个图像500覆盖在整个显示界面300上。例如,在以上的仪表组700中,仅对针730下方的区域投射来自球形照明对象600和图像500的彩色光。
此外,可以在驾驶者400拍摄的图像500内改变“现场光源”的部分(即,控制器200参照车辆1正在行进的地面所聚焦或指向的图像500的部分)。即使来自相机100的图像500是在特定时间拍摄的相同图像500,控制器200也可以基于角度选择不同的色调,即如果调整这样的角度以聚焦在沙漠区域上,则仪表组的画面的色调应具有棕色BR色调。如果调整这样的角度以聚焦在天空的上部,则仪表组的画面的色调应为蓝色BL色调。
例如,图6B是根据本教导的环境动画系统的显示界面300的变形。此处,如果车辆1在一天的中间行驶,则由相机100拍摄的图像500可以具有描绘蓝天的蓝色BL。然后,由相机100捕获该蓝色BL并将其制成图像500,然后将其适配到球形照明对象600以传递到仪表组700的速度表710和转速表720上。那么此处蓝色将在转速表720的针730上方显示为动画,其可以示出发动机中转数的减小。
图6C是根据本教导的环境动画系统的显示界面300的另一变形。此处,在该示例中,相机100更多地指向沙漠的地面。此处,沙漠的棕色BR由相机100捕获并投射到图像500。然后将图像500适配到球形照明对象600,并且然后将环绕图像500投射到显示界面300,在这种情况下,投射到仪表组700内的转速表720。棕色BR代替先前的蓝色BL或黄色YE。
因此,虽然仪表组700的颜色可以基于一天中的时间而改变,但是它也可以基于在由相机100拍摄并投射到仪表组700上的图像500的一部分上捕获的颜色而改变。
图7A是根据本教导的环境动画系统的显示界面300的图示。在图7A中,示出了可以是导航系统的一部分的信息娱乐显示800,以代替仪表组700来作为显示界面300。此处,信息娱乐显示800包括音频图标810、导航图标820(例如,GPS导航图标)、以及在应用程序显示850中包括的应用程序图标830。信息娱乐显示800可以被分成包括导航设备显示840在内的分离显示,导航设备显示840具有在应用程序显示850上方显示的导航地图。在当前情况下,拍摄的图像500显示基于日落或日出天空的黄色YE天空背景。即,当以附带的功能选择与应用程序图标830相关联的软件应用程序以在导航设备显示840上显示导航地图时,来自天空的黄色YE光投射通过球形照明对象600以围绕导航图标820(或GPS导航图标)。
如前所述,投射到显示界面300的环境或颜色基于由相机100拍摄并由控制器200选择的图像500的颜色。另外,显示在显示界面300上的项目,例如功能图标810、820、830可以被描述为计算机辅助设计(CAD)特征。即,通过CAD创建的特征。功能图标810、820、830中的每一个可以分别地具有CAD集合,其可以被分配有针对该CAD的特定材料照明功能集合。例如,导航图标820可以被分配金属饰面(finish),即分配有反射金属饰面。然后,具有球形环绕图像500的球形照明对象600在显示界面300上的应用程序显示850内显示的导航图标820“后面”投射光。黄色YE然后投射到围绕导航图标的反射金属饰面上。
此处,根据投射到界面上的图像500的颜色,驾驶者400所看到的将会改变。例如,如果旋转具有环绕图像500的球形照明对象600,则颜色将基于显示界面300在空间中的位置以及具有环绕图像500的球形照明对象600在空间中的位置而改变。例如,如果具有环绕图像500的球形照明对象600向左旋转90度,则不同的颜色从其中透出,这是因为图像500现在已经变成球形并且随着球形照明对象600进行旋转,并且图像500的不同部分以及图像500的颜色现在投射到显示界面300上。
在替代方案中,可以创建图像500,该图像500被渲染成围绕球形照明对象600的球形形状并且由球形照明对象600点亮,使得环绕图像500上的颜色可以投射到显示界面300上。然后,可以创建利用CAD数据或“CAD框”创建的显示界面300上的数字图像。CAD数据/CAD框可以包括形成数字仪表组图像、在数字音频-视频控制界面或数字GPS导航控制界面内显示的图标等的数据。要在显示界面300上显示的该CAD框可以虚拟地移动到该球形照明对象600周围的空间中的任何位置。相反,球形照明对象600可以虚拟地放置在显示界面300(或数字图像显示界面)的上方或下方,并且显示界面300的颜色将根据环绕图像500的哪个部分围绕显示界面300内显示的CAD框移动并投射到该CAD框上而变化。
图7B示出了根据本教导的环境动画系统的显示界面300的变形。图7B示出了与图7A类似的特征,除了图像现在是在一天的中间拍摄的。现在显示蓝色BL天空,并因此围绕所选应用程序功能的颜色被照亮为蓝色BL。
在另一个示例中,可以设置仪表组700或HMI中的“渲染表面”的“正常条件”,其中,来自环绕图像500的具有默认颜色的“默认照明条件”由球形照明对象600投射到仪表组700上。
此外,仪表组700中的最多渲染的颜色表面可以具有虚拟地投射到其上的基本白色背景的光源,以使得仪表组700在被观看时具有高光。
图8是根据本教导的环境动画系统的另一示意图。在图8中,该设置类似于图2中所示的设置,除了存在多个球形照明对象900、910。每个球形照明对象900、910可以具有虚拟地环绕它的图像500。取决于具有其各自的环绕图像500的球形照明对象900、910的位置和取向,可以在任何给定时间将不同颜色虚拟地投射到在不同位置的显示界面300上。
为了说明的目的,仅显示了两个,但可能存在多于仅两个球形照明对象900和910。
提供示例性实施例以使本公开内容详尽,并且本公开内容将向本领域技术人员充分传达范围。提出了许多具体细节,例如特定组件、设备和方法的示例,以提供对本公开内容的实施例的透彻理解。对于本领域技术人员显而易见的是,不需要采用特定细节,示例性实施例也可以以许多不同形式体现,并且任何一个都不应被解释为限制本公开内容的范围。在一些示例性实施例中,未详细描述公知的过程、公知的设备结构和公知的技术。
本文使用的术语仅用于描述特定示例性实施例的目的,而不是要进行限制。如本文所使用的,除非上下文另有明确指示,否则单数形式“一”、“一个”和“所述”也要包括复数形式。术语“包括”、“包含”、“有”和“具有”是包含性的,并因此指定所述特征、完整事物、步骤、操作、元件和/或组件的存在,但不排除还存在或添加一个或多个其他特征、完整事物、步骤、操作、元件、组件和/或它们的集合。除非特别标识为执行顺序,否则本文描述的方法步骤、过程和操作不应被解释为必须要求它们以所讨论或示出的特定顺序执行。还应理解可以采用额外的步骤或替代的步骤。
当一个或多个元件或一个或多个特征在图中示出时,除了图中所示的取向之外,空间相对术语是要涵盖使用或操作中的设备的不同取向。例如,如果图中的设备被翻转,则被描述为在其他元件或特征“下方”或“下面”的元件将被定向为在其他元件或特征“上方”。因此,示例性术语“下方”可以包含上方和下方的取向。设备可以以其他方式定向(旋转90度或处于其他取向),并且相应地解释本文使用的空间相对描述词。元件或层被称为在另一元件或层“上”、“接合”、“连接到”或“耦合到”另一元件或层,它可以直接在另一元件或层上,直接接合、连接或耦合到另一元件或层,或者可以存在中间元件或层。相反,当元件被称为“直接”在另一元件或层“上”、“直接接合”、“直接连接到”或“直接耦合到”另一元件或层时,可以不存在任何中间元件或层。用于描述元件之间关系的其他词语应以类似的方式解释(例如,“在......之间”与“直接在...之间”,“相邻”与“直接相邻”等)。如本文所使用的,术语“和/或”包括一个或多个相关所列项目的任何和所有组合。
尽管本文可以使用术语第一、第二、第三等来描述各种元件、组件、区域、层和/或部分,但是这些元件、组件、区域、层和/或部分不应受到这些术语限制。这些术语可以仅用于将一个元件、组件、区域、层或部分与另一区域、层或部分区分开。除非上下文明确指出,否则本文使用的诸如“第一”、“第二”和其他数字术语等术语不暗示顺序或次序。因此,在不脱离示例性实施例的教导的情况下,下面讨论的第一元件、组件、区域、层或部分可以被称为第二元件、组件、区域、层或部分。
为了便于描述,本文可以使用空间相对术语,例如“内部”、“外部”、“下面”、“下方”、“下部”、“上方”、“上部”等,以描述一个元件或特征与另一元件或特征的关系。
已经出于例示和描述的目的提供了实施例的前述描述。它不是要进行穷举或限制本公开内容。特定实施例的各个元件或特征通常不限于该特定实施例,而是在适用的情况下,特定实施例的各个元件或特征是可互换的并且可以在所选实施例中使用,即使没有具体示出或描述。它也可以以多种方式变化。不应将这些变化视为脱离本公开内容,并且所有这些修改都要被包括在本公开内容的范围内。

Claims (20)

1.一种环境动画系统,包括:
图像传感器,所述图像传感器被配置为拍摄车辆(1)外部的环境的图像(500);
显示界面(300),所述显示界面(300)被配置为向所述车辆(1)的驾驶者(400)显示信息;以及
控制器(200),所述控制器(200)与所述图像传感器和所述显示界面(300)通信,并被配置为:
生成虚拟球形照明对象(600),
对所述图像(500)进行整形以适配在所述虚拟球形照明对象(600)周围,以及
将适配在所述虚拟球形照明对象(600)周围的所述图像(500)的一部分投射到所述显示界面(300)上。
2.根据权利要求1所述的环境动画系统,其中,所述图像传感器是相机(100)。
3.根据权利要求1所述的环境动画系统,其中,所述显示界面(300)包括仪表组(700)。
4.根据权利要求1至3中任一项所述的环境动画系统,其中,所述显示界面(300)包括导航设备显示(840)。
5.根据权利要求1所述的环境动画系统,其中,所述控制器(200)被配置为使所述虚拟球形照明对象(600)在虚拟三维空间中移动和旋转。
6.根据权利要求5所述的环境动画系统,其中,从所述虚拟球形照明对象(600)投射并通过所述图像(500)的颜色根据具有所适配的图像的所述虚拟球形照明对象(600)的旋转而改变。
7.根据权利要求5所述的环境动画系统,其中,所述虚拟球形照明对象(600)的移动被配置为在所述显示界面(300)上可见。
8.根据权利要求5至7中任一项所述的环境动画系统,其中,所适配的图像被配置为能够随着所述虚拟球形照明对象(600)移动和旋转。
9.根据权利要求1所述的环境动画系统,其中,所述显示界面(300)包括利用计算机辅助设计(CAD)数据创建的特征,并且所述虚拟球形照明对象(600)将光投射通过所适配的图像并将所述光投射到所述CAD上。
10.根据权利要求9所述的环境动画系统,其中,所述特征包括功能图标(810、820、830)。
11.一种环境动画方法,包括:
利用图像传感器拍摄车辆(1)外部的风景的图像(500);
利用控制器(200)生成虚拟球形照明对象(600);
利用所述控制器(200)对所述图像(500)进行整形以适配在所述虚拟球形照明对象(600)周围;以及
利用所述控制器(200)将适配在所述虚拟球形照明对象周围的所述图像(500)的一部分投射到所述车辆(1)的显示界面(300)上。
12.根据权利要求11所述的环境动画方法,其中,所述图像传感器是相机(100)。
13.根据权利要求11所述的环境动画方法,其中,所述显示界面(300)包括仪表组(700)。
14.根据权利要求11至13中任一项所述的环境动画方法,其中,所述显示界面(300)包括导航设备显示(840)。
15.根据权利要求11所述的环境动画方法,还包括利用所述控制器(200)使所述虚拟球形照明对象(600)在虚拟三维空间中移动和旋转。
16.根据权利要求15所述的环境动画方法,其中,从所述虚拟球形照明对象(600)投射并通过所述图像(500)的颜色根据具有所述图像(500)的所述虚拟球形照明对象(600)的旋转而改变。
17.根据权利要求15所述的环境动画方法,其中,所述虚拟球形照明对象(600)的移动被配置为在所述显示界面(300)上可见。
18.根据权利要求15至17中任一项所述的环境动画方法,其中,所适配的图像被配置为能够随着所述虚拟球形照明对象(600)移动和旋转。
19.根据权利要求11所述的环境动画方法,其中,所述显示界面(300)包括利用计算机辅助设计(CAD)数据创建的特征,并且所述虚拟球形照明对象(600)将光投射通过所适配的图像并将所述光投射到所述CAD上。
20.根据权利要求19所述的环境动画方法,其中,所述特征包括功能图标(810、820、830)。
CN201811091848.4A 2017-09-26 2018-09-19 用于环境动画和在界面上投射环境动画的系统和方法 Expired - Fee Related CN109552177B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/715,342 US10380714B2 (en) 2017-09-26 2017-09-26 Systems and methods for ambient animation and projecting ambient animation on an interface
US15/715,342 2017-09-26

Publications (2)

Publication Number Publication Date
CN109552177A true CN109552177A (zh) 2019-04-02
CN109552177B CN109552177B (zh) 2022-02-18

Family

ID=65638660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811091848.4A Expired - Fee Related CN109552177B (zh) 2017-09-26 2018-09-19 用于环境动画和在界面上投射环境动画的系统和方法

Country Status (3)

Country Link
US (1) US10380714B2 (zh)
CN (1) CN109552177B (zh)
DE (1) DE102018123401B4 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120054A1 (en) * 2001-05-04 2012-05-17 Jared Sandrew System and method for minimal iteration workflow for image sequence depth enhancement
CN102665084A (zh) * 2010-12-09 2012-09-12 伊德斯德国股份有限公司 周围环境显示装置以及带有这种周围环境显示装置的交通工具和全景图像的显示方法
CN103802725A (zh) * 2012-11-06 2014-05-21 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
CN104512332A (zh) * 2013-10-08 2015-04-15 现代自动车株式会社 获取车辆的图像的方法和装置
US20150358613A1 (en) * 2011-02-17 2015-12-10 Legend3D, Inc. 3d model multi-reviewer system
CN105765966A (zh) * 2013-12-19 2016-07-13 英特尔公司 碗形成像系统
WO2017158829A1 (ja) * 2016-03-18 2017-09-21 三菱電機株式会社 表示制御装置および表示制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19801801C2 (de) 1997-01-20 2000-06-29 Nissan Motor Navigationssystem und Speichermedium für das Speichern dafür verwendeter Betriebsprogramme
JP2004157434A (ja) 2002-11-08 2004-06-03 Calsonic Kansei Corp 車両用表示装置
JP2007030531A (ja) 2005-07-22 2007-02-08 Calsonic Kansei Corp 車両用表示装置
JP4765524B2 (ja) 2005-09-30 2011-09-07 日産自動車株式会社 車両用表示装置
DE102006018672A1 (de) 2006-04-21 2007-10-25 Volkswagen Ag Multifunktionsbedieneinrichtung und Radionavigationssystem für ein Kraftfahrzeug
JP2008168693A (ja) 2007-01-10 2008-07-24 Toyota Motor Corp 車両用表示装置
JP2009276943A (ja) 2008-05-13 2009-11-26 Digital Media Professional:Kk 車両用表示装置
JP5181939B2 (ja) 2008-09-03 2013-04-10 アイシン・エィ・ダブリュ株式会社 車両用計器表示装置、車両用計器表示方法及びコンピュータプログラム
WO2010104364A2 (ko) * 2009-03-13 2010-09-16 엘지전자 주식회사 VoIP 통신에 있어서 효율적인 자원 할당 기법
JP4903240B2 (ja) * 2009-03-31 2012-03-28 シャープ株式会社 映像処理装置、映像処理方法及びコンピュータプログラム
JP5387978B2 (ja) 2009-12-14 2014-01-15 株式会社デンソー 車両用表示装置
JP5893534B2 (ja) 2012-09-10 2016-03-23 カルソニックカンセイ株式会社 車載装置
US20150254861A1 (en) * 2012-10-18 2015-09-10 T. Eric Chornenky Apparatus and method for determining spatial information about environment
JP2014213636A (ja) 2013-04-23 2014-11-17 アルパイン株式会社 車両用表示装置
JP5916248B2 (ja) * 2014-02-25 2016-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体
US20160293142A1 (en) 2015-03-31 2016-10-06 Upton Beall Bowden Graphical user interface (gui) shading based on context
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120054A1 (en) * 2001-05-04 2012-05-17 Jared Sandrew System and method for minimal iteration workflow for image sequence depth enhancement
CN102665084A (zh) * 2010-12-09 2012-09-12 伊德斯德国股份有限公司 周围环境显示装置以及带有这种周围环境显示装置的交通工具和全景图像的显示方法
US20150358613A1 (en) * 2011-02-17 2015-12-10 Legend3D, Inc. 3d model multi-reviewer system
CN103802725A (zh) * 2012-11-06 2014-05-21 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
CN104512332A (zh) * 2013-10-08 2015-04-15 现代自动车株式会社 获取车辆的图像的方法和装置
CN105765966A (zh) * 2013-12-19 2016-07-13 英特尔公司 碗形成像系统
WO2017158829A1 (ja) * 2016-03-18 2017-09-21 三菱電機株式会社 表示制御装置および表示制御方法

Also Published As

Publication number Publication date
DE102018123401B4 (de) 2020-06-18
CN109552177B (zh) 2022-02-18
US20190096029A1 (en) 2019-03-28
US10380714B2 (en) 2019-08-13
DE102018123401A1 (de) 2019-03-28

Similar Documents

Publication Publication Date Title
US10129518B2 (en) Vehicle vision system with customized display
CN105592310B (zh) 用于投影仪校准的方法和系统
EP2437244A1 (en) Information presentation device
AU2018225269B2 (en) Method, system and apparatus for visual effects
CN109789831A (zh) 用于提供车辆的车辆周围环境的后视镜视图的方法
TW201527683A (zh) 混合真實性聚光燈
US10311636B1 (en) Layered panoramas for virtual reality (VR)
WO2018134897A1 (ja) 位置姿勢検出装置、ar表示装置、位置姿勢検出方法およびar表示方法
CN112262413A (zh) 混合现实中的实时合成
JP6529571B1 (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、およびプログラムを実行するための情報処理装置
CN109552177A (zh) 用于环境动画和在界面上投射环境动画的系统和方法
JP2016161882A (ja) 光投影装置
JPWO2016157996A1 (ja) 情報処理装置、情報処理方法、プログラム及び画像表示システム
WO2021261231A1 (ja) 表示装置及び表示方法
US11188767B2 (en) Image generation device and image generation method
JP7099239B2 (ja) 表示装置及び表示制御装置
KR101788471B1 (ko) 조명 정보 기반의 객체 증강 현실 디스플레이 장치 및 방법
KR20130024513A (ko) 차량의 주변 영상 제공 장치 및 방법
US12022243B2 (en) Background display device
JP2023077731A (ja) 車両用表示制御システム、車両用表示制御方法、及び車両用表示制御プログラム
US20220365349A1 (en) Front and peripheral view lens areas for virtual reality headsets
CN111108530B (zh) 信息显示装置和方法以及记录介质
CN115862472A (zh) 显示屏、遮阳板、车辆的三维视觉识别方法、车辆及介质
JP2024521662A (ja) 仮想現実ヘッドセットのための前方及び周辺のビューレンズ領域
CN117981295A (zh) 信息处理设备和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220218

CF01 Termination of patent right due to non-payment of annual fee