CN116912135A - 用于基于车辆的成像的系统及方法 - Google Patents

用于基于车辆的成像的系统及方法 Download PDF

Info

Publication number
CN116912135A
CN116912135A CN202310367675.9A CN202310367675A CN116912135A CN 116912135 A CN116912135 A CN 116912135A CN 202310367675 A CN202310367675 A CN 202310367675A CN 116912135 A CN116912135 A CN 116912135A
Authority
CN
China
Prior art keywords
image
vehicle
processor
computer
generation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310367675.9A
Other languages
English (en)
Inventor
D·奥戈罗德尼科夫
O·伊夫蒂哈尔
R·沃克
S·A·查佩基斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN116912135A publication Critical patent/CN116912135A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本公开提供了“用于基于车辆的成像的系统及方法”。本公开总体上涉及与生成图像相关联的系统和方法。由处理器执行的示例性方法可包括从第一车辆接收基于位于所述第一车辆的车厢区域中的对象的第一视野的第一图像和基于位于所述第一车辆外部的对象的第二视野的第二图像。所述方法还可包括从第二车辆接收基于位于所述第二车辆外部的对象的第三视野的第三图像。可基于所述第一图像、所述第二图像和所述第三图像生成合成图像。在一种情况下，可通过将所述第一图像的至少一部分叠加在所述第二图像的至少一部分和/或所述第三图像的至少一部分上来生成所述合成图像。

Description

用于基于车辆的成像的系统及方法
技术领域
根据总体概述，本公开中描述的实施例总体上涉及与使用车辆中的图像生成系统生成图像相关联的系统和方法。
背景技术
生成坐在车辆内部的一个或多个人的感兴趣的图像可能由于约束(诸如狭窄的空间)以及车辆中缺乏可用于生成此类图像的设备而具有挑战性。
发明内容
一种由处理器执行的示例性方法可包括从第一车辆接收第一图像和第二图像。所述第一图像基于位于所述第一车辆的车厢区域中的对象的第一视野，并且所述第二图像基于位于所述第一车辆外部的对象的第二视野。所述方法还可包括从第二车辆接收基于位于所述第二车辆外部的对象的第三视野的第三图像。然后可基于所述第一图像、所述第二图像和所述第三图像生成合成图像。在一个示例性场景中，位于所述第一车辆的所述车厢区域中的所述对象可包括第一个体。位于所述第一车辆外部和/或所述第二车辆外部的所述对象可包括第二个体。所述合成图像可包括所述第一个体和所述第二个体。在另一示例性场景中，可通过将所述第一图像的至少一部分叠加在所述第二图像的至少一部分和/或所述第三图像的至少一部分上来生成所述合成图像。
附图说明
下面参考附图阐述具体实施方式。使用相同的附图标记可指示类似或相同的项。各种实施例可利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。贯穿本公开，取决于背景，可以可互换地使用单数和复数术语。
图1示出了根据本公开的实施例的包括图像生成系统的示例性车辆。
图2示出了包括设置在图1所示的车辆中的图像生成系统的示例性系统。
图3示出了根据本公开的实施例的可包括在图像生成系统中的示例性功能块。
图4示出了根据本公开的实施例的可通过使用图像生成系统生成的示例性图像。
图5示出了根据本公开的实施例的可包括在包括图像生成系统的车辆中的一些功能部件。
图6示出了根据本公开的实施例的可包括在包括图像生成系统的计算机中的一些功能部件。
具体实施方式
下文将参考附图更全面地描述本公开，其中示出了本公开的示例性实施例。然而，本公开可以许多不同形式来体现，并且不应被解释为受限于本文阐述的示例实施例。相关领域技术人员将理解，在不脱离本公开的精神和范围的情况下可对各种实施例作出形式和细节上的各种变化。因此，本公开的广度和范围不应受到上述示例性实施例中的任何一个限制，而是应仅根据所附权利要求和其等效物限定。以下描述是为了说明目的而呈现，并且不意图是详尽性的或受限于所公开的精确形式。应当理解，替代实施方式可以任何期望的组合来使用，以形成本公开的另外的混合实施方式。例如，相对于特定装置或部件描述的功能中的任一者可由另一装置或部件执行。此外，虽然已描述了具体的装置特性，但本公开的实施例可涉及众多其他装置特性。另外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但应理解，本公开不一定受限于所描述的具体特征或动作。而是，将具体特征和动作公开为实现所述实施例的说明性形式。
本文使用的某些词语和短语仅是为了方便，并且此类词语和术语应被解释为指代本领域普通技术人员通常以各种形式和等效形式理解的各种对象和动作。例如，必须理解，如本文关于图像所使用的词语“对象”涵盖车辆内的各种无生命对象(座椅、仪表板、方向盘等)、车辆内的有生命对象(驾驶员、乘客、宠物等)、车辆外的无生命对象(建筑物、雕像、结构等)、车辆外的自然对象(树木、山脉、瀑布、河流、动物、鸟类等)和车辆外的风景(日落、日出等)。诸如“图像”和“照片”的词语可在本文中以可互换的方式使用。更具体地，如本文所使用的词语“图像”是广泛/通用的标签，其涵盖可由各种类型的图像捕获装置(静态相机、数字相机、摄像机、智能电话等)中的任一者捕获的各种形式的图像和照片中的任一者。各种形式的图像和照片可包括静止照片、视频片段、实时视频、电影、静止帧等。静止帧是可从视频片段或视频流获得的单个静态图像。视频片段通常由在一段时间内顺序地捕获的一组图像组成。帧可以是作为视频片段或视频流的一部分的一组图像中的一个图像。视频片段可包括由帧线分开的单独帧(30帧通常用于1秒视频，30fps)。可使用各种类型的帧格式(例如，i帧、p帧和b帧)和各种类型的压缩算法来压缩视频帧。还可使用技术诸如例如由H.264视频标准和/或H.265视频标准定义的技术将视频帧分割成切片序列。
如本公开所使用的词语“车辆”可涉及各种类型的车辆中的任一者，例如诸如汽车、货车、运动型多用途车、卡车、电动车辆、汽油车辆和混合动力车辆。描述的实施例适用于各种类型的车辆，这些车辆由汽车工程师协会(SAE)定义为包括从0级(完全手动)到5级(完全自主)的六个驾驶自动化级别。因此，在各种情况下，本文参考车辆的驾驶员的描述应被理解为同样适用于车辆中的乘客(在驾驶员操作的车辆的情况下和在可能不存在“驾驶员”的自主车辆的情况下)。
还必须理解，如本文中所使用的诸如“实施方式”、“应用”、“场景”、“情况”和“情形”的词语是短语“根据本公开在一个示例中(“实施方式”、“应用”、“场景”、“情况”、“方法”和“情形”)的缩写版本。还必须理解，如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。
图1示出了根据本公开的实施例的包括图像生成系统125的车辆105。图像生成系统125可包括处理器126，所述处理器被配置为执行存储在存储器127中的计算机可执行指令以执行根据本公开的各种操作。下文描述了一些示例性操作。
车辆105还可包括诸如例如车辆控制器145、通信系统155、信息娱乐系统140和各种图像捕获装置(诸如例如相机110、相机111、相机112、相机113、相机114、相机115、相机116、相机120和相机130)的部件。在一些应用中，可在各种其他位置(诸如例如在车辆105的行李厢区域中)提供附加相机。这些部件可彼此通信地耦合并且耦合到图像生成系统125(无线地和/或经由有线连接)。
可操作车辆控制器145以执行与车辆105相关的各种操作，例如诸如控制发动机操作(燃料喷射、速度控制、排放控制、制动等)、管理气候控制(空气调节、加热等)、激活安全气囊、以及发出警告(检查发动机灯、灯泡故障、胎压低等)，并且还用于执行根据本公开的各种操作。
在所示场景中，车辆105是驾驶员操作的车辆，并且车辆控制器145响应由驾驶员150执行的动作(例如诸如，当驾驶员150执行制动操作时降低车辆105的速度，当驾驶员150应用巡航控制时使车辆105以巡航速度移动，以及当驾驶员150踩下加速器时选择合适的挡位)。
在另一示例性场景中，车辆105是自主车辆，并且车辆控制器145执行可复制由人类驾驶员执行的那些操作的各种操作的一些或全部。自主车辆的车辆控制器145可被配置为执行与根据本公开的提供成像辅助相关联的各种操作。提供成像辅助可包括例如自主地配置相机以捕获图像，并且(自主地或通过遵循由驾驶员150提供的指令)捕获图像。
信息娱乐系统140可包括各种娱乐项(诸如收音机、流式音频解决方案等，以及用于数字音频装置的USB访问端口)的组合。信息娱乐系统140还可包括其他类型的项，诸如例如导航系统和显示在显示屏上的图形用户界面(GUI)。驾驶员150可使用GUI与图像生成系统125交互以捕获各种图像，诸如例如位于车辆105外部的个体和对象的照片。
安装在车辆105中的相机可以是各种类型的图像捕获装置中的任一种，诸如例如捕获静止图像的数字相机、捕获视频片段的摄像机和/或捕获实时视频的摄像机。相机中的每一者可安装在车辆105上的各种位置中的任一者处。在所示的实施方式中，相机110安装在车辆105的内部部分中(在车厢区域中)，并且其他相机(相机115、相机120和相机130)中的每一者安装在车辆105的外部部分中。
更具体地，在所示示例中，相机130是安装在车辆105的车顶上的图像捕获装置，并且提供用于捕获位于车辆105外部周围任何地方的任何对象的图像的360度视野。图像被传送到图像生成系统125以执行根据本公开的各种操作。当车辆105是自主车辆时，相机130可被进一步配置为向车辆控制器145传送图像，以使得车辆控制器145能够自主地控制车辆105的移动(导航、碰撞避免等)。
相机115可安装在车辆105的前部上(例如，在前保险杠上、在格栅后面、在牌照上等)并且被配置用于捕获位于车辆105前方的对象的图像。相机120可安装在车辆105的后部上(例如，在后保险杠上、在行李厢上、在牌照上等)并且被配置用于捕获位于车辆105后方的对象的图像。根据本公开，由相机115和相机120捕获的图像可被传送到图像生成系统125。当车辆105是自主车辆时，由相机115和相机120捕获的图像可被传送到车辆控制器145，以使得车辆控制器145能够自主地控制车辆105的移动(导航、碰撞避免等)。
在一些实施方式中，由各种相机捕获的图像也可根据本公开传送到信息娱乐系统140和/或个人装置，诸如例如由驾驶员150携带的个人装置151。个人装置151可以是各种装置中的任一种，诸如例如智能电话、平板计算机、膝上型计算机或可穿戴智能装置(例如，智能手表)。在一种情况下，在捕获图像之前，驾驶员150可基于预览图像在信息娱乐系统140和/或个人装置151的显示屏上的显示来评估预览图像。例如，可执行评估以构成相机的视野。
根据本公开的成像操作可包括操作相机110以捕获基于位于车辆105的车厢区域中的对象的第一视野的第一图像并且操作相机130(和/或相机115和相机120)以捕获基于位于车辆105外部的对象的第二视野的第二图像。位于车辆105的车厢区域中的对象的第一视野可涵盖驾驶员150、乘客160和车辆105的各种部件(方向盘、仪表板、驾驶员座椅、乘客座椅、后挡风玻璃等)。在一些情况下，可使用除相机110之外的相机来捕获第一图像。例如，可操作相机114和/或相机116以捕获包括坐在车辆105的后排座椅中的一个或多个乘客的第一图像。
位于车辆105外部的对象的第二视野可涵盖例如站在车辆105外部的一个或多个个体、人造对象(建筑物、雕像、结构等)、自然对象(树木、山脉、瀑布、河流、动物、鸟类等)和风景(日落、日出等)。在一些情况下，第二视野还可包括车辆105的一部分(诸如例如车顶、行李厢、发动机罩等)。
在根据本公开的示例性实施方式中，图像生成系统125基于将第一图像和第二图像整合来生成合成图像。在根据本公开的示例性实施方式中，图像生成系统125将第一图像和第二图像传播到位于车辆105外部的计算机。计算机(未示出)基于将第一图像和第二图像整合来生成合成图像。下面提供与合成图像有关的进一步细节。
图2示出了包括设置在车辆105中的图像生成系统125的示例性系统200。在该示例性场景中，车辆105的通信系统155被配置为与各种装置诸如例如计算机230、云存储装置225和另一车辆的通信系统(诸如例如车辆260的通信系统220)无线地通信。
无线通信可经由网络210来执行，所述网络可包括任一种网络或网络的组合，诸如例如局域网(LAN)、广域网(WAN)、电话网络、蜂窝网络、电缆网络、无线网络和/或私有网络/公共网络(诸如互联网)。网络210的至少一部分包括无线通信链路(WiFi链路、车辆对外界(V2X)链路、车辆对车辆(V2V)链路等)，所述无线通信链路允许车辆105的通信系统155与车辆260的通信系统220通信。网络210还可支持无线通信链路(例如，蜂窝链路)，所述无线通信链路支持由驾驶员150携带的个人装置151与诸如例如车辆105的通信系统155、车辆260的通信系统220、计算机230和云存储装置225的装置之间的通信。
计算机230可以是各种类型的计算机中的任一种，诸如例如服务器计算机、客户端装置、个人计算机、云计算机和/或分布式计算机(多个计算机作为单个计算实体彼此协作操作)。在所示场景中，计算机230包括处理器236，所述处理器被配置为执行存储在存储器237中的计算机可执行指令以执行根据本公开的各种操作。必须理解，本文关于设置在车辆105中的图像生成系统125所描述的各种操作，特别是关于生成合成图像的操作，可由计算机230根据本公开执行。
云存储装置225可被配置为存储根据本公开生成的图像，以及可用于根据本公开生成图像的各种类型的内容(以各种格式)。各种类型的内容可包括例如可包括在根据本公开生成的合成图像中的计算机生成的图形(图标、图形、化身等)。存储在云存储装置225中的计算机生成的图形可由一个或多个计算机中的任一个中的各种处理器中的任一个或多个生成，包括例如计算机235的处理器236、图像生成系统125的处理器126和图像生成系统217的处理器(未示出)。
车辆260可以是各种类型的车辆(汽车、轿车、货车、卡车等)中的任一种，并且可包括由汽车工程师协会(SAE)定义的0级(完全手动)到5级(完全自主)的六个驾驶自动化级别中的任何级别。除了通信系统220之外，车辆260还可配备有一个或多个相机。在所示场景中，车辆260配备有相机215，所述相机可以是例如被配置为捕获数字图像的数字相机、被配置为捕获视频片段的摄像机或被配置为捕获实时视频的摄像机。相机215安装在车辆260的车顶上，并且提供用于捕获位于车辆260外部周围任何地方的任何对象的图像的360度视野。可在车辆260的车厢区域中提供附加相机(诸如例如相机216)以捕获位于车厢区域中的各种对象(人、人穿戴/携带的物品、宠物、行李、车辆部件等)的图像。
车辆260还可包括图像生成系统217，所述图像生成系统可基本上类似于设置在车辆105中的图像生成系统125。车辆260的图像生成系统217可被配置为与车辆105的图像生成系统125协作(经由通信系统220和通信系统155)以执行根据本公开的各种成像操作。
车辆260和车辆105可由一个或多个个体用于各种目的中的任一种。在图2所示的示例性场景中，车辆105是用于运输个体的豪华轿车(或派对巴士)，所述个体可以是参加事件(派对、舞会、婚礼、会议等)的个体群的成员。驾驶员150和乘客160(他们可以是所述群的成员)坐在车辆105的内部。
在替代场景中，车辆105可以是自主车辆，并且驾驶员150可以是车辆105的乘员并且没有驾驶责任。第一个体240(其也是所述群的成员)被示出为接近车辆105的驾驶员侧的乘客门。第二个体245被示出为在车辆105外部与第三个体250交谈。第二个体245和第三个体250可以是与所述群的成员相关联的人(朋友、父母等)，或者可以是未知的行人。
第四个体218(同样是所述群的成员)被示出为坐在车辆260的内部。第四个体218可能出于各种原因选择使用车辆260，诸如例如因为车辆105中没有座位，或者因为他/她从与车辆105不同的起始位置前往事件。车辆260的起始位置可以在或可以不在车辆105的起始位置的视野内。因此，在一些情况下，第四个体218可能无法看到车辆105，并且可选择与车辆105的乘员通信(例如，经由使用智能电话)以协调一些动作。
在根据本公开的示例性场景中，车辆105的乘员可能期望捕获不仅包括车辆105的乘员而且还包括位于车辆105外部的一些人的合照。在所示示例中，位于车辆105外部的人包括第一个体240、第二个体245、第三个体250和第四个体218(在车辆260中)。
因此，在根据本公开的第一示例性操作中，驾驶员150例如可通过经由信息娱乐系统140的GUI(或经由个人装置151)与图像生成系统125交互来发起图像捕获操作。发起图像生成系统125可涉及向图像生成系统125提供关于期望图像的第一组细节。
在一个示例性程序中，驾驶员150可通知图像生成系统125他/她希望在期望的图像中包括车辆105的乘员和位于车辆105外部并且在车辆105的视野中的其他人。驾驶员150还可通知图像生成系统125他/她希望在期望的图像中包括位于车辆105内部和/或外部的一些有生命对象和/或无生命对象(宠物、建筑物、动物等)。
图像生成系统125可通过捕获一个或多个预览图像来响应由驾驶员150提供的输入，并且可基于评估预览图像来确定可通过使用相机110和相机130来捕获期望的图像。更具体地，图像生成系统125可基于评估预览图像来确定相机110适合于捕获车辆105的乘员(以及诸如例如宠物的有生命对象，如果存在于车厢区域中的话)的图像。图像生成系统125还可确定相机130适合于捕获第一个体240、第二个体245和第三个体250的图像。
可省略相机120，因为没有个体位于车辆105后面。由于相对于相机130的冗余，相机115也可被省略，因为由相机130提供的图像内容包括可由相机115在这种情况下提供的图像内容。在一些情况下，可选择单个相机来捕获具有车辆105内部和/或外部的对象的各种视野的多个图像。
然后，图像生成系统125的处理器126可通过操作相机110以捕获例如基于位于车辆105的车厢区域中的对象的第一视野的第一图像，并且通过操作相机130以捕获基于位于车辆105外部的对象的第二视野的第二图像来进行图像捕获操作。然后，处理器126可基于第一图像和第二图像生成合成图像。合成图像可显示在信息娱乐系统140的显示屏上和/或个人装置151上，以供驾驶员150审查和批准。
在第二示例性实施方式中，第一图像和第二图像经由通信系统155和网络210无线地传送到计算机230。计算机235的处理器236生成合成图像并将合成图像传送到图像生成系统125以显示在信息娱乐系统140的显示屏上和/或个人装置151上。
由图像生成系统125的处理器126和/或由计算机235的处理器236生成的合成图像可通过使用各种生成程序来生成。在一个示例性图像生成程序中，第一图像叠加在第二图像上(或反之亦然)。所述叠加可例如涉及将第一图像放置在合成图像的前景层中以及将第二图像放置在合成图像的背景层中。可调整放置在合成图像的背景层中的第二图像的至少一些部分的各种图像特性，以便避免减损对前景层中的第一图像的强调。例如，可调整第二图像的至少某些部分的图像特性(诸如图像亮度、对比度、色调、阴影和/或锐度)，以避免减损对前景层中的第一图像的强调。
对第一图像的强调可旨在提供对驾驶员150、乘客160和车辆105的车厢区域中的一些对象(诸如例如气球、丝带和派对用具)的清晰度和焦点。例如，驾驶员150兴趣低(或不感兴趣)的对象可被模糊、遮蔽、去色和/或降低亮度。因此，合成图像的背景部分为前景部分中的某些对象提供背景。在这种情况下，背景是通过使用车辆105(豪华轿车、派对巴士等)前往事件(派对、舞会、婚礼等)。
在另一示例性图像生成程序中，可通过强调人物主题并弱化其他图像内容来生成合成图像。例如，第一图像中的人(驾驶员150和乘客160)和第二图像中的人(第一个体240、第二个体245和第三个体250)可保持清晰的焦点，并在合成图像中突出(更大的大小、更高的比例、更生动的颜色等)，而车辆部件和非人类对象可被渲染得不那么明显和不那么突出。在这种情况下，背景是参加事件(派对、舞会、婚礼、会议等)的人群中的成员。
在根据本公开的第二示例性操作中，驾驶员150可提供关于期望图像的第二组细节。在这种情况下，驾驶员150可通知图像生成系统125他/她希望在期望的图像中包括车辆105的乘员以及位于车辆105外部的人和位于车辆260中的人。期望的图像还可包括位于车辆260内部以及车辆105内部和外部的有生命对象和无生命对象(宠物、建筑物、动物等)。
图像生成系统125可通过操作相机110以捕获基于位于车辆105的车厢区域中的对象的第一视野的第一图像，并且通过操作相机130以捕获基于位于车辆105外部的对象的第二视野的第二图像来响应由驾驶员150提供的输入。
然后，图像生成系统125可与车辆260的图像生成系统217通信以从图像生成系统217请求包括第四个体218的图像。图像生成系统217可通过操作相机216以捕获基于位于车辆260的车厢区域中的对象的视野的图像来响应所述请求。所捕获的图像(在下文中称为第三图像)包括坐在车辆260中的第四个体218。然后，图像生成系统217将第三图像传送到车辆105的图像生成系统125。在一些情况下，图像生成系统217可在将第三图像传送到车辆105的图像生成系统125之前寻求并获得第四个体218的许可。
图像生成系统125接收由图像生成系统217提供的第三图像，并且基于第三图像、和其他图像(诸如例如上述第一图像和/或第二图像)中的一个或多个来生成合成图像。如上所述，第一图像基于位于车辆105的车厢区域中的对象的第一视野并且第二图像基于位于车辆105外部的对象的第二视野(第一个体240、第二个体245和第三个体250)。通过将第三图像与在图像生成系统125的控制下捕获的第一图像和/或第二图像整合而生成的合成图像可以诸如上述的各种方式(叠加、强调人类对象等)来格式化。
在替代实施方式中，计算机230可从车辆105的图像生成系统125接收第一图像和第二图像，并且从车辆260的图像生成系统217接收第三图像。计算机230可基于三个所接收的图像生成合成图像并且将合成图像传送到图像生成系统125以显示在信息娱乐系统140的显示屏上和/或个人装置151上。计算机230还可将合成图像传送到车辆260中的信息娱乐系统(未示出)和/或第四个体218的个人装置(未示出)。
在根据本公开的第三示例性操作中，驾驶员150可提供关于期望图像的第三组细节。在这种情况下，驾驶员150可通知图像生成系统125他/她希望在期望的图像中包括车辆105的乘员、位于车辆105外部的人、位于车辆260内部的人和位于车辆260外部的对象。图像生成系统125可通过操作相机110以捕获基于位于车辆105的车厢区域中的对象的第一视野的第一图像，并且通过操作相机130以捕获基于位于车辆105外部的对象的第二视野的第二图像来响应由驾驶员150以上述方式提供的输入。
然后，图像生成系统125可与车辆260的图像生成系统217通信，以从图像生成系统217请求上述第三图像以及具有基于位于车辆260外部的对象的视野的第四图像。在所示示例中，位于车辆260外部的对象可包括动物255(例如，马)以及第二个体245和第三个体250。图像生成系统125接收由图像生成系统217提供的第三图像和第四图像，并且基于第一图像、第二图像、第三图像以及第四图像中的两个或更多个生成合成图像。在另一实施方式中，计算机230基于接收四个图像并对其进行操作来生成合成图像。
在根据本公开的第四示例性操作中，驾驶员150可提供关于期望图像的第四组细节。在这种情况下，驾驶员150可通知图像生成系统125他/她希望在期望的图像中包括车辆105的乘员以及不在车辆105视野内的某些类型的对象。图像生成系统125可通过操作相机110以捕获基于位于车辆105的车厢区域中的对象的第一视野的第一图像来响应由驾驶员150以上述方式提供的输入。然后，图像生成系统125可以与计算机230和/或云存储装置225通信以获得包括不在车辆105视野内的某些对象的图像。
从计算机230和/或云存储装置225获得的一种类型的图像可以是例如野生动物保护区中的野生动物、地标性纪念建筑物(泰姬陵、白宫等)或自然地标(例如，尼亚加拉瀑布)的图像。从计算机230和/或云存储装置225获得的另一类型的图像可以是例如包含假想对象(例如，卡通人物或外星太空船)或假想场景渲染(例如，热带丛林或深空的艺术渲染)的图像。
图像生成系统125从计算机230和/或从云存储装置225接收图像，并且通过将第一图像与从计算机230和/或从云存储装置225获得的图像整合来生成合成图像。合成图像可显示在信息娱乐系统140的显示屏上和/或个人装置151上。
在替代示例性实施方式中，计算机230可从图像生成系统125接收第一图像，并且通过将第一图像与第二图像(野生动物、地标性纪念建筑物、自然地标等的图像)整合来生成合成图像。然后，合成图像可由计算机230传送到图像生成系统125，以显示在信息娱乐系统140的显示屏上和/或个人装置151上。
在一些应用中，图像生成系统125和/或计算机230可与云存储装置225交互以执行各种视频编辑操作，诸如例如为视频提供各种语言的字幕，以及使用人工智能执行诸如例如视频升级、改变帧速、视频彩色化和智能焦点计算的操作。视频升级可包括例如将720p视频上变频为1080p视频以及将1080p视频升级为8K视频。改变帧速可包括使用人工智能技术来提高速度和/或产生慢动作效果。例如，以8fps或16fps执行的视频捕获程序可被升级到60fps视频。可以各种帧速率(例如，60fps、120fps或240fps)获得慢动作效果。视频彩色化可涉及使用人工智能将黑白视频转换为彩色视频以执行最佳猜测。智能焦点计算可包括基于诸如例如可用带宽的因素的智能对象选择。
图3示出了可在图像生成系统125中和/或在计算机230中以硬件和/或软件的形式实现的一些示例性功能块。图像生成系统125中的硬件可例如以电路板的形式提供，所述电路板包含处理器126、存储器127和提供与设置在车辆105中的部件(诸如例如车辆控制器145、通信系统155和各种相机)的接口的部件。图像生成系统125中的软件可例如以软件模块的形式提供，所述软件模块以计算机可执行指令的形式存储在存储器127中，可由处理器126执行以执行根据本公开的各种操作。
计算机230中的硬件可例如以电路板的形式提供，所述电路板包含处理器236、存储器237和提供与车辆105的图像生成系统125和车辆260的图像生成系统217的通信接口的部件。计算机230中的软件可例如以软件模块的形式提供，所述软件模块以计算机可执行指令的形式存储在存储器237中，可由处理器236执行以执行根据本公开的各种操作。
图3所示的示例性功能块包括合成图像生成器305、视频生成器310和动画生成器315。合成图像生成器305可操作以生成各种类型的合成图像。生成第一类型的合成图像涉及整合由设置在一个或多个车辆中的一个或多个相机捕获的两个或更多个图像。上面提供了与第一类型的合成图像有关的一些示例。更具体地，上述示例涉及第一示例性合成图像，可通过将基于位于车辆105的车厢区域中的对象的第一视野的第一图像和基于位于车辆105外部的对象的第二视野的第二图像整合来生成所述第一示例性合成图像。可通过将基于位于车辆105的车厢区域中的对象的第一视野的第一图像、基于位于车辆105外部的对象的第二视野的第二图像、以及基于位于车辆260外部的对象的第三视野的第三图像整合来生成第二示例性合成图像。第二视野可涵盖可与车辆105的相机130相关联的360度视野。第三视野可涵盖可与车辆260的相机215相关联的360度视野。在示例性实施方式中，由合成图像生成器305生成的合成图像可以是三维图像。
合成图像生成器305还可操作以生成第二类型的合成图像，所述第二类型的合成图像涉及将计算机生成的图形与由设置在一个或多个车辆中的一个或多个相机捕获的一个或多个图像整合。计算机生成的图形的几个示例包括野生动物保护区中的野生动物的图像的渲染、地标性纪念建筑物(泰姬陵、白宫等)的渲染、自然地标(例如，尼亚加拉瀑布)的渲染、假想对象(例如，金刚、喜马拉雅雪人、圣诞老人、外星武士)的渲染、增强现实(AR)图像和抽象艺术。
视频生成器310可操作以生成各种类型的视频内容。在示例性实施方式中，视频生成器310可通过将从设置在车辆105中的一个或多个相机获得的视频流与由合成图像生成器305生成的合成图像组合来生成实时合成视频。视频生成器310可通过将从相机110获得的实时视频与由合成图像生成器305生成的合成图像组合来生成示例性实时合成视频。合成图像可例如基于由图像生成系统125的处理器126或由计算机230的处理器236生成的增强现实图像。
动画生成器315可操作以生成包括动画内容(诸如例如动画视频片段)的静止图像和/或视频。在示例性实施方式中，动画生成器315可通过将驾驶员150的图像叠加在包括假想对象(卡通人物、外星太空船等)或假想场景(例如，热带丛林场景的艺术渲染)的图像上来生成合成图像。可由动画生成器315组合一组此类合成图像以生成合成视频片段。可通过级联视频帧序列来生成视频片段。每个视频帧可包括一个或多个合成图像。
在另一示例性实施方式中，动画生成器315可通过将驾驶员150的图像或驾驶员150的化身叠加在视频帧序列的每个帧上来生成合成视频片段。所述化身可以是诸如视频游戏中提供的艺术渲染。
图4示出了根据本公开的实施例的可由图像生成系统125和/或计算机230生成的示例性合成图像400。在一个实施方式中，可通过将由第一相机捕获的第一图像的一部分叠加在可由第二相机捕获或者可以是计算机生成的图像的第二图像的一部分上来生成合成图像400。在所示示例中，示例性合成图像400包括作为驾驶员150的轮廓的对象405。驾驶员150的轮廓可由图像生成系统125(和/或由计算机230)基于编辑由相机(诸如例如相机110)捕获的第一图像来产生。编辑可包括诸如例如对象选择、轮廓线检测、周边检测、裁剪、缩放、颜色修改和锐化的操作。
在另一示例中，对象405可以是由相机(例如，相机110)捕获的第一图像中包含的对象的修改。可由图像生成系统125和/或由计算机230执行的修改可涉及将所捕获的图像的一部分渲染成各种形式中的任一种，诸如例如计算机生成的图形、轮廓线图或化身。
包括在示例性合成图像400中的第二图像的部分可由图像生成系统125(和/或由计算机230)基于编辑由相机(诸如例如车辆105的相机130或车辆260的相机215)捕获的第二图像来生成。编辑可包括诸如例如对象选择、裁剪、缩放、颜色修改、亮度修改、对比度修改、色调修改、阴影修改和清晰度修改的操作。裁剪第二图像包括例如删除第二图像的一部分以便适应对象405在第二图像上的叠加。在所示示例中，合成图像400中包括的第二图像的部分包括车辆410的一部分(前挡风玻璃)、坐在车辆410中的个体420以及车辆410外部的场景415。
图5示出了根据本公开的实施例的可包括在车辆(例如，车辆105)中的一些功能部件。示例性部件可包括图像捕获系统505、车辆控制部件510、车辆控制器145、信息娱乐系统140、通信系统155和图像生成系统125。各种部件经由诸如示例性总线511的一根或多根总线彼此通信地耦接。可使用各种有线和/或无线技术来实现总线511。例如，总线511可以是车辆总线，所述车辆总线使用控制器局域网(CAN)总线协议、面向媒体的系统传输(MOST)总线协议和/或CAN灵活数据(CAN-FD)总线协议。总线511中的一些或所有部分也可使用诸如超宽带、Wi-Fi、/>或近场通信(NFC)的无线技术来实现。在示例性实施方式中，可使用Matter协议，所述Matter协议是统一的基于IP的连接性协议。Matter协议提供包括人工智能机器人、无人机和物联网(IoT)平台的各种装置之间的互操作性。
信息娱乐系统140可包括具有用于执行各种操作的GUI的显示系统536。例如，GUI可由驾驶员150用于与图像生成系统125交互并且用于执行与捕获照片相关联的动作(预览照片、对照片进行构图、激活图像捕获系统505的相机、编辑照片等)。
图像捕获系统505可包括各种类型的相机，例如诸如图1中所示的相机110、相机115、相机120和相机130。
车辆控制部件510可包括与车辆105的驾驶功能(例如诸如，发动机、制动器、加速器和燃料喷射)和各种其他功能(诸如控制设置在车辆105中的相机)相关联的各种部件和系统。当车辆105是自主车辆时，车辆控制器145可控制车辆控制部件510中的至少一些以控制车辆105的某些操作。
通信系统155可包括各种部件，例如诸如无线发射器、无线接收器和/或无线收发器，它们被配置为允许图像生成系统125与诸如例如图像生成系统217、个人装置151、计算机230和云存储装置225的装置通信。可通过使用各种通信格式中的任一者，诸如例如WiFi、蜂窝、TCP/IP、超宽带、Wi-Fi、超宽带(UBW)、/>和近场通信(NFC)，经由无线信号直接或经由网络210来执行通信。
在一种实施方式中，图像生成系统125可以是独立装置(例如，封闭在外壳中)。在另一种实施方式中，图像生成系统125的一些或所有部件可与车辆控制器145一起容纳、合并或可共享功能性。例如，将图像生成系统125的功能性与车辆控制器145的功能性相组合的集成单元可由单个处理器和单个存储器装置操作。在所示的示例性配置中，图像生成系统125包括处理器126、输入/输出接口585和存储器127。
输入/输出接口585被配置为在图像生成系统125与诸如图像捕获系统505(例如，用于从相机接收图像)的其他部件之间提供通信。
作为非暂时性计算机可读介质的一个示例的存储器127可用于存储操作系统(OS)580、数据库575和各种代码模块，诸如图像生成系统模块570。代码模块以可由处理器126执行以执行根据本公开的各种操作的计算机可执行指令的形式提供。
数据库575可用于存储信息，诸如例如通过使用图像捕获系统505捕获的图像和从计算机230和/或云存储装置225获得的图像。
图像生成系统模块570可由处理器126执行以执行根据本公开的各种操作，包括图3所示的示例性功能块的执行。
图6示出了根据本公开的实施例的可包括在计算机230中的一些功能部件。示例性部件可包括处理器236、输入/输出接口685和存储器237。
输入/输出接口685被配置为允许计算机230与其他部件(诸如车辆105的图像生成系统125、车辆260的图像生成系统217和云存储装置225)之间的交互。更具体地，在示例性实施方式中，输入/输出接口685被配置为从诸如例如图像生成系统125、图像生成系统217和云存储装置225的各种装置接收图像并将由处理器236基于所接收的图像生成的合成图像传送到图像生成系统125。
作为非暂时性计算机可读介质的另一示例的存储器237可用于存储操作系统(OS)680、数据库675和各种代码模块，诸如图像生成系统模块670。代码模块以可由处理器236执行以执行根据本公开的各种操作的计算机可执行指令的形式提供。
数据库675可用于存储信息，诸如例如从图像生成系统125、图像生成系统217和云存储装置225获得的图像。
图像生成系统模块670可由处理器236执行以执行根据本公开的各种操作，包括图3所示的示例性功能块的执行。
在以上公开中，已参考形成以上公开的一部分的附图，附图示出了其中可实践本公开的具体实施方式。应理解，在不脱离本公开的范围的情况下，可利用其他实施方式，并且可进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”、“示例实施例”等的引用指示所描述的实施例可包括特定特征、结构或特性，但是每一个实施例可不一定包括所述特定特征、结构或特性。此外，此类短语不一定是指同一实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例的此类特征、结构或特性。
本文所公开的系统、设备、装置和方法的实施方式可包括或利用包括硬件(诸如例如，如本文所讨论的一个或多个处理器和系统存储器)的一个或多个装置。更具体地，必须理解，上文关于车辆105的图像生成系统125描述的各种操作可由诸如例如计算机230的各种其他装置执行(且反之亦然)。计算机230可独立地或与图像生成系统125协作地执行这些操作。
本文公开的装置、系统和方法的实施方式可通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传送或提供信息时，所述计算机适当地将连接视为传输介质。传输介质可包括网络和/或数据链路，所述网络和/或数据链路可用于携载呈计算机可执行指令或数据结构的形式的期望的程序代码装置，并且可由通用或专用计算机访问。以上项的组合也应包括在非暂时性计算机可读介质的范围内。
计算机可执行指令包括例如在处理器处执行时致使处理器执行某种功能或功能组的指令和数据。计算机可执行指令可能是例如二进制代码、中间格式指令(诸如汇编语言)或甚至源代码。虽然已经用特定于结构特征和/或方法论动作的语言描述了本主题，但是应理解，在所附权利要求中限定的主题不一定限于上面描述的所述特征或动作。而是，所描述的特征和动作被公开作为实现权利要求的示例形式。
存储器装置(诸如存储器127)可以包括任一存储器元件或易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))和非易失性存储器元件(例如ROM，硬盘驱动器、磁带、CDROM等)的组合。此外，存储器装置可并入有电子、磁性、光学和/或其他类型的存储介质。在本文件的背景下，“非暂时性计算机可读介质”可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置。计算机可读介质的更具体的示例(非详尽列表)将包括以下项：便携式计算机软磁盘(磁性)、随机存取存储器(RAM)(电子)、只读存储器(ROM)(电子)、可擦除可编程只读存储器(EPROM、EEPROM或快闪存储器)(电子)以及便携式压缩盘只读存储器(CD ROM)(光学)。应注意，计算机可读介质甚至可能是上面打印有程序的纸张或另一种合适的介质，因为可例如经由对纸张或其他介质的光学扫描来电子地捕获程序，随后进行编译、解译或另外在需要时以合适的方式进行处理，并且随后存储在计算机存储器中。
本领域技术人员将理解，本公开可在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可位于本地和远程存储器存储装置两者中。
此外，在适当的情况下，本文中描述的功能可在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可被编程为执行本文所描述的系统和程序中的一者或多者。贯穿说明书以及权利要求使用某些术语指代特定系统部件。如本领域技术人员将理解，部件可通过不同的名称来指代。本文件不意图区分名称不同但功能相同的部件。
应注意，上文所讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行它们的功能的至少一部分。例如，传感器可包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。在本文中提供这些示例装置是出于说明的目的而非意图进行限制。如相关领域的技术人员所知晓，本公开的实施例可以在其他类型的装置中实施。
本公开的至少一些实施例涉及计算机程序产品，所述计算机程序产品包括(例如，以软件形式)存储在任何计算机可用介质上的此种逻辑。这种软件当在一个或多个数据处理装置中被执行时致使装置如本文所描述那样进行操作。
虽然上文已描述了本公开的各种实施例，但应理解，仅通过示例而非限制的方式呈现本公开的各种实施例。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下可进行形式和细节上的各种改变。因此，本公开的广度和范围不应受到上述示例性实施例中的任何一个限制，而是应仅根据所附权利要求和其等效物限定。已经出于说明和描述目的而呈现了前述描述。前述描述并不意图是详尽的或将本公开限制于所公开的精确形式。鉴于以上教导，许多修改和变化形式是可能的。此外，应注意，前述可选实施方式中的任一者或全部可按任何所期望的组合使用，以形成本公开的附加混合实施方式。例如，相对于特定装置或部件描述的功能中的任一者可由另一装置或部件执行。另外，尽管已经描述了特定装置特性，但本公开的实施例可能涉及许多其他装置特性。另外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但应理解，本公开不一定受限于所描述的具体特征或动作。而是，将具体特征和动作公开为实现所述实施例的说明性形式。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可能包括某些特征、元件和/或步骤，而其他实施例可不包括某些特征、元件和/或步骤。因此，此类条件语言通常并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
根据实施例，所述第一处理器被进一步配置为访问所述第一存储器并执行所述计算机可执行指令以执行附加操作，所述附加操作包括：生成坐在所述第一车辆的所述车厢区域中的个体的化身；以及通过将所述化身叠加在所述第一图像的至少一部分和/或所述第二图像的至少一部分上来生成第二合成图像。
根据实施例，所述第一车辆还包括通信系统，所述通信系统被配置为将所述第一合成图像传送到个人装置，并且其中所述第一处理器被进一步配置为访问所述第一存储器并执行所述计算机可执行指令以执行附加操作，所述附加操作包括：在所述个人装置的第二显示屏上显示所述第一合成图像。
根据实施例，本发明的特征还在于：第二车辆；以及计算机，所述计算机包括：第二图像生成系统，所述第二图像生成系统包括：第二存储器，所述第二存储器包含计算机可执行指令；以及第二处理器，所述第二处理器被配置为访问所述第二存储器并执行所述计算机可执行指令以执行操作，所述操作包括：从所述第一车辆接收所述第一图像和所述第二图像；从所述第二车辆接收基于位于所述第二车辆外部的对象的第三视野的第三图像；以及基于所述第一图像、所述第二图像和所述第三图像生成第二合成图像。
根据实施例，所述第二图像生成系统的所述第二处理器被进一步配置为访问所述第二存储器并执行计算机可执行指令以执行附加操作，所述附加操作包括：生成图形；以及通过将所述图形叠加在所述第一图像的至少一部分、所述第二图像的至少一部分和/或所述第三图像的至少一部分上来生成第三合成图像。
根据实施例，所述第二图像生成系统的所述第二处理器被进一步配置为访问所述第二存储器并执行计算机可执行指令以执行附加操作，所述附加操作包括：基于将所述第三合成图像与包括所述图形的至少第四合成图像整合来生成动画视频片段。

Claims (15)

1.一种方法，其包括：
由处理器接收基于位于第一车辆的车厢区域中的对象的第一视野的第一图像和基于位于所述第一车辆外部的对象的第二视野的第二图像；
由所述处理器接收基于位于第二车辆外部的对象的第三视野的第三图像；以及
由所述处理器基于所述第一图像、所述第二图像和所述第三图像生成第一合成图像。
2.如权利要求1所述的方法，其中位于所述第一车辆的所述车厢区域中的所述对象包括第一个体和/或第一动物，其中位于所述第一车辆外部和/或所述第二车辆外部的所述对象包括第二个体和/或第二动物，并且其中所述第一合成图像包括所述第一个体和/或所述第一动物并且还包括所述第二个体和/或所述第二动物。
3.如权利要求1所述的方法，其中通过将所述第一图像的至少一部分叠加在所述第二图像的至少一部分和/或所述第三图像的至少一部分上来生成所述第一合成图像。
4.如权利要求1所述的方法，其还包括：
由所述处理器通过将计算机生成的图形叠加在所述第一图像的至少一部分、所述第二图像的至少一部分和/或所述第三图像的至少一部分上来生成第二合成图像。
5.如权利要求4所述的方法，其中所述第一图像包括坐在所述第一车辆的所述车厢区域中的个体，并且其中所述方法还包括：
由所述处理器基于将所述第二合成图像与包括所述个体和所述计算机生成的图形的至少第四合成图像整合来生成动画视频片段。
6.如权利要求1所述的方法，其中所述第一图像包括坐在所述第一车辆的所述车厢区域中的个体，并且其中所述方法还包括：
由所述处理器生成所述个体的化身；以及
由所述处理器基于将所述化身与所述第一图像的至少一部分、所述第二图像的至少一部分和/或所述第三图像的至少一部分整合来生成第二合成图像。
7.如权利要求6所述的方法，其还包括：
由所述处理器基于将所述第二合成图像与包括所述化身的至少第四合成图像整合来生成动画视频片段。
8.一种方法，其包括：
由处理器从第一车辆接收基于位于所述第一车辆的车厢区域中的对象的第一视野的第一图像和基于位于所述第一车辆外部的对象的第二视野的第二图像；以及
由所述处理器基于所述第一图像和所述第二图像生成第一合成图像。
9.如权利要求8所述的方法，其还包括：
由所述处理器从第二车辆接收基于位于所述第二车辆外部的对象的第三视野的第三图像；以及
由所述处理器基于所述第三图像、和所述第一图像或所述第二图像中的至少一个生成第二合成图像。
10.如权利要求9所述的方法，其中所述第二视野或所述第三视野中的至少一者是360度视野。
11.如权利要求8所述的方法，其还包括：
由所述处理器通过将第三图像叠加在所述第一图像的至少一部分上和/或所述第二图像的至少一部分上来生成第二合成图像。
12.如权利要求11所述的方法，其中所述第三图像是以下中的一者：由第二车辆提供、从存储器装置获得或由所述处理器生成。
13.如权利要求8所述的方法，其中位于所述第一车辆的所述车厢区域中的所述对象包括第一个体，并且其中所述方法还包括：
由所述处理器生成所述第一个体的化身；以及
由所述处理器通过将所述化身叠加在所述第一图像的至少一部分上和/或所述第二图像的至少一部分上来生成第二合成图像。
14.如权利要求13所述的方法，其中所述第二合成图像是三维图像。
15.一种系统，其包括：
第一车辆，所述第一车辆包括：
图像捕获系统，所述图像捕获系统被配置为捕获基于位于所述第一车辆的车厢区域中的对象的第一视野的第一图像和基于位于所述第一车辆外部的对象的第二视野的第二图像；
信息娱乐系统，所述信息娱乐系统包括第一显示屏；以及
第一图像生成系统，所述第一图像生成系统包括：
第一存储器，所述第一存储器包含计算机可执行指令；以及
第一处理器，所述第一处理器被配置为访问所述第一存储器并执行所述计算机可执行指令以执行包括以下各项的操作：
基于所述第一图像和所述第二图像生成第一合成图像；以及
在所述信息娱乐系统的所述第一显示屏上显示所述第一合成图像。
CN202310367675.9A 2022-04-20 2023-04-07 用于基于车辆的成像的系统及方法 Pending CN116912135A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/659,856 US20230342880A1 (en) 2022-04-20 2022-04-20 Systems and methods for vehicle-based imaging
US17/659,856 2022-04-20

Publications (1)

Publication Number Publication Date
CN116912135A true CN116912135A (zh) 2023-10-20

Family

ID=88360884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310367675.9A Pending CN116912135A (zh) 2022-04-20 2023-04-07 用于基于车辆的成像的系统及方法

Country Status (2)

Country Link
US (1) US20230342880A1 (zh)
CN (1) CN116912135A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230278499A1 (en) * 2022-03-02 2023-09-07 Christopher B Comer Adaptive Perimeter Security System for Vehicles
US20230394081A1 (en) * 2022-06-01 2023-12-07 Apple Inc. Video classification and search system to support customizable video highlights

Also Published As

Publication number Publication date
US20230342880A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
US11079753B1 (en) Self-driving vehicle with remote user supervision and temporary override
CN116912135A (zh) 用于基于车辆的成像的系统及方法
CN110177723B (zh) 用于提供周围视野的装置
JP7081835B2 (ja) 車両制御のためのリアルタイムｈｄｒビデオ
KR101732983B1 (ko) 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량
CN107089191B (zh) 用于车辆信息学和虚拟现实的主动窗户
US20200223454A1 (en) Enhanced social media experience for autonomous vehicle users
JP7040466B2 (ja) 画像処理装置および画像処理方法
JP7014218B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20190304160A1 (en) Image processing apparatus and image processing method
CA2892593C (en) Creating a sensory experience in a vehicle
US11134235B2 (en) Image processing apparatus and image processing method
US11057575B2 (en) In-vehicle device, program, and vehicle for creating composite images
CN110717991A (zh) 用于车载增强虚拟现实系统的系统和方法
US20170015260A1 (en) Apparatus And Method For Exchanging And Displaying Data Between Electronic Eyewear, Vehicles And Other Devices
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20210098972A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체
US10999498B2 (en) Image processing apparatus and image processing method
CN105991942B (zh) 车辆及用于控制车辆的方法
CN113079276A (zh) 用于从视频馈送去除车辆阴影的系统和方法
JP6930541B2 (ja) 画像処理装置および画像処理方法
CN114868071A (zh) 在机动车中运行头戴式显示设备的方法、控制设备和头戴式显示设备
CN110956716A (zh) 基于车辆的图像采集方法、传输方法、装置、车辆、系统、介质
US12096115B2 (en) Vehicle operative as a photography assistant
CN116205829A (zh) 后视镜图像融合方法、装置、车载设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication