CN107077600A - 用于3d对象再现的拼接图像的高级混合 - Google Patents

用于3d对象再现的拼接图像的高级混合 Download PDF

Info

Publication number
CN107077600A
CN107077600A CN201580050622.8A CN201580050622A CN107077600A CN 107077600 A CN107077600 A CN 107077600A CN 201580050622 A CN201580050622 A CN 201580050622A CN 107077600 A CN107077600 A CN 107077600A
Authority
CN
China
Prior art keywords
pedestrian
image
composograph
represented
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580050622.8A
Other languages
English (en)
Other versions
CN107077600B (zh
Inventor
汉斯·M·莫林
安德列亚斯·U·屈恩勒
马顿·久里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
To Moral Scholar Commercial Car System Ltd
Bendix Commercial Vehicle Systems LLC
Original Assignee
To Moral Scholar Commercial Car System Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by To Moral Scholar Commercial Car System Ltd filed Critical To Moral Scholar Commercial Car System Ltd
Publication of CN107077600A publication Critical patent/CN107077600A/zh
Application granted granted Critical
Publication of CN107077600B publication Critical patent/CN107077600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/48—Analysis of texture based on statistical description of texture using fractals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

当将各个车载照像机图像混合成车辆周围环境的相干合成图像时，分析各个图像中的对象以确定行人的存在。当将各个图像混合以形成合成图像时，行人的多个行人阴影视图被替换为背景像素以擦除行人，并且将行人的半符号图形表示叠加在合成图像中的实际行人的位置处。图形表示与合成图像中的行人成比例，并且包括该图形表示所表示的行人所特有的特征。然后，将具有图形表示的合成图像呈现给观察者。

Description

用于3D对象再现的拼接图像的高级混合
背景技术
本申请发现了在环绕视图车辆成像系统中真实地表示对象的具体应用。然而，应当理解，所描述的技术也可以应用于其它车辆监控系统、其它成像系统或其它车辆安全系统。
一种用于对象表示的常规方法涉及识别单个空中拍摄图像(overhead image)中的三维对象并输出该三维对象的属性的图像生成器。所得到的显示包括基于空中拍摄图像的该对象的地面位置，以向驾驶员指示对象的实际位置和大小。这样的常规方法不能补偿该对象的来自环绕视图合成图像中的不同有利位置的多个图像之间的差异。
典型的环绕视图或鸟瞰图系统使用将多个图像拼接在一起的不同方法。这些拼接方法的主要关注点通常是获取地面的无缝真实视图。如果地面上有凸起的对象的话，则不能很好地再现地面上凸起的对象(比如，杆、行人或其它三维对象)。当系统用户依靠视觉图像来监控车辆周围以寻找障碍物时，这种缺陷可诱发潜在的不安全情况，因此降低了系统的效用和价值。
当行人仅面向环绕视图系统中的各个照相机之一时，行人的前视图现于一个照相机视图中，并且该行人的背部现于其它照相机视图中。依靠识别对象上的相应点的常规立体视觉算法不能处理这两个完全不同的视图，因此失败；即，没有发现匹配，所以对象的合成图像中没有视差并因此没有深度。
本发明提供了这样一种新的且改进的系统和方法，其便于在根据多个照相机图像生成的合成环绕视图图像中真实地表示靠近车辆的对象(比如，行人)，同时包含对象的真实世界特征用以向驾驶员进行呈现，这克服了上面所提及的问题及其它问题。
发明内容
根据一个方面，一种便于检测车辆的环绕视图图像中的对象并将对象的半符号图形表示叠加在环绕视图图像中的系统包括：捕获对象的第一图像的第一照相机以及捕获该对象的第二图像的第二照相机。该系统还包括处理器，其配置为：通过合并第一图像和第二图像来生成合成图像；分析合成图像以检测表示合成图像中的对象的一个或多个特征；以及利用相应的背景像素替换对象像素。该处理器还配置为：生成该对象的半符号图形表示，其包括在第一图像和第二图像中检测到的一个或多个对象特征；将对象的半符号图形表示插入到合成图像中该对象相对于车辆的计算位置处；以及将具有半符号表示的合成图像输出至显示器。
根据另一方面，一种检测车辆的环绕视图图像中的对象并将对象的半符号图形表示叠加在环绕视图图像中的方法包括步骤：从第一有利位置捕获对象的第一图像；从第二有利位置捕获该对象的第二图像；通过合并第一图像和第二图像来生成合成图像；以及分析合成图像以检测表示合成图像中的对象的一个或多个特征。该方法还包括步骤：利用相应的背景像素替换对象像素；生成该对象的半符号图形表示，其包括在第一图像和第二图像中检测到的一个或多个对象特征；将该对象的半符号图形表示插入到合成图像中该对象相对于车辆的计算位置处；以及将具有半符号表示的合成图像输出至显示器。
根据另一方面，一种处理器配置为执行用于在车辆的环绕视图图形中检测对象并在环绕视图图像中叠加对象的半符号图形表示的计算机可执行指令，所述指令包括：从第一有利位置捕获对象的第一图像；从第二有利位置捕获该对象的第二图像；通过合并第一图像和第二图像来生成合成图像。所述指令还包括：分析合成图像以检测表示合成图像中的对象的一个或多个特征；利用相应的背景像素替换对象像素；生成该对象的半符号图形表示，其包括在第一图像和第二图像中检测到的一个或多个对象特征；将对象的半符号图形表示插入到合成图像中该对象相对于车辆的计算位置处；以及将具有半符号表示的合成图像输出至显示器。
根据另一方面，一种便于检测车辆的环绕视图图像中的对象并将对象的半符号图形表示叠加在环绕视图图像中的设备包括：用于从第一有利位置捕获对象的第一图像的装置；用于从第二有利位置捕获对象的第二图像的装置；用于通过合并第一图像和第二图像来生成合成图像的装置；以及用于分析合成图像以检测表示合成图像中的对象的一个或多个特征的装置。所述设备还包括：用于利用相应的背景像素替换对象像素的装置；用于生成包括在第一图像和第二图像中检测到的一个或多个对象特征的对象的半符号图形表示的装置；用于将对象的半符号图形表示插入到合成图像中该对象相对于车辆的计算位置处的装置；以及用于将具有半符号表示的合成图像输出至显示器的装置。
本领域普通技术人员在阅读和理解以下详细描述后将理解本发明的其它优点。
附图说明
本发明可以采取各种部件和部件的布置以及各种步骤和步骤的安排的形式。仅出于说明各方面的目的来示出附图，而不应将其解释为限制本发明。
图1示出了根据本文所述的一个或多个方面的系统，其便于将由多个照相机捕获的图像混合到环绕视图图像中，并且利用减少驾驶员困惑的半符号图形来替换对象(比如，行人)的多张“阴影”图像。
图2A和图2B示出了由两个照相机拍摄的行人的图像。
图3是根据本文所述的一个或多个方面的由两个照相机拍摄到的路过行人的图像，其中，由两个照相机生成的图像是交叠的。
图4示出了其中已经识别了射线的交叉点R的合并图像的示例。
图5示出了其中第一照相机和第二照相机对对象进行成像的示图。
图6示出了其中关于卡车来计算椭圆以确定行人相对于车辆的角度的车辆的示图。
图7示出了诸如可以用于在呈现给驾驶员的显示器上表示环绕视图图像中的行人的行人的半符号图形表示。
图8是其中可以看见行人的阴影或“鬼影”的车辆的混合环绕视图图像。
图9示出了根据本文所述的一个或多个特征的用于在车辆的环绕视图图像中检测行人并且将行人的半符号图形表示叠加到环绕视图图像中的方法。
具体实施方式
通过本文所述的便于提供用于在环绕视图多照相机系统中显示三维对象的视图的高级处理系统的系统和方法克服了上述问题。图像被混合以保留三维对象的视图。三维对象可以是行人、骑自行车的人、骑摩托车的人或包括人类特征的其它对象。在一个布置中，两个照相机从两个不同的视角拍摄行人。可视范围的交叉点确定了行人的高度和位置。在混合图像中，行人表现为两个阴影，这可能会使驾驶员感到困惑，因此这两个阴影被替换为显示给驾驶员的图像上的单个高度成比例的符号。以这种方式，仅将行人的一个视图提供给驾驶员。因此，将在两个不同图像中所找到的3D对象(比如，行人)协调成一个可识别的图像，用以显示给驾驶员。
图1示出了根据本文所述的一个或多个方法的系统10，其便于将由多个照相机捕获的图像混合到环绕视图图像中，并且利用提高显示与图像实物之间的对应性的半符号图形来替换对象(比如，行人)的多个交叠图像或“阴影”图像。系统10包括车载控制器12，该车载控制器12包括执行用于执行本文所述的各种方法、技术协议等的计算机可执行指令(例如，模块、例程、程序、应用等)的处理器14和存储用于执行本文所述的各种方法、技术协议等的计算机可执行指令的存储器16。与常规方法相比，系统10便于使用多个照相机视图来检测行人18，并且跟踪行人相对于车辆20的位置。第一照相机22安装到车辆的第一拐角处，并且第二照相机24安装到车辆的第二拐角处，以提供车辆侧面的交叠视野。应当理解，虽然出于示例性的目的在图1中仅绘制了两个照相机并进行描述，但是可以结合本文所述的各种实施例采用多于两个的照相机。例如，照相机可以安装在车辆的每个拐角(包括但不限于牵引机-拖车组合车辆上的牵引机的拐角和/或拖车的拐角)处。照相机还可以安装在车辆的前面或后面。该系统对于提供交叠图像视图的各种各样的照相机布置均是有用的。
根据本文的一个或多个实施例，两个照相机22、24观察同一对象或行人18，并且产生两个视图。对象或行人的底部将在其鸟瞰视图图像中处于相同的位置处。不是直接在显示器中显示可能使驾驶员感到困惑的行人或对象的两个视图中的一个或两个，而是将这两个视图替换为单个基于现实的符号或图形表示。通过计算行人的脚的位置来得到图形表示的位置(比如，由双视图创建的“V”308(参见例如图3)的底部所在的位置)。图形表示的高度与实际的对象/行人高度相对应。例如，立体检测方法(例如，找到与行人的头部相对应的V的末端，执行3D射线交叉点计算，并确定实际的头部高度)生成实际的头部高度，并且可以使符号高度与实际的对象/行人高度成比例。
图形表示是基于现实的，以帮助用户理解图形表示代表什么，并且还将用户最终(在现实中)所看到的与已经在符号显示器中看到的联系起来(例如，盲点中穿红色裤子的行人首先作为具有红色裤子的图形表示而仅在显示器上可见；当行人随后在卡车周围走动时并且驾驶员看见穿着红色裤子的他，驾驶员容易地了解行人已如何移动)。可以通过颜色、纹理、高度等来进行图形表示与真实世界的联结。例如，(例如，通过像素差异)可以确定行人躯干的平均颜色，然后将符号的躯干着色为相同明暗度。在一个实施例中，行人可以被分成与腿、躯干和头部相对应的多个区域。通过寻找彩色对比度或灰度级对比度来完成区域的划分，或者如果彩色对比度或灰度级对比度不明显的话(例如，行人只穿了深色)，则可以采用对象高度的固定百分比来对腿进行定位(例如，底部50％与腿相对应，接下来的40％与躯干相对应，顶部10％与头部和脖子相对应)。最终结果是更好理解的、更不杂乱的车辆周围环境的环绕视图显示。
存储器16可以包括易失性存储器、非易失性存储器、固态存储器、闪速存储器、随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、前述存储器类型的变体、它们的组合、和/或适于提供所述功能和/或存储由处理器14执行的计算机可执行指令的任意其它类型的存储器。此外，如本文中所使用的“模块”表示永久地存储在计算机可读介质或存储器上供处理器执行的一组计算机可执行指令(例如，例程、子例程、程序、应用等)。
在一个实施例中，处理器从照相机22、24中的每一个接收图像数据，并且执行将图像数据重建为各个照相机图像28的重建模块26，所述各个照相机图像28可以被拼接在一起以形成车辆的环绕视图。在一个示例中，处理器生成包括由第一照相机22捕获的行人18的前视图和由第二照相机24捕获的行人18的后视图的合成图像。行人的前视图和后视图可以被重建以表现为图像中的阴影或“鬼影”特征，使得行人的视图在一定程度上显得易于察觉(transparent)(参见例如图8)。
处理器执行不一致计算模块30，其通过识别用于形成合成图像的两个图像中不一致的区域来计算这两个图像之间的不一致区域以确定图像中存在三维对象。也就是说，对由每个照相机22、24生成的图像进行分析和比较，以识别各个图像之间的不一致区域D。例如，处理器例如通过像素分析等识别不一致区域的界线。处理器执行射线计算模块32，其对从每个照相机发出且穿过其视场的射线或线进行计算。也就是说，处理器绘制或计算从每个照相机发出至不一致区域D的(相对于每个照相机的)较远半程的边界处的射线。射线交叉点识别模块34识别照相机视图或射线的交叉点R，其中交叉点对应于通过分析图像中的不一致区域D而确定的行人18(或其他对象，比如骑自行的人等)的最高点。也就是说，使用照相机位置和不一致区域的知识，确定并跟踪行人18上的最高点。
所计算的射线勾勒出从每个照相机的有利位置所拍摄的行人的“阴影”的轮廓。所计算的射线在行人的头部交叉。在一个示例中，处理器对限定不一致区域的像素进行扫描，并且计算射线在何处相交。处理器将交叉点的最高点识别为行人头部位置的近似值。每个照相机的视图被重新投影到假定平坦的地平面上。当行人18中断了各自的照相机的地平面示图时，地平面投影不一致，行人被检测到。
在另一实施例中，处理器执行对象形状识别模块36，其识别由合成图像中的对象的前视图表示和后视图表示形成的形状。例如，可以检测例如交叉点处的对象(比如，从车辆后方朝向车辆前方靠近的行人)。对照相机22、24进行校准，使得由各个照相机生成的地平面示图匹配。也就是说，两个照相机将完全处于地平面中的对象看作是相同的。在两个照相机视图不一致并且没有生成由不一致计算模块确定的相同的、重叠的地平面视图的情况下，检测到行人。线交叉的位置被确定为行人的脚所处的位置，并且当在3D视图中成像时，将线交叉处的高度取为行人头部在地面上的位置的近似值。随后，跟踪该位置(即，行人的头部)。假设了地面上大致恒定的高度，并且当跟踪行人头部时采用带有选通的跟踪滤波器(例如，卡尔曼跟踪滤波器或α-β跟踪滤波器)。在似乎合理或预定义的高度上的持续的、始终移动的检测构成行人检测，并且在显示器或用户接口(未示出)上的环绕视图图像中向车辆驾驶员显示(例如，通过从卡车的后部向前延伸到行人的位置的红色条来表示驾驶员的危险区域)。
根据另一实施例，对合成图像中的由行人的前阴影和后阴影形成的V形进行检测，用以确认对象是行人。例如，将由第一照相机22生成的行人的前视图图像和由第二照相机24生成的行人的后视图图像合并。
在对象是骑自行车的人的情况下，将由第一照相机22生成的骑自行车的人的前视图图像和由第二照相机24生成的该骑自行车的人的后视图图像合并。通过车轮识别模块40识别与自行车车轮相对应的椭圆。自行车车轮具有有限的尺寸范围，成对出现并一起移动。在一个实施例中，处理器执行霍夫变换模块42(例如，线/圆/椭圆/常规形状最佳匹配图像的基于投票的机制)等以找到椭圆。各个椭圆交叠并且基本上具有正确的尺寸，以便于确认与自行车的一对车轮相对应的椭圆。因此，随时间检测并跟踪椭圆的群集(constellation)。一旦检测到骑自行车的人(或行人)，警报生成器44生成由处理器接收的警报信号，处理器进而在环绕视图图像上生成可视化警报，以将驾驶员的注意力吸引至骑自行车的人(或行人)。
在另一个实施例中，一旦对象已经被识别为行人(或骑自行车的人)，并且已经确定了行人高度和位置，则执行用于替换混合图像中的行人的前视图阴影和后视图阴影的处理。例如，处理器执行阴影去除模块46，其去除在混合各个照相机图像时所出现的行人的阴影图像。一旦去除了行人阴影图像，则处理器执行对去除阴影而遗留的像素间隙进行填充的填充模块48。例如，由第一照相机捕获的行人阴影图像被替换为由第二照相机捕获的且对应于相同图像位置的背景像素。类似地，由第二照相机捕获的行人阴影图像被替换为由第一照相机捕获的且对应于相同图像位置的背景像素。一旦行人阴影图像已经被背景像素替换，则处理器执行半符号图标生成器50，其生成表示行人并包括行人的一个或多个真实世界特征(例如，高度、衬衫颜色、裤子颜色等)的图形。将半符号图形插入到混合图像中行人的确定位置处，并且半符号图形具有与行人的高度和宽度一致的高度和宽度。作为替换，半符号图形可以是具有行人的高度、宽度和着色的矩形棱柱。
处理器还可以执行面部识别模块52，其分析行人的面部的图像数据并识别具有高于预定阈值的清晰度或分辨率的面部图像。处理器执行面部卷曲模块54以将所识别的面部图像放置在半符号图形上，从而改善真实性和辅助识别。行人的服装着色可以经受低通滤波器56以避免闪烁效应，同时仍然允许由于改变照明而引起的着色变化。此外，可以增加或调制颜色的饱和度，以便更好地在环绕视图中看见行人，特别是在行人的灰度级对比度相对于背景较低的情况下。识别裤子和/或衬衫颜色，并且在半符号图形中描绘出相似的颜色，以改善图形的真实性。
还考虑了驾驶员用后视镜看不到的盲点或盲区，特别地，可以为这些区域中的行人提供特别的突出显示。可以在确定盲点时考虑车辆的接合角度(例如，对于牵引机-拖车组合车辆等)和车辆运动的方向。
图2A和图2B分别示出了由两个照相机拍摄到的行人84的图像80、82。在图2A的图像80中，可以看到行人的背部。在图2B的图像82中，可以看到行人的正面。放置在车辆的侧面处的驾驶员辅助照相机通常产生在车辆的拐角处重叠的视图。如本文中所描述的那样，当照相机放置在车辆的拐角处且向下查看时，则存在完全围绕车辆延伸的重叠视图。在这些重叠区域中，通过两个照相机从不同侧看到行人两次。然后，出现了关于应当向驾驶员显示行人(或对象)的哪一侧的问题。显示两个视图会使驾驶员感到困惑。因此，所描述的系统和方法便于协调有区别的照相机视图并且组合照相机视图，以使用行人的一个或多个特性来生成一个与现实相关的或“半符号的”符号。
然而，一旦照相机已经被校准以产生鸟瞰环绕视图，则识别两个照相机的视图不一致的区域，比如，足够大(例如，高于预定面积阈值)的连续区域中的灰度级或颜色级显著不同(例如，高于预定灰度级差阈值)的区域。这些区域表示投影的行人“阴影”。图3示出了这种阴影的示例。
图3是根据本文所述的一个或多个方面的由两个照相机拍摄的路过的行人的图像300，其中，由两个照相机生成的图像交叠。可以检测例如位于交叉点处的从车辆后方靠近车辆前方的对象(比如，行人)。使用观察检测区域的立体照相机和通过对行人位置动态建模来执行检测。例如，提供了观察车辆附近区域的一对立体照相机，比如像关于图1描述的那样。对照相机进行校准，使得由照相机生成的地平面视图匹配。也就是说，两个照相机将完全处于地平面中的对象看作是相同的(例如，两个照相机之间没有图像差异)。
在地平面上方的行人不会导致匹配的视图。为了说明该示例，在图3中，从前视图302和后视图304两者中看到行人，并且仅脚306处被这两个视图共享。两个照相机视图不一致，并且不生成其中行人是可见的相同的重叠的地平面视图。正好在与红线的末端处可见的行人的头部相对应的阴影末端处(在这个地方照相机再次拍摄到平坦的地平面背景)，视图再次一致。处理器识别不一致区域的界线，并且可通过处理器绘制或计算从每个照相机发射至不一致区域的(相对于每个照相机的)较远半程的边界处的射线。这些射线勾勒出从每个照相机的有利位置看到的行人的“阴影”的轮廓。在图像中表示行人的阴影的顶部与行人的顶部相对应，并且这些阴影中距离照相机最远的点表示哪个射线恰好在行人的头部上方通过。如关于图1所描述的那样，计算这些射线的交叉点。该交叉点连同校准一起确定行人的高度和行人的脚所处的位置。也就是说，射线的交叉点与行人的脚的位置相对应，并且阴影图像中从交叉点到行人的头部的顶部的射线的长度与行人的高度相对应。这些位置形成了可以被检测并且用于确定行人脚位置和行人高度的“V”形308(为了可见性而以红色示出)。在各个阴影视图中从交叉点到行人头部的射线的长度不同的情况下，可以平均这些射线的长度，或者可以根据预定度量选择这些射线长度中的一个或随机地选择这些射线长度中的一个。该信息形成了本文描述的半符号替换图像的基础。
图4示出了其中已经识别了射线的交叉点R的合并图像400的示例。两个照像机22、24放置在车辆的拐角处或拐角的附近，并且分别捕获共同地限定两个照像机图像之间的不一致区域的对象的前视图402和后视图404。绘制出从每个照相机到骑自行车的人或行人的阴影的最远点(在该示例中为头部)的线或射线。也就是说，从每个照相机发出的射线被限定，并且延伸到不一致区域的较远半程处。在图4中，不一致区域中的相对于照相机22的较远半程是行人的前视图阴影图像402。类似地，从照相机24发出的射线延伸到不一致区域中的相对于照相机24的较远半程中的最远点，该较远半程是行人的后视图阴影图像404。在一个示例中，在图3的2D示图中各条线在行人的脚的位置上的点R处相交，但是如在3D示图中所见的那样，线相交所处的高度位于地面以上的行人的头部所处的地方。然后，跟踪该位置(即，行人的头部)。假设了地面以上的大致恒定的高度，并且当跟踪行人头部时采用带有选通的跟踪滤波器(例如，卡尔曼跟踪滤波器或α-β跟踪滤波器)。在似乎合理高度上的充分持续的且始终移动的检测构成行人检测，并且显示给车辆驾驶员(例如，通过从卡车的后部向前延伸到行人的位置的红色条来显示给车辆驾驶员，其可表示对于驾驶员来说的危险区域)。
图5示出了其中第一照相机22和第二照相机24对对象506(例如，行人)成像的图500。分析和比较由每个照相机生成的图像，以识别各个图像之间的不一致区域D以及通过分析图像中的不一致区域D而确定的表示对象506的最高点的照相机视图的交叉点R。头部投影到每个行人的“阴影”的远端。也就是说，使用照相机位置和不一致的区域的知识，确定和跟踪对象上的最高点。每个照相机的视图被重新投影到假定平坦的地平面上。当对象506中断了各自的照相机的地平面视图时，地平面投影不一致，并且对象被检测到。点R处的射线的交叉点用于确定对象的高度及其相对于车辆的位置。一旦确定了高度和位置，则将图像拼接在一起以形成环绕视图图像，并且利用表示行人的半符号图形替换对象。
在一个实施例中，两条射线的交叉点确定了行人的高度和基础位置。在3D示图中，射线变成相交的平面或表面，并且它们交叉的中点在基点B上。在环绕视图中显示两个行人阴影(即，前视图和后视图)会使观察者感到困惑。因此，由基于行人实际外表的单个半符号视图或图形替换这两个阴影。
如关于图1所讨论的那样，第一步骤是擦除两个阴影，并且利用对面的照相机可见的背景像素替换阴影像素。例如，如果第一照相机捕获行人的后视图，则当去除后视图阴影时，使用来自前照相机图像的背景像素来替换该后视图阴影，反之亦然。由此，去除了令人感到困惑的行人的双视图。
第二步骤是将行人的半符号表示放置在先前所计算的行人所站立的地点上，该半符号表示具有与行人的高度成比例的高度，并且在不同区域具有从行人复制而来的颜色或灰度级。例如，如果行人穿着高达1米的有纹理的蓝色裤子，则符号具有达到相同高度的相同颜色的有纹理(等)的蓝色裤子(适于衬衫、裙子、鞋子、头发、帽子等)。符号的宽度也与行人的宽度成比例，以便基于现实的图标在正确的地方中表示人。
图6示出了车辆20的示图，在该示图中关于卡车计算了用于确定行人18相对于车辆的角度的椭圆600。行人符号以从车辆中心到行人基部的半径所给出的角度从照相机“倾斜”。作为替代，可以定义包住车辆的或适于车辆内的椭圆。与从最近的椭圆点A到行人的基点B的方向相垂直的方向定义了行人在显示器中的角度。椭圆可以包围车辆或被车辆包围。
图7示出了诸如可以用于在呈现给驾驶员的显示器上的环绕视图图像中表示行人的行人的半符号图形表示700。图形表示700包括头部702、躯干部分704和腿部706。图形表示具有与通过对单个照相机图像和/或合成混合图像的像素分析所确定的行人的实际高度成比例的以像素为单位的高度。头部702可被着色为接近行人肤色。在另一实施例中，头部可以包括由照相机中的一个所捕获到的行人的面部的图像。躯干部分和腿部可被着色和/或纹理化为分别接近行人的衬衫和裤子的颜色。在一个示例中，通过对由照相机捕获的行人的底部50％(或其它百分比)内的像素颜色求平均来确定图形表示的腿部颜色。类似地，通过对由照相机捕获的行人的上部或中部百分比(例如，50％至90％)中的像素颜色求平均值来确定图形表示的躯干部分的颜色。以这种方式，生成用于插入到环绕视图图像中的行人的半符号图形表示，并且该半符号图形表示包括与行人相关联的真实世界特征。
图8是车辆20的混合环绕视图图像，其中行人阴影或“鬼影”802和804是可见的。行人阴影802是由第一照相机捕获的行人的前视图，并且行人阴影804是由第二照相机捕获的行人的后视图。阴影802和804在与行人的脚相对应的区域806处相交。因此，半符号图标或图形表示可以位于位置806处。相对于车辆跟踪行人位置，并且对图形表示的位置进行调节以使其在环绕视图图像或视频中随行人移动。
图9示出了根据本文所述的一个或多个特征的用于在车辆的环绕视图图像中检测行人并在环绕视图图像中叠加行人的半符号图形表示的方法。在900，从第一有利位置处捕获靠近车辆的对象的第一图像。在902，从第二有利位置处捕获该对象的第二图像。在904，通过将第一图像和第二图像合并来生成合成图像。在906，分析合成图像以检测表示合成图像中的行人的一个或多个特征。在908，在将第一图像和第二图像混合在一起时所产生的行人“阴影”像素被替换为相应的背景像素。在910，生成行人的半符号图形表示，其包括在第一图像和第二图像中所检测到的一个或多个行人特征。在912，将行人的半符号图形表示插入或叠加到合成图像上的行人相对于车辆的计算位置处。在914，将具有半符号表示的合成环绕视图图像输出至显示器。
在一个实施例中，该方法还包括利用来自第二图像的背景像素替换与第一图像中的行人相对应的行人阴影像素，并且利用来自第一图像的背景像素替换与第二图像中的行人相对应的行人阴影像素。一个或多个行人特征可以包括例如行人衬衫颜色、行人裤子颜色、行人高度等。此外或作为替代，行人面部的图像可以叠加在半符号图像表示上。作为替代，可以基于行人对车辆的接近程度来生成行人面部的符号表示。行人面部的这种表示可以是切尔诺夫脸谱图或其它表示。
在另一个实施例中，分析合成图像以识别第一图像和第二图像之间的不一致区域D。计算从每个照相机发出且穿过其视场到达不一致区域D中的相对于每个照相机的较远半程的边界处的至少一条射线。识别照相机射线的交叉点R，其中交叉点与行人的最高点相对应，并且在行人移动经过车辆时跟踪行人的最高点。
在另一实施例中，在合成图像中识别由对象的前视图表示和后视图表示中的每一个所形成的形状，其中，将行人确定为处于前视图表示和后视图表示在合成图像中相交的地方。在合成图像中确定地面以上的行人的头部的高度，并且当行人移动经过车辆时跟踪行人的头部位置。
已经参考若干实施例描述了本发明。其他人在阅读和理解前面的详细描述之后可以想到修改和改变。旨在将本发明解释为包括处于所附权利要求或其等同物的范围内的所有这样的修改和改变。

Claims (24)

1.一种系统，其便于检测车辆的环绕视图图像中的对象并将对象的半符号图形表示叠加在所述环绕视图图像中，所述系统包括：
第一照相机，其从第一有利位置捕获对象的第一图像；
第二照相机，其从第二有利位置捕获所述对象的第二图像；
处理器，其配置为：
通过合并所述第一图像和所述第二图像来生成合成图像；
分析所述合成图像以检测表示所述合成图像中的对象的一个或多个特征；
利用相应的背景像素替换对象像素；
生成所述对象的半符号图形表示，所述半符号图形表示包括在所述第一图像和所述第二图像中检测到的一个或多个对象特征；
将所述对象的半符号图形表示插入到所述合成图像中的对象相对于车辆的计算位置处；以及
将具有所述半符号表示的合成图像输出至显示器。
2.根据权利要求1所述的系统，其中，所述处理器还配置为利用来自所述第二图像的背景像素替换与所述第一图像中的对象相对应的对象像素，并且利用来自所述第一图像的背景像素替换与所述第二图像中的对象相对应的对象像素。
3.根据权利要求1所述的系统，其中，所述对象是行人，并且所述一个或多个对象特征包括以下中的一个或多个：
行人服装颜色；
以及
以像素为单位的行人高度。
4.根据权利要求1所述的系统，其中，所述对象是行人，并且所述处理器还配置为将所述行人的面部或类似面部的图像叠加到所述半符号图形表示上。
5.根据权利要求1所述的系统，还包括不一致计算模块，其配置为分析所述合成图像以识别所述第一图像和所述第二图像之间的不一致区域D。
6.根据权利要求5所述的系统，还包括射线计算模块，其配置为计算从每个照相机发出且穿过该照相机的视场到达不一致区域D的相对于每个照相机的较远半程的边界处的至少一条射线。
7.根据权利要求6所述的系统，其中，所述对象是行人，并且所述系统还包括配置为识别照相机射线的交叉点R的射线交叉点识别模块，其中，所述交叉点与所述行人的最高点相对应，并且其中所述处理器配置为：执行被配置为跟踪所述行人的最高点的跟踪模块，并且将所述半符号图形表示的位置调整为与所跟踪的点相对应。
8.根据权利要求1所述的系统，其中，所述对象是行人，并且所述处理器还配置为执行对所述合成图像中由所述行人的前视图表示和后视图表示中的每一个形成的形状进行识别的对象形状识别模块，其中，所述行人相对于所述车辆的位置被确定为在所述合成图像中的所述行人的前视图表示和后视图表示的交叉点处。
9.根据权利要求8所述的系统，其中，所述对象是行人，并且所述处理器还配置为确定所述合成图像中的地面以上的所述行人的头部的高度，并且其中所述处理器配置为：执行跟踪所述行人的头部的位置的跟踪滤波器，并且将所述半符号图像表示的位置调整为与所述行人的头部的位置相对应。
10.一种方法，其检测车辆的环绕视图图像中的对象并将对象的半符号图形表示叠加在所述环绕视图图像中，所述方法包括步骤：
从第一有利位置捕获对象的第一图像；
从第二有利位置捕获所述对象的第二图像；
通过合并所述第一图像和所述第二图像生成合成图像；
分析所述合成图像以检测表示所述合成图像中的对象的一个或多个特征；
利用相应的背景像素替换对象像素；
生成所述对象的半符号图形表示，所述半符号图形表示包括在所述第一图像和所述第二图像中检测到的一个或多个对象特征；
将所述对象的半符号图形表示插入到所述合成图像中的对象相对于车辆的计算位置处；以及
将具有所述半符号表示的合成图像输出至显示器。
11.根据权利要求10所述的方法，还包括步骤：利用来自所述第二图像的背景像素替换与所述第一图像中的对象相对应的对象像素，并且利用来自所述第一图像的背景像素替换与所述第二图像中的对象相对应的对象像素。
12.根据权利要求10所述的方法，其中，所述对象是行人，并且所述一个或多个对象特征包括以下中的一个或多个：
行人服装颜色；以及
以像素为单位的行人高度。
13.根据权利要求10所述的方法，其中，所述对象是行人，并且所述方法还包括将所述行人的面部图像叠加到所述半符号图形表示上。
14.根据权利要求10所述的方法，其中，所述对象是行人，并且所述方法还包括步骤：
分析所述合成图像以识别所述第一图像和所述第二图像之间的不一致区域D；
计算从每个照相机发出且穿过该照相机的视场到达不一致区域D中的相对于每个照相机的较远半程的边界处的至少一条射线；以及
识别照相机射线的交叉点R，其中所述交叉点与所述行人的最高点相对应，并且在所述行人移动经过所述车辆时跟踪所述行人的最高点。
15.根据权利要求10所述的方法，其中，所述对象是行人，并且所述方法还包括步骤：对所述合成图像中由所述对象的前视图表示和后视图表示中的每一个形成的形状进行识别，其中，所述行人被确定为位于所述合成图像中的所述前视图表示和所述后视图表示的交叉点处。
16.根据权利要求15所述的方法，还包括步骤：确定所述合成图像中的地面以上的所述行人的头部的高度，并且当所述行人移动经过所述车辆时跟踪所述行人的头部的位置。
17.一种处理器，其配置为执行用于在车辆的环绕视图图像中检测对象并在所述环绕视图图像中叠加对象的半符号图形表示的计算机可执行指令，该指令包括：
从第一有利位置捕获对象的第一图像；
从第二有利位置捕获所述对象的第二图像；
通过合并所述第一图像和所述第二图像来生成合成图像；
分析所述合成图像以检测表示所述合成图像中的对象的一个或多个特征；
利用相应的背景像素替换对象像素；
生成所述对象的半符号图形表示，所述半符号图形表示包括在第一图像和第二图像中检测到的一个或多个对象特征；
将所述对象的半符号图形表示插入到所述合成图像中的对象相对于车辆的计算位置处；以及
将具有所述半符号表示的合成图像输出至显示器。
18.根据权利要求17所述的处理器，所述指令还包括：利用来自所述第二图像的背景像素替换与所述第一图像中的对象相对应的对象像素，并且利用来自所述第一图像的背景像素替换与所述第二图像中的对象相对应的对象像素。
19.根据权利要求17所述的处理器，其中，所述对象是行人，并且所述一个或多个对象特征包括以下中的一个或多个：
行人服装颜色；
以及
以像素为单位的行人高度。
20.根据权利要求17所述的处理器，其中，所述对象是行人，并且所述指令还包括将所述行人的面部的图像叠加到所述半符号图形表示上。
21.根据权利要求17所述的处理器，其中，所述对象是行人，并且所述指令还包括：
分析所述合成图像以识别所述第一图像和所述第二图像之间的不一致区域D；
计算从每个照相机发出且穿过该照相机的视场到达不一致区域D中的相对于每个照相机的较远半程的边界处的至少一条射线；以及
识别照相机射线的交叉点R，其中所述交叉点与所述行人的最高点相对应，并且在所述行人移动经过所述车辆时跟踪所述行人的最高点。
22.根据权利要求17所述的处理器，其中，所述对象是行人，并且所述指令还包括：对所述合成图像中由所述对象的前视图表示和后视图表示中的每一个形成的形状进行识别，其中，所述行人被确定为位于所述合成图像中的所述前视图表示和所述后视图表示的交叉点处。
23.根据权利要求22所述的处理器，其中，所述对象是行人，并且所述指令还包括：确定所述合成图像中的地面以上的所述行人的头部的高度，并且当所述行人移动经过所述车辆时跟踪所述行人的头部的位置。
24.一种设备，其便于检测车辆的环绕视图图像中的对象并将对象的半符号图形表示叠加在所述环绕视图图像中，所述设备包括：
用于从第一有利位置捕获对象的第一图像的装置；
用于从第二有利位置捕获所述对象的第二图像的装置；
用于通过合并所述第一图像和所述第二图像来生成合成图像的装置；
用于分析所述合成图像以检测表示所述合成图像中的对象的一个或多个特征的装置；
用于利用相应的背景像素替换对象像素的装置；
用于生成所述对象的半符号图形表示的装置，所述半符号图形表示包括在第一图像和第二图像中检测到的一个或多个对象特征；
用于将所述对象的半符号图形表示插入到所述合成图像中的对象相对于车辆的计算位置处的装置；以及
用于将具有所述半符号表示的合成图像输出至显示器的装置。
CN201580050622.8A 2014-09-19 2015-07-17 用于3d对象再现的拼接图像的高级混合 Active CN107077600B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/491,024 2014-09-19
US14/491,024 US10055643B2 (en) 2014-09-19 2014-09-19 Advanced blending of stitched images for 3D object reproduction
PCT/US2015/040830 WO2016043837A1 (en) 2014-09-19 2015-07-17 Advanced blending of stitched images for 3d object reproduction

Publications (2)

Publication Number Publication Date
CN107077600A true CN107077600A (zh) 2017-08-18
CN107077600B CN107077600B (zh) 2021-09-07

Family

ID=53801163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580050622.8A Active CN107077600B (zh) 2014-09-19 2015-07-17 用于3d对象再现的拼接图像的高级混合

Country Status (4)

Country Link
US (1) US10055643B2 (zh)
EP (1) EP3195188B1 (zh)
CN (1) CN107077600B (zh)
WO (1) WO2016043837A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844765A (zh) * 2017-10-31 2018-03-27 广东欧珀移动通信有限公司 拍照方法、装置、终端及存储介质
CN109492451A (zh) * 2018-10-30 2019-03-19 维沃移动通信有限公司 一种编码图像识别方法及移动终端
CN110084115A (zh) * 2019-03-22 2019-08-02 江苏现代工程检测有限公司 基于多维信息概率模型的路面检测方法
CN112334947A (zh) * 2018-06-30 2021-02-05 罗伯特·博世有限公司 基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043067B2 (en) * 2012-12-03 2018-08-07 Harman International Industries, Incorporated System and method for detecting pedestrians using a single normal camera
CN106462962B (zh) * 2014-06-03 2020-08-04 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
KR102287751B1 (ko) * 2014-09-25 2021-08-09 삼성전자 주식회사 전자 장치의 홍채 인식 방법 및 장치
EP3026653A1 (en) * 2014-11-27 2016-06-01 Kapsch TrafficCom AB Method of controlling a traffic surveillance system
US9851500B2 (en) * 2015-02-06 2017-12-26 Corning Incorporated Light-diffusing optical elements having cladding with scattering centers
CN105072350B (zh) 2015-06-30 2019-09-27 华为技术有限公司 一种拍照方法及装置
EP3142066A1 (en) * 2015-09-10 2017-03-15 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
JP6700752B2 (ja) * 2015-12-01 2020-05-27 キヤノン株式会社 位置検出装置、位置検出方法及びプログラム
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
US20180288320A1 (en) * 2017-04-03 2018-10-04 Uber Technologies, Inc. Camera Fields of View for Object Detection
DE102017114611A1 (de) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
US10332272B2 (en) * 2017-08-07 2019-06-25 Caterpillar Inc. Systems and methods for testing an automatic perception system
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
US11518380B2 (en) * 2018-09-12 2022-12-06 Bendix Commercial Vehicle Systems, Llc System and method for predicted vehicle incident warning and evasion
TWI676964B (zh) * 2018-12-11 2019-11-11 晶睿通訊股份有限公司 影像拼接方法及其監控攝影裝置
US10896335B2 (en) 2019-01-07 2021-01-19 Ford Global Technologies, Llc Adaptive transparency of virtual vehicle in simulated imaging system
BR112021021246A2 (pt) 2019-05-03 2021-12-21 Stoneridge Electronics Ab Sistema de registro de veículo utilizando a detecção de eventos
KR20210120599A (ko) * 2020-03-27 2021-10-07 라인플러스 주식회사 아바타 서비스 제공 방법 및 시스템
CN112866573B (zh) * 2021-01-13 2022-11-04 京东方科技集团股份有限公司 显示器、融合显示系统及图像处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731450A (zh) * 2004-08-05 2006-02-08 株式会社东芝 监视设备以及显示鸟瞰视图的方法
CN102577372A (zh) * 2009-09-24 2012-07-11 松下电器产业株式会社 驾驶辅助显示装置
CN103764448A (zh) * 2011-09-05 2014-04-30 三菱电机株式会社 图像处理装置及图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421463B1 (en) * 1998-04-01 2002-07-16 Massachusetts Institute Of Technology Trainable system to search for objects in images
DE10035223A1 (de) 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
US6956469B2 (en) 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
JP3987013B2 (ja) 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP4128562B2 (ja) * 2004-11-30 2008-07-30 本田技研工業株式会社 車両周辺監視装置
US7576639B2 (en) 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP5554261B2 (ja) * 2011-02-24 2014-07-23 アルパイン株式会社 立体物検出装置および立体物検出方法
US9019347B2 (en) 2011-10-13 2015-04-28 Aisin Seiki Kabushiki Kaisha Image generator
US9418467B2 (en) 2012-12-21 2016-08-16 Honda Motor Co., Ltd. 3D human models applied to pedestrian pose classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731450A (zh) * 2004-08-05 2006-02-08 株式会社东芝 监视设备以及显示鸟瞰视图的方法
CN102577372A (zh) * 2009-09-24 2012-07-11 松下电器产业株式会社 驾驶辅助显示装置
CN103764448A (zh) * 2011-09-05 2014-04-30 三菱电机株式会社 图像处理装置及图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEFERSON R, ET AL.: "Automatic camera control in virtual environments augmented using multiple sparse videos", 《COMPUTERS & GRAPHICS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844765A (zh) * 2017-10-31 2018-03-27 广东欧珀移动通信有限公司 拍照方法、装置、终端及存储介质
CN112334947A (zh) * 2018-06-30 2021-02-05 罗伯特·博世有限公司 基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆
CN109492451A (zh) * 2018-10-30 2019-03-19 维沃移动通信有限公司 一种编码图像识别方法及移动终端
CN110084115A (zh) * 2019-03-22 2019-08-02 江苏现代工程检测有限公司 基于多维信息概率模型的路面检测方法

Also Published As

Publication number Publication date
US10055643B2 (en) 2018-08-21
WO2016043837A1 (en) 2016-03-24
EP3195188B1 (en) 2022-09-28
CN107077600B (zh) 2021-09-07
US20160086033A1 (en) 2016-03-24
EP3195188A1 (en) 2017-07-26

Similar Documents

Publication Publication Date Title
CN107077600A (zh) 用于3d对象再现的拼接图像的高级混合
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
CN107472135B (zh) 图像生成装置、图像生成方法以及记录介质
CN107004120B (zh) 宽基线物体探测立体系统
EP2660104B1 (en) Apparatus and method for displaying a blind spot
US11748907B2 (en) Object pose estimation in visual data
CN105006175B (zh) 主动识别交通参与者的动作的方法和系统及相应的机动车
CN111414796A (zh) 模拟成像系统中的虚拟车辆的自适应透明
US20150243031A1 (en) Method and device for determining at least one object feature of an object comprised in an image
US20110157184A1 (en) Image data visualization
KR101413231B1 (ko) 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
KR101097063B1 (ko) 사각 지대 표시 장치 및 방법
US20130271449A1 (en) Method of generating three-dimensional (3d) volumetric data
JP6855872B2 (ja) 顔認識装置
Broggi et al. Pedestrian detection on a moving vehicle: an investigation about near infra-red images
CN112926464A (zh) 一种人脸活体检测方法以及装置
CN107644440A (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
Zabulis et al. Multi-camera reconstruction based on surface normal estimation and best viewpoint selection
Roessing et al. Intuitive visualization of vehicle distance, velocity and risk potential in rear-view camera applications
JP2012120047A (ja) 車両用表示装置
CN112734908A (zh) 一种面向行驶车辆的汽车底盘三维重建系统及其工作方法
Petrovai et al. Obstacle detection using stereovision for Android-based mobile devices
CN108171754A (zh) 一种基于双目视觉的机器人导航装置及方法
CN109711352A (zh) 基于几何卷积神经网络的车辆前方道路环境透视感知方法
JP2008230358A (ja) 表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant