CN106250805B - 用于处理与机动车辆相关的多个图像的方法和系统 - Google Patents

用于处理与机动车辆相关的多个图像的方法和系统 Download PDF

Info

Publication number
CN106250805B
CN106250805B CN201610333653.0A CN201610333653A CN106250805B CN 106250805 B CN106250805 B CN 106250805B CN 201610333653 A CN201610333653 A CN 201610333653A CN 106250805 B CN106250805 B CN 106250805B
Authority
CN
China
Prior art keywords
multiple images
image
rate
motor vehicles
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610333653.0A
Other languages
English (en)
Other versions
CN106250805A (zh
Inventor
R·A·笛兹尤尔达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN106250805A publication Critical patent/CN106250805A/zh
Application granted granted Critical
Publication of CN106250805B publication Critical patent/CN106250805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于处理与机动车辆相关的多个图像的方法。该方法识别多个图像中的物体;确定物体是否位于多个图像的背景中;且当物体位于多个图像的背景中时,从多个图像的展现中过滤该物体。

Description

用于处理与机动车辆相关的多个图像的方法和系统
技术领域
本文描述的主题的实施例大体上涉及图像掩蔽。更具体地说,该主题的实施例涉及基于相距参考点的距离掩蔽已捕捉图像中的物体。
背景技术
从机动车辆内部看到的外部景象至少部分被车辆自身的各种结构和部件掩盖。例如,车辆内部的A柱、车门、仪表盘或另一个零件(或零件组合)会阻挡从挡风玻璃和/或其他车窗向外看到的景象的一部分。这种掩盖可以通过将现场图像投影在阻挡外部景象的内部零件上而减少。然而,投影图像一次只能容易地与前景或背景物体对准。例如,前景物体可对准到投影图像,但是背景物体可能未对准或不当地缩放/扭曲。这种未对准或扭曲导致观看者分心。另外,由于所显示分辨率太低并且造成观看者分心,因此掩蔽或移除图像的背景将是有利的。图像的背景部分对于辅助减少“盲点”(例如,被掩盖的外部景象)方面是不必要的。
因此,希望计算位于车辆周围的物体的距离。当车辆移动通过静止环境时,周围物体具有唯一“相对”运动(例如,相对于彼此和车辆)。相对运动的差直接对应于车辆速度和从相机镜头到所观看物体的距离。以这种方式计算物体的距离对于如车辆周围的行人检测、碰撞缓解或危险检测的主动安全系统来说是有价值的。一个示例性应用可以包括通过高亮显示诸如位于车辆附近的动物的物体和掩蔽图像的背景部分以更好地高亮显示位置和相距动物的距离来增加夜视图像的深度的能力。
另外,其它期望特征和特性从以下结合附图和前述技术领域及背景技术进行的后续详细说明和所附权利要求中将变得显而易见。
发明内容
提供了一种用于处理与机动车辆相关联的多个图像的方法。该方法识别多个图像中的物体;确定物体是否位于多个图像的背景中;且当物体位于多个图像的背景中时,从多个图像的展现中过滤该物体。
提供了一种用于展现与机动车辆相关联的捕捉图像的系统。该系统包括:相机模块,其被配置成捕捉机动车辆外侧的多个图像;图像数据分析模块,其被配置成识别该多个图像中的物体,并且确定物体是否位于机动车辆的参考点的半径内;图像编辑模块,其被配置成当物体未位于参考点的半径内时通过掩蔽来自多个图像的物体来产生输出图像;和展现模块,其被配置成显示由图像编辑模块产生的输出图像。
提供了一种在其上包括指令的非暂时性计算机可读介质。当由处理器执行时,指令执行方法。该方法识别以在机动车辆外侧捕捉的图像序列中描绘的多个物体,该多个物体中的每一个位于机动车辆外侧;基于捕捉的图像序列的分析计算该多个物体中的每一个的平移速率;基于所计算的该多个物体中的每一个的平移速率掩蔽来自图像序列的该多个物体的子集以产生输出图像;和展现输出图像。
提供本发明内容是为了以简化形式介绍在以下具体实施方式中将进一步描述的概念选择。本发明内容不期望识别所要求保护的主题的关键特征或必要特征,也不期望用于帮助确定所要求保护的主题的范围。
附图说明
对主题的更全面理解可以通过参照结合以下附图考虑的具体实施方式和权利要求书而得到,其中附图中类似的参考数字是指类似元件。
图1是根据所公开实施例的用于捕捉机动车辆外部的图像的系统的图;
图2是根据所公开的实施例的图像掩蔽系统的功能方框图;
图3是根据一个实施例的机动车辆内部的图;
图4是说明用于处理与移动中的机动车辆相关联的多个图像的过程的一个实施例的流程图;
图5是根据一个实施例的机动车辆和预定半径的图;
图6是说明用于确定物体是否位于移动中的机动车辆的驾驶员位置的预定半径内的过程的一个实施例的流程图;
图7是根据一个实施例的物体跨多个图像的平移的图;
图8是说明用于确定形状跨多个图像的平移速率的过程800的一个实施例的流程图。
具体实施方式
以下详细描述本质上仅仅是说明性的,并不用来限制本主题或本申请的实施例以及这些实施例的用法。如本文所使用的词语“示例性”指“作为实例、例子或说明”。本文描述为示例性的任何实施方案不一定要被解释为相对于其他实施方案是优选的或有利的。另外,不存在被前述的技术领域、背景技术、发明内容或者下面的详细描述中提出的任何表述的或暗示的理论约束的意图。
本文提出的主题涉及用于识别在参考点的指定半径之外的多个图像(例如视频馈送或一组静止帧图像)中描绘的物体设备和方法,以及从图像的显示版本中掩蔽所述物体。在这里,为了消除“盲点”,所捕捉的图像在车辆外部获取并显示在车辆内部。确定在指定半径内的物体被投影,使得它们对于车辆的驾驶者清晰可见。然而,在所述半径之外的物体被从内部车辆显示器中消除。
现在参见附图,图1是根据所公开的实施例的用于捕获机动车辆102外部的图像的系统100的图。车辆102可以为多种不同类型的汽车(轿车、无篷货车、卡车、摩托车、运动用车辆、有篷货车等)、飞行载具(如飞机、直升飞机等)、船只(小艇、轮船、喷气式滑水板)、火车、全地形车辆(雪上汽车、四轮车等)、军用车辆(悍马车、坦克、卡车等)、救援车辆(消防车、云梯消防车、警车、紧急医疗服务车和救护车等)、航天器、气垫船及类似物中的任意一种。
车辆102包括定位在车辆102外部的一个或多个相机106。所述一个或多个相机106可被安装在车辆102的外表面上、内置在车辆102中且被定位成获得车辆102周围环境的外部景象或类似物。可以使用能够被安装到机动车辆102外部的任何适当的图像捕获装置来实现相机106,包括视频相机和/或静止帧相机。相机106可被内置到系统中和/或由车辆制造商、图像掩蔽系统制造商或类似物提供。
车辆102进一步包括参考点104(即,车辆102内部的参考位置),从该参考点104获得外部视角(即,从车辆102的内部观察到的车辆102外部的景象)。虽然参考点104可以与车辆102的任何期望位置相关联,但是参考点104通常与车辆102的驾驶者座椅位置相关联。从参考点104的视角捕获图像,分析图像并使用相对于参考点104的数据进行计算,并且将图像呈现给在参考点104的位置中的车辆102的乘员或操作者。
车辆102被配置成沿前向行驶方向108或者反向行驶方向110行驶。当车辆102沿前向行驶方向108行驶时,相机106-B、106-D捕获车辆102外部的图像。在这种情况下,相机106-B、106-D沿偏离轴线114(示出前向行驶方向108和反向行驶方向110的x轴线)小于90度的前向行驶方向108获取图像。当车辆102沿反向行驶方向110行驶时,相机106-A、106-C沿偏离轴线114小于90度的反向行驶方向110获取图像。相机106可被配置成沿除了90度位置的任何方向和/或位置捕获图像,其中所述90度位置为轴线116(与轴线114成直角的y轴线)。在某些实施例中,相机106是用户可配置的,并且可以根据需要而被激活和/或定位。在其他实施例中,相机106被定位成提供特定景象,如对于车辆102的操作者而言通常被遮蔽的景象(例如“盲点”)。在这种情况下,相机106可被预先定位和/或永久性定位以提供盲点观察能力。
图2是根据所公开的实施例的车辆200的图像掩蔽系统202的功能性方框图。图像掩蔽系统202通常包括但不限于:至少一个处理器204、系统存储器206、用户接口208、相机模块210、图像数据分析模块212、图像编辑模块214和展现模块216。图像掩蔽系统202的这些元件和特征可以可操作地相互关联、相互连接、或者以其它方式根据需要被配置成相互协作以支持期望的功能性——特别是,如本文所描述的,从投影到车辆200内部的图像中消除一定距离的物体。为了便于说明和清晰起见,图2中没有描述这些元件和特征的各种物理、电气和逻辑连接和互连。此外,应当认识到,图像掩蔽系统202的实施例将包括协作以支持期望的功能性的其他元件、模块和特征。为了简化,图2仅描绘了与下面更详细描述的图像掩蔽技术有关的某些元件。
可以利用一个或多个通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何适当的可编程逻辑器件、离散的门或晶体管逻辑、离散的硬件部件或被设计为执行这里所述功能的任意组合,来实现或执行所述至少一个处理器204。特别地,所述至少一个处理器204可以被实现为一个或多个微处理器、控制器、微控制器或状态机。此外,所述至少一个处理器204可被实现为计算装置的组合,例如数字信号处理器和微处理器的组合、多个微处理器、结合数字信号处理器内核的一个或多个微处理器、或任何其他此类配置。
系统存储器206可以使用对该实施例是合适的任意数目的装置、部件或模块来实现。实际上,系统存储器206能够实现为RAM存储器、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘或本领域已知的任何其他形式的存储媒介。在某些实施例中,系统存储器206包括硬盘,该硬盘也可以用于支持所述至少一个处理器204的功能。系统存储器206可以耦合到至少一个处理器204,使得至少一个处理器204能够从系统存储器206读取信息以及向系统存储器206写入信息。在替代例中,系统存储器206可以集成到至少一个处理器204上。作为实例,至少一个处理器204和系统存储器206可以驻留在合适设计的专用集成电路(ASIC)中。
用户接口208可以包括各种特征或者与各种特征协作以允许用户与图像掩蔽系统202交互。因此,用户接口208可以包括各种人机接口,例如小键盘、键、键盘、按钮、开关、旋钮、触摸板、操纵杆、指点装置、虚拟手写板、触摸屏、麦克风或者使得用户能够选择选项、输入信息或者以其它方式控制图像掩蔽系统202的操作的任何装置、部件或功能。例如,用户接口208能够由操作者操纵以选择图像捕获软件应用,并且经由该图像捕获软件应用为多个车载相机配置操作参数。
相机模块210包括与图像掩蔽系统202的各个元件通信的一个或多个图像捕获装置。一般而言,采用适合从车辆200的外部位置(例如,车辆200的外表面)获取车辆200的周围环境的“连续图像”(例如,视频馈送或多个静止帧图像)的任何图像捕获装置来实现相机,正如以上结合图1所描述的。相机模块210的相机的定位可以通过用户偏好和/或制造商“默认”定位来确定,并且各相机可以被定位以在车辆200的前向移动方向和/或反向移动方向的90度以内的任何位置处捕获图像。任意数量的相机可以作为图像掩蔽系统202的一部分,并且典型的实施例包括战略性地定位以便捕获车辆“盲点”(例如,驾驶员的视线被挡住的区域)处图像的相机。这里,示例性实施例将90度描述为一个实例,而其他实施例可以采用具有更大或更小视场角的相机。
相机模块210被配置为在机动车辆处于运动的同时捕获机动车辆200外部的多张图像。与相机模块210相关联的每个相机可以具有捕获视频图像和/或静止帧的能力。一旦通过相机获得了图像,则这些图像可以被存储(在系统存储器206中)、分析(由图像数据分析模块212进行)、编辑(由图像编辑模块214进行)以及显示和/或进行流处理以便投影(由展现模块216进行)。
图像数据分析模块212被配置为评估相机模块210所捕获的一张或多张图像,以便识别各评估图像中的对象并且确定该对象是处于图像的前景还是背景中。“前景对象”位于离机动车辆200中的参考点的预定半径内,而“背景对象”包括该半径之外的任何对象。预定半径随着车辆速度而按比例变化。例如,当车辆速度增大时,预定半径可以从3米扩大至10米。在某些实施例中,用户能够手动地调节预定半径值,以便增加或减小该值,使得半径更接近或更远离车辆。当确定对象在图像的前景中时,图像数据分析模块212不会采取进一步动作。然而,当确定对象在图像的背景中时,图像数据分析模块212将该信息提供给图像编辑模块214以便进一步使用。
图像编辑模块214与图像数据分析模块212通信,从而接收指定位于所分析图像的背景中的对象(即“背景对象”)的数据。图像编辑模块214还配置为“掩蔽”这些背景对象,进而将它们从该图像的输出的、编辑版本中去除。掩蔽涉及逐像素地提供所分析图像的小部分的信息,要么是针对不透明显示器(例如LCD、OLED)的黑色(即,无光射出/传输)形式的,要么是针对透明显示器(例如TOLED)的透明形式的。经过编辑的图像仅包括“前景对象”;换句话说,非常接近机动车辆200且因此会对机动车辆200的移动构成潜在的障碍的对象。图像编辑模块将背景对象从经过编辑的图像中去除,以便使移动中的机动车辆200的驾驶员的分心最小化。图像经过编辑的版本适合于在机动车辆200的内部输出和展现。
展现模块216被配置成接收和显示由图像编辑模块214编辑的输出图像。当用户选择显示来自展现模块216的图像时,在某些实施例中,可以在车载控制台显示器,例如用户接口208、“信息娱乐”系统和/或任何类型的车辆控制台显示器上显示所述图像。然而,在其他实施例中,所述图像可以在机动车辆200的内表面,例如立柱、仪表盘、车门的内表面或类似物上显示为投影。以这种方式,展现模块216被配置成“填充”从机动车辆200的驾驶者位置的视角观察的全景景象中的一个或多个间隙。这种全景景象包括机动车辆200的挡风玻璃和/或其他窗户外面的景象,该景象可能被机动车辆200的内部零件(例如立柱、仪表盘、车门等)阻挡。在某些实施例中,展现模块216被配置成获得包括被阻挡的特征的图像,以及被配置成显示阻挡区域中的该图像。例如,图3描绘了机动车辆300的内部(参见图2的参考标号200),其包括从挡风玻璃302和车门窗户304观察到的外部景象。如图所示,外部景象被A-柱306部分遮住。然而,图3还示出被阻挡的特征的图像被投影在A-柱306上以使景象完整,换句话说,“填充”由A-柱306引入的间隙。结果是在该特殊实施例中A-柱306不再阻挡外部景象,从而提供了从机动车辆300整体可见的外部景象。
返回到图2,经由展现模块216,用户可选择观看已被捕获并被编辑的一个或多个图像。用户还可观看已被捕获并被编辑的经编辑的视频馈送。展现模块216被配置成展现来自与相机模块210相关联的相机中的一个或多个的经编辑的图像,并且可同时在车辆200内部的不同位置处展现来自一个以上相机的图像。
实际上,相机模块210、图像数据分析模块212、图像编辑模块214和/或展现模块216可以利用至少一个处理器204来实现(或者可以与至少一个处理器204协作)以执行本文更详细描述的功能和操作中的至少一些。在这点上,相机模块210、图像数据分析模块212、图像编辑模块214和/或展现模块216可被实现为适当编写的处理逻辑、应用程序代码或类似物。
图4是说明用于处理与移动中的机动车辆相关联的多个图像的过程400的实施例的流程图。与过程400相关地执行的各种任务可以由软件、硬件、固件或其任意组合来执行。出于说明性目的,过程400的以下描述可涉及上面关于图1-3提及的元件。实际上,过程400的部分可以由所描述的系统的不同元件来执行。应当认识到,过程400可包括任何数量的额外任务或可替换的任务;图4所示的任务不必以所图示的顺序执行;并且方法400可以合并到具有本文中未详细说明的额外功能性的更全面的程序或过程中。此外,只要所需的整体功能性保持完好,图4所示的任务中的一个或多个可以从过程400的实施例中省去。
为了便于描述和清晰起见,假设过程400以识别多个图像中的物体(步骤402)开始。与移动中的机动车辆相关联的所述多个图像包括从车辆的内部观察的“外部景象”的视角观察到的一组画面或视频馈送。通常经由车辆外部的图像捕获装置(例如,静止帧相机和/或视频相机)采集多个图像,并且在车辆处于运动中的同时获取所述图像。物体可以是图像中描绘的任何可识别的特征,并且图像可包括任何数量的物体。在某些实施例中,过程400评估每个像素的颜色值,并且与相互紧密接近的像素相关联的相似颜色被识别为物体,而与相互紧密接近的像素相关联的不同颜色被识别为物体的边界。
在识别出多个图像中的物体(步骤402)之后,过程400确定所述物体是否位于所述多个图像的背景中(步骤404)。下面参照图6和过程600描述用于执行步骤404的一种特定方法。每个图像可包括在图像的前景或背景中的物体。前景物体可以被定义为看起来更接近捕获图像的相机的物体,并且因此其更接近车辆。由于前景物体接近车辆,所以前景物体对于车辆的驾驶者来说在车辆的运动和操纵期间特别要注意。在捕获的图像中,背景物体看起来离捕获图像的相机更远。因此,背景物体离车辆本身更远,并且因为它们不是驾驶者在操纵车辆时做出决定的因素,所以其关注水平要低一些。此外,背景物体在所拍摄的移动中的车辆外部的图像中看起来模糊,并且对观察图像显示的驾驶者造成分心。
一般来说,区分前景物体与背景物体包括相对于如图5中描绘的参考点识别物体是位于预定半径内部还是外部。在所示实施例中,车辆500具有位于车辆500的驾驶员座椅位置中的参考点504。在其它实施例中,参考点504可以位于车辆500的另一个内部位置中。参考点504通常包括车辆中的任何点,只要乘员从该点可以通过车辆的挡风玻璃和其它窗口观察到外景。
如图所示,当车辆500的乘员位于参考点504的位置时,人506位于参考点504的预定半径502内,从而使人506呈现为向车辆500的乘员呈现的图像中的“前景”物体。类似地,物体508位于参考点504的预定半径502外部,且因此物体508在车辆500的乘员来看表现为图像中的“背景”物体。为了展现给车辆的操作者,从选取的参考点504的视角展现车辆500外部捕获的图像。因此,对位于参考点504处的车辆500的乘员表现为前景物体的物体还将表现为车辆500外部捕获的图像中的前景物体,且对参考点504处的相同乘员表现为背景物体的物体表现为车辆500外部捕获的图像中的背景物体。
返回到图4,当过程400确定物体是位于多个图像的背景中时(404的“是”分支),过程400从多个图像的展现中过滤该物体(步骤408)。此处,过程400从多个图像的展现中移除或“掩蔽”背景物体。背景物体的移除以物体所处的模糊背景区域的形式消除了来自多个图像的展现的不必要的分心。
然而,当该物体并非位于多个图像的背景中时(404的“是”分支),过程400不会从多个图像的展现中过滤该物体(步骤406),从而允许该物体在对车辆驾驶员的展现中保持可见。此时,前景物体(例如,位于车辆的参考点的预定半径内的物体)被允许在展现中保持可见。结果是展现仅仅包括前景物体,这是因为背景物体已通过过程400被消除了。
图6是说明用于确定物体是否位于移动中的机动车辆的驾驶员位置的预定半径内的过程600的实施例的流程图。首先,过程600识别在多个已捕获图像中的物体形状(步骤602)。此时,过程600逐像素地评估颜色值,且类似颜色被识别为物体,不同颜色被识别为物体的边界。
在识别物体的形状之后(步骤602),过程600确定形状跨越多个已捕获图像的平移速率(步骤604)。下文参考图8的流程图描述用于确定平移速率的一种合适的方法。物体的平移包括物体从第一图像中的第一位置移动到第二图像中的第二位置,其中第一和第二图像是从相同位置和视角捕获的。例如,如图7中所示,图像(1)描绘左侧位置中的形状;图像(2)描绘右侧位置中的相同形状;且图像(3)描绘形状移动前后该形状的两个位置之间的关系。此时,形状已从第一位置(图像(1)中所示)“平移”到第二位置(图像(2)中所示)。
形状跨越多个图像的平移速率可以被定义为物体在图像中的位置的变化,因为该变化与时间相关。例如,物体可以每秒、每毫秒等移动某个数量的像素。在某些实施例中,平移速率是物体跨越视频馈送的移动速率,该移动速率指示从车辆中参考点的视角来看物体是在视频馈送的背景还是前景中。此时,过程600识别物体位置的变化及其与位置变化期间已经过的时间量的关系。
接着,过程600确定所确定的平移速率是否小于平移的阈值速率(步骤606)。平移的阈值速率指示已捕获图像中的物体必须被平移以便被识别为“前景”物体时的最小速度。更接近车辆的前景物体以快于背景物体的速度跨越图像运动。以小于阈值速率的速率平移的物体是在已捕获图像的背景中,且这些背景物体可能表现为扭曲或模糊。
平移的阈值速率是随着车辆的速度变化而变化的预定值。更具体地说,平移的阈值速率与车辆的速度直接成比例,或换句话来说,车辆移动越快,平移的阈值速率必须越快。在某些实施例中,过程600获得车辆的当前速度,并且执行查找以基于当前速度确定阈值速率。
如果平移速率小于阈值速率(606的“是”分支),则过程600确定该物体不位于预定半径内(步骤608),并且因此,该物体为车辆处的任何捕获图像中的背景物体。这里,平移速率是“低的”(即,慢于阈值速率),且该物体没有足够快地移动以在捕获图像中清晰显示。然而,如果平移速率不小于阈值速率(606的“否”分支),则过程600确定该物体位于预定半径内(步骤610),并且因此,该物体为车辆处的任何捕获图像中的前景物体。在此情况下,平移速率是“快的”(即,与阈值速率一样快或者快于阈值速率),且物体以使其在捕获图像中清楚可见的速率移动。
图8是说明用于确定形状跨越多个图像的平移速率的过程800的实施例的流程图。应当理解,图8中所述的过程800呈现了在以上图6的讨论中所描述的步骤604的一个实施例,其包括额外的细节。首先,过程800以预定速率采样多个图像(步骤802)。此时,过程800在特定时间观察所考虑的物体,并在该时间上识别物体在图像中的位置(即方位)。在规定时间段之后,过程800则重复该程序,从而识别物体在图像中的第二位置。将规定时间段作为对图像采样的速率,过程800可任意次数地确定物体的图像位置。
接下来,过程800识别多个图像的图像捕获的速率(步骤804)。这通常是所使用相机的快门速度,例如60帧/秒等。图像捕获的速率可以存储在任何形式的系统存储器中或存储在一个或多个相机处,并可通过过程800取回以执行计算。
然后过程800基于图像捕获的速率和预定采样速率计算平移速率(步骤806)。平移速率以每个预定时间段上的像素数目(像素/秒或毫秒等)来指示运动。
在本文中可以采用功能和/或逻辑块部件的方式且根据可由各种计算部件或装置执行的操作、处理任务和功能来描述这些技术工艺。这种操作、任务和功能有时称作计算机执行、计算机化、软件实现、或计算机实现。实际上,一个或多个处理器装置可以通过操作表示系统存储器中的存储位置处的数据位的电信号以及其他信号的处理来执行所述操作、任务和功能。维持数据位的存储位置是具有对应于数据位的特定电、磁、光、或组织性质的物理位置。应当理解,图中所示的各种块部件可以通过任意数量的配置成执行规定功能的硬件、软件,和/或固件来实现。例如,系统或部件的实施例可采用各种集成电路部件,例如存储器元件、数字信号处理元件、逻辑元件、查找表或类似物,它们可以在一个或多个微处理器或者其他控制设备的控制下运行各种功能。
当以软件或固件实施时,本文所述系统的各个元件基本上是执行各种任务的代码段或指令。程序或代码段可以存储在处理器可读介质中,或者经由传输介质或通信路径通过包含在载波中的计算机数据信号而传输。“处理器可读介质”、“计算机可读介质”或“机器可读介质”可以包括可以存储或者转送信息的任何介质。处理器可读介质的实例包括电子电路、半导体存储设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路或类似物。计算机数据信号可包括可以在传输介质上传播的任何信号,该传输介质例如是电子网络信道、光纤、空气、电磁场路径,或RF链路。代码段可以经由诸如互联网、内联网、LAN或类似物的计算机网络下载。
为了简明起见,本文不再详细描述与信号处理、数据传输、信令、网络控制、以及该系统的其它功能方面(以及该系统独立操作的部件)相关的常规技术。此外,本文包含的各图中示出的连接线意在展现各元件之间的示例性功能关系和/或物理连接。应该注意,在本主题的实施例中可以存在许多替代或额外的功能关系或物理连接。
本说明书中所描述的一些功能单元被称为“模块”以便更显著的强调他们实现的独立性。例如,本文所称为模块的功能性可以全部地或者部分地被实现为包括定制VLSI电路或者门阵列的硬件电路、例如逻辑芯片的即用半导体、晶体管或者其它离散部件。模块也可以实现于可编程硬件设备中,例如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备或类似物。
模块也可以实现在由各种类型的处理器执行的软件中。所识别出的可执行代码的模块例如可以包括例如可以组织为物体、程序或功能的计算机指令的一个或多个物理或逻辑模块。尽管如此,已识别模块的可执行代码不需要以物理方式定位在一起,而是可以包括在不同位置中存储的异类指令,所述指令当在逻辑上被结合到一起时,包括模块并且实现关于该模块的设定目的。
可执行代码的模块可以是单个指令或许多指令,并且甚至可以被分布在几个不同的代码段上、在不同的程序中和几个存储器装置之间。类似地,操作数据可以以任何合适的形式实现并组织在任何合适类型的数据结构内。操作数据可以被收集为单个数据集或者分布到包括不同存储设备的不同位置上,而且可以至少部分地仅仅作为系统或网络上的电子信号而存在。
尽管在以上详细阐述中,已举出至少一个示例性实施例,但应理解本发明存在许多的变化。还应当认识到,在此描述的一个或多个示例性实施例并不意在以任以任何方式限制所要求保护主题的范围、可应用性或者配置。相反,前述详细说明是将实施一个或多个所述实施例的便利的指引提供给本领域技术人员。应当理解,在元件的功能和配置方面可以作出多种改变而不偏离由权利要求所限定的范围,此范围包括在提出本专利申请时已知的等同物和可预见的等同物。

Claims (9)

1.一种用于处理与机动车辆相关的多个图像的方法,所述方法包括:
经由位于所述机动车辆的外表面上的图像捕获装置捕获多个图像;
识别所述多个图像中的物体;
确定所述物体是否位于所述多个图像的背景中,包括:
识别所述物体是否位于所述机动车辆的驾驶员位置的预定半径内;且
当所述物体不位于所述驾驶员位置的预定半径内时,确定所述物体位于所述多个图像的所述背景中;
将所述多个图像展现在所述机动车辆的内部显示器上,以产生所述多个图像的展现;以及
当所述物体位于所述多个图像的所述背景中时,从所述多个图像的展现中过滤所述物体。
2.如权利要求1所述的方法,其进一步包括:
当所述物体位于所述驾驶员位置的预定半径内时,在所述多个图像的所述展现中包括所述物体。
3.如权利要求1所述的方法,其中所述确定步骤进一步包括:
识别所述多个图像中的所述物体的形状;
确定所述形状跨越所述多个图像的平移速率;以及
当所述平移速率小于阈值速率时,确定所述物体不位于所述驾驶员位置的所述预定半径内。
4.如权利要求3所述的方法,其进一步包括以预定速率采样所述多个图像以识别所述物体;
其中所述确定步骤进一步包括:
识别图像捕获的速率;以及
基于所述图像捕获的速率和所述预定速率来计算所述平移速率。
5.如权利要求3所述的方法,其中所述确定步骤进一步包括:
识别所述形状的第一图像位置;
在规定时间段之后,识别所述形状的第二图像位置;以及
基于所述第一图像位置、所述第二图像位置和所述规定时间段确定所述平移速率。
6.一种用于展现与机动车辆相关的捕获的图像的系统,所述系统包括:
相机模块,其被配置成捕获机动车辆外部的多个图像;
图像数据分析模块,其被配置成识别所述多个图像中的物体,并确定所述物体是否位于所述机动车辆的参考点的半径内;
图像编辑模块,其被配置成当所述物体不位于所述参考点的所述半径内时通过在所述多个图像中掩蔽所述物体来创建输出图像;以及
展现模块,其被配置成显示由所述图像编辑模块创建的所述输出图像。
7.如权利要求6所述的系统,其中所述图像数据分析模块进一步配置成:
识别所述物体的形状;
计算所述形状跨越所述多个图像的平移速率;以及
当所述平移速率 小于阈值速率时,确定所述物体不位于所述机动车辆的参考点的所述半径内。
8.如权利要求7所述的系统,其中所述图像数据分析模块进一步配置成:
识别与所述相机模块相关的图像捕获的速率;
以预定速率采样所述多个图像以识别所述物体;以及
基于所述图像捕获的速率和所述预定速率来计算所述平移速率。
9.如权利要求7所述的系统,其中所述图像数据分析模块进一步配置成:
识别所述形状的第一图像位置;
在规定时间段之后,识别所述形状的第二图像位置;以及
基于所述第一图像位置、所述第二图像位置和所述规定时间段确定所述平移速率。
CN201610333653.0A 2015-06-03 2016-05-19 用于处理与机动车辆相关的多个图像的方法和系统 Active CN106250805B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/729356 2015-06-03
US14/729,356 US9710713B2 (en) 2015-06-03 2015-06-03 Methods and apparatus to perform image masking based on relative motion of objects

Publications (2)

Publication Number Publication Date
CN106250805A CN106250805A (zh) 2016-12-21
CN106250805B true CN106250805B (zh) 2019-10-22

Family

ID=57352242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610333653.0A Active CN106250805B (zh) 2015-06-03 2016-05-19 用于处理与机动车辆相关的多个图像的方法和系统

Country Status (3)

Country Link
US (1) US9710713B2 (zh)
CN (1) CN106250805B (zh)
DE (1) DE102016209474A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015209391A1 (de) * 2015-05-22 2016-11-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
CN108578931B (zh) * 2018-05-17 2023-04-28 中国科学院空间应用工程与技术中心 一种载人航天器舱内智能灭火机器人
US10949685B2 (en) * 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090088219A (ko) * 2008-02-14 2009-08-19 한양대학교 산학협력단 질감 특성을 이용한 객체 경계 추적 방법 및 장치
CN102110296A (zh) * 2011-02-24 2011-06-29 上海大学 一种复杂场景下的运动目标跟踪方法
CN103136742A (zh) * 2011-11-28 2013-06-05 财团法人工业技术研究院 前景检测装置及方法
CN103971386A (zh) * 2014-05-30 2014-08-06 南京大学 一种动态背景场景下的前景检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4267657B2 (ja) * 2006-10-31 2009-05-27 本田技研工業株式会社 車両周辺監視装置
DE102009038364A1 (de) * 2009-08-23 2011-02-24 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform
US9702349B2 (en) * 2013-03-15 2017-07-11 ClearMotion, Inc. Active vehicle suspension system
US20150175088A1 (en) * 2013-12-23 2015-06-25 Teddy Chang Extendable Surround Image Capture System for Vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090088219A (ko) * 2008-02-14 2009-08-19 한양대학교 산학협력단 질감 특성을 이용한 객체 경계 추적 방법 및 장치
CN102110296A (zh) * 2011-02-24 2011-06-29 上海大学 一种复杂场景下的运动目标跟踪方法
CN103136742A (zh) * 2011-11-28 2013-06-05 财团法人工业技术研究院 前景检测装置及方法
CN103971386A (zh) * 2014-05-30 2014-08-06 南京大学 一种动态背景场景下的前景检测方法

Also Published As

Publication number Publication date
CN106250805A (zh) 2016-12-21
US20160358022A1 (en) 2016-12-08
US9710713B2 (en) 2017-07-18
DE102016209474A1 (de) 2016-12-08

Similar Documents

Publication Publication Date Title
DE102018105441B4 (de) Abbildungsvorrichtung für ein Fahrzeug
EP3186109B1 (en) Panoramic windshield viewer system
US10377212B2 (en) Dynamic anti-glare system for a windshield of a vehicle
CN106250805B (zh) 用于处理与机动车辆相关的多个图像的方法和系统
EP3378702B1 (en) Viewing device for vehicle
KR102158898B1 (ko) 미러 대체 장치 및 차량
EP3570225A1 (de) Verfahren zur berechnung einer "augmented reality"-einblendung für die darstellung einer navigationsroute auf einer ar-anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm
JP2006341641A (ja) 映像表示装置及び映像表示方法
DE202013007158U1 (de) Panoramaprojektionsvorrichtung mit Gehäuse für ein Kraftfahrzeug
JP2015063190A (ja) 自動防眩装置
JP7151393B2 (ja) 車両情報提供装置、車両情報提供方法及びプログラム
JP6707007B2 (ja) 車両用視認装置及び車両用視認画像表示方法
EP3456574B1 (en) Method and system for displaying virtual reality information in a vehicle
DE102014211803A1 (de) Augmented-Reality-System für ein Kraftfahrzeug
US20210056328A1 (en) Mirror replacement system and method for displaying image and/or video data of the surroundings of a motor vehicle
DE102016120999A1 (de) Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug
CN111149041A (zh) 用于运行能佩戴在头上的电子显示装置的方法和用于显示虚拟内容的显示系统
EP2605101B1 (en) Method for displaying images on a display device of a driver assistance device of a motor vehicle, computer program and driver assistance device carrying out the method
DE102016108878A1 (de) Anzeigeeinheit und Verfahren zur Darstellung von Informationen
DE102012200762A1 (de) Verfahren und Fahrerassistenzsystem zur Signalisierung einer Verkehrssituation in einem Umfeld eines Fahrzeuges
JP2019034692A (ja) 車両用視認装置
DE102016218602A1 (de) Verfahren zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs
WO2016119763A1 (en) Device for selective shading of dazzling sources of light
JP2006137209A (ja) 車両用防眩装置
CN113051997A (zh) 用于监视车辆周围环境的设备和非暂时性计算机可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant