CN105026212B - 容错显示 - Google Patents

容错显示 Download PDF

Info

Publication number
CN105026212B
CN105026212B CN201380069883.5A CN201380069883A CN105026212B CN 105026212 B CN105026212 B CN 105026212B CN 201380069883 A CN201380069883 A CN 201380069883A CN 105026212 B CN105026212 B CN 105026212B
Authority
CN
China
Prior art keywords
application processor
display
video
electronic circuit
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380069883.5A
Other languages
English (en)
Other versions
CN105026212A (zh
Inventor
R.D.贝克特
P.G.海斯
S.P.梅勒
A.W.罗维特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105026212A publication Critical patent/CN105026212A/zh
Application granted granted Critical
Publication of CN105026212B publication Critical patent/CN105026212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

容错显示器在与信息娱乐系统共享的显示器上显示安全性信息,即使在所述信息娱乐系统的处理器或软件无响应的情况下也是如此。显示可以是来自安放在车辆上的后视摄像机的流送视频。可以通过将车辆置于倒车档来触发所显示的安全性。可以通过策略实施模块来检测信息娱乐软件和/或处理器的失效,所述策略实施模块在信息娱乐处理器失效的情况下切换到直接从摄像机流送视频的备用显示。

Description

容错显示
技术领域
本公开涉及显示技术,更具体而言,涉及一种容错显示系统和方法。
背景技术
车辆碰撞是在世界范围内导致受伤和财产损失的一个主要原因。提高安全性的一种方式是降低操作者出错的几率。车载电子装置和车内信息系统正在成为行业内的标准。这些系统能够收集许多各种不同的信息。
发明内容
容错显示器可以显示来自第一来源和/或第二来源的信息。在第一来源失效的情况下,通过切换到显示来自第二来源的备用信息来提供容错性。第一来源的失效包括生成错误的信息、在一段已定义的时间段内无响应、错误地显示信息以及无法显示信息。第一来源可以包括来自第二来源的信息。所显示的信息可以是安全性信息。举例来说,显示器可以提供安全性信息,比如但不限于来自安放在车辆上的一台或更多台摄像机的流送视频。可以从第一来源或第二来源提供被设计来提高驾驶员安全性的图像叠加项(overlay)。第一来源可以提供来自应用处理器的信息。在向容错显示器提供信息的程序失效的情况下,可以通过切换到来自第二来源的备用信息来提供容错。所述显示器可以是由容错显示器和另一个显示生成来源共享的一个共享显示区域。类似地,当来自第一来源的信息不可用时,在程序引导期间可以显示来自第二来源的信息。
可以独立于应用处理器和/或执行在应用处理器上的程序的当前状态来显示来自第二来源的信息。应用处理器可以包括信息娱乐系统。检测第一来源的失效的模块可以是单独的处理器或者例如现场可编程门阵列(FPGA)之类的一块硬件。由于容错模块可以检测到第一来源的失效并且可以切换到显示来自第二来源的备用信息,因此即使在第一来源失效的情况下仍然可以显示信息。
所显示的信息可以是显示来自安放在车辆上的一台或更多台摄像机的流送视频的信息,所述一台或更多台摄像机捕获围绕车辆的360度视场的至少一部分。来自所述一台或更多台摄像机的图像可以被合并或融合,从而创建所显示的流送视频。可以在触发行为的一秒钟内显示所述流送视频。所述触发行为可以是档位改变、车辆移动、方向盘的位置改变、转向信号打开、危险指示器打开、从另一项应用(例如导航或危险应用)接收信息或者其他动作。从现场可编程门阵列(FPGA)、或者从专用硬件或者从另一个模块或组件提供的外部逻辑可以基于方向盘位置和/或基于导航信息提供潜在车辆路径的动态和静态硬件叠加项,所述导航信息可以是从“云”收集的或者是从安装或带入到车辆中的一个或更多设备收集的。可以提供用以帮助操作者的图形和文字叠加项。可以显示来自提供危险或导航信息的软件应用的动态叠加项。举例来说,基于方向盘位置或者基于导航信息等等或者其某种组合,可以在显示器上提供以下各项:包括建议驶入的车道的信息,关于继续在所指示的轨迹上的车辆是否将遇到即将到来的车流的信息,关于继续在所指示的轨迹上的车辆是否将在遵循针对导航应用的输入的方向上行进的信息、等等。
策略实施模块可以验证由应用处理器提供的信息是可用的、是可接受的、和/或被显示在显示器的适当区域内。还可以提供用以触发系统重置或者其他失效恢复方法的能力。提供本概要以便以简化形式介绍将在下文中在具体实施方式中进一步描述的概念的选择。本概要不意图标识出所要求保护的主题内容的关键特征或必要特征,也不意图被用来限制所要求保护的主题内容的范围。
附图说明
在图中:
图1示出了根据这里所描述的主题内容的一些方面的提供容错显示的系统100的一个示例;
图2示出了根据这里所公开的主题内容的一些方面的提供容错显示的方法200的一个示例;以及
图3是根据这里所公开的主题内容的一些方面的计算环境的一个示例的方框图。
具体实施方式
总览
根据这里所描述的主题内容的一些方面,容错显示器可以是提供来自安放在车辆上的一台或更多台摄像机的信息以帮助车辆的操作者安全地驾驶的显示器。举例来说,所述一台或更多台摄像机可以是被安放在车辆上以便提供车辆后方的周围环境的视野的摄像机。可以或者可以不对由所述一台或更多台后视摄像机捕获的视频流进行处理(例如从模拟转换到数字等等)。可以把由一台摄像机捕获的视频流与由另外一台或多台摄像机捕获的一个或更多视频流进行合并。所述合并的显示可以被显示在容错显示器上。可以在所述视频流上重叠由应用或者由硬件生成的一项或更多项叠加项。由于车辆在任何时间都可以被换档(例如倒车档)和/或可以开始在给定方向上(例如向后)移动,其中包括当车辆的计算机系统正在引导或者出于任何原因无响应时,因此车辆的计算机系统的主处理器上的软件可能不如期望的那样快速或可靠。类似地,当容错显示正被显示时,主处理器可能发生故障。根据这里所公开的主题内容的一些方面,可以在应用处理器的视频输出与显示器之间插入例如FPGA之类的容错模块、其上运行容错操作系统和应用的通用处理器、或者一块专用硬件。可以把来自后视摄像机的流送视频与来自应用处理器的视频输出进行合并,以便在应用处理器正确地操作时驱动显示器。当应用处理器无响应时,显示器可以被切换到直接从所述一台或更多台摄像机生成的输出。可以把直接从摄像机显示的输出与由容错模块提供的叠加项进行合并。
可以向插入在应用处理器的视频输出与显示器之间的模块供应车辆的方向状态。举例来说,如果车辆处于倒车档或者正在向后移动,则可以在不然由应用处理器使用的显示区域(或其部分)上显示通过静态和动态叠加项修改的RVC输出。叠加项可以包括由应用处理器生成的叠加项或者由容错模块提供的叠加项。叠加项可以由处理器、应用或者由提供自“云”的信息或服务来提供或修改。叠加项可以包括基于来自车辆的转向机构的输入的针对转弯标线(turning line)的转向信息。容错模块可以把RVC显示的全部或一部分与应用处理器的显示进行叠加。容错模块可以把RVC显示的全部或一部分与由容错模块生成或存储的叠加项进行叠加。响应于检测到应用处理器失效,容错模块可以在车辆换到倒车档的1秒钟内把显示输出自动切换到示出RVC显示摄像机以及由容错模块生成或存储的任何适当的硬件或软件叠加项。
容错模块可以检测应用处理器何时无响应。可以通过看门狗定时器来检测应用处理器的失效。看门狗定时器(其也被称作计算机适当操作(COP)定时器)是计算机硬件或软件定时器,其在应用处理器由于比如挂起(hang)之类的某种故障状况而疏于有规则地为看门狗服务的情况下触发系统重置或其他校正动作。可以周期性地向应用处理器发送服务脉冲。未能接收到响应可以导致意图把应用处理器带回到正常操作的某种动作。其他检测方案可以包括接收来自处理器的连续数据、检测应用是否正在生成其规定区块之外的叠加项信息等等。
容错模块可以检测基于软件的叠加项是否未能通过质量检查。可以通过策略实施模块来检测格式化中的失效。举例来说,应用处理器显示格式检查可以包括:针对帧率、线速率、显示器的平均亮度、非黑色像素的数目、非透明像素的数目、像素颜色统计量、与摄像机输入视频的软件生成的叠加项中的特征跟踪等等的参数。可以通过策略实施模块检测到来自应用处理器的输出未能符合所述参数。
可以通过检查字段来检测应用处理器的失效。检查字段可以是被插入到由容错模块向应用处理器发送的RVC流送视频中的字段。检查字段可以是除了RVC流送视频之外与所述流送视频一同发送的字段。应用处理器可以在其显示输出中回送(echo)所接收到的检查字段。应用处理器可以在检查字段上实施操作,并且向容错模块返回经过修改的检查字段。容错模块可以验证对于检查字段的接收,并且可以验证检查字段处于其预期形式,以便确定应用处理器的正确操作。如果容错模块没有在指定的期限内接收到检查字段,则容错模块可以确定应用处理器处于故障模式。如果检查字段被接收到但是并非是预期值,则容错模块可以确定应用处理器处于故障模式。如果检查字段与流送视频合并在一起,则可以在显示流送视频之前去除检查字段。
举例来说,假设摄像机能够显示640像素乘480像素。取代进行缩放,可以在左边缘或右边缘将一些黑色或白色像素(比如帧计数或更加复杂的序列)添加到流送视频中。应用处理器可以不改变这些比特。应用处理器可以在众所周知的位置处添加其他黑色或白色像素,并且以指定的速率对其进行改变。容错模块可以同步到来自应用处理器的显示输出中的预期图案,并且随后在发送到显示器的图像中消隐这些像素。如果对于一定数目的帧没有接收到所述预期图案,则容错显示可以对于不然可以显示基于软件的叠加项的区域切换到直接摄像机显示。
如果检测到失效,则可以由容错模块禁用所述基于软件的叠加项中的一些或所有。可以向车辆的操作者通知应用处理器的失效。即使应用处理器失效或者变得无响应,容错模块仍然可以在汽车倒退时显示RVC摄像机图像。可以在容错模块与应用处理器之间建立比如握手之类的协商,以便确保RVC显示到应用处理器驱动的显示之间的平滑过渡并且反之亦然。如在计算中所使用的术语“握手”是自动化的协商过程。握手协议可以在通过信道的正常通信开始之前动态地设定在两个实体之间建立的通信信道的参数。
容错显示
图1示出了根据这里所描述的主题内容的一些方面的提供容错显示的系统100的一个示例的方框图。系统100的全部或部分可以驻留在一台或更多台计算机或计算设备上,比如后面关于图3描述的计算机。系统100或其部分可以被提供为独立系统,或者提供为插件或附件。系统100或其部分可以被合并在车辆内。系统100或其部分包括来自(例如云中的)服务的信息,或者可以包括通过有线或无线连接相连的单独的板。云计算环境可以是其中计算服务不是被拥有而是被按需提供的环境。举例来说,策略信息可以驻留在联网的云中的多个设备上,和/或数据可以被存储在云内的多个设备上。
系统100可以包括以下各项的任意组合:例如摄像机104等一台或更多台摄像机,例如容错模块106等一个或更多容错模块,具有例如应用处理器102a等应用处理器的一个或更多计算设备,例如显示器108的一个或更多显示区域,以及/或者例如车辆传感器114之类的一个或更多档位传感器和/或方向传感器。
(例如车辆内的)计算设备可以包括一个或更多应用处理器,比如应用处理器102a等。应用处理器102a可以是车内信息娱乐系统(IFI)。所述计算设备可以包括一个或更多处理器、存储器以及信息娱乐系统的一个或更多模块,正如后面将更加全面地描述的那样。应用处理器102a可以执行软件,所述软件接收来自例如摄像机104等一台或更多台摄像机的输入。应用处理器102a可以接收来自后面将更加全面地描述的格式转换模块106a的输入。应用处理器102a可以生成图形显示信息,比如显示信息110之类的图形显示信息。应用处理器102a可以生成图形或描述性叠加项,比如叠加项112之类的叠加项信息。
系统100可以包括例如摄像机104等一台或更多台摄像机。摄像机104等可以是模拟摄像机。摄像机104等可以是数字摄像机。摄像机104等可以是生成实时流送视频的视频摄像机。摄像机104等可以向容错模块106提供流送视频。容错模块106可以被插入在前面更加全面地描述的例如应用处理器102a等应用处理器与将在后面更加全面地描述的显示器108之间。摄像机104等可以是被安放在车辆上的摄像机,其捕获车辆的周围环境的视频。摄像机104等可以是后视摄像机,其捕获处于车辆后方的事物的视频。可以融合或合并来自两台或更多台摄像机的图像或流送视频,从而创建在容错显示中使用的单一视频流。
系统100可以包括插入在一台或更多台摄像机、例如应用处理器102a等应用处理器和显示器108之间的一个或更多容错模块(其由容错模块106表示)。容错模块106可以是专用硬件块、定制ASIC(专用集成电路)、视频处理硬件、FPGA(现场可编程门阵列)或者运行容错软件的单独的处理器。例如容错模块106之类的容错模块可以包括以下各项的任意组合:例如格式转换模块106a之类的视频格式转换模块,例如信息过滤器106b之类的信息过滤器,例如合并模块106c之类的显示合并模块,例如叠加项112之类的叠加项,以及例如策略实施模块106d之类的策略实施模块。
例如格式转换模块106a之类的视频格式转换模块可以接收来自摄像机104等的流送视频,并且将所述流送视频转换成可以由应用处理器102a接收的格式。举例来说,如果摄像机104是模拟摄像机,则可以将模拟视频转换成数字视频。应当理解的是,其他转换是被预期的,包括但不限于,将模拟视频数据转换成把任何颜色分离成针对红色、绿色和蓝色的原色的数字值中的数字视频数据,转换成其他颜色格式方案,各种形式的视频压缩、对比度增强、摇摄、变焦(光学或数字)、缩放、帧率、帧尺寸、分辨率等等。例如信息过滤器106b之类的信息过滤器可以接收来自应用处理器102a的信息。信息过滤器106b可以滤除不然将被显示在显示器108上的信息,从而生成经过过滤的信息106f。例如合并模块106c之类的显示合并模块可以接收来自格式转换模块106a的信息、经过过滤的信息106f、例如叠加项112之类的叠加项信息以及来自策略实施模块106d的输入,并且可以对该信息进行合并从而生成在显示器108上显示的输出。
容错模块106可以包括例如叠加项112之类的叠加项。叠加项可以是接收自应用处理器102a并且被永久性地存储在容错模块106中的叠加项。叠加项可以是硬件生成的叠加项。叠加项可以是由容错模块106等生成的软件生成的叠加项。叠加项可以是图形的或者可以是描述性的(例如文字)。容错模块106可以包括例如策略实施模块106d之类的策略实施模块。策略实施模块106d可以包括看门狗功能,其周期性地向应用处理器102a发送针对确认的请求。在应用处理器102a没有在指定时间段内发送确认的情况下,策略实施者106d可以确定应用处理器102a处于失效状态。策略实施模块106d还可以接收关于摄像机104等被安放在其上的车辆的状态的信息。状态信息可以包括来自车辆传感器114的信息。车辆的状态可以包括车辆所处的档位(自动变速箱车辆的倒车档、停车档或驾驶档,或者手动变速箱车辆的倒车档、空档、一档、二档、三档、四档、五档等等)。车辆的状态可以包括来自汽车的转向机构的关于方向盘位置(正直、左转度数或右转度数)的信息。
系统100可以包括例如显示器108之类的显示器。显示器108可以在车辆的中控台区域中进行显示。显示器108可以是容错显示器,其可以独立地显示来自两个或更多来源的信息,使得如果显示信息是由第一来源生成并且第一来源失效,则可以显示来自第二来源的信息,正如前面所描述的那样。显示器108可以是由信息娱乐系统(第一来源)和容错模块(第二来源)共享的共享显示器,所述容错模块生成用于显示的信息,其中包括但不限于安全性信息(例如处于倒车档中的车辆后方的事项之类的操作者安全性信息)。显示器108可以显示来自摄像机(例如RVC)的流送视频。可以将叠加项重叠在流送视频上,并且可以显示叠加的流送视频。可以将图形和/或描述性(例如文字)信息重叠在流送视频上。响应于来自容错模块的信号,显示器可以从显示来自第一来源的信息切换到显示来自第二来源的信息。响应于来自容错模块的信号,显示器可以从显示来自第一来源和第二来源的合并信息切换到显示仅来自第二来源的信息。可以独立于第一来源的状态来显示来自第二来源的信息。显示器108可以在车辆进入倒车档的一秒钟内显示流送视频。
图2示出了根据这里所描述的主题内容的一些方面的可以提供容错显示的方法200。图2中描述的方法可以由例如(但不限于)关于图1描述的系统之类的系统实践。虽然方法200描述了在一个序列中实施的一系列操作,但是应当理解的是,方法200不限于所述序列的顺序。举例来说,一些操作可以按照与所描述的顺序不同的顺序发生。此外,一项操作可以与另一项操作同时发生。在某些情况下,并非所有描述的操作都被实施。
在操作202处,可以触发容错显示。举例来说,可以通过将主车辆置于倒车档而触发所述显示。在操作204处,可以由容错模块接收来自摄像机(例如后视摄像机)的信息。在接收到来自摄像机的信息时,在操作206处可以在策略实施模块与应用处理器之间建立通信。在操作208处,正如前面更加全面地描述的那样,策略实施模块可以对应用处理器进行监视。策略实施模块例如可以使用正如前面更加全面地描述的看门狗机制来监视应用处理器。策略实施模块可以监视应用处理器的输出,以便确定应用处理器的输出是否通过质量检查。策略实施模块可以监视检查字段,以便确定应用处理器的输出是否正确。在操作210处,策略实施模块可以确定应用处理器正在适当地运作,或者确定应用处理器已进入失效状态。在操作212处,响应于检测到应用处理器的失效,策略实施模块可以显示直接来自摄像机的流送视频(例如绕过应用处理器)。由容错模块生成或供应的叠加项可以被重叠在流送视频上。如果策略实施模块在操作210处确定应用处理器正在正确地操作,则处理可以在操作208处继续。
如果必要的话,在操作214处可以对由容错模块在204处接收到的信息进行转换。在操作216处,可以将所述信息发送到应用处理器、合并模块和策略实施模块。在操作218处,应用处理器可以生成显示信息、叠加项,并且可以与合并模块建立通信。在操作220处,可以将显示信息和叠加项发送到容错模块。在操作222处,容错模块可以从接收自应用处理器的信息当中过滤掉无关的信息。在操作224处,容错模块可以接收经过过滤的经过叠加的显示信息、来自主车辆的状态信息,并且可以合并该信息以得到在操作226处显示的信息。
适当计算环境的示例
为了提供针对这里所公开的主题内容的各个方面的情境,图3和下面的讨论意图提供可以在其中实施这里所公开的主题内容的各个实施例的适当计算环境510的简要的一般性描述。虽然这里所公开的主题内容是在由一台或更多台计算机或其他计算设备执行的计算机可执行指令(比如程序模块)的一般情境中描述的,但是本领域技术人员将认识到,这里所公开的主题内容的部分还可以与其他程序模块和/或硬件与软件的组合相组合来实施。一般来说,程序模块包括实施特定任务或者实施特定数据类型的例程、程序、对象、物理人工制品、数据结构等等。通常来说,在各个实施例中可以按照期望组合或分发程序模块的功能。计算环境510仅仅是适当的操作环境的一个示例,而不意图限制这里所公开的主题内容的使用或功能的范围。
参照图3,描述了按照计算机512形式的计算设备。计算机512可以包括至少一个处理单元514、系统存储器516和系统总线518。所述至少一个处理单元514可以执行存储在存储器中的指令,所述存储器例如是但不限于系统存储器516。处理单元514可以是各种可用处理器当中的任一种。举例来说,处理单元514可以是图形处理单元(GPU)。所述指令可以是用于实施由前面所讨论的一个或更多组件或模块所执行的功能的指令,或者是用于实施前面所描述的一种或更多种方法的指令。还可以采用双微处理器和其他多处理器架构作为处理单元514。计算机512可以被使用在支持显示屏幕上的渲染图形的系统中。在另一个示例中,所述计算设备的至少一部分可以被使用在包括图形处理单元的系统中。系统存储器516可以包括易失性存储器520和非易失性存储器522。非易失性存储器522可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)或者闪存。易失性存储器520可以包括随机存取存储器(RAM),其可以充当外部高速缓存存储器。系统总线518将包括系统总线518的系统物理人工制品耦合到处理单元514。系统总线518可以是几种类型当中的任一种,其中包括存储器总线、存储器控制器、外围总线、外部总线或局部总线,并且系统总线518可以使用任何种类的可用总线架构。计算机512可以包括可由处理单元514通过系统总线518访问的数据存储库。所述数据存储库可以包括用于图形渲染的可执行指令、3D模型、材料、纹理等等。
计算机512通常包括多种计算机可读介质,比如易失性和非易失性介质、可移除和不可移除介质。可以在用于存储信息的任何方法或技术中实施计算机可读介质,所述信息比如是计算机可读指令、数据结构、程序模块或其他数据。计算机可读介质包括计算机可读存储介质(其也被称作计算机存储介质)和通信介质。计算机存储介质包括可以存储所期望的数据并且可以由计算机512访问的物理(有形)介质,比如但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CDROM、数字通用盘(DVD)或其他光盘存储装置、磁盒、磁带、磁盘存储装置或其他磁性存储设备。通信介质包括可以被用来传送所期望的信息并且可以由计算机512访问的介质,比如但不限于通信信号、已调制载波或者任何其他无形介质。
应当认识到,图3描述了可以充当用户与计算机资源之间的中介的软件。该软件可以包括操作系统528,其可以被存储在盘存储装置524上并且可以分配计算机512的资源。盘存储装置524可以是通过比如接口526之类的不可移除存储器接口连接到系统总线518的硬盘驱动器。应用530之类的系统应用通过存储在系统存储器516中或者存储在盘存储装置524上的模块532之类的程序模块和数据534之类的程序数据利用由操作系统528进行的资源管理。应当认识到,可以用各种操作系统或者操作系统的组合来实施计算机。
用户可以通过(多个)输入设备536将命令或信息输入到计算机512中。输入设备536包括但不限于指示设备,比如鼠标、轨迹球、铁笔、触摸板、键盘、麦克风、语音辨识和手势辨识系统等等。这些和其他输入设备经由(多个)接口端口538通过系统总线518连接到处理单元514。(多个)接口端口538可以代表串行端口、并行端口、通用串行总线(USB)等等。(多个)输出设备540可以使用与输入设备类型相同的端口。提供输出适配器542以说明存在一些需要特定适配器的输出设备540,比如监视器、扬声器和打印机。输出适配器542包括但不限于提供输出设备540与系统总线518之间的连接的视频卡和声卡。其他设备和/或系统或者例如(多台)远程计算机544之类的设备可以提供输入和输出能力二者。
计算机512可以使用去到例如(多台)远程计算机544之类的一台或更多台远程计算机的逻辑连接操作在联网环境中。远程计算机544可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点,并且通常包括前面相对于计算机512描述的许多或所有元件,但是在图3中示出了仅仅存储器存储设备546。(多台)远程计算机544可以经由(多个)通信连接550进行逻辑连接。网络接口548包含比如局域网(LAN)和广域网(WAN)之类的通信网络,但是还可以包括其他网络。(多个)通信连接550指的是被采用来把网络接口548连接到总线518的硬件/软件。(多个)通信连接550可以处于计算机512的内部或外部,并且可以包括比如调制解调器(电话、缆线、DSL和无线)和ISDN适配器、以太网卡等内部和外部技术。
应当认识到,所示出的网络连接仅仅是示例,并且可以使用在计算机之间建立通信链接的其他手段。本领域普通技术人员可以认识到,计算机512或其他客户端设备可以被部署成计算机网络的一部分。在这方面,这里所公开的主题内容可以关于具有任意数目的存储器或存储单元以及在任意数目的存储单元或卷上发生的任意数目的应用和进程的任何计算机系统。这里所公开的主题内容的一些方面可以适用于具有部署在网络环境中的具有远程或本地存储装置的服务器计算机和客户端计算机的环境。这里所公开的主题内容的一些方面还可以适用于具有编程语言功能、解释以及执行能力的独立计算设备。
这里所描述的各种技术可以结合硬件或软件或者在适当的情况下结合二者的组合来实施。因此,这里所描述的方法和装置或者其某些方面或部分可以采取具体实现在有形介质中的程序代码(即指令)的形式,所述有形介质比如是软盘、CD-ROM、硬驱动器或者任何其他机器可读存储介质,其中当所述程序代码被加载到比如计算机之类的机器中并且由其执行时,所述机器成为用于实践这里所公开的主题内容的一些方面的装置。如这里所使用的,术语“机器可读存储介质”应当被理解成排除提供(即存储和/或传送)任何形式的传播信号的任何机制。在程序代码执行在可编程计算机上的情况下,所述计算设备通常将包括处理器、可由处理器读取的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。可以在高层级过程或面向对象编程语言中实施一个或更多程序以便与计算机系统通信,所述程序例如可以通过使用数据处理API等等来利用特定于域的编程模型方面的创建和/或实施。但是如果期望的话,(多个)程序可以被实施在汇编或机器语言中。在任何情况下,所述语言可以是已编译或已解释的语言并且与硬件实现方式相组合。
虽然已经以特定于结构特征和/或方法动作的语言描述了主题内容,但是应当理解的是,在所附权利要求书中限定的主题内容不一定受限于前面描述的特定特征或动作。相反,前面描述的特定特征和动作是作为实施权利要求的示例性形式而公开的。

Claims (10)

1.一种用于车辆的容错显示系统,该系统包括:
视频摄像机;
应用处理器;
在车辆车厢中的显示器;以及
电子电路,该电子电路与视频摄像机、应用处理器和显示器相分离,并且被插入在视频摄像机、应用处理器和显示器之间,其中该电子电路:
接收来自视频摄像机的流送视频;
将流送视频发送到应用处理器;
监视应用处理器以便检测应用处理器的失效;
响应于检测到应用处理器没有失效:
将来自视频摄像机的流送视频与来自应用处理器的图形信息合并,以创建合并的输出,该图形信息是由电子电路响应于该电子电路将流送视频发送到应用处理器而从应用处理器接收到的;和
在所述显示器上显示合并的输出;以及
响应于检测到应用处理器的失效:
在没有来自应用处理器的图形信息的条件下,在所述显示器上显示来自视频摄像机的流送视频。
2.如 权利要求1所述 的系统,其中,所述电子电路进一步检测接收自应用处理器的图形信息的错误格式化,当接收自应用处理器的图形信息具有错误格式化时,应用处理器的失效被检测到。
3.如 权利要求2所述 的系统,其中,所述错误格式化包括以下各项的至少一项:错误的帧率,错误的线速率,平均亮度低于所提供的平均亮度的阈值,非黑色像素的数量低于所提供的非黑色像素的阈值,或者由应用处理器生成的特征的布置未能对应于流送视频中的对象。
4.如 权利要求1所述 的系统,其中,通过看门狗定时器来检测应用处理器的失效。
5.如 权利要求1所述 的系统,其中,所述电子电路进一步:
从车辆传感器接收车辆的状态信息,该状态信息指定所述车辆运行所在的挡位;以及
响应于检测到应用处理器没有失效并且所述车辆被切换到倒车挡:
将来自视频摄像机的流送视频与来自应用处理器的叠加项合并,以创建经叠加的流送视频,来自应用处理器的图形信息包括来自应用处理器的叠加项;以及
在所述显示器上显示所述经叠加的流送视频。
6.如 权利要求5所述 的系统,其中,由所述电子电路提供的叠加项包括基于车辆的方向盘位置的备用路径的动态叠加项。
7.如 权利要求5所述 的系统,其中,由所述电子电路提供的叠加项包括基于危险检测信息的动态叠加项。
8.如 权利要求5所述 的系统,其中,由所述电子电路提供的叠加项包括基于导航信息的动态叠加项。
9.一种容错显示方法,其包括:
在电子电路处,其中该电子电路与视频摄像机、应用处理器和车辆的显示器相分离,并且被插入在视频摄像机、应用处理器和显示器之间:
接收来自车辆的视频摄像机的流送视频;
将流送视频发送到应用处理器;
监视应用处理器以便检测应用处理器的失效;
响应于检测到应用处理器没有失效:
将来自视频摄像机的流送视频与来自应用处理器的图形信息合并,以创建合并的输出,该图形信息是由电子电路响应于该电子电路将流送视频发送到应用处理器而从应用处理器接收到的;和
在所述显示器上显示合并的输出;以及
响应于检测到应用处理器的失效:
将叠加项附加到来自视频摄像机的流送视频上,该叠加项由所述电子电路提供;和
在所述显示器上显示附加有所述叠加项的来自视频摄像机的流送视频。
10.一种用于车辆的电子设备,该电子设备:
接收来自视频摄像机的流送视频,该视频摄像机与所述电子电路相分离;
将流送视频发送到应用处理器,该应用处理器与所述电子电路相分离;
监视应用处理器以便检测应用处理器的失效;
响应于检测到应用处理器没有失效:
将来自视频摄像机的流送视频与来自应用处理器的图形信息合并,以创建合并的输出,该图形信息是由电子电路从应用处理器接收到的;和
在所述车辆的车厢内的显示器上显示合并的输出,该显示器与所述电子电路相分离;以及
响应于检测到应用处理器的失效:
在旁路所述应用处理器的同时,在所述显示器上显示来自视频摄像机的流送视频。
CN201380069883.5A 2012-11-08 2013-11-08 容错显示 Active CN105026212B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/671570 2012-11-08
US13/671,570 US20140125802A1 (en) 2012-11-08 2012-11-08 Fault tolerant display
PCT/US2013/069286 WO2014074911A1 (en) 2012-11-08 2013-11-08 Fault tolerant display

Publications (2)

Publication Number Publication Date
CN105026212A CN105026212A (zh) 2015-11-04
CN105026212B true CN105026212B (zh) 2018-05-04

Family

ID=49640207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380069883.5A Active CN105026212B (zh) 2012-11-08 2013-11-08 容错显示

Country Status (5)

Country Link
US (2) US20140125802A1 (zh)
EP (1) EP2917073B1 (zh)
CN (1) CN105026212B (zh)
ES (1) ES2698949T3 (zh)
WO (1) WO2014074911A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9043073B2 (en) 2011-11-16 2015-05-26 Flextronics Ap, Llc On board vehicle diagnostic module
US9116786B2 (en) 2011-11-16 2015-08-25 Flextronics Ap, Llc On board vehicle networking module
US9173100B2 (en) 2011-11-16 2015-10-27 Autoconnect Holdings Llc On board vehicle network security
US9008906B2 (en) 2011-11-16 2015-04-14 Flextronics Ap, Llc Occupant sharing of displayed content in vehicles
US8949823B2 (en) 2011-11-16 2015-02-03 Flextronics Ap, Llc On board vehicle installation supervisor
US9088572B2 (en) 2011-11-16 2015-07-21 Flextronics Ap, Llc On board vehicle media controller
DE112012004767T5 (de) 2011-11-16 2014-11-06 Flextronics Ap, Llc Vollständiges Fahrzeugökosystem
US9081653B2 (en) 2011-11-16 2015-07-14 Flextronics Ap, Llc Duplicated processing in vehicles
US9055022B2 (en) 2011-11-16 2015-06-09 Flextronics Ap, Llc On board vehicle networking module
US20140125802A1 (en) 2012-11-08 2014-05-08 Microsoft Corporation Fault tolerant display
US9448548B2 (en) * 2013-06-14 2016-09-20 Honeywell International Inc. Synchronizing and displaying fault tolerant Ethernet (FTE) status
JP6349637B2 (ja) * 2013-07-11 2018-07-04 株式会社デンソー 車両用画像合成装置
US10000154B2 (en) 2014-08-07 2018-06-19 Ford Global Technologies, Llc Vehicle camera system having live video indication
WO2016196387A1 (en) * 2015-05-29 2016-12-08 Harman International Industries, Incorporated Wide color-gamut vehicle infotainment display system
US11112653B2 (en) 2015-05-29 2021-09-07 Harman International Industries, Incorporated Wide color-gamut vehicle infotainment display system with quantum dot element
US10656465B2 (en) 2015-05-29 2020-05-19 Harman International Industries, Incorporated Wide color-gamut vehicle infotainment display system with quantum dot element
KR101673776B1 (ko) * 2015-06-05 2016-11-07 현대자동차주식회사 자동차용 헤드유닛 및 카메라 유닛의 고장 진단 방법
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
US10057545B2 (en) 2016-05-19 2018-08-21 GM Global Technology Operations LLC Redundant video path for vehicle rear view camera system
US20180012196A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
US11024160B2 (en) 2016-11-07 2021-06-01 Nio Usa, Inc. Feedback performance control and tracking
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10515390B2 (en) 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
CN106713648B (zh) * 2016-12-30 2019-07-26 Oppo广东移动通信有限公司 一种通信方法及移动终端
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
EP3355188B1 (en) * 2017-01-31 2021-08-25 OpenSynergy GmbH Instrument display on a car dashboard by checking frames of a gui by a realtime os
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
US10844579B2 (en) * 2017-02-20 2020-11-24 Doosan Infracore Co., Ltd. Screen display system and screen display method of construction equipment
US10023121B1 (en) * 2017-05-17 2018-07-17 GM Global Technology Operations LLC Rear vision camera switching
CN107355944A (zh) * 2017-06-21 2017-11-17 珠海格力电器股份有限公司 空调的控制方法和装置
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
US11474917B2 (en) * 2018-04-27 2022-10-18 Hewlett-Packard Development Company, L.P. Failure shield
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
US11025900B2 (en) * 2018-07-18 2021-06-01 Universal City Studios Llc System and method for identifying b-roll conditions in live streams or live rendered content
US10710536B1 (en) 2019-03-25 2020-07-14 Himax Technologies Limited Function safety system for vehicle malfunction display
US11939010B2 (en) 2019-05-10 2024-03-26 Steering Solutions Ip Holding Corporation Fault tolerant control of rear steer vehicles
CN110798659A (zh) * 2019-07-31 2020-02-14 中国第一汽车股份有限公司 一种车辆监控方法及系统
CN112104819B (zh) * 2020-09-04 2022-11-29 大连捷成科技有限公司 一种基于fpga的多路视频同步切换系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN101945256A (zh) * 2009-07-01 2011-01-12 福特全球技术公司 具有触摸屏显示器的倒车辅助后摄像系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7370983B2 (en) * 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
KR100910670B1 (ko) * 2001-03-05 2009-08-04 지멘스 악티엔게젤샤프트 승객 보호 시스템을 위한 이미지 보정 방법 및 장치
AU2002318156A1 (en) * 2002-05-24 2003-12-12 Medius, Inc. Vehicle monitoring system
US6822624B2 (en) * 2002-09-10 2004-11-23 Universal Avionics Systems Corporation Display generation system
US20040061780A1 (en) * 2002-09-13 2004-04-01 Huffman David A. Solid-state video surveillance system
US20050093975A1 (en) * 2003-10-30 2005-05-05 Hamdan Majed M. Adaptation of vision systems for commerical vehicles
US7456847B2 (en) * 2004-08-12 2008-11-25 Russell Steven Krajec Video with map overlay
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US7724259B2 (en) * 2005-08-24 2010-05-25 Innovative Solutions And Support, Inc. Aircraft flat panel display system with improved information availability
KR100775123B1 (ko) 2006-09-15 2007-11-08 삼성전자주식회사 영상 객체 인덱싱 방법 및 이를 이용한 영상 객체 인덱싱시스템
US8922585B2 (en) * 2006-10-24 2014-12-30 Hewlett-Packard Development Company, L.P. Display controller
US8451107B2 (en) * 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
US20100312630A1 (en) * 2009-06-08 2010-12-09 Tammy Krutchik Method and system for transmitting and redeeming electronic coupons through use of mobile device
WO2010144900A1 (en) * 2009-06-12 2010-12-16 Magna Electronics Inc. Scalable integrated electronic control unit for vehicle
EP2473871B1 (en) * 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
US9205780B2 (en) * 2010-02-04 2015-12-08 Magna Mirrors Of America, Inc. Electro-optic rearview mirror assembly for vehicle
US9117123B2 (en) * 2010-07-05 2015-08-25 Magna Electronics Inc. Vehicular rear view camera display system with lifecheck function
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
US9542846B2 (en) 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
WO2013082752A1 (en) * 2011-12-06 2013-06-13 Intel Corporation Method and system for improving responsiveness in a vehicle computing platform
US20140125802A1 (en) 2012-11-08 2014-05-08 Microsoft Corporation Fault tolerant display
US9165196B2 (en) * 2012-11-16 2015-10-20 Intel Corporation Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
EP2747425B1 (en) * 2012-12-19 2019-05-08 2236008 Ontario Inc. Integrated system for media playback during startup

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN101945256A (zh) * 2009-07-01 2011-01-12 福特全球技术公司 具有触摸屏显示器的倒车辅助后摄像系统

Also Published As

Publication number Publication date
US20180295261A1 (en) 2018-10-11
WO2014074911A1 (en) 2014-05-15
EP2917073A1 (en) 2015-09-16
EP2917073B1 (en) 2018-08-29
CN105026212A (zh) 2015-11-04
US20140125802A1 (en) 2014-05-08
ES2698949T3 (es) 2019-02-06
US11012593B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
CN105026212B (zh) 容错显示
CN105278519B (zh) 用于车辆的基于增强现实的交互式故障排除和诊断
CN107589745A (zh) 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质
JP7036493B2 (ja) 監視方法及び装置
CN110399775A (zh) 生成式对抗网络中的同时定位和建图约束
JP6196444B2 (ja) 周辺車の位置追跡装置及び方法
CN105320035B (zh) 用于将数据功能集成在用于车辆的运动控制系统中的设备
CN102907091B (zh) 用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频
US11257309B2 (en) Systems and methods to test an autonomous vehicle
DE112013004672B4 (de) Fahrzeugseitige Vorrichtung, Kommunikationsverfahren und Programm
DE102015104344A1 (de) System und verfahren für ein fahrzeugsystem mit einem hochgeschwindigkeitsnetz
CN107451544B (zh) 信息显示方法、装置、设备及监控系统
US20190318535A1 (en) Display data processing method and apparatus
KR101802858B1 (ko) 자동차용 통합데이터 처리 제어 시스템 및 방법
CN105554493B (zh) 图像处理装置
Bednarz et al. Distributed collaborative immersive virtual reality framework for the mining industry
DE102014214667A1 (de) Anzeigen von dynamischen sicherheitsrelevanten dreidimensionalen Inhalten auf einer Anzeigeeinrichtung
CN113033412B (zh) 基于实景融合的交通态势监控方法、装置、设备及介质
US11423619B2 (en) System and method for a virtual showroom
EP3885972A1 (en) Context based perception method and system for managing environmental safety in a computing environment
WO2019192844A1 (de) Verfahren und vorrichtung zur darstellung und anpassung von konfigurationen von anlagekomponenten
CN107878325A (zh) 确定泊车系统重新标定时机的方法、装置及自动标定系统
EP2481636A1 (en) Parking assistance system and method
DE102016205425A1 (de) Verfahren, Vorrichtung und System zum Überwachen eines Kindes
CN114115206A (zh) 一种安全的远程驾驶系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant