CN113407475A - 控制模块和方法 - Google Patents

控制模块和方法 Download PDF

Info

Publication number
CN113407475A
CN113407475A CN202110274382.7A CN202110274382A CN113407475A CN 113407475 A CN113407475 A CN 113407475A CN 202110274382 A CN202110274382 A CN 202110274382A CN 113407475 A CN113407475 A CN 113407475A
Authority
CN
China
Prior art keywords
camera
control module
interface
vehicle
ecu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110274382.7A
Other languages
English (en)
Inventor
W·德沃拉科夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN113407475A publication Critical patent/CN113407475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及控制模块和方法，该控制模块包括：到设置在车辆中的摄像头的第一接口；到串行器的第二接口，该串行器用于与车辆的电子控制单元通信；以及处理单元，其被配置成对经由第一接口或经由第二接口接收到的输入数据进行处理，以获得输出数据，并且经由第一接口或经由第二接口输出该输出数据。

Description

控制模块和方法
技术领域
本公开涉及控制模块和方法。
背景技术
数字成像设备(例如数字摄像头，例如远程摄像头)在汽车应用中用于各种应用，例如用于监控车辆的乘员(例如驾驶员)或车辆的周围环境。
摄像头应该是简单且容易连接的。在新的设计中，远程摄像头可以包括能够更容易配置的存储器组件和用于防止复制的装置。然而，必须在启动时适当地配置和测试摄像头，这可能花费几秒钟(有时甚至超过10秒)。处理任务通常委托给ECU(电子控制单元)，其中处理器也用于在进行摄像头初始化之前初始化其它组件。同时，用户几乎需要立即操作该摄像头。
此外，随着自主车辆的出现，可能期望同时操作越来越多的摄像头，并且这可能导致控制信道(例如I2C)成为潜在的瓶颈。
因此，需要改进车辆中的摄像头控制。
发明内容
本公开提供了控制模块、计算机实现的方法、计算机系统、非暂时性计算机可读介质以及车辆。在说明书和附图中给出了实施方式。
在一个方面，本公开涉及一种控制模块，其包括：到设置在车辆中的摄像头的第一接口；到用于与车辆的电子控制单元进行通信的串行器的第二接口；以及处理单元，其被配置成对经由所述第一接口或经由所述第二接口接收到的输入数据进行处理以获得输出数据，并且经由所述第一接口或经由所述第二接口输出该输出数据。
换言之，控制模块可以设置在摄像头与串行器之间(其中串行器可以与车辆的电子控制单元(ECU)通信)，并且可以将从摄像头接收到的信号转发到串行器以及将从串行器接收到的信号转发到摄像头，或者可以截取从摄像头或从串行器接收到的信号并响应该信号而不转发信号。这可以减少串行器与ECU之间的串行连接上的通信工作，并且可以减少ECU的计算工作。
利用根据各种实施方式的控制模块，可以提供快速起动ASIL(汽车安全完整性等级)分级远程摄像头。如果发生某种错误，ASIL分级可能需要一定措施来确保正常操作。例如，为了进行ASIL分级，摄像头应提供检查内部运行状况的能力，以便可检测错误并提供其状态信息。在一些情况下，甚至可能需要ASIL分级摄像头来确保在错误情况下的正确操作。
根据另一方面，所述控制模块还包括被配置成存储与摄像头相关的信息的存储器。例如，可以反复(例如在每次启动时)由ECU从摄像头请求的或可以从ECU提供给摄像头的信息可以存储在该存储器中，然后可以直接从控制模块的存储器(而不是从摄像头或从ECU)提供该信息。这可以允许在不涉及ECU的情况下启动摄像头(因为控制模块可以提供通常由该ECU提供的数据或信息或控制指令，这样使得该ECU可以在启动过程中同时集中于其它任务，摄像头在启动后不久即可使用)。
根据另一方面，输入数据包括摄像头的配置或校准数据。例如，配置数据或校准数据可以从摄像头提供至控制设备，然后可以存储在控制设备中。校准参数可以包括诸如电压或电流要求、快门速度、ISO设置、像素装仓选项、颜色校准数据、暗图像数据(用于补偿“热像素”)等工作参数。
根据另一方面，输出数据包括摄像头的配置或校准数据。例如，可以从存储器获得先前已经从摄像头接收并保存在存储器中的配置或校准数据并用于进一步处理和/或转发到ECU，而无需再次从摄像头请求配置或校准。
根据另一方面，输出数据包括识别摄像头的识别数据。该识别数据可以包括指示摄像头的类型和/或摄像头对于正确操作的要求(例如可允许的最大或最小工作温度)的数据。
根据另一方面，处理单元被配置成执行摄像头的运行时间检查。在运行时，可以持续地或间歇地检查摄像头的有效操作。当摄像头工作时，优先级可以是为视频组件(例如经由视频通道的成像器和视频处理器)提供连接性，但同时，还可以监测摄像头的操作有效性。
根据另一方面，运行时间检查包括对以下至少一项的检查：由摄像头汲取的电压(换言之：摄像头上的电压降或施加到摄像头的电压)；由摄像头汲取的电流；摄像头的温度；或到摄像头的链路质量。通过避免必须直接地和单独地向ECU检查和报告多个因素(电压、温度等)，可以避免控制通道的重负荷。此外，通过检查链路质量，可以确保摄像头具有良好质量的链路，以允许在运行时快速建立和测试。
根据另一方面，输出数据包括运行时间检查结果的概要或运行时间检查结果的详细报告中的至少一者。例如，结果的概要可以是关于运行时间检查是否显示任何故障的指示。例如，可以以比详细报告更高的频率获得结果的概要。例如，可以根据请求提供详细报告(例如，如果ECU确定故障已经发生(例如基于结果的概要)，则ECU可以请求详细报告以便精确地定位故障)。
根据另一方面，输入数据和/或输出数据包括同步数据。同时操作的多个传感器提供对它们同步的要求，以使数据的融合更容易。同时，在真实的实时系统中，可能希望传感器的操作与当前情况相匹配。例如，可以将摄像头设置成与光可用性和操作的当前模式相关的“快门速度”(shooter speed/shutter speed)。同时，前摄像头和侧摄像头可以使用不同的镜头和传感器，当用于两个设备时，这可能导致次优设置。基于同步数据，所有摄像头都可以与中央时间源(例如设置在车辆中和/或设置在ECU中)同步，曝光时间与该时间明显相关。此外，车辆ECU同步可用于使外部和内部摄像头同步以用于校准。
根据另一方面，处理单元被配置成确定摄像头的类型并基于所确定的摄像头类型来处理输入数据。指示类型的信息可以存储在控制模块的存储器中(或存储在与控制模块相关联或相连接的存储器中)。可以将多于一个的摄像头同时连接到控制模块，并且各种类型的摄像头可以同时连接。根据各种实施方式，可对接多种类型的成像器或摄像头。不同类型的成像器或摄像头之间的差异可由控制模块补偿。此外，可通过各种实施方式，通过控制不同类型的摄像头(其可包括关于摄像头是否操作安全以及摄像头是否为假冒摄像头的检查)来确保设计的安全性(当涉及潜在假冒和破坏或误操作时)。
在另一方面，本公开涉及一种车辆，其包括如上所述的控制模块、摄像头；串行器；以及电子控制单元。
根据另一方面，控制模块被配置成在车辆的启动期间和/或在电子控制单元(ECU)的启动期间对摄像头进行配置。由于控制模块可以仅负责摄像头(或者如果提供多于一个的摄像头则负责多个摄像头)，所以控制模块可以在启动时直接开始处理，同时ECU处理其它任务。
根据各种实施方式，可以获得至少几百毫秒到几十秒的启动时间，改变用户感知的启动时间。同时，可以在网络安全(初始化和配置更新)、安全(独立于ECU的诊断构建)和时间同步(时钟同步)的所有领域中实现增益。
在另一方面，本公开涉及一种计算机实现的方法(例如控制方法)，用于处理经由到设置在车辆中的摄像头的第一接口或经由到用于与车辆的电子控制单元通信的串行器的第二接口接收的数据，该方法包括由计算机硬件组件执行(换言之：实施)的以下步骤：基于接收到的数据确定输出数据；以及经由第一接口或经由第二接口输出该输出数据。
在在另一方面，本公开涉及一种计算机系统，所述计算机系统包括被配置成执行本文所述的计算机实现的方法的若干或所有步骤的多个计算机硬件组件。
该计算机系统可以包括多个计算机硬件组件(例如，处理单元、至少一个存储器单元和至少一个非暂时性数据存储器)。应当理解，可以提供另外的计算机硬件组件并用于在计算机系统中执行计算机实现的方法的步骤。非暂时性数据存储器和/或存储器单元可以包括用于指示计算机例如使用处理单元和至少一个存储器单元来执行本文描述的计算机实现的方法的若干或所有步骤或方面的计算机程序。
在另一方面，本公开涉及一种非暂时性计算机可读介质，其包括用于执行本文所描述的计算机实现的方法的若干或所有步骤或方面的指令。该计算机可读介质可以被配置为：光学介质，例如光盘(CD)或数字多功能盘(DVD)；磁介质，例如硬盘驱动器(HDD)；固态驱动器(SSD)；只读存储器(ROM)，例如闪存；等等。此外，该计算机可读介质还可以被配置成经由诸如互联网连接的数据连接可访问的数据存储装置。该计算机可读介质例如可以是在线数据储存库或云存储。
本公开还涉及用于指示计算机执行本文所描述的计算机实现的方法的若干或所有步骤或方面的计算机程序。
附图说明
本文结合以下示意性示出的附图描述了本公开的示例性实施方式和功能：
图1是根据各种实施方式的包括控制模块104的系统的图示；以及
图2是例示根据各种实施方式的控制方法的流程图。
附图标记列表
100 根据各种实施方式的包括控制模块104的系统的图示
102 成像器(摄像头)
104 控制模块(监管器、标准化器)
106 串行器(串行器/解串器)
108 视频通道
110 控制接口线
112 同步线
114 拍摄线
116 诊断线
118 控制接口线
120 同步线
122 诊断线
124 DC/DC转换器
126 电源线
128 监测线
130 电源线
132 电源线
134 PoC线
136 高速串行和PoC线
200 例示根据各种实施方式的控制方法的流程图
202 基于接收到的数据确定输出数据的步骤
204 经由第一接口或经由第二接口输出输出数据的步骤
具体实施方式
图1示出了根据各种实施方式的包括控制模块104的系统的图示100。控制模块104也可称为“监管器”或“标准化器”。成像器102(换言之：图像传感器，例如摄像头(例如远程摄像头)的图像传感器)不具有来自串行器/解串器106(其可以连接到ECU；电子控制单元)经由高速串行和PoC(同轴电缆供电)连接136的直接控制通道。串行器/解串器106(为简洁起见，可将其称为串行器)可用作通信装置以在一侧的ECU与另一侧的成像器102及控制模块104之间的相对较大距离上提供高速信号。根据各种实施方式，可以使用控制模块104的附加组件来代替使用成像器102、串行器106和ECU之间的直接通信。
远程摄像头可以是不直接与ECU集成而是经由(通常是长的)连接而连接到ECU的摄像头。例如，后摄像头和侧摄像头通常是远程摄像头。前摄像头可以是远程摄像头或可以与ECU集成。
控制模块104可以设置在成像器102与串行器106之间，并且可以转发或修改在控制接口线110、118、同步线112、120和诊断线116、122上传输的数据。
控制接口线110、118可以提供用于控制集成电路的接口，例如根据I2C或SPI。
根据各种实施方式，控制模块104可以设置在成像器102与串行器106之间。这使得能够通过控制模块104的控制实现成像器102的操作，并且独立于与ECU的任何交互。结果，ECU可以在控制模块104与成像器102相互作用的同时询问摄像头102的状态。同时，一些控制功能(例如由成像器102看到的电压电平的测量)可以从ECU委托给摄像头控制模块104。
同步线112、120可用于实施远程摄像头102与ECU的时间同步，例如使用串行器GPIO(通用输入/输出)线。该时间同步可以是本文所描述的时间同步的一部分，或者可以独立地用于表示预期的(例如ECU预期的)图像拍摄时间。
控制模块104与成像器102之间的同步线112可用于同步成像器102的操作。例如，可以使用高速时钟，其频率可以使用控制模块104调节以实现适当的帧速率。在另一示例中，快门线可用于控制图像拍摄发生的时刻。
拍摄线114可以指示成像器102何时进行物理拍摄。拍摄线114可以从成像器102提供指示快门打开的反馈信号。在未设置拍摄线114的实施方式中，快门是否打开的指示可由控制模块104使用不同手段来确定，例如成像器寄存器轮询(换句话说：成像器102的寄存器的循环读取)。控制模块104可以通过读取成像器的预定寄存器来周期性地(并且独立于ECU)检查快门状态(例如“快门打开”或“快门关闭”)。代替通过寄存器轮询检查状态，可以使用读取队列中的注册。
成像器诊断线116可以提供关于潜在故障的信息。在不存在成像器诊断线116的实施方式中，可以使用其它手段，如成像器寄存器轮询或由控制模块104与成像器102交互。关于潜在故障的信息可连同其它手段(例如电源监测(经由线128指示)、温度监测或控制模块内部诊断)允许摄像头102的状态的ASIL相关监测。
摄像头诊断线122可以向ECU警告摄像头102的潜在故障或异常状态。根据各种实施方式，摄像头诊断线122可以与其它手段相结合或用其它手段替代，例如通过控制线118的寄存器轮询或作为通过摄像头连接136提供给ECU的视频通道信号108中的注入错误状态。
应当理解，所述线中的每一个都可以包括一条或更多条物理线。
成像器102仍然可以经由视频通道108与串行器106直接接触；换句话说：由成像器102提供的图像数据或视频数据可以不通过控制模块104路由。
DC/DC(直流/直流)转换器124可将电力提供到各种组件，例如经由电源线126提供到成像器102、经由电源线130提供到控制模块104、以及经由电源线132提供到串行器106。DC/DC转换器124可以经由PoC(同轴电缆供电)线134(从高速串行和PoC线136)接收电能。可以监测电源线126、130、132来检测故障。在通常使用的设计中，通过与固定电平的测量或比较经由ECU监测电源线，这可能导致接口上的负荷，并且当使用多个摄像头时可能导致问题。根据各种实施方式，电源线126、130、132可以经由控制模块104利用提供给ECU的故障信号化来监测，使得连接(例如连接136)较少地加载在诊断组件上。同时，控制模块104可以进行更详细的诊断测量。
在下文中，将描述根据各种实施方式的摄像头或成像器102的启动。
控制模块104可以在向成像器102供电之后立即启动。控制模块104的启动时间可以短于ECU的启动时间，因为与ECU的复杂设计和一般要求相比，控制模块104可以具有简单的设计并且可以提供适合于与成像器102一起工作的需要的功能。在ECU的启动程序进入使用成像器102的阶段之前，控制模块104可以对成像器102进行配置和测试，有效地接管通信信道(例如I2C信道或SPI信道)并在ECU使用通信线路之前释放它。
在ECU将任何东西写入成像器102并且控制模块104将不完成其任务的情况下，则可以使用时钟扩展技术来延迟ECU事务。在这种情况下，当控制模块104操作成像器102并且ECU开始请求访问成像器102时，控制模块104可以通过使用如I2C标准中定义的“时钟扩展”来延迟ECU的操作。可能发生这种情况的那些罕见但可能的情况之一是当成像器102是远程摄像头时以及当远程摄像头暂时从ECU断开或摄像头102重启时。
在下文中，将描述根据各种实施方式的对摄像头或成像器102的识别。
在释放控制接口线通信路径之后(即，在切换到经由控制接口线110和118转发成像器102与串行器106之间的任何通信的模式之后)，控制模块104可向ECU“自识别”成像器102。可能希望安全地识别摄像头102是否是“有效的”(例如真实的而不是伪造的产品)并且具有适当的标识符(ID)。在通常使用的设计中，可以使用读取成像器中的一次写入区域或以扩展形式作为该区域的密码签名来进行识别；然而，这样的识别可能被欺骗或花费很长时间。根据各种实施方式，可以将内部存储验证委托给摄像头控制模块104，同时提供短确认消息的强验证。同时，即使当成像器102不支持安全数据传输时，也可保护摄像头102与ECU之间的任何通信。
根据各种实施方式，ECU可提供“调用(invocation)”(例如，将某一随机序列写入到仿真的I2C寄存器上)。控制模块104可以使用其私钥对调用进行加密，并且可以将加密结果作为其它寄存器中的“响应”返回给ECU。最后，ECU可以用摄像头的公钥加密响应，并将加密的响应提供给控制模块104。整个序列可能意味着小于30字节的传输，并且可能需要小于1ms。
使用两个不同密钥加密调用可用于识别成像器102。例如，ECU可以发送随机长数，例如包括几百比特。摄像头控生成模块104可以将从ECU接收的由内部处理的随机码组成的块与存储在摄像头102中的识别和校准数据一起加密(例如之后或之前)。加密可以使用作为摄像头控制模块104的结构的一部分并且在摄像头控制模块104内受保护的非对称密钥(例如像安全元件)来完成。结果可以是加密的块，并且加密的块可以被提供给ECU，其中加密的块在内部密码模块中由ECU解密，该内部密码模块将其密钥保护给摄像头提供数据。
在下文中，将描述根据各种实施方式的校准值的提供。
在识别成功结束之后，控制模块104可以允许读取存储摄像头特征的存储器(例如设置在控制模块104中或附接到控制模块104)的某些部分。可以在控制模块104的控制下使用(成像器102的)EEPROM的仿真来提供摄像头特征。与摄像头特征相关的数据可以作为控制模块104的结构的一部分被存储。
在下文中，将描述根据各种实施方式的校准值(到控制模块104中)的编程。
为了能够将校准值编程到控制模块104中，可以激活特殊的工作模式(例如使用如上所述的用于识别摄像头的类似机构)。公共/私有密钥对的使用可以保护对这种工作模式的访问。
在下文中，将描述根据各种实施方式的运行时摄像头有效性检查。
可以不断地验证摄像头操作(例如成像器102的操作)以通知(例如通知ECU)任何潜在的故障。根据各种实施方式，控制模块104可以进行以下测量：电压检查、温度检查、健全性检查(例如成像器102或到成像器102的链路的健全性检查)或链路质量。控制模块104可以经由控制接口线118访问串行器106并最终访问ECU。因此，控制模块104可以监测与ECU的连接状态。测量可以周期性地执行，并且可以用作概要(例如作为具有100ms计数器值的I2C可访问寄存器，并且同时作为复制时间同步信号的线和/或作为详细报告(指示电压、温度等))。可以周期性地执行自检，并且照此，可以建立定时机制以控制测量和检查其是否以所需的时间表工作。此外，代替使用静态误差线，提供不同代码或PWM比率的线可用于信号化误差。
在下文中，将描述根据各种实施方式的摄像头(或成像器)的同步。
车辆中的时间由单个源提供。所有的单元(特别是所有的ECU)都接收该时间，并且应该相对于该时间工作。根据各种实施方式，还可以提供关于设置在车辆中的摄像头的操作的时间。
在车辆启动时，ECU可以将估计的当前时间提供给控制模块104。在操作期间，ECU可以提供方波(或矩形)时间同步信号作为到摄像头的串行连接上的侧信道。信号的频率可以取决于摄像头时钟的所需稳定性(例如，频率可以是1Hz)。在信号的每个边沿，ECU可以提供ECU中的当前精确时间(其可以与车辆的时基同步)。当看到信号的边沿时，控制模块104可以捕获当前内部时间并将其与ECU提供的时间进行比较，并且可以修改内部N/M除数以使内部时钟稳定并与汽车时间(即ECU时间)同步。同时，控制模块104可向ECU提供接收信号的副本，从而ECU可确定传输时间和抖动，该传输时间和抖动可作为使时间更精确的方式提供给控制模块104。
根据各种实施方式，快门可以不被直接控制或使其自行运转。根据各种实施方式，可以移动快门的控制以使摄像头102和ECU之间的时间同步，其中ECU是松散连接的时间源。这种连接方式可以减少ECU上的负荷，并且可以提供同步是低优先级过程。
根据各种实施方式，虽然摄像头102可在具有或不具有内部发生器的情况下运行，但在一点处，此信号可被建立。此后，可产生内部信号，从而导致使用成像器102拍摄图像的过程。可以使用M/N个给定频率信号产生的特定方法之一来进行。然而，应当理解，可以使用软件或可编程逻辑代替除数来复制该过程。结果，可以接收给定频率的信号，并且由于调节，也可以接收相位校准。因此，可以对M/N系数进行调整，从而可以在预计时间进行曝光。此外，这可以减少多摄像头系统中ECU上以及融合组件上的工作量。
应当理解，N和M是指PLL环路中用于频率生成的两个系数(其可以被称为N/M频率生成)。根据各种实施方式，基础时钟可乘以N并除以M，并且输出信号可除以一个系数并与基础时钟除以另一系数进行比较。然而，应当理解，可以替代地使用任何其它方法。
使用这种内部时间，控制模块104可以向成像器102产生稳定的时钟时间，以使帧的周期精确。同时，控制模块104可以使用“帧同步”输入或“闪烁(flash)”输出来同步将要进行曝光的时刻。
在“帧同步”输入的情况下，控制模块104可以根据计算的内部调度来产生信号，从而也允许使用具有多个帧格式的配置。
在使用“闪烁”输出的情况下，控制模块104可以捕获提供信号的时间，然后使其可用于ECU。当曝光时间的精度不够时，那么控制模块104可改变成像器102的配置以在适当时间拍摄下一图像。
“闪烁”输出的使用可以基于成像器的设计，该成像器有时在拍摄图像时提供这种输出，其可以为控制回路提供源，该控制回路根据基于时间源的时间表调节应当拍摄图像的时刻。换言之：可以向摄像头102提供时间源，并且可以预期摄像头102将安排应当拍摄图像的时刻。根据各种实施方式，ECU可以提供时间源(使用低优先级过程)，并且摄像头102可以从时间源恢复时间，然后基于时间源可以下调内部信号的频率，以便实现在预定时间拍摄的图像。为了实现良好的同步，可以提供帧同步信号或者可以接收闪烁信号以实现适当的控制循环。利用该方法，可以卸载ECU，并且可以确保在明确限定的时刻拍摄图像。同时，调节过程可以相对简单，并且可以在专用硬件或可编程逻辑或常规中央处理单元(CPU)中执行。
在下文中，将描述根据各种实施方式的摄像头硬件抽象层(HAL)。
越来越多的摄像头利用各种成像器而被构建。根据各种实施方式，可定义成像器的所需能力的编译，并且可定义将理想化模型展示给软件的HAL。控制模块104可以以如下方式实现HAL，即它可以从ECU接收设置，然后可以将该设置转换成要提供给成像器102的数据(以正确的格式或具有用于该特定成像器的正确内容)。同时，控制模块104可以允许从ECU访问成像器。可以实现如上所述的时钟扩展技术以消除同时从多个源访问的任何风险。
图2示出了例示根据各种实施方式的控制方法的流程图200。该控制方法可以处理经由到设置在车辆中的摄像头的第一接口或经由到用于与车辆的电子控制单元通信的串行器的第二接口接收到的数据。在202处，可基于所接收到的数据来确定输出数据。在204处，可经由第一接口或经由第二接口输出该输出数据。
步骤202、步骤204中的每一个以及上述的进一步处理可以由计算机硬件组件来执行。

Claims (15)

1.一种控制模块(104)，所述控制模块包括：
到设置在车辆中的摄像头(102)的第一接口(110、112、114、116)；
到串行器(106)的第二接口(118、120、122)，所述串行器用于与所述车辆的电子控制单元通信；以及
处理单元，所述处理单元被配置成对经由所述第一接口(110、112、114、116)或经由所述第二接口(118、120、122)接收到的输入数据进行处理，以获得输出数据，并且经由所述第一接口(110、112、114、116)或经由所述第二接口(118、120、122)输出所述输出数据。
2.根据权利要求1所述的控制模块(104)，所述控制模块还包括：
存储器，所述存储器被配置成存储与所述摄像头(102)相关的信息。
3.根据权利要求1或2中至少一项所述的控制模块(104)，
其中，所述输入数据包括所述摄像头(102)的配置或校准数据。
4.根据权利要求1至3中至少一项所述的控制模块(104)，
其中，所述输出数据包括所述摄像头(102)的配置或校准数据。
5.根据权利要求1至4中至少一项所述的控制模块(104)，
其中，所述输出数据包括识别所述摄像头(102)的识别数据。
6.根据权利要求1至5中至少一项所述的控制模块(104)，
其中，所述处理单元被配置成执行所述摄像头(102)的运行时间检查。
7.根据权利要求6所述的控制模块(104)，
其中，所述运行时间检查包括对以下各项中的至少一项的检查：由所述摄像头(102)汲取的电压；由所述摄像头(102)汲取的电流；所述摄像头(102)的温度；或到所述摄像头(102)的链路质量。
8.根据权利要求6或7中至少一项所述的控制模块(104)，
其中，所述输出数据包括所述运行时间检查的结果的概要或所述运行时间检查的结果的详细报告中的至少一者。
9.根据权利要求1至8中至少一项所述的控制模块(104)，
其中，所述输入数据或所述输出数据中的至少一者包括同步数据。
10.根据权利要求1至9中至少一项所述的控制模块(104)，
其中，所述处理单元被配置成确定所述摄像头(102)的类型并且基于所述摄像头(102)的所确定的类型来处理所述输入数据。
11.一种车辆，所述车辆包括：
根据权利要求1至10中至少一项所述的控制模块(104)；
所述摄像头(102)；
所述串行器(106)；以及
所述电子控制单元。
12.根据权利要求11所述的车辆，
其中，所述控制模块(104)被配置成在所述车辆的启动过程中和/或在所述电子控制单元的启动过程中对所述摄像头(102)进行配置。
13.一种计算机实现的控制方法，所述计算机实现的控制方法用于对经由到设置在车辆中的摄像头(102)的第一接口(110、112、114、116)或经由到用于与所述车辆的电子控制单元通信的串行器(106)的第二接口(118、120、122)接收到的数据进行处理，
所述方法包括由计算机硬件组件执行的以下步骤：
基于所接收到的数据确定输出数据(202)；以及
经由所述第一接口(110、112、114、116)或经由所述第二接口(118、120、122)输出所述输出数据(204)。
14.一种计算机系统，所述计算机系统包括被配置成执行根据权利要求13所述的计算机实现的方法的步骤的多个计算机硬件组件。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求13所述的计算机实现的方法的指令。
CN202110274382.7A 2020-03-17 2021-03-15 控制模块和方法 Pending CN113407475A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20163605.7A EP3883235A1 (en) 2020-03-17 2020-03-17 Camera control modules and methods
EP20163605.7 2020-03-17

Publications (1)

Publication Number Publication Date
CN113407475A true CN113407475A (zh) 2021-09-17

Family

ID=69845188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110274382.7A Pending CN113407475A (zh) 2020-03-17 2021-03-15 控制模块和方法

Country Status (3)

Country Link
US (1) US11380014B2 (zh)
EP (1) EP3883235A1 (zh)
CN (1) CN113407475A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3848900A1 (en) * 2020-01-10 2021-07-14 Aptiv Technologies Limited Methods and systems for calibrating a camera
EP3975455A1 (en) * 2020-09-23 2022-03-30 Bayerische Motoren Werke Aktiengesellschaft Determining correctness of actually received timestamp
EP4243410A1 (en) * 2022-03-10 2023-09-13 Bayerische Motoren Werke Aktiengesellschaft Method for safety monitoring of a communication network of an automated vehicle, and communication network

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090055685A1 (en) * 2007-08-22 2009-02-26 Denso Corporation Electronic apparatus in which functioning of of a microcomputer is monitored by another microcomputer to detect abnormal operation
CN106105178A (zh) * 2014-03-19 2016-11-09 Iee国际电子工程股份公司 具有集成校准表的摄像头
JP2016225713A (ja) * 2015-05-27 2016-12-28 京セラ株式会社 撮像装置、車両、設置位置判別システム、設置位置判別装置、および設置位置判別方法
US20170278320A1 (en) * 2016-03-23 2017-09-28 Kabushiki Kaisha Toshiba In-vehicle gateway device, storage control method, and computer program product
US20180053322A1 (en) * 2016-08-17 2018-02-22 Magna Electronics Inc. Vehicle vision system with camera calibration
CN107819974A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
AU4851300A (en) 1999-05-19 2000-12-05 Digimarc Corporation Methods and systems for controlling computers or linking to internet resources from physical and electronic objects
CA2388095A1 (en) 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
WO2006023153A1 (en) 2004-08-23 2006-03-02 Gamecaster, Inc. Apparatus, methods and systems for viewing and manipulating a virtual environment
US20090033747A1 (en) * 2007-07-31 2009-02-05 Trafficland Inc. Method and System for Monitoring Quality of Live Video Feed From Multiple Cameras
US9848114B2 (en) * 2009-12-07 2017-12-19 Cobra Electronics Corporation Vehicle camera system
EP2617025B1 (en) 2010-09-13 2019-05-08 Barry Lynn Jenkins Delivering and controlling streaming interactive media comprising renderable geometric, texture and lighting data
WO2013101045A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Navigation systems and associated methods
US9481301B2 (en) * 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
US10979674B2 (en) * 2013-07-22 2021-04-13 Intellivision Cloud-based segregated video storage and retrieval for improved network scalability and throughput
US20150098079A1 (en) 2013-10-09 2015-04-09 Hilti Aktiengesellschaft System and method for camera based position and orientation measurement
US9900177B2 (en) 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
KR102138027B1 (ko) 2014-02-05 2020-07-27 애플 인크. 제어기와 액세서리 사이의 통신을 위한 균일한 통신 프로토콜
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
CN104112363B (zh) 2014-07-04 2016-05-25 西安交通大学 多传感数据时空同步方法及道路多传感数据车载采集系统
JP6610961B2 (ja) * 2014-07-22 2019-11-27 ソニー株式会社 制御装置、制御方法、プログラム、および制御システム
WO2016154948A1 (en) 2015-03-31 2016-10-06 SZ DJI Technology Co., Ltd. Authentication systems and methods for identification of authorized participants
WO2016154944A1 (en) 2015-03-31 2016-10-06 SZ DJI Technology Co., Ltd. Systems and methods for tracking uav activity
EP3633653B1 (en) 2015-03-31 2021-03-31 SZ DJI Technology Co., Ltd. Systems and methods for mutual authentication between an unmanned aerial vehicle and an authentication center
JP6399570B2 (ja) 2015-03-31 2018-10-03 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｕａｖを動作させる方法、プログラム、及びｕａｖ飛行システム
CN108369646B (zh) 2015-07-16 2021-10-15 博拉斯特运动有限公司 多传感器事件检测和标记系统
AU2016293616B2 (en) 2015-07-16 2020-03-12 Blast Motion Inc. Integrated sensor and video motion analysis method
DE102016110536A1 (de) 2015-07-20 2017-01-26 Siemens Energy, Inc. Optisches Inspektionsendoskop mit verformbarer, selbsttragender Bereitstellungsanbindung
KR102314611B1 (ko) 2015-09-23 2021-10-18 삼성전자주식회사 양방향 동기가 가능한 카메라, 상기 카메라를 포함하는 카메라 시스템 및 그 동작 방법
US9742492B2 (en) 2015-12-30 2017-08-22 Surefire Llc Systems and methods for ad-hoc networking in an optical narrowcasting system
KR20170091913A (ko) 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
US10340587B2 (en) * 2016-09-13 2019-07-02 Laird Technologies, Inc. Antenna assemblies having sealed cameras
JP2018093437A (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 検知システム
JP6395274B2 (ja) * 2017-03-15 2018-09-26 本田技研工業株式会社 駐車支援装置
US10176596B1 (en) 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
US10678260B2 (en) 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US10685244B2 (en) * 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US20190268574A1 (en) * 2018-02-28 2019-08-29 Rebound Therapeutics Corporation Communication system for a retractor with a mounted camera
WO2020013519A1 (en) * 2018-07-10 2020-01-16 Samsung Electronics Co., Ltd. Method and system of displaying multimedia content on glass window of vehicle
JP6762398B1 (ja) * 2019-04-12 2020-09-30 Ｌｉｎｅ株式会社 プログラム、情報処理方法、端末
JP7462386B2 (ja) * 2019-06-14 2024-04-05 株式会社シマノ 検出装置、検出方法、生成方法、コンピュータプログラムおよび記憶媒体
JP7200968B2 (ja) * 2020-03-31 2023-01-10 トヨタ自動車株式会社 車両制御装置および車両制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090055685A1 (en) * 2007-08-22 2009-02-26 Denso Corporation Electronic apparatus in which functioning of of a microcomputer is monitored by another microcomputer to detect abnormal operation
CN106105178A (zh) * 2014-03-19 2016-11-09 Iee国际电子工程股份公司 具有集成校准表的摄像头
JP2016225713A (ja) * 2015-05-27 2016-12-28 京セラ株式会社 撮像装置、車両、設置位置判別システム、設置位置判別装置、および設置位置判別方法
US20170278320A1 (en) * 2016-03-23 2017-09-28 Kabushiki Kaisha Toshiba In-vehicle gateway device, storage control method, and computer program product
US20180053322A1 (en) * 2016-08-17 2018-02-22 Magna Electronics Inc. Vehicle vision system with camera calibration
CN107819974A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置

Also Published As

Publication number Publication date
US20210295560A1 (en) 2021-09-23
EP3883235A1 (en) 2021-09-22
US11380014B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
CN113407475A (zh) 控制模块和方法
JP5393932B1 (ja) データ処理装置及び通信システム
JP4877738B2 (ja) 記録装置、及び記録方法
CN115333754A (zh) 用于生物特征认证的装置、方法和存储介质
EP2541418A1 (en) Method for increasing reliability in monitoring systems
CN108650472A (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
GB2572925A (en) Device managment system, device managment method. Information processing device, device, and program
KR20240035988A (ko) Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치
CN108959906B (zh) 数据获取方法、移动终端、电子设备、产线标定系统、可读存储介质及计算机设备
JP2006313498A (ja) 画像処理装置
US20210006510A1 (en) Apparatus and method of monitoring ethernet communication for vehicle and vehicle including the same
CN109906609A (zh) 用于监测图像传感器的方法和设备
CN109471488B (zh) 一种放映机计时方法及系统
US10452060B2 (en) System and method for monitoring multi-projection theater
CN110690936B (zh) 业务运转中的时间控制方法、系统和计算机系统
US20230093337A1 (en) Method and System for Performing Time-Synchronization
JP5893111B1 (ja) 制御システム
US20180145662A1 (en) Input/output system, input device, and control method of input/output system
JP7281658B2 (ja) 車両用表示システムおよび車両用表示システムの画像表示方法
US11485277B2 (en) Method and system for deducing a reduced image refresh frequency in high definition headlights
JP2002366505A (ja) 実装位置検出方法及び装置
US20220286638A1 (en) Semiconductor device and equipment
EP3681397B1 (en) X-ray imaging component communication system and protocol
US20200195443A1 (en) Method For Verifying The Display Of A Content Item By A Digital Display Device, And Digital Display System
CN116208805A (zh) 故障安全环绕视图

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240304

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240321

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg