CN109074078A - 用于捕捉交通标志的图像的方法和装置 - Google Patents

用于捕捉交通标志的图像的方法和装置 Download PDF

Info

Publication number
CN109074078A
CN109074078A CN201780024918.1A CN201780024918A CN109074078A CN 109074078 A CN109074078 A CN 109074078A CN 201780024918 A CN201780024918 A CN 201780024918A CN 109074078 A CN109074078 A CN 109074078A
Authority
CN
China
Prior art keywords
traffic sign
described image
image sensor
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780024918.1A
Other languages
English (en)
Inventor
李熙硕
金康
金杜勋
金圣雄
洪锡秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109074078A publication Critical patent/CN109074078A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开一种用于由图像传感器捕捉交通标志的图像的方法。所述方法可包含由所述图像传感器捕捉包含所述交通标志的至少一个图像，其中所述图像传感器安装于车辆中。所述方法可包含由处理器检测所述至少一个图像中的所述交通标志。所述方法还可包含响应于检测到所述交通标志，由所述处理器基于所述至少一个图像和所述车辆的运动确定所述图像传感器的至少一个方向。此外，所述方法可包含由所述处理器将所述图像传感器调整到所述至少一个方向。

Description

用于捕捉交通标志的图像的方法和装置
优先权要求
本申请要求来自2016年4月26日申请的题目为“用于捕捉交通标志的图像的方法和装置(METHOD AND DEVICE FOR CAPTURING IMAGE OF TRAFFIC SIGN)”的共同拥有的美国非临时专利申请第15/138,778号的优先权的权益，前述申请的内容明确地被以引用的方式全部并入本文中。
技术领域
本公开大体涉及用图像传感器捕捉图像，且更具体地说，涉及用车辆中的图像传感器捕捉交通标志的图像。
背景技术
近年来，在例如汽车、卡车、无人机(UAV)等的车辆中，图像传感器的使用已变得流行。举例来说，车辆常常装备有电子装置(例如，安全相机、行车记录仪、黑盒、网络相机等)以记录场景的图像或视频。这记录的图像或视频可对再创建感兴趣的事件或场景有用。
图像传感器也用于自主或无人驾驶车辆中。此类车辆常常装备有一或多个图像传感器来捕捉场景。从捕捉的场景，可检测和辨识到在捕捉的场景中的物体，以辅助导航。
然而，由车辆的图像传感器捕捉的图像的场景常常模糊且因此具有低质量。举例来说，归因于车辆的移动，由此车辆中的图像传感器捕捉的静止物体的图像可能模糊。当图像中的模糊的物体是交通标志时，所述图像可能不具有足够的品质来允许检测和辨识此类标志以辅助自主车辆或车辆的精心司机导航经过所述场景。
在常规方法中，模糊的图像通常已使用影像处理方案去模糊以增强包含模糊的部分的图像。然而，通常对图像执行此影像处理方案，作为后处理方法，这可能需要大量的计算时间和资源。另外，基于此类去模糊方法的增强型图像的质量可能不足够准确或可靠，确切地说，当模糊严重时。
发明内容
本公开提供一种用于捕捉交通标志的图像和调整图像传感器以跟踪所述交通标志的方法。
根据本公开的一个方面，公开一种用于由图像传感器捕捉交通标志的图像的方法。所述方法可包含由所述图像传感器捕捉包含所述交通标志的至少一个图像，其中所述图像传感器安装于车辆中。所述方法可包含由处理器检测所述至少一个图像中的所述交通标志。此外，响应于检测到所述交通标志，所述方法可包含由所述处理器基于所述至少一个图像和所述车辆的运动确定所述图像传感器的至少一个方向。另外，所述方法可包含由所述处理器将所述图像传感器调整到所述至少一个方向。通过将所述图像传感器调整到所述至少一个方向，可减少与所述车辆相对于所述交通标志的所述运动相关联的运动模糊。本公开还描述一种关于这方法的电子装置和计算机可读媒体。
根据本公开的另一方面，公开一种用于捕捉交通标志的图像的在车辆中的电子装置。所述电子装置可包含被配置成捕捉包含所述交通标志的至少一个图像的图像传感器。所述电子装置还可包含被配置成检测所述至少一个图像中的所述交通标志的交通标志检测单元。此外，所述电子装置可包含旋转确定单元，其被配置成响应于检测到所述交通标志，基于所述至少一个图像和所述车辆的运动确定所述图像传感器的至少一个方向。另外，所述电子装置可包含电动机控制单元，其被配置成将所述图像传感器调整到所述至少一个方向。通过将所述图像传感器调整到所述至少一个方向，可减少与所述车辆相对于所述交通标志的所述运动相关联的运动模糊。
附图说明
在结合附图阅读时将参考以下详细描述理解本公开的实施例。
图1说明根据本公开的一个实施例的装备有电子装置的车辆，所述电子装置被配置成调整用于捕捉交通标志的图像的图像传感器。
图2说明根据本公开的一个实施例的被配置成捕捉交通标志的图像的电子装置的更详细框图。
图3说明根据本公开的一个实施例的调整图像传感器的方法的示范性流程图。
图4说明根据本公开的一个实施例的获得到交通标志的距离和交通标志的法线方向的方法的示范性流程图。
图5展示根据本公开的一个实施例的说明交通标志的法线方向和在道路上行进的车辆的平移方向的示范性图。
图6说明根据本公开的一个实施例的确定图像传感器的至少一个旋转方向的方法的流程图。
图7展示根据本公开的一个实施例的将图像传感器从3D坐标图中的第一方向调整到在所述坐标图中的第二方向。
图8说明根据本公开的一个实施例的在道路上朝向交通标志行进的装备有电子装置的车辆的示范性图。
图9说明根据本公开的一个实施例的当自从捕捉第一图像以来车辆可已行进得更靠近交通标志时电子装置可捕捉第二图像的车辆的示范性图。
图10说明根据本公开的一个实施例的当在将图像传感器调整到至少一个方向后车辆进一步朝向交通标志移动时电子装置可捕捉道路的包含交通标志的一或多个图像的车辆的示范性图。
图11说明根据本公开的一个实施例的可实施用于调整用于捕捉交通标志的图像的图像传感器的方法和设备的示范性电子装置的框图。
具体实施方式
现在将对各种实施例详细进行参考，在附图中说明所述实施例的实例。在以下详细描述中，阐述众多具体细节以便提供对本发明标的的透彻理解。然而，对所属领域的一般技术人员将显而易见的是，可在无这些具体细节的情况下实践本发明标的。在其它情况下，尚未详细描述众所周知的方法、程序、系统和组件，以便不会不必要地混淆各种实施例的各方面。
图1说明根据本公开的一个实施例的装备有被配置成调整用于捕捉交通标志130的图像170的图像传感器120的电子装置110的车辆100。车辆100可正在道路140上朝向交通标志130行进，且电子装置110可控制图像传感器120捕捉道路140的在图像传感器120的视野122内包含交通标志130的至少一个图像160。如本文所使用，术语图像传感器的“视野(view)”可指图像传感器的视野或视角，且可包含如通过车辆的挡风玻璃、从车辆的顶部部分或在车辆内或外的任一合适位置看到的在车辆前方的场景的视图。术语“交通标志”可指包含或指示用于驾驶车辆的信息、指令或警告，且可指示关于道路或车辆交通的状态、状况、方向等。
在捕捉到至少一个图像160后，电子装置110即可检测至少一个图像160中的交通标志130。响应于检测到交通标志130，可基于至少一个图像160和车辆100的运动确定图像传感器120的方向(例如，偏航角、俯仰角和翻滚角)。电子装置110可然后将图像传感器120调整到确定的方向且捕捉交通标志130的图像170。虽然在本文中描述交通标志130，但应了解，可使用电子装置110和图像传感器120基于预定或已知交通标志的数据库检测任何合适的交通标志。
图像传感器120可安置、安装或包含于车辆100的适合于捕捉在车辆100的前面或前方的图像的任何位置中。可响应于来自电子装置110的一或多个控制信号在至少一个方向(例如，偏航角、俯仰角和翻滚角)上调整或旋转图像传感器120。虽然电子装置110的图像传感器120在图1中说明为单个图像传感器，但图像传感器120可包含任何合适数目个图像传感器。举例来说，可使用两个或更多个图像传感器来提供在车辆100前面或前方的立体图像。
在图1中，当车辆100正在道路140上行进或驾驶时，电子装置110的图像传感器120可连续地、周期性地或不定期地捕捉在车辆100前方的道路140的包含交通标志130的图像。在所说明的实施例中，图像传感器120可一开始在时间T1捕捉道路140的包含交通标志130的图像160。从图像160，电子装置110可检测图像160中对应于包含交通标志130的图像160中的物体的多个区域，且提取检测的区域的特征。然后可通过比较区域的所提取特征与预定交通标志的特征来将对应于交通标志130的区域检测为交通标志。
在检测到交通标志130后，电子装置110可基于来自如图2中展示的车辆电子系统的在时间T1的图像160和距离信息、与图像160中的交通标志130的表面正交的方向150和车辆100的运动(例如，速度、旋转、平移加速度等)来确定交通标志130与图像传感器120或车辆100之间的距离D1。距离信息可由距离传感器(图2中展示)所用。在另一实施例中，图像传感器120可为立体图像传感器，其可包含被配置成捕捉图像160作为立体图像的两个或更多个图像传感器。在这种情况下，可从立体图像160确定距离D1。替代地，在时间T1后，图像传感器120可捕捉包含交通标志130的另一图像，且电子装置110可检测第二图像中与交通标志130相关联的区域作为交通标志。在这种情况下，可基于图像160和第二图像确定距离D1和/或捕捉第二图像的图像传感器120的距离。
基于距离D1、法线方向和车辆的运动，电子装置110可确定图像传感器120将被调整或旋转的至少一个方向。在一个实施例中，在指定时间周期内，电子装置110可然后将图像传感器120调整或旋转(例如，经由图2中展示的电动机单元)到所述至少一个方向，且控制图像传感器120捕捉至少一个图像，所述至少一个图像可包含包含图像170的多个图像。举例来说，在图像传感器120开始调整时之后并且直到在将图像传感器120调整到至少一个方向的指定时间，可捕捉多个图像。电子装置110可然后选择展现最少量的模糊或最低水平的模糊的图像中的一个(例如，图像170)。
在另一实施例中，电子装置110可基于车辆100的运动确定在待捕捉下一个图像120的距离D2和/或时间T2处的图像传感器120的至少一个方向，且经由图2中展示的电动机单元将图像传感器120调整到所述至少一个方向。另外或替代地，所述电子装置110可基于一或多个图像(例如，图像160)和车辆100的运动，确定在处于图像传感器120与交通标志130之间的多个距离(例如，D2)中的每一个处和/或在多个时间点中的每一个(例如，T2)处的图像传感器120的至少一个方向。然后可基于车辆100的运动的改变(包含车辆100的速度和/或方向的改变)针对多个距离和/或多个时间点确定和调整图像传感器120的方向。
通过调整如本文所描述的图像传感器120，图像传感器120可跟踪交通标志130以补偿在时间T1的车辆的运动。在T1与T2(此时，车辆100到达距交通标志130的距离D2)之间的时间期间，电子装置110可将图像传感器120调整到至少一个方向，且捕捉在距离D2和/或时间T2的图像170。通过因此跟踪交通标志130，由图像传感器120捕捉的图像170中的交通标志130可展现减少或最小化的模糊效应，这可从车辆100的运动产生。
图2说明根据本公开的一个实施例的电子装置110的更详细框图，所述电子装置110被配置成由图像传感器120捕捉交通标志130的图像且调整图像传感器120以跟踪交通标志130。电子装置110可包含图像传感器120、处理器200、电动机单元250、存储单元260和通信单元270。电子装置110可被配置成与车辆电子系统280经由通信单元270通信。在一个实施例中，电子装置110可通过一或多个通信线路经由通信单元270电子耦合到车辆100的车辆电子系统280。替代地，通信单元270可以允许通过使用能够无线发射或接收数据的任何合适的无线通信方案(例如，Wi-Fi、WiMAX、蓝牙或任何其它无线通信技术(例如，4G、5G等))在电子装置110与车辆电子系统280之间的无线通信。
在一些实施例中，车辆电子系统280可为车辆的被配置成监测车辆100的一或多个零件或单元的状况和/或操作的任一合适电子系统。虽然车辆电子系统280和电子装置110被说明为分开的单元，但电子装置110可包含为车辆电子系统280的一部分。车辆电子系统280可包含距离传感器282、车辆运动传感器284和速度传感器286。距离传感器282可位于或安装于车辆100的任一合适位置中，且可被配置成检测距离传感器282与目标物体(例如，交通标志130)之间的距离，所述距离可近似为图像传感器120与交通标志130之间的距离。距离传感器282可为能够检测距离的任何合适的感测器，例如，雷达传感器、超声波传感器或激光传感器。车辆运动传感器284可被配置成检测车辆100的平移和旋转，而速度传感器286可被配置成使用任何合适的速度检测方案(包含GPS跟踪或提供于车辆100中的速度计)来检测车辆100的速度。
车辆运动传感器284可使用适于监测、感测、检测或测量车辆100的移动的任何合适方法检测车辆100的平移和旋转。举例来说，车辆运动传感器284可包含被配置成基于方向盘的旋转的量和方向检测车辆100的平移和旋转的转向传感器。另外或替代地，车辆运动传感器284可包含车轮编码器或车轮速度传感器，其被配置成通过检测车辆100中的车轮的旋转量来确定车辆100的平移和旋转。在这种情况下，可比较右车轮与左车轮的旋转量以确定车辆100的平移和旋转(例如，平移方向和旋转方向)。车辆运动传感器284还可包含被配置成检测车辆100的旋转的陀螺仪传感器。车辆运动传感器284可进一步包含被配置成检测车辆100的平移的全球定位系统(GPS)。在一些实施例中，车辆电子系统280可从车辆100的检测到的平移和旋转产生平移和旋转数据(例如，平移向量或方向、旋转向量或方向等)。车辆电子系统280可实时地给电子装置110提供与车辆100的运动相关联或指示所述运动的信息，包含到电子装置110的距离信息(例如，一或多个距离、深度图等)、速度和平移和旋转数据。
处理器200可包含图像传感器控制单元210、图像处理单元220和图像传感器调整单元240。图像传感器控制单元210可被配置成控制图像传感器120连续地、周期性地或不定期地捕捉例如道路140的道路的在图像传感器120的视野122内包含交通标志130的图像。如本文所描述，术语“图像传感器”可指可感测、检测、捕捉或获取物体或场景的一或多个图像且可包含至少一个镜头和例如CMOS传感器、电荷耦合装置(CCD)等的传感器的任一合适的图像感测装置。举例来说，图像传感器120可为数码相机、摄录像机、摄像机等。处理器200可为能够管理和/或操作电子装置110的任何合适的处理器、处理单元或电路系统，例如，应用程式处理器(AP)、中央处理单元(CPU)、数字信号处理器(DSP)等。如本文所使用，术语“单元”可指能够执行或适于执行一或多个功能且可另外结合或通过执行过程、指令、程序、子例程等(例如，程序代码、微码等)来执行此类功能的一或多个硬件组件、段、零件或电路系统。又，可将“单元”分段成较小单元(例如，子单元)，或可将两个或更多个单元组合成较大“单元”。
图像传感器控制单元210可控制图像传感器120基于与图像传感器120相关联的图像传感器参数(例如，焦距、光圈等)捕捉图像。如本文所使用，术语“图像传感器参数”可指与图像传感器相关联的任何参数，其可描述或指示图像传感器的一或多个操作状况且或包含焦距、图像传感器格式、主点(例如，图像中的中心点)、图像的x轴与y轴之间的偏斜系数、ISO、曝光时间、快门速度、光圈、图像传感器的视角、图像帧的图像捕获速率及/或类似物。
在一些实施例中，当车辆100正在道路140上行进时，图像传感器120可一开始捕捉道路140的包含交通标志130的图像160。然后可将捕捉的图像160提供到处理器200的图像处理单元220。图像处理单元220可包含特征提取单元222、交通标志检测单元224、距离确定单元226、法线确定单元228和交通标志辨识单元232。特征提取单元222可接收捕捉的图像160且提取图像160中的多个物体的特征。在一个实施例中，图像160中的物体可通过使用任何合适的图像分段方案(例如，基于直方图的方法、边缘检测方法、区域增长方法、分裂与合并方法、多尺度方法等)基于与图像160中的物体相关联的形状、色彩和/或位置将图像160分段成多个区域来检测。特征提取单元222可然后从与图像中的物体相关联的分段区域中的每一个提取特征，且将所述特征提供到交通标志检测单元224。在一个实施例中，从与物体相关联的区域中的每一个提取的特征可表示为多个特征值(例如，特征向量)。
在接收到图像160中的分段物体的所提取特征后，交通标志检测单元224可存取已知或预定交通标志的特征的数据库，且将物体的所提取特征与数据库中的特征比较。在一个实施例中，多个交通标志的数据库可存储于电子装置110的存储单元260中，用于由交通标志检测单元224存取。存储单元260也可以存储与图像传感器120相关联的图像传感器参数和从车辆电子系统280接收到的指示车辆100的运动的信息。存储单元260可为本地存储装置，且可使用例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或SSD(固态驱动器)的任何合适的存储或存储器装置来实施。另外或替代地，交通标志的数据库可存储于车辆电子系统280或外部装置(例如，服务器)中，且可由交通标志检测单元224存取以用于在检测图像中的交通标志时使用。
基于特征的比较，交通标志检测单元224可确定数据库中的交通标志的特征匹配或最紧密匹配对应于交通标志130的分段物体的特征。因此，对应于图像160中的交通标志130的物体或分段区域可检测为交通标志。在检测到图像中的交通标志130后，特征提取单元222可将对应于图像160中的交通标志130的分段区域的坐标发射所述距离确定单元226和法线确定单元228。
在接收与交通标志130相关联的分段区域的坐标时，距离确定单元226可处理图像160以确定图像传感器120与相关联于图像160中的交通标志130的分段区域之间的距离。然后可将距离信息提供到图像传感器调整单元240。在一个实施例中，在捕捉图像160时的时间T1，车辆电子系统280中的距离传感器282可产生在车辆前方的场景的二维深度图。深度图可包含关于到场景的多个物体的距离的信息。距离确定单元226可经由通信单元270从距离传感器282接收深度图，且确定深度图的对应于与交通标志130相关联的分段区域的坐标的一部分。然后可从深度图的对应于交通标志130的部分获得交通标志130的深度或距离信息。在一些实施例中，距离传感器282可为适于感测或检测物体的距离的任何合适距离或范围传感器，且可包含雷达传感器、超声波传感器、激光传感器等。
在另一实施例中，图像传感器120可包含被布置以捕捉在车辆100前方的多个图像的多个图像传感器。举例来说，图像传感器120可为立体图像传感器，其可包含被配置成捕捉图像160作为立体图像的两个或更多个图像传感器。由于可从此立体图像确定深度信息，因此在确定立体图像中对应于交通标志130的区域的坐标后，可从立体图像确定到交通标志130的距离D1。
在替代性实施例中，图像处理单元220可基于图像160和包含交通标志130的另一图像(例如，第二图像)确定距离D1。在这种情况下，图像处理单元220可发射信号以指导图像传感器控制单元210捕捉第二图像，这可用以将距离D1与图像160一起确定。响应于接收到信号，图像传感器控制单元210可控制图像传感器120以捕捉第二图像，第二图像可由特征提取单元222和交通标志检测单元224处理以确定第二图像中的交通标志130的坐标。基于图像160和第二图像中的交通标志130的坐标以及指示车辆的运动(例如，速度、方向等)的信息，距离确定单元226可确定捕捉图像160处的距离D1和/或捕捉第二图像处的距离。
法线确定单元228可从交通标志检测单元224接收对应于图像160中的交通标志130的分段区域的坐标。在接收到分段区域的坐标后，法线确定单元228可处理包含交通标志130的图像160以确定与交通标志130的表面正交的方向150。如本文中所使用，术语“法线”或“法线方向”意味着垂直于例如交通标志的物体的表面的方向或向量。在一些实施例中，交通标志130的法线方向150可基于图像160确定。在一个实施例中，可将交通标志130的法线方向150确定为图像160中的道路140的方向，这是由于交通标志130的表面的法线可一般化或假定为平行于道路140的方向或形状。举例来说，法线确定单元228可基于从车辆电子系统280和/或道路的数据库接收以的GPS信息确定道路140的方向。在另一实施例中，图像传感器120可为立体图像传感器，使得图像160可为立体图像，这可提供图像中的物体的深度信息。在这种情况下，可基于与立体图像160中的交通标志130的形状和深度有关的信息来确定交通标志130的法线方向150。在替代性实施例中，图像传感器120可在时间T1后捕捉包含交通标志130的另一图像(例如，第二图像)，且电子装置110可检测在图像160与第二图像之间的与交通标志130相关联的分段区域的形状和/或大小的改变，且基于形状和/或大小的改变确定交通标志130的法线方向150。法线确定单元228然后可将法线方向150(例如，描述或指示法线方向150的信息)提供到图像传感器调整单元240。
图像传感器调整单元240可包含旋转确定单元242和电动机控制单元244。旋转确定单元242被配置成接收交通标志130的法线方向150、图像传感器120与交通标志130之间的距离、指示车辆100的运动的信息。旋转确定单元242可基于接收到的信息确定图像传感器120待被调整或旋转到的至少一个方向。在一个实施例中，可将至少一个方向确定为由三维坐标系统(例如，x、y和z坐标系统、球坐标系统等)定义的单个方向，或确定为围绕x、y和z轴线的旋转的一或多个方向或角度(例如，偏航角、俯仰角和翻滚角)。在确定用于调整图像传感器120的至少一个方向后，旋转确定单元242可将至少一个方向的信息提供到电动机控制单元244。
在接收到至少一个方向的信息后，电动机控制单元244即可控制可操作性地耦合以驱动图像传感器120的电动机单元250，以将图像传感器120调整或旋转到至少一个方向。在一些实施例中，电动机控制单元244可产生一或多个控制信号以经由电动机控制单元244旋转图像传感器120。在一个实施例中，电动机控制单元244可产生一或多个控制信号到电动机单元250以将图像传感器120从图像传感器120的当前位置调整或旋转到至少一个方向。在这种情况下，电动机单元250的当前位置可由电动机控制单元244监测。当用于调整图像传感器120的至少一个方向从旋转确定单元242接收到时，电动机控制单元244可确定将图像传感器120的方向从当前方向改变到3D坐标系统(例如，x、y、z坐标系统、球坐标系统等)中的至少一个方向所需的旋转量或度。电动机控制单元244可然后将一或多个控制信号提供到电动机单元250，所述电动机单元250可基于所述控制信号将图像传感器120调整或旋转到所述至少一个方向。
根据另一实施例，电动机控制单元244可产生一或多个控制信号以将图像传感器120调整到可为图像传感器120的默认方向(例如，用于图像传感器的观看方向的默认方向)的参考方向，且可将所述信号提供到电动机单元250。响应于控制信号，电动机单元250可将图像传感器120调整或旋转到预定方向。另外，电动机控制单元244可产生一或多个控制信号以将图像传感器120调整到所述至少一个方向，且将控制信号提供到电动机单元250。响应于所述控制信号，电动机单元250可将图像传感器120调整到所述至少一个方向。
旋转确定单元242也可以产生图像捕捉信号(其可提供到图像传感器控制单元210)，以捕捉一或多个图像。举例来说，当将控制信号提供到电动机控制单元244以调整图像传感器120时，旋转确定单元242可将图像捕捉信号输出到图像传感器控制单元210，所述图像传感器控制单元210可控制图像传感器120捕捉一或多个图像。在一个实施例中，图像传感器控制单元210可控制图像传感器120在指定周期内捕捉多个图像，所述指定周期可超过图像传感器120调整或旋转到所述至少一个方向的时间。替代地，图像传感器控制单元210可控制图像传感器120与图像传感器120到所述至少一个方向的调整或旋转同步地捕捉图像(例如，图像170)。通过调整图像传感器120的一或多个方向，由图像传感器120捕捉的图像(例如，图像170)可展现可从车辆100的运动产生的对于交通标志130的减少或最小的模糊效应。
一旦图像传感器120捕捉到具有减少或最小的模糊的一或多个图像，电动机控制单元244可将一或多个信号提供到电动机单元250以将图像传感器120从经调整的方向调整回到默认方向。举例来说，默认方向可为适于捕捉车辆100的前方视野的方向。电子装置110可然后继续进行捕捉道路的包含另一交通标志的图像。
当捕捉到具有减少或最小的模糊的一或多个图像时，图像处理单元220中的交通标志辨识单元232可接收所述图像以辨识包含交通标志130的图像。交通标志辨识单元232可使用任何合适的辨识方案(例如，图像辨识方法、物体辨识方法、字符辨识方法等)来辨识包含交通标志130的图像的内容。由于图像中的模糊效应减少或最小化，因此电子装置110可按减少的处理时间和资源更准确地处理图像，这些处理时间和资源对于无减少或最小化的模糊效应的图像可另外为必需的。
图3说明根据本公开的一个实施例的由车辆100中的电子装置110执行以调整图像传感器120以跟踪交通标志130的方法300的流程图。一开始，当车辆100正在道路140上行进时，电子装置110的图像传感器120可在302捕捉道路140的包含交通标志130的至少一个图像。在304，电子装置110可通过比较从图像160提取的特征与从数据库存取的交通标志的多个预定特征来检测所述至少一个图像中的交通标志130。在306，电子装置110可基于比较结果确定是否在至少一个图像中检测到交通标志。如果未检测到交通标志，那么方法300继续返回到302，在302，电子装置110可经由图像传感器120捕捉道路的一或多个图像。
另一方面，如果检测到交通标志，那么电子装置110在308基于至少一个图像和与所述车辆的运动相关联或指示所述运动的信息确定图像传感器120的至少一个方向。在310，电子装置110可将图像传感器120调整到至少一个方向。在一个实施例中，图像传感器120可响应于来自电子装置110的一或多个控制信号在至少一个方向(例如，偏航角、俯仰角和翻滚角)上调整或旋转。图像传感器120可在312按减少或最小化的模糊效应捕捉道路140的包含交通标志130的至少一个接下来的图像(例如，图像170)。在一个实施例中，图像传感器120可在正调整图像传感器120时和/或在将图像传感器120调整到所述至少一个方向后捕捉至少一个接下来的图像。在捕捉到交通标志130的至少一个接下来的图像后，电子装置110即可在314辨识包含交通标志130的图像的内容。
图4说明根据本公开的一个实施例的由电子装置110的图像处理单元220执行以获得到交通标志130的距离和交通标志130的法线方向的方法400的流程图。在402，特征提取单元222可接收由车辆100中的图像传感器120捕捉的包含交通标志130的至少一个图像。在404，特征提取单元222可提取所述至少一个图像中的物体的特征。在一个实施例中，可使用任一合适的图像分段方案基于与图像160中的物体相关联的形状、色彩和/或位置将图像160中的物体分段成多个区域。特征提取单元222可接着从与图像中的物体相关联的分段区域中的每一个提取特征，且将所述特征提供到交通标志检测单元224。在406，交通标志检测单元224可通过比较与交通标志130相关联的分段区域的所提取特征与多个预定交通标志的特征来确定在所述至少一个图像中是否检测到交通标志。如果在408未检测到交通标志，那么方法400继续返回到402，在402，特征提取单元222可接收道路的一或多个图像。
另一方面，如果在408检测到交通标志，那么交通标志检测单元224可在410将图像中的检测到的交通标志130的位置信息(例如，坐标系统中的多个坐标)提供到距离确定单元226和法线确定单元228。在412，距离确定单元226可基于所述至少一个图像中的每一个确定交通标志130与图像传感器120之间的距离。在414，法线确定单元228可基于所述至少一个图像确定检测到的交通标志130的法线方向。在确定交通标志130与图像传感器120之间的距离和交通标志130的法线方向后，图像处理单元220可在416将距离和法线方向输出到图像传感器调整单元240。
图5展示根据本公开的一个实施例的说明交通标志540的法线方向510和在道路530上行进的车辆100的平移方向520的示范性图500。如所展示，车辆100可正在道路530上朝向平移方向520且以指定速度行进，可将所述指定速度从车辆电子系统280提供到旋转确定单元242。在这种情况下，可将车辆520的平移定义为平移向量tv，其可包含车辆在特定时间的方向520和速度。当车辆100沿着道路530行进时，车辆100将通常根据道路530的形状行进。举例来说，在道路530的部分550相对直时的某一时间周期内，车辆100的平移或平移向量tv可平行于道路530的方向，且当道路530弯曲时，可变化。因此，车辆100的平移或平移向量tv可根据车辆100正在道路530上行进的方向而改变。
在说明的图500中，交通标志540在道路530的部分560的一侧处位于车辆100的前面。交通标志540的法线方向510垂直于交通标志540的表面，且法线方向510的法向向量n可从道路530的包含交通标志540的至少一个图像确定。在一个实施例中，可假定交通标志大体沿着道路布置，使得标志的表面平行于道路的方向。因此，交通标志540的法线方向510可假定或近似为平行于道路530的方向。在这种情况下，交通标志540所位于的道路140的部分560的方向可从由图像传感器120捕捉的一或多个图像确定。道路140的部分560的方向可然后用作交通标志540的法线方向。
图6说明根据本公开的一个实施例的由电子装置110的图像传感器调整单元240执行以确定图像传感器120的至少一个旋转方向的方法600的流程图。在图像传感器调整单元240中，旋转确定单元242可在602接收交通标志130的法线方向150和在时间T1的在交通标志130与图像传感器120之间的距离D1。另外，旋转确定单元242可在604接收指示车辆的运动的信息例如，速度、指示在T1的车辆的方向的平移向量tv等。在606，旋转确定单元242可基于法线方向、距离和指示车辆的运动的信息来确定图像传感器120待被调整到的至少一个方向。所述至少一个方向可确定为由三维(3D)坐标系统(例如，x、y和z坐标系统、球坐标系统等)定义的单个方向，或确定为围绕x、y和z轴线的旋转的一或多个方向或角度(例如，偏航角、俯仰角和翻滚角)。在一个实施例中，可确定所述至少一个方向以包含在x、y和z方向当中的至少一个方向(其可由具有x、y和z分量当中的至少一个分量的方向向量定义)，或3D坐标系统中的α(例如，偏航角)、β(例如，俯仰角)和γ(例如，翻滚角)当中的至少一个旋转角度或度。
在一个实施例中，旋转确定单元242可基于以下两视图几何或单应性方程式来确定用于图像传感器120的至少一个旋转方向：
x'＝KHK-1x＝K(R-t nT/d)K-1x 方程式(1)
其中x'指示目标(例如，交通标志130)的估计或预测的位置，x指示基于所捕捉图像的目标的当前位置，K指示指示图像传感器120的内部参数的矩阵(例如，3×3矩阵)，H指示在所捕捉图像中的目标的变换矩阵(例如，3×3矩阵)，R指示总图像传感器旋转(其说明由移动车辆100和图像传感器120的运动造成的旋转)，t为指示总图像传感器平移(其说明由移动车辆100和图像传感器120的运动造成的平移)的矩阵(例如，3×1矩阵)，d指示图像传感器120与目标之间的距离，且n指示目标的法线方向。
为了减少或最小化在待捕捉的一或多个后续图像中的模糊，需要旋转图像传感器120以补偿车辆100相对于交通标志130的运动。在一个实施例中，车辆相对于交通标志130的运动可通过假定x＝x'而最小化。基于此层关系，可将变换矩阵H表达如下：
H＝(R-t nT/d)＝I 方程式(2)
其中I为单位矩阵(例如，3×3矩阵)。由于车辆100中的图像传感器120的总运动(例如，移动)可包含平移和旋转分量，因此图像传感器120的总平移和旋转运动可为车辆100与图像传感器120的平移和旋转运动的总和。因此，可将图像传感器120的总运动表达如下：
其中Rv指示车辆100的旋转，tv指示车辆100的平移，Rc指示图像传感器120的旋转，且tc指示图像传感器120的平移。
自以上方程式3，可将图像传感器120的总旋转R表达为R＝Rv Rc。此外，图像传感器120的总平移t可表达为t＝Rv tc+tv。在一些实施例中，与车辆100的平移tv相比，图像传感器120的平移tc可显著更小或可忽略(即，tv>>tv)。因此，可将图像传感器120的总平移t确定为车辆100的平移tc(t≈tc)。。通过用Rv Rc代入方程式2中的R和用tv代入方程式2中的t，然后可将图像传感器120将被调整到的旋转Rc表达如下：
Rc＝Rv -1{I-(tv nT)/(|tv|d)} 方程式(4)
使用方程式4，旋转确定单元242可基于从车辆电子系统280接收到的Rv和tv、从法线确定单元228接收到的法线方向n和可从距离确定单元226和/或距离传感器282接收到的距离d确定图像传感器120的至少一个旋转方向Rc。
在额外或替代性实施例中，旋转确定单元242可通过按对角矩阵Σ和单式矩阵U和V来分解和表达旋转矩阵Rc(通过应用例如奇异值分解(SVD)方法等的合适分解方法)来确定至少一个方向。在应用SVD方法后，旋转矩阵Rc即可被分解或表达如下：
Rc＝UΣVT 方程式(5)
其中U指示m×m实或复单式矩阵，Σ指示m×n矩形对角矩阵，和V指示n×n实或复单式矩阵。然后，从方程式5，可根据以下关系获得可为矩阵Rc的共轭转置或矩阵Rc的复共轭的转置的旋转矩阵Rc ＊：Rc ＊＝VUT。旋转确定单元242可然后基于旋转矩阵Rc ＊的元素确定用于图像传感器120的至少一个旋转方向。在一些实施例中，旋转矩阵Rc ＊还可用于在可能不满足以上方程式1的关系x＝x'的情况下确定图像传感器120的至少一个方向过程中。举例来说，当车辆100在捕捉到图像(例如，图像160)的时间与捕捉到下一个图像(例如，图像170)的时间之间行进显著的距离时，旋转矩阵Rc可不为足够准确的3D旋转矩阵，且可不处于标准正交关系(例如，RT＝R-1和det(R)＝1)。因此，可在确定图像传感器120的至少一个方向过程中使用旋转矩阵Rc ＊。
在另一实施例中，旋转确定单元242可基于交通标志130的法线方向向量n与车辆100的平移向量tv之间的至少一个角度确定图像传感器120的至少一个方向。举例来说，可通过确定3D坐标系统中的向量n和向量tv的参照或起源点来计算法线方向向量n与平移向量tv之间的角度θ。在这种情况下，可将道路140的图像160中的交通标志130中的中心点选择为法向向量n的参照点。类似地，可将对应于图像传感器120的位置的坐标用作平移向量tv的参照或起源点。从包含交通标志130的道路140的一或多个图像，可确定交通标志的位置(例如，坐标)和高度。然后可基于交通标志的位置和高度和具有3D坐标系统中的参照点的法线和平移向量来确定图像传感器120的至少一个方向。
参看图6，电动机控制单元244可在608从旋转确定单元242接收图像传感器120的至少一个方向，且产生被配置成将图像传感器120旋转到所述至少一个方向的一或多个控制信号。从旋转确定单元242接收的至少一个方向可指示至少一个方向x、y或z，所述至少一个方向x、y或z可由具有x、y和z分量当中的至少一个分量或例如3D坐标系统中的α(例如，偏航角)、β(例如，俯仰角)或γ(例如，翻滚角)当中的至少一个旋转角度或度的方向向量定义。在一个实施例中，电动机控制单元244可产生适于驱动电动机单元250将图像传感器120旋转到x、y和z方向当中的至少一个方向或按偏航角、俯仰角和翻滚角当中的至少一个旋转角度或度旋转的一或多个控制信号。在610，电动机控制单元244可接着将一或多个控制信号发射到所述电动机单元250。
响应于接收到一或多个控制信号，电动机单元250可在612将图像传感器120旋转到所述至少一个方向。电动机单元250可包含被配置成在至少一个方向上旋转所述图像传感器120的一或多个电动机。在一个实施例中，电动机单元250可被配置成在对应于具有x、y和z分量的方向向量的在x、y和z方向当中的一或多个方向上旋转图像传感器120。替代地，电动机单元250可被配置成按分别关于x、y和z轴的α、β和γ当中的至少一个旋转角度或度来旋转图像传感器120。
图7展示根据本公开的一个实施例的将图像传感器120从3D坐标图700中的第一方向710调整到坐标图702中的第二方向720。在3D坐标图700中，第一方向710可表示当捕捉到道路的图像时图像传感器120的方向(例如，图像传感器120的观看方向)。3D坐标图702中的第二方向720可表示用于捕捉一或多个接下来的图像的将图像传感器旋转到的方向。
3D坐标图700和702可包含x、y和z轴线，且围绕x轴、y轴和z轴的旋转可分别表示俯仰角、翻滚角和偏航角。图像传感器120的位置可处于3D坐标图中的原点(0,0,0)。在一个实施例中，方向710可描述或表示为从原点到由(a,b,c)定义的点P的向量。另外或替代地，方向710可由可分别对应于偏航角和俯仰角的角度α和β描述或表示。在所说明的实施例中，角度α(例如，偏航角)的改变可指示围绕z轴调整或旋转图像传感器120，使得图像传感器120可并排旋转。类似地，角度β(例如，俯仰角)的改变可指示围绕y轴调整或旋转图像传感器120，使得图像传感器120可向上或向下旋转。
然后可将图像传感器120调整到坐标图702中的方向720。在这种情况下，可将方向720描述或表示为从原点到由(a',b',c')定义的点P'的向量。另外或替代地，方向720可由可分别对应于偏航角和俯仰角的角度α'和β'描述或表示。在所说明的实施例中，从第一方向710到第二方向720的改变可在z轴中从c到c'或从角度β到角度β'，使得图像传感器120向上旋转到方向720，而不在其它方向上旋转(例如，α＝α'、a＝a'且b＝b')。虽然将图像传感器120描述为从方向710改变到方向720，但其可按任何合适的方向或角度调整。
图8说明根据本公开的一个实施例的在道路140上朝向交通标志130行进的装备有电子装置110的车辆100的示范性图。电子装置110中的图像传感器120可捕捉包含道路140和交通标志130的图像(例如，图像160)。在捕捉到图像后，电子装置110可检测图像中的交通标志130，且基于可从距离传感器282接收到的距离信息确定交通标志130与图像传感器120之间的距离。另外，电子装置110可基于所捕捉图像160确定交通标志130的法线方向，和从车辆电子系统280接收指示车辆100的运动的信息。电子装置110可然后基于距离、法线方向和指示车辆100的运动的信息确定图像传感器120待被调整到的至少一个方向，且将图像传感器120调整到所述至少一个方向。当在调整图像传感器120时或当已将图像传感器120调整到所述至少一个方向时，电子装置110可控制图像传感器120捕捉道路140的一或多个图像。因此，电子装置110可减少或最小化在通过调整图像传感器120捕捉的图像中的交通标志130的模糊。
电子装置110可基于至少一个图像确定从车辆100到交通标志130的距离和/或交通标志的法线方向。根据一个实施例，图像传感器120可为立体图像传感器或可包含多个图像传感器或镜头。在立体传感器的情况下，道路140的包含交通标志130的两个或更多个图像可被同时捕捉且组合成单个图像，从所述单个图像电子装置110可确定距离和法线方向。在多个图像传感器或镜头的情况下，道路140的包含交通标志130的两个或更多个图像可在不同时间捕捉，且电子装置110可从所述图像确定一或多个距离和法线方向。
根据另一实施例，图像传感器120可不为立体图像传感器或可不包含多个图像传感器或镜头。在这种情况下，电子装置110可经由图像传感器120捕捉道路140的包含交通标志130的多个图像。举例来说，电子装置110可捕捉道路140的包含交通标志130的第一图像(例如，图像160)，如上参看图8所描述，和然后，道路140的包含交通标志130的第二图像。图9说明根据本公开的一个实施例的当自从捕捉到第一图像以来车辆100可已经行进得更靠近交通标志130时电子装置110捕捉第二图像的车辆100的示范性图。基于第一和第二图像，电子装置110可确定从车辆100到交通标志130的距离、交通标志130的法线方向和/或交通标志130的位置和高度。
基于法线方向、指示车辆100的运动的信息、从第一和第二图像获得的距离中的至少一个，电子装置110可确定图像传感器120待被调整到的至少一个方向。当调整图像传感器120时或在将图像传感器120调整到所述至少一个方向后，电子装置110可控制图像传感器120捕捉道路140的包含交通标志的一或多个图像。图10说明根据本公开的一个实施例的当在将图像传感器120调整到至少一个方向后车辆100进一步朝向交通标志130移动时电子装置110可捕捉道路140的包含交通标志130的一或多个图像的车辆100的示范性图。作为到图像传感器120的方向的调整的结果，可显著减少或最小化由图像传感器120捕捉的图像中的交通标志130的模糊。
图11说明根据本公开的一个实施例的可实施用于调整用于捕捉交通标志的图像的图像传感器的方法和设备的示范性电子装置1100的框图。电子装置1100可为装备有图像捕捉和处理能力的任一合适装置，且可为具有能够安装于车辆中或上的图像传感器的行车记录仪、黑盒、智能电话、平板电脑、个人计算机、笔记本计算机、导航装置等。无线通信系统可为CDMA系统、GSM系统、W-CDMA系统、LTE系统、LTE高级系统、Wi-Fi系统等等。
电子装置1100可能能够经由接收路径和发射路径提供双向通信。在接收路径上，由基站发射的信号可被天线1112接收且可提供到接收器(RCVR)1114。接收器1114可调节且数字化接收的信号，且将经调节且经数字化的数字信号提供到数字段以供进一步处理。在发射路径上，发射器(TMTR)1116可从数字段1120接收待发射的数据，处理并调节所述数据，且产生经调制信号，所述经调制信号经由天线1112发射到基站。接收器1114和发射器1116可为可支持CDMA、GSM、W-CDMA、LTE、高级LTE、Wi-Fi等等的收发器的部分。
数字段1120可包含各种处理、接口和存储器单元，例如，调制解调器处理器1122、精简指令集计算机/数字信号处理器(RISC/DSP)1124、控制器/处理器1126、内部存储器1128、通用化音频/视频编码器1132、通用化音频解码器1134、图形/显示处理器1136和外部总线接口(EBI)1138。调制解调器处理器1122可执行用于数据发射和接收的处理，例如，编码、调制、解调和解码。RISC/DSP 1124可执行针对电子装置1100的通用和专用处理。控制器/处理器1126可执行数字段1120内的各种处理和接口单元的操作。内部存储器1128可将用于各种单元的数据和/或指令存储在数字段1120内。
通用化音频/视频编码器1132可执行对来自音频/视频源1142、麦克风1144、图像传感器1146等的输入信号的编码。通用化音频解码器1134可执行对经译码音频数据的解码且可将输出信号提供到扬声器/耳机1148。图形/显示处理器1136可执行对可呈现给显示单元1150的图形、视频、图像和文本的处理。EBI 1138可促进数字段1120与主存储器1152之间的数据传送。
数字段1120可用一或多个处理器、DSP、微处理器、RISC等来实施。还可在一或多个专用集成电路(ASIC)和/或某一其它类型的集成电路(IC)上制造数字段1120。
一般来说，本文中所描述的任一装置可表示各种类型的装置，例如，无线电话、蜂窝电话、膝上型计算机、无线多媒体装置、无线通信个人计算机(PC)卡、PDA、外部或内置调制解调器、通过无线信道通信的装置等。装置可具有各种名称，例如，存取终端(AT)、存取单元、订户单元、移动台、移动装置、移动单元、移动电话、移动设备、远程站、远程终端、远程单元、用户装置、用户设备、手持式装置等。本文中所描述的任一装置可具有用于存储指令和数据的存储器，以及硬件、软件、固件或其组合。
可通过各种装置实施本文中所描述的技术。举例来说，这些技术可以在硬件、固件、软件或其组合中实施。所属领域的一般技术人员将进一步了解，结合本文中的公开内容描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为清晰地说明硬件与软件的此可互换性，上文已大体就各种说明性组件、块、模块、电路和步骤的功能性来对其描述。此类功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此类实施决策不应被解释为会引起脱离本公开的范围。
对于硬件实施方案，用以执行所述技术的处理单元可实施在以下各者内：一或多个ASIC、DSP、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元、计算机或其组合。
因此，结合本文中的公开内容描述的各种说明性逻辑块、模块和电路可以用通用处理器、DSP、ASIC、FPGA或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心或任何其它此类配置。
如果以软件实施，那么功能可存储在计算机可读媒体处。计算机可读媒体包含计算机存储媒体与通信媒体两者，所述通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可以由计算机存取的任何可供使用的媒体。通过实例且不受限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以携载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含于计算机可读媒体的范围内。举例来说，计算机可读存储媒体可以是包含可由处理器执行的指令的非暂时性计算机可读存储装置。因此，计算机可读存储媒体可能不是信号。
提供本公开的先前描述以使所属领域的技术人员能够制造或使用本公开。所属领域的技术人员将易于明白对本公开的各种修改，且本文中定义的一般原理在不脱离本公开的范围的情况下适用于其它变体。因此，本公开并不希望限于本文中所描述的实例，而应符合与本文中所公开的原理和新颖特征相一致的最广泛范围。
尽管利用在一或多个独立计算机系统的情况下的目前公开的标的的方面来提及示范性实施方案，但所述标的不受如此限制，而是相反地，可结合任何计算环境(例如，网络或分散式计算环境)来实施。再者，目前公开的标的的方面可在多个处理芯片或装置中实施或跨多个处理芯片或装置实施，且可类似地跨多个装置影响存储。此类装置可包含PC、网络服务器和手持式装置。
虽然已按具体针对结构特征和/或方法动作的语言来描述标的，但应理解，所附权利要求书中所定义的标的未必限于以上所描述的具体特征或动作。相反地，公开以上描述的具体特征和动作作为实施权利要求的实例形式。
<本公开的方面>
在下文中，将另外陈述本公开的一些方面。
(实例1)根据本公开的方面，提供一种用于由图像传感器捕捉交通标志的图像的方法，包含：由所述图像传感器捕捉包含所述交通标志的至少一个图像，其中所述图像传感器安装于车辆中；由处理器检测所述至少一个图像中的所述交通标志；响应于检测到所述交通标志，由所述处理器基于所述至少一个图像和所述车辆的运动确定所述图像传感器的至少一个方向；和由所述处理器将所述图像传感器调整到所述至少一个方向。
(实例2)在实例1的方法中，进一步包含：响应于调整所述图像传感器，由所述图像传感器捕捉包含所述交通标志的至少一或多个接下来的图像。
(实例3)在实例1或2中的任一个的方法中，其中调整所述图像传感器包括基于所述至少一个方向调整所述图像传感器的偏航角、俯仰角和翻滚角当中的至少一个。
(实例4)在实例1到3中的任一个的方法中，其中确定所述图像传感器的至少一个方向包括确定适于跟踪所述交通标志的所述图像传感器的所述至少一个方向。
(实例5)在实例1到4中的任一个的方法中，其中确定所述图像传感器的至少一个方向包含：基于所述至少一个图像确定所述交通标志的法线方向；确定所述交通标志与所述图像传感器之间的距离；和基于所述法线方向、所述距离和所述车辆的所述运动确定所述图像传感器的所述至少一个方向。
(实例6)在实例1到5中的任一个的方法中，其中确定所述交通标志与所述图像传感器之间的所述距离包括基于所述至少一个图像或来自距离传感器的距离信息来确定所述距离。
(实例7)在实例1到6中的任一个的方法中，其中确定所述交通标志的所述法线方向包括将所述至少一个图像中的道路的方向确定为所述法线方向。
(实例8)在实例1到7中的任一个的方法中，其中所述车辆的所述运动指示包含所述车辆的位移、高程、速度、方向或加速度中的至少一个的信息。
(实例9)在实例1到8中的任一个的方法中，其中检测所述至少一个图像中的所述交通标志是基于所述交通标志的色彩、形状或位置中的至少一个。
(实例10)在实例1到9中的任一个的方法中，其中调整所述图像传感器包含：由所述处理器产生被配置成将所述图像传感器旋转到所述至少一个方向的至少一个控制信号；和响应于所述至少一个控制信号，由至少一个电动机单元将所述图像传感器旋转到所述至少一个方向，以减少与所述车辆相对于所述交通标志的所述运动相关联的运动模糊。
(实例11)根据本公开的另一方面，提供一种用于捕捉交通标志的图像的电子装置，包含：图像传感器，其被配置成捕捉包含所述交通标志的至少一个图像；交通标志检测单元，其被配置成检测所述至少一个图像中的所述交通标志；旋转确定单元，其被配置成响应于检测到所述交通标志，基于所述至少一个图像和所述车辆的运动确定所述图像传感器的至少一个方向；和电动机控制单元，其被配置成将所述图像传感器调整到所述至少一个方向。
(实例12)所述实例11的电子装置中，其中所述图像传感器被进一步配置成响应于确定所述至少一个方向，捕捉包含所述交通标志的一或多个接下来的图像。
(实例13)在实例11或12的电子装置中，其中所述至少一个方向包括所述图像传感器的偏航角、俯仰角和翻滚角当中的至少一个。
(实例14)在实例11到13的电子装置中，其中所述旋转确定单元被配置成确定所述图像传感器的适于跟踪所述交通标志的所述至少一个方向。
(实例15)在实例11到14的电子装置中，进一步包含：法线确定单元，其被配置成基于所述至少一个图像确定所述交通标志的法线方向；和距离确定单元，其被配置成确定所述交通标志与所述图像传感器之间的距离，其中所述旋转确定单元被配置成基于所述法线方向、所述距离和所述车辆的所述运动确定所述图像传感器的所述至少一个方向。
(实例16)在实例11到15的电子装置中，其中所述距离确定单元被配置成基于所述至少一个图像或来自距离传感器的距离信息来确定所述交通标志与所述图像传感器之间的所述距离。
(实例17)在实例11到16的电子装置中，其中所述法线确定单元被配置成将所述至少一个图像中的道路的方向确定为所述法线方向。
(实例18)在实例11到17的电子装置中，其中所述车辆的所述运动指示包含所述车辆的位移、高程、速度、方向或加速度中的至少一个的信息。
(实例19)在实例11到18的电子装置中，其中所述交通标志检测单元被配置成基于所述至少一个图像中的所述交通标志的色彩、形状或位置中的至少一个检测所述交通标志。
(实例20)在实例11到19的电子装置中，进一步包含被配置成旋转所述图像传感器的至少一个电动机单元，其中所述电动机控制单元被进一步配置成产生适于将所述图像传感器旋转到所述至少一个方向的至少一个控制信号，且其中所述至少一个电动机单元被配置成响应于所述至少一个控制信号将所述图像传感器旋转到所述至少一个方向以减少与所述车辆相对于所述交通标志的所述运动相关联的运动模糊。
(实例21)根据本公开的又一方面，提供一种非暂时性计算机可读存储媒体，其包含指令，所述指令使电子装置的至少一个处理器执行以下操作：由所述图像传感器捕捉包含所述交通标志的至少一个图像，其中所述图像传感器安装于车辆中；由所述处理器检测所述至少一个图像中的所述交通标志；响应于检测到所述交通标志，由所述处理器基于所述至少一个图像和所述车辆的运动确定所述图像传感器的至少一个方向；和由所述处理器将所述图像传感器调整到所述至少一个方向。
(实例22)在实例21的非暂时性计算机可读存储媒体中，进一步包含使所述至少一个处理器进行以下操作的指令：响应于调整所述图像传感器，由所述图像传感器捕捉包含所述交通标志的至少一或多个接下来的图像。
(实例23)在实例21或22的非暂时性计算机可读存储媒体中，其中调整所述图像传感器包括基于所述至少一个方向调整所述图像传感器的偏航角、俯仰角和翻滚角当中的至少一个。
(实例24)在实例21到23的非暂时性计算机可读存储媒体中，其中确定所述图像传感器的至少一个方向包含确定适于跟踪所述交通标志的所述图像传感器的所述至少一个方向。
(实例25)在实例21到24的非暂时性计算机可读存储媒体中，其中确定所述图像传感器的至少一个方向包含：基于所述至少一个图像确定所述交通标志的法线方向；确定所述交通标志与所述图像传感器之间的距离；和基于所述法线方向、所述距离和所述车辆的所述运动确定所述图像传感器的所述至少一个方向。
(实例26)在实例21到25的非暂时性计算机可读存储媒体中，其中确定所述交通标志与所述图像传感器之间的所述距离包括基于所述至少一个图像或来自距离传感器的距离信息确定所述距离。
(实例27)在实例21到26的非暂时性计算机可读存储媒体中，其中确定所述交通标志的所述法线方向包括将所述至少一个图像中的道路的方向确定为所述法线方向。
(实例28)在实例21到27的非暂时性计算机可读存储媒体中，其中所述车辆的所述运动指示包含所述车辆的位移、高程、速度、方向或加速度中的至少一个。
(实例29)在实例21到28的非暂时性计算机可读存储媒体中，其中检测所述至少一个图像中的所述交通标志是基于所述交通标志的色彩、形状或位置中的至少一个。
(实例30)在实例21到29的非暂时性计算机可读存储媒体中，其中调整所述图像传感器包含：由所述处理器产生被配置成将所述图像传感器旋转到所述至少一个方向的至少一个控制信号；和响应于所述至少一个控制信号，由至少一个电动机单元将所述图像传感器旋转到所述至少一个方向，以减少与所述车辆相对于所述交通标志的所述运动相关联的运动模糊。

Claims (30)

1.一种用于由图像传感器捕捉交通标志的图像的方法，包括：
由所述图像传感器捕捉包含所述交通标志的至少一个图像，其中所述图像传感器安装于车辆中；
由处理器检测所述至少一个图像中的所述交通标志；
响应于检测到所述交通标志，由所述处理器基于所述至少一个图像和所述车辆的运动确定所述图像传感器的至少一个方向；以及
由所述处理器将所述图像传感器调整到所述至少一个方向。
2.根据权利要求1所述的方法，进一步包括：
响应于调整所述图像传感器，由所述图像传感器捕捉包含所述交通标志的至少一或多个图像。
3.根据权利要求1所述的方法，其中调整所述图像传感器包括基于所述至少一个方向调整所述图像传感器的偏航角、俯仰角和翻滚角当中的至少一个。
4.根据权利要求1所述的方法，其中确定所述图像传感器的至少一个方向包括确定适于跟踪所述交通标志的所述图像传感器的所述至少一个方向。
5.根据权利要求1所述的方法，其中确定所述图像传感器的至少一个方向包括：
基于所述至少一个图像确定所述交通标志的法线方向；
确定所述交通标志与所述图像传感器之间的距离；以及
基于所述法线方向、所述距离和所述车辆的所述运动确定所述图像传感器的所述至少一个方向。
6.根据权利要求5所述的方法，其中确定所述交通标志与所述图像传感器之间的所述距离包括基于所述至少一个图像或来自距离传感器的距离信息确定所述距离。
7.根据权利要求5所述的方法，其中确定所述交通标志的所述法线方向包括将所述至少一个图像中的道路的方向确定为所述法线方向。
8.根据权利要求1所述的方法，其中所述车辆的所述运动指示包含所述车辆的位移、高程、速度、方向或加速度中的至少一个的信息。
9.根据权利要求1所述的方法，其中检测所述至少一个图像中的所述交通标志是基于所述交通标志的色彩、形状或位置中的至少一个。
10.根据权利要求1所述的方法，其中调整所述图像传感器包括：
由所述处理器产生被配置成将所述图像传感器旋转到所述至少一个方向的至少一个控制信号；以及
响应于所述至少一个控制信号，由至少一个电动机单元将所述图像传感器旋转到所述至少一个方向，以减少与所述车辆相对于所述交通标志的所述运动相关联的运动模糊。
11.一种用于捕捉交通标志的图像的在车辆中的电子装置，包括：
图像传感器，其被配置成捕捉包含所述交通标志的至少一个图像；
交通标志检测单元，其被配置成检测所述至少一个图像中的所述交通标志；
旋转确定单元，其被配置成响应于检测到所述交通标志，基于所述至少一个图像和所述车辆的运动确定所述图像传感器的至少一个方向；以及
电动机控制单元，其被配置成将所述图像传感器调整到所述至少一个方向。
12.根据权利要求11所述的电子装置，其中所述图像传感器被进一步配置成响应于确定所述至少一个方向，捕捉包含所述交通标志的一或多个图像。
13.根据权利要求11所述的电子装置，其中所述至少一个方向包括所述图像传感器的偏航角、俯仰角和翻滚角当中的至少一个。
14.根据权利要求11所述的电子装置，其中所述旋转确定单元被配置成确定适于跟踪所述交通标志的所述图像传感器的所述至少一个方向。
15.根据权利要求11所述的电子装置，进一步包括：
法线确定单元，其被配置成基于所述至少一个图像确定所述交通标志的法线方向；以及
距离确定单元，其被配置成确定所述交通标志与所述图像传感器之间的距离，
其中所述旋转确定单元被配置成基于所述法线方向、所述距离和所述车辆的所述运动确定所述图像传感器的所述至少一个方向。
16.根据权利要求15所述的电子装置，其中所述距离确定单元被配置成基于所述至少一个图像或来自距离传感器的距离信息确定所述交通标志与所述图像传感器之间的所述距离。
17.根据权利要求15所述的电子装置，其中所述法线确定单元被配置成将所述至少一个图像中的道路的方向确定为所述法线方向。
18.根据权利要求11所述的电子装置，其中所述车辆的所述运动指示包含所述车辆的位移、高程、速度、方向或加速度中的至少一个的信息。
19.根据权利要求11所述的电子装置，其中所述交通标志检测单元被配置成基于所述至少一个图像中的所述交通标志的色彩、形状或位置中的至少一个检测所述交通标志。
20.根据权利要求11所述的电子装置，进一步包括被配置成旋转所述图像传感器的至少一个电动机单元，
其中所述电动机控制单元被进一步配置成产生适于将所述图像传感器旋转到所述至少一个方向的至少一个控制信号，且
其中所述至少一个电动机单元被配置成响应于所述至少一个控制信号将所述图像传感器旋转到所述至少一个方向，以减少与所述车辆相对于所述交通标志的所述运动相关联的运动模糊。
21.一种非暂时性计算机可读存储媒体，其包括使电子装置的至少一个处理器执行以下操作的指令：
由图像传感器捕捉包含交通标志的至少一个图像，其中所述图像传感器安装于车辆中；
由所述至少一个处理器检测所述至少一个图像中的所述交通标志；
响应于检测到所述交通标志，由所述至少一个处理器基于所述至少一个图像和所述车辆的运动确定所述图像传感器的至少一个方向；以及
由所述至少一个处理器将所述图像传感器调整到所述至少一个方向。
22.根据权利要求21所述的非暂时性计算机可读存储媒体，进一步包括使所述至少一个处理器执行以下操作的指令：
响应于调整所述图像传感器，由所述图像传感器捕捉包含所述交通标志的至少一或多个图像。
23.根据权利要求21所述的非暂时性计算机可读存储媒体，其中调整所述图像传感器包括基于所述至少一个方向调整所述图像传感器的偏航角、俯仰角和翻滚角当中的至少一个。
24.根据权利要求21所述的非暂时性计算机可读存储媒体，其中确定所述图像传感器的至少一个方向包括确定适于跟踪所述交通标志的所述图像传感器的所述至少一个方向。
25.根据权利要求21所述的非暂时性计算机可读存储媒体，其中确定所述图像传感器的至少一个方向包括：
基于所述至少一个图像确定所述交通标志的法线方向；
确定所述交通标志与所述图像传感器之间的距离；以及
基于所述法线方向、所述距离和所述车辆的所述运动确定所述图像传感器的所述至少一个方向。
26.根据权利要求25所述的非暂时性计算机可读存储媒体，其中确定所述交通标志与所述图像传感器之间的所述距离包括基于所述至少一个图像或来自距离传感器的距离信息确定所述距离。
27.根据权利要求25所述的非暂时性计算机可读存储媒体，其中确定所述交通标志的所述法线方向包括将所述至少一个图像中的道路的方向确定为所述法线方向。
28.根据权利要求21所述的非暂时性计算机可读存储媒体，其中所述车辆的所述运动指示包含所述车辆的位移、高程、速度、方向或加速度中的至少一个。
29.根据权利要求21所述的非暂时性计算机可读存储媒体，其中检测所述至少一个图像中的所述交通标志是基于所述交通标志的色彩、形状或位置中的至少一个。
30.根据权利要求21所述的非暂时性计算机可读存储媒体，其中调整所述图像传感器包括：
由所述至少一个处理器产生被配置成将所述图像传感器旋转到所述至少一个方向的至少一个控制信号；以及
响应于所述至少一个控制信号，由至少一个电动机单元将所述图像传感器旋转到所述至少一个方向，以减少与所述车辆相对于所述交通标志的所述运动相关联的运动模糊。
CN201780024918.1A 2016-04-26 2017-03-21 用于捕捉交通标志的图像的方法和装置 Pending CN109074078A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/138,778 US10325339B2 (en) 2016-04-26 2016-04-26 Method and device for capturing image of traffic sign
US15/138,778 2016-04-26
PCT/US2017/023366 WO2017189121A1 (en) 2016-04-26 2017-03-21 Method and device for capturing image of traffic sign

Publications (1)

Publication Number Publication Date
CN109074078A true CN109074078A (zh) 2018-12-21

Family

ID=58547803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780024918.1A Pending CN109074078A (zh) 2016-04-26 2017-03-21 用于捕捉交通标志的图像的方法和装置

Country Status (4)

Country Link
US (1) US10325339B2 (zh)
EP (1) EP3449327A1 (zh)
CN (1) CN109074078A (zh)
WO (1) WO2017189121A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756990A (zh) * 2019-03-29 2020-10-09 阿里巴巴集团控股有限公司 一种图像传感器控制方法、装置及系统
CN111775944A (zh) * 2019-04-04 2020-10-16 富泰华工业（深圳）有限公司 辅助驾驶装置、方法及计算机可读存储介质
CN111953928A (zh) * 2019-04-30 2020-11-17 先进光电科技股份有限公司 行动载具辅助系统及其处理方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003424B4 (de) * 2016-03-21 2023-09-28 Elektrobit Automotive Gmbh Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
US10502574B2 (en) * 2016-09-20 2019-12-10 Waymo Llc Devices and methods for a sensor platform of a vehicle
DE102017216016A1 (de) * 2017-09-12 2019-03-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Umfelds eines Fahrzeugs
US10762658B2 (en) * 2017-10-24 2020-09-01 Altek Corporation Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
DE102018202360B4 (de) * 2018-02-15 2020-08-20 Robert Bosch Gmbh Verfahren zum Verfolgen eines Objekts in einem optischen Suchfenster einer Kamera für ein Fahrzeug
US11081000B2 (en) 2018-07-12 2021-08-03 Here Global B.V. Method and system for generating heading information of vehicles
JP2021532382A (ja) * 2018-07-30 2021-11-25 ポニー エーアイ インコーポレイテッド 車載型車両カメラを較正するシステムおよび方法
US11592832B2 (en) * 2018-08-20 2023-02-28 Uatc, Llc Automatic robotically steered camera for targeted high performance perception and vehicle control
JP7088136B2 (ja) * 2018-08-31 2022-06-21 株式会社デンソー 標示物認識システム及び標示物認識方法
CN115014370A (zh) * 2019-02-14 2022-09-06 御眼视觉技术有限公司 用于生成地图信息的系统、方法和计算机可读介质
US11301642B2 (en) * 2019-04-17 2022-04-12 GM Global Technology Operations LLC System and method of traffic sign translation
US11125575B2 (en) 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
KR102266996B1 (ko) * 2019-12-10 2021-06-18 성균관대학교산학협력단 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치
US20230244815A1 (en) * 2022-02-01 2023-08-03 Ford Global Technologies, Llc Anonymizing personally identifiable information in sensor data

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050237385A1 (en) * 2003-05-29 2005-10-27 Olympus Corporation Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
EP1930863A2 (en) * 2006-12-06 2008-06-11 MobilEye Technologies, Ltd. Detecting and recognizing traffic signs
US8064720B2 (en) * 2004-03-25 2011-11-22 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US20120081552A1 (en) * 2002-11-27 2012-04-05 Bosch Security Systems, Inc. Video tracking system and method
US20120323449A1 (en) * 2010-01-28 2012-12-20 Thinkwaresystems Corp Vehicle navigation and method for inducing normal black box position in navigation system
CN103262139A (zh) * 2010-12-15 2013-08-21 本田技研工业株式会社 行车道识别装置
US9129181B1 (en) * 2011-03-03 2015-09-08 Vaidhi Nathan Object detection, location, and/or tracking with camera and lighting system
CN104937637A (zh) * 2013-07-31 2015-09-23 Plk科技株式会社 用于识别交通标志牌的车辆用影像识别系统
US20150304650A1 (en) * 2014-04-18 2015-10-22 Fujitsu Limited Determination method and determination apparatus
CN105224908A (zh) * 2014-07-01 2016-01-06 北京四维图新科技股份有限公司 一种基于正射投影的道路标线采集方法及装置
CN105453536A (zh) * 2013-08-09 2016-03-30 株式会社电装 图像处理装置以及图像处理方法
CN105459907A (zh) * 2015-12-15 2016-04-06 小米科技有限责任公司 车辆安全系统、盲区监测方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196688A (en) * 1975-02-04 1993-03-23 Telefunken Systemtechnik Gmbh Apparatus for recognizing and following a target
US5617490A (en) * 1994-06-27 1997-04-01 Sanyo Electric Co., Ltd. Camera system with neural network compensator for measuring 3-D position
US6125197A (en) * 1998-06-30 2000-09-26 Intel Corporation Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
DE10336681B4 (de) 2003-08-09 2005-07-07 Audi Ag Kraftfahrzeug
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8063940B2 (en) * 2004-05-10 2011-11-22 Hewlett-Packard Development Company, L.P. Image-stabilization systems and methods
US20060271286A1 (en) * 2005-05-27 2006-11-30 Outland Research, Llc Image-enhanced vehicle navigation systems and methods
JP5089734B2 (ja) * 2010-07-12 2012-12-05 シャープ株式会社 画像読取り装置、及びそれを備える画像形成装置
WO2012145313A2 (en) * 2011-04-18 2012-10-26 Magna Electronics Inc. Vehicular camera with variable focus capability
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
JP5737306B2 (ja) * 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
US9043146B2 (en) * 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
DE102013219909A1 (de) 2013-10-01 2015-04-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen
US9073493B1 (en) * 2014-04-10 2015-07-07 Qualcomm Incorporated Method and apparatus for adjusting view mirror in vehicle
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
CN107031523A (zh) * 2015-11-30 2017-08-11 法乐第未来公司 利用已知目标进行基于摄像头的车辆位置确定

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120081552A1 (en) * 2002-11-27 2012-04-05 Bosch Security Systems, Inc. Video tracking system and method
US20050237385A1 (en) * 2003-05-29 2005-10-27 Olympus Corporation Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
US8064720B2 (en) * 2004-03-25 2011-11-22 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
EP1930863A2 (en) * 2006-12-06 2008-06-11 MobilEye Technologies, Ltd. Detecting and recognizing traffic signs
US20120323449A1 (en) * 2010-01-28 2012-12-20 Thinkwaresystems Corp Vehicle navigation and method for inducing normal black box position in navigation system
CN103262139A (zh) * 2010-12-15 2013-08-21 本田技研工业株式会社 行车道识别装置
US9129181B1 (en) * 2011-03-03 2015-09-08 Vaidhi Nathan Object detection, location, and/or tracking with camera and lighting system
CN104937637A (zh) * 2013-07-31 2015-09-23 Plk科技株式会社 用于识别交通标志牌的车辆用影像识别系统
CN105453536A (zh) * 2013-08-09 2016-03-30 株式会社电装 图像处理装置以及图像处理方法
US20150304650A1 (en) * 2014-04-18 2015-10-22 Fujitsu Limited Determination method and determination apparatus
CN105224908A (zh) * 2014-07-01 2016-01-06 北京四维图新科技股份有限公司 一种基于正射投影的道路标线采集方法及装置
CN105459907A (zh) * 2015-12-15 2016-04-06 小米科技有限责任公司 车辆安全系统、盲区监测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756990A (zh) * 2019-03-29 2020-10-09 阿里巴巴集团控股有限公司 一种图像传感器控制方法、装置及系统
CN111775944A (zh) * 2019-04-04 2020-10-16 富泰华工业（深圳）有限公司 辅助驾驶装置、方法及计算机可读存储介质
US11482012B2 (en) 2019-04-04 2022-10-25 Hon Hai Precision Industry Co., Ltd. Method for driving assistance and mobile device using the method
CN111953928A (zh) * 2019-04-30 2020-11-17 先进光电科技股份有限公司 行动载具辅助系统及其处理方法
US11312370B2 (en) 2019-04-30 2022-04-26 Ability Opto-Electronics Technology Co., Ltd. Movable carrier auxiliary system and processing method thereof

Also Published As

Publication number Publication date
US20170308989A1 (en) 2017-10-26
EP3449327A1 (en) 2019-03-06
WO2017189121A1 (en) 2017-11-02
US10325339B2 (en) 2019-06-18

Similar Documents

Publication Publication Date Title
CN109074078A (zh) 用于捕捉交通标志的图像的方法和装置
US20210012520A1 (en) Distance measuring method and device
CN112292711B (zh) 关联lidar数据和图像数据
CN111436216B (zh) 用于彩色点云生成的方法和系统
JP6241422B2 (ja) 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
US11430199B2 (en) Feature recognition assisted super-resolution method
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN113076896A (zh) 一种规范停车方法、系统、装置及存储介质
JP6916975B2 (ja) 標識位置特定システム及びプログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN114503044A (zh) 用于在3d点云中自动标记对象的系统和方法
WO2020113425A1 (en) Systems and methods for constructing high-definition map
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备
JP2023152109A (ja) 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム
JP6611315B2 (ja) 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
KR102299081B1 (ko) 전자 장치 및 그의 제어 방법
JP5962331B2 (ja) 速度推定装置及び速度推定方法
JP2020076714A (ja) 位置姿勢推定装置
US11514617B2 (en) Method and system of providing virtual environment during movement and related non-transitory computer-readable storage medium
WO2020073271A1 (en) Snapshot image of traffic scenario
WO2020073270A1 (en) Snapshot image of traffic scenario
CN116433771A (zh) 视觉slam定位方法、装置、电子设备及可存储介质
WO2020073268A1 (en) Snapshot image to train roadmodel
WO2020073272A1 (en) Snapshot image to train an event detector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221

WD01 Invention patent application deemed withdrawn after publication