CN111741229B - 图像处理方法和设备 - Google Patents

图像处理方法和设备 Download PDF

Info

Publication number
CN111741229B
CN111741229B CN202010776945.8A CN202010776945A CN111741229B CN 111741229 B CN111741229 B CN 111741229B CN 202010776945 A CN202010776945 A CN 202010776945A CN 111741229 B CN111741229 B CN 111741229B
Authority
CN
China
Prior art keywords
frame
target object
image processing
vehicle
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010776945.8A
Other languages
English (en)
Other versions
CN111741229A (zh
Inventor
徐荣完
田巴罗
赵百焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111741229A publication Critical patent/CN111741229A/zh
Application granted granted Critical
Publication of CN111741229B publication Critical patent/CN111741229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T5/92—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

提供一种图像处理方法和设备。所述图像处理方法包括：识别输入图像的第一帧中的道路；将道路上的区域设置为识别区域；扫描识别区域而不扫描输入图像的整个区域；识别输入图像中的识别区域中的至少一个目标对象；调节输入图像的第二帧的曝光。

Description

图像处理方法和设备
本申请是于2018年2月23日提交到国家知识产权局的申请号为201810155270.8、发明名称为“图像处理方法、设备以及自动驾驶车辆”的发明专利申请的分案申请。
技术领域
下面的描述涉及自动驾驶图像处理方法和设备。
背景技术
车辆的自动驾驶可涉及一种自动执行各种操作以方便驾驶的方法。例如，自动驾驶车辆可在没有用户操作车辆的方向盘、加速器踏板或制动器的情况下在道路上自行驾驶。用于自动保持车辆之间的距离的技术、用于指示车辆正在驶离车道或者停留在车道中的技术以及用于向车辆通知在车辆后方或侧面的对象的技术可用于使车辆能够自动驾驶。可基于从车辆获取的邻近图像信息来使用用于自动驾驶的各种技术。
发明内容
提供本发明内容以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本发明内容不意图标识要求保护的主题的关键特征或必要特征，也不意图用来帮助确定要求保护的主题的范围。
在一个总体方面，一种处理器实现的图像处理方法包括：识别输入图像的第一帧中的目标对象，基于目标对象的亮度来调节输入图像的第二帧的曝光，通过将第一帧与第二帧进行合成来生成合成图像。
识别目标对象的步骤可包括：识别第一帧中的道路，将道路上的区域设置为识别区域，并在识别区域中识别目标对象。
识别目标对象的步骤可包括：基于第一帧和车辆的位置来识别目标对象。
目标对象可包括隧道入口、隧道出口和车辆的灯光中的任何一个或任何组合。
可响应于目标对象的亮度与第一帧中的不包括目标对象的剩余区域的亮度之间的差大于预定阈值，执行调节第二帧的曝光的步骤和生成合成图像的步骤。
调节第二帧的曝光的步骤可包括：响应于目标对象的亮度大于第一帧中的不包括目标对象的剩余区域的亮度，减少第二帧的曝光；响应于目标对象的亮度小于第一帧中的不包括目标对象的剩余区域的亮度，增加第二帧的曝光。
生成合成图像的步骤可包括：将第一帧中的不包括目标对象的剩余区域和第二帧中的与目标对象对应的区域进行合成。
生成合成图像的步骤可包括：将第一帧中的不包括目标对象的剩余区域和第二帧中的与目标对象对应的区域的道路区域进行合成。
调节第二帧的曝光的步骤可包括：响应于车辆在夜晚时间期间进入亮的隧道、车辆在白天时间期间离开暗的隧道以及车辆在白天时间期间由行道树之间的阳光照射中的任何一个或者两个或更多个的任何组合，减少第二帧的曝光。
调节第二帧的曝光的步骤可包括：响应于车辆在白天时间期间进入暗的隧道以及车辆在夜晚时间期间离开亮的隧道中的任一个或二者，减少第二帧的曝光。
一种非暂时性计算机可读存储介质可存储指令，其中，当所述指令由处理器执行时，使得处理器执行所述图像处理方法。
在另一个总体方面，一种图像处理设备包括：处理器，被配置为：识别输入图像的第一帧中的目标对象，基于目标对象的亮度来调节输入图像的第二帧的曝光，通过将第一帧与第二帧进行合成来生成合成图像。
处理器可被配置为：识别第一帧中的道路，将道路上的区域设置为识别区域，并在识别区域中识别目标对象。
处理器可被配置为：基于第一帧和车辆的位置来识别目标对象。
目标对象可包括隧道入口、隧道出口和车辆的灯光中的任何一个或者两个或更多个的任何组合。
处理器可被配置为：响应于目标对象的亮度与第一帧中的不包括目标对象的剩余区域的亮度之间的差大于预定阈值，调节第二帧的曝光。
处理器可被配置为：通过将第一帧中的不包括目标对象的剩余区域和第二帧中的与目标对象对应的区域进行合成，来生成合成图像。
处理器可被配置为：通过将第一帧中的不包括目标对象的剩余区域和第二帧中的与目标对象对应的区域的道路区域进行合成，来生成合成图像。
所述图像处理设备还可包括：存储器，连接到处理器，存储器包括能够由处理器读取的用于控制处理器执行识别目标对象、调节曝光以及生成合成图像的指令。
所述图像处理设备可以是根据合成图像控制车辆的自动驾驶车辆。
所述图像处理设备还包括：图像传感器，被配置为捕捉输入图像。
在另一个总体方面，一种自动驾驶车辆包括：图像处理设备，被配置为：识别输入图像的第一帧中的目标对象，基于目标对象的亮度来调节输入图像的第二帧的曝光，并通过将第一帧与第二帧进行合成来生成合成图像；控制设备，被配置为基于合成图像来控制所述自动驾驶车辆。
图像处理设备可被配置为：识别第一帧中的道路，将道路上的区域设置为识别区域，并在识别区域中识别目标对象。
根据另一个总体方面，一种自动驾驶车辆包括：图像传感器，被配置为捕捉包括多个帧的图像流；处理器，连接到图像传感器，并被配置为：识别图像流的第一帧中的目标对象；基于第一帧中的目标对象的标识特征来修改图像传感器的操作参数以及启动辅助图像传感器中的任一个或二者；使用图像传感器的修改的操作参数和辅助传感器中的任一个或二者来捕捉包括目标对象的第二帧；基于第二帧来控制所述自动驾驶车辆。
通过下面的具体实施方式、附图和权利要求，其他特征和方面将变得清楚。
附图说明
图1示出使用图像处理设备的图像处理过程的示例。
图2示出识别区域的示例。
图3示出基于位置信息的识别处理的示例。
图4示出隧道入口的示例。
图5示出隧道出口的示例。
图6示出车辆的灯光的示例。
图7示出基于曝光调节来生成连续合成图像的处理的示例。
图8是示出图像处理设备的示例的框图。
图9是示出自动驾驶车辆的示例的框图。
图10是示出图像处理方法的示例的流程图。
贯穿附图和具体实施方式，相同的参考标号表示相同或相似的元件。附图可不按比例绘制，并且为了清楚、说明和方便，附图中的元件的相对大小、比例和描绘可被夸大。
具体实施方式
提供下面的详细的描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，操作的顺序不限于在此阐述的那些顺序，而是除了必须以特定顺序发生的操作之外，可如在理解本申请的公开之后将变得清楚的那样改变。此外，为了更加清楚和简洁，可省略对本领域已知的特征的描述。
在此描述的特征可以以不同的形式实现，并且将不被解释为受限于在此描述的示例。相反，在此描述的示例仅被提供以示出实现在此描述的方法、设备和/或系统的多种可能的方式中的一些方式，这在理解本申请的公开之后将是清楚的。
可对示例进行各种改变和修改。这里，示例不被解释为受限于本公开，并且应被理解为包括在本公开的构思和技术范围内的所有改变、等同物和替换。
在此使用的术语仅为了描述具体示例的目的而不是示例的限制。如在此使用的，除非上下文另外清楚地指示，否则单数形式意图也包括复数形式。还将理解，当在本说明书中使用时，术语“包括/包含”和/或“具有”指定存在叙述的特征、整体、步骤、操作、元件、组件和/或它们的组合，但不排除存在或添加一个或多个其他特征、部件、步骤、操作、元件、组件和/或它们的组。
除非另外定义，否则在此使用的所有术语(包括技术术语或科学术语)具有如与示例所属领域中的普通技术人员在对本公开的深入理解之后通常理解的含义相同的含义。还将理解，除非在此明确地如此定义，否则术语(诸如，通用字典中定义的那些术语)应被解释为具有与它们在相关领域和本公开的上下文中的含义一致的含义，而不将被解释为理想化或过于形式化的意义。
当参照附图描述示例时，相同的参考标号表示相同的构成元件，并且将省略与其相关的重复的描述。当确定在描述示例的过程中涉及相关已知功能或配置的详细描述可能使示例的目的产生不必要地模糊时，将在这里省略详细的描述。
在下文中，现在将参照附图详细描述示例，其中，相同的参考标号始终表示相同的元件。
图1示出图像处理过程的示例。参照图1，图像处理设备100基于输入图像生成合成图像。根据一个或多个实施例，通过至少一个硬件模块来实现图像处理设备100。
图像处理设备100可被装备在车辆中或者可以是车辆的代表，合成图像可用于车辆的自动驾驶。自动驾驶通常涉及自动执行各种操作以方便驾驶的方法。例如，在自动驾驶状态下，车辆在没有驾驶员执行方向盘操作、加速操作以及减速操作或者向驾驶员提供关于方向盘操作、加速操作以及减速操作的补充/信息的情况下自行驾驶。在示例中协同使用用于自动保持车辆之间的距离的技术、用于指示车辆正在驶离车道或者停留在车道中的技术以及用于向车辆通知车辆周围的障碍物的技术，以使车辆能够自动驾驶。
可基于从车辆获取的各种感测信息来利用用于自动驾驶的各种技术。例如，在此，车辆可通过设置在车辆中的相机获取车辆周围的图像信息，并且基于图像信息来了解车辆周围的地理特征被连续地执行，以确保安全操作。响应于车辆处于具有相对高的亮度对比度的环境中，可能难以从车辆周围的图像信息获知车辆周围的地理特征。例如，响应于车辆进入隧道，隧道入口周围的照度水平相对高而隧道内部的照度水平相对低，使得车辆可能难以了解用于预测安全地自动驾驶通过隧道的隧道内部的状态。
图像处理设备100可识别输入图像中的具有比邻近部分的亮度对比度大的亮度对比度的部分，并通过调节该部分的亮度来生成合成图像。例如，图像处理设备100基于高动态范围(HDR)方案或与HDR方案类似的方案来生成合成图像。在一个示例中，可预先确定被估计为具有比周围的亮度对比度大的亮度对比度的对象，并且图像处理设备100识别输入图像中的预定对象。例如，预定对象包括隧道入口、隧道出口或者车辆的灯光中的至少一个，但是预定对象不限于此。在下文中，预定对象被称为目标对象。图像处理设备100可识别目标对象，并通过调节目标对象的亮度来生成合成图像。
输入图像可包括多个连续或大体连续的帧。例如，输入图像包括第一帧110和第二帧121。根据一个或多个实施例，第二帧121可以是跟随第一帧110的下一帧。然而，可适当使用在(例如，针对车辆和/或对象的速度可适当调节的)预定时间窗内的任何之前的帧和随后的帧。在另一实施例中，诸如在使用多个传感器的情况下，可使用从另一传感器同时获取的帧。在下文中，基于第一帧110和第二帧121来描述图像处理设备100的操作，但是下面的描述也可适用于输入图像的多个其他帧。
图像处理设备100识别第一帧110中的一个或多个目标对象115。识别目标对象115可被理解为识别与目标对象115对应的区域。在一个示例中，图像处理设备100根据基于图像的对象识别方案来识别目标对象115。例如，图像处理设备100使用被训练为从输入图像识别目标对象115的识别器来识别目标对象115。在一个或多个实施例中，识别器可包括人工神经网络或其他机器学习模型。可，诸如，通过反向传播使用训练图像来训练人工神经网络，以通过深度学习从输入图像识别目标对象115。例如，自动驾驶设备100可被进一步认为与训练有关。
在另一示例中，图像处理设备100根据基于图像的对象识别方案和车辆的位置信息来识别目标对象115。例如，图像处理设备100基于全球定位系统(GPS)、GLONASS信息、无线电三角测量或其他合适的位置信息中的任何一个或者两个或更多个的任何组合，来检测车辆的位置。图像处理设备100可基于地图信息来验证在车辆周围是否存在预定目标对象。地图信息可包括预定目标对象的类型和位置。图像处理设备100可基于在车辆周围存在预定目标对象的验证，而在第一帧110中检测目标对象115。
在一个示例中，图像处理设备100在识别区域中识别目标对象115。例如，识别区域被确定为道路上的预定区域。在这个示例中，图像处理设备100识别第一帧110中的道路，并在识别的道路上识别目标对象115。因此，图像处理设备100可智能地避免用于识别除道路之外的不影响自动驾驶的区域的不必要的电力、处理和/或存储资源的消耗。
图像处理设备100可响应于在第一帧110中识别到目标对象115，来调节第二帧121的曝光。曝光调节的第二帧123指示曝光被调节的状态。可基于各种方法来执行曝光的调节。例如，图像处理设备100调节捕捉输入图像的相机的曝光时间，调节相机的灵敏度或者基于软件方法在输入图像被捕捉之后调节输入图像的曝光。可使用其他合适的调节对比度的方法(诸如，通过利用使用不同物理特性或不同操作特性或参数(诸如，光圈、F制光圈(F-stop)、变焦、聚焦、屏蔽、光谱的紫外线或红外线部分)的辅助传感器或辅助相机)来补充或修改主相机。例如，红外线允许在黑暗或其他不利条件下捕捉补充目标信息。因此，本公开不限于仅可见光谱和在该光谱中操作的唯一相机，而是考虑修改操作参数和/或使用辅助图像、激光雷达或声学传感器来补充主相机。
图像处理设备100可基于目标对象115的亮度来调节第二帧121的曝光。例如，响应于目标对象115是隧道入口，因为在白天时间期间难以在输入图像中识别目标对象115的内部，所以可调节目标对象115的亮度。然而，因为目标对象115的内部和目标对象115的外部在夜晚时间期间相对较暗，所以可不调节目标对象115的亮度。
在一个示例中，可为安全驾驶提供用于自动驾驶的实时图像分析。当输入图像的所有帧的曝光被调节时，大量计算资源通常可能被不必要地用于调节曝光和执行合成，使得合成图像的生成可被不利地延迟，对实时自动操作进行渲染通常不能实行。相反，仅作为非限制性示例，即使在第一帧110中识别到目标对象115，图像处理设备100也可，例如，在确定期望或需要时以一定程度的选择性来调节第二帧121的曝光。
在一个示例中，图像处理设备100可基于第一帧110中的目标对象115的亮度与不包括目标对象115的剩余区域的亮度之间的差，来确定第二帧121的曝光是否将被调节。不包括目标对象115的剩余区域的亮度可指示不包括目标对象115的剩余区域的平均亮度或者目标对象115的邻近区域的亮度。例如，图像处理设备100可响应于目标对象115的亮度与第一帧110中的不包括目标对象115的剩余区域的亮度之间的差大于预定阈值，来调节第二帧121的曝光。在一个示例中，以2个步进来调节第二帧121的曝光。这里，步进指示在捕捉输入图像的相机的曝光系统中使用的曝光校正单位。
基于第二帧121的曝光将被调节的验证，图像处理设备100可基于第一帧110中的目标对象115的亮度与不包括目标对象115的剩余区域的亮度之间的差，来调节第二帧121的曝光。例如，响应于目标对象115的亮度大于第一帧110中的不包括目标对象115的剩余区域的亮度，图像处理设备100可减少第二帧121的曝光。响应于目标对象115的亮度小于第一帧110中的不包括目标对象115的剩余区域的亮度，图像处理设备100可增加第二帧121的曝光。在图1中，因为目标对象115的亮度小于不包括目标对象115的剩余区域的亮度，所以第二帧121的曝光增加。
通过调节第二帧121的曝光，图像处理设备100可通过将第一帧110与曝光调节的第二帧123进行合成来生成合成图像的第一帧130。例如，图像处理设备100可将第一帧110中的不包括目标对象115的剩余区域与曝光调节的第二帧123中的与目标对象115对应的区域125进行合成。图像处理设备100可将第一帧110中的不包括目标对象115的剩余区域与区域125的道路区域进行合成。
图像处理设备100可针对包括在输入图像中的多个帧之中的将被合成的帧的部分，来执行上述操作。例如，图像处理设备100持续监视输入图像中的目标对象的存在。响应于从输入图像识别到目标对象，图像处理设备100可通过根据需要调节输入图像来生成合成图像。合成图像可用于使车辆自动驾驶。可使用合成图像更准确地估计车辆周围。
图2示出识别区域的示例。图像处理设备可在从输入图像识别到目标对象时扫描预定的(选择性地，标识的)识别区域来替代扫描输入图像的整个区域。道路上的预定区域可被设置为识别区域。图像处理设备可识别输入图像中的道路，并将道路上的预定区域设置为识别区域。
图2示出输入图像200。图像处理设备可识别输入图像200中的道路，并将道路上的标识区域或预定区域设置为识别区域。根据一个或多个实施例，响应于识别区域被设置，图像处理设备选择性地削减将被扫描的区域并智能地避免扫描输入图像200中的除了识别区域之外的部分。因此，在一个示例中，图像处理设备可有效并快速地在识别区域中识别目标对象210。
响应于识别区域被设置，将由图像处理设备扫描的区域的范围或面积被减少，使得用于对象识别的资源被有利地节省。此外，响应于识别区域被设置，另一对象被误认为目标对象的可能性可被减小。例如，与路灯对应的对象220通常可被误认为与车辆的灯光对应的目标对象。因此，不利地，响应于识别区域未被设置或者设置不准确，输入图像的曝光通常可由于对象220而被另外错误地调节。因为对象220不与车辆的驾驶直接相关，所以在对图像的对象220进行合成时可能浪费计算资源。
相反，在一个示例中，响应于道路上的标识区域被设置为识别区域，图像处理设备可不扫描对象220，使得对象220可不被识别为目标对象。图像处理设备可防止计算资源浪费，并可通过仅在识别区域中扫描目标对象来提高对象识别中的准确性。
图3示出基于位置信息的识别处理的示例。图3示出地图310和输入图像320。
例如，在一个示例中，图像处理设备在目标对象被识别时有利地协同使用位置信息和图像信息。位置信息可包括车辆的位置和车辆周围的对象的位置。位置信息可由图像处理设备生成，或者由车辆的控制设备生成以提供给图像处理设备。
可基于各种位置确定技术来生成位置信息。例如，可基于全球定位系统(GPS)和惯性测量单元(IMU)来生成位置信息，但是位置确定技术不限于此。图像处理设备可基于位置信息来知晓车辆的位置和车辆周围的对象的位置，并且根据一个或多个实施例，当在输入图像中出现的对象被识别时，图像处理设备可使用车辆的位置和车辆周围的对象的位置。
例如，目标对象311和车辆313被呈现在地图310中。目标对象325包括在输入图像320中。图像处理设备可基于地图310上的车辆313的前方的目标对象311所在的点，来识别输入图像320中的目标对象325。在一个示例中，因为位置信息和图像信息被一起考虑，所以对象识别中的准确性可被提高。
根据实施例，可根据情况通过不同的方法来确定车辆的位置。例如，因为在车辆进入隧道之前从卫星接收GPS信号，所以可基于GPS来确定车辆的位置。可选地，因为当车辆在隧道内部时无法从卫星接收GPS信号，所以可基于IMU、航迹推算法来确定车辆的位置—本质上基于之前的GPS数据和车辆的速度或加速度来外推出位置。
图4示出隧道入口的示例。图4示出包括在白天时间期间的相对暗的隧道入口的输入图像410、包括在白天时间期间的相对亮的隧道入口的输入图像420、包括在夜晚时间期间的相对暗的隧道入口的输入图像430以及包括在夜晚时间期间的相对亮的隧道入口的输入图像440。
图像处理设备可识别输入图像中的目标对象，并基于目标对象的亮度与不包括目标对象的剩余区域的亮度之间的差来调节输入图像的曝光。例如，响应于目标对象的亮度与(不包括目标对象的)剩余区域的亮度之间的差大于预定阈值，输入图像的曝光可被调节。在图4中，目标对象对应于隧道入口。隧道的内部可根据隧道中的光、隧道的长度和从隧道的外部入射到隧道的内部的光的量，而是亮的或暗的。因此，当调节输入图像的曝光时，可考虑驾驶时间和照明(例如，包括环境光、车辆或其他的能源光、稳定的隧道照明等)的量、在白天时间期间还是在夜晚时间期间、以及隧道的内部的亮度。
输入图像410可在隧道外部的车辆在白天时间期间进入相对暗的隧道时被捕捉。在输入图像410中，隧道入口相对暗，剩余部分相对亮。这里，隧道入口的亮度与剩余部分的亮度之间的差可被确定为大于预定阈值，其中，根据实施例，预定阈值可被启发式地建立。因此，响应于接收到输入图像410，图像处理设备可通过增加输入图像410的曝光来生成合成图像。
例如，输入图像420可在隧道外部的车辆在白天时间期间进入相对亮的隧道时被捕捉。在输入图像420中，隧道入口和剩余部分相对亮。这里，隧道入口的亮度与剩余部分的亮度之间的差可小于预定阈值。因此，响应于接收到输入图像420，图像处理设备可选择性地避免合成图像的生成。
输入图像430可在隧道外部的车辆在夜晚时间期间进入相对暗的隧道时被捕捉。在输入图像430中，隧道入口和剩余部分相对暗。在这个示例中，隧道入口的亮度和剩余部分的亮度之间的差可小于预定阈值。因此，响应于接收到输入图像430，图像处理设备可不生成合成图像。
输入图像440可在隧道外部的车辆在夜晚时间期间进入相对亮的隧道时被捕捉。在输入图像440中，隧道入口相对亮，剩余部分相对暗。在这个示例中，隧道入口的亮度与剩余部分的亮度之间的差可被确定为大于预定阈值。因此，响应于接收到输入图像440，图像处理设备可通过减少输入图像440的曝光来生成合成图像。
图5示出隧道出口的示例。图5示出包括相对暗的隧道的相对亮的出口的输入图像510、包括相对暗的隧道的相对暗的出口的输入图像520、包括相对亮的隧道的相对亮的出口的输入图像530以及包括相对亮的隧道的相对暗的出口的输入图像540。在图5中，目标对象对应于隧道出口。此外，参照图4提供的描述也可应用于图5。
输入图像510可在车辆在白天时间期间离开相对暗的隧道时被捕捉。在输入图像510中，隧道出口相对亮，剩余部分相对暗。这里，隧道出口的亮度与剩余部分的亮度之间的差可大于预定阈值。因此，响应于接收到输入图像510，图像处理设备可通过减少输入图像510的曝光来生成合成图像。
输入图像520可在车辆在夜晚时间期间离开相对暗的隧道时被捕捉。在输入图像520中，隧道出口和剩余部分相对暗。这里，隧道出口的亮度与剩余部分的亮度之间的差可小于预定阈值。因此，响应于接收到输入图像520，图像处理设备可选择性地避免生成合成图像。
输入图像530可在车辆在白天时间期间离开相对亮的隧道时被捕捉。在输入图像530中，隧道出口和剩余部分相对亮。这里，隧道出口的亮度与剩余部分的亮度之间的差可小于预定阈值。因此，响应于接收到输入图像530，图像处理设备可不生成合成图像。
输入图像540可在车辆在夜晚时间期间离开相对亮的隧道时被捕捉。在输入图像540中，隧道出口相对暗，剩余部分相对亮。这里，隧道出口的亮度与剩余部分的亮度之间的差可大于预定阈值。因此，响应于接收到输入图像540，图像处理设备可通过增加输入图像540的曝光来生成合成图像。
图6示出车辆的灯光的示例。在相对暗的环境中相对亮的光被投射到相机的情况下，或者在相对亮的环境中比附近的照度亮的光被投射到相机的情况下，可能难以识别输入图像中的对象。例如，这样的情况可包括：在夜晚时间期间在与行驶的车辆相反的方向上靠近的车辆的灯光被投射到相机的情况、在白天时间期间行道树之间的强阳光被投射到相机的情况、在白天时间期间由附近的车辆或建筑物反射的光被投射到相机的情况以及在白天时间期间车辆离开相对暗的隧道的情况。在这样的情况下，图像处理设备可通过将相对亮的部分视为目标对象，调节输入图像的曝光，来生成合成图像。在下文中，作为示例来描述在夜晚时间期间在相反方向的车辆的灯光被投射到相机的情况，下面的描述可类似地应用于上述的其他情况。
输入图像600在夜晚时间期间被捕捉。输入图像600包括在相反方向的相反车道中行驶的车辆的灯光610。图像处理设备可将输入图像600中的车辆的灯光610识别为目标对象。因为车辆的灯光610位于道路上，所以即使在识别区域被设置为道路上的预定区域时，车辆的灯光610也可被识别为目标对象。
图像处理设备可在识别到车辆的灯光610之后，将输入图像600中的车辆的灯光610的亮度与不包括车辆的灯光610的剩余区域的亮度进行比较。响应于车辆的灯光610的亮度比剩余区域的亮度大预定阈值，图像处理设备可通过调节输入图像600的曝光来生成合成图像。因此，即使在相反方向的相反车道中的车辆正在行驶，也仍然可使用合成图像安全地执行自动驾驶。
图7示出基于曝光调节生成连续的合成图像的处理的示例。图7的生成连续的合成图像的处理可被应用于曝光减少的场景(例如，车辆在夜晚时间期间进入相对亮的隧道的情况、车辆在白天时间期间离开相对暗的隧道的情况以及车辆在白天时间期间由行道树之间的强阳光照射的情况)和曝光增加的场景(例如，车辆在白天时间期间进入相对暗的隧道的情况以及车辆在夜晚时间期间离开相对亮的隧道的情况)。
图7示出输入图像的第一帧710、输入图像的第二帧720、输入图像的第三帧730、输入图像的第四帧740、输入图像的第五帧750以及输入图像的第六帧760。第一帧710、第三帧730和第五帧750为原始图像。第二帧720、第四帧740和第六帧760为曝光被调节的图像。
图像处理设备可识别第一帧710中的目标对象，并基于在第一帧710中识别的目标对象的亮度来调节第二帧720的曝光。例如，图像处理设备可以以2个步进来调节第二帧720的曝光。图像处理设备可通过将第一帧710与第二帧720进行合成来生成合成图像770的第一帧771。类似地，图像处理设备可通过将第三帧730与第四帧740进行合成来生成合成图像770的第二帧773，并通过将第五帧750与第六帧760进行合成来生成合成图像770的第三帧775。
图8是示出图像处理设备的示例的框图。参照图8，图像处理设备800包括处理器810和存储器820。
图像处理设备800可对应于图1的图像处理设备100、图9的图像处理设备910或者在此描述的任何其他图像处理设备。处理器810可执行上述参照图1至图7描述的方法或处理中的一个或多个，或者上述参照图1至图7描述的所有方法或处理。例如，处理器810处理与任意的上述图像处理过程或上述图像处理过程的任意组合相关联的操作。在一个示例中，处理器810识别在输入图像的第一帧中的目标对象，基于目标对象的亮度调节输入图像的第二帧的曝光，并通过将第一帧与第二帧进行合成来生成合成图像。
存储器820存储能够由计算机读取的指令。响应于存储在存储器820中的指令被处理器810执行，处理器810可处理与上述神经网络相关联的操作。例如，存储器820可存储示例的训练的神经网络的训练参数。另外，存储器820存储与上述图像处理过程相关联的数据。例如，存储器820存储输入图像、合成图像以及各种阈值。存储器820可以是易失性存储器或非易失性存储器。
处理器810执行程序并控制图像处理设备800。根据实施例，图像处理设备800可通过输入和输出装置连接到外部装置(例如，一个或多个相机、传感器或自动驾驶车辆的控制设备)，从而执行数据交换。根据实施例，图像处理设备800被设置为自动驾驶车辆的一部分或车辆的代表，或示例的车辆的电子控制单元(ECU)。因为上述描述也适用于图像处理设备800，所以为了更加清楚和简明，将省略重复的描述。
图9是示出自动驾驶车辆的示例的框图。参照图9，自动驾驶车辆900包括图像处理设备910、控制设备920和相机930。此外，当前或之前描述的图像处理设备中的任何图像处理设备也可以是这样的自动驾驶车辆或代表这样的自动驾驶车辆。图像处理设备910识别输入图像的第一帧中的目标对象，基于目标对象的亮度来调节输入图像的第二帧的曝光，并通过将第一帧与第二帧进行合成来生成合成图像。相机930捕捉自动驾驶车辆900的周围的图像，并将自动驾驶车辆900的周围的图像提供给图像处理设备910。
控制设备920基于合成图像来控制车辆。控制设备920可被配置为：基于合成图像来了解或识别自动驾驶车辆900的周围的地理特征，并控制自动驾驶车辆900使得自动驾驶车辆900能够在没有驾驶员执行(其他操作之中的)方向盘操作、加速操作、转向指示器操作以及减速操作的情况下在自动驾驶状态下自行驾驶。例如，控制设备920可基于合成图像自动保持车辆之间的距离，指示自动驾驶车辆900正在驶离车道或停留在车道中，并向自动驾驶车辆900通知自动驾驶车辆900周围的障碍物。
图10是示出图像处理方法的示例的流程图。参照图10，在操作1010中，图像处理设备识别输入图像的第一帧中的目标对象。在操作1020中，图像处理设备基于目标对象的亮度来调节输入图像的第二帧的曝光。在操作1030中，图像处理设备通过将第一帧与第二帧进行合成来生成合成图像。因为上述描述也适用于图像处理方法，所以为了更加清楚和简明，将省略重复的描述。
通过硬件组件来实现执行在本申请中描述的操作的图1至图10中的图像处理设备、图像处理设备100、图像处理设备800、图像处理设备900、图像处理设备910、控制设备920、处理器810和相机930，其中，硬件组件被配置为执行在本申请中描述的由硬件组件执行的操作。可用于执行在本申请中的适当位置描述的操作的硬件组件的示例包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器、神经网络、神经形态处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件组件。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于在本申请中描述的示例的描述，但是在其他的示例中，多个处理器或计算机可被使用，或者一个处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器，或者两个或更多个处理器，或者一个处理器和一个控制器来实现。一个或多个硬件组件可通过一个或多个处理器，或者一个处理器和一个控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器，或者另一处理器和另一控制器来实现。一个或多个处理器或者一个处理器和一个控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有任何一个或多个不同的处理配置，其中，一个或多个不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
图1至图6和图10中示出的执行在本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，其中，计算硬件如上所述地被实现为执行用于执行在本申请中描述的通过该方法执行的操作的指令、固件或软件。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器或者一个处理器和一个控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器或者另一处理器和另一控制器来执行。一个或多个处理器或者一个处理器和一个控制器可执行单个操作或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)和/或神经网络实现硬件组件并执行如上所述的方法的指令、固件或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置一个或多个处理器或者计算机作为机器或专用计算机进行操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由一个或多个处理器或者计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一个示例中，指令或软件包括由一个或多个处理器或者计算机使用解释器执行的高级代码。可基于附图中所示的框图和流程图以及说明书中的对应描述，使用任何编程语言来编写指令或软件，其中，说明书中的相应描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。
用于控制计算硬件(例如，一个或多个处理器或者计算机)实现硬件组件并执行如上所述的方法的指令、固件或软件以及任何相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其它装置，其中，该任何其它装置被配置为：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且向一个或多个处理器或者计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得一个或多个处理器或者计算机能够执行指令。在一个示例中，指令、固件或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或者计算机以分布式方式被存储、访问和执行。
虽然本公开包括特定的示例，但是在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例中做出形式上和细节上的各种改变，这在理解本申请的公开之后将是清楚的。在此描述的示例将被认为仅是描述性的，而不是为了限制的目的。每一示例中的特征或方面的描述将被认为可适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同方式被组合，和/或被其他组件或它们的等同物替换或补充，则可实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开内。

Claims (16)

1.一种图像处理方法，包括：
识别输入图像的第一帧中的道路；
将道路上的区域设置为识别区域；
扫描第一帧中的道路上的识别区域而不扫描输入图像的第一帧的整个区域；
识别输入图像的第一帧中的道路上的识别区域中的至少一个目标对象；
调节输入图像的第二帧的曝光，
其中，第二帧是第一帧之后的帧，
其中，调节输入图像的第二帧的曝光的步骤基于第一帧中的所述至少一个目标对象的亮度与第一帧中的不包括所述至少一个目标对象的剩余区域的亮度之间的差以及预定阈值。
2.根据权利要求1所述的图像处理方法，其中，调节输入图像的第二帧的曝光的步骤包括：将所述差与所述预定阈值进行比较。
3.根据权利要求1所述的图像处理方法，其中，识别所述至少一个目标对象的步骤包括：基于车辆的位置信息识别所述至少一个目标对象。
4.根据权利要求1所述的图像处理方法，还包括：通过将第一帧与第二帧进行合成来生成合成图像。
5.根据权利要求1所述的图像处理方法，其中，所述至少一个目标对象包括隧道入口、隧道出口和车辆的灯光中的任何一个或者两个或更多个的任何组合。
6.根据权利要求1所述的图像处理方法，其中，调节第二帧的曝光的步骤包括：
响应于所述至少一个目标对象的亮度大于第一帧中的不包括所述至少一个目标对象的剩余区域的亮度，减少第二帧的曝光；
响应于所述至少一个目标对象的亮度小于第一帧中的不包括所述至少一个目标对象的剩余区域的亮度，增加第二帧的曝光。
7.根据权利要求1所述的图像处理方法，其中，调节第二帧的曝光的步骤包括：响应于车辆在夜晚时间期间进入亮的隧道、车辆在白天时间期间离开暗的隧道以及车辆在白天时间期间被行道树之间的强阳光照射中的任何一个或者两个或更多个的任何组合，减少第二帧的曝光。
8.根据权利要求1所述的图像处理方法，还包括：连续地监视输入图像中的所述至少一个目标对象的存在。
9.一种图像处理设备，包括：
处理器，被配置为：
识别输入图像的第一帧中的道路，
将道路上的区域设置为识别区域；
扫描第一帧中的道路上的识别区域而不扫描输入图像的第一帧的整个区域；
识别输入图像的第一帧中的道路上的识别区域中的至少一个目标对象
调节输入图像的第二帧的曝光，
其中，第二帧是第一帧之后的帧，
其中，处理器被配置为：基于第一帧中的所述至少一个目标对象的亮度与第一帧中的不包括所述至少一个目标对象的剩余区域的亮度之间的差以及预定阈值，调节输入图像的第二帧的曝光。
10.根据权利要求9所述的图像处理设备，其中，处理器被配置为：将所述差与所述预定阈值进行比较。
11.根据权利要求9所述的图像处理设备，其中，处理器被配置为：基于车辆的位置信息识别所述至少一个目标对象。
12.根据权利要求9所述的图像处理设备，其中，处理器被配置为：通过将第一帧与第二帧进行合成来生成合成图像。
13.根据权利要求9所述的图像处理设备，其中，所述至少一个目标对象包括隧道入口、隧道出口和车辆的灯光中的任何一个或者两个或更多个的任何组合。
14.根据权利要求9所述的图像处理设备，处理器被配置为：
响应于所述至少一个目标对象的亮度大于第一帧中的不包括所述至少一个目标对象的剩余区域的亮度，减少第二帧的曝光；
响应于所述至少一个目标对象的亮度小于第一帧中的不包括所述至少一个目标对象的剩余区域的亮度，增加第二帧的曝光。
15.根据权利要求9所述的图像处理设备，其中，处理器被配置为：响应于车辆在夜晚时间期间进入亮的隧道、车辆在白天时间期间离开暗的隧道以及车辆在白天时间期间被行道树之间的强阳光照射中的任何一个或者两个或更多个的任何组合，减少第二帧的曝光。
16.根据权利要求9所述的图像处理设备，其中，处理器被配置为：连续地监视输入图像中的所述至少一个目标对象的存在。
CN202010776945.8A 2017-02-24 2018-02-23 图像处理方法和设备 Active CN111741229B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170024824A KR20180097966A (ko) 2017-02-24 2017-02-24 자율 주행을 위한 영상 처리 방법 및 장치
KR10-2017-0024824 2017-02-24
CN201810155270.8A CN108513059B (zh) 2017-02-24 2018-02-23 图像处理方法、设备以及自动驾驶车辆

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810155270.8A Division CN108513059B (zh) 2017-02-24 2018-02-23 图像处理方法、设备以及自动驾驶车辆

Publications (2)

Publication Number Publication Date
CN111741229A CN111741229A (zh) 2020-10-02
CN111741229B true CN111741229B (zh) 2022-08-16

Family

ID=61526545

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010776945.8A Active CN111741229B (zh) 2017-02-24 2018-02-23 图像处理方法和设备
CN201810155270.8A Active CN108513059B (zh) 2017-02-24 2018-02-23 图像处理方法、设备以及自动驾驶车辆

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810155270.8A Active CN108513059B (zh) 2017-02-24 2018-02-23 图像处理方法、设备以及自动驾驶车辆

Country Status (5)

Country Link
US (2) US10739783B2 (zh)
EP (1) EP3367303B1 (zh)
JP (1) JP2018142954A (zh)
KR (1) KR20180097966A (zh)
CN (2) CN111741229B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
US10592786B2 (en) * 2017-08-14 2020-03-17 Huawei Technologies Co., Ltd. Generating labeled data for deep object tracking
US20200097019A1 (en) * 2018-09-26 2020-03-26 GM Global Technology Operations LLC Vision system for an automotive vehicle
CN109167929B (zh) * 2018-09-30 2021-02-19 深圳市商汤科技有限公司 车载相机参数的调节方法、装置与电子设备
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11260872B2 (en) * 2018-10-12 2022-03-01 Honda Motor Co., Ltd. System and method for utilizing a temporal recurrent network for online action detection
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN109246364B (zh) * 2018-10-26 2021-10-01 华为技术有限公司 摄像装置调整方法及相关设备
TWI668141B (zh) * 2018-11-07 2019-08-11 國家中山科學研究院 Virtual thermal image driving data generation system
KR20200053125A (ko) 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2020101127A1 (en) * 2018-11-13 2020-05-22 Samsung Electro-Mechanics Co., Ltd. Driving support system and method
CN109587902B (zh) * 2018-11-20 2020-03-06 北京新能源汽车股份有限公司 一种车内光源调节方法、装置、存储介质及光源调节设备
US20200169671A1 (en) * 2018-11-27 2020-05-28 GM Global Technology Operations LLC Method and apparatus for object detection in camera blind zones
KR102109841B1 (ko) * 2018-11-30 2020-05-28 아주대학교 산학협력단 주행 영상으로부터 차량을 검출하는 방법 및 장치
KR102177880B1 (ko) 2019-03-08 2020-11-12 현대모비스 주식회사 자율주행용 클래스 레이블링 장치
KR102649032B1 (ko) * 2019-04-26 2024-03-20 엘지전자 주식회사 자율주행 차량의 영상 처리 방법
CN114679531B (zh) * 2019-10-24 2024-03-05 趣眼有限公司 生成图像的系统、生成图像信息的方法及计算机可读介质
KR102309949B1 (ko) * 2019-11-26 2021-10-08 (주)비트리 영상 처리 장치 및 그 방법
KR102360408B1 (ko) * 2020-03-30 2022-02-09 (주)코러싱 저조도 환경에서 차량 인식이 가능한 교통관제 시스템
CN111510626B (zh) * 2020-04-21 2022-01-04 Oppo广东移动通信有限公司 图像合成方法及相关装置
EP4183127A1 (en) * 2020-07-15 2023-05-24 Arriver Software AB Vision system for a motor vehicle
KR102479451B1 (ko) * 2020-08-24 2022-12-20 주식회사 테스트웍스 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법
CN112397017A (zh) * 2020-11-27 2021-02-23 卡莱特（深圳）云科技有限公司 一种车载led显示屏的亮度调节方法及装置
CN113222869B (zh) * 2021-05-06 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法
US11722789B1 (en) 2022-02-01 2023-08-08 Ford Global Technologies, Llc Multi-camera imaging system selecting between visible and infrared views in a vehicle
WO2023157489A1 (ja) * 2022-02-21 2023-08-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008126905A (ja) * 2006-11-22 2008-06-05 Toyota Motor Corp 車窓透過率制御装置
CN101646021A (zh) * 2008-08-08 2010-02-10 株式会社电装 曝光确定装置和图像处理设备
CN103782307A (zh) * 2011-06-07 2014-05-07 罗伯特·博世有限公司 用于识别车辆的环境中的对象的方法和设备
CN105313778A (zh) * 2014-05-29 2016-02-10 Lg电子株式会社 摄像头及具有该摄像头的车辆
CN105635593A (zh) * 2014-10-13 2016-06-01 广达电脑股份有限公司 多重曝光成像系统及其白平衡方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09205645A (ja) 1996-01-29 1997-08-05 Fujitsu Ten Ltd 前方環境認識装置
US6874420B2 (en) * 1999-10-22 2005-04-05 Cc1, Inc. System and method for register mark recognition
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
KR100677332B1 (ko) * 2004-07-06 2007-02-02 엘지전자 주식회사 휴대단말기의 저조도 화질 개선장치 및 방법
KR20070081629A (ko) 2006-02-13 2007-08-17 주식회사 팬택앤큐리텔 촬영 피사체의 밝기분포를 고려한 이미지 보정 방법 및 그방법이 실행 가능한 촬영 장치
KR101424717B1 (ko) * 2007-09-13 2014-08-01 삼성전자주식회사 노출 시간 설정 장치 및 방법
JP4556995B2 (ja) * 2007-12-10 2010-10-06 カシオ計算機株式会社 撮像装置及びその露出制御方法、露出制御プログラム
JP4389999B2 (ja) * 2007-12-26 2009-12-24 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4433046B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4433045B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US20120019686A1 (en) * 2010-07-23 2012-01-26 Casio Computer Co., Ltd. Image synthesizing device, image synthesizing method and computer readable medium
JP5375814B2 (ja) * 2010-12-22 2013-12-25 株式会社デンソー 露出制御装置
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
CN104272345B (zh) * 2012-05-18 2016-01-06 日产自动车株式会社 车辆用显示装置和车辆用显示方法
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
TWI552907B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 行車安全輔助系統和方法
US20160005313A1 (en) * 2014-07-01 2016-01-07 Perfect Squares Inc. Method and apparatus for smart stop sign
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
CN105578068B (zh) * 2015-12-21 2018-09-04 广东欧珀移动通信有限公司 一种高动态范围图像的生成方法、装置及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008126905A (ja) * 2006-11-22 2008-06-05 Toyota Motor Corp 車窓透過率制御装置
CN101646021A (zh) * 2008-08-08 2010-02-10 株式会社电装 曝光确定装置和图像处理设备
CN103782307A (zh) * 2011-06-07 2014-05-07 罗伯特·博世有限公司 用于识别车辆的环境中的对象的方法和设备
CN105313778A (zh) * 2014-05-29 2016-02-10 Lg电子株式会社 摄像头及具有该摄像头的车辆
CN105635593A (zh) * 2014-10-13 2016-06-01 广达电脑股份有限公司 多重曝光成像系统及其白平衡方法

Also Published As

Publication number Publication date
US20200333796A1 (en) 2020-10-22
CN108513059A (zh) 2018-09-07
EP3367303A1 (en) 2018-08-29
CN108513059B (zh) 2022-01-25
KR20180097966A (ko) 2018-09-03
EP3367303B1 (en) 2022-09-21
US11409303B2 (en) 2022-08-09
US20180246521A1 (en) 2018-08-30
US10739783B2 (en) 2020-08-11
CN111741229A (zh) 2020-10-02
JP2018142954A (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
CN111741229B (zh) 图像处理方法和设备
JP2018037061A (ja) 自律走行車両のためのビジョンセンサの制御方法及び装置
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
CN112040154A (zh) 用于减少成像光源中的闪烁伪影的系统和方法
US11881039B2 (en) License plate reading system with enhancements
US11436839B2 (en) Systems and methods of detecting moving obstacles
US11250240B1 (en) Instance segmentation using sensor data having different dimensionalities
US8643723B2 (en) Lane-marker recognition system with improved recognition-performance
JP2019099138A (ja) 車線維持補助方法及び装置
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
US10462378B2 (en) Imaging apparatus
KR20190030344A (ko) 객체 인식 방법 및 장치
CN114520880A (zh) 一种曝光参数调节方法及装置
US20160173858A1 (en) Driver assistance for a vehicle
CN111756962A (zh) 一种摄像装置及其控制方法
Ewecker et al. Provident vehicle detection at night for advanced driver assistance systems
JP2019146012A (ja) 撮像装置
JP7201706B2 (ja) 画像処理装置
KR102448164B1 (ko) 차량용 레이더 제어 장치 및 방법
JP4732317B2 (ja) 撮影制御装置、撮影装置、撮影制御プログラム、撮影制御方法
CN115668965A (zh) 拍摄装置
JP2019139471A (ja) 画像処理装置、方法及びプログラム
KR20200001203A (ko) 차량 및 차량 제어 방법
KR20240022343A (ko) 차량 및 그 제어 방법
US20230394844A1 (en) System for avoiding accidents caused by wild animals crossing at dusk and at night

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant