CN111886854B - 曝光控制装置、曝光控制方法、程序、成像装置和移动体 - Google Patents

曝光控制装置、曝光控制方法、程序、成像装置和移动体 Download PDF

Info

Publication number
CN111886854B
CN111886854B CN201980021050.9A CN201980021050A CN111886854B CN 111886854 B CN111886854 B CN 111886854B CN 201980021050 A CN201980021050 A CN 201980021050A CN 111886854 B CN111886854 B CN 111886854B
Authority
CN
China
Prior art keywords
unit
exposure control
detection
region
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980021050.9A
Other languages
English (en)
Other versions
CN111886854A (zh
Inventor
李骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111886854A publication Critical patent/CN111886854A/zh
Application granted granted Critical
Publication of CN111886854B publication Critical patent/CN111886854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明涉及允许适当的曝光控制的曝光控制装置、曝光控制方法、程序、成像装置和移动体。该曝光控制装置设置有:检测单元,该检测单元通过向被预计为在预定时间内超出成像单元的视角的区域赋予较低的权重来计算检测值,该区域在由成像单元拍摄的捕获图像中;以及曝光控制单元,该曝光控制单元基于该检测值来控制该成像单元的曝光。本发明可以被应用于例如被提供在诸如车辆或机器人之类的移动体中的成像装置或成像系统。

Description

曝光控制装置、曝光控制方法、程序、成像装置和移动体
技术领域
本技术涉及曝光控制装置、曝光控制方法、程序、成像装置和移动体,并且更具体地,涉及适合用于自动曝光中的曝光控制装置、曝光控制方法、程序、成像装置和移动体。
背景技术
常规上,已经提出了相对于在被摄体车辆的驾驶方向上的远处道路消失点来定义远处车辆被期望在其中行驶的远处小框架,并且基于关于远处小框架内的亮度的信息来执行车载相机的曝光控制(例如,参见专利文献1)。
引文列表
专利文献
专利文献1:日本专利申请特开号2017-5678
发明内容
本发明要解决的问题
同时,例如,当在隧道的入口、出口等附近的周围环境的亮度突然地变化时,车载相机的曝光控制可能未能及时执行,导致捕获图像具有在明亮区域中的高光溢出或在黑暗区域中的遮挡阴影。专利文献1没有考虑针对该问题的措施。
鉴于这种情形做出了本技术,并且本技术旨在实现适当的曝光控制。
问题的解决方案
根据本技术的第一方面的曝光控制装置包括:检波单元,该检波单元在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;以及曝光控制单元,该曝光控制单元基于该检波值,执行该成像单元的曝光控制。
根据本技术的第一方面的曝光控制方法包括:在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;以及基于该检波值,执行该成像单元的曝光控制。
根据本技术的第一方面的程序被配置为使计算机执行以下处理:在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;以及基于该检波值,执行该成像单元的曝光控制。
根据本技术的第二方面的成像装置包括:成像单元;检波单元,该检波单元在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;以及曝光控制单元,该曝光控制单元基于该检波值,执行该成像单元的曝光控制。
根据本技术的第三方面的移动体包括:成像单元;检波单元,该检波单元在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;曝光控制单元,该曝光控制单元基于该检波值,执行该成像单元的曝光控制;以及移动控制单元,该移动控制单元基于该捕获图像执行移动控制。
在本技术的第一方面和第二方面中,在由成像单元拍摄的捕获图像中,检波值通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重被计算,并且该成像单元的曝光控制基于该检波值被执行。
在本技术的第二方面中,在由成像单元拍摄的捕获图像中,检波值通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重被计算,并且该成像单元的曝光控制基于该检波值被执行。
在本技术的第三方面中,在由成像单元拍摄的捕获图像中,检波值通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重被计算,该成像单元的曝光控制基于该检波值被执行,并且移动控制基于该捕获图像被执行。
本发明的效果
根据本技术的第一方面或第二方面,曝光控制可以被适当地执行。
根据本技术的第三方面,曝光控制可以被适当地执行。结果,移动体的移动可以被适当地控制。
注意,上述效果不是限制性的,并且可以包括在本公开中描述的任何效果。
附图说明
图1是示出了可以应用本技术的移动体控制系统的配置示例的框图。
图2是示出了应用本技术的成像系统的第一实施例的框图。
图3是用于说明由图2中的成像系统执行的曝光控制处理的流程图。
图4是示出了捕获图像的示例的示意图。
图5是示出了分配给划分区域的权重的第一示例的图。
图6是示出了包括高光溢出的捕获图像的示例的示意图。
图7是示出了包括遮挡阴影的捕获图像的示例的示意图。
图8是示出了生存时间的示例的图。
图9是示出了分配给划分区域的权重的第二示例的图。
图10是示出了参数表格的示例的图。
图11是用于说明基于图像梯度的参数的图。
图12是示出了应用本技术的成像系统的第二实施例的框图。
图13是用于说明由图12中的成像系统执行的曝光控制处理的流程图。
图14是用于说明用于设置检波区域的第一方法的图。
图15是用于说明用于设置检波区域的第二方法的图。
图16是用于说明用于设置检波区域的该第二方法的图。
图17是示出了计算机的配置示例的图。
具体实施方式
现在将描述用于实施本技术的方式。将按以下提到的顺序来提供描述。
1.移动体控制系统的配置示例
2.第一实施例(使用亮度的加权平均的示例)
3.第二实施例(设置检波区域的示例)
4.修改例
5.其它
<<1.移动体控制系统的配置示例>>
图1是示出了应用本技术的移动体控制系统100的大致功能的配置示例的框图。
该移动体控制系统100是布置在移动体10中以对该移动体10执行各种类型的控制的系统。
该移动体10包括例如在移动时捕获周围环境的图像并使用该捕获图像执行处理的移动体。该移动体10的示例包括搭载乘客的移动体,诸如车辆、摩托车、自行车、个人移动、飞机、船舶、建筑机械、农业机械(拖拉机)等。另外,该移动体10的示例包括不搭载乘客的移动体,诸如通过远程操作或自动控制移动的无人机、机器人等。而且,例如,该移动体10可以通过直接操作、远程操作或自动控制来移动。
移动体控制系统100包括输入单元101、数据获取单元102、通信单元103、移动体内部设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、存储单元109和自主移动控制单元110。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、存储单元109和自主移动控制单元110经由通信网络111彼此连接。该通信网络111包括例如控制器局域网络(CAN)、本地互连网络(LIN)、诸如IEEE802.3的局域网(LAN)、符合诸如FlexRay(注册商标)的任何标准的通信网络或总线、未标准化的专有通信系统等。注意,该移动体控制系统100中的各个单元可以直接彼此连接而不用该通信网络111。
注意,在该移动体控制系统100中的各个单元经由通信网络111彼此通信的情况下,在下文中省略了关于该通信网络111的描述。例如,输入单元101与自主移动控制单元110之间经由通信网络111的通信被简单地描述为该输入单元101与该自主移动控制单元110之间的通信。
输入单元101包括由用户使用以输入各种类型的数据、指令等的装置。例如,该输入单元101包括诸如触摸面板、按钮、麦克风、开关和操作杆之类的操作装置,以及可以通过除手动操作之外的方法,诸如通过声音、手势等来提供输入的操作装置。此外,例如,该输入单元101可以是利用红外线或其它无线电波的远程控制装置,或者是诸如移动装备或可穿戴装备之类的支持该移动体控制系统100的操作的外部连接的装备。该输入单元101基于由用户输入的数据、指令等来生成输入信号,并将该输入信号供应给该移动体控制系统100中的各个单元。
数据获取单元102包括获取要被用于在移动体控制系统100中处理的数据的各种传感器等,并将获取的数据供应给该移动体控制系统100中的各个单元。
例如,该数据获取单元102包括用于检测移动体10的状态等的各种传感器。具体地,例如,该数据获取单元102包括陀螺仪传感器、加速度传感器和惯性测量单元(IMU),还包括用于检测加速器或其它加速度输入的操作量、减速度输入的操作量、方向指令输入的操作量、旋转数、输入/输出能量和诸如引擎或马达之类的驱动装置的燃料量、引擎或马达等的转矩量、车轮或接头的转速或转矩等的传感器等。
此外,例如,该数据获取单元102包括用于检测关于移动体10的外面的信息的各种传感器。具体地,例如,该数据获取单元102包括诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机、偏振相机和任何其它相机的成像装置。此外,例如,该数据获取单元102包括用于检测天气、气候等的自然环境传感器以及用于检测围绕移动体10的物体的周围环境信息检测传感器。该自然环境传感器包括例如雨滴传感器、雾传感器、日照传感器、雪传感器等。该周围环境信息检测传感器包括例如激光测距传感器、超声传感器、雷达、LiDAR(光检测与测距、激光成像检测与测距)、声纳等。
而且,例如,该数据获取单元102包括用于检测移动体10的当前位置的各种传感器。具体地,例如,该数据获取单元102包括从全球导航卫星系统(GNSS)卫星接收GNSS信号的GNSS接收器等。
通信单元103与移动体内部设备104以及在该移动体外的各种装备、服务器、基站等通信,以发送从移动体控制系统100中的各个单元供应的数据,并将接收的数据供应给移动体控制系统100中的各个单元。注意,由该通信单元103支持的通信协议不受特别地限制,并且该通信单元103可以支持多种类型的通信协议。
例如,该通信单元103通过无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与该移动体内部设备104无线通信。此外,例如,该通信单元103通过通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等经由未示出的连接终端(以及线缆,如果必要的话)执行与该移动体内部设备104的有线通信。
而且,例如,该通信单元103经由基站或接入点与存在于外部网络(例如,互联网、云网络或运营商专用网络)上的装备(例如,应用服务器或控制服务器)通信。此外,例如,该通信单元103使用对等网络(P2P)技术与存在于移动体10附近的终端(例如,行人或商店的终端或机器型通信(MTC)终端)通信。而且,例如,在移动体10是车辆的情况下,该通信单元103执行诸如车辆对车辆通信、车辆对基础设施通信、车辆对家庭(移动体10对家庭)通信、车辆对行人通信等的V2X通信。此外,例如,该通信单元103包括接收从安装在道路上的无线电站等发射的无线电波或电磁波的信标接收单元,以获取关于当前位置、交通拥堵、路障、所需时间等的信息。
移动体内部设备104包括例如由用户拥有的移动装备或可穿戴装备、由移动体10携带或被附连到移动体10的信息装备、搜索到任何目的地的路线的导航装置等。
输出控制单元105控制向用户或向移动体的外面的各种类型的信息的输出。例如,该输出控制单元105生成包括视觉信息(诸如图像数据)或听觉信息(诸如音频数据)中的至少任一种的输出信号,并将该输出信号供应给输出单元106,从而控制来自该输出单元106的视觉信息和听觉信息的输出。具体地,例如,该输出控制单元105组合由在数据获取单元102中的不同的成像装置捕获的多条图像数据,以生成鸟瞰图像、全景图像等,并将包括所生成的图像的输出信号供应给输出单元106。此外,例如,该输出控制单元105生成包括关于诸如碰撞、接触或进入危险区域之类的危险的警告声音、警告消息等的声音数据,并将包括所生成的声音数据的输出信号供应给输出单元106。
输出单元106包括能够向用户或向移动体的外面输出视觉信息或听觉信息的装置。例如,该输出单元106包括显示装置、仪表面板、音频扬声器、耳机、诸如戴在用户上的眼镜型显示器之类的可穿戴装置、投影仪、灯等。包括在该输出单元106中的显示装置不仅可以是具有一般显示器的装置,而且可以是例如在驾驶员的视野中显示视觉信息的装置,诸如平视显示器、透视显示器、具有增强现实(AR)显示功能的装置等。注意,该输出控制单元105和该输出单元106是用于自主移动处理的非必需组件,并且因此在必要时可以被省略。
驱动系统控制单元107通过生成各种控制信号并将该控制信号供应给驱动系统108来控制该驱动系统108。此外,在必要时,该驱动系统控制单元107将控制信号供应给除驱动系统108以外的各个单元,以作出例如该驱动系统108的控制状态的通知。
驱动系统108包括与移动体10的驱动系统有关的各种装置。例如,该驱动系统108包括:布置在四只腿中的每个关节处并且能够接受指定的角度和转矩的伺服马达;分解机器人自身的移动的运动并且将该自身的移动的运动替换为四只腿的运动的运动控制器;以及由每个马达中的传感器和脚底上的传感器支持的反馈控制装置。
在另一示例中,该驱动系统108包括:具有四个至六个机身向上螺旋桨的马达;以及分解该机器人自身的移动的运动并且将该自身的移动的运动替换为每个马达的旋转量的运动控制器。
在又一示例中,该驱动系统108包括:用于生成用于内燃机、驱动马达等的驱动力的驱动力生成装置;用于将驱动力传输给车轮的驱动力传输机构;用于调整转向角度的转向机构;用于生成制动力的制动装置;防抱制动系统(ABS);电子稳定性控制(ESC);以及电力转向装置等。
存储单元109包括例如只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)之类的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等。该存储单元109存储由移动体控制系统100中的各个单元使用的各种程序、数据等。例如,该存储单元109存储包括诸如动态地图之类的三维高精度地图、以比高精度地图低的精度覆盖更广的区域的全球地图、包括关于移动体10的周围环境的信息的局部地图等的地图数据。
自主移动控制单元110执行与自主移动有关的控制,诸如自动驾驶、驾驶辅助等。具体地,例如,该自主移动控制单元110执行以实现以下功能为目的的协调控制:避免移动体10的碰撞或减轻对移动体10的冲击;基于移动体之间的距离的跟随移动;以恒定速度移动移动体;或警告移动体10的碰撞。此外,例如,该自主移动控制单元110执行以自主移动等为目的的协调控制,以自主地移动而不依赖于用户操作。该自主移动控制单元110包括检测单元131、自我位置估计单元132、状况分析单元133、计划单元134和运动控制单元135。
检测单元131检测用于控制自主移动的必要的各种类型的信息。该检测单元131包括移动体外部信息检测单元141、移动体内部信息检测单元142和移动体状态检测单元143。
移动体外部信息检测单元141基于来自移动体控制系统100中的各个单元的数据或信号,来执行检测关于移动体10的外面的信息的处理。例如,该移动体外部信息检测单元141执行检测、识别和跟踪围绕移动体10的物体的处理以及检测到该物体的距离的处理。要检测的物体包括例如另一移动体、人、障碍物、建筑物、道路、交通信号、交通标志、道路标记等。此外,例如,该移动体外部信息检测单元141执行检测移动体10周围的四周自然环境的处理。要检测的四周自然环境包括例如天气、温度、湿度、亮度、道路表面情况等。该移动体外部信息检测单元141将指示该检测处理的结果的数据供应给自我位置估计单元132、状况分析单元133中的地图分析单元151和状况识别单元152以及运动控制单元135等。
移动体内部信息检测单元142基于来自移动体控制系统100中的各个单元的数据或信号,来执行检测关于移动体里的信息的处理。例如,该移动体内部信息检测单元142执行认证和识别驾驶员、检测驾驶员的状态、检测乘客、检测在移动体内的内部环境等的处理。要检测的驾驶员的状态包括例如身体情况、清醒水平、专注水平、疲劳水平、视线方向等。要检测的移动体内部自然环境包括例如温度、湿度、亮度、气味等。该移动体内部信息检测单元142将指示该检测处理的结果的数据供应给状况分析单元133中的状况识别单元152以及运动控制单元135等。
移动体状态检测单元143基于来自移动体控制系统100中的各个单元的数据或信号,来执行检测移动体10的状态的处理。要检测的移动体10的状态包括例如速度、加速度、角速度、转向角度、异常的存在或不存在以及该异常的细节、驾驶操作的状态、电动座椅的位置和倾斜、门被锁或未被锁、安装在该移动体内的其它装置的状态等。该移动体状态检测单元143将指示该检测处理的结果的数据供应给状况分析单元133中的状况识别单元152以及运动控制单元135等。
自我位置估计单元132基于来自移动体控制系统100中的各个单元、包括移动体外部信息检测单元141以及状况分析单元133中的状况识别单元152等的数据或信号,来执行估计移动体10的位置、姿势等的处理。此外,如果必要的话,该自我位置估计单元132生成用于估计自我位置的局部地图(在下文中被称为用于自我位置估计的地图)。该用于自我位置估计的地图可以是例如利用诸如同时定位与地图构建(SLAM)之类的技术的高精度地图。该自我位置估计单元132将指示该估计处理的结果的数据供应给状况分析单元133中的地图分析单元151和状况识别单元152等。此外,该自我位置估计单元132使存储单元109存储该用于自我位置估计的地图。
状况分析单元133执行分析移动体10及其周围环境的状况的处理。该状况分析单元133包括地图分析单元151、状况识别单元152和状况预计单元153。
地图分析单元151执行分析存储在存储单元109中的各种地图的处理,如果必要的话,同时使用来自移动体控制系统100中的各个单元、包括自我位置估计单元132、移动体外部信息检测单元141等的数据或信号,以构建包括自主移动处理的必要的信息的地图。该地图分析单元151将构建的地图供应给状况识别单元152和状况预计单元153以及计划单元134中的路线计划单元161、动作计划单元162和运动计划单元163等。
状况识别单元152基于来自移动体控制系统100中的各个单元、包括自我位置估计单元132、移动体外部信息检测单元141、移动体内部信息检测单元142、移动体状态检测单元143、地图分析单元151等的数据或信号,来执行识别移动体10的状况以及围绕移动体10的状况的处理。例如,该状况识别单元152执行识别移动体10的状况、围绕移动体10的状况、移动体10的驾驶员的状况等的处理。此外,如果必要的话,该状况识别单元152生成用于识别围绕移动体10的状况的局部地图(在下文中被称为用于状况识别的地图)。该用于状况识别的地图可以是例如占用栅格地图、车道地图或点云地图。
要识别的移动体10的状况包括例如移动体10的位置、姿势、移动(例如,速度、加速度、移动方向等)以及异常的存在或不存在、该异常的细节等。要识别的围绕移动体10的状况包括例如围绕其的静止物体的类型和位置,围绕其的移动物体的类型、位置和移动(例如,速度、加速度、移动方向等),围绕其的道路的安排和道路表面情况,以及四周的天气、温度、湿度、亮度等。要识别的驾驶员的状态包括例如身体情况、清醒水平、专注水平、疲劳水平、视线变化、驾驶操作等。
状况识别单元152将指示该识别处理的结果的数据(如果必要的话,包括用于状况识别的地图)供应给自我位置估计单元132、状况预计单元153等。此外,该状况识别单元152使存储单元109存储用于状况识别的地图。
状况预计单元153基于来自移动体控制系统100中的各个单元、包括地图分析单元151、状况识别单元152等的数据和信号,来执行预计移动体10的状况以及围绕移动体10的状况的处理。例如,该状况预计单元153执行预计移动体10的状况、围绕移动体10的状况、驾驶员的状况等的处理。
要预计的移动体10的状况包括例如移动体10的行为、任何的异常的发生、可能的行进距离等。要预计的围绕移动体10的状况包括例如围绕移动体10的移动物体的行为、信号的状态的变化、诸如天气之类的自然环境的变化等。要预计的驾驶员的状况包括例如驾驶员的行为、身体情况等。
状况预计单元153将指示该预计处理的结果的数据与来自状况识别单元152的数据一起供应给计划单元134中的路线计划单元161、动作计划单元162和运动计划单元163等。
路线计划单元161基于来自移动体控制系统100中的各个单元、包括地图分析单元151、状况预计单元153等的数据或信号,来计划到目的地的路线。例如,该路线计划单元161基于全球地图来设置从当前位置到指定的目的地的路线。此外,例如,该路线计划单元161基于包括交通拥堵、交通事故、路障、建筑工作、驾驶员的身体情况等的情况适当地变化该路线。该路线计划单元161将指示计划的路线的数据供应给动作计划单元162等。
动作计划单元162基于来自移动体控制系统100中的各个单元、包括地图分析单元151、状况预计单元153等的数据或信号,来计划移动体10的动作,以使移动体10在计划的时间内沿着路线计划单元161计划的路线安全地移动。例如,该动作计划单元162创建包括开始、停止、行进方向(例如,向前移动、向后移动、向左转弯、向右转弯、向其它方向转弯等)、移动速度、超车等的计划。该动作计划单元162将指示该移动体10的计划的动作的数据供应给运动计划单元163等。
运动计划单元163基于来自移动体控制系统100中的各个单元、包括地图分析单元151、状况预计单元153等的数据或信号,来计划移动体10的运动,以实现由动作计划单元162计划的动作。例如,该运动计划单元163计划加速度、减速度、移动轨迹等。该运动计划单元163将指示该移动体10的计划的运动的数据供应给运动控制单元135等。
运动控制单元135控制移动体10的运动。
更具体地,该运动控制单元135基于由移动体外部信息检测单元141、移动体内部信息检测单元142和移动体状态检测单元143检测的结果,来执行检测诸如碰撞、接触、进入危险区域、驾驶员的异常、移动体10的异常等的紧急情况的处理。在检测到紧急情况的发生时,该运动控制单元135计划移动体10的运动,以避免诸如快速停止、快速转弯等的紧急情况。
此外,该运动控制单元135执行加速度和减速度控制,以实现由运动计划单元163计划的移动体10的运动。例如,该运动控制单元135计算用于实现计划的加速度、减速度或快速停止的驱动力生成装置或制动装置的控制目标值,并将指示计算的控制目标值的控制命令供应给驱动系统控制单元107。
而且,该运动控制单元135执行方向的控制,以实现由运动计划单元163计划的移动体10的运动。例如,该运动控制单元135计算用于实现由该运动计划单元163计划的移动轨迹或快速转弯的转向机构的控制目标值,并将指示计算的控制目标值的控制命令供应给驱动系统控制单元107。
注意,在以下提供了描述的示例中,移动体10在大多数情况下是车辆。
<<2.第一实施例>>
现在将参考图2至图11描述本技术的第一实施例。
注意,该第一实施例主要涉及图1中的移动体控制系统100中的数据获取单元102进行的处理。
<成像系统的配置示例>
图2是示出了代表本技术的第一实施例的成像系统201的配置示例的框图。
该成像系统201是拍摄移动体10的周围环境的图像的系统。该成像系统201包括成像单元211和控制单元212。
注意,该成像系统201可以包括单个装置(例如,成像装置)或包括多个装置。在后一种情况下,例如,成像单元211和控制单元212可以是分别被包括在不同的装置(例如,成像装置和曝光控制装置)中,或者成像单元211与控制单元212的部分可以是被包括在一个装置(例如,成像装置)中,并且该控制单元212的剩余部分可以被包括在不同装置(例如,曝光控制装置)中。
成像单元211拍摄移动体10的周围环境的图像。该成像单元211将作为该成像的结果而获得的图像(在下文中被称为捕获图像)供应给移动体控制系统100中的检测单元131和自我位置估计单元132以及控制单元212中的检波单元221中的权重设置单元231等。
此外,该成像单元211基于来自控制信号生成单元244的控制信号,通过调整成像元件(未示出)的曝光时间(快门速度)、成像元件的增益(感光度)以及光圈大小来调整曝光的量。
控制单元212执行成像单元211的曝光控制等。该控制单元212包括检波单元221和曝光控制单元222。
检波单元221基于捕获图像的亮度检测检波值,并将指示该检波值的检波信号供应给曝光控制单元222中的误差检测单元241。该检波单元221包括权重设置单元231和检波值计算单元232。
如之后所述,权重设置单元231将捕获图像划分为多个划分区域,并分配权重给每个划分区域。该权重设置单元231将该捕获图像和指示各个划分区域的权重的数据供应给检波值计算单元232。
检波值计算单元232基于捕获图像中的各个划分区域的亮度和权重来计算检波值。该检波值计算单元232将指示该检波值的检波信号供应给曝光控制单元222中的误差检测单元241。
曝光控制单元222基于检波信号执行成像单元211的曝光控制。该曝光控制单元222包括误差检测单元241、曝光量设置单元242、控制方法设置单元243以及控制信号生成单元244。
误差检测单元241检测由检波单元221检测的检波值相对于目标值的误差,并将指示检测的误差的数据供应给曝光量设置单元242。
曝光量设置单元242基于该检波值的误差来设置用于成像单元211的曝光量的目标值。该曝光量设置单元242将指示该曝光量的目标值的信息供应给控制方法设置单元243。
控制方法设置单元243设置用于控制成像单元211中的曝光的方法,以使该成像单元211中的曝光量达到目标值。该控制方法设置单元243将该曝光量的目标值以及指示用于控制曝光的方法的数据供应给控制信号生成单元244。
控制信号生成单元244根据用于控制曝光的指定的方法来生成用于控制成像单元211中的曝光的控制信号以使该曝光量达到目标值,并将生成的控制信号供应给成像单元211。
<曝光控制处理>
接下来,将参考图3中的流程图描述由成像系统201执行的曝光控制处理。
例如,该处理在该成像系统201被通电时开始,并在该成像系统201被断电时退出。
在步骤S1中,成像单元211拍摄移动体10的周围环境的图像。该成像单元211将由成像获得的捕获图像供应给检测单元131、自我位置估计单元132、权重设置单元231等。
检测单元131中的移动体外部信息检测单元141(图1)检测例如捕获图像中的特征点以及每个特征点相对于移动体10的位置(距离和方向)。注意,任何方法可以用于检测特征点。
此外,移动体外部信息检测单元141检测例如捕获图像中的每个被摄体的位置、类型等。注意,例如,任何方法可以用于检测被摄体,诸如语义分割、人体检测、车辆检测等。
而且,该移动体外部信息检测单元141检测例如捕获图像中的每个被摄体的移动(例如,速度、移动方向等)。注意,任何方法可以用于检测被摄体的移动。
自我位置估计单元132基于捕获图像和其它来估计移动体10的自我位置。
注意,在下文中,将适当地参考具体示例来描述拍摄的图像是图4中示意性示出的捕获图像P1的情况。。该捕获图像P1是在移动体10的前面捕获的图像,该图像示出了天空、前方道路表面、道路上的其它车辆以及道路两侧的建筑、树木等。
在步骤S2中,权重设置单元231获取关于移动体10及其周围环境的信息。
例如,该权重设置单元231从移动体外部信息检测单元141获取指示检测结果的数据,该检测结果包括捕获图像中的特征点、每个特征点相对于移动体10的位置(距离和方向)以及该捕获图像中的每个被摄体的位置、类型、移动等。
此外,例如,该权重设置单元231从检测单元131中的移动体状态检测单元143(图1)获取指示检测结果的数据,该检测结果包括移动体10的速度、角速度等。
而且,例如,该权重设置单元231从自我位置估计单元132获取指示估计移动体10的自我位置的结果的数据。
在步骤S3中,该权重设置单元231将权重分配给捕获图像中的每个划分区域。具体地,该权重设置单元231将捕获图像划分为多个划分区域。然后,如稍后详细描述的,该权重设置单元231将权重分配给每个划分区域。该权重设置单元231将捕获图像和指示各个划分区域的权重的数据供应给检波值计算单元232。
在步骤S4中,检波值计算单元232基于捕获图像中的各个划分区域的亮度和权重来计算检波值。该检波值计算单元232将指示该检波值的检波信号供应给误差检测单元241。
在此,参考图5至图11描述在步骤S3和步骤S4中用于计算检波值的方法的具体的示例。
<用于计算检波值的第一方法>
首先,以下参考图5至图9描述用于计算检波值的第一方法。
例如,如图5中所示,权重设置单元231将捕获图像P1划分为具有相同的尺寸的n个(在这一示例中为48个)矩形的划分区域i(i=1至n),并且将权重wi分配给每个划分区域i。图5中的每个划分区域i中的数字指示该划分区域i的权重wi。在这一示例中,每一划分区域的权重wi被设置为1。
根据以下等式(1),检波值计算单元232计算各个划分区域i的亮度的加权平均作为检波值。
[数学式1]
Figure BDA0002693944470000161
注意,xi表示划分区域i中各个像素的亮度的平均xi(在下文中被称为平均亮度xi)。
在此,图5中的示例示出了每一划分区域i的权重wi被设置为1。然后,将1代入等式(1)中的权重wi中得到以下等式(2)。
[数学式2]
Figure BDA0002693944470000171
即,如果每个划分区域i的权重wi被设置为1,则检波值等于各个划分区域i的平均亮度xi的平均。换句话说,该检波值等于捕获图像P1中的各个像素的亮度的简单平均。
然而,如果检波值被设置为捕获图像中的各个像素的亮度的简单平均,在围绕移动体10的亮度突然地变化的情况下,成像单元211中的曝光可能不总是适当地被控制。即,由于曝光控制通常是基于依据在预定数量的帧之前或在预定的时间之前较早地拍摄的捕获图像的检波值而被执行,当四周亮度突然地变化时,该曝光控制可能未能快速地跟随该四周亮度的变化。
例如,在隧道或森林的出口等附近在从黑暗的地方移动到明亮的地方的时候,该曝光控制可能未能被及时执行,导致捕获图像在明亮区域中具有高光溢出。
例如,图6示意性地示出了在森林的出口附近拍摄的捕获图像P2。例如,该捕获图像P2中的区域A1被导致在该森林的出口附近以及该出口前方的明亮区域中具有高光溢出。因此,该森林外的状况可能不能被准确地识别,这可能降低自我位置估计、障碍物识别等的准确性。
此外,例如,在隧道或森林的入口等附近在从明亮的地方移动到黑暗的地方的时候,该曝光控制可能未能被及时执行,导致捕获图像在黑暗区域中具有遮挡阴影。
例如,图7示意性地示出了在隧道的入口附近拍摄的捕获图像P3。例如,该捕获图像P3中的区域A2被导致在该隧道里的黑暗区域中具有遮挡阴影。因此,该隧道里的状况可能不能被准确地识别,这可能导致自我位置估计、障碍物识别等的麻烦。
为了解决这个问题,首先,权重设置单元231预计每个划分区域i的生存时间ti。
生存时间ti指的是在作为用于预计该生存时间的基础的参考时间之上及之后,划分区域i(在该划分区域中的被摄体)继续被示出在该捕获图像中的时间段。换句话说,生存时间ti指的是在该参考时间之上及之后,划分区域i(在该划分区域中的被摄体)保持在成像单元211的视角内的时间段。更具体地,例如,该生存时间指的是从该生存时间的预计开始的时间点(参考时间)到划分区域i(在该划分区域i中的被摄体)超出成像单元211的视角并不再出现在捕获图像中的时间点的时间段。
例如,该权重设置单元231在捕获图像中的每个划分区域i中设置代表性的特征点pi。
在这一处理中,在划分区域i仅具有一个特征点的情况下,该权重设置单元231将该特征点设置为代表性的特征点pi。
另一方面,在多个特征点存在于划分区域i中的情况下,该权重设置单元231将多个特征点中的一个设置为代表性的特征点pi。例如,该权重设置单元231选择在划分区域i中具有最大区域的被摄体或在划分区域i中最重要的被摄体。在此,该最重要的被摄体指的是最高度需要被识别的被摄体,诸如人、车辆、标志等。然后,该权重设置单元231将例如在选择的被摄体的特征点中具有最大特征量的特征点设置为代表性的特征点pi。
可替代地,例如,该权重设置单元231在不考虑被摄体的情况下,将在划分区域i中具有最大特征量的特征点或最靠近划分区域i的中心的特征点设置为代表性的特征点pi。
然后,该权重设置单元231基于例如移动体10的速度和移动方向以及从移动体10到代表性的特征点pi的距离和方向,来预计划分区域i的生存时间ti。例如,假设移动体10继续以当前的速度沿当前的移动方向移动,则该权重设置单元231预计当代表性的特征点pi超出捕获图像时的时间(当代表性的特征点超出成像单元211的视角时的时间)。该权重设置单元231将从当前的时间到该预计的时间的时间段设置为划分区域i的生存时间ti。
图8示出了在移动体10沿箭头方向移动的情况下,捕获图像P1中的每个点的生存时间的示例。图中的每个黑点下方的数值指示每个点的生存时间。
在该示例中,在相对于移动体10的行进方向更靠近该移动体10的被摄体上的点具有更短的生存时间。相反,在相对于移动体10的行进方向更远离该移动体10的被摄体上的点具有更长的生存时间。
注意,该权重设置单元231可以通过进一步考虑在划分区域i中的被摄体的移动来预计生存时间ti。
例如,该权重设置单元231基于移动体10的速度和移动方向、具有代表性的特征点pi的被摄体(在下文中被称为代表性的被摄体)的特征点的速度和移动方向以及从该移动体10到该代表性的特征点pi的距离和方向,来预计生存时间ti。例如,假设移动体10和代表性的被摄体继续以当前的速度沿当前的移动方向移动,则该权重设置单元231预计当该代表性的特征点pi超出该捕获图像时的时间(当该代表性的特征点超出成像单元211的视角时的时间)。该权重设置单元231将从当前的时间到该预计的时间的时间段设置为划分区域i的生存时间ti。
接下来,该权重设置单元231基于该生存时间ti,通过使用例如以下等式(3)的函数f来计算每个划分区域i的权重wi。
wi=f(l,D,ti,v,ω) (3)
注意,l表示时间滞后,D表示曝光深度,v表示移动体10的速度,以及ω表示该移动体10的角速度。
时间滞后l指示曝光控制所需的时间。例如,该时间滞后l指示从捕获图像的获取到基于该捕获图像的曝光控制的结束的时间段(时间滞后)。该时间滞后l可以被描述为例如反映曝光所需的时间段。
注意,该时间滞后l可以是固定值或可变值。在可变值的情况下,该时间滞后l基于例如检波值中的变化的量被设置。在该检波值中的变化的量较大的情况下,即,当围绕移动体10的亮度以较大的程度变化时,该时间滞后l被设置为更大的值,因为该曝光控制通常花费更长的时间。在该检波值中的变化的量较小的情况下,即,当围绕移动体10的亮度几乎保持不变时,该时间滞后l被设置为更小的值,因为该曝光控制通常花费更短的时间。
曝光深度D指示期望的曝光的深度,即,从移动体10到要被调整的曝光的位置的距离。
然后,例如,通过函数f,在过了时间滞后l之后(在当该曝光控制结束时的时间),对于在捕获图像中成为主导的并具有更高的重要性的划分区域i的权重wi被设置为较大的值。另一方面,例如,在过了时间滞后l之后,对于在捕获图像中成为非主导的并具有更低的重要性的划分区域i的权重wi被设置为较小的值。
在此,在过了时间滞后l之后,在捕获图像中成为主导的划分区域i指的是,例如,被预计为在过了时间滞后l之后拍摄的捕获图像中占有更大的区域的划分区域i。在过了时间滞后l之后拍摄的捕获图像中,由划分区域i占有的区域基于例如划分区域i的生存时间ti以及移动体10的速度v、角速度ω等被预计。
此外,划分区域i的重要性基于例如时间滞后l、曝光深度D、生存时间ti以及移动体10的速度v和角速度ω等被预计。例如,随着经过时间滞后l之后从移动体10到划分区域i(在该划分区域中的被摄体)的预计距离与曝光深度D之间的差异减小,即,随着划分区域i(在该划分区域中的被摄体)更靠近在过了时间滞后l之后要被调整的曝光的位置,划分区域i被预计为具有更高的重要性。相反,例如,随着经过时间滞后l之后从移动体10到划分区域i(在该划分区域中的被摄体)的预计距离与曝光深度D之间的差异变大,即,随着划分区域i(在该划分区域中的被摄体)更远离在过了时间滞后l之后要被调整的曝光的位置,划分区域i被预计为具有更低的重要性。
图9以与图5相似的方式示出了通过使用函数f分配给在捕获图像P1中的每个划分区域i的权重wi的示例。
例如,更大的权重wi被分配给位于捕获图像P1的中心附近的并且具有更靠近(时间滞后l+曝光深度D/速度v)的生存时间ti的划分区域i。具体地,更大的权重wi被分配给示出了移动体10稍前方的道路表面、该道路表面上的车辆以及移动体10稍前方的建筑和其它的划分区域i。
另一方面,更小的权重被分配给被预计为在过了时间滞后l之后不存在于捕获图像中的划分区域i(被预计为在过了时间滞后l时的时间超出成像单元211的视角的划分区域i)。例如,更小的权重被分配给其生存时间ti比该时间滞后l短的划分区域i。具体地,例如,更小的权重wi被分配给围绕捕获图像Pi的左端和右端以及四个角的划分区域i。此外,例如,更小的权重wi被分配给远离移动体10的划分区域i。具体地,例如,更小的权重wi被分配给示出了围绕道路的消失点的天空或地区的划分区域i。
然后,根据上述等式(1),检波值计算单元232通过使用分配给每个划分区域i的权重wi来计算各个划分区域i的亮度的加权平均,以计算检波值。
注意,函数f可以被手动地创建和调整,或者可以通过使用机器学习来生成。
此外,例如,该函数f的一个或多个自变量,也就是时间滞后l、曝光深度D、移动体10的速度v以及该移动体10的角速度ω,可以被省略。
<用于计算检波值的第二方法>
接下来,以下参考图10和图11描述了用于计算检波值的第二方法。
该第二计算方法包括获得除权重wi之外的指示每个划分区域i的重要性等的参数
Figure BDA0002693944470000211
并且设置每个划分区域i的权重为参数
Figure BDA0002693944470000216
×权重wi。
例如,权重设置单元231参考图10中所示的参数表格,基于每个划分区域i中的被摄体中尺寸最大的被摄体的类型来设置参数
Figure BDA0002693944470000214
例如,更高的参数
Figure BDA0002693944470000212
被给到更高度需要被识别的被摄体,诸如人、车辆、道路表面、标志等。相反,例如,更低的参数
Figure BDA0002693944470000213
被给到更少需要被识别的被摄体,诸如天空、树木等。
可替代地,例如,权重设置单元231根据以下表达式(3)来设置每个划分区域i的参数
Figure BDA0002693944470000215
Figure BDA0002693944470000221
其中,grad(u,v)表示划分区域i中的坐标(u,v)处的像素的亮度(或像素值)的梯度,并且参数
Figure BDA0002693944470000229
表示划分区域i的图像梯度。
因此,当划分区域i具有较大的图像梯度时,或者具体地,例如,划分区域i中的亮度(或像素值)以较大的程度变化时,参数
Figure BDA00026939444700002210
是较大的值。相反,当划分区域i具有较小的图像梯度时,或者具体地,例如,划分区域i中的亮度(或像素值)以较小的程度变化时,参数
Figure BDA00026939444700002211
是较小的值。
通常,具有较大的图像梯度的划分区域i包括更靠近移动体10的物体,并且划分区域i清楚地示出该物体。另一方面,通常,具有更小的图像梯度的区域包括没有物体的区域或者包括远离移动体10的物体并且不清楚地示出该物体的区域。例如,图11中的捕获图像P1中包括建筑的划分区域A11的参数
Figure BDA0002693944470000222
大于包括天空的划分区域A12的参数
Figure BDA0002693944470000223
然后,根据以下等式(4),检波值计算单元232通过使用分配给每个划分区域的权重
Figure BDA0002693944470000224
来计算各个划分区域i的亮度的加权平均,从而计算检波值。
[数学式3]
Figure BDA0002693944470000225
如上所述,使用参数
Figure BDA0002693944470000226
将较大的权重分配给具有较高的重要性的并且包括更高度需要被识别的被摄体的划分区域i,而将较小的权重分配给具有较低的重要性而不包括任何高度需要被识别的被摄体的划分区域i,借以计算出检波值。
注意,例如,参数
Figure BDA0002693944470000227
可以基于被摄体的类型和图像梯度两者被设置。此外,例如,参数
Figure BDA0002693944470000228
可以通过使用指示另一划分区域i的重要性等的参数被设置。
注意,在任何计算方法中,期望的是,用于计算检波值的捕获图像是还未经过γ校正的原始图像。
返回参考图3,在步骤S5中,误差检测单元241检测检波值中的误差。具体地,误差检测单元241将由检波值计算单元232计算出的检波值与该检波值的目标值之间的差异检测为误差。该误差检测单元241将指示检波值中的误差的数据供应给曝光量设置单元242。
注意,检波值的目标值被设置为例如在成像单元211中的成像元件的像素饱和的亮度的12%到20%之间(例如,18%)的值。
在步骤S6中,曝光量设置单元242设置曝光量的目标值。例如,曝光量设置单元242基于检波值的误差的逐渐变化来设置用于成像单元211的曝光量的目标值,使得检波值近似于该目标值。在处理期间,曝光量设置单元242设置曝光量的目标值,以不使捕获图像具有不自然地变化的亮度,换句话说,例如,以不使捕获图像成为突然地明亮、突然地黑暗或反复地明亮和黑暗。例如,曝光量设置单元242使曝光量的目标值逐渐变化,或者提供将曝光量的目标值固定在检波值的目标值附近而不变化的时间段。
曝光量设置单元242将指示曝光量的目标值的数据供应给控制方法设置单元243。
在步骤S7中,控制方法设置单元243设置曝光控制方法。
成像单元211的曝光量由成像单元211中的成像元件的曝光时间(快门速度)、该成像元件的增益(感光度)和光圈大小来设置。另一方面,例如,过度地增加增益会导致捕获图像具有更多的噪声,然而延长曝光时间会导致捕获图像具有更大的模糊。
因此,控制方法设置单元243适当地设置用于曝光控制方法的分配(曝光时间、增益和光圈),以使得在捕获图像中的噪声和模糊被抑制的同时,曝光量达到目标值。
该控制方法设置单元243将曝光量的目标值和指示用于曝光控制方法的分配的数据供应给控制信号生成单元244。
在步骤S8中,成像系统201执行曝光控制。
具体地,控制信号生成单元244基于曝光量的目标值和用于曝光控制方法的分配来计算曝光时间、增益和光圈大小的控制量。该控制信号生成单元244将指示计算出的曝光时间、增益和光圈的控制量的控制信号供应给成像单元211。
成像单元211基于该控制信号来调整曝光时间、增益和光圈大小。
随后,处理返回到步骤S1,以执行从步骤S1开始的处理步骤。
如上所述,权重被分配给捕获图像中的每个划分区域i以计算检波值,并且曝光控制基于计算出的检波值被执行。结果,对于分配了较大的权重的划分区域i中的被摄体快速地调整曝光。因此,例如,在曝光实际上基于短时间前被拍摄的捕获图像而被控制时,对于在拍摄的捕获图像中是主导的或高度需要被识别的被摄体可以快速地调整曝光,借以可以抑制高光溢出和遮挡阴影的发生。所以,移动体10可以执行具有更高准确性的自我位置估计、障碍物识别等。
<<3.第二实施例>>
现在将参考图12至图16描述本技术的第二实施例。
注意,与第一实施例类似,第二实施例主要涉及图1中的移动体控制系统100中的数据获取单元102进行的处理。
<成像系统的配置示例>
图12是示出了代表本技术的第二实施例的成像系统301的配置示例的框图。注意,与图2中的成像系统201中的部分相对应的该图中的部分被赋予相同的参考标号,并且这些部分的描述被适当地省略。
成像系统301与成像单元201的不同之处在于控制单元311被提供来代替控制单元212。控制单元311与控制单元212的不同之处在于检波单元321被提供来代替检波单元221。
检波单元321包括区域设置单元331以及检波值计算单元332。
如后所述,区域设置单元331设置捕获图像中的检波值被检测的目标区域(在下文中被称为检波区域)。区域设置单元331将该捕获图像和指示该检波区域的数据供应给检波值计算单元332。
检波值计算单元332基于捕获图像中的检波区域的亮度来计算检波值。检波值计算单元332将指示该检波值的检波信号供应给误差检测单元241。
<曝光控制处理>
参考图13中的流程图,以下描述了由成像系统301执行的曝光控制处理。
注意,例如,该处理在成像系统301被通电时开始,并且在成像系统301被断电时退出。
在步骤S101中,与图3中的步骤S1中的处理一样,移动体10的周围环境的图像被捕获。
在步骤S102中,与图3中的步骤S2中的处理一样,关于移动体10和周围环境的信息被获取。
在步骤S103中,区域设置单元331设置检波区域。
例如,区域设置单元331通过与图3中的步骤S3中的上述处理类似的处理来预计捕获图像中的每个划分区域i的生存时间ti。然后,该区域设置单元331基于每个划分区域i的生存时间ti来设置该捕获图像中的检波区域。
例如,区域设置单元331将包括每个划分区域i具有等于或大于预定阈值的生存时间ti的区域设置为检波区域。例如,如图14中所示,在移动体10沿箭头方向移动的情况下,大约在捕获图像P1的中心的矩形区域A21被设置为检波区域。
注意,用于设置检波区域的阈值可以是固定值或可变值。在可变值的情况下,例如,该阈值基于上述等式(3)中的时间滞后l、曝光深度D、移动体10的速度v等被设置。例如,时间滞后l或(时间滞后l+曝光深度D/速度v)被设置为阈值。
可替代地,例如,区域设置单元331根据预定算法并基于移动体10的移动(例如,速度、角速度等)、捕获图像等,来预计被包括在当前的捕获图像中并与过了预定目标时间之后的时间的捕获图像相对应的区域。然后,该区域设置单元331将该预计的区域设置为检波区域。
例如,图15示意性地示出了自从捕获图像P1被拍摄起过了目标时间时被拍摄的捕获图像P4的示例。在这一示例中,例如,在捕获图像P4被拍摄之前,区域设置单元331预计在捕获图像P1中的区域A31,该区域A31与捕获图像P4相对应。即,区域A31是被包括在捕获图像P1中并且被预计为要被示出在要被拍摄于目标时间之后的捕获图像P4上的区域。然后,区域设置单元331将该区域A31设置为检波区域。
注意,例如,算法是通过机器学习来生成的。此外,目标时间可以是固定值或可变值。在可变值的情况下,例如,目标时间基于上述等式(3)中的时间滞后l、曝光深度D、移动体10的速度v等被设置。例如,时间滞后l或(时间滞后l+曝光深度D/速度v)被设置为目标时间。
注意,检波区域不必限于矩形形状,而可以是矩形以外的形状。
此外,例如,除了通过上述方法设置的检波区域之外,可以将包括高度需要被识别的以及具有高重要性的被摄体的区域添加至检波区域。
在步骤S104中,检波值计算单元332计算检波区域的检波值。例如,检波值计算单元332计算捕获图像中的检波区域中的各个像素的亮度的平均作为检波值。该检波值等于通过以下操作而获得的值:将捕获图像中的检波区域的权重设置为1,将除了检波区域以外的区域(被预计为在预定时间内超出成像单元211的视角的区域)的权重设置为0,以及排除捕获图像中被分配的权重为0的区域来计算亮度的平均。
在步骤S105至S108中,与图3中的步骤S5至S8中的处理类似的处理被实行。随后,处理返回到步骤S101,以执行从步骤S101开始的处理步骤。
如上所述,检波区域被设置,检波值基于该检波区域的亮度被计算,并且曝光控制基于计算出的检波值被执行。结果,排除检波区域之外的被摄体并且对于检波区域内的被摄体可以快速地调整曝光。在曝光实际上基于短时间前拍摄的捕获图像而被控制时,对于在拍摄的捕获图像中是主导的或高度需要被识别的被摄体可以快速地调整曝光,借以可以抑制高光溢出和遮挡阴影的发生。所以,移动体10可以执行具有更高准确性的自我位置估计、障碍物识别等。
<<4.修改例>>
下面描述了本技术的上述实施例的修改例。
例如,尽管前面描述了划分区域i是矩形的示例,但是划分区域i可以是矩形以外的形状。
此外,例如,划分区域i可以由单个像素组成。
而且,例如,第一实施例和第二实施例可以被组合。例如,检波区域可以被划分为多个划分区域,并且每个划分区域可以被加权以计算检波值。
<<5.其它>>
<计算机的配置示例>
上述序列的处理步骤可以通过硬件来执行,或者可以通过软件来执行。在该系列的处理步骤是通过软件来执行的情况下,包括在软件中的程序被安装在计算机中。在此,计算机的示例包括并入专用硬件中的计算机、能够通过安装在其中的各种程序来执行各种功能的通用个人计算机等。
图17是示出了通过程序执行上述序列的处理步骤的计算机的示例硬件配置的框图。
在计算机500中,中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504彼此连接。
此外,输入/输出接口505连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接到输入/输出接口505。
输入单元506包括输入开关、按钮、麦克风、成像元件等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移除介质511。
在如上配置的计算机500中,CPU 501通过例如经由输入/输出接口505和总线504将存储在记录单元508中的程序装载到RAM 503中,并执行该程序,从而执行上述系列的处理步骤。
要通过计算机500(CPU 501)执行的程序可以以例如记录在可移除介质511中的封装介质的形式来提供。此外,程序可以经由诸如局域网、互联网或数字卫星广播之类的有线或无线传输介质来提供。
在计算机500中,程序可以通过将可移除介质511装载到驱动器510中,经由输入/输出接口505被安装在记录单元508中。此外,程序也可以通过通信单元509,经由要被安装在记录单元508中的有线或无线传输介质而被接收。此外,程序可以被预安装在ROM 502或记录单元508中。
注意,由计算机执行的程序可以是要以本文所述的顺序按时间序列而被执行的处理步骤的程序,或者可以是要并行地或在例如进行呼叫时根据需要而被执行的处理步骤的程序。
此外,本文中的系统意指多个组件(装备、模块(部件)等)的集合,而不论所有的组件是否都在同一壳体内。因此,包含在单独的壳体中并且经由网络连接的多个装备以及其中多个模块包含在一个壳体中的一个装备都是系统。
此外,本技术的实施例不限于上述实施例,并且在不脱离本技术的要领的情况下可以对其进行各种修改。
例如,本技术可以采用云计算配置,在该云计算配置中,一个功能经由网络被分布给多个装置,并由多个装置协同处置。
此外,以上参考流程图描述的每个步骤不仅可以由一个装置执行,而且可以由多个装置以共享的方式执行。
而且,在一个步骤包括多个处理的情况下,包括在一个步骤中的多个处理不仅可以由一个装置执行,而且可以由多个装置以共享的方式执行。
<配置组合的示例>
本技术可以采用以下任何配置。
(1)一种曝光控制装置,包括:
检波单元,该检波单元在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;以及
曝光控制单元,该曝光控制单元基于该检波值,执行该成像单元的曝光控制。
(2)如(1)中的曝光控制装置,其中
该检波单元基于该捕获图像中的多个区域中的每个区域的生存时间,来计算该检波值。
(3)如(2)中的曝光控制装置,其中
该检波单元基于该生存时间设置该区域的权重,并基于每个所述区域的亮度和权重来计算该检波值。
(4)如(3)中的曝光控制装置,其中
该检波单元通过获得使用该权重的每个所述区域的亮度的加权平均,来计算该检波值。
(5)如(3)或(4)中的曝光控制装置,其中
该检波单元,除了该生存时间之外,还基于曝光控制所需的时间、要调整曝光的距离、包括该成像单元的移动体的速度以及该移动体的角速度中的至少一个,来设置该权重。
(6)如(3)至(5)中的任一项中的曝光控制装置,其中
该检波单元进一步基于该区域内的被摄体的类型设置该权重。
(7)如(3)至(6)中的任一项中的曝光控制装置,其中
该检波单元进一步基于该区域内的图像梯度来设置该权重。
(8)如(2)中的曝光控制装置,其中
该检波单元基于每个所述区域的该生存时间将该捕获图像的部分区域设置为检波区域,并且基于该检波区域的亮度计算该检波值。
(9)如(8)中的曝光控制装置,其中
该检波单元将具有等于或大于预定阈值的该生存时间的该区域设置为该检波区域。
(10)如(1)中的曝光控制装置,其中
该检波单元基于包括该成像单元的移动体的移动和该捕获图像,将该捕获图像的部分区域设置为检波区域,并且基于该检波区域的亮度来计算该检波值。
(11)如(10)中的曝光控制装置,其中
该检波单元将被预计为在预定时间之后由该成像单元成像的区域设置为该检波区域。
(12)如(1)至(11)中的任一项中的曝光控制装置,其中
所述检波单元排除被预计为在该预定时间内超出该成像单元的视角的区域来计算该检波值。
(13)一种曝光控制方法,包括:
在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;以及
基于该检波值,执行该成像单元的曝光控制。
(14)一种程序,被配置为使计算机执行以下处理:
在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;以及
基于该检波值,执行该成像单元的曝光控制。
(15)一种成像装置,包括:
成像单元;
检波单元,该检波单元在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;以及
曝光控制单元,该曝光控制单元基于该检波值,执行该成像单元的曝光控制。
(16)一种移动体,包括:
成像单元;
检波单元,该检波单元在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出该成像单元的视角的区域的权重,来计算检波值;
曝光控制单元,该曝光控制单元基于该检波值,执行该成像单元的曝光控制;以及
移动控制单元,该移动控制单元基于该捕获图像来执行移动控制。
注意,在本文中描述的效果仅是示例而不是限制性的,并且其它效果也可以被提供。
参考标志列表
10 移动体
100 移动体控制系统
102 数据获取单元
131 检测单元
132 自我位置估计单元
141 移动体外部信息检测单元
143 移动体状态检测单元
201 成像系统
211 成像单元
212 控制单元
221 检波单元
222 曝光控制单元
231 权重设置单元
232 检波值计算单元
241 误差检测单元
242 曝光量设置单元
243 控制方法设置单元
244 控制信号生成单元
301 成像系统
311 控制单元
321 检波单元
331 区域设置单元
332 检波值计算单元

Claims (16)

1.一种曝光控制装置,包括:
检波单元,所述检波单元在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出所述成像单元的视角的区域的权重,来计算检波值;以及
曝光控制单元,所述曝光控制单元基于所述检波值,执行所述成像单元的曝光控制。
2.如权利要求1所述的曝光控制装置,其中
所述检波单元基于所述捕获图像中的多个区域中的每个区域的生存时间,计算所述检波值。
3.如权利要求2所述的曝光控制装置,其中
所述检波单元基于所述生存时间设置所述区域的权重,并基于每个所述区域的亮度和权重来计算所述检波值。
4.如权利要求3所述的曝光控制装置,其中
所述检波单元通过获得使用所述权重的每个所述区域的亮度的加权平均,计算所述检波值。
5.如权利要求3所述的曝光控制装置,其中
所述检波单元,除了所述生存时间之外,还基于曝光控制所需的时间、要调整曝光的距离、包括所述成像单元的移动体的速度以及所述移动体的角速度中的至少一个,设置所述权重。
6.如权利要求3所述的曝光控制装置,其中
所述检波单元进一步基于所述区域内的被摄体的类型设置所述权重。
7.如权利要求3所述的曝光控制装置,其中
所述检波单元进一步基于所述区域内的图像梯度设置所述权重。
8.如权利要求2所述的曝光控制装置,其中
所述检波单元基于每个所述区域的所述生存时间将所述捕获图像的部分区域设置为检波区域,并且基于所述检波区域的亮度计算所述检波值。
9.如权利要求8所述的曝光控制装置,其中
所述检波单元将具有等于或大于预定阈值的所述生存时间的所述区域设置为所述检波区域。
10.如权利要求1所述的曝光控制装置,其中
所述检波单元基于包括所述成像单元的移动体的移动和所述捕获图像,将所述捕获图像的部分区域设置为检波区域,并且基于所述检波区域的亮度计算所述检波值。
11.如权利要求10所述的曝光控制装置,其中
所述检波单元将被预计为在预定时间之后由所述成像单元成像的区域设置为所述检波区域。
12.如权利要求1所述的曝光控制装置,其中
所述检波单元排除被预计为在所述预定时间内超出所述成像单元的视角的区域来计算所述检波值。
13.一种曝光控制方法,包括:
在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出所述成像单元的视角的区域的权重,来计算检波值;以及
基于所述检波值,执行所述成像单元的曝光控制。
14.一种计算机可读存储介质,其上存储有程序,所述程序包括指令,当所述指令由计算机执行时使所述计算机执行以下处理:
在由成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出所述成像单元的视角的区域的权重,来计算检波值;以及
基于所述检波值,执行所述成像单元的曝光控制。
15.一种成像装置,包括:
成像单元;
检波单元,所述检波单元在由所述成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出所述成像单元的视角的区域的权重,来计算检波值;以及
曝光控制单元,所述曝光控制单元基于所述检波值,执行所述成像单元的曝光控制。
16.一种移动体,包括:
成像单元;
检波单元,所述检波单元在由所述成像单元拍摄的捕获图像中通过减小对于被预计为在预定时间内超出所述成像单元的视角的区域的权重,来计算检波值;
曝光控制单元,所述曝光控制单元基于所述检波值,执行所述成像单元的曝光控制;以及
移动控制单元,所述移动控制单元基于所述捕获图像执行移动控制。
CN201980021050.9A 2018-03-29 2019-03-15 曝光控制装置、曝光控制方法、程序、成像装置和移动体 Active CN111886854B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-064978 2018-03-29
JP2018064978 2018-03-29
PCT/JP2019/010758 WO2019188390A1 (ja) 2018-03-29 2019-03-15 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体

Publications (2)

Publication Number Publication Date
CN111886854A CN111886854A (zh) 2020-11-03
CN111886854B true CN111886854B (zh) 2022-10-04

Family

ID=68059953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980021050.9A Active CN111886854B (zh) 2018-03-29 2019-03-15 曝光控制装置、曝光控制方法、程序、成像装置和移动体

Country Status (6)

Country Link
US (1) US11363212B2 (zh)
EP (1) EP3780578A4 (zh)
JP (1) JP7243714B2 (zh)
KR (1) KR20200136398A (zh)
CN (1) CN111886854B (zh)
WO (1) WO2019188390A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7324160B2 (ja) * 2020-02-19 2023-08-09 キヤノン株式会社 撮影制御装置、撮像装置、撮影制御方法、及びプログラム
US20230254588A1 (en) * 2020-07-15 2023-08-10 Sony Group Corporation Information processing device, information processing method, and program
JP2022053967A (ja) * 2020-09-25 2022-04-06 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、および撮像制御方法ならびに移動体
CN114697560A (zh) * 2020-12-31 2022-07-01 浙江舜宇智能光学技术有限公司 基于tof成像系统的主动曝光方法及曝光时间的计算方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323496A (zh) * 2015-02-13 2016-02-10 维沃移动通信有限公司 自动曝光方法、拍照装置及移动终端
CN105827990A (zh) * 2016-01-22 2016-08-03 维沃移动通信有限公司 一种自动曝光方法及移动终端
CN106791472A (zh) * 2016-12-29 2017-05-31 努比亚技术有限公司 一种曝光方法及终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444004B2 (en) 2004-03-29 2008-10-28 Fujifilm Corporation Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
DE102006007092A1 (de) 2005-03-01 2006-09-07 Denso Corp., Kariya Bildgebungsvorrichtung
JP4214160B2 (ja) 2006-08-31 2009-01-28 フジノン株式会社 監視カメラシステム
JP5737306B2 (ja) 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
JP6471528B2 (ja) 2014-02-24 2019-02-20 株式会社リコー 物体認識装置、物体認識方法
JP6648411B2 (ja) 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
CN112839169B (zh) 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
CN104320654B (zh) 2014-10-28 2017-04-05 小米科技有限责任公司 测光方法及装置
JP6657925B2 (ja) 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
CN105227857B (zh) 2015-10-08 2018-05-18 广东欧珀移动通信有限公司 一种自动曝光的方法和装置
WO2017203794A1 (ja) 2016-05-24 2017-11-30 株式会社Jvcケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
JP6501091B1 (ja) 2017-10-30 2019-04-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像装置、移動体、制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323496A (zh) * 2015-02-13 2016-02-10 维沃移动通信有限公司 自动曝光方法、拍照装置及移动终端
CN105827990A (zh) * 2016-01-22 2016-08-03 维沃移动通信有限公司 一种自动曝光方法及移动终端
CN106791472A (zh) * 2016-12-29 2017-05-31 努比亚技术有限公司 一种曝光方法及终端

Also Published As

Publication number Publication date
KR20200136398A (ko) 2020-12-07
CN111886854A (zh) 2020-11-03
WO2019188390A1 (ja) 2019-10-03
US20210029287A1 (en) 2021-01-28
EP3780578A4 (en) 2021-04-21
US11363212B2 (en) 2022-06-14
JPWO2019188390A1 (ja) 2021-04-15
EP3780578A1 (en) 2021-02-17
JP7243714B2 (ja) 2023-03-22

Similar Documents

Publication Publication Date Title
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
US11698642B2 (en) Information processing apparatus, mobile object, control system, and information processing method
CN111886854B (zh) 曝光控制装置、曝光控制方法、程序、成像装置和移动体
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
US20220180483A1 (en) Image processing device, image processing method, and program
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
US11501461B2 (en) Controller, control method, and program
EP3805045B1 (en) Information processing device, information processing method
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant