CN109963077A - 半导体器件、成像系统和程序 - Google Patents

半导体器件、成像系统和程序 Download PDF

Info

Publication number
CN109963077A
CN109963077A CN201811574041.6A CN201811574041A CN109963077A CN 109963077 A CN109963077 A CN 109963077A CN 201811574041 A CN201811574041 A CN 201811574041A CN 109963077 A CN109963077 A CN 109963077A
Authority
CN
China
Prior art keywords
data
imaging
main body
semiconductor devices
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811574041.6A
Other languages
English (en)
Inventor
安田浩司
川口裕史
冢本光一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN109963077A publication Critical patent/CN109963077A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本发明的各实施例涉及半导体器件、成像系统和程序。半导体器件包括:成像时间判定电路,其判定针对相机的成像估计时间;主体判定电路,其在每个预先设定的时间获得包含与相机和对象之间的相对位置有关的信息的距离数据,并且根据基于距离数据来判定主体;移动矢量计算电路,其基于在多个不同时间所获得的距离数据的多个片段来计算主体的移动矢量;以及成像条件判定电路,其计算作为在成像估计时间的相机与主体之间的相对位置的主体位置估计数据,判定在成像估计时间的成像条件,并且根据所判定的成像条件来指示相机在成像估计时间成像。

Description

半导体器件、成像系统和程序
相关申请的交叉引用
于2017年12月22日提交的包括说明书、附图和摘要的日本专利申请号2017-246319的公开内容以其整体内容通过引用并入本文。
技术领域
本发明涉及半导体器件、成像系统和程序。
背景技术
近年来,与用于汽车和自动驾驶的先进驾驶支持系统有关的技术得到了极大地发展。这些系统包括成像装置,并且通过成像装置获得汽车周围的图像。这些系统通过使用所获得的图像识别汽车周围的对象。因此,为了提高汽车周围的对象的识别精度,期望获得高清晰度图像。此外,已经对用于获得高清晰度图像的技术提出了各种建议。
在日本未经审查的专利申请公开号Hei 1(1989)-309478中描述的图像输入/输出装置具有聚焦在多个不同对象表面上的部件、用于输入聚焦在不同对象表面上的多个图像的部件、以及将输入图像添加到一起的部件。此外,图像输入/输出装置具有通过使用空间频率滤波的部件对添加在一起的图像执行恢复处理的部件。
在日本未经审查的专利申请公开号2006-322796中描述的图像处理装置具有成像单元、检测单元和到达位置预测单元,成像单元被安装在移动对象中以产生与预定成像视场相对应的一组图像信号,检测单元获得移动对象的移动信息,到达位置预测单元在预定时间段之后预测自身车辆的到达位置。此外,图像处理装置包括运算范围设定单元和运算单元,运算范围设定单元基于预测结果设定作为针对图像信号组的处理范围的运算范围,运算单元基于与所设定的运算范围相对应的图像信号组来计算到位于成像视场内的对象的距离。
发明内容
然而,日本未经审查的专利申请公开号Hei 1(1989)-309478的技术关注于聚焦深度,该聚焦深度是当成像传感器的位置相对于静止的主体来回改变时保持通过对主体成像而获得的图像的清晰度的指标。即,日本未经审查的专利申请公开号Hei 1(1989)-309478的技术没有考虑在成像时移动图像输入装置或主体。此外,日本未经审查的专利申请公开号2006-322796的技术没有考虑根据输出距离信息来控制焦距。
发明人考虑了通过将在日本未经审查的专利申请公开号Hei 1(1989)-309478中描述的技术应用于在日本未经审查的专利申请公开号2006-322796中描述的移动对象中所安装的成像装置而获得的系统。结果,发明人发现在从系统测量成像装置和主体之间的距离的时间到成像装置对主体成像的时间所流逝的时间段内成像装置的测距点和主体的位置发生移位。随着测距点和主体的位置被移位,成像的图像变得模糊。即,发明人发现了一个问题,即在通过相关技术对汽车的周围环境成像的情况下,由于测距点和主体的位置发生移位,所以成像的图像变得模糊。
根据本说明书和附图的描述,其它问题和新颖特征将变得显而易见。
根据一个实施例,当允许相机对与相机的相对位置改变的对象成像时,半导体器件根据触发信号判定相机的成像估计时间,以开始用于判定相机的成像条件的一系列处理。此外,半导体器件在每个预先设定的时间获得包含与相对位置有关的信息的距离数据,并且根据触发信号基于距离数据来判定主体。进一步地,半导体器件基于在多个不同时间获得的距离数据的多个片段来计算主体的移动矢量,并且基于计算出的移动矢量来估计在成像估计时间处相机和主体之间的相对位置。此外,半导体器件基于相对位置来判定在成像估计时间的成像条件,并且根据所判定的成像条件指示相机在成像估计时间成像。
根据实施例,半导体器件可以在移动的对象或主体被移动的情况下抑制待获得的图像数据劣化。
附图说明
图1是嵌入一个实施例的汽车的概略配置图;
图2是根据第一实施例的半导体器件的硬件配置图;
图3是根据第一实施例的半导体器件的功能框图。
图4是用于示出根据第一实施例的半导体器件中的主体信息更新处理的流程图;
图5是根据第一实施例的半导体器件执行的处理的流程图;
图6是用于示出根据第一实施例的判定半导体器件中成像条件的一系列处理的流程图;
图7是根据第二实施例的半导体器件的功能框图;
图8是用于示出根据第二实施例的半导体器件中的主体信息更新处理的流程图;
图9是根据第三实施例的半导体器件的功能框图;
图10是用于示出根据第三实施例的半导体器件中的显示帧速率的设定示例的示图;
图11是根据第四实施例的半导体器件的功能框图;
图12是用于示出根据第四实施例的半导体器件中的聚焦区域的设定示例的示图;
图13是用于示出在根据第四实施例的移动对象已经停靠在登记位置处的情况下的聚焦区域的一个示例的示图;
图14是用于示出在根据第四实施例的移动对象已经停靠在非登记位置处的情况下的聚焦区域的一个示例的示图;以及
图15是用于示出根据第四实施例的半导体器件中的主体信息更新处理的流程图。
具体实施方式
为了使解释清楚,适当地省略和简化以下描述和附图。此外,在附图中图示的作为用于执行各种处理的功能块的每个元件可以使用CPU(中央处理单元)、存储器或其它电路作为硬件来配置,并且可以通过作为软件加载到存储器的程序等来实现。因此,本领域技术人员可以理解,这些功能块可以以各种形式实现,诸如仅硬件、仅软件或其组合,并且不限于这些中的任何一个。因此,在以下描述中,作为电路所例证的配置可以通过硬件、软件或硬件和软件两者来实现,并且示出为实现功能的电路的配置可以被示为实现相同功能的软件的一部分。例如,作为控制电路所描述的配置可以被描述为控制单元。应当注意,在每个附图中相同的元件跟随有相同的标记,并且根据需要省略其重复解释。
进一步地,可以使用各种类型的非暂时性计算机可读介质来存储上述程序并将其提供给计算机。非暂时性计算机可读介质包括各种类型的有形记录介质。非暂时性计算机可读介质的示例包括磁记录介质(例如,软盘、磁带或硬盘驱动器)、磁光记录介质(例如,磁光盘)、CD-ROM(只读存储器)、CD-R、CD-R/W和半导体存储器(例如,掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM或RAM(随机存取存储器))。进一步地,可以通过各种类型的暂时性计算机可读介质来将程序提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。程序可以由暂时性计算机可读介质经由诸如电线或光纤的有线通信路径或无线通信路径提供给计算机。
首先,将参考图1描述一个实施例的概略。图1是嵌入实施例的汽车的概略配置图。图1是汽车1的俯视图。成像系统10安装在汽车1中。成像系统10是通过相机在汽车周围成像的系统。成像系统10具有半导体器件100、相机980和距离传感器990作为主要构成元件。成像系统10允许半导体器件100处理由距离传感器990产生的对象的距离数据,并且允许相机980基于处理结果对对象成像。由成像系统10成像的图像可以用于例如行车记录仪、汽车导航系统等。
半导体器件100被安装在诸如汽车1的中控台的任意位置。相机980是包括成像元件的装置,该成像元件用于对例如汽车1的行进方向上的图像成像。距离传感器990至少包括相机980在检测范围中成像的范围,并且检测每个对象在检测范围中的位置和距离。距离传感器990是诸如LIDAR(激光成像检测和测距)的装置,其检测到位于长距离的目标的距离。半导体器件100、相机980和距离传感器990被耦合以便彼此适当地可通信。
<第一实施例>
接下来,将参考图2来描述第一实施例。图2是根据第一实施例的半导体器件的硬件配置图。半导体器件100判定成像条件以允许相机对与相机的相对位置改变的对象成像,并且基于所判定的成像条件向相机发送指令。半导体器件100被耦合到距离传感器990、相机980、外部存储器970、ECU装置960和显示器950。半导体器件100具有控制电路110、内部存储器120、图像处理电路130、图像数据输入IF 140、总线IF 150、图像数据输出IF 160和总线170作为主要配置。
控制电路110是包括被称为CPU或MPU(微处理单元)的运算装置的控制电路。控制电路110通过总线170控制每个单元。控制电路110输出用于开始一系列处理的触发信号,以判定相机980的成像条件。
内部存储器120是存储各种数据的存储装置。内部存储器120使用例如,易失性存储器(诸如DRAM(动态随机存取存储器)或SDRAM(同步动态随机存取存储器))、非易失性存储器(诸如EPROM(可擦除可编程只读存储器)或闪速存储器)、或其组合来配置。内部存储器120存储从距离传感器990接收的距离数据。
图像处理电路130是运算电路,该运算电路通过总线170接收各种数据,计算所接收的各种数据,并且输出运算结果。图像处理电路130包括例如诸如GPU(图形处理单元)或图像处理加速器的集成电路。图像处理电路130从控制电路110接收触发信号,并且根据所接收的触发信号判定相机的成像估计时间。进一步地,图像处理电路130根据从控制电路110接收的触发信号获得在内部存储器120中存储的距离数据,并且基于所获得的距离数据判定主体。图像处理电路130基于在多个不同时间获得的距离数据的多个片段来计算主体的移动矢量。此外,图像处理电路130基于移动矢量估计在成像估计时间处相机980与主体之间的相对位置。然后,图像处理电路130基于相对位置来判定在成像估计时间的成像条件,并且根据所判定的成像条件指示相机980在成像估计时间成像。除了上述功能之外,图像处理电路130还可以接收由相机980生成的图像数据的多个片段,以合成图像数据的所接收的多个片段。
图像数据输入IF 140是半导体器件100通过其从半导体器件100的外部装置接收图像数据的接口(IF),并且通过总线170将所接收的图像数据传输到半导体器件100的内部。更具体地,图像数据输入IF 140从距离传感器990接收距离数据,并且将所接收的距离数据传输到内部存储器120。此外,图像数据输入IF 140从相机980接收图像数据,并且通过总线170将所接收的图像数据传输到内部存储器120、图像处理电路130等。图像数据输入IF140例如是用于输入诸如CSI(相机串行接口)的图像数据的接口。应当注意,在本说明书中,图像数据包括由距离传感器990生成的距离数据。
总线IF150是半导体器件100通过其向半导体器件100的外部装置传输各种数据或从半导体器件100的外部装置接收各种数据的接口。更具体地,总线IF 150指示相机980的成像条件。此外,总线IF 150从外部存储器970接收程序数据,并将所接收的程序数据传输到内部存储器120。此外,总线IF 150从ECU装置接收与汽车1有关的数据,并且通过总线170将所接收的数据传输到内部存储器120、图像处理电路130等。
图像数据输出IF 160是通过其将由半导体器件100产生的图像数据输出到半导体器件100的外部的接口。更具体地,图像数据输出IF 160通过总线170接收由例如图像处理电路130生成的图像数据,并将所接收的图像数据输出到显示器950。
距离传感器990例如是诸如LIDAR的装置,其检测到位于长距离的目标的距离。距离传感器990生成包含与相对位置有关的信息的待检测对象的距离数据,并且将所生成的距离数据传输到半导体器件100的图像数据输入IF 140。距离数据包含待检测的对象的形状、大小和位置。即,可以通过分析距离数据来计算存在于汽车1周围的对象的类型以及汽车1和对象之间的相对位置。
相机980例如是包括成像元件的装置,该成像元件对在汽车1的行进方向上的图像成像。相机980从半导体器件100的总线IF 150接收成像条件,并且根据所接收的成像条件成像。相机980将通过成像生成的图像数据传输到半导体器件100的图像数据输入IF 140。
外部存储器970是向半导体器件100的总线IF 150传输数据或从其接收数据的存储装置。外部存储器970例如是非易失性存储装置,诸如闪速存储器、SSD(固态驱动器)或HDD(硬盘驱动器)。外部存储器970可以将预先存储的程序文件传输到半导体器件100的总线IF 150。此外,外部存储器970可以从总线IF 150接收由半导体器件100产生的图像数据。
ECU装置960例证了在汽车1中安装的各种ECU(电子控制单元)。ECU装置960例如是管理来自GPS(全球定位系统)的汽车1的移动速度、转向的转向角度和自身车辆位置信息的装置。在汽车1中,ECU装置960被耦合以便通过诸如车载以太网(注册商标),CAN(控制器区域网络)或LIN(局域互连网络)的车载通信总线可通信。在实施例中,ECU装置960将汽车1的移动速度信息和自身车辆位置信息传输到半导体器件100的总线IF 150。
显示器950例如是诸如液晶显示器的装置。显示器950通过半导体器件100的图像数据输出IF 160接收由半导体器件100产生的图像数据,并显示所接收的图像数据。
接下来,将参考图3描述半导体器件100的功能块和信号流。图3是根据第一实施例的半导体器件的功能框图。
内部存储器120从距离传感器990接收距离数据,并且将所接收的距离数据存储到距离数据存储区域121中。内部存储器120根据来自图像处理电路130的请求将所存储的距离数据传输到图像处理电路130。应当注意,半导体器件100可以被设定为在每个预先设定的时间从距离传感器990接收距离数据。在该情况下,在每个预先设定的时间将新的距离数据写入距离数据存储区域121中。此外,距离数据存储区域121可以被配置使得存储距离数据的多个片段,并且所存储的距离数据的片段中最老的距离数据被诸如环形缓冲器的最新距离数据依序地重写。
控制电路110具有应用实行单元111。控制电路110通过实行预定程序来输出用于开始一系列处理的触发信号,以将相机980的成像条件判定到图像处理电路130的主体判定电路133。
作为根据本公开的主要构造,图像处理电路130具有对象数据生成电路131、移动矢量计算电路132、主体判定电路133和成像时间判定电路134。此外,图像处理电路130具有自身车辆位置估计电路135、主体位置估计电路136、焦距校正电路137和景深确定电路138。应当注意,本文中所描述的图像处理电路130的配置理所当然地仅仅示出了图像处理电路130中所包括的所有配置的一部分。
对象数据生成电路131从内部存储器120的距离数据存储区域121接收距离数据,并且检测在距离数据中所包含的对象以及对象的位置。在下文中,使用距离数据生成的数据被称为对象数据。对象数据包含由对象数据生成电路131检测到的对象的距离数据。为了向主体判定电路133提供最新的对象数据,对象数据生成电路131在每个预先设定的时间从距离数据存储区域121获得距离数据,并且更新和保持最新的对象数据。对象数据生成电路131将对象数据传输到移动矢量计算电路132和主体判定电路133。
移动矢量计算电路132从对象数据生成电路131接收在多个不同时间的对象数据的多个片段,并且基于所接收的对象数据的片段计算所检测的对象的移动矢量。移动矢量计算电路132在每个预先设定的时间从对象数据生成电路131接收最新的对象数据,并且基于所接收的最新的对象数据更新和保持对象的移动矢量。在下文中,与对象的移动矢量有关的数据将被称为移动矢量数据。移动矢量计算电路132将移动矢量数据传输到主体位置估计电路136。
主体判定电路133具有接收触发信号的功能,该触发信号用于允许相机980执行成像处理以根据触发信号判定待成像的主体。主体判定电路133从控制电路110的触发单元112接收触发信号,并且根据所接收的触发信号基于对象数据来判定主体。在下文中,与由主体判定电路133生成的主体有关的数据将被称为主体数据。主体数据包含被选择作为主体的对象的距离数据。主体判定电路133将判定的主体数据传输到成像时间判定电路134、自身车辆位置估计电路135和主体位置估计电路136中的每一个电路。
成像时间判定电路134具有当从主体判定电路133接收主体数据时判定成像估计时间以及将所判定的成像估计时间传输到自身车辆位置估计电路135和主体位置估计电路136的功能。此外,成像时间判定电路134将所判定的成像时间传输到相机980。成像时间判定电路134可以将成像估计时间设定为预先设定的间隔,而不管主体数据如何。此外,成像时间判定电路134可以根据在主体数据中所包含的主体的数目来判定成像估计时间的间隔。应当注意,基于成像系统的每个约束条件来判定可以连续对主体成像的间隔。即,例如,在一个主体的情况下,可以判定一个成像估计时间。在四个或更多个主体的情况下,可以判定四个成像估计时间。
焦距判定电路139判定成像条件,并根据所判定的成像条件指示相机980在成像估计时间成像。更具体地,焦距判定电路139基于与汽车1的移动有关的数据、主体数据、成像估计时间和移动矢量数据来估计在成像估计时间的汽车1和主体之间的相对位置。此外,焦距判定电路139基于估计的相对位置来判定在成像估计时间的焦距,并且根据所判定的焦距指示相机980在成像估计时间成像。焦距判定电路139包括自身车辆位置估计电路135、主体位置估计电路136和焦距校正电路137。
自身车辆位置估计电路135具有基于与汽车1的移动和成像估计时间有关的数据来估计在成像估计时间时汽车1的移动距离的功能。自身车辆位置估计电路135从成像时间判定电路134接收与成像时间有关的数据。与成像时间有关的数据对应于生成根据最新主体数据的距离数据的时间和成像估计时间。此外,自身车辆位置估计电路135从ECU装置960接收自身车辆移动数据。自身车辆移动数据例如是与汽车1的移动速度有关的信息。自身车辆位置估计电路135累积预先设定的阶段的自身车辆移动数据,并使用与累积数据中的从成像时间判定电路134接收的与成像时间有关的数据相对应的数据。利用这种配置,使用与由距离传感器990生成的距离数据的时间相对应的自身车辆移动数据。在实施例中,ECU装置960生成数据的周期(例如,60Hz)短于距离传感器990生成数据的周期(例如,20Hz)。在该情况下,通过使用在比距离传感器990生成数据的周期短的周期中生成的ECU装置960的数据,可以精确地估计汽车1的移动距离。自身车辆位置估计电路135基于所接收的数据估计在成像估计时间时汽车1的移动距离,并且将其传输到焦距校正电路137。应当注意,由自身车辆位置估计电路135生成的数据在下文中将被称为自身车辆位置估计数据。自身车辆位置估计数据是作为移动对象的汽车1的位置估计数据,并且是用于校正主体位置估计数据的数据。
主体位置估计电路136具有基于主体数据、移动矢量数据和成像估计时间估计在成像估计时间时与主体的相对位置的功能。主体位置估计电路136从移动矢量计算电路132接收检测到的移动矢量数据,并且从主体判定电路133接收主体数据。此外,主体位置估计电路136从成像时间判定电路134接收与成像估计时间有关的数据。主体位置估计电路136基于所接收的数据的这些片段来计算在成像估计时间时与主体的相对位置,并且将计算出的数据传输到焦距校正电路137。应当注意,通过估计主体的位置而获得的数据在下文中将被称为主体位置估计数据。主体位置估计数据包含在成像估计时间时主体的距离数据。
焦距校正电路137具有判定作为相机的成像条件的焦距的功能。焦距校正电路137从自身车辆位置估计电路135接收自身车辆位置估计数据,并且从主体位置估计电路136接收主体位置估计数据。焦距校正电路137基于所接收的数据的这些片段判定作为在成像估计时间时相机的成像条件的焦距的设定。更具体地,焦距校正电路137使用自身车辆位置估计数据来校正主体位置估计数据。即,在实施例中,ECU装置960生成数据的周期比距离传感器990生成数据的周期短。因此,焦距校正电路137使用自身车辆位置估计数据来校正与在主体位置估计数据中所包含的汽车1的移动速度有关的数据。因此,可以提高计算焦距的精度。此外,焦距校正电路137将与所判定的焦距的设定有关的数据传输到景深确定电路138。此外,在景深确定电路138未确定修改主体的判定的情况下,焦距校正电路137将与所判定的焦距有关的数据传输到相机980。
景深确定电路138具有在存在多个成像估计时间的情况下计算每个成像估计时间的景深以及确定是否可以对焦距的设定进行集成的功能。景深确定电路138从焦距校正电路137接收与作为成像条件的焦距的设定有关的数据,并且基于所接收的与焦距的设定有关的信息来计算每个成像估计时间的景深。应当注意,景深通常通过以下等式来计算。
[公式1]
[公式2]
[公式3]
DOF=fDOF+rDOF (3)
在等式(1)至(3)的每个等式中,fDOF表示前向景深,c表示允许的混淆圆的直径,F表示光圈值,d表示主体距离,rDOF表示后向景深,并且DOF表示景深。景深是指当相机聚焦于主体时,相机在主体的前向和后向范围中看上去聚焦的宽度。例如,在相机通过不同焦距对主体A和主体B成像并且根据主体A的成像的景深包括主体B的焦距的情况下,通过对主体A成像,主体B被成像为好像被聚焦一样。在该情况下,仅需要相机对聚焦的对象A成像一次。基于这种原理,景深确定电路138计算对于每个成像估计时间的景深,并且确定是否可以对焦距的设定进行集成。然后,在确定可以集成焦距的设定的情况下,景深确定电路138传输数据以再次判定主体。具体地,例如,在对聚焦的主体A成像时的景深包括主体B的焦距的情况下,可以从成像目标中省略主体B。在该情况下,景深确定电路138将以从成像目标删除与主体B有关的信息的数据传输到主体判定电路133。
接下来,将参考图4来描述半导体器件100中的主体信息的更新处理。图4是用于示出根据第一实施例的半导体器件中的主体信息更新处理的流程图。即,图4示出了对象数据生成电路131更新最新距离数据并且移动矢量计算电路132更新与移动矢量有关的最新信息的处理。
首先,对象数据生成电路131获得在内部存储器120中存储的距离数据(步骤S10)。接下来,对象数据生成电路131从所获得的距离数据中检测对象(步骤S11)。由对象数据生成电路131从所获得的距离数据中检测对象的方法不限于一种,并且已经公开了各种方法。因此,在本说明书中将省略其详细解释。作为具体示例,对象数据生成电路131基于在距离数据中所包括的图像数据的每个像素的位置和亮度值来检测每个像素中的亮度梯度,并且可以基于检测到的亮度梯度来计算每个像素的特征量。对象数据生成电路131可以基于计算出的特征量来检测对象存在。
接下来,对象数据生成电路131将距离数据和与检测到的对象有关的数据传输到移动矢量计算电路132。当接收数据时,移动矢量计算电路132基于过去所接收的距离数据和最新距离数据来计算每个对象的移动矢量(步骤S12)。可以基于在不同时间获得的距离数据的多个片段中的对象的位置的改变来计算移动矢量。由于已经公开了各种技术,因此在本说明书中将省略对计算移动矢量的具体方法的详细解释。
接下来,对象数据生成电路131利用与检测到的对象有关的数据来更新主体信息(步骤S13)。当更新主体信息时,对象数据生成电路131确定是否完成处理(步骤S14)。在确定不完成处理的情况下(步骤S14:否),再次获得距离数据(步骤S10)。另一方面,在确定完成处理的情况下(步骤S14:是),对象数据生成电路131完成处理。应当注意,对象数据生成电路131更新主体信息的间隔可以被设定为等于距离传感器990更新距离数据的频率。
半导体器件100通过重复这种处理来保持距离数据,同时总是将相同的距离数据更新为最新状态。因此,对象数据生成电路131可以将最新的距离数据提供给主体判定电路133。
接下来,将参考图5来描述由半导体器件100执行的处理的概略。图5是由根据第一实施例的半导体器件执行的处理的流程图。
首先,半导体器件100通过任意手段接受开始成像的指令(步骤S100)。任意手段可以是由用户指示开始成像的操作,或者从外部设备指示开始成像的命令。
接下来,半导体器件100执行成像条件判定处理(步骤S110)。具体地,半导体器件100的控制电路110输出触发信号。根据显示器的显示帧来判定输出触发信号的间隔。即,例如,在显示器的显示帧速率为60Hz的情况下,半导体器件100以60Hz的周期输出触发信号。此外,响应于触发信号,半导体器件100执行一系列处理以判定相机980的成像条件。应当注意,稍后将描述判定成像条件的一系列处理。
接下来,半导体器件100允许相机980根据所判定的成像条件来执行成像处理(步骤S120)。半导体器件100基于相机980的成像帧速率来指示成像条件。例如,在显示器的显示帧速率是60Hz并且相机980的成像帧速率是240Hz的情况下,半导体器件100可以指示相机980通过一系列处理执行四次成像处理以判定成像条件。在该情况下,相机980根据半导体器件100的指令执行四次成像处理,以产生图像数据的四个片段。
接下来,半导体器件100执行合成由相机980生成的图像数据的片段的处理(步骤S130)。例如,在半导体器件100指示在多个成像估计时间设定不同焦距的情况下,相机980根据指令在多个成像估计时间执行具有不同焦距的成像。此时,设定由相机980成像的多个图像,使得相机聚焦在不同的主体上。在半导体器件100中所包括的图像处理电路130具有合成图像数据的多个片段的功能,如参考图2所述。即,当接收由相机980成像的图像的图像数据时,图像处理电路130根据一系列处理从多个片段的图像数据中提取聚焦的每个部分,并且合成一个清晰图像数据。
接下来,半导体器件100将合成的图像数据输出到显示器950。显示器950显示所接收的图像数据(步骤S140)。
接下来,半导体器件100确定是否完成成像处理(步骤S150)。例如,半导体器件100确定是否存在完成来自用户的成像的指令或者来自外部设备的完成成像的指令。在确定不完成成像处理的情况下(步骤S150:否),半导体器件100通过返回到步骤S110来执行一系列处理以再次判定成像条件。另一方面,在确定完成成像处理的情况下(步骤S150:是),半导体器件100完成所有处理。
通过执行这种处理,成像系统10可以合成由相机980成像的图像数据的多个片段,以在显示器950上显示合成的图像数据。
接下来,将参考图6详细描述由半导体器件100执行的判定成像条件的一系列处理。图6是用于示出根据第一实施例判定半导体器件中的成像条件的一系列处理的流程图。即,图6中所示的流程图对应于图5中的流程图的步骤S110的细节。在每次控制电路110的触发单元112输出触发信号时,半导体器件100执行一系列处理。半导体器件100在一系列处理中指示针对相机980的成像条件。
首先,图像处理电路130的主体判定电路133响应于从触发单元112输出的触发信号来执行判定主体的处理(步骤S111)。例如,主体判定电路133从对象数据生成电路131获得来自最新的对象数据(p0至pn)的主体数据(p0至pm)。应当注意,“p”表示对象的距离数据,“n”和“m”表示等于或大于0的整数,m等于或小于n。即,在距离数据中所包含的对象的数目(例如,n)大于预先设定的数目(例如,m)的情况下,主体判定电路133可以从在距离数据中所包含的那些对象中选择预先设定其数目的对象来作为主体。
接下来,成像时间判定电路134判定由主体判定电路133判定的主体被成像的估计时间(步骤S112)。例如,成像时间判定电路134确定主体数据(p0至pm)的成像估计时间(t0至tm)。应当注意,“t”表示时间信息。
接下来,主体位置估计电路136基于成像估计时间、与主体有关的数据和与对象的移动矢量有关的数据来估计主体的位置(步骤S113)。例如,假设成像估计时间是t0至tm,并且主体数据是p0至pm。此外,假设移动矢量数据是v0至vn。应当注意,“v”表示与对象的移动矢量有关的数据。此时,主体位置估计电路136在每个成像估计时间时计算主体位置估计数据{q0(t0)至qm(tm)}。应当注意,qm(tm)表示在成像估计时间tm处的对象pm的估计位置。
接下来,焦距校正电路137计算针对每个主体的焦距(f0至fm)(步骤S114)。应当注意,如上所述,焦距校正电路137从自身车辆位置估计电路135接收与在成像估计时间的自身车辆位置有关的数据,以及从主体位置估计电路136接收与在成像估计时间的主体的位置有关的数据。
接下来,景深确定电路138计算每个焦距处的景深(D0至Dm)(步骤S115)。
接下来,景深确定电路138基于根据焦距计算的焦距和景深来确定是否可以对焦距的设定进行集成(步骤S116)。
在确定可以集成焦距的设定的情况下(步骤S116:是),景深确定电路138将修改主体的数据传输到主体判定电路133。在该情况下,图像处理电路130返回到步骤S111以再次执行判定主体的处理。处理将根据上述示例进行描述。在上述示例中,假设在焦距f0处的景深是D0。此时,假设焦距f1被包含在焦距f0的景深D0中。在该情况下,可以省略在焦距f1处的成像处理。即,可以省略主体p1。在该情况下,景深确定电路138指示主体判定电路133省略主体p1。
应当注意,景深确定电路138可以重复执行确定处理,或者可以执行预先设定的上限时间。
此外,从景深确定电路138接收修改主体的数据的主体判定电路133可以基于数据来省略和判定主体。此外,主体判定电路133可以判定选择在选择主体的先前处理中未被选择的主体,而不是被省略的主体。
另一方面,在确定不能集成焦距的设定的情况下(步骤S116:否),景深确定电路138允许焦距校正电路137将与焦距设定有关的数据传输到相机980。
接下来,响应于来自景深确定电路138的许可,焦距校正电路137判定焦距,并将指令传输到相机980(步骤S117)。
利用上述配置,根据第一实施例的半导体器件可以判定成像条件,使得在移动的对象或主体被移动的情况下,主体被包括在优选的景深中,并且可以允许相机基于所判定的成像条件对期望的图像数据成像。因此,根据第一实施例的半导体器件可以抑制待获得的图像数据劣化。
<第二实施例>
接下来,将参考图7和图8描述第二实施例。图7是根据第二实施例的半导体器件的功能框图。根据第二实施例的半导体器件200与第一实施例的不同之处在于,内部存储器220具有对象分类数据存储区域222,并且图像处理电路230具有对象优先级判定电路231。
对象分类数据存储区域222存储用于对由对象数据生成电路131检测到的对象进行分类的数据。例如,对象数据生成电路131可以将行人、自行车、标记、障碍物、汽车等作为对象进行检测。此外,对象分类数据存储区域222存储用于将每个对象与成像顺序相关联的数据。
对象优先级判定电路231接收由对象数据生成电路131传输的对象距离数据、由对象分类数据存储区域222传输的对象分类数据、以及与由移动矢量计算电路132传输的对象的移动矢量有关的数据中的每个数据。然后,对象优先级判定电路231基于数据的这些片段生成其中成像优先级与每个检测到的对象相关联的数据,并且将其传输到主体判定电路133。例如,在目标数据生成电路131将对象检测为行人并且作为计算移动矢量的结果要将行人从汽车1移开的情况下,与在行人与汽车1接触的方向上移动行人的情况相比,优先级设定得更低。另一方面,在目标数据生成电路131检测到对象是行人并且作为计算移动矢量的结果行人靠近汽车1的情况下,与在行人离开汽车1的方向上移动行人的情况相比,优先级被设定得更高。
接下来,将参照图8描述根据第二实施例的半导体器件200的主体信息更新处理。图8是用于示出根据第二实施例的半导体器件中的主体信息更新处理的流程图。直到图8中所示的流程图中的步骤S12的处理与根据在图4中所述的第一实施例的半导体器件的流程图中的处理相同。在下文中,将详细描述与第一实施例不同的处理。
在步骤S12之后,对象优先级判定电路231基于由对象数据生成电路131传输的对象数据和由对象分类数据存储区域222传输的对象分类数据,执行对对象进行分类的处理(步骤S23)。
接下来,对象优先级判定电路231基于与被分类的对象有关的数据来计算对象的优先级(步骤S24)。以下是作为计算对象的优先级的一个示例的处理。即,对象优先级判定电路231基于与被分类的对象有关的数据和与由移动矢量计算电路132传输的移动矢量有关的数据来计算接触时间,该接触时间是直到对象与汽车1接触的时间段。作为计算接触时间的结果,对于可能与汽车1接触的对象,对象优先级判定电路231将优先级设定为高。此外,对于在可能与汽车1接触的那些对象中可能较早地与汽车1接触的对象,对象优先级判定电路231将优先级设定为更高。
接下来,对象优先级判定电路231基于计算出的优先级来更新对象的优先级(步骤S25)。当对象优先级判定电路231更新对象优先级时,确定是否完成处理(步骤S26)。在未完成处理的情况下(步骤S26:否),再次获得距离数据(步骤S10)。另一方面,在对象优先级判定电路231确定完成处理的情况下(步骤S26:是),处理完成。对象数据生成电路131再次获得距离数据(步骤S10)。
通过这种配置,根据第二实施例的半导体器件200可以执行成像处理,其中在多个对象中,基于预先设定的优先级的主体被聚焦。
<第三实施例>
接下来,将参考图9和图10描述第三实施例。图9是根据第三实施例的半导体器件的功能框图。根据图9中所示的第三实施例的半导体器件300与根据第一实施例的半导体器件的不同之处在于提供了显示帧速率判定电路331。
显示帧速率判定电路331具有判定显示器950的显示帧速率的功能。显示帧速率判定电路331从ECU装置960接收与汽车1的移动速度有关的信息,并且根据所接收的移动速度来判定显示帧速率。显示帧速率判定电路331将所判定的显示帧速率传输到主体判定电路133。
图10是用于示出根据第三实施例的半导体器件中的显示帧速率的设定示例的示图。在图10所示的表格中,上行表示从ECU装置960接收的汽车1的移动速度。在表格中,示出了汽车1的移动速度S,同时被分成三个部分,诸如“慢于30km/h”,“30km/h或更快且慢于60km/h”,以及“60km/h或更快“。中间行表示与上述移动速度S对应的显示器950的显示帧速率。下行表示每个显示帧的成像图像的数目。
基于图10中所示的表格,显示帧速率判定电路331如下判定显示帧速率。在汽车1的移动速度慢于30km/h的情况下,显示器的显示帧速率是20fps(帧/秒)。在汽车1的移动速度为30km/h或更快且慢于60km/h的情况下,显示器的显示帧速率是30fps。在汽车1的移动速度为60km/h或更快的情况下,显示器的显示帧速率是60fps。如上所述,在实施例中,随着汽车1的移动速度变慢,显示帧速率判定电路331将显示帧速率处理为低。
在半导体器件300中,如上所述判定显示帧速率,而不改变成像帧速率。因此,随着显示帧速率降低,每显示帧的成像图像的数目增加。即,如图10所示,在显示帧速率为20fps的情况下,成像图像的数目是12。在显示帧速率为30fps的情况下,成像图像的数目是8。此外,在显示帧速率为60fps的情况下,成像图像的数目是4。
将返回图9继续解释。主体判定电路133从显示帧速率判定电路331接收显示帧速率,并且从对象数据生成电路131接收最新的对象数据。主体判定电路133根据显示帧速率来判定主体。
成像时间判定电路134根据显示帧速率来判定成像估计时间。在图10中所示的示例的情况下,例如,在汽车1的移动速度慢于30km/h的情况下,成像时间判定电路134判定十二个成像估计时间。在该情况下,半导体器件300合成由相机980成像的图像数据的12个片段,并在显示器950上显示被合成的图像数据。
如上所述,在汽车1缓慢行驶的情况下,与汽车1快速行驶的情况相比,根据第三实施例的半导体器件300选择更多的主体,并且可以对聚焦的所选择的主体成像。此外,即使在汽车1快速行驶的情况下,成像条件也可以被判定使得主体被包括在优选的景深中,并且因为提供了景深确定电路138,所以可以通过相机基于所判定的成像条件来对期望的图像数据成像。因此,根据第三实施例的半导体器件可以抑制待获得的图像数据劣化。
<第四实施例>
接下来,将参照图11描述根据第四实施例的半导体器件。图11是根据第四实施例的半导体器件的功能框图。图11中所示的半导体器件400与根据第一实施例的半导体器件的不同之处在于提供了聚焦区域判定电路431和登记对象数据存储区域122。应当注意,稍后将参考图13的示例详细描述登记对象数据存储区域122。
聚焦区域判定电路431具有在基于对象数据判定主体时判定聚焦区域的功能。这里,聚焦区域是主体判定电路133选择主体的范围。聚焦区域判定电路431从ECU装置960接收与汽车1的移动速度有关的数据,并且基于所接收的数据来判定选择主体的范围的聚焦区域。当判定了聚焦区域时,聚焦区域判定电路431将与所判定的聚焦区域有关的数据传输到主体判定电路133。此外,聚焦区域判定电路431可以具有从对象数据生成电路131接收对象数据以根据所接收的对象数据判定聚焦区域的功能。
将参考图12中所示的示例来描述聚焦区域。图12是用于示出根据第四实施例的半导体器件中的聚焦区域的设定示例的示图。聚焦区域判定电路基于例如聚焦距离和视角来判定聚焦区域。图12中所示的示例与图10中所示的示例相同,其中示出了汽车1的移动速度,并且移动速度被分类为三个阶段,以根据被分类的移动速度来设定聚焦区域。
在图12中,在汽车1的移动速度快于0并且慢于30km/h的情况下,基于聚焦距离L1和视角θ1来判定聚焦区域FA1。此外,在汽车1的移动速度为30km/h或更快且慢于60km/h的情况下,基于比聚焦距离L1更长的L2和比视角θ1更窄的θ2来判定聚焦区域FA2。此外,在汽车1的移动速度为60km/h或更快的情况下,基于比聚焦距离L2长的L3和比视角θ2窄的θ3来判定聚焦区域FA3。如上所述,根据第四实施例的半导体器件400随着汽车1的移动速度变慢而将聚焦距离设定得更短并且视角更宽。应当注意,除了移动速度之外,聚焦区域判定电路431还可以获得汽车1的转向角度信息,以根据所获得的转向角度信息来判定视角的位置。例如,在汽车1基于转向角度信息在右方向上行进的情况下,视角可以被移位到右侧。
将返回图11继续解释。主体判定电路133从聚焦区域判定电路431接收与聚焦区域有关的数据,并且从对象数据生成电路131接收最新的对象数据。主体判定电路133从位于聚焦区域中的对象中选择主体以生成主体数据。
如上所述,根据第四实施例的半导体器件400根据汽车1的移动速度判定聚焦区域,并从所判定的聚焦区域的内部判定主体。因此,半导体器件400可以将成像条件判定为使得在汽车1移动的情况下,主体被包括在优选的景深中,并且可以允许相机基于所判定的成像条件对期望的图像数据成像。因此,根据第四实施例的半导体器件可以抑制根据汽车1的移动速度所获得的图像数据劣化。
接下来,将参考图13描述根据第四实施例的半导体器件400的另一示例。图13是用于示出在根据第四实施例的移动对象已经停靠在登记位置处的情况下的聚焦区域的一个示例的示图。在图13中所示的示例中,聚焦区域判定电路431具有如下功能:从对象数据生成电路131接收对象数据,以基于所接收的对象数据以及在内部存储器120的登记对象数据存储区域122中所存储的登记对象数据来判定聚焦区域。这里,在内部存储器120中所存储的登记对象数据是通过将特定位置信息与特定对象数据相关联而获得的信息。特定位置信息例如是汽车1所位于的位置的信息(诸如GPS信息),并且是与预先登记的位置相对应的信息。此外,特定对象数据是如下获得的对象数据:在汽车1已经以预先设定的取向停靠在特定位置的情况下,根据取向获得对象数据。此外,除了与汽车1的移动速度有关的信息之外,聚焦区域判定电路431还从ECU装置960获得汽车1的位置信息。汽车1的位置信息例如是从GPS检测到的自身车辆位置信息。在检测到汽车1的移动速度为0的情况下,半导体器件400的聚焦区域判定电路431确定汽车1已经停靠。在汽车1已经停靠的情况下,聚焦区域判定电路431基于所获得的位置信息来确定汽车1是否已经停靠在预先登记的位置处。
此外,聚焦区域判定电路431还从对象数据生成电路131接收对象数据。此外,聚焦区域判定电路431具有以下功能:从登记对象数据存储区域122接收登记对象数据、利用登记对象数据验证对象数据、以及检测登记对象数据被包含在所接收的对象数据中。当从对象数据检测特定对象数据时,聚焦区域判定电路431将聚焦区域判定为使特定对象被包括。
在图13所示的示例中,半导体器件400预先登记房屋800的停车位802。此外,房屋800和停车位802的位置信息以及由在停车位802处朝向房屋800停靠的汽车1可以获得的入口801的对象数据被预先登记在半导体器件400的内部存储器中作为登记对象数据。此外,汽车1已经朝向房屋800停靠在房屋800的停车位802处。在这种情况下,当检测到汽车1已经停靠在作为预先登记的特定地点的停车位802时,聚焦区域判定电路431利用登记对象数据验证对象数据。然后,当从对象数据检测与特定对象数据相对应的入口801的对象数据时,聚焦区域判定电路431判定聚焦区域,从而包括入口801。
如上所述,在汽车1已经停靠在预先登记的位置处的情况下,半导体器件400判定聚焦区域,使得其包括预先登记的入口801,并且指示其中入口801是针对相机980的主体的成像条件。因此,半导体器件400可以将成像条件判定为使得在汽车1已经停靠的情况下,主体被包括在优选的景深中,并且可以允许相机基于所判定的成像条件对期望的图像数据成像。因此,根据第四实施例的半导体器件可以根据汽车1的停靠位置来抑制所期望的对象图像数据劣化。
接下来,将参照图14描述根据第四实施例的半导体器件400的又一示例。图14是用于示出在根据第四实施例的移动对象已经停靠在非登记位置处的情况下的聚焦区域的一个示例的示图。
与图13所示的示例类似,半导体器件400的聚焦区域判定电路431从ECU装置960获得汽车1的位置信息。在汽车1已经停靠的情况下,聚焦区域判定电路431基于所获得的位置信息来确定汽车1是否已经停靠在预先登记的位置处。在确定汽车1没有停靠在预先登记位置处的情况下,聚焦区域判定电路431据此判定聚焦区域。
在图14中所示的示例中,汽车1已经停靠在停车位803处。停车位803不是预先登记的空间。当检测到汽车1已经停靠在不是预先登记的空间的停车位803时,聚焦区域判定电路431判定聚焦区域982。聚焦区域982被设定使得汽车1的周围环境以宽视角成像。聚焦区域判定电路431将与所判定的聚焦区域981有关的数据传输到主体判定电路133。应当注意,在汽车1具有多个相机的情况下,可以将聚焦区域判定为使得通过相机对汽车1的周围环境成像。
如上所述,在汽车1没有停靠在预先登记位置的情况下,半导体器件400判定使用预先设定的聚焦区域对汽车1的周围环境成像。因此,半导体器件400可以判定成像条件,使得在汽车1停靠的情况下使用汽车1的周围环境的图像数据作为聚焦区域来将主体包括在优选景深中。因此,根据第四实施例的半导体器件可以在抑制图像数据劣化的同时成像。这可以例如有助于汽车1的犯罪预防。
接下来,将参考图15描述图13和图14中所示的示例的处理。图15是示出根据第四实施例的半导体器件中的主体信息更新处理的流程图。图15中所示的流程图与图4中所示的第一实施例的流程图的不同之处在于步骤S11之后的处理。
在步骤S11中,对象数据生成单元131从所获得的距离数据中检测对象。
接下来,聚焦区域判定电路431从ECU装置960接收与汽车1的移动速度有关的信息(步骤S52)。此外,聚焦区域判定电路431从ECU装置960接收汽车1的自身车辆位置信息(步骤S53)。
接下来,聚焦区域判定电路431确定在所登记的区域中是否包括所接收的位置信息(步骤S54)。在所登记的区域中包括位置信息的情况下(步骤S54:是),聚焦区域判定电路431利用从内部存储器120所接收的登记对象数据来验证从对象数据生成单元131所接收的对象数据,以检测特定对象数据是否被包含在对象数据中(步骤S55)。
接下来,聚焦区域判定电路431将聚焦区域判定为其包括与特定对象数据相对应的对象(步骤S56)。
另一方面,在所登记的区域中不包括位置信息的情况下(步骤S54:否),聚焦区域判定电路431不检测登记对象,并且将汽车1的周围环境判定为聚焦区域(步骤S56)。
接下来,主体判定电路133基于从聚焦区域判定电路431接收的聚焦区域和从对象数据生成单元131接收的对象数据来判定和更新对象(步骤S57)。当主体判定电路133更新主体信息时,确定是否完成处理(步骤S58)。在未完成处理的情况下(步骤S58:否),再次获得距离数据(步骤S10)。另一方面,在主体判定电路133确定完成处理的情况下(步骤S58:是),处理完成。
通过这种配置,根据第四实施例的半导体器件400可以根据汽车1的移动速度或停靠位置来获得所期望的图像,可以将成像条件判定为使得主体被包括在优选的景深中,并且可以允许相机基于所判定的成像条件对所期望的图像数据成像。因此,根据第四实施例的半导体器件可以抑制所获得的图像劣化。
上面基于实施例具体描述了由发明人实现的发明。然而,显而易见的是,本发明不限于上述实施例,并且可以在不脱离其范围的情况下进行各种改变。
可以将上述实施例中的一些或全部实施例描述为以下附加陈述,但不限于此。
(附加声明1)
一种半导体器件,包括:
成像时间判定单元,当允许相机对与相机的相对位置改变的对象成像时,其根据触发信号判定相机的成像估计时间,以开始用于判定相机的成像条件的一系列处理;
主体判定单元,其在每个预先设定的时间获得包含与相对位置有关的信息的距离数据,并且根据触发信号基于距离数据来判定主体;
移动矢量计算单元,其基于在多个不同时间所获得的距离数据的多个片段来计算主体的移动矢量;以及
成像条件判定单元,其基于移动矢量来计算作为在成像估计时间的相机与主体之间的相对位置的主体位置估计数据,基于主体位置估计数据来判定在成像估计时间时的成像条件,并且根据所判定的成像条件来指示相机在成像估计时间成像。
(附加声明2)
根据附加声明1的半导体器件,
其中相机被安装在移动对象中,以及
其中成像条件判定单元包括:
移动对象位置估计单元,其获得移动对象的移动数据,并且基于所获得的移动数据和从成像时间判定单元获得的成像估计时间,来计算作为移动对象在成像估计时间的位置所估计的移动对象位置估计数据;以及
校正单元,其基于移动对象位置估计数据来校正主体位置估计数据。
(附加声明3)
根据附加声明1的半导体器件,
其中成像时间判定单元判定在一系列处理中的多个成像估计时间。
(附加声明4)
根据附加声明1的半导体器件,
其中成像条件是相机焦距的设定。
(附加声明5)
根据附加声明4的半导体器件,
其中成像时间判定单元判定在一系列处理中的成像估计时间,以及
其中成像条件判定单元计算针对成像估计时间中的每个成像估计时间的景深,确定是否可以对焦距的设定进行集成,并且在确定可以对焦距的设定进行集成的情况下,判定新添加主体。
(附加声明6)
根据附加声明1的半导体器件,
其中提供了主体分类数据,其是其中限定是否对由相机成像的对象优先成像的分类数据,
其中还提供了主体优先级判定单元,其基于距离数据、主体分类数据和移动矢量来判定主体优先级,以及
其中主体判定单元基于主体优先级来判定主体。
(附加声明7)
根据附加声明2的半导体器件,还包括:
显示单元,其显示由相机成像的图像;以及
显示帧速率判定单元,其根据移动对象的移动速度来判定显示帧速率。
(附加声明8)
根据附加声明6的半导体器件,
其中当移动对象的移动速度变得更慢时,显示帧速率判定单元将显示帧速率设定得更低。
(附加声明9)
根据附加声明6的半导体器件,
其中成像时间判定单元根据显示帧速率来判定成像估计时间。
(附加声明10)
根据附加声明9的半导体器件,
其中当显示帧速率更低时,成像时间判定单元增加每显示帧的成像图像的数目。
(附加声明11)
根据附加说明2的半导体器件,还包括聚焦区域判定单元,其根据移动对象的移动速度来判定聚焦区域,
其中主体判定单元从聚焦区域的内部判定主体。
(附加声明12)
根据附加声明11的半导体器件,
其中随着移动对象的移动速度变得更慢,聚焦区域判定单元将聚焦距离设定得更短并且将视角设定得更宽。
(附加声明13)
根据附加声明11的半导体器件,
其中在移动对象的移动速度为0的情况下,当移动对象停靠在预先登记的位置并且检测到与预先登记的特定对象有关的对象数据时,聚焦区域判定单元判定聚焦区域,使得特定对象被包括。
(附加声明14)
一种成像系统,包括相机和产生对象的距离数据的距离传感器中的至少一个,以及根据附加声明1的半导体器件。
(附加声明15)
一种成像方法,包括以下步骤:
当允许相机对与相机的相对位置改变的对象成像时,在每个预先设定的时间获得包含与相对位置有关的信息的距离数据;
输出触发信号以开始用于判定相机的成像条件的一系列处理;
根据触发信号判定相机的成像估计时间;
在每个预先设定的时间获得包含与相对位置有关的信息的距离数据,以及根据触发信号基于距离数据来判定主体;
基于在多个不同时间所获得的距离数据的多个片段来计算主体的移动矢量;
基于移动矢量来计算主体位置估计数据,该主体位置估计数据是在成像估计时间的相机和主体之间的相对位置;
基于主体位置估计数据来判定在成像估计时间的成像条件;以及根据所判定的成像条件在成像估计时间指示相机成像。
(附加声明16)
一种允许计算机实行以下方法的程序,该方法包括:
当允许相机对与相机的相对位置改变的对象成像时,在每个预先设定的时间获得包含与相对位置有关的信息的距离数据;
输出触发信号以开始用于判定相机的成像条件的一系列处理;
根据触发信号判定相机的成像估计时间;
在每个预先设定的时间获得包含与相对位置有关的信息的距离数据,以及根据触发信号基于距离数据来判定主体;
基于在多个不同时间所获得的距离数据的多个片段来计算主体的移动矢量;
基于移动矢量来计算主体位置估计数据,该主体位置估计数据是在成像估计时间时的相机和主体之间的相对位置;
基于主体位置估计数据来判定在成像估计时间的成像条件;以及根据所判定的成像条件在成像估计时间指示相机成像。
(附加声明17)
一种半导体器件,包括:
第一接口,当允许相机对与相机的相对位置改变的对象成像时,其在每个预先设定的时间获得包含与相对位置有关的信息的距离数据;
存储器,存储所获得的距离数据;
处理器,输出触发信号以开始用于判定相机的成像条件的一系列处理;以及
图像处理电路,根据触发信号判定相机的成像估计时间;在每个预先设定的时间获得包含与相对位置有关的信息的距离数据,以及根据触发信号基于在存储器中所存储的距离数据来判定主体;基于在多个不同时间所获得的距离数据的多个片段来计算主体的移动矢量;基于移动矢量来计算主体位置估计数据,该主体位置估计数据是在成像估计时间时的相机和主体之间的相对位置;基于主体位置估计数据来判定在成像估计时间时的成像条件;以及根据所判定的成像条件在成像估计时间时指示相机成像。
(附加声明18)
根据附加声明17的半导体器件,
其中相机被安装在移动对象中,以及
其中图像处理电路获得移动对象的移动数据,基于所获得的移动数据和成像估计时间来计算作为移动对象在成像估计时间的位置所估计的移动对象位置估计数据,以及基于移动对象位置估计数据来校正主体位置估计数据。
(附加声明19)
根据附加声明17的半导体器件,
其中图像处理电路判定在一系列处理中的多个成像估计时间。
(附加声明20)
根据附加声明17的半导体器件,
其中成像条件是相机的焦距的设定。
(附加声明21)
根据附加声明20的半导体器件,
其中图像处理电路判定在一系列处理中的成像估计时间,计算针对成像估计时间中的每个成像估计时间的景深,确定是否可以对焦距的设定进行集成,并且在确定可以对焦距的设定进行集成的情况下,判定新添加主体。
(附加声明22)
根据附加声明17的半导体器件,
其中存储器具有主体分类数据,该主体分类数据是其中限定是否对由相机成像的对象优先成像的分类数据,以及
其中图像处理电路基于距离数据、主体分类数据和移动矢量来判定主体优先级,并且基于主体优先级来判定主体。
(附加声明23)
根据附加声明18的半导体器件,
其中图像处理电路根据移动对象的移动速度来判定显示帧速率。
(附加声明24)
根据附加声明22的半导体器件,
其中当移动对象的移动速度变得更慢时,图像处理电路将显示帧速率设定得更低。
(附加声明25)
根据附加声明22的半导体器件,
其中图像处理电路根据显示帧速率来判定成像估计时间。
(附加声明26)
根据附加声明25的半导体器件,
其中当显示帧速率更低时,图像处理电路增加每显示帧的成像图像的数目。
(附加声明27)
根据附加声明18的半导体器件,
其中图像处理电路根据移动对象的移动速度来判定聚焦区域,并且从聚焦区域的内部判定主体。
(附加声明28)
根据附加声明27的半导体器件,
其中当移动对象的移动速度变得更慢时,图像处理电路将聚焦距离设定得更短并且将视角设定得更宽。
(附加声明29)
根据附加声明28的半导体器件,
其中在移动对象的移动速度为0的情况下,当移动对象停靠在预先登记的位置并且检测到与预先登记的特定对象有关的对象数据时,图像处理电路将聚焦区域判定为使得其包括特定对象。

Claims (20)

1.一种半导体器件,包括:
主体判定电路,被配置为当允许相机对与所述相机的相对位置改变的对象成像时,在每个预先设定的时间获得包含与所述相对位置有关的信息的距离数据,以及根据触发信号基于所述距离数据来判定主体,以开始用于判定所述相机的所述成像条件的一系列处理;
移动矢量计算电路,被配置为基于在多个不同时间所获得的距离数据的多个片段来计算所述主体的所述移动矢量;以及
成像条件判定电路,被配置为基于所述移动矢量来计算作为在所述成像估计时间的所述相机与所述主体之间的相对位置的主体位置估计数据,被配置为基于所述主体位置估计数据来判定在所述成像估计时间的所述成像条件,并且被配置为根据所判定的所述成像条件来指示所述相机在所述成像估计时间成像。
2.根据权利要求1所述的半导体器件,
其中成像时间判定电路被配置为根据所述触发信号来判定所述成像估计时间。
3.根据权利要求2所述的半导体器件,
其中所述相机被安装在移动对象中,以及
其中所述成像条件判定电路包括:
移动对象位置估计电路,被配置为获得所述移动对象的移动数据,并且被配置为基于所获得的所述移动数据和从所述成像时间判定电路获得的所述成像估计时间,来计算作为所述移动对象在所述成像估计时间的位置所估计的移动对象位置估计数据;以及
校正电路,被配置为基于所述移动对象位置估计数据来校正所述主体位置估计数据。
4.根据权利要求2所述的半导体器件,
其中所述成像时间判定电路判定在所述一系列处理中的多个成像估计时间。
5.根据权利要求2所述的半导体器件,
其中所述成像条件包括所述相机的所述焦距的设定。
6.根据权利要求5所述的半导体器件,
其中所述成像时间判定电路判定在所述一系列处理中的所述成像估计时间,以及
其中所述成像条件判定电路计算针对所述成像估计时间中的每个成像估计时间的景深,确定是否能够对所述焦距的所述设定进行集成,并且在确定能够对所述焦距的所述设定进行集成的情况下,判定新添加主体。
7.根据权利要求2所述的半导体器件,进一步包括:
存储器,被配置为存储主体分类数据,所述主体分类数据是其中限定是否对由所述相机成像的所述对象优先成像的分类数据,
主体优先级判定电路,被配置为基于所述距离数据、所述主体分类数据和所述移动矢量来判定主体优先级,
其中所述主体判定电路基于所述主体优先级来判定所述主体。
8.根据权利要求3所述的半导体器件,进一步包括显示帧速率判定电路,其被配置为根据所述移动对象的所述移动速度来判定显示帧速率。
9.根据权利要求8所述的半导体器件,
其中当所述移动对象的所述移动速度变得更慢时,所述显示帧速率判定电路将所述显示帧速率设定得更低。
10.根据权利要求8所述的半导体器件,
其中所述成像时间判定电路根据所述显示帧速率来判定所述成像估计时间。
11.根据权利要求10所述的半导体器件,
其中当所述显示帧速率更低时,所述成像时间判定电路增加每显示帧的成像图像的数目。
12.根据权利要求3所述的半导体器件,进一步包括聚焦区域判定电路,其被配置为根据所述移动对象的所述移动速度来判定聚焦区域,
其中所述主体判定电路从所述聚焦区域的内部判定所述主体。
13.根据权利要求12所述的半导体器件,
其中当所述移动对象的所述移动速度变得更慢时,所述聚焦区域判定电路将聚焦距离设定得更短并且将视角设定得更宽。
14.根据权利要求12所述的半导体器件,
其中在所述移动对象的所述移动速度为0的情况下,当所述移动对象停靠在预先登记的位置并且与预先登记的特定对象有关的对象数据被检测到时,所述聚焦区域判定电路将所述聚焦区域判定为使得所述特定对象被包括。
15.一种成像系统,包括:
相机和被配置为生成对象的距离数据的距离传感器中的至少一个,以及
根据权利要求2所述的半导体器件。
16.一种允许计算机实行以下方法的程序,所述方法包括:
当允许相机对与所述相机的相对位置改变的对象成像时,在每个预先设定的时间获得包含与所述相对位置有关的信息的距离数据;
输出触发信号以开始用于判定所述相机的所述成像条件的一系列处理;
根据所述触发信号判定针对所述相机的成像估计时间;
在每个预先设定的时间获得包含与所述相对位置有关的信息的距离数据,以及根据所述触发信号基于所述距离数据来判定主体;
基于在多个不同时间所获得的距离数据的多个片段来计算所述主体的所述移动矢量;
基于所述移动矢量来计算主体位置估计数据,所述主体位置估计数据是在所述成像估计时间的所述相机和所述主体之间的相对位置;
基于所述主体位置估计数据来判定在所述成像估计时间的所述成像条件;以及
根据所判定的所述成像条件在所述成像估计时间时指示所述相机成像。
17.一种半导体器件,包括:
第一接口,被配置为当允许相机对与所述相机的相对位置改变的对象成像时,在每个预先设定的时间获得包含与所述相对位置有关的信息的距离数据;
存储器,被配置为存储所获得的所述距离数据;
处理器,被配置为输出触发信号以开始用于判定所述相机的所述成像条件的一系列处理;以及
图像处理电路,其被配置为:
根据所述触发信号判定所述相机的成像估计时间;
在每个预先设定的时间获得包含与所述相对位置有关的信息的距离数据;
根据所述触发信号基于在所述存储器中所存储的所述距离数据来判定主体;
基于在多个不同时间所获得的距离数据的多个片段来计算所述主体的所述移动矢量;
基于所述移动矢量来计算主体位置估计数据,所述主体位置估计数据是在所述成像估计时间的所述相机和所述主体之间的相对位置;
基于所述主体位置估计数据来判定在所述成像估计时间的所述成像条件;以及
根据所判定的所述成像条件在所述成像估计时间指示所述相机成像。
18.根据权利要求17所述的半导体器件,
其中所述相机被安装在移动对象中,以及
其中所述图像处理电路获得所述移动对象的移动数据,基于所获得的所述移动数据和所述成像估计时间来计算作为所述移动对象在所述成像估计时间的所述位置所估计的移动对象位置估计数据,并且基于所述移动对象位置估计数据来校正所述主体位置估计数据。
19.根据权利要求17所述的半导体器件,
其中所述成像条件包括所述相机的所述焦距的设定。
20.根据权利要求19所述的半导体器件,
其中所述图像处理电路判定在所述一系列处理中的所述成像估计时间,计算针对所述成像估计时间中的每个成像估计时间的景深,确定是否可以对所述焦距的所述设定进行集成,并且在确定可以对所述焦距的所述设定进行集成的情况下,判定新添加主体。
CN201811574041.6A 2017-12-22 2018-12-21 半导体器件、成像系统和程序 Pending CN109963077A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-246319 2017-12-22
JP2017246319A JP2019114902A (ja) 2017-12-22 2017-12-22 半導体装置、撮像システム、及びプログラム

Publications (1)

Publication Number Publication Date
CN109963077A true CN109963077A (zh) 2019-07-02

Family

ID=65013470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811574041.6A Pending CN109963077A (zh) 2017-12-22 2018-12-21 半导体器件、成像系统和程序

Country Status (5)

Country Link
US (1) US20190197730A1 (zh)
EP (1) EP3503532A1 (zh)
JP (1) JP2019114902A (zh)
CN (1) CN109963077A (zh)
TW (1) TW201929210A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572577A (zh) * 2019-09-24 2019-12-13 浙江大华技术股份有限公司 一种跟踪聚焦的方法、装置、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10741070B1 (en) * 2019-03-04 2020-08-11 GM Global Technology Operations LLC Method to prioritize transmission of sensed objects for cooperative sensor sharing
WO2022084054A1 (de) * 2020-10-21 2022-04-28 Zf Friedrichshafen Ag Darstellung von hindernissen in einem übersichtsbild in abhängigkeit eines lenkwinkels

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
KR100426174B1 (ko) * 2001-10-29 2004-04-06 삼성전자주식회사 영상압축 알고리즘을 이용한 카메라 제어방법
WO2006121087A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP2006322796A (ja) 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2006322856A (ja) * 2005-05-19 2006-11-30 Olympus Corp 距離計測装置、距離計測方法および距離計測プログラム
WO2010113240A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 3次元情報算出装置および3次元情報算出方法
JP6300569B2 (ja) * 2014-02-25 2018-03-28 キヤノン株式会社 撮像装置及びその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572577A (zh) * 2019-09-24 2019-12-13 浙江大华技术股份有限公司 一种跟踪聚焦的方法、装置、设备及介质

Also Published As

Publication number Publication date
TW201929210A (zh) 2019-07-16
EP3503532A1 (en) 2019-06-26
US20190197730A1 (en) 2019-06-27
JP2019114902A (ja) 2019-07-11

Similar Documents

Publication Publication Date Title
US10753758B2 (en) Top-down refinement in lane marking navigation
CN108496178B (zh) 用于估计未来路径的系统和方法
KR101143176B1 (ko) 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
US11836985B2 (en) Identifying suspicious entities using autonomous vehicles
CN111332309B (zh) 驾驶员监视系统及其操作方法
US11794749B2 (en) Methods, systems, and media for determining characteristics of roads
US11288777B2 (en) Image processing device, image processing method, and program
CN109963077A (zh) 半导体器件、成像系统和程序
JP5275059B2 (ja) 車両検知装置、車両検知システム、車両検知装置の車両検知方法および車両検知プログラム
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
US10679077B2 (en) Road marking recognition device
JP2022516857A (ja) 交通参加者の運転マヌーバ予測のための方法
KR20200096518A (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
CN106203381A (zh) 一种行车中障碍物检测方法与装置
US11189048B2 (en) Information processing system, storing medium storing program, and information processing device controlling method for performing image processing on target region
CN109300313B (zh) 违法行为的检测方法、相机及服务器
CN116892949A (zh) 地上物检测装置、地上物检测方法以及地上物检测用计算机程序
CN116448128A (zh) 行驶路径制作装置、行驶路径制作方法及非临时性计算机可读介质
JP7363717B2 (ja) 物体検出システム、物体検出方法及びプログラム
JP6523907B2 (ja) 車間距離検出システム、車間距離検出方法、およびプログラム
JP7393930B2 (ja) 情報処理装置、配信システムおよび配信方法
WO2022226989A1 (en) System and method for obstacle-free driving
JP7371679B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7163759B2 (ja) 情報提供装置、車両、運転支援システム、及び運転支援方法
JP7192696B2 (ja) 制御装置、車両、及び制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190702