CN113661700A - 成像装置与成像方法 - Google Patents

成像装置与成像方法 Download PDF

Info

Publication number
CN113661700A
CN113661700A CN202080026576.9A CN202080026576A CN113661700A CN 113661700 A CN113661700 A CN 113661700A CN 202080026576 A CN202080026576 A CN 202080026576A CN 113661700 A CN113661700 A CN 113661700A
Authority
CN
China
Prior art keywords
image
image data
imaging
frame
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080026576.9A
Other languages
English (en)
Other versions
CN113661700B (zh
Inventor
奥池和幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113661700A publication Critical patent/CN113661700A/zh
Application granted granted Critical
Publication of CN113661700B publication Critical patent/CN113661700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

该成像装置(1)包括共享一条信号线并且将检测结果输出至处理装置的多个图像传感器(传感器11、12、13、14)。至少一个图像传感器(传感器11、12、13、14)具有成像单元(21)、识别单元(23)、以及输出单元(25)。成像单元(21)捕捉图像并且生成图像数据。识别单元(23)从图像数据识别预定的对象。在成像单元(21)捕捉一个图像的一个帧周期期间，输出单元(25)在并不与其他图像传感器使用信号线输出检测结果的周期重叠的周期期间将来自识别单元(23)的识别结果输出至处理装置。

Description

成像装置与成像方法
技术领域
本公开涉及一种成像装置和成像方法。
背景技术
存在一种包括处理装置和多个图像传感器的系统，其中，处理装置基于从多个图像传感器接收的图像数据识别所捕捉图像中的主体(subject)。在该系统中，当处理装置与多个图像传感器单独通过信号线连接时，需要在处理装置中设置多个接收接口。
因此，存在一种通过一条信号线连接处理装置与多个图像传感器并且按照时分方式将图像数据从多个图像传感器发送至处理装置而减少处理装置中所设置的接收接口的数量的技术(例如，专利文献1)。
引用列表
专利文献
专利文献1：JP 2017-211864 A
发明内容
技术问题
然而，在根据相关技术领域的上述所述技术中，因为按照时分方式将图像数据从多个图像传感器发送至处理装置，所以捕捉图像的帧速率减少。
因此，本公开提出了一种能够在不使捕捉图像的帧速率减少的情况下减少处理装置中所设置的接收接口的数量的成像装置和成像方法。
问题的解决方案
根据本公开的成像装置包括通过共享一条信号线将检测结果输出至处理装置的多个图像传感器。至少一个图像传感器包括成像单元、识别单元、以及输出单元。成像单元捕捉图像，以生成图像数据。识别单元从图像数据识别预定的目标对象。输出单元在成像单元捕捉一个图像的一个帧周期内，在并不与使用该信号线输出另一图像传感器的检测结果的周期重叠的周期内将识别单元的识别结果输出至处理装置。
附图说明
[图1]是示出根据本公开的成像装置的配置的概况的说明图。
[图2]是示出根据本公开的通过按照时分方式发送图像数据而产生的问题的说明图。
[图3]是示出根据本公开的成像装置的配置的实施例的说明图。
[图4]是示出根据本公开的成像装置的操作的实施例的说明图。
[图5]是示出根据本公开的成像装置的操作的实施例的说明图。
[图6]是示出根据本公开的成像装置的操作的实施例的说明图。
[图7]是示出根据本公开的成像装置的操作的实施例的说明图。
[图8]是示出根据本公开的成像装置的操作的实施例的说明图。
[图9]是示出根据本公开的成像装置的操作的实施例的说明图。
[图10]是示出根据本公开的成像装置的操作的实施例的说明图。
[图11]是示出根据本公开的成像装置的操作的实施例的说明图。
[图12]是示出根据本公开的成像装置的操作的实施例的说明图。
[图13]是示出根据本公开的成像装置的操作的实施例的说明图。
[图14]是示出由根据本公开的成像装置执行发送数据的时分方法的实施例的说明图。
[图15]是示出由根据本公开的成像装置执行发送数据的时分方法的实施例的说明图。
[图16]是示出车辆控制系统的示意性配置的实施例的框图。
[图17]是示出车外信息检测部和成像部的安装位置的实施例的说明图。
具体实施方式
在下文中，将参考附图对本公开的实施方式进行详细描述。应注意，在下列各个实施方式中，相同参考标号表示相同的部分，并且将省去重复的描述。
[1.成像装置的配置的概况]
图1是示出根据本公开的成像装置的配置的概况的说明图。如图1中示出的，根据本公开的成像装置1包括多个(此处，四个)图像传感器(以下简称传感器)11、12、13和14。
应注意，成像装置1中所包括的传感器的数量并不局限于四个，并且可以是两个或多个。例如，在其中多个传感器11、12、13和14安装在车辆上的情况下，传感器分别单独安装在车辆的前侧、后侧、左侧、以及右侧上的四个位置处。进一步地，在其中成像装置1用作立体摄像机的情况下，一体地设置两个传感器11和12。
例如，传感器11、12、13和14是互补金属氧化物半导体图像传感器(CIS)。应注意，传感器11、12、13和14中的一些或全部可以是电荷耦合装置(CCD)图像传感器或采用飞行时间(ToF)方法的其他传感器。
传感器11、12、13和14通过一条信号线SL连接至应用处理器(以下称为AP 100)，即，处理装置的实施例，并且通过共享信号线SL而按照时分方式将检测结果发送至AP 100。
AP 100基于传感器11、12、13和14的检测结果执行处理。例如，在其中成像装置1安装在车辆上的情况下，AP 100基于检测结果检测行人或前行车辆的存在性并且执行向先进驾驶员辅助系统(ADAS)通知指示存在性等的信息的处理。
如上所述，在成像装置1中，因为多个传感器11、12、13和14通过共享一条信号线SL将检测结果发送至AP 100，所以AP 100中所设置的接收接口的数量能够是一个。
然而，在成像装置1中，当按照时分方式将所捕捉图像的图像数据作为检测结果从多个图像传感器11、12、13和14发送至AP 100时，所捕捉图像的帧速率减少。接下来将对该问题进行描述。
[2.由按照时分方式发送图像数据而产生的问题]
图2是示出由按照根据本公开的时分方式发送图像数据而产生的问题的说明图。例如，在其中仅传感器11连接至AP 100并且传感器11能够捕捉图像的帧速率是120fps的情况下，能够以120fps的帧速率经由信号线SL将所捕捉图像的图像数据D1从传感器11发送至AP 100。
然而，在其中四个传感器11、12、13和14通过一条信号线SL连接至AP 100并且按照时分方式将图像数据从相应的传感器11、12、13和14发送至AP 100的情况下，成像装置1需要降低帧速率。
例如，在其中按照传感器11、传感器12、传感器13、以及传感器14的顺序以时分方式将图像数据D1、D2、D3、以及D4发送至AP 100的情况下，传感器12在传感器11的图像数据D1的发送期间不能发送传感器12的图像数据D2。
因此，传感器12需要使图像数据D2的发送时刻(Vsync：垂直同步信号)的相位偏移(延迟)，直至由传感器11完成图像数据D1的发送。同样，传感器13和14也需要使图像数据D3和D4的发送时刻(Vsync：垂直同步信号)的相位依次偏移(延迟)。
因此，成像装置1需要延长一个帧周期，并且即使在其中各个传感器11、12、13和14能够以120fps的帧速率执行成像的情况下，帧速率也需要减少至与1/4对应的30fps。
因此，成像装置1具有这样的配置，即，在不使所捕捉的图像的帧速率减少的情况下，能够减少AP 100中所设置的接收接口的数量。接着，将对成像装置1的配置进行描述。
[3.成像装置的配置]
图3是示出根据本公开的成像装置的配置的实施例的说明图。应注意，四个传感器11、12、13和14具有相同的配置。因此，在图3中，选择性地示出了传感器11和12，并且未示出传感器13和14。此处，将主要对传感器11的配置进行描述，并且将省去传感器12、13和14的重复描述。
如图3中示出的，成像装置1包括传感器11、传感器12、以及传感器13和14(未示出)。传感器11、12、13和14通过一条信号线SL连接至AP 100并且通过共享信号线SL而按照时分方式将相应的检测结果发送至AP 100。
传感器11包括成像单元21、信号处理单元22、识别单元23、存储器24、以及输出单元25。应注意，其他传感器12、13、以及14也具有与传感器11相似的配置。成像单元21包括透镜、光电转换元件、模/数(A/D)转换单元等。
成像单元21根据所接收的光的量通过光电转换元件将经由透镜入射的光光电转换成信号电荷、并且通过A/D转换单元将模拟信号电荷转换成数字像素信号而生成图像数据。成像单元21将已生成的图像数据输出至信号处理单元22。
例如，信号处理单元22、识别单元23、以及输出单元25是由包括中央处理单元(CPU)、只读存储器(ROM)、随机访问存储器(RAM)等的微型计算机以及各种电路实现的处理单元。例如，存储器24是诸如静态随机访问存储器(SRAM)或动态随机访问存储器(DRAM)等信息存储装置。
信号处理单元22对从成像单元21输入的图像数据执行预定的信号处理并且将已处理的图像数据输出至识别单元23和存储器24。例如，信号处理单元22对图像数据执行诸如阴影校正、混色校正、增益调整、白平衡调整、去马赛克、以及伽马校正等信号处理并且将经过信号处理的图像数据输出至识别单元23和存储器24。
识别单元23包括深度神经网络(DNN)26，即，机器学习模型的实施例。DNN 26是具有多层结构的算法，其中，使用通过机器学习而设计为而从图像数据识别主体的特征(模式)的人颅神经回路(神经网络)作为模型。
识别单元23通过将从信号处理单元22输入的图像数据或从存储器24读取的图像数据输入至DNN 26并且执行DNN处理而识别图像数据中的主体。然后，识别单元23将从DNN26输出的DNN结果作为识别结果输出至输出单元25。
应注意，识别单元23可以被配置为通过使用除DNN之外的机器学习模型而从图像数据识别主体，诸如卷积神经网络(CNN)或支持向量机(SVM)等。
输出单元25将从识别单元23输入的DNN结果作为检测结果输出至AP 100。此时，在成像单元21捕捉一个图像的一个帧周期内，输出单元25在并不与使用信号线SL输出各个其他传感器12、13和14的检测结果的周期重叠的周期内将DNN结果输出至AP 100。
即，输出单元25在一个帧周期内按照时分方式将其他传感器12、13和14的检测结果以及识别单元23的DNN结果连续地发送至AP 100。
同样，在捕捉一个图像的一个帧周期内，各个其他传感器12、13和14也在并不与使用信号线SL输出另一图像传感器的检测结果的周期重叠的周期内将DNN结果输出至AP100。
此处，DNN结果具有比图像数据小许多的数据量。因此，例如，成像装置1能够在不延长一个帧周期的长度的情况下、在一个帧周期内按照时分方式将从四个传感器11、12、13和14输出的DNN结果输出至AP 100。
因此，成像装置1在不使所捕捉图像的帧速率减少的情况下使用一条信号线SL将全部传感器11、12、13和14的检测结果输出至AP 100，以使得AP 100中所设置的接收接口的数量能够是一个。
应注意，传感器11的输出单元25还能够将存储在存储器24中的图像数据输出至AP100。然而，在一个帧周期内，传感器11的输出单元25在并不与输出传感器11的识别单元23的识别结果的周期重叠的周期内将图像数据输出至AP 100。
进一步地，在从其他传感器12、13和14输出DNN结果的情况下，传感器11仅能够将图像数据输出至AP 100、而不输出DNN结果。同样，其他传感器12、13和14能够将DNN结果和图像数据中的一项或两项输出至AP 100。
四个传感器11、12、13和14中的各个传感器的输出单元25执行双向通信并且将从DNN结果和图像数据中选择的数据发送至AP 100，以不使帧速率减少。接着，将对成像装置1的操作的实施例进行描述。
[4.成像装置的操作的实施例]
图4至图12是示出根据本公开的成像装置的操作的实施例的说明图。应注意，在图4至图8中，为了便于理解成像装置1的操作，假设成像装置1包括两个图像传感器11和12。此外，在图4至图8中，将传感器11称为第一CIS，并且将传感器2称为第二CIS。
如图4中示出的，在第一操作例中，第一CIS与第二CIS首先执行第一帧的图像的成像处理。然后，第一CIS和第二CIS与第二帧的图像的成像处理同时执行第一帧的图像数据的DNN处理。
然后，第一CIS和第二CIS与第三帧的图像的成像处理同时执行第二帧的图像数据的DNN处理。同时，第一CIS和第二CIS在时间上不重叠的情况下按照时分方式将第一帧的图像数据的DNN结果发送至AP 100。
如上所述，第一CIS和第二CIS能够在不延长帧周期的情况下、在其中捕捉第三帧的图像的一个帧周期内通过共享一条信号线SL而按照时分方式分别将图像数据的DNN处理结果发送至AP 100。
然后，对于第四帧以及随后的帧，第一CIS和第二CIS同时执行成像处理、之前第一帧的图像数据的DNN处理、以及之前第二帧的DNN结果的发送。因此，成像装置1能够在不使所捕捉图像的帧速率减少的情况下将AP 100中所设置的接收接口的数量减少至一个。
进一步地，如图5中示出的，在第二操作例中，第一CIS和第二CIS首先执行第一帧的图像的成像处理。然后，第一CIS与第二帧的图像的成像处理同时执行第一帧的图像数据到AP 100的发送。同时，第二CIS与第二帧的图像的成像处理同时执行第一帧的图像数据的DNN处理。
之后，第一CIS和第二CIS执行第三帧的图像的成像处理。同时，第一CIS将第二帧的图像数据发送至AP 100。同时，第二CIS执行第二帧的图像数据的DNN处理，并且同时，在并不与其中第一CIS发送图像数据的周期重叠的周期内将第一帧的图像数据的DNN结果发送至AP 100。
如此，第一CIS和第二CIS能够在不延长帧周期的情况下、在其中捕捉第三帧的图像的一个帧周期内按照时间上不重叠的时分方式通过共享一条信号线SL而将图像数据和DNN处理结果发送至AP 100。
然后，第一CIS与第四帧及随后的帧的成像处理同时执行之前的第一帧的图像数据到AP 100的发送。同时，对于第四帧以及随后的帧，第二CIS同时执行成像处理、之前第一帧的图像数据的DNN处理、以及之前第二帧的DNN结果的发送。因此，成像装置1能够在不使所捕捉图像的帧速率减少的情况下将AP 100中所设置的接收接口的数量减少至一个。
进一步地，如图6中示出的，在第三操作例中，第一CIS和第二CIS首先执行第一帧的图像的成像处理。然后，第一CIS与第二帧的图像的成像处理同时执行第一帧的图像数据的DNN处理。同时，第二CIS与第二帧的图像的成像处理同时执行第一帧的图像数据到AP100的发送。
之后，第一CIS和第二CIS执行第三帧的图像的成像处理。同时，第一CIS与第二帧的图像数据的DNN处理同时执行第一帧的图像数据的DNN结果到AP 100的发送。同时，第二CIS在并不与其中由第一CIS发送第一帧的DNN结果的周期重叠的周期内将第二帧的图像数据发送至AP100。
如上所述，第一CIS和第二CIS能够在不延长帧周期的情况下、在其中捕捉第三帧的图像的一个帧周期内通过共享一条信号线SL而按照时分方式将DNN处理结果和图像数据发送至AP 100。
进一步地，对于第四帧以及随后的帧，第一CIS同时执行成像处理、之前第一帧的图像数据的DNN处理、以及之前第二帧的DNN结果的发送。同时，第二CIS与第四帧以及随后的帧的成像处理同时执行之前第一帧的图像数据到AP 100的发送。因此，成像装置1能够在不使所捕捉图像的帧速率减少的情况下将AP 100中所设置的接收接口的数量减少至一个。
进一步地，如图7中示出的，在第四操作例中，第一CIS和第二CIS首先执行第一帧的图像的成像处理。之后，第一CIS和第二CIS执行第二帧的图像的成像处理。
同时，第一CIS执行第一帧的图像数据的DNN处理。同时，第二CIS将第一帧的图像数据保存在存储器24中。应注意，第二CIS可以通过使用成像单元21中所包括的光电转换元件的浮动扩散代替存储器24而保存图像数据。
之后，第一CIS和第二CIS执行第三帧的图像的成像处理。同时，第一CIS执行之前第一帧的图像数据的DNN处理并且发送之前第二帧的DNN结果。同时，第二CIS在并不与其中由第一CIS发送DNN结果的周期重叠的周期内将所保存的第一帧的图像数据发送至AP 100。例如，第一CIS此时将图像数据的发送时刻通知给第二CIS。
如上所述，第一CIS和第二CIS能够在延长帧周期的情况下、在其中捕捉第三帧的图像的一个帧周期内通过共享一条信号线SL而按照时分方式将DNN处理结果和图像数据发送至AP 100。
进一步地，对于第四帧以及随后的帧，第一CIS同时执行成像处理、之前第一帧的图像数据的DNN处理、以及之前第二帧的DNN结果的发送。同时，第二CIS与第四帧以及随后的帧的成像处理同时执行之前第二帧的图像数据到AP 100的发送。
因此，成像装置1能够在不使所捕捉图像的帧速率减少的情况下将AP 100中所设置的接收接口的数量减少至一个。而且，在第四操作例中，在其中第一CIS输出DNN结果的情况下，即，识别单元23的识别结果，第一CIS在与从中识别预定的目标对象的之前第二帧的图像数据相同的时刻致使第二CIS的存储器24输出由第二CIS生成的图像数据。
因此，成像装置1能够在同一帧周期内将待发送至AP 100的图像数据和在与该图像数据相同的时刻所捕捉的图像数据的DNN结果发送至AP100。
进一步地，如图8中示出的，在第五操作例中，第一CIS在一个帧周期内首先执行第一帧的图像的成像处理，并且然后，执行第一帧的图像数据的DNN处理。例如，第二CIS在由第一CIS执行第一帧的成像处理完成并且DNN处理开始的时刻执行第一帧的图像的成像处理，并且然后，将经过成像处理的图像数据发送至AP 100。
例如，第一CIS在成像处理及由第二CIS执行图像数据的发送完成的时刻执行第二帧的图像的成像处理，并且同时将第一帧的DNN结果发送至AP 100。然后，第一CIS执行第二帧的图像数据的DNN处理。
例如，第二CIS执行第二帧的成像处理并且在第二帧的成像处理及由第一CIS执行的第一帧的DNN结果的发送结束并且第二帧的DNN处理开始的时刻执行图像数据的发送。
之后，第一CIS和第二CIS反复执行上述所述操作。因此，能够在其中第二CIS捕捉图像的每一个帧周期内将图像数据发送至AP 100，并且第一CIS能够在并不与其中由第二CIS发送图像数据的周期重叠的周期内将DNN结果发送至AP 100。
应注意，如上所述，DNN结果具有比图像数据小许多的数据量。因此，如在图9中示出的第六操作例中，传感器11、12、13和14中的每个传感器也能够在不大幅度地延长帧周期的情况下、在一个帧周期内执行成像处理、DNN处理、图像数据的发送、以及DNN结果的发送。此时，传感器11、12、13和14中的每个传感器在并不与其中发送指示已识别主体的DNN结果的周期重叠的周期内发送所捕捉的图像数据。
因此，如图10中示出的，例如，在其中传感器11和12的帧速率是30fps的情况下，成像装置1使传感器12的Vsync的相位偏移，直至由传感器11执行的图像数据D1和DNN结果D11的发送结束的时刻。
此处，例如，假设Vsync的相位的偏移量与传感器11的一个帧周期的一半对应。在该情况下，能够经由信号线SL以60fps的帧速率将图像数据D1和DNN结果D11、以及图像数据D2和DNN结果D12发送至AP 100。
进一步地，例如，如图11中示出的，成像装置1还能够在不使帧速率减少的情况下、在一个帧周期内按照时分方式将传感器11的图像数据D1、传感器11的DNN结果、以及传感器12的DNN结果发送至AP 100。
如此，成像装置1能够在一个帧周期内按照时分方式将多个传感器11和12的一个图像数据和DNN结果发送至AP 100。因此，例如，如图12中示出的，成像装置1能够在不使帧速率减少的情况下、在一个帧周期内按照时分方式将传感器11的图像数据D1和DNN结果D11以及传感器12、13、及14的DNN结果D12、D13、以及D14发送至AP 100。
[5.成像装置的安装实例]
接着，图13是示出根据本公开的成像装置的安装的实施例的说明图。如图13中示出的，例如，成像装置1安装在无人机101上。在其中成像装置1安装在无人机101上的情况下，例如，传感器11、12、13和14设置在无人机101的前侧、后侧、左侧、以及右侧上。应注意，例如，AP 100设置在无人机101的中心处。
在该情况下，在成像装置1中，四个传感器11、12、13和14中的任意一个传感器在一个帧周期内将图像数据发送至AP 100，并且四个传感器11、12、13和14中的每个传感器将DNN结果发送至AP 100。
因此，成像装置1能够在不使帧速率减少的情况下经由一条信号线SL将来自四个传感器11、12、13和14中的一个传感器的图像数据及来自全部传感器11、12、13和14的DNN结果发送至AP 100。
进一步地，成像装置1能够对将图像数据发送至AP 100的传感器11、12、13和14进行切换。在该情况下，成像装置1基于之前第一帧的DNN结果选择将图像数据发送至AP 100的传感器11、12、13和14。
例如，在其中传感器11发送指示从之前第一帧的图像识别作为成像目标的主体的DNN结果的情况下，成像装置1使传感器11发送图像数据并且使全部传感器11、12、13和14发送DNN结果。因此，即使在其中作为成像目标的主体移动或无人机101改变其方向的情况下，成像装置1也能够跟踪并且捕捉主体的图像作为成像目标。
进一步地，例如，成像装置1能够使四个传感器11、12、13和14在一个帧周期内顺次发送图像数据一次、并且使全部传感器11、12、13和14发送DNN结果。因此，成像装置1能够监测无人机101的周围环境。
[6.用于发送数据的时分方法]
接着，将参考图14和图15对由成像装置执行的发送数据的时分方法的实施例进行描述。图14和图15是示出由根据本公开的成像装置执行的发送数据的时分方法的实施例的说明图。
此处，将其中成像装置1包括两个传感器、第一CIS、以及第二CIS的情况描述为实施例。进一步地，此处，将描述其中第一CIS发送图像数据并且第二CIS发送DNN结果的情况。
如图14中示出的，成像装置1能够通过例如逐帧交织而发送图像数据和DNN结果。在逐帧交织中，第一CIS首先将帧开始信号FS发送至AP，并且然后，将一个帧的时分图像数据顺次发送至AP。
之后，当由第一CIS执行的图像数据的发送完成时，第二CIS将一个帧的时分图像数据的DNN结果顺次发送至AP，并且最终将帧结束信号FE顺次发送至AP。因此，经由信号线SL将通过按照该顺序乘以帧开始信号FS、图像数据、DNN数据、以及帧结束信号FE而获得的数据发送至AP。
进一步地，如图15中示出的，例如，成像装置1还能够通过逐行交织而发送图像数据和DNN结果。在逐行交织中，第一CIS与第二CIS首先将帧开始信号FS发送至AP。
之后，第一CIS将一个帧的时分图像数据的分割数据间歇性地发送至AP。同时，第二CIS在从由第一CIS发送每个分割数据时至发送下一分割数据时的每个周期内将一个帧的DNN结果的分割数据发送至AP。
因此，经由信号线SL将通过交替乘以帧开始信号FS与帧结束信号FE之间的图像数据的分割数据与DNN结果的分割数据而获得的数据发送至AP。
[7.移动体的应用例]
根据本公开的技术(本技术)能够应用于各种产品。例如，根据本公开的技术可以实现为安装在任意一个移动体中的装置，诸如车辆、电动车辆、混合电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船只、机器人等。
图16是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图16所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口I/F 12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测配有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
此外，微型计算机12051，可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051，可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一者的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图16的实例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062可例如包括车载显示器和平视显示器中的至少一个。
图17是示出成像部12031的安装位置的实例的示图。
在图17中，成像部12031包括成像部12101、12102、12103、12104和12105。
成像部12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。布置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图17示出成像部12101～12104的拍摄范围的实例。成像范围12111表示布置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
成像部12101～12104中的至少一个可具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101～12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101～12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。
在上文中，已经描述了能够应用根据本公开的技术的车辆控制系统的实施例。例如，根据本公开的技术能够应用于上述所述配置中的车外信息检测单元12030、成像部12031等。例如，图3中的成像装置1能够应用于成像部12031。通过将根据本公开的技术应用于成像部12031，可以在不使所捕捉图像的帧速率减少的情况下减少车载网络接口I/F12053中设置的接收接口的数量。
[8.效果]
如上所述，成像装置1包括通过共享一条信号线SL将检测结果输出至AP 100(即，处理装置的实施例)的多个图像传感器11、12、13和14。至少一个图像传感器11包括成像单元21、识别单元23、以及输出单元25。成像单元21捕捉图像，以生成图像数据。识别单元23从图像数据识别预定的目标对象。在成像单元21捕捉图像的一个帧周期内，输出单元25在并不与使用信号线SL输出各个其他传感器12、13和14的检测结果的周期重叠的周期内将识别单元23的识别结果输出至AP 100。因此，成像装置1能够在不使所捕捉图像的帧速率减少的情况下减少AP 100中设置的接收接口的数量。
进一步地，其他图像传感器12、13和14输出识别预定的目标对象的结果作为检测结果。识别结果具有比图像数据小许多的数据量。因此，成像装置1能够在不使所捕捉图像的帧速率减少的情况下、在一个帧周期内将多个传感器的识别结果发送至AP 100。
此外，在一个帧周期内，输出单元25在并不与使用信号线SL输出识别单元23的识别结果的周期重叠的周期内输出由成像单元21生成的图像数据。因此，例如，成像装置1能够通过仅使图像传感器11发送图像数据并且使其他图像传感器12、13和14发送识别结果而抑制帧速率减少。
此外，其他图像传感器12、13和14输出图像数据作为检测结果。因此，成像装置1能够通过使图像传感器11、12、13和14中的任意一个图像传感器发送图像数据并且使其他图像传感器发送识别结果而抑制帧速率减少。
进一步地，各个其他图像传感器12、13和14包括临时保存图像数据的存储器24。当输出识别单元23的识别结果时，输出单元25从各个其他图像传感器12、13和14的存储器24输出在与从中识别预定的目标对象的图像数据相同的时刻生成的图像数据。因此，成像装置1能够在同一帧周期内将待发送至AP 100的图像数据和在与图像数据相同的时刻捕捉的图像数据的识别结果发送至AP 100。
其他图像传感器12、13和14在与成像单元21不同的时刻捕捉图像。输出单元25在包括其中由各个其他图像传感器12、13和14输出图像数据的周期的一个帧周期内输出识别单元23的识别结果。因此，成像装置1能够通过在同一个帧周期内发送图像传感器11的识别结果以及其他图像传感器12、13和14的图像数据而抑制帧速率减少。
进一步地，在一个帧周期内将图像数据发送至处理装置的图像传感器是多个图像传感器11、12、13和14中的任意一个图像传感器。因此，成像装置1能够通过抑制在一个帧周期内发送的数据量而抑制帧速率减少。
进一步地，基于之前第一帧的识别单元23的识别结果判断在一个帧周期内将图像数据发送至处理装置的图像传感器。因此，例如，成像装置1能够通过多个图像传感器11、12、13和14跟踪主体并且使主体成像为成像目标。
进一步地，依次改变在一个帧周期内将图像数据发送至处理装置的图像传感器。因此，例如，成像装置1能够通过多个图像传感器11、12、13和14监测周围环境。
通过共享一条信号线SL将检测结果输出至AP 100(即，处理装置的实施例)的多个图像传感器11、12、13和14中的至少一个图像传感器捕捉图像而生成图像数据、从图像数据识别预定的目标对象、并且在捕捉一个图像的一个帧周期内在并不与使用信号线输出各个其他图像传感器的检测结果的周期重叠的周期内将识别预定目标对象的结果输出至处理装置。因此，成像方法能够在不使所捕捉图像的帧速率减少的情况下减少AP 100中所设置的接收接口的数量。
应注意，本说明书中描述的各个实施方式的效果仅是实施例。本公开的效果并不局限于此，并且可以获得其他效果。
应注意，本技术还能够具有下列配置。
(1)一种成像装置，包括：
多个图像传感器，通过共享一条信号线而将检测结果输出至处理装置；
其中，至少一个图像传感器包括：
成像单元，捕捉图像，以生成图像数据；
识别单元，从图像数据识别预定的目标对象；以及
输出单元，在成像单元捕捉一个图像的一个帧周期内，在并不与使用该信号线输出另一图像传感器的检测结果的周期重叠的周期内将识别单元的识别结果输出至处理装置。
(2)根据(1)所述的成像装置，其中，
另一图像传感器输出识别预定的目标对象的结果作为检测结果。
(3)根据(1)或(2)所述的成像装置，其中，
输出单元在一个帧周期内在并不与使用该信号线输出识别单元的识别结果的周期重叠的周期内输出由成像单元生成的图像数据。
(4)根据(1)至(3)中任一项所述的成像装置，其中，
另一图像传感器输出图像数据作为检测结果。
(5)根据(4)所述的成像装置，其中，
另一图像传感器包括临时保存图像数据的存储器；并且
在输出识别单元的识别结果的情况下，输出单元从另一图像传感器的存储器输出在与从中识别预定的目标对象的图像数据相同的时刻生成的图像数据。
(6)根据(4)或(5)所述的成像装置，其中，
另一图像传感器在与成像单元不同的时刻捕捉图像；并且
输出单元在包括由另一图像传感器输出图像数据的周期的一个帧周期内输出识别单元的识别结果。
(7)根据(1)至(6)中任一项所述的成像装置，其中，
在一个帧周期内将图像数据发送至处理装置的图像传感器是多个图像传感器中的任意一个图像传感器。
(8)根据(7)所述的成像装置，其中，
基于识别单元在之前的第一帧内的识别结果判断在一个帧周期内将图像数据发送至处理装置的图像传感器。
(9)根据(7)所述的成像装置，其中，
依次改变在一个帧周期内将图像数据发送至处理装置的图像传感器。
(10)一种成像方法，该成像方法由通过共享一条信号线而将检测结果输出至处理装置的多个图像传感器中的至少一个图像传感器执行，该成像方法包括：
捕捉图像，以生成图像数据；
从图像数据识别预定的目标对象；并且
在捕捉一个图像的一个帧周期内，在并不与使用该信号线输出另一图像传感器的检测结果的周期重叠的周期内将识别预定的目标对象的结果输出至处理装置。
参考标号列表
1成像装置
11，12，13，14传感器
21成像单元
22信号处理单元
23识别单元
24存储器
25输出单元
26DNN
100AP。

Claims (10)

1.一种成像装置，包括：
多个图像传感器，通过共享一条信号线而将检测结果输出至处理装置；
其中，所述图像传感器中的至少一个图像传感器包括：
成像单元，捕捉图像，以生成图像数据；
识别单元，从所述图像数据识别预定的目标对象；以及
输出单元，在所述成像单元捕捉一个图像的一个帧周期内，在并不与使用所述信号线输出另一图像传感器的检测结果的周期重叠的周期内将所述识别单元的识别结果输出至所述处理装置。
2.根据权利要求1所述的成像装置，其中，
所述另一图像传感器输出识别所述预定的目标对象的结果作为所述检测结果。
3.根据权利要求1所述的成像装置，其中，
所述输出单元在所述一个帧周期内在并不与使用所述信号线输出所述识别单元的所述识别结果的周期重叠的周期内输出由所述成像单元生成的所述图像数据。
4.根据权利要求1所述的成像装置，其中，
所述另一图像传感器输出所述图像数据作为所述检测结果。
5.根据权利要求4所述的成像装置，其中，
所述另一图像传感器包括临时保存所述图像数据的存储器；并且
在输出所述识别单元的所述识别结果的情况下，所述输出单元从所述另一图像传感器的所述存储器输出在与从中识别所述预定的目标对象的所述图像数据相同的时刻生成的图像数据。
6.根据权利要求4所述的成像装置，其中，
所述另一图像传感器在与所述成像单元不同的时刻捕捉所述图像；并且
所述输出单元在包括由所述另一图像传感器输出所述图像数据的周期的所述一个帧周期内输出所述识别单元的所述识别结果。
7.根据权利要求1所述的成像装置，其中，
在所述一个帧周期内将所述图像数据发送至所述处理装置的所述图像传感器是所述多个图像传感器中的任意一个图像传感器。
8.根据权利要求7所述的成像装置，其中，
基于所述识别单元在之前的第一帧内的识别结果判断在所述一个帧周期内将所述图像数据发送至所述处理装置的所述图像传感器。
9.根据权利要求7所述的成像装置，其中，
依次改变在所述一个帧周期内将所述图像数据发送至所述处理装置的所述图像传感器。
10.一种成像方法，所述成像方法由通过共享一条信号线而将检测结果输出至处理装置的多个图像传感器中的至少一个图像传感器执行，所述成像方法包括：
捕捉图像，以生成图像数据；
从所述图像数据识别预定的目标对象；并且
在捕捉一个图像的一个帧周期内，在并不与使用所述信号线输出另一图像传感器的检测结果的周期重叠的周期内将识别所述预定的目标对象的结果输出至所述处理装置。
CN202080026576.9A 2019-05-10 2020-04-28 成像装置与成像方法 Active CN113661700B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019090224A JP2020188323A (ja) 2019-05-10 2019-05-10 撮像装置および撮像方法
JP2019-090224 2019-05-10
PCT/JP2020/018197 WO2020230635A1 (ja) 2019-05-10 2020-04-28 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
CN113661700A true CN113661700A (zh) 2021-11-16
CN113661700B CN113661700B (zh) 2024-07-02

Family

ID=73222080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080026576.9A Active CN113661700B (zh) 2019-05-10 2020-04-28 成像装置与成像方法

Country Status (5)

Country Link
US (1) US12088927B2 (zh)
JP (1) JP2020188323A (zh)
CN (1) CN113661700B (zh)
TW (1) TWI742636B (zh)
WO (1) WO2020230635A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756963B (zh) * 2019-03-29 2022-01-14 华为技术有限公司 图像摄取模组及电子终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080073073A (ko) * 2007-02-05 2008-08-08 엘지이노텍 주식회사 듀얼 카메라모듈
KR20100130339A (ko) * 2009-06-03 2010-12-13 엘지이노텍 주식회사 카메라 모듈 및 그의 ｉ２ｃ 노이즈 감소 방법
US20120154352A1 (en) * 2010-12-15 2012-06-21 Sony Coproation Display apparatus
JP2013048333A (ja) * 2011-08-29 2013-03-07 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
WO2017175492A1 (ja) * 2016-04-05 2017-10-12 ソニー株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
CN107409176A (zh) * 2015-03-02 2017-11-28 英特尔公司 多相机同步脉冲同步化
CN107767696A (zh) * 2016-08-19 2018-03-06 德韧营运有限责任公司 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法
CN109155814A (zh) * 2016-05-27 2019-01-04 索尼半导体解决方案公司 处理装置、图像传感器和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5495625B2 (ja) 2009-06-01 2014-05-21 キヤノン株式会社 監視カメラシステム、監視カメラ及び監視カメラ制御装置
JP6695739B2 (ja) 2016-05-26 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 処理装置、画像センサ、およびシステム
BR112019025471A2 (pt) 2017-06-09 2020-06-23 Sony Semiconductor Solutions Corporation Dispositivo de transmissão de figura, e, dispositivo de recepção de figura
JP6988698B2 (ja) * 2018-05-31 2022-01-05 トヨタ自動車株式会社 物体認識装置
EP3895059A1 (en) * 2018-12-14 2021-10-20 INTEL Corporation On the fly adaptive convolutional neural network for variable computational resources
JP6644231B1 (ja) * 2019-04-26 2020-02-12 Ａｗｌ株式会社 画像分析装置、及び画像分析システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080073073A (ko) * 2007-02-05 2008-08-08 엘지이노텍 주식회사 듀얼 카메라모듈
KR20100130339A (ko) * 2009-06-03 2010-12-13 엘지이노텍 주식회사 카메라 모듈 및 그의 ｉ２ｃ 노이즈 감소 방법
US20120154352A1 (en) * 2010-12-15 2012-06-21 Sony Coproation Display apparatus
JP2013048333A (ja) * 2011-08-29 2013-03-07 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
CN107409176A (zh) * 2015-03-02 2017-11-28 英特尔公司 多相机同步脉冲同步化
WO2017175492A1 (ja) * 2016-04-05 2017-10-12 ソニー株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
CN109155814A (zh) * 2016-05-27 2019-01-04 索尼半导体解决方案公司 处理装置、图像传感器和系统
CN107767696A (zh) * 2016-08-19 2018-03-06 德韧营运有限责任公司 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法

Also Published As

Publication number Publication date
TWI742636B (zh) 2021-10-11
US12088927B2 (en) 2024-09-10
US20220224830A1 (en) 2022-07-14
JP2020188323A (ja) 2020-11-19
CN113661700B (zh) 2024-07-02
TW202103055A (zh) 2021-01-16
WO2020230635A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
US11805330B2 (en) Image recognition device, solid-state imaging device, and image recognition method
JP2020136958A (ja) イベント信号検出センサ及び制御方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US20210297589A1 (en) Imaging device and method of controlling imaging device
KR20220016056A (ko) 화상 인식 장치 및 화상 인식 방법
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
WO2017195459A1 (ja) 撮像装置、および撮像方法
TW202129313A (zh) 攝像裝置
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
CN113661700B (zh) 成像装置与成像方法
US11368620B2 (en) Image processing apparatus, image processing method, and electronic device
CN113170067B (zh) 摄像装置、摄像系统和故障检测方法
US20230098440A1 (en) Imaging device, imaging system, and imaging method
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
US11201997B2 (en) Solid-state imaging device, driving method, and electronic apparatus
WO2021246107A1 (ja) 固体撮像装置、固体撮像装置の制御方法および移動体
US11483499B2 (en) Imaging apparatus for addition of pixels on the basis of a temperature of an imaging array
WO2020137503A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant