CN111656144A - 传感器设备、电子设备、传感器系统和控制方法 - Google Patents

传感器设备、电子设备、传感器系统和控制方法 Download PDF

Info

Publication number
CN111656144A
CN111656144A CN201980010155.4A CN201980010155A CN111656144A CN 111656144 A CN111656144 A CN 111656144A CN 201980010155 A CN201980010155 A CN 201980010155A CN 111656144 A CN111656144 A CN 111656144A
Authority
CN
China
Prior art keywords
sensor
data
chip
circuit
fpga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980010155.4A
Other languages
English (en)
Inventor
瀬田涉二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN111656144A publication Critical patent/CN111656144A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Power Engineering (AREA)
  • Neurology (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Image Processing (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

根据本发明，传感器设备即使在传感器中存在劣化时也获得准确的信息。传感器设备包括：获得传感器信息的传感器(11)；对由传感器获得的传感器信息进行预定处理的现场可编程门阵列(FPGA)(12)；以及用于存储使FPGA进行预定处理的数据的存储器(15)。

Description

传感器设备、电子设备、传感器系统和控制方法
技术领域
所涉及的申请关于传感器设备、电子设备、传感器系统和控制方法。
背景技术
近年来，由于IoT(Internet of Things：物联网)已经在社会中普及，诸如传感器和设备的“物”通过经由互联网与云、雾和服务器建立连接来交换信息，从而使得开发用于在“物”之间进行相互控制的系统越来越受欢迎。此外，通过利用从IoT收集的大数据来向用户提供各种服务的系统已经获得积极的开发。
引用列表
专利文献
专利文献1：JP 2000-235644A
专利文献2：JP 2018-26682 A
发明内容
技术问题
然而，不仅在IoT的情况下，而且在使用相机等传感器获得信息的情况下，出现了由于使用和老化造成的传感器劣化而引起不能收集准确信息的问题。
在这方面，在所涉及的申请中，提出了即使在存在传感器劣化时也能够获得准确信息的传感器设备、电子设备、传感器系统和控制方法。
问题的解决方案
为了解决上述问题，一种传感器设备包括：传感器，该传感器获得传感器信息；FPGA(Field-Programmable Gate Array：现场可编程门阵列)，该FPGA对由传感器获得的传感器信息进行预定处理；以及存储器，该存储器用于存储用于使FPGA进行预定处理的数据。
附图说明
图1是示出根据第一实施方式的传感器系统1的示例性示意配置的示意图。
图2是示出根据第一实施方式的表示电子设备的通信设备的示例性示意配置的框图。
图3是示出根据第一实施方式的图像传感器的芯片配置的示意图。
图4是示出根据第一实施方式的柔性逻辑芯片的另一配置实例的示图。
图5是示出根据第一实施方式的柔性逻辑芯片的又一配置实例的示图。
图6是用于说明由根据第一实施方式的图像传感器进行的操作的示图。
图7是用于说明在根据第一实施方式的通信设备中进行的总体操作的实例的流程图。
图8是用于说明在根据第一实施方式的服务器中进行的总体操作的实例的流程图。
图9是示出根据第一实施方式的用于变形的项目的实例的示图。
图10是示出常规设备配置的框图。
图11是用于说明图10中所示的设备配置中进行的数据处理流程的示图。
图12是示出在图10中示出的设备配置中处理1000组数据时所需的时钟周期计数的示图。
图13是示出根据第一实施方式的图像传感器的设备配置的框图。
图14是用于说明在根据第一实施方式的图像传感器中进行的数据处理流程的示图。
图15是示出在根据第一实施方式的图像传感器中处理1000组数据时所需的时钟周期计数的示图。
图16是示出根据第二实施方式的通信设备的示例性示意配置的框图。
图17是示出根据第二实施方式的图像传感器的芯片配置的示意图。
图18是示出根据第三实施方式的通信设备的示例性示意配置的框图。
图19是示出根据第三实施方式的图像传感器的芯片配置的示意图。
图20是示出根据第四实施方式的通信设备的示例性示意配置的框图。
图21是示出根据第四实施方式的图像传感器的芯片配置的示意图。
图22是示出根据第五实施方式的通信设备的示例性示意配置的框图。
图23是示出根据第五实施方式的图像传感器的芯片配置的示意图。
图24是示出根据第六实施方式的通信设备的示例性示意配置的框图。
图25是示出根据第六实施方式的通信设备的另一示例性示意配置的框图。
图26是示出根据第六实施方式的通信设备的又一示例性示意配置的框图。
图27是示出根据第六实施方式的通信设备的又一示例性示意配置的框图。
图28是示出根据第六实施方式的通信设备的又一示例性示意配置的框图。
图29是示出根据第七实施方式的通信设备的示例性示意配置的框图。
图30是用于说明根据第七实施方式的DNN分析操作(机器学习操作)的实例的示图。
图31是用于说明根据第七实施方式进行的总体操作的实例的流程图。
图32是示出根据第八实施方式的通信设备的示例性示意配置的框图。
图33是示出车辆控制系统的示例性示意配置的框图。
图34是示出车辆外部信息检测器和成像单元的安装位置的实例的说明图。
具体实施方式
以下参照附图详细描述所涉及的申请的优选实施方式。在以下描述的实施方式中，用相同的附图标记表示相同的构成元件，并且不再重复地对其给出说明。
按以下项目顺序给出所涉及的申请的说明。
1.概述
2.第一实施方式
2.1系统配置
2.2设备配置
2.3堆叠结构
2.4图像传感器的操作
2.5各操作与芯片之间的关系
2.6图像传感器的劣化校正
2.7劣化校正序列
2.8图像数据的分析(机器学习)
2.9操作流程
2.9.1通信设备中的操作
2.9.2服务器中的操作
2.10设置数据/电路数据的修改
2.11高速处理的方法
2.12作用/效果
3.第二实施方式
3.1设备配置
3.2芯片配置
3.3作用/效果
4.第三实施方式
4.1设备配置
4.2芯片配置
4.3作用/效果
5.第四实施方式
5.1设备配置
5.2芯片配置
5.3作用/效果
6.第五实施方式
6.1设备配置
6.2芯片配置
6.3作用/效果
7.第六实施方式
7.1设备配置
7.2设备配置的变形例
7.3作用/效果
8.第七实施方式
8.1设备配置
8.2DNN分析操作
8.3操作流程
8.4作用/效果
9.第八实施方式
10.应用实例
1.概述
目前，作为其中安装有诸如相机模块的传感器的设备，例如，存在各种不同的设备，包括：诸如智能电话和蜂窝电话的可穿戴终端；诸如定点相机和监控相机的固定成像设备；诸如无人机、汽车、家用机器人、工厂自动化(FA)机器人、监控机器人和自主机器人的移动设备；以及医疗器械。在这样的设备中，由于使用频率和使用年限的增加，相机经受老化劣化。例如，由于相机的老化劣化，可能出现以下问题。
首先，伴随相机的劣化，需要通过使用个人计算机修改设置值来调整图像质量和控制。为此，需要时间和精力来将相机发送给制造商以进行维修。
第二，虽然可以通过更新设备中安装的软件来更改图像质量和控制，但是由于与图像质量和控制的变化有关的设备之间存在个体差异，因此在软件更新中覆盖个体设备的调整是困难的任务。
第三，关于实时分析图像数据并且基于分析结果进行自主移动的诸如汽车、无人机和各种类型的机器人的设备，在图像质量劣化的情况下或者在控制调整中出故障的情况下，需要实时校正设置值。
第四，在医疗领域中，例如在胶囊型内窥镜的相机劣化的情况下，需要重新检查，由此从体力和成本的观点来看，患者的负担增大。
第五，如果需要在设备自身中调整图像质量和控制，则需要在设备中安装调整系统，或者设备需要与外部系统连接。这导致整个系统配置的尺寸增大，由此导致成本、占地面积和重量增大。
第六，在需要实时进行图像分析的设备中，每个阶段的操作是以顺序方式进行的。然而，在那种情况下，由于存储器是跨级共享的，例如，如果指示了中断处理，则处理时间变得非常长。
在这方面，在以下描述的实施方式中，参照实例给出了关于即使当存在由于使用和老化导致的传感器(诸如相机)的劣化时也能够获得准确信息的传感器设备、电子设备、传感器系统和控制方法的说明。
2.第一实施方式
以下参照附图详细描述第一实施方式。在第一实施方式中，假设图像传感器是用于劣化校正的目标传感器，并且通信设备具有安装在其中的图像传感器。然而，传感器不限于图像传感器，并且可以使用各种类型的传感器，诸如，温度传感器、湿度传感器或辐射剂量计。
2.1系统配置
图1是示出根据第一实施方式的传感器系统1的示例性示意配置的示意图。如图1中所示，在传感器系统1中，具有通信功能的一个或多个通信设备2经由网络4连接到服务器3。
除了具有经由网络4与服务器3进行通信的上述通信功能以外，通信设备2还配备有成像功能。就通信设备2而言，可以使用具有感测功能和通信功能的各种类型的设备，诸如：诸如智能电话和蜂窝电话的可穿戴终端；诸如定点相机和监控相机的固定成像设备；诸如无人机、汽车、家用机器人、工厂自动化(FA)机器人、监控机器人和自主机器人的移动设备；以及医疗器械。
服务器3可以是例如连接到网络的云服务器或雾服务器。作为网络4，例如，可以使用各种类型的网络，诸如，互联网、LAN(局域网)、移动通信网络和公共线路网络。
2.2设备配置
图2是示出根据第一实施方式的表示电子设备的通信设备的示例性示意配置的框图。如图2中所示，通信设备2包括例如表示固定成像设备的图像传感器10以及收发器单元18。图像传感器10例如包括光接收单元11、高速信号处理电路12、柔性逻辑电路13、主处理器14、存储器15、驱动器16和非易失性存储器17。
例如，光接收单元11包括：光学传感器阵列(也称为像素阵列)，其中诸如光电二极管的光电转换元件在行方向和列方向上布置为二维矩阵；光学系统，诸如，安装在光学传感器阵列的光接收表面上的透镜；以及驱动光学系统的致动器。
高速信号处理电路12包括：模拟电路，诸如，用于将从光接收单元11的光电转换元件读取的模拟像素信号转换为数字像素信号的ADC；以及逻辑电路，用于基于由ADC转换成数字值的像素信号来进行诸如CDS(相关双采样)的数字处理。
存储器15用于存储从高速信号处理电路12输出的数字图像数据。此外，存储器15用于存储在柔性逻辑电路13和主处理器14(稍后描述)中已经受预定处理的图像数据。另外，存储器15用于在柔性逻辑电路13中包括的FPGA(Field-Programmable Gate Array：现场可编程门阵列)中存储用于实现预定电路配置的各种数据。在以下说明中，将通过连接FPGA的逻辑组件来实现电路配置时使用的数据称为电路数据，并且将提供给使用电路数据实现的电路配置的参数称为设置数据。
柔性逻辑电路13包括如上所述的FPGA，并且与主处理器14(稍后描述)协作，以对存储器15中存储的图像数据进行诸如黑电平处理、缺陷校正、阴影校正、失真校正、线性矩阵处理、伽马校正、亮度色彩分离、边缘增强、色差矩阵处理和尺寸调整/缩放的处理。此外，柔性逻辑电路13还进行各种其他处理，诸如，控制系统校正、自动曝光(AE)、自动聚焦(AF)、自动白平衡调整(AWB)和同步处理输出接口(IF)处理。
主处理器14控制通信设备2的构成元件。此外，主处理器14与柔性逻辑电路13协作进行操作，并且作为流水线处理进行以上列出的各种操作。
驱动器16包括例如垂直驱动电路、水平传送电路和定时控制电路，并且驱动高速信号处理电路12中安装的像素电路(稍后描述)，以便使高速信号处理电路12从光接收单元11读取像素信号。此外，驱动器16还控制光接收单元11中的驱动包括透镜和快门的光学系统的致动器。
非易失性存储器17使用例如EEPROM(Electrically Erasable ProgrammableRead-only Memory：电可擦除可编程只读存储器)来配置，并且用于存储当驱动器16控制高速信号处理电路12中的电路和控制光接收单元11中的致动器时要使用的参数。
收发器单元18是经由网络4与服务器3通信的通信单元，并且例如包括进行传输数据的DA(Digital to Analog：数模)转换的DAC 181、向网络4发送DA转换后数据的传输天线182、从网络4接收数据的接收天线184、以及对由接收天线184接收的数据进行AD(Analogto Digital：模数)转换的ADC 183。这里，收发器单元18不限于无线单元，并且可以替代地是有线单元。
2.3堆叠结构
图3是示出根据第一实施方式的图像传感器的芯片配置的示意图。在图3中，为了简单起见，未示出驱动器16和非易失性存储器17。
如图3中所示，在图像传感器10中，例如，光接收单元11、高速信号处理电路12、柔性逻辑电路13、主处理器14和存储器15被配置在个体芯片上。
在光接收单元11中，光学传感器阵列111形成在由半导体衬底制成的光接收芯片110上。在高速信号处理电路12中，像素电路121、ADC 122、CDS电路123和增益调整电路124形成在由半导体衬底制成的模拟/逻辑芯片120上。增益调整电路124可以是例如用于调整RGB颜色中的每一种颜色中的CDS后的数字像素信号的增益的电路。
在柔性逻辑电路13中，FPGA 131形成在由半导体衬底制成的柔性逻辑芯片130上。在主处理器14中，MPU 141形成在由半导体衬底制成的处理器芯片140上。这里，不必在处理器芯片140上仅形成单个MPU 141，并且可替代地，可以在处理器芯片140上形成多个MPU141。
在存储器15中，SRAM(静态RAM)或DRAM(动态RAM)的存储器区域151形成在由半导体衬底制成的存储器芯片150上。在存储器区域151中，一些部分用作用于存储用于设置FPGA 131中的电路配置的电路数据以及存储相关的设置数据的存储器区域(在下文中称为可编程存储器区域)152。
芯片110、120、130、140和150以图3所示的顺序从顶部堆叠。因此，图像传感器10具有堆叠结构，其中光接收芯片110、模拟/逻辑芯片120、存储器芯片150、柔性逻辑芯片130和处理器芯片140以该顺序堆叠。
图像传感器10的其余构成元件(诸如，驱动器16和非易失性存储器17)可以形成在独立芯片上，或者形成在公共芯片上，或者形成在芯片110、120、130、140和150中的任何一个上。以相同的方式，收发器单元18可以形成在独立芯片上或上述芯片中的任何一个芯片上。
此外，在柔性逻辑芯片130上，除了形成FPGA 131之外，还可以形成逻辑电路132，如图4或图5中所示。在图4中示出了FPGA 131和逻辑电路132形成在分开的区域中的情况，并且在图5中示出了FPGA 131形成在逻辑电路132的一些部分中的情况。
同时，在第一实施方式中，给出了关于光接收单元11、高速信号处理电路12、柔性逻辑电路13、主处理器14和存储器15在分别形成在个体芯片110、120、130、140和150上之后堆叠的堆叠结构的说明。可以以各种方式来修改堆叠结构，如上述实施方式中所说明的。例如，如果使用不需要高速图像处理的可穿戴终端(诸如，智能电话或蜂窝电话)或固定成像设备(诸如，定点相机)作为通信设备2，则主处理器14、柔性逻辑电路13和存储器15形成在单个芯片上，从而能够降低制造成本。可替代地，如果使用诸如无人机、汽车、家用机器人、工厂自动化(FA)机器人、监控机器人或自主机器人的移动设备作为通信设备2，则可以实现如第一实施方式或下述实施方式中所说明的堆叠结构，从而可以提高处理速度，并且可以增强实时性。
2.4图像传感器的操作
以下参照图6说明由图2中所示的通信设备2中的图像传感器10进行的操作。
如图6中所示，由图像传感器10进行的操作可以大致分为以下五个步骤：光电转换步骤S100；信号处理步骤S200；基础步骤S300；控制系统步骤S400；以及图片形成步骤S500。
在光电转换步骤S100，光接收单元11中的光电转换元件进行光电转换101，其中根据入射光的量将入射光转换为电荷。
在信号处理步骤S200，由高速信号处理电路12中的像素电路读取在光电转换元件中累积的电荷作为模拟图像信号。这里，高速信号处理电路12例如可以是这样的信号处理电路：在该信号处理电路中实现了使得能够从多个像素同时读取像素信号的方法，诸如，用于以行为单位读取像素信号的方法。
然后，通过高速信号处理电路12中的ADC将读取的模拟像素信号转换成数字像素信号(201)。然后，高速信号处理电路12中的CDS电路对AD转换后的像素信号进行CDS处理(201)。结果，生成去除了噪声的图像数据。然后，将所生成的图像数据临时存储在存储器15中。
在基础步骤S300，按照黑电平处理301、缺陷校正302、阴影校正303和失真校正304的顺序对存储器15中存储的图像数据进行操作。
这里，黑电平处理301例如是用于通过去除由于光接收单元11中生成的暗电流而造成的噪声来校正图像数据的黑电平的操作。
缺陷校正302例如是基于对应的邻近像素的像素值对由于缺陷元素而造成的缺陷像素的像素值进行插值的操作。
阴影校正303包括校正由于光源的定向和透镜像差的影响引起的亮度的不均匀性。
失真校正304包括校正具有高成像高度的区域中的基于透镜的图像失真。
在控制系统步骤S400，进行用于校正在驱动光接收单元11的致动器和像素电路时由驱动器16使用的各种参数的控制系统校正401。同时，控制系统步骤S400不必总是在信号处理步骤S200之后进行，并且可以在任意定时进行。
在图片形成步骤S500，依次进行以下操作：自动曝光(AE)/自动聚焦(AF)/自动白平衡调整(AWB)(501)；同步502；线性矩阵处理503；伽马校正504；亮度色彩分离505；边缘增强506；色差矩阵处理507；以及尺寸调整/缩放508。
自动曝光(AE)包括自动调整光接收单元11的光电转换元件的电荷积累时段。自动聚焦(AF)包括自动调整光接收单元11的光学系统的焦点。自动白平衡调整(AWB)包括通过调整由高速信号处理电路12的像素电路读取的RGB值的增益来自动调整白电平。
同步502是用于同步异步处理的结果的操作。
线性矩阵处理503包括对由高速信号处理电路12的像素电路读取的RGB值进行矩阵转换，并且将光接收单元11的输入光谱特性调整为理想值。
伽马校正504包括根据显示设备(例如，CRT(阴极射线管))的伽马特性校正图像数据的亮度水平。
亮度色彩分离505也被称为YC转换，其中将RGB图像数据的色彩空间转换以生成Y/B-Y/R-Y图像数据。
边缘增强506包含通过补偿图像数据的空间频率特性的劣化和通过加强轮廓来改善由于空间频率特性的劣化而造成的轮廓的模糊。
色差矩阵处理507包括对YC转换后的图像数据中的B-Y/R-Y分量进行矩阵转换，并且在不改变亮度的情况下调整色调和饱和度。
尺寸调整/缩放508包括根据显示设备的显示尺寸来改变图像数据的尺寸，并且包括在特定区域上放大。
随后，进行输出I/F处理509，以经由接口(未示出)向外部ISP(图像信号处理器)或外部AP(应用处理器)输出已经通过上述方式处理的图像数据(以下，称为经处理的图像数据)。在NTSC的情况下，例如，输出I/F处理509可以是包括YUV、编码和相机振铃的处理。这里，经处理的图像数据可以在将其输出到外部之前再次临时存储在存储器15中，或者可以经由接口从柔性逻辑电路13或主处理器14直接输出。
2.5各操作与芯片之间的关系
在以上说明的流程中，例如，在光接收单元11的光学传感器阵列111中进行光电转换101。此外，例如，在高速信号处理电路12的ADC 122和CDS电路123中进行AD/CDS处理201。
例如，作为从柔性逻辑电路13中的FPGA 131的可编程存储器区域152读取意在用于实现相应的电路配置的电路数据以及将各电路配置的设置数据寄存在对应的寄存器中的结果，进行黑电平处理301、缺陷校正302、阴影校正303、失真校正304、控制系统校正401、AE/AF/AWB 501、同步502、线性矩阵处理503、伽马校正504、亮度色彩分离505、边缘增强506、色差矩阵处理507、尺寸调整/缩放508、以及输出I/F处理509。因此，通过改变设置数据和电路数据，可以调整关于各个操作的输入的输出。
同时，如图4或图5中所示，当柔性逻辑电路13的一些部分被视为FPGA 131而其余部分被视为逻辑电路132时，FPGA 131可以被配置为进行缺陷校正302、阴影校正303、失真校正304、控制系统校正401、AE/AF/AWB 501、同步502、线性矩阵处理503和边缘增强506，而逻辑电路132可以被配置为进行黑电平处理301、伽马校正504、亮度色彩分离505、色差矩阵处理507、尺寸调整/缩放508以及输出I/F处理509。
主处理器14与柔性逻辑电路13协作进行操作，使得柔性逻辑电路13的操作作为流水线处理来进行。
2.6图像传感器的劣化校正
在以上说明的配置中，例如，图像传感器10的光学传感器阵列111由于使用频率和使用年限的增加而经受老化劣化。例如，通过改变FPGA131的电路配置和其参数，可以校正图像传感器10的这种劣化。
在这方面，在第一实施方式中，不断地或周期地或者在任意定时检测图像传感器10的劣化状态，并且，取决于检测到的劣化状态来改变FPGA131的电路配置和/或参数。结果，图像传感器10可以根据其劣化状态来进行定制，使得即使当图像传感器10由于使用和老化而经受劣化时，也可以获得准确的信息(例如，图像数据)。
为了校正图像传感器10的劣化，例如，经由网络4将由图像传感器10获得的图像数据发送至服务器3。
服务器3例如分析经由网络4从通信设备2接收的图像数据，并且识别图像传感器10中的劣化位置和劣化原因。然后，为了校正所识别的劣化位置和所识别的劣化原因，服务器3生成在图像传感器10的柔性逻辑电路13中的FPGA 131中要设置的设置数据和/或电路数据，并且经由网络4将设置数据和/或电路数据发送(反馈)到通信设备2。
一旦从服务器3接收到设置数据和/或电路数据，通信设备2就将所接收的数据存储在图像传感器10的存储器15中。然后，图像传感器10将存储器15中存储的设置数据和/或电路数据设置在FPGA 131中，并且因此校正劣化位置和劣化原因。
同时，例如可以使用通过对过去的数据进行机器学习而获得的学习模型来生成用于校正劣化位置和劣化原因的设置数据和/或电路数据。
2.7劣化校正序列
关于在服务器3中分析图像数据以及改变通信设备2中的柔性逻辑电路13的设置和/或电路配置的序列，可以引用以下方法作为实例。
首先，将图像数据从通信设备2发送到服务器3。
第二，在服务器3中分析图像数据(进行机器学习)。
第三，基于分析的结果，在服务器3中生成设置数据和/或电路数据。
第四，从服务器3向通信设备2反馈设置数据和/或电路数据(二进制数据传送)。
第五，在通信设备2中，将所接收的设置数据和/或所接收的电路数据写入在存储器15的可编程存储器区域152中的预定地址处。
第六，加载可编程存储器区域152中的设置数据和/或电路数据，以便在FPGA 131中配置新的电路或改变在FPGA 131中实现的电路配置的参数。
作为例如逐帧地进行上述操作的结果，可以不断地更新FPGA 131。
同时，FPGA 131的层配置可以根据预期最终用途而适当地变化，诸如仅包括FPGA131的配置(参见图3)、或包括FPGA 131和逻辑电路132的配置(参见图4)、或包括FPGA 131和逻辑电路132的合并的配置(即，在FPGA 131中对用作基础的逻辑电路132进行电路变形的配置，参见图5)。
此外，也可以基于在服务器3中进行的机器学习的结果，将新的电路添加给FPGA131，或者修改FPGA 131的电路配置(例如，消除一部分功能)，以实现增加速度的目的。例如，通过修改FPGA 131的电路配置，可以将从高速信号处理电路12输出的图像数据从10位图像数据修改为14位图像数据或8位图像数据。
2.8图像数据的分析(机器学习)
图像传感器10的劣化状态可以例如通过分析由图像传感器10获得的图像数据来确定。在图像数据的分析期间，例如，将由图像传感器10获得的图像数据存储在服务器3中，并且在分析图像数据时，可以将所存储的图像数据与新获得的图像数据进行比较，并且可以确定图像传感器10是否存在劣化。
此时，作为要存储在服务器3中的图像数据，可以使用在通信设备2装运之前获得的图像数据、或者在移交给用户之后进行通信设备2的初始设置时获得的图像数据、或者在图像传感器10的老化劣化较小的阶段获得的图像数据。
可替代地，从通信设备2发送到服务器3以便确定劣化目的的图像数据既可以是在任意定时获得的图像数据，也可以是满足预定条件时获得的图像数据。预定条件可以设置为通过捕获与服务器3中存储的图像数据中捕获的区域相同的区域而获得的条件、或者在与用于获得服务器3中存储的图像数据的照明条件相同的照明条件下进行成像而获得图像数据的条件。
可替代地，例如，如果图像传感器10包括机械快门，则在机械快门的关闭状态下获得的图像可以存储在服务器3中。随后，在劣化确定时，可以在机械快门保持关闭的情况下获得图像数据，并且可以将图像数据发送到服务器3。在该情况下，可以通过参照黑电平、噪声和缺陷像素来确认图像传感器10的劣化状态。
此外，在图像数据的分析期间，例如，通过进行机器学习来学习图像数据的劣化状态和劣化原因，并且构建学习模型。结果，在后续的分析中，可以提高发现原因时的准确性和即时性。同时，就考虑用于机器学习的方法而言，可以使用诸如RNN(Recurrent NeuralNetwork：时间递归神经网络)或CNN(Convolution Neural Network：卷积神经网络)的各种技术。
2.9操作流程
以下参照流程图来说明在检测和校正图像传感器10的劣化时进行的操作。图7是用于说明在根据第一实施方式的通信设备中进行的总体操作的实例的流程图。图8是用于说明在根据第一实施方式的服务器中进行的总体操作的实例的流程图。
2.9.1通信设备中的操作
如图7中所示，首先，通信设备2不断地或定期地向服务器3请求对由图像传感器10获得的图像数据进行分析(步骤S101)，并且等待来自服务器3的分析许可响应(步骤S102为“否”)。一旦接收到来自服务器的分析许可响应(步骤S102为“是”)，通信设备2将“1”存储在用于监控分析的重复计数的值N中(步骤S103)。然后，通信设备2驱动图像传感器10并获得图像数据(步骤S104)。此时获得的图像数据可以是已进行图6中所示的各步骤的操作的经处理的图像数据。
然后，通信设备2进行用于将经处理的图像数据转换成模拟图像数据的DA转换，并且进行编码(步骤S105)。这里，编码可以可替代地在例如主处理器14或应用处理器(编码单元)(未示出)中进行。随后，通信设备2经由网络4向服务器3发送经编码的图像数据(步骤S106)，并且等待来自服务器3的响应(步骤S107为“否”)。另一方面，如稍后参照图8所说明的，服务器3对从通信设备2接收的图像数据进行分析，并且如果识别到图像劣化，则生成要在FPGA 131中设置的用于解决图像劣化的设置数据。
如果从服务器3接收到指示没有图像劣化的分析结果(步骤S107为“是”)，则通信设备2结束当前操作。另一方面，如果接收到指示图像劣化的分析结果(步骤S107中为“否”)，则通信设备2经由网络4从服务器3接收经编码的设置数据(步骤S108)，并且解除经编码的设置数据的编码(步骤S109)。这里，可以例如在主处理器14或应用处理器(解码单元)(未示出)中交替地进行编码的解除(即，解码)。然后，通信设备2利用经解码的设置数据更新存储在存储器区域151的可编程存储器区域152中的FPGA 131的设置数据(步骤S110)，并且在FPGA 131中设置经更新的设置数据(步骤S111)。同时，如果所接收的设置数据包含有关驱动光接收单元11的光学系统的致动器的设置数据、或者包含有关高速信号处理电路12的构成元件的设置数据，则通信设备2利用设置数据来更新非易失性存储器17中的预定参数。结果，驱动器16的构成元件的驱动得到调整。
随后，通信设备2将重复计数N递增1(步骤S112)，并且确定递增的重复计数N是否大于重复计数的预定上限值(在本实例中为3)(步骤S113)。如果重复计数N等于或小于上限值(步骤S113为“否”)，则控制系统返回到步骤S104，并且通信设备2再次进行后续操作。另一方面，在重复计数N大于上限值(步骤S113为“是”)，则控制系统前进到步骤S114。
在步骤S114，通信设备2将重复计数N重置为“1”。然后，以与先前说明的步骤S104至步骤S107相同的方式，通信设备2对从图像传感器10获得的图像数据进行DA转换，进行编码，并且将经编码的图像数据发送至服务器3(步骤S106)，并且然后等待来自服务器3的响应(步骤S115至步骤S118)。另一方面，如稍后参照图8所说明的，服务器3对从通信设备2接收的图像数据进行分析，并且如果识别到图像劣化，则生成结合于FPGA 131中以用于解决图像劣化的电路数据。
如果从服务器3接收到指示没有图像劣化的分析结果(步骤S118为“是”)，则通信设备2结束当前操作。另一方面，如果接收到指示图像劣化的分析结果(步骤S118中为“否”)，则通信设备2经由网络4从服务器3接收经编码的电路数据(步骤S119)，并且解除经编码的电路数据的编码(步骤S120)。然后，通信设备2利用经解码的电路数据更新存储在存储器区域151的可编程存储器区域152中的FPGA 131的电路数据(步骤S121)，并且，将经更新的电路数据结合在FPGA 131中，从而修改FPGA131的电路配置(步骤S122)。
随后，通信设备2将重复计数N递增1(步骤S123)，并且确定递增的重复计数N是否大于重复计数的预定上限值(在本实例中为3)(步骤S124)。如果重复计数N等于或小于上限值(步骤S124为“否”)，则控制系统返回到步骤S115，并且通信设备2再次进行后续操作。另一方面，如果重复计数N大于上限值(步骤S124中为“是”)，则通信设备2结束当前操作。
2.9.2服务器中的操作
如图8中所示，在当前操作起动之后，服务器3等待来自通信设备2的分析请求(步骤S131为“否”)。一旦接收到分析请求(步骤S132中为“是”)，首先，服务器3识别发出分析请求的通信设备2(步骤S132)。
一旦成功识别出发出分析请求的通信设备2，服务器3就从预定的存储器设备读取存储在所识别的通信设备的可编程存储器区域152中的电路数据和设置数据(步骤S133)，并且向发出分析请求的通信设备2发送分析许可响应(步骤S134)。在服务器3的存储器设备中，在各个寄存的通信设备2的可编程存储器区域152中存储的电路数据和设置数据以对应于该通信设备2的方式进行存储。也就是说，各通信设备2的电路数据和设置数据在通信设备2和服务器3之间共享。
然后，服务器3将重复计数N设置为“1”(步骤S135)，并且等待直到从通信设备2接收到经编码的图像数据为止(步骤S136中为“否”)。一旦接收到经编码的图像数据(步骤S136为“是”)，服务器3就解除经编码的图像数据的编码(步骤S137)，分析经解码的图像数据(步骤S138)，并且因此确定是否存在图像劣化(步骤S139)。
如果不存在图像劣化(步骤S139为“否”)，则服务器3向通信设备2通知不存在图像劣化(步骤S157)，并且系统控制前进到步骤S158。另一方面，如果存在图像劣化(步骤S139为“是”)，则服务器3基于在步骤S138获得的分析结果来识别图像传感器10中的图像劣化的原因，并且生成针对所识别的位置的新的设置数据(步骤S140)。随后，服务器3以与所涉及的通信设备2对应的方式将所生成的设置数据存储在预定的存储器设备中(步骤S141)，对所生成的设置数据进行编码(步骤S142)，并且经由网络4将经编码的设置数据发送到所涉及的通信设备2(步骤S143)。同时，如前所述，可以使用通过对过去数据进行机器学习而获得的学习模型来生成新的设置数据。
然后，服务器3将重复计数N递增1(步骤S144)，并且确定递增的重复计数N是否大于重复计数的预定上限值(在本实例中为3)(步骤S145)。如果重复计数N等于或小于上限值(步骤S145为“否”)，则控制系统返回到步骤S136，并且服务器3再次进行后续操作。另一方面，在重复计数N大于上限值(步骤S145为“是”)，则通信设备2前进到步骤S146。
在步骤S146，服务器3将重复计数N重置为“1”。然后，服务器3等待直到从通信设备2接收到经编码的图像数据(步骤S147中为“否”)。一旦接收到经编码的图像数据(步骤S147为“是”)，服务器3就解除经编码的图像数据的编码(步骤S148)，分析经解码的图像数据(步骤S149)，并且因此确定是否存在图像劣化(步骤S150)。
如果不存在图像劣化(步骤S150为“否”)，则服务器3向通信设备2通知不存在图像劣化(步骤S157)，并且系统控制前进到步骤S158。另一方面，如果存在图像劣化(步骤S150中为“是”)，则服务器3基于步骤S149的分析结果来识别图像传感器10中导致图像劣化的位置，并且针对所识别的位置生成新的电路数据(步骤S151)。随后，服务器3以与通信设备2对应的方式将所生成的电路数据存储在预定的存储器设备中(步骤S152)，对所生成的电路数据进行编码(步骤S153)，并且经由网络4将经编码的电路数据发送到通信设备2(步骤S154)。同时，如前所述，可以使用通过对过去数据进行机器学习而获得的学习模型来生成新的电路数据。
然后，服务器3将重复计数N递增1(步骤S155)，并且确定递增的重复计数N是否大于重复计数的预定上限值(在本实例中为3)(步骤S156)。如果重复计数N等于或小于上限值(步骤S156为“否”)，则控制系统返回到步骤S147，并且服务器3再次进行后续操作。另一方面，在重复计数N大于上限值(步骤S156为“是”)，则通信设备2前进到步骤S158。
在步骤S158中，服务器3确定是否结束当前操作。如果确定结束操作(步骤S158为“是”)，则服务器3结束操作。但是，如果确定不结束操作(步骤S158为“否”)，则系统控制返回至步骤S131，并且服务器3进行后续操作。
作为进行这样的操作的结果，通信设备2的柔性逻辑电路13中的FPGA 131的电路配置和/或参数获得定制，并且校正了图像传感器10的劣化。结果，在通信设备2中，可以获得处于良好状态的图像数据。
同时，可以适当地改变将图像数据从通信设备2上传到服务器3的频率。此外，例如，在其中实时性很重要的无人机、汽车或机器人中，期望从通信设备2发送到服务器3的图像数据具有小的数据量。在这种情况下，为了减少图像数据的数据量，用于传输的目标图像数据可以被压缩到VGA水平或QVGA水平，或者可以通过进行面元划分(binning)来压缩。
2.10设置数据/电路数据的修改
在图9中示出了根据通过分析图像数据识别的图像传感器10的劣化状态而修改的示例性项目(设置数据和电路数据)的表格。
如图9中所示，劣化的原因包括由于图像传感器10的光学传感器阵列111中的光电转换元件而引起的原因以及由于诸如透镜和致动器的光学系统模块而引起的原因。例如，如果劣化的原因可被识别为在黑电平处理301、AE/AF/AWB 501、同步502、线性矩阵处理503、伽马校正504、亮度色彩分离505、边缘增强506或色差矩阵处理507中，则认为劣化的原因在于光电转换元件(传感器)。另一方面，如果劣化的原因可被识别为在阴影校正303、失真校正304、控制系统校正401或尺寸调整/缩放508中，则认为劣化的原因在于光学系统模块。此外，如果劣化的原因可被识别为在缺陷校正302中，则认为劣化的原因至少在于光电转换元件或光学系统模块。
在这方面，在第一实施方式中，如图9中的表格中所示，当劣化的原因被识别为在黑电平处理301中时，例如，修改表示设置数据的一部分的光学黑(OB)值。
当劣化的原因被识别为在缺陷校正302中时，例如，将缺陷校正值添加到设置数据，或者修改电路数据中的等于或大于簇的校正电路，或者修改电路数据中的摆振(shimmy)改善电路。
当劣化的原因被识别为在阴影校正303中时，例如，修改表示设置数据的一部分的阴影校正值，或者修改电路数据中的阴影算法(例如，修改阴影曲线函数)。
当劣化的原因被识别为在失真校正304中时，例如，将失真校正电路(用于校正枕形失真或桶形失真)添加到电路数据。
当劣化的原因被识别为在控制系统校正401中时，例如，修改AF、OIS(即，防抖功能)和/或校准数据，或者将驱动器控制调整前向电路添加到电路数据，以实现伺服调整、全增益调整和/或光轴调整的目的。
当劣化的原因被识别为在AE/AF/AWB 501中时，例如，在电路数据中修改用于执行AE和AWB的电路的算法。
当劣化的原因被识别为在同步502中时，例如，修改表示设置数据的一部分的插值校正值，或者修改电路数据中的插值算法。
当劣化的原因被识别为在线性矩阵处理503中时，例如，修改表示设置数据的一部分的色散校正值，或者修改电路数据中的等价函数算法。
当劣化的原因被识别为在伽马校正504中时，例如，修改表示设置数据的一部分的伽马校正值(对比度)。
当劣化的原因被识别为在边缘增强506中时，例如，修改表示设置数据的一部分的轮廓(孔径)校正/噪声校正值，或者修改电路数据中的轮廓(孔径)校正/噪声校正算法。
当劣化的原因被识别为在色差矩阵处理507中时，例如，修改表示设置数据的一部分的色彩矩阵值。
当劣化的原因被识别为在尺寸调整/缩放508中时，例如，修改表示设置数据的一部分的缩放值。
当劣化的原因被识别为在输出I/F处理509中时，例如，修改表示设置数据的一部分的基于模式的输出通道。
作为修改设置数据和/或电路数据的结果，例如可以抑制成像高度等于或大于80％的区域中的图像劣化。同时，当要添加存储器时，可以进行配置以使得能够添加存储器。
2.11高速处理的方法
以下给出在根据第一实施方式的通信设备2中进行的高速处理的说明，同时将其与常规情况进行比较。
图10是示出常规设备配置的框图。图11是用于说明图10中所示的设备配置中进行的数据处理流程的示图。图12是示出在图10中示出的设备配置中处理1000组数据时所需的时钟周期计数的示图。图13是示出根据第一实施方式的图像传感器的设备配置的框图。图14是用于说明在根据第一实施方式的图像传感器中进行的数据处理流程的示图。图15是示出在根据第一实施方式的图像传感器中处理1000组数据时所需的时钟周期计数的示图。
如图10中所示，在逻辑电路913经由总线919连接到主处理器914和存储器915的常规设备配置中，逻辑电路913、主处理器914和存储器15被合并在单个层中。所以，顺序处理使得能够以灵活的方式执行复杂的程序。
然而，因为在进行各种操作的电路(也称为运算单元)之间共享存储器15，所以存在诸如伴随处理器核的数量增加而性能下降的缺点，并且需要长时间段来进行并行处理。例如，在进行图6中所示的各种操作时，主处理器914需要经由总线919从存储器915逐个检索目标数据集，并且通过顺序地将数据集输入到逻辑电路913来进行操作。因此，在常规设备配置中，如图11中所示，存在顺序的处理流程，其中，以顺序的方式进行每个数据集D的处理。
为此，例如，在处理1000条相同级别的指令的情况下，由于每个时钟只能执行单个指令，所以需要至少1000个时钟周期来处理所有指令，如图12中所示。
相反，根据第一实施方式的图像传感器10具有通过堆叠进行各种操作的芯片110、120、130、140和150而形成的堆叠结构。因此，如图13中所示，在图像传感器10中，柔性逻辑电路13变得能够从存储器15直接检索数据并进行处理。
因此，使用这种堆叠结构的益处，存在这样的优点：诸如，可以以灵活的方式执行复杂的程序，并且通过在柔性逻辑电路13中生成寄存器和运算电路，主处理器14中的空闲数据可以被检索并且在柔性逻辑电路13中经受并行处理。例如，如图14中所示，在图像传感器10中，可以进行可以并行处理多个数据集D的流水线处理。
以这种方式，作为使得能够并行处理的结果，可以增强实时性。此外，即使在下一处理具有不同类型的情况下，也可以修改FPGA 131的电路配置，从而也可以通过灵活的方式执行复杂的程序。
例如，每个时钟可以执行两个指令，也就是说，如果流水线处理中的并行度等于2，则如图15中所示，处理1000个相同级别的指令所需的时钟周期的数量可以下降保持到500，这是图12中所示的常规设备结构中所需的数量的一半。也就是说，通过进一步增加流水线处理中的并行度，处理相同级别的指令所需的时钟周期的数量可减少到约1/(时钟周期的数量的倍数)。
此外，如图14中所示，如果处理S1的第一实例经过机器学习，则在处理S2的第二实例及其之后，可以减少要处理的数据集D的数量，从而使得能够实现进一步的高速处理。
同时，可以使用基于服务器3中的图像数据的分析的机器学习来进行对FPGA 131的新电路的添加或用于增强处理速度的电路配置的修改(诸如改善并行处理或消除一些功能)。
2.12作用/效果
如上所述，根据第一实施方式，基于由图像传感器10获得的图像数据，可以修改FPGA 131的参数和电路配置以校正图像劣化。结果，即使当图像传感器10经受劣化时，它也能够获得准确的图像数据。
此外，根据第一实施方式的图像传感器10具有通过堆叠光接收芯片110、模拟/逻辑芯片120、存储器芯片150、柔性逻辑芯片130和处理器芯片140而形成的堆叠结构。结果，光接收单元11、高速信号处理电路12、存储器15、柔性逻辑电路13和主处理器14在不涉及总线的情况下变为可连接的。因此，可以通过灵活的方式执行复杂的程序，可以从主处理器14检索空闲数据并且在FPGA 131中生成寄存器和运算电路，并且可以在流水线中进行并行处理。这使得能够实现实时性的增强并且使得能够以灵活的方式处理复杂的程序。
3.第二实施方式
以下参照附图详细描述第二实施方式。在上述第一实施方式中，光接收单元11和高速信号处理电路12形成在不同的芯片上(分别为光接收芯片110和模拟/逻辑芯片120，参见图3)。相反，在第二实施方式中，参照实例给出了光接收单元11和高速信号处理电路12形成在同一芯片上的情况的说明。在以下说明中，不再说明与第一实施方式相同的配置、操作和效果。
3.1设备配置
图16是示出根据第二实施方式的通信设备的示例性示意配置的框图。如图16中所示，例如，根据第二实施方式的图像传感器20包括光接收单元/高速信号处理电路21、柔性逻辑电路13、主处理器14、存储器15、驱动器16和非易失性存储器17。这里，柔性逻辑电路13、主处理器14、存储器15、驱动器16和非易失性存储器17以及收发器单元18可以与根据第一实施方式的参照图2说明的构成元件相同。
3.2芯片配置
图17是示出根据第二实施方式的图像传感器的芯片配置的示意图。在图17中，为了简化，未以与图3相同的方式示出驱动器16和非易失性存储器17。
如图17中所示，在图像传感器20中，在单个光接收芯片110上形成构成光接收单元11的光学传感器阵列111、构成高速信号处理电路12的像素电路121、ADC 122、CDS电路123和增益调整电路124。
3.3作用/效果
根据以上说明的配置，以与第一实施方式相同的方式，基于由图像传感器20获得的图像数据，可以对FPGA 131的参数和电路配置进行修改以校正图像劣化。结果，即使当图像传感器20经受劣化时，它也能够获得准确的图像数据。
其余配置、其余操作和其余效果可以与第一实施方式相同。因此，不再重复其详细说明。
4.第三实施方式
在前述第一实施方式中，存储器15紧挨着布置在高速信号处理电路12之下。然而，存储器15的位置不限于紧挨着在高速信号处理电路12之下。在这方面，在第三实施方式中，参照实例给出了关于存储器15被布置为堆叠结构中的最下层的情况的说明。在以下说明中，不再说明与上述实施方式相同的配置、操作和效果。
4.1设备配置
图18是示出根据第三实施方式的通信设备的示例性示意配置的框图。如图18中所示，在根据第三实施方式的图像传感器30中，例如，在与根据第一实施方式的参照图2说明的图像传感器10相同的配置中，存储器15被布置在主处理器14之下，表示最下层。此外，在图像传感器30中，信号处理电路32代替图像传感器10的高速信号处理电路12。信号处理电路32可以是能够以与高速信号处理电路12相同的方式进行高速读取的信号处理电路，或者可以是用于以与高速信号处理电路12相比更低的速度进行读取的信号处理电路。其他配置可以与根据第一实施方式的参照图2说明的配置相同。
4.2芯片配置
图19是示出根据第三实施方式的图像传感器的芯片配置的示意图。在图19中，为了简化，未以与图3相同的方式示出驱动器16和非易失性存储器17。
如图19中所示，在图像传感器30中，在存在于柔性逻辑芯片130与存储器芯片150之间的处理器芯片140上，布设有贯通布线142，以用于将柔性逻辑芯片130上的FPGA 131与存储器芯片150上的存储器区域151的可编程存储器区域152直接连接。因此，FPGA 131和可编程存储器区域152经由贯通布线142彼此直接连接。
这里，例如，贯通布线142可以是穿过处理器芯片140的TSV(硅通孔)。
4.3作用/效果
同样根据这样的配置，以与上述实施方式相同的方式，基于由图像传感器30获得的图像数据，可以对FPGA 131的参数和电路配置进行修改以校正图像劣化。结果，即使当图像传感器30经受劣化时，它也能够获得准确的图像数据。
其余配置、其余操作和其余效果可以与第一实施方式相同。因此，不再重复其详细说明。
5.第四实施方式
在前述第三实施方式中，光接收单元11和信号处理电路32形成在不同的芯片上(分别为光接收芯片110和模拟/逻辑芯片120，参见图19)。相反，在第四实施方式中，参照实例给出了光接收单元11和信号处理电路32形成在同一芯片上的情况的说明。在以下说明中，不再说明与上述实施方式相同的配置、操作和效果。
5.1设备配置
图20是示出根据第四实施方式的通信设备的示例性示意配置的框图。如图20中所示，例如，根据第四实施方式的图像传感器40包括接收单元/信号处理电路41、柔性逻辑电路13、主处理器14、存储器15、驱动器16和非易失性存储器17。这里，柔性逻辑电路13、主处理器14、存储器15、驱动器16和非易失性存储器17以及收发器单元18可以与根据第一实施方式的参照图2说明的构成元件相同。
5.2芯片配置
图21是示出根据第四实施方式的图像传感器的芯片配置的示意图。在图21中，为了简化，未以与图3相同的方式示出驱动器16和非易失性存储器17。
如图21中所示，在图像传感器40中，在单个光接收芯片110上形成构成光接收单元11的光学传感器阵列111、构成信号处理电路32的像素电路121、ADC 122、CDS电路123和增益调整电路124。
5.3作用/效果
同样根据这样的配置，以与上述配置相同的方式，基于由图像传感器40获得的图像数据，可以对FPGA 131的参数和电路配置进行修改以校正图像劣化。结果，即使当图像传感器40经受劣化时，它也能够获得准确的图像数据。
其余配置、其余操作和其余效果可以与上述实施方式相同。因此，不再重复其详细说明。
6.第五实施方式
在上述第四实施方式中，光接收单元11和信号处理电路32形成在单个光接收芯片110上(参见图21)。相反，在第五实施方式中，参照实例给出了信号处理电路32和柔性逻辑电路13形成在同一芯片上的情况的说明。在以下说明中，不再说明与上述实施方式相同的配置、操作和效果。
6.1设备配置
图22是示出根据第五实施方式的通信设备的示例性示意配置的框图。如图22中所示，例如，根据第五实施方式的图像传感器50包括光接收单元11、信号处理电路/柔性逻辑电路53、主处理器14、存储器15、驱动器16和非易失性存储器17。这里，光接收单元11、主处理器14、存储器15、驱动器16和非易失性存储器17以及收发器单元18可以与根据第一实施方式的参照图2说明的构成元件相同。
6.2芯片配置
图23是示出根据第五实施方式的图像传感器的芯片配置的示意图。在图23中，为了简化，未以与图3相同的方式示出驱动器16和非易失性存储器17。
如图23中所示，在图像传感器50中，在单个柔性逻辑芯片130上形成构成信号处理电路32的像素电路121、ADC 122、CDS电路123、增益调整电路124、以及构成柔性逻辑电路13的FPGA 131(和逻辑电路132)。
6.3作用/效果
同样根据这样的配置，以与上述实施方式相同的方式，基于由图像传感器50获得的图像数据，可以对FPGA 131的参数和电路配置进行修改以校正图像劣化。结果，即使当图像传感器50经受劣化时，它也能够获得准确的图像数据。
其余配置、其余操作和其余效果可以与上述实施方式相同。因此，不再重复其详细说明。
7.第六实施方式
在上述第一至第五实施方式中，在服务器3中分析分别由图像传感器10、20、30、40和50获得的图像以识别劣化原因，并且基于所识别的劣化原因，在服务器3中生成用于FPGA131的设置数据和/或电路数据的更新数据。相反，在第六实施方式中，参照实例给出了在通信设备中进行图像数据的分析和更新数据的生成的情况的说明。
7.1设备配置
图24是示出根据第六实施方式的通信设备的示例性示意配置的框图。如图24中所示，根据第六实施方式的通信设备中的图像传感器10具有与例如根据第一实施方式的参照图2说明的图像传感器10相同的配置。然而，在第六实施方式中，例如，主处理器14分析存储器15中存储的经处理的图像数据，识别劣化原因，并且因此生成FPGA 131的设置数据和/或电路数据的更新数据。以与上述实施方式相同的方式，用于设置数据和/或电路数据的更新数据存储在存储器15的预定可编程存储器区域152中，并且设置在FPGA 131中。
同时，以与根据上述实施方式的服务器3相同的方式，主处理器14可以被配置为通过对过去数据进行机器学习来生成学习模型，并且使用学习模型来生成用于设置数据和/或电路数据的更新数据。
7.2设备配置的变形例
图24中示出了基于第一实施方式的配置。然而，图像传感器的配置不需要基于第一实施方式。可替代地，例如，配置可以基于如图25中所示的根据第二实施方式的图像传感器20；或者配置可以基于如图26中所示的根据第三实施方式的图像传感器30；或者配置可以基于如图27中所示的根据第四实施方式的图像传感器40；或者配置可以基于如图28中所示的根据第五实施方式的图像传感器50。
7.3作用/效果
以这种方式，即使当通信设备被配置为进行从图像数据的分析到更新数据的生成的操作时，以与上述实施方式相同的方式，基于由图像传感器10、20、30、40和50中的任何一个获得的图像数据，可以修改FPGA 131的参数和电路配置以校正图像劣化。结果，即使当图像传感器10、20、30、40和50中的所涉及的图像传感器经受劣化时，也能够获得准确的图像数据。
其余配置、其余操作和其余效果可以与上述实施方式相同。因此，不再重复其详细说明。
8.第七实施方式
在上述第六实施方式中，主处理器14通过进行机器学习来生成学习模型，并且使用学习模型来生成用于设置数据和/或电路数据的更新数据。然而，在通信设备中进行从图像数据的分析到更新数据的生成的操作的情况下，可以在通信设备中安装用于进行机器学习的专用芯片。
8.1设备配置
图29是示出根据第七实施方式的通信设备的示例性示意配置的框图。如图29中所示，根据第七实施方式的通信设备中的图像传感器60通过例如向参照图24说明的图像传感器10的配置添加用于进行机器学习的DNN(Deep Neural Network：深度神经网络)电路61来配置。DNN电路61可以被布置在例如柔性逻辑电路13与主处理器14之间。
8.2DNN分析操作
图30是用于说明根据第七实施方式的DNN分析操作(机器学习操作)的实例的示图。如图30中所示，例如，根据第一实施方式，在参照图6说明的五个步骤(即，光电转换步骤S100、信号处理步骤S200、基础步骤S300、控制系统步骤S400和图片形成步骤S500)中，在信号处理步骤S200、基础步骤S300、控制系统步骤S400和图片形成步骤S500中的操作的结果被输入到DNN分析步骤S600的输入层。在DNN分析步骤S600中，关于经由隐藏层加入从输入层到输出层的每一层中的节点(也称为神经元)的每一边线，获得权重，并创建学习模型，以确保在输出层中出现用于减少图像数据中的劣化的最合适的设置数据和/或最合适的电路数据。
使用以上述方式创建的学习模型，DNN电路61和主处理器14生成用于减少图像数据中的劣化的最合适的设置数据和/或最合适的电路数据的更新数据，并且将该更新数据存储在存储器15的可编程存储器区域152中。
8.3操作流程
以下参照流程图来说明在检测和校正图像传感器60的劣化时进行的操作。图31是用于说明根据第七实施方式进行的总体操作的实例的流程图。
如图31中所示，在当前操作中，首先，主处理器14在用于监视分析的重复计数的值N中设置“1”(步骤S201)。然后，主处理器14控制高速信号处理电路12，使得从光接收单元11读取图像数据(步骤S202)。
然后，关于获得的图像数据，主处理器14和柔性逻辑电路13进行图6中所示的步骤的操作，并且通过将每个步骤的操作的结果输入到DNN电路61来分析图像数据(步骤S203)。然后，基于分析结果，主处理器14确定是否存在图像劣化(步骤S204)。
如果不存在图像劣化(步骤S204中“否”)，则主处理器14结束当前操作。另一方面，如果存在图像劣化(步骤S204中为“是”)，则基于在步骤S203获得的分析结果，主处理器14和DNN电路61分析图像传感器60中导致图像劣化的位置(步骤S205)，并且因此生成新的设置数据和/或新的电路数据(步骤S206)。
随后，主处理器14用所生成的设置数据和/或所生成的电路数据来更新存储在存储器区域151的可编程存储器区域152中的FPGA 131的设置数据和/或电路数据(步骤S207)，并且通过在FPGA 131中设置经更新的设置数据并且将经更新的电路数据嵌入在FPGA 131中，来修改FPGA 131的电路配置(步骤S208)。同时，在对驱动光接收单元11的光学系统的致动器的设置数据进行更新、或者对高速信号处理电路12的构成元件的设置数据进行更新的情况下，由设置数据对非易失性存储器17中的预定参数进行更新。因此，驱动器16对构成元件的驱动得到调整。
然后，主处理器14将重复计数N递增1(步骤S209)，并且确定递增的重复计数N是否大于重复计数的上限值(在本实例中为3)(步骤S210)。如果重复计数N等于或小于上限值(步骤S210为“否”)，则控制系统返回到步骤S202，并且主处理器14进行后续操作。另一方面，如果重复计数N大于上限值(步骤S210中为“是”)，则主处理器14结束当前操作。
8.4作用/效果
以此方式，通过将DNN电路61结合到通信设备中，可以基于机器学习在通信设备中进行从分析图像数据到生成更新数据的操作。结果，即使当图像传感器10、20、30、40和50中的所涉及的图像传感器经受劣化时，也能够获得准确的图像数据。
同时，在第七实施方式中，参照根据第六实施方式的参照图24说明的图像传感器10进行说明。然而，这不是唯一可能的情况。可替代地，可以参照分别参照图25至图28说明的图像传感器20、30、40和50中的任何一个给出说明。
其余配置、其余操作和其余效果可以与上述实施方式相同。因此，不再重复其详细说明。
9.第八实施方式
在上述实施方式中，在第一至第五实施方式中，给出了在服务器3中进行从分析图像数据到生成更新数据的操作的情况的说明。另一方面，在第六实施方式中，给出了在通信设备中进行从分析图像数据到生成更新数据的操作的情况的说明。然而，不限制服务器3和通信设备中的仅一个被配置为进行从分析图像数据到生成更新数据的操作。
例如，如图32中所示，服务器3或通信设备可被选择为配置为进行从分析图像数据到生成更新数据的操作。
例如，当通信设备是诸如无人机、汽车或自主机器人的移动设备时，该通信设备可以被配置为在运动时进行从分析图像数据到生成更新数据的操作。然而，当通信设备不在运动中时，可以在服务器3中进行操作。
可替代地，在从分析图像数据到生成更新数据的操作中，一些操作是在服务器3中进行的，并且一些操作是在通信设备中进行的。
关于在服务器3中还是在通信设备2中进行从分析图像数据到生成更新数据的操作，可以在主处理器14中或者在应用处理器(切换单元)(未示出)中进行切换。
同时，在第八实施方式中，参照根据第一实施方式的参照图2说明的图像传感器和参照根据第六实施方式的参照图24说明的图像传感器10进行说明。然而，这不是唯一可能的情况，并且也可以参照其他实施方式给出说明。
其余配置、其余操作和其余效果可以与上述实施方式相同。因此，不再重复其详细说明。
10.应用实例
在所涉及的申请中公开的技术可以应用于各种产品。例如，在所涉及的申请中公开的技术可以被实现为安装在诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动车辆、飞机、无人机、船舶、机器人、施工设备或农业机器(拖拉机)等任何类型的移动物体中的设备。
图33是示出车辆控制系统7000的示例性示意配置的框图，该车辆控制系统表示其中可应用所涉及的申请中公开的技术的移动物体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图33中所示的示例中，车辆控制系统7000包括传动系控制单元7100、车身控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车辆内部信息检测单元7500和集成控制单元7600。连接这样的多个控制单元的通信网络7010可以是与任意标准兼容的车载通信网络，诸如，CAN(Controller Areanetwork：控制器局域网)、LIN(LocalInterconnect Network：本地互连网络)、LAN(LocalArea Network：局域网)或FlexRay(注册商标)。
每个控制单元包括：微型计算机，用于根据各种程序进行运算处理；存储器单元，用于存储在微型计算机中要执行的程序并且用于存储在各种运算处理中要使用的参数；以及驱动各种目标设备以用于控制的驱动电路。此外，每个控制单元包括用于经由通信网络7010与其他控制单元进行通信的网络I/F，并且包括用于与安装在所涉及车辆内部或外部的设备或传感器进行有线通信或无线通信的通信I/F。参照图33，集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车辆内部设备I/F 7660、音频-视频输出单元7670、车载网络I/F 7680和存储器单元7690。以相同的方式，其他控制单元也包括微型计算机、通信I/F和存储器单元。
传动系控制单元7100遵循来自各种程序的指令，并且控制与车辆的传动系相关的设备的操作。例如，传动系控制单元7100用作以下设备的控制设备：生成车辆的驱动力的驱动力产生设备，诸如，内燃发动机或驱动电机；将驱动力传递到车轮的驱动力传递机构；调整车辆的转向角的转向机构；以及生成车辆的制动力的制动设备。传动系控制单元7100还可具有作为用于ABS(Antilock Brake System：防抱死制动系统)或ESC(ElectronicStability Control：电子稳定性控制)的控制设备的功能。
车辆状态检测单元7110连接至传动系控制单元7100。例如，车辆状态检测单元7110至少包括：用于检测车身的轴旋转运动的角速度的陀螺仪传感器；或者用于检测车辆的加速度的加速器传感器；或者用于检测加速踏板的操作量、检测制动踏板的操作量、检测方向盘的转向角、或检测发动机速度或车轮转速的传感器。传动系控制单元7100使用从车辆状态检测单元7110输入的信号进行运算操作，并且控制内燃发动机、驱动电机、电子动力转向设备和制动设备。
车身控制单元7200遵循来自各种程序的指令，并且控制装配在车身中的各种设备的操作。例如，车身控制单元7200用作无钥匙进入系统；智能密钥系统；自动窗口设备；以及用于诸如前照灯、尾灯、制动灯、转向信号灯和雾灯的各种灯的控制设备。在这种情况下，车身控制单元7200可以接收从替代按键的便携式设备发送的无线电波的输入，并且接收各种开关的信号的输入。一旦接收到无线电波或信号的输入，车身控制单元7200就控制车辆的门锁设备、自动车窗设备和灯。
电池控制单元7300遵循来自各种程序的指令，并且控制表示驱动电机的电源的二次电池7310。例如，诸如电池温度、电池输出电压和剩余电池容量的信息从包括二次电池7310的电池设备输入至电池控制单元7300。电池控制单元7300使用这样的信号进行运算处理，并且控制二次电池7310的温度调整并控制安装在电池设备中的冷却设备。
车辆外部信息检测单元7400检测安装有车辆控制系统7000的车辆的外部的信息。例如，成像单元7410或车辆外部信息检测器7420中的至少一个连接至车辆外部信息检测单元7400。成像单元7410包括ToF(Time of Flight：飞行时间)相机、立体相机、单目相机、红外相机和一些其他相机中的至少一个。例如，车辆外部信息检测器7420包括用于检测当前天气条件或气象现象的环境传感器、或者用于检测安装有车辆控制系统7000的车辆周围的周围车辆、障碍物和行人的周围信息检测传感器中的至少一个。
例如，环境传感器可以是用于检测雨天天气的雨滴传感器、或用于检测雾的雾传感器、用于检测阳光量的阳光传感器、或用于检测降雪的降雪传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达设备和LIDAR(Light Detection and Ranging,Laser Imaging Detection and Ranging：光检测和测距、激光成像检测和测距)设备中的至少一个。成像单元7410和车辆外部信息检测器7420既可以作为独立的传感器或设备，也可以作为通过将多个传感器和设备集成而形成的设备。
图34中示出了成像单元7410和车辆外部信息检测器7420的安装位置的实例。这里，例如，成像单元7910、7912、7914、7916和7918至少安装在前鼻、后视镜、后保险杠、后门和车辆内部上的挡风玻璃的上部处。安装在前鼻处的成像单元7910和安装在车辆内部上的挡风玻璃的上部处的成像单元7918主要获得车辆7900的前侧的图像。安装在后视镜上的成像单元7912和7914主要获得车辆7900的侧面的图像。安装在后保险杠或后门上的成像单元7916主要获得车辆7900的后侧的图像。安装在车辆内部上的挡风玻璃的上部中的成像单元7918主要用于检测前方车辆、行人、障碍物、交通灯、交通标志和车道。
同时，图34中示出了成像单元7910、7912、7914和7916中的每一个的成像范围的实例。成像范围“a”表示安装在前鼻上的成像单元7910的成像范围；成像范围“b”和“c”表示分别安装在后视镜上的成像单元7912和7914的成像范围；并且成像范围“d”表示安装在后保险杠或后车门上的成像单元7916的成像范围。例如，如果叠加通过成像单元7910、7912、7914和7916的成像而获得的图像数据，获得了从上方观察车辆7900的俯视图像。
在车辆7900中，安装在前侧、后侧、横向侧、拐角和车辆内部中的挡风玻璃的上部处的车辆外部信息检测器7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达设备。安装在前鼻、后保险杠、后门和车辆内部上的挡风玻璃的上部处的车辆外部信息检测器7920、7926和7930可以是例如LIDAR设备。这些车辆外部信息检测器7920至7930主要用于检测前方车辆、行人和障碍物。
返回参照图33的说明，车辆外部信息检测单元7400使成像单元7410拍摄车辆外部的图像，并且接收所拍摄的图像的图像数据。此外，车辆外部信息检测单元7400从与其连接的车辆外部信息检测器7420接收检测信息。如果车辆外部信息检测器7420是超声波传感器、激光设备或LIDAR设备，则车辆外部信息检测单元7400发送超声波或电磁波，并且接收反射波的信息。然后，车辆外部信息检测单元7400可以基于所接收的信息来进行用于检测人、车辆、障碍物、交通标志和路上特征的物体检测操作或距离检测操作。此外，车辆外部信息检测单元7400可以基于所接收的信息来进行用于识别降雨、雾、道路状况的环境识别操作。另外，车辆外部信息检测单元7400可以基于所接收的信息来计算距存在于车辆外部的物体的距离。
此外，车辆外部信息检测单元7400可以基于所接收的信息来进行用于识别人、车辆、障碍物、交通标志和路上特征的图像识别操作或距离检测操作。此外，车辆外部信息检测单元7400可以针对所接收的图像数据进行诸如失真校正或位置调整的操作，合成通过不同的成像单元7410的成像而获得的图像数据，并且生成俯视图像或全景图像。此外，车辆外部信息检测单元7400可以使用通过不同的成像单元7410的成像而获得的图像数据来进行视点变换操作。
车辆内部信息检测单元7500检测关于车辆内部的信息。例如，车辆内部信息检测单元7500连接至检测驾驶员的状态的驾驶员状态检测单元7510。驾驶员状态检测单元7510可以包括用于拍摄驾驶员的图像的相机、用于检测驾驶员的生物信息的生物传感器以及用于收集车辆内部的声音的麦克风。生物传感器被布置在例如座椅和方向盘中，并且检测坐在座椅中的人或握着方向盘的驾驶员的生物信息。车辆内部信息检测单元7500可以基于从驾驶员状态检测单元7510输入的检测信息来计算驾驶员的疲劳度或集中度，或者可以确定驾驶员是否在驾驶中睡着。此外，车辆内部信息检测单元7500可以对所收集的声音信号进行诸如噪声消除的操作。
集成控制单元7600遵循来自各种程序的指令并且控制在车辆控制系统7000中进行的整体操作。输入单元7800连接至集成控制单元7600。例如，输入单元7800使用诸如乘客可操作的触敏面板、按钮、麦克风、开关或杆的设备来实现。作为进行从麦克风输入的语音的语音识别的结果而获得的数据可被输入到集成控制单元7600。输入单元7800可以是例如使用红外线或一些其他无线电波的遥控设备，或者是与车辆控制系统7000的操作兼容的诸如蜂窝电话或PDA(Personal Digital Assistant：个人数字助理)的外部连接设备。可替代地，例如，输入单元7800可以是相机，并且乘客可以使用手势来输入信息。仍可替代地，可以通过检测乘客穿戴的可穿戴设备的运动来获得数据。此外，输入单元7800可以包括例如输入控制电路，该输入控制电路基于由乘客从输入单元7800输入的信息来生成输入信号，并且将输入信号输出到集成控制单元7600。乘客操作输入单元7800，并且向车辆控制系统7000输入各种数据和指示操作。
存储器单元7690可以包括用于存储将由微型计算机执行的各种程序的ROM(ReadOnly Memory：只读存储器)和用于存储各种参数、计算结果和传感器值的RAM(RandomAccess Memory：随机存取存储器)。存储器单元7690可以使用诸如HDD(Hard Disc Drive：硬盘驱动器)的磁性存储器设备、或半导体存储器设备、或光学存储器设备、或磁光存储器设备来实现。
通用通信I/F 7620是用于中继与外部环境7750中存在的各种设备的通信的通用通信I/F。通用通信I/F 7620可以安装有蜂窝通信协议，诸如，GSM(注册商标)(GlobalSystem of Mobile Communications：全球移动通信系统)、WiMAX(注册商标)、LTE(注册商标)(Long Term Evolution：长期演进)或LTE-A(LTE-Advanced：高级LTE)，或者可以安装有一些其他的无线通信协议，诸如，无线LAN(也称为Wi-Fi(注册商标))或Bluetooth(注册商标)。此外，通用通信I/F 7620可以经由例如基站或接入点来建立与存在于外部网络(例如，互联网、云网络、或专用于商业运营商的网络)中的设备(例如，应用服务器和控制服务器)的连接。此外，通用通信I/F 7620可以建立与存在于车辆附近的终端(例如，驾驶员、行人和商店所拥有的终端)的连接，或者与使用例如P2P(Peer to Peer：点对点)技术的MTC(Machine Type Communication：机器类型通信)终端的连接。
专用通信I/F 7630是支持为在车辆中使用而开发的通信协议的通信I/F。例如，专用通信I/F 7630可以实现WAVE(Wireless Access in Vehicle Environment：车辆环境中的无线接入)或DSRC(Dedicated Short Range Communications：专用短程通信)，其表示用于低层的IEEE 802.11p和用于高层的IEEE 1609的组合，或者可以实现诸如蜂窝通信协议的标准协议。通常，专用通信I/F 7630执行V2X通信，V2X通信是包括车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信和车辆到行人通信中的一个或多个的概念。
定位单元7640通过接收来自GNSS卫星(GNSS代表全球导航卫星系统)的GNSS信号(例如，来自GPS卫星(GPS代表全球定位系统)的GPS信号)来进行定位，并且生成包含车辆的纬度、经度和海拔高度的位置信息。定位单元7640可以通过与无线接入点交换信号来识别当前位置，或者可以从具有定位功能的诸如蜂窝电话、PHS或智能电话的终端获得位置信息。
信标接收单元7650接收从安装在道路上的无线站发送的无线电波或电磁波，并且获得诸如当前位置、拥堵、道路封闭和所需时间等信息。同时，信标接收单元7650的功能可以替代地被包括在专用通信I/F 7630中。
车辆内部设备I/F 7660是用于中继微型计算机7610与存在于车辆中的各种车载设备7760之间的连接的通信接口。车辆内部设备I/F 7660可以使用诸如无线LAN、蓝牙(注册商标)、NFC(Near Field Communication：近场通信)或WUSB(Wireless USB：无线USB)等无线通信协议来建立无线连接。可替代地，车辆内部设备I/F 7660可以经由连接端子(未示出)(和必要时的电缆)建立有线连接，诸如，USB(Universal Serial Bus：通用串行总线)、HDMI(注册商标)(High-Definition Multimedia Interface：高清晰度多媒体接口)或MHL(Mobile High-definition Link：移动高清晰度链路)。例如，车载设备7760可以包括以下各项中的至少一项：乘客所拥有的移动设备或可穿戴设备、以及运载在车辆中或附接至车辆的信息设备。此外，车载设备7760可以包括用于搜索到任意目的地的路线的导航设备。车辆内部设备I/F 7660与车载设备7760交换控制信号或数据信号。
车载网络I/F 7680是用于中继与微型计算机7610和通信网络7010的通信的接口。车载网络I/F 7680根据由通信网络7010支持的预定协议来发送和接收信号。
集成控制单元7600的微型计算机7610根据各种协议并且基于经由通用通信I/F7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车辆内部设备I/F 7660和车载网络I/F 7680中的至少一个获得的信息来控制车辆控制系统7000。例如，微型计算机7610可以基于所获得的关于车辆内部和外部的信息来计算驱动力生成设备、转向机构和控制设备的控制目标值，并且可以向传动系控制单元7100输出控制指令。例如，微型计算机7610可以进行协作控制以实现ADAS(Advanced Driver Assistance System：高级驾驶员辅助系统)的功能，ADAS包括车辆的碰撞避免和冲击减轻、基于车辆间距离的跟随行驶、速度保持行驶、针对车辆碰撞的警告和针对车道偏离的警告。此外，微型计算机7610可以基于关于车辆周围的信息来控制驱动力生成设备、转向机构和制动设备，并且可以进行协作控制，以实现车辆在没有驾驶员操作的情况下以自主方式行驶的自驾驶模式的目的。
微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车辆内部设备I/F 7660和车载网络I/F 7680中的至少一个获得的信息来生成车辆与周围物体(诸如，建筑物和人)之间的三维距离信息，并且可以创建包含车辆的当前位置的周围信息的局部地图信息。此外，基于所获得的信息，微型计算机7610可以预测危险，诸如，车辆的碰撞、与行人的接近度、或进入具有道路封闭的道路，并且可以生成警告信号。警告信号可以是例如用于生成警告声音或激活警告灯的信号。
音频-视频输出单元7670将音频或视频中的至少一个的输出信号发送到输出设备，该输出设备能够以视觉或听觉的方式向车辆中的乘客通知信息或者向车辆的外部通知信息。在图33中所示的实例中，音频扬声器7710、显示单元7720和仪表板7730被示为输出设备。显示单元7720可以包括例如车载显示器或平视显示器中的至少一个。此外，显示单元7720还可以包括AR(Augmented Reality：增强现实)显示功能。除了这样的实例之外，输出设备可以是诸如由乘客使用的耳机或眼镜型显示器的可穿戴设备，或者可以是诸如投影仪或灯的一些其他的设备。当输出设备是显示设备时，由显示设备以各种视觉形式(诸如文本、图像、表格和图形)来显示由微型计算机7610进行的各种操作的结果和从其他控制单元接收的信息。当输出设备是音频输出设备时，它将由再现的音频数据或声学数据构成的音频信号转换为模拟信号，并以听觉方式将其输出。
在图33中所示的实例中，在经由通信网络7010连接的控制单元中，至少两个控制单元可以集成为单个控制单元。可替代地，也可以使用多个控制单元来配置个体控制单元。此外，车辆控制系统7000可以包括一些其他的控制单元(未示出)。此外，在以上给出的说明中，任何控制单元的功能中的一些或全部可以设置在另一控制单元中。也就是说，只要可以经由通信网络7010接收和发送信息，就可以在任何控制单元中进行预定的运算处理。以相同的方式，连接到控制单元的传感器或设备可以连接到另一个控制单元，并且多个控制单元可以经由通信网络7010向彼此发送检测信息并且从彼此接收检测信息。
同时，用于实现根据实施方式的参照图1说明的传感器系统1的功能的计算机程序可安装在任何控制单元中。此外，可提供存储计算机程序的计算机可读记录介质。记录介质的实例包括磁盘、光盘、磁光盘和闪存。可替代地，代替使用记录介质，计算机程序可以例如经由网络分布。
在车辆控制系统7000中，根据实施方式的参照图2说明的通信设备2可实现在表示图33中示出的应用实例的集成控制单元7600中。例如，在通信设备2中，主处理器14、存储器15和收发器单元18相当于集成控制单元7600的微型计算机7610、存储器单元7690和车载网络I/F 7680。
同时，参照图2说明的通信设备2的至少一些构成元件可以实现在图33中示出的用于集成控制单元7600的模块(例如，使用单个管芯配置的集成电路模块)中。可替代地，参照图1说明的传感器系统1可以使用图33中示出的车辆控制系统7000的多个控制单元来实现。
尽管以上参照附图以实施方式的形式详细描述了所涉及的申请，所涉及的申请的技术范围不限定于上述实施方式。也就是说，所涉及的申请应被解释为体现所有变形，诸如，其他实施方式、添加、替代构造和删除，本领域技术人员可以想到这些变形完全落入本文所阐述的基本教导内。
在本书面描述的实施方式中描述的效果仅是说明性和示例性的，并且范围不受限制。也就是说，在所涉及的申请中公开的技术能够实现本领域技术人员能够想到的其他效果。
同时，以下说明的配置也落入所涉及的申请的技术范围内。
(1)一种传感器设备，包括：
传感器，该传感器获得传感器信息；
FPGA(现场可编程门阵列)，该FPGA对由传感器获得的传感器信息进行预定处理；以及
存储器，该存储器存储用于使FPGA进行预定处理的数据。
(2)根据(1)所述的传感器设备，其中，根据传感器信息的分析结果来更新存储器中存储的数据。
(3)根据(1)或(2)所述的传感器设备，还包括：
发送单元，该发送单元将已经过预定处理的传感器信息发送到预定网络；以及
接收单元，该接收单元接收用于更新FPGA的、根据发送到预定网络的传感器信息的分析结果生成的更新数据，其中，
利用更新数据来更新存储器中存储的数据。
(4)根据(3)所述的传感器设备，其中，
发送单元使用无线通信将传感器信息发送到预定网络，并且
接收单元使用无线通信从预定网络接收更新数据。
(5)根据(4)所述的传感器设备，还包括：
编码单元，该编码单元对传感器信息进行编码；以及
解码单元，该解码单元解除对更新数据的编码。
(6)根据(1)或(2)所述的传感器设备，还包括处理器，该处理器：
分析传感器信息，
根据分析结果生成用于更新FPGA的更新数据，并且
利用所生成的更新数据来更新存储器中存储的数据。
(7)根据(6)所述的传感器设备，还包括DNN(Deep Neural Network：深度神经网络)电路，该DNN电路通过进行机器学习来分析传感器信息，其中，处理器基于由DNN电路进行的机器学习的结果来分析传感器信息。
(8)根据(1)或(2)所述的传感器设备，还包括：
发送单元，该发送单元将已经过预定处理的传感器信息发送到预定网络；
接收单元，该接收单元接收用于更新FPGA的、根据发送到预定网络的传感器信息的分析结果生成的更新数据；
处理器，该处理器分析传感器信息并且根据分析结果生成用于更新FPGA的更新数据；以及
切换单元，该切换单元在使用发送单元将传感器信息发送到预定网络与将传感器信息输入到处理器之间进行切换，其中，
利用由接收单元接收的更新数据或者利用由处理器生成的更新数据来更新存储器中存储的数据。
(9)根据(1)至(8)中任一项所述的传感器设备，其中，
传感器信息表示图像数据，并且
传感器包括
光接收单元，该光接收单元具有多个光电转换元件，以及
信号处理电路，该信号处理电路从光接收单元读取图像数据。
(10)根据(9)所述的传感器设备，其中，预定处理包括黑电平处理、缺陷校正、阴影校正、失真校正、自动曝光/自动聚焦/自动白平衡调整、同步、线性矩阵处理、伽马校正、亮度色彩分离、边缘增强、色差矩阵处理和尺寸调整/缩放中的至少一项。
(11)根据(1)至(10)中任一项所述的传感器设备，其中，数据包含
电路数据，用于将进行预定处理的电路配置嵌入FPGA，以及
设置数据，包含在电路配置中要设置的参数。
(12)根据(1)或(2)所述的传感器设备，还包括处理器，该处理器与FPGA协作进行预定处理。
(13)根据(1)至(12)中任一项所述的传感器设备，还包括：
第一芯片，该第一芯片上安装有传感器；
第二芯片，该第二芯片上安装有FPGA；以及
第三芯片，该第三芯片上安装有存储器，其中，
传感器设备具有通过堆叠第一芯片至第三芯片而形成的堆叠结构。
(14)根据(13)所述的传感器设备，其中，第三芯片被定位在第一芯片与第二芯片之间。
(15)根据(13)或(14)所述的传感器设备，还包括第四芯片，该第四芯片上安装有用于与FPGA协作进行预定处理的处理器，其中，
堆叠结构是通过堆叠第一芯片至第四芯片形成的。
(16)根据(15)所述的传感器设备，其中，
第一芯片被定位为堆叠结构的最顶层，并且
第四芯片被定位为堆叠结构的最底层。
(17)根据(13)至(16)中任一项所述的传感器设备，其中，
传感器信息表示图像数据，
传感器包括
光接收单元，该光接收单元具有多个光电转换元件，以及
信号处理电路，该信号处理电路从光接收单元读取图像数据，并且
第一芯片包括
第五芯片，该第五芯片上安装有光接收单元，以及
第六芯片，该第六芯片上安装有信号处理电路。
(18)一种电子设备，包括：
传感器，该传感器获得传感器信息；
FPGA，该FPGA对由传感器获得的传感器信息进行预定处理；以及
存储器，该存储器存储用于使FPGA进行预定处理的数据。
(19)一种传感器系统，其中电子设备和服务器经由预定网络来连接，其中，
电子设备包括：
传感器，该传感器获得传感器信息，
FPGA，该FPGA对由传感器获得的传感器信息进行预定处理，
存储器，该存储器存储用于使FPGA进行预定处理的数据，
发送单元，该发送单元将已经过预定处理的传感器信息发送到预定网络，以及
接收单元，该接收单元接收用于更新FPGA的、根据发送到预定网络的传感器信息的分析结果生成的更新数据，
服务器
分析经由预定网络从电子设备接收的传感器信息，
根据分析结果生成用于更新FPGA的更新数据，
将所生成的更新数据发送至预定网络，并且
利用由接收单元经由预定网络接收的更新数据来更新存储器中存储的数据。
(20)
一种控制方法，包括：
用于分析由传感器获得的传感器信息的步骤；以及
用于根据传感器信息的分析结果来修改对传感器信息进行预定处理的FPGA的电路配置和电路配置的设置值中的至少一个的步骤。
参考符号列表
1 传感器系统
2 通信设备
3 服务器
10、20、30、40、50、60 图像传感器
11 光接收单元
12 高速信号处理电路
13 柔性逻辑电路
14 主处理器
15 存储器
16 驱动器
17 非易失性存储器
18 收发器单元
21 光接收单元/高速信号处理电路
32 信号处理电路
41 光接收单元/信号处理电路
53 信号处理电路/柔性逻辑电路
61 DNN电路
110 光接收芯片
111 光学传感器阵列
120 模拟/逻辑芯片
121 像素电路
122 ADC
123 CDS电路
124 增益调整电路
130 柔性逻辑芯片
131 FPGA
132 逻辑电路
140 处理器芯片
141 MPU
150 存储器芯片
151 存储器区域
152 可编程存储器区域
181 DAC
182 传输天线
183 ADC
184 接收天线
101 光电转换
201 AD/CDS处理
301 黑电平处理
302 缺陷校正
303 阴影校正
304 失真校正
401 控制系统校正
501 AE/AF/AWB
502 同步
503 线性矩阵处理
504 伽马校正
505 亮度色彩分离
506 边缘增强
507 色差矩阵处理
508 尺寸调整/缩放
509 输出I/F处理

Claims (20)

1.一种传感器设备，包括：
传感器，所述传感器获得传感器信息；
FPGA(现场可编程门阵列)，所述FPGA对由所述传感器获得的所述传感器信息进行预定处理；以及
存储器，所述存储器用于存储用于使所述FPGA进行所述预定处理的数据。
2.根据权利要求1所述的传感器设备，其中，根据所述传感器信息的分析结果来更新所述存储器中存储的数据。
3.根据权利要求1所述的传感器设备，还包括：
发送单元，所述发送单元将已经过所述预定处理的所述传感器信息发送到预定网络；以及
接收单元，所述接收单元接收用于更新所述FPGA的、根据发送到所述预定网络的所述传感器信息的分析结果生成的更新数据，其中，
利用所述更新数据来更新所述存储器中存储的数据。
4.根据权利要求3所述的传感器设备，其中，
所述发送单元使用无线通信将所述传感器信息发送到所述预定网络，并且
所述接收单元使用无线通信从所述预定网络接收所述更新数据。
5.根据权利要求4所述的传感器设备，还包括：
编码单元，所述编码单元对所述传感器信息进行编码；以及
解码单元，所述解码单元解除对所述更新数据的编码。
6.根据权利要求1所述的传感器设备，还包括处理器，所述处理器
分析所述传感器信息，
根据分析结果生成用于更新所述FPGA的更新数据，并且
利用所生成的更新数据来更新所述存储器中存储的数据。
7.根据权利要求6所述的传感器设备，还包括DNN(深度神经网络)电路，所述DNN电路通过进行机器学习来分析传感器信息，其中，
所述处理器基于由所述DNN电路进行的所述机器学习的结果来分析所述传感器信息。
8.根据权利要求1所述的传感器设备，还包括：
发送单元，所述发送单元将已经过所述预定处理的所述传感器信息发送到预定网络；
接收单元，所述接收单元接收用于更新所述FPGA的、根据发送到所述预定网络的所述传感器信息的分析结果生成的更新数据；
处理器，所述处理器分析所述传感器信息并且根据所述分析结果生成用于更新所述FPGA的更新数据；以及
切换单元，所述切换单元在使用所述发送单元将所述传感器信息发送到所述预定网络与将所述传感器信息输入到所述处理器之间进行切换，其中，
利用由所述接收单元接收的所述更新数据或者利用由所述处理器生成的所述更新数据来更新所述存储器中存储的数据。
9.根据权利要求1所述的传感器设备，其中，
所述传感器信息表示图像数据，并且
所述传感器包括
光接收单元，所述光接收单元具有多个光电转换元件，以及
信号处理电路，所述信号处理电路从所述光接收单元读取图像数据。
10.根据权利要求9所述的传感器设备，其中，所述预定处理包括黑电平处理，缺陷校正，阴影校正，失真校正，自动曝光、自动聚焦、自动白平衡调整，同步处理，线性矩阵处理，伽马校正，亮度色彩分离，边缘增强处理、色差矩阵处理和尺寸调整/缩放中的至少一项。
11.根据权利要求1所述的传感器设备，其中，所述数据包含
电路数据，用于将进行所述预定处理的电路配置嵌入所述FPGA，以及
设置数据，包含在所述电路配置中要设置的参数。
12.根据权利要求1所述的传感器设备，还包括处理器，所述处理器与所述FPGA协作进行所述预定处理。
13.根据权利要求1所述的传感器设备，还包括：
第一芯片，所述第一芯片上安装有所述传感器；
第二芯片，所述第二芯片上安装有所述FPGA；以及
第三芯片，所述第三芯片上安装有所述存储器，其中，
所述传感器设备具有通过堆叠所述第一芯片至所述第三芯片而形成的堆叠结构。
14.根据权利要求13所述的传感器设备，其中，所述第三芯片被定位在所述第一芯片与所述第二芯片之间。
15.根据权利要求13所述的传感器设备，还包括第四芯片，所述第四芯片上安装有用于与所述FPGA协作进行所述预定处理的处理器，其中，
所述堆叠结构是通过堆叠所述第一芯片至所述第四芯片形成的。
16.根据权利要求15所述的传感器设备，其中，
所述第一芯片被定位为所述堆叠结构的最顶层，并且
所述第四芯片被定位为所述堆叠结构的最底层。
17.根据权利要求13所述的传感器设备，其中，
所述传感器信息表示图像数据，
所述传感器包括
光接收单元，所述光接收单元具有多个光电转换元件，以及
信号处理电路，从所述光接收单元读取图像数据，以及
所述第一芯片包括
第五芯片，所述第五芯片上安装有所述光接收单元，以及
第六芯片，所述第六芯片上安装有所述信号处理电路。
18.一种电子设备，包括：
传感器，所述传感器获得传感器信息；
FPGA，所述FPGA对由所述传感器获得的所述传感器信息进行预定处理；以及
存储器，所述存储器用于存储用于使所述FPGA进行所述预定处理的数据。
19.一种传感器系统，其中电子设备和服务器经由预定网络来连接，其中，
所述电子设备包括：
传感器，所述传感器获得传感器信息，
FPGA，所述FPGA对由所述传感器获得的所述传感器信息进行预定处理，
存储器，所述存储器用于存储用于使所述FPGA进行所述预定处理的数据，
发送单元，所述发送单元将已经过所述预定处理的所述传感器信息发送到预定网络，以及
接收单元，所述接收单元接收用于更新所述FPGA的、根据发送到所述预定网络的所述传感器信息的分析结果生成的更新数据，
所述服务器
分析经由所述预定网络从所述电子设备接收的所述传感器信息，
根据分析结果生成在用于更新所述FPGA的更新数据，以及
将所生成的更新数据发送至所述预定网络，以及
利用由所述接收单元经由所述预定网络接收的所述更新数据来更新所述存储器中存储的数据。
20.一种控制方法，包括：
用于分析由传感器获得的传感器信息的步骤；以及
用于根据所述传感器信息的分析结果来修改对所述传感器信息进行预定处理的FPGA的电路配置和所述电路配置的设置值中的至少一个的步骤。
CN201980010155.4A 2018-12-07 2019-10-23 传感器设备、电子设备、传感器系统和控制方法 Pending CN111656144A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-230398 2018-12-07
JP2018230398 2018-12-07
PCT/JP2019/041441 WO2020116046A1 (ja) 2018-12-07 2019-10-23 センサ装置、電子機器、センサシステム及び制御方法

Publications (1)

Publication Number Publication Date
CN111656144A true CN111656144A (zh) 2020-09-11

Family

ID=70975322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010155.4A Pending CN111656144A (zh) 2018-12-07 2019-10-23 传感器设备、电子设备、传感器系统和控制方法

Country Status (7)

Country Link
US (1) US11457143B2 (zh)
JP (1) JP7451407B2 (zh)
KR (1) KR20210098839A (zh)
CN (1) CN111656144A (zh)
DE (1) DE112019000317T5 (zh)
TW (1) TWI811479B (zh)
WO (1) WO2020116046A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320821B2 (en) * 2018-12-11 2022-05-03 Airbus Helicopters Drone for industrial activities
JP2020136903A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
US10782759B1 (en) 2019-04-23 2020-09-22 Arbor Company, Lllp Systems and methods for integrating batteries with stacked integrated circuit die elements
JP2021122106A (ja) * 2020-01-31 2021-08-26 キヤノン株式会社 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム
CN116097109B (zh) 2020-06-29 2023-11-24 乔木有限责任合伙公司 使用3d管芯堆叠的可重新配置的处理器模块和独立于处理器的5g调制解调器的移动iot边缘装置
JP7355717B2 (ja) 2020-07-30 2023-10-03 トヨタテクニカルディベロップメント株式会社 映像変換システム、映像変換方法及び映像変換プログラム
US11582414B2 (en) * 2020-09-24 2023-02-14 Canon Kabushiki Kaisha Signal processing apparatus, photoelectric conversion apparatus, photoelectric conversion system, control method of signal processing apparatus, and non-transitory computer-readable storage medium
JP2022062835A (ja) * 2020-10-09 2022-04-21 キヤノン株式会社 撮像装置、収差補正方法およびプログラム
KR20220061351A (ko) * 2020-11-06 2022-05-13 삼성전자주식회사 이미지 센서 및 이미지 센싱 장치
JP2022133135A (ja) * 2021-03-01 2022-09-13 キヤノン株式会社 撮像装置、撮像装置の制御方法、情報処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005035396A (ja) * 2003-07-15 2005-02-10 Stanley Electric Co Ltd 車載用情報処理装置
CN105427449A (zh) * 2015-10-30 2016-03-23 新达通科技股份有限公司 一种纸币图像光补偿校正方法及验钞识别装置、atm机
US20160356632A1 (en) * 2015-06-02 2016-12-08 Empire Technology Development Llc Sensor degradation compensation
US20160373629A1 (en) * 2013-12-02 2016-12-22 Siliconfile Technologies Inc. Image processing package and camera module having same
JP2017191566A (ja) * 2016-04-15 2017-10-19 オムロン株式会社 画像処理装置、画像処理方法、情報処理プログラム、および記録媒体
US20180370502A1 (en) * 2017-06-27 2018-12-27 Dura Operating, Llc Method and system for autonomous emergency self-learning braking for a vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3033575B1 (ja) 1999-02-17 2000-04-17 日本電気株式会社 画像処理装置
US9496247B2 (en) * 2013-08-26 2016-11-15 Optiz, Inc. Integrated camera module and method of making same
JP2017129951A (ja) 2016-01-19 2017-07-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
WO2017192096A1 (en) 2016-05-06 2017-11-09 Smoltek Ab Assembly platform
JP2018026682A (ja) 2016-08-09 2018-02-15 株式会社Ｊｖｃケンウッド 撮像装置、設定装置、画像解析装置、画像解析システム、及び設定方法
US10504843B2 (en) 2017-05-02 2019-12-10 L. Pierre de Rochemont High speed semiconductor chip stack
TWM555538U (zh) * 2017-10-12 2018-02-11 天鉞電子股份有限公司 照明監視設備
JP6789919B2 (ja) 2017-12-13 2020-11-25 日立オートモティブシステムズ株式会社 演算システム、サーバ、車載装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005035396A (ja) * 2003-07-15 2005-02-10 Stanley Electric Co Ltd 車載用情報処理装置
US20160373629A1 (en) * 2013-12-02 2016-12-22 Siliconfile Technologies Inc. Image processing package and camera module having same
US20160356632A1 (en) * 2015-06-02 2016-12-08 Empire Technology Development Llc Sensor degradation compensation
CN105427449A (zh) * 2015-10-30 2016-03-23 新达通科技股份有限公司 一种纸币图像光补偿校正方法及验钞识别装置、atm机
JP2017191566A (ja) * 2016-04-15 2017-10-19 オムロン株式会社 画像処理装置、画像処理方法、情報処理プログラム、および記録媒体
CN107302641A (zh) * 2016-04-15 2017-10-27 欧姆龙株式会社 图像处理装置以及图像处理方法
US20180370502A1 (en) * 2017-06-27 2018-12-27 Dura Operating, Llc Method and system for autonomous emergency self-learning braking for a vehicle

Also Published As

Publication number Publication date
TW202038088A (zh) 2020-10-16
KR20210098839A (ko) 2021-08-11
WO2020116046A1 (ja) 2020-06-11
DE112019000317T5 (de) 2020-10-08
US11457143B2 (en) 2022-09-27
TWI811479B (zh) 2023-08-11
JPWO2020116046A1 (ja) 2021-10-14
JP7451407B2 (ja) 2024-03-18
US20200351440A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
JP7451407B2 (ja) センサ装置、電子機器、センサシステム及び制御方法
US10957029B2 (en) Image processing device and image processing method
US10885389B2 (en) Image processing device, image processing method, learning device, and learning method
US10704957B2 (en) Imaging device and imaging method
KR102392221B1 (ko) 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
US20220166925A1 (en) Imaging device and imaging system
CN109479093B (zh) 图像处理装置和图像处理方法
CN109479092B (zh) 图像处理设备和图像处理方法
CN115699791A (zh) 成像装置和成像方法
CN109644241B (zh) 图像处理设备和图像处理方法
US20230204769A1 (en) Ranging device, electronic device, sensor system, and control method
WO2021235323A1 (ja) 撮像装置及び撮像方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2024101210A1 (ja) 情報処理装置
US20230013424A1 (en) Information processing apparatus, information processing method, program, imaging apparatus, and imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination