CN109691079A - 成像装置和电子设备 - Google Patents

成像装置和电子设备 Download PDF

Info

Publication number
CN109691079A
CN109691079A CN201780055363.7A CN201780055363A CN109691079A CN 109691079 A CN109691079 A CN 109691079A CN 201780055363 A CN201780055363 A CN 201780055363A CN 109691079 A CN109691079 A CN 109691079A
Authority
CN
China
Prior art keywords
image
signal processing
unit
imaging
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780055363.7A
Other languages
English (en)
Other versions
CN109691079B (zh
Inventor
浴良仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202110539020.6A priority Critical patent/CN113271400B/zh
Publication of CN109691079A publication Critical patent/CN109691079A/zh
Application granted granted Critical
Publication of CN109691079B publication Critical patent/CN109691079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Power Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及能够小型化的并且能够输出用户所需信息的成像装置和电子设备。公开的单片式成像装置包括：成像单元，成像单元中二维地布置有多个像素，且所述成像单元拍摄图像；信号处理单元，使用从所述成像单元输出的被摄图像进行信号处理；输出I/F，将所述信号处理的信号处理结果和所述被摄图像输出至外部；和输出控制单元，进行如下输出控制：将所述信号处理的所述信号处理结果和所述被摄图像选择性地从所述输出I/F输出至外部。本发明例如能够应用于拍摄图像的成像装置。

Description

成像装置和电子设备
技术领域
本发明涉及成像装置和电子设备，特别地，涉及能够使用于输出用户所需信息的成像装置的构造小型化的成像装置和电子设备。
背景技术
已经提出了如下的成像装置作为拍摄图像的成像装置，在所述成像装置中，诸如传感器芯片、存储器芯片和数字信号处理器(DSP)芯片等芯片使用多个凸块(bump)并行地连接(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：特开号为2008-048313的日本专利申请
发明内容
本发明要解决的技术问题
在使用凸块来连接芯片以构造与专利文献1所述的成像装置一样的成像装置的情况下，成像装置的厚度增加且成像装置的尺寸增大。
另一方面，使用成像装置的用户可能需要由成像装置拍摄的图像，且也可能需要从图像获取的信息(元数据)而不是图像本身。
考虑到上述情况做出本发明，本发明的目的是使的能够实现具有小尺寸的能够输出用户所需信息的成像装置的构造。
技术问题的解决方案
根据本发明的成像装置是单片式成像装置，其包括：成像单元，成像单元中二维布置有多个像素，且成像单元对图像进行拍摄；信号处理单元，信号处理单元使用从成像单元输出的被摄图像进行信号处理；输出I/F(interface，接口)，输出I/F将信号处理的信号处理结果和被摄图像输出至外部；和输出控制单元，输出控制单元进行这样的输出控制：将信号处理的信号处理结果和被摄图像选择性地从输出I/F输出至外部。根据本发明的电子设备是包括该成像装置的电子设备。
在根据本发明的成像装置和电子设备中，使用从成像单元(其中，二维布置有多个像素来对图像进行拍摄)输出的被摄图像进行信号处理，且将信号处理的信号处理结果和被摄图像选择性地从输出I/F输出至外部，该输出I/F将信号处理的信号处理结果和被摄图像输出至外部。
成像装置可以是独立装置，或可以是构成独立装置的内部模块。
本发明的有益效果
根据本发明，能够实现具有小尺寸的能够输出用户所需信息的成像装置的构造。
顺便提及地，此处描述的效果不是限制性的，且能够实现本说明书中所述的任何效果。
附图说明
图1是图示了根据本发明的数码相机的实施例的构造例的框图。
图2是图示了成像装置2的构造例的框图。
图3是图示了成像装置2的概要构造的示例的立体图。
图4说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
图5说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
图6说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
图7是说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第一示例的时序图。
图8是说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第二示例的时序图。
图9是说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第三示例的时序图。
图10是说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第四示例的时序图。
图11说明了在进行融合处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
图12说明了在进行融合处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
图13说明了在进行融合处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
图14是说明了在进行融合处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第一示例的时序图。
图15是说明了在进行融合处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第二示例的时序图。
图16说明了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
图17说明了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
图18说明了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
图19是说明了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第一示例的时序图。
图20是说明了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第二示例的时序图。
图21是说明了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第三示例的时序图。
图22是图示了成像装置2的其他构造示例的框图。
图23图示了成像装置2的使用示例。
图24是示意性地图示了车辆控制系统的构造例的框图。
图25图示了成像单元的安装位置的示例。
具体实施方式
<根据本发明的数码相机的实施例>
图1是图示了根据本发明的数码相机的实施例的构造例的框图。
顺便提及地，数码相机能够拍摄静态图像和动态图像中的任一者。
在图1中，数码相机包括光学系统1、成像装置2、存储器3、信号处理单元4、输出单元5和控制单元6。
光学系统1例如包括未图示的变焦镜头、聚焦镜头和孔径光阑等，并且使得外部光能够入射至成像装置2。
成像装置2例如是由单个芯片构成的互补金属氧化物半导体(CMOS)图像传感器，并且用来接收来自光学系统1的入射光，以进行光电转换以及输出与来自光学系统1的入射光对应的图像数据。
此外，成像装置2例如使用图像数据等进行识别预定识别对象的识别处理以及其他信号处理，并且输出信号处理的信号处理结果。
存储器3临时存储从成像装置2输出的图像数据等。
信号处理单元4必要时使用存储在存储器3中的图像数据进行诸如噪声去除和白平衡调整等处理作为相机信号处理，并且将处理结果输出至输出单元5。
输出单元5输出来自信号处理单元4的图像数据或存储在存储器3中的信号处理结果。
即，输出单元5例如包括含有液晶等的显示器(未图示)，并且将与来自信号处理单元4的图像数据对应的图像显示为所谓的直通图像(through image)。
此外，输出单元5例如包括对诸如半导体存储器、磁盘或光盘等记录介质进行驱动的驱动器(未图示)，并且将来自信号处理单元4的图像数据或存储在存储器3中的信号处理结果记录在记录介质上。
此外，输出单元5例如起到与外部装置之间进行数据传输的接口(I/F)的作用，并且将来自信号处理单元4的图像数据或记录在记录介质上的图像数据等传输至外部装置。
控制单元6响应于用户的操作等来控制数码相机的构成模块。
在具有上述构造的数码相机中，成像装置2对图像进行拍摄。即，成像装置2接收来自光学系统1的入射光，进行光电转换，获取与入射光对应的图像数据，且输出图像数据。
从成像装置2输出的图像数据被供给至存储器3且被存储其中。存储在存储器3中的图像数据经过信号处理单元4进行的相机信号处理，且由此获取的图像数据被供给至输出单元5且从其输出。
此外，成像装置2使用通过对图像进行拍摄而获取的图像(数据)等进行信号处理，并且输出信号处理的信号处理结果。从成像装置2输出的信号处理结果例如存储在存储器3中。
在成像装置2中，选择性地进行通过对图像进行拍摄而获取的图像的输出和使用所述图像等的信号处理的信号处理结果的输出。
<成像装置2的构造例>
图2是图示了图1所示的成像装置2的构造例的框图。
在图2中，成像装置2包括成像模块20和信号处理模块30。成像模块20和信号处理模块30经由连接线(内部总线)CL1、CL2和CL3彼此电连接。
成像模块20包括成像单元21、成像处理单元22、输出控制单元23、输出接口(I/F)24和成像控制单元25，并且对图像进行拍摄。
成像单元21具有其中二维布置有多个像素的构造。成像单元21被成像处理单元22驱动，并且对图像进行拍摄。
即，来自光学系统1(图1)的光入射至成像单元21。成像单元21的各像素接收来自光学系统1的入射光，进行光电转换，且输出与入射光对应的模拟图像信号。
顺便提及地，从成像单元21输出的图像(信号)的尺寸能够例如从诸如12M(3968×2976)像素或视频图形阵列(VGA)尺寸(640×480像素)等多个尺寸中选择。
此外，从成像单元21选出的图像能够例如被设定为从RGB(红、绿和蓝)的彩色图像和仅具有照度的黑白图像中选择。
上述的选择能够被实施为成像模式的某种设定。
成像处理单元22根据成像控制单元25的控制进行与成像单元21中的图像拍摄相关联的成像处理，诸如成像单元21的驱动、从成像单元21输出的模拟图像信号的模拟数字(AD)转换和成像信号处理等。
这里，成像信号处理的示例包括：例如通过计算从成像单元21输出的图像中的各子区域的像素值的平均值来计算各预定子区域的亮度的处理；将从成像单元21输出的图像转换成高动态范围(HDR)图像的处理；缺陷校正；和显影等。
成像处理单元22输出通过从成像单元21输出的模拟图像信号的AD转换等而获取的数字图像信号(这里，例如，具有12M像素或VGA尺寸的图像)作为被摄图像。
从成像处理单元22输出的被摄图像被供给至输出控制单元23，并且经由连接线CL2被供给至信号处理模块30的图像压缩单元35。
输出控制单元23被供给有来自成像处理单元22的被摄图像，并且还经由连接线CL3被供给有来自信号处理模块30的使用被摄图像等的信号处理的信号处理结果。
输出控制单元23进行这样的输出控制：将来自成像处理单元22的被摄图像和来自信号处理模块30的信号处理结果选择性地从(单个)输出I/F 24输出至外部(例如，图1中的存储器3等)。
即，输出控制单元23选择来自成像处理单元22的被摄图像或来自信号处理模块30的信号处理结果，并且将选择的一者供给至输出I/F 24。
输出I/F 24是这样的I/F：将从输出控制单元23供给来的被摄图像和信号处理结果输出至外部。例如，诸如移动工业处理器接口(MIPI)等相对快速的并行I/F能够用作输出I/F 24。
输出I/F 24根据输出控制单元23的输出控制将来自成像处理单元22的被摄图像或来自信号处理模块30的信号处理结果输出至外部。因此，例如，在外部仅需要来自信号处理模块30的信号处理结果而不需要被拍摄的图像的情况下，能够仅输出信号处理结果，且因此能够减少从输出I/F 24输出至外部的数据量。
此外，通过使信号处理模块30进行信号处理以获得外部所需的信号处理结果并且使得从输出I/F 24输出所述信号处理结果，不需要在外部进行信号处理，且因此能够减小外部模块的负荷。
成像控制单元25包括通信I/F 26和寄存器组27。
通信I/F 26是诸如内部集成电路(I2C)等串行通信I/F这样的第一通信I/F，并且与外部(例如，图1中的控制单元6等)进行必要信息的交换，必要信息诸如是从寄存器组27读取的信息和写入寄存器组27的信息。
寄存器组27包括多个寄存器，并且存储各种信息，诸如与成像单元21中的图像拍摄关联的成像信息等。
例如，寄存器组27存储通过通信I/F 26从外部接收的成像信息或存储成像处理单元22中的成像信号处理的结果(例如，被摄图像的各子区域的亮度等)。
存储在寄存器组27中的成像信息的示例包括(表示)ISO敏感度(成像处理单元22中AD转换时的模拟增益)、曝光时间(快门速度)、帧速率、焦点、成像模式和切割区域等(的信息)。
成像模式例如包括：手动模式，其中，手动设定曝光时间和帧速率等；和自动模式，其中，根据场景自动设定以上参数。自动模式例如包括根据夜景和人脸等各种成像场景的模式。
此外，切割区域指的是在如下区域：在成像处理单元22切割从成像单元21输出的图像的一部分且输出被切割的图像作为被摄图像的情况下，从成像单元21输出的图像切割的区域。通过指定切割区域，例如能够从成像单元21输出的图像中仅切割出其中出现人的区域。顺便提及地，图像切割能够采用从成像单元21输出的图像中切割出区域的方法和从成像单元21中仅读取切割区域内的图像(信号)的方法。
成像控制单元25根据存储在寄存器组27中的成像信息来控制成像处理单元22，且因此控制成像单元21中的图像拍摄。
顺便提及地，除了存储成像信息和成像处理单元22中的成像信号处理的结果以外，寄存器组27还能够存储与输出控制单元23中的输出控制关联的输出控制信息。输出控制单元23能够根据存储在寄存器组27中的输出控制信息来进行将被摄图像和信号处理结果有选择性地输出的输出控制。
此外，在成像装置2中，成像控制单元25与信号处理模块30的CPU31经由连接线CL1彼此连接，且CPU 31能够经由连接线CL1进行从寄存器组27中读取信息和将信息写入到寄存器组27。
即，在成像装置2中，能够通过通信I/F 26进行且也能够通过CPU 31进行从寄存器组27中读取信息和将信息写入到寄存器组27。
信号处理模块30包括中央处理单元(CPU)31、数字信号处理器(DSP)32、存储器33、通信I/F 34、图像压缩单元35和输入I/F 36，并且使用从成像模块10获取的被摄图像等进行预定的信号处理。
构成信号处理模块30的CPU 31至输入I/F 36经由总线连接至彼此，并且必要时能够进行信息交换。
CPU 31通过执行存储在存储器33中的程序来进行信号处理模块30的控制、经由连接线CL1从成像控制单元25的寄存器组27中读取信息和将信息写入到成像控制单元25的寄存器组27、以及其他处理。
例如，通过执行程序，CPU 31起到使用通过DSP 32中的信号处理而获取的信号处理结果来计算成像信息的成像信息计算单元的作用，经由连接线CL1将使用信号处理结果计算得到的新成像信息反馈到成像控制单元25的寄存器组27，且将新成像信息存储在寄存器组27中。
因此，CPU 31能够根据被摄图像的信号处理结果来控制成像单元21中的图像拍摄或成像处理单元22中的成像信号处理。
此外，被CPU 31存储在寄存器组27中的成像信息能够从通信I/F 26被提供(输出)至外部。例如，存储在寄存器组27中的成像信息之中的与焦点相关联的信息能够从通信I/F26被提供至控制焦点的焦点驱动器(未图示)。
通过执行存储在存储器33中的程序，DSP 32起到信号处理单元的作用，该信号处理单元使用从成像处理单元22经由连接线CL2供给至信号处理模块30的被摄图像或通过输入I/F 36从外部接收到的信息来进行信号处理。
存储器33包括静态随机存取存储器(SRAM)或动态RAM(DRAM)等，并且存储信号处理模块30中的处理所需的数据等。
例如，存储器33存储：经由通信I/F 34从外部接收到的程序；被图像压缩单元35压缩且用于DSP 32中信号处理的被摄图像；DSP 32进行的信号处理的信号处理结果；和通过输入I/F 36接收到的信息等。
通信I/F 34例如是诸如串行外围接口(SPI)等串行通信I/F这样的第二通信I/F，并且与外部(例如，图1中的存储器3或控制单元6等)进行诸如由CPU 31或DSP 32执行的程序等必要信息的交换。
例如，通信I/F 34从外部下载由CPU 31或DSP 32执行的程序，将所述程序供给至存储器33，且将所述程序存储在存储器33中。
因此，CPU 31或DSP 32能够使用通过通信I/F 34下载的程序来进行各种处理。
顺便提及地，除了程序之外，通信I/F 34还能够与外部进行任意数据的交换。例如，通信I/F 34能够将通过DSP 32中的信号处理而获取的信号处理结果输出至外部。此外，通信I/F 34能够将基于来自CPU 31的指令的信息输出至外部装置，且因此根据来自CPU 31的指令控制外部装置。
这里，通过DSP 32中的信号处理而获取的信号处理结果能够经由通信I/F 34输出至外部，且能够通过CPU 31写入到成像控制单元25的寄存器组27。写入到寄存器组27的信号处理结果能够经由通信I/F 26输出至外部。通过CPU 31进行的处理的处理结果同样如此。
图像压缩单元35经由连接线CL2被供给来自成像处理单元22的被摄图像。图像压缩单元35进行压缩被摄图像的压缩处理，并且产生数据量小于被摄图像的压缩图像。
图像压缩单元35产生的压缩图像经由总线被供给至存储器33，且被存储在存储器33中。
这里，能够使用被摄图像进行且也能够使用通过图像压缩单元35从被摄图像产生的压缩图像进行DSP 32中的信号处理。因为压缩图像的数据量小于被摄图像的数据量，所以可以实现减小DSP 32中的信号处理的负荷或节约存储压缩图像的存储器33的存储容量。
例如，能够进行将12M(3968×2976)像素的被摄图像转换成具有VGA尺寸的图像的按比例缩作为图像压缩单元35进行的压缩处理。此外，在DSP 32中的信号处理是针对照度进行的并且被摄图像是RGB图像的情况下，能够进行将RGB图像转换成例如YUV图像的YUV转换作为压缩处理。
顺便提及地，图像压缩单元35可以以软件来实现，或可以以专用硬件来实现。
输入I/F 36是从外部接收信息的I/F。例如，输入I/F 36从外部传感器接收外部传感器的输出(外部传感器输出)，经由总线将外部传感器输出供给至存储器33，且将外部传感器输出存储在存储器33中。
例如，类似于输出I/F 24，诸如移动工业处理器接口(MIPI)等并行I/F能够用作输入I/F 36。
此外，例如，感测与距离关联的信息的距离传感器能够用作外部传感器。此外，例如，感测光且输出与光对应的图像的图像传感器，即与成像装置2不同的图像传感器能够用作外部传感器。
除了被摄图像(从被摄图像产生的压缩图像)以外，DSP 32还能够使用通过输入I/F 36从外部传感器接收的且存储在存储器33中的外部传感器输出进行信号处理。
在具有上述构造的单片式成像装置2中，DSP 32进行使用通过成像单元21中的成像而获取的被摄图像(从被摄图像产生的压缩图像)进行的信号处理，且信号处理的信号处理结果和被摄图像被选择性地从输出I/F 24输出。因此，能够构成具有小尺寸的输出用户所需信息的成像装置。
这里，在成像装置2不进行DSP 32的信号处理且成像装置2不输出信号处理结果而输出被摄图像的情况下，即在成像装置2被构造为仅拍摄和输出图像的图像传感器的情况下，成像装置2能够仅包括其中不设置输出控制单元23的成像模块20。
图3是图示了图1所示的成像装置2的概要构造例的立体图。
成像装置2例如能够被构造为具有如图3所示的堆叠结构的单片式半导体装置，在所述堆叠结构中堆叠有多个晶片(die)。
在图3中，成像装置2具有其中堆叠有晶片51和52这两个晶片的构造。
在图3中，成像单元21安装在上部晶片51中，且成像处理单元22至成像控制单元25和CPU 31至输入I/F 36安装在下部晶片52中。
上部晶片51和下部晶片52例如通过形成穿透晶片51且到达晶片52的贯通孔或者通过进行将露出晶片51的底面的Cu配线与露出晶片52的顶面的Cu配线直接连接的Cu-Cu接合而彼此电连接。
这里，例如，列并行AD系统或区域AD系统能够用作成像处理单元22中的对从成像单元21输出的图像信号进行AD转换的系统。
在列并行AD系统中，例如，通过为构成成像单元21的像素的各列设置AD转换器(ADC)且使各列的ADC负责所在列中的像素的像素信号的AD转换，并行地进行一行的各列中的像素的图像信号的AD转换。在使用列并行AD系统的情况下，进行列并行AD系统中的AD转换的成像处理单元22的一部分可以安装在上部晶片51中。
在区域AD系统中，构成成像单元21的像素被划分成多个区块，且为各区块设置ADC。此外，通过使各区块的ADC负责所在区块中的像素的像素信号的AD转换，并行地进行多个区块中的像素的图像信号的AD转换。在区域AD系统中，能够以区块作为最小单位仅对构成成像单元21的像素中的必要像素进行图像信号的AD转换(读取和AD转换)。
顺便提及地，当允许增加成像装置2的面积时，成像装置2能够由一个晶片构成。
此外，在图3中，两个晶片51和52被堆叠构成单片式成像装置2，但是单片式成像装置2可以通过堆叠三个或以上晶片来构成。例如，在三个晶片被堆叠构成单片式成像装置2的情况下，图3所示的存储器33可以安装在不同的晶片中。
这里，在如专利文献1所述的使用多个凸块(bump)来并行连接传感器芯片、存储器芯片和DSP芯片的成像装置(以下也被称为凸块连接式成像装置)中，厚度大于以堆叠结构构成的单片式成像装置2的厚度，且尺寸较大。
此外，在凸块连接式成像装置中，由于凸块之间的连接部的信号劣化等，可能难以确保充分速率(sufficient rate)作为被摄图像从成像处理单元22输出至输出控制单元23的速率。
使用具有堆叠结构的成像装置2，能够防止装置尺寸的增加，并且防止无法确保充分速率作为成像处理单元22和输出控制单元23之间的速率。
因此，使用具有堆叠结构的成像装置2，可以实现具有小尺寸的能够输出用户所需信息的成像装置的构造。
在用户所需的信息是被摄图像的情况下，成像装置2能够输出被摄图像。
此外，在用户所需的信息是通过使用被摄图像进行信号处理而获取的情况下，成像装置2能够通过使DSP 32进行信号处理来获取信号处理结果且将它输出作为用户所需的信息。
例如，从被摄图像中识别预定识别对象的识别处理能够用作成像装置2进行的信号处理，即DSP 32的信号处理。
此外，例如，成像装置2能够经由输入I/F 36接收以与成像装置2具有预定位置关系的方式布置的诸如飞行时间(ToF)传感器等距离传感器的输出。在这种情况下，例如，将距离传感器的输出与被摄图像进行组合来高准确度地计算距离的融合处理，诸如使用被摄图像来去除经由输入I/F 36接收的从距离传感器的输出获取的距离图像的噪声的处理等，能够被用作DSP 32的信号处理。
此外，例如，成像装置2能够经由输入I/F 36接收从图像传感器输出的图像，该图像传感器被布置为与成像装置2具有预定的位置关系。在这种情况下，例如，使用经由输入I/F 36接收的图像和拍摄图像作为立体图像进行的自定位处理(同时定位和构建地图(SLAM))能够被用作DSP 32的信号处理。
以下，将说明在进行识别处理、融合处理和自定位处理(以下也被称为SLAM处理)作为DSP 32的信号处理的情况下的成像装置2的处理。
顺便提及地，能够在可能的范围内改变将在下面说明的成像装置2中进行的处理的顺序。即，成像装置2中进行的处理的顺序不限于下面的顺序。
<在进行识别处理作为DSP 32中的信号处理的情况下成像装置2的处理的示例>
图4、5和6说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
在图4的步骤S11中，在进行识别处理作为DSP 32的信号处理的过程中，通信I/F34从外部下载由CPU 31和DSP 32执行的程序(代码)，并且将程序存储在存储器33中。这里，由DSP 32执行的程序是用于进行识别处理作为信号处理的识别处理程序。
CPU 31通过执行存储在存储器33中的程序来开始预定的处理。
即，在步骤S12中，CPU 31经由连接线CL1从寄存器组27读取被摄图像的各子区域的亮度(的信息)以及其他必要信息。
在步骤S13中，CPU 31进行诸如确定表明被摄图像的按比例缩小程度的缩小率等与压缩处理关联的控制作为图像压缩单元35中的压缩处理。
在步骤S14中，成像单元21开始拍摄图像，且成像处理单元22开始输出来自成像单元21的图像作为被摄图像。因此，开始从成像处理单元22至输出控制单元23的被摄图像的供给和经由连接线CL2的从成像处理单元22至图像压缩单元35的被摄图像的供给。
输出控制单元23在需要时选择从成像处理单元22供给至输出控制单元23的被摄图像，并且所述被摄图像从输出I/F 24输出至外部。
在步骤S15中，图像压缩单元35开始经由连接线CL2从成像处理单元22供给来的被摄图像的压缩处理。
这里，从成像单元21输出的图像以及从图像处理单元22输出的图像在下面的说明中被称为被摄图像。
如上面参照图2所述，成像单元21例如能够输出12M像素或VGA尺寸的被摄图像。此外，成像单元21例如能够输出RGB(红、绿和蓝)彩色图像或黑白图像作为被摄图像。
在被摄图像是12M像素的全尺寸图像的情况下，图像压缩单元35例如进行将12M像素的被摄图像按比例缩小成VGA尺寸的被摄图像等的处理作为压缩处理。
这里，在被摄图像具有按比例缩小的尺寸(即，这里的VGA尺寸的图像)的情况下，图像压缩单元35不进行按比例缩小处理。
此外，在被摄图像是RGB彩色图像的情况下，图像压缩单元35进行YUV转换作为压缩处理，例如以将彩色的被摄图像转换成黑白的被摄图像。
这里，在被摄图像是黑白图像的情况下，图像压缩单元35不进行YUV转换。
因此，例如，在被摄图像是12M像素的彩色图像的情况下，图像压缩单元35进行被摄图像的按比例缩小和YUV转换作为压缩处理。
此外，例如，在被摄图像是VGA尺寸的彩色图像的情况下，图像压缩单元35进行被摄图像的YUV转换作为压缩处理。
图像压缩单元35存储VGA尺寸的黑白被摄图像作为存储器33中的压缩图像，VGA尺寸的黑白被摄图像是作为压缩处理的结果而获取的。
顺便提及地，能够在不设置图像压缩单元35的情况下构成成像装置2。这里，在不设置图像压缩单元35而构成成像装置2的情况下，DSP 32的负荷或存储器33所需的存储容量增加。
在图5的步骤S21中，通过读取和执行步骤S11中存储在存储器33中的识别处理程序，DSP 32开始作为与识别处理程序对应的信号处理的识别处理。
即，DSP 32从存储器33顺序地读取存储在存储器33中的作为识别处理目标的压缩图像区域，并且进行从所述处理目标识别预定的识别对象(例如，人脸等)的识别处理作为使用压缩图像(进一步，被摄图像)的信号处理。
例如，能够使用诸如卷积神经网络(CNN)深度学习等技术进行识别处理。此外，在识别处理中，能够在特定物体作为识别目标的情况下检测出诸如人脸等特定物体，且也能够使用图像中出现的场景作为识别目标以检测出图像中出现的所述场景。
在步骤S22中，DSP 32将识别处理的结果作为信号处理结果供给至存储器33，并且将识别处理的结果存储在存储器33中。识别处理的结果(以下也被称为识别结果)例如包括：关于是否检测到识别目标的信息，或检测到识别目标的检测位置的信息等。
顺便提及地，在识别处理中，能够进行压缩图像的分层级转换(gradationconversion)，诸如将压缩图像的平均亮度设定为预定的固定值等，以此防止压缩图像(被摄图像)的亮度影响识别准确度。能够使用图4的步骤S12中的由CPU 31从寄存器组27读取的被摄图像的各子区域的亮度来进行该分层级转换。
在图6的步骤S31中，CPU 31读取存储在存储器33中的作为信号处理结果的识别结果，并且使用识别结果进行计算成像信息的操作，该成像信息诸如适用于拍摄被摄图像的曝光时间。
例如，在识别结果包括作为识别目标的人脸的检测位置的情况下，CPU 31根据压缩图像(被摄图像)中的人脸的检测位置的亮度等来计算适于对出现在该检测位置的人脸进行成像的曝光时间。此外，例如，CPU 31计算用于控制自动对焦的成像信息，使得将焦点设定在人脸的检测位置上。
此外，CPU 31必要时使用识别结果来计算适于拍摄被摄图像的诸如帧速率、成像模式和切割区域等成像信息。
在步骤S32中，CPU 31经由连接线CL1将步骤S31中计算出的成像信息反馈到寄存器组27。寄存器组27重新存储从CPU 31反馈的成像信息，然后成像控制单元25根据重新存储在寄存器组27中的成像信息来控制成像处理单元22。
在步骤S33中，CPU 31读取作为信号处理结果存储在存储器33中的识别结果，并且将识别结果供给至输出控制单元23。
从存储器33供给至输出控制单元23的作为信号处理结果的识别结果在必要时由输出控制单元23选择，并且从输出I/F 24输出至外部。
图7是说明了进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第一示例的时序图。
例如，成像单元21在以1/30秒作为帧周期T1的情况下在帧周期T1的前半部分的1/60秒中拍摄一帧图像。通过成像单元21的成像而获取的被摄图像从成像处理单元22供给至输出控制单元23和图像压缩单元35。
顺便提及地，在图7中，假设被摄图像是12M像素的彩色图像。
当被摄图像从成像处理单元22被供给时，输出控制单元23选择被摄图像，并且将选择的被摄图像从输出I/F 24输出至外部。
在图像压缩单元35中，进行按比例缩小和YUV转换作为12M像素的彩色被摄图像的压缩处理，且12M像素的彩色被摄图像被转换成VGA尺寸的黑白压缩图像。该压缩图像被存储在存储器33中。
这里，当关注某个帧周期T1时，也将该帧周期T1称为受关注帧周期T1。
在图7中，受关注帧周期T1中的(前半部分的1/60秒中拍摄的)被摄图像的压缩处理在受关注帧周期T1的前半部分中结束，然后DSP 32在受关注帧周期T1的后半部分的1/60秒开始的时刻开始使用存储在存储器33中的压缩图像(即，受关注帧周期T1中的从被摄图像获取的压缩图像)进行的识别处理。
在受关注帧周期T1即将结束的时刻，DSP 32结束使用受关注帧周期T1中的从被摄图像获取的压缩图像进行的识别处理，并且将识别处理的识别结果作为信号处理结果供给至输出控制单元23。
当被供给作为信号处理结果的识别结果时，输出控制单元23选择信号处理结果，并且将信号处理结果从输出I/F 24输出至外部。
在图7中，在从受关注帧周期T1即将结束的时刻至受关注帧周期T1结束的时刻的时段内，将受关注帧周期T1中的信号处理结果，即，使用从受关注帧周期T1中的被摄图像获取的压缩图像进行的识别处理的信号处理结果(识别结果)从输出I/F 24输出。
图8是说明了进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第二示例的时序图。
在图8中，类似于图7，成像单元21在以1/30秒作为帧周期T1的情况下在帧周期T1的前半部分的1/60秒中拍摄一帧的图像，并且获取12M像素的彩色被摄图像。成像单元21获取的被摄图像从成像处理单元22供给至输出控制单元23和图像压缩单元35。
类似于图7，当被摄图像从成像处理单元22被供给时，输出控制单元23选择被摄图像，并且将选择的被摄图像从输出I/F 24输出至外部。
在图像压缩单元35中，类似于图7，进行按比例缩小和YUV转换作为12M像素的彩色被摄图像的压缩处理，且12M像素的彩色被摄图像被转换成VGA尺寸的黑白压缩图像。该压缩图像被存储在存储器33中。
在图8中，类似于图7，受关注帧周期T1中的被摄图像的压缩处理在受关注帧周期T1的前半部分结束。
这里，在图8中，在压缩处理开始后通过压缩处理产生的一部分压缩图像能够用于识别处理而不需要等待压缩处理结束的时刻，DSP 32开始使用受关注帧周期T1中的从被摄图像获取的(一部分)压缩图像的识别处理。
因此，在图8中，在某时段内并行进行压缩处理和识别处理。
在受关注帧周期T1即将结束的时刻，DSP 32结束使用从受关注帧周期T1中的被摄图像获取的压缩图像的识别处理，并且将识别处理的识别结果作为信号处理结果供给至输出控制单元23。
当作为信号处理结果的识别结果被供给时，输出控制单元23选择信号处理结果，并且将信号处理结果从输出I/F 24输出至外部。
在图8中，类似于图7，在从受关注帧周期T1即将结束的时刻至受关注帧周期T1结束的时刻的时段内，从输出I/F 24输出识别处理的识别结果作为受关注帧周期T1中的信号处理结果，所述识别处理使用从受关注帧周期T1中的被摄图像获取的压缩图像。
如上所述，在图8中，因为在不需要等待压缩处理结束的情况下开始识别处理，所以与图7所示的在压缩处理结束后开始识别处理的情况相比，能够确保用于进行识别处理的时间更长。
图9是说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第三示例的时序图。
在图9中，类似于图7，成像单元21在以1/30秒作为帧周期T1的情况下拍摄一帧的图像。这里，在图9中，成像单元21拍摄VGA尺寸的彩色被摄图像，而不是12M像素的彩色被摄图像。因此，在图9中，一帧图像的拍摄在从帧周期T1开始后很短的时间内就结束。成像单元21拍摄的VGA尺寸的被摄图像从成像处理单元22供给至输出控制单元23和图像压缩单元35。
这里，在图9中，被摄图像不在外部使用，且因此，即使在从成像处理单元22供给被摄图像时，输出控制单元23也不选择被摄图像，且也不将被摄图像从输出I/F 24输出至外部。
图像压缩单元35进行被摄图像的压缩处理，且将由此获取的压缩图像存储在存储器33中。
这里，在图9中，因为被摄图像是VGA尺寸的彩色图像，所以进行YUV转换而不进行按比例缩小作为压缩处理。因此，与图7或8中的情况相比，图9中的压缩处理在较短时间内结束。
此外，在图9中，类似于图8，在压缩处理开始后的通过压缩处理产生的一部分压缩图像能够用于识别处理而不需要等待压缩处理结束的时刻，DSP 32开始使用从受关注帧周期T1中的被摄图像获取的(一部分)压缩图像的识别处理。
因此，在图9中，类似于图8，在某时段内并行进行压缩处理和识别处理。
在受关注帧周期T1即将结束的时刻，DSP 32结束使用从受关注帧周期T1中的被摄图像获取的压缩图像的识别处理，并且将识别处理的识别结果作为信号处理结果供给至输出控制单元23。
当作为信号处理结果的识别结果被供给时，输出控制单元23选择信号处理结果，并且将信号处理结果从输出I/F 24输出至外部。
在图9中，类似于图7或8，在从受关注帧周期T1即将结束的时刻至受关注帧周期T1结束的时刻的时段内，将识别处理的识别结果作为受关注帧周期T1中的信号处理结果从输出I/F 24输出，所述识别处理使用从受关注帧周期T1中的被摄图像获取的压缩图像。
在图9中，类似于图8，因为在不需要等待压缩处理结束的情况下开始识别处理，所以与图7所示的在压缩处理结束后开始识别处理的情况相比，能够确保用于进行识别处理的时间更长。
此外，在图9中，因为从成像单元21输出的被摄图像是VGA尺寸的图像，所以在压缩处理中可以不进行按比例缩小，且因此，可以减小压缩处理的负荷。
如上所述，例如在外部不需要被摄图像但是需要信号处理结果(这里，识别处理的识别结果)的情况下，从成像单元21输出的被摄图像不从输出I/F 24输出作为VGA尺寸的图像的实施例是有用的。
图10是说明了在进行识别处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第四示例的时序图。
在图10中，类似于图9，成像单元21在以1/30秒作为帧周期T1的情况下拍摄VGA尺寸的彩色被摄图像。成像单元21拍摄的被摄图像从成像处理单元22供给至输出控制单元23和图像压缩单元35。
这里，在图10中，类似于图9，被摄图像不在外部使用，且因此，输出控制单元23不将被摄图像从输出I/F 24输出(选择)至外部。
图像压缩单元35进行被摄图像的压缩处理，且将由此获取的压缩图像存储在存储器33中。
这里，在图10中，类似于图9，因为进行YUV转换而不进行按比例缩小作为压缩处理，所以压缩处理在较短时间内结束。
此外，在图10中，类似于图8或9，在压缩处理开始后通过压缩处理产生的一部分压缩图像能够用于识别处理而不需要等待压缩处理结束的时刻，DSP 32开始使用从受关注帧周期T1中的被摄图像获取的(一部分)压缩图像进行的识别处理。
因此，在图10中，类似于图8或9，在某时段内并行地进行压缩处理和识别处理。
在受关注帧周期T1即将结束的时刻，DSP 32结束使用从受关注帧周期T1中的被摄图像获取的压缩图像的识别处理，并且将识别处理的识别结果作为信号处理结果供给至输出控制单元23。
类似于图7至图9，输出控制单元23将使用从受关注帧周期T1中的被摄图像获取的压缩图像的识别结果选择为受关注帧周期T1中的信号处理结果，并且在受关注帧周期T1即将结束时将识别结果从输出I/F 24输出。
在图10中，在进行作为信号处理的识别处理的同时，DSP 32适当地输出在识别处理的过程中获取的中间数据。从DSP 32输出的中间数据被供给至输出控制单元23，且当中间数据被供给时，类似于信号处理结果，输出控制单元23选择中间数据，并且将选择的中间数据从输出I/F 24输出。
如上所述，在信号处理(这里，识别处理)过程中的中间数据从输出I/F 24输出至外部的情况下，所述中间数据能够被提供用于进行信号处理的程序(这里，识别处理程序)的调试。
<在进行融合处理作为DSP 32中的信号处理的情况下的成像装置2的处理的示例>
图11、12和13图示了在进行融合处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
在图11的步骤S41中，当进行融合处理作为DSP 32的信号处理时，通信I/F 34从外部下载由CPU 31和DSP 32执行的程序，并且将程序存储在存储器33中。这里，由DSP 32执行的程序是用于进行融合处理作为信号处理的融合处理程序。
CPU 31通过执行存储在存储器33中的程序来开始预定的处理。
即，在步骤S42中，CPU 31经由连接线CL1从寄存器组27读取被摄图像的各子区域的亮度(的信息)以及其他必要信息。
在步骤S43中，CPU 31进行与作为图像压缩单元35中的压缩处理的诸如确定表明被摄图像的按比例缩小程度的缩小率等压缩处理相关联的控制。
在步骤S44中，成像单元21开始拍摄图像，且成像处理单元22开始输出来自成像单元21的被摄图像。因此，开始从成像处理单元22至输出控制单元23的被摄图像的供给和经由连接线CL2的从成像处理单元22至图像压缩单元35的被摄图像的供给。
从成像处理单元22供给至输出控制单元23的被摄图像必要时由输出控制单元23选择，并且从输出I/F 24输出至外部。
在步骤S45中，图像压缩单元35开始从成像处理单元22经由连接线CL2供给来的被摄图像的压缩处理。
图像压缩单元35存储作为压缩处理的结果而获取的VGA尺寸的黑白被摄图像作为存储器33中的压缩图像。
在进行融合处理作为信号处理的情况下，被安装为满足与成像装置2的预定位置关系的距离传感器(例如，ToF传感器(未图示))的传输器输出从ToF传感器供给至输入I/F36。
这里，ToF传感器的传感器输出具有图像的形式，其具有例如距离的感测结果(例如，与从ToF传感器发出的光被物体反射且被ToF传感器接收这段时间对应的值等)作为像素值。以下，也将该图像称为ToF图像。ToF图像例如是QQVGA尺寸或QVGA尺寸的图像。
在步骤S46中，输入I/F 36开始接收作为ToF传感器的传感器输出的ToF图像。输入I/F 36接收的ToF图像被供给至存储器33，且被存储在存储器33中。
在图12的步骤S51中，通过读取和执行步骤S41中存储在存储器33中的融合处理程序，DSP 32开始作为与融合处理程序对应的信号处理的融合处理。
即，DSP 32从存储器33顺序地读取存储在存储器33中的作为融合处理目标的压缩图像区域，从存储器33读取ToF图像，并且使用压缩图像的处理目标与ToF图像进行融合处理。
在融合处理中，例如，将传感器输出(其是ToF图像的像素值)转换成表示距离的值，并且产生以表示距离的值作为像素值的距离图像。在本实施例中，例如，从四个连续ToF图像获取一个距离图像。
此外，在融合处理中，例如，根据成像装置2和ToF传感器之间的位置关系，进行压缩图像(的处理目标)的像素与距离图像的相应像素的对齐的校准。
此外，在融合处理中，例如，通过参照压缩图像的纹理等并进行校正等去除距离图像的噪声，所述校正将表示距离的值匹配为与其中出现等距离的物体的压缩图像中的多个像素对应的距离图像的多个像素的像素值。
在步骤S52中，DSP 32将融合处理的结果作为信号处理结果供给至存储器33，并且将融合处理的结果存储在存储器33中。融合处理的结果例如是噪声被去除的距离图像。
顺便提及地，在融合处理中，能够进行压缩图像的分层级转换，诸如将压缩图像的平均亮度设定为预定的固定值等，以防止压缩图像(被摄图像)的照度影响距离图像的噪声去除。能够使用图11的步骤S42中的由CPU 31从寄存器组27读取的被摄图像的各子区域的亮度来进行分层级转换。
在图13的步骤S61中，CPU 31读取存储在存储器33中的作为信号处理结果的距离图像，并且使用距离图像进行计算成像信息的操作，该成像信息诸如是适用于拍摄被摄图像的对焦等。
例如，CPU 31从距离图像检测出最接近的物体或相距预定距离的物体，并且计算用于控制自动对焦的成像信息，以将焦点设定在检测出的物体上。此外，例如，CPU 31从距离图像检测出最接近的物体或相距预定距离的物体，并且根据物体的照度等计算适于对检测出的物体进行成像的曝光时间。
此外，CPU 31必要时使用距离图像来计算诸如帧速率、成像模式和切割区域等适于拍摄被摄图像的成像信息。
在步骤S62中，CPU 31经由连接线CL1将步骤S61中计算出的成像信息反馈到寄存器组27。寄存器组27重新存储从CPU 31反馈的成像信息，然后成像控制单元25根据重新存储在寄存器组27中的成像信息来控制成像处理单元22。
在步骤S63中，CPU 31读取作为信号处理结果存储在存储器33中的距离图像，并且将距离图像供给至输出控制单元23。
从存储器33供给至输出控制单元23的作为信号处理结果的距离图像必要时由输出控制单元23选择，并且从输出I/F 24输出至外部。
图14是说明了在进行融合处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第一示例的时序图。
例如，成像单元21在以1/30秒作为帧周期T1的情况下在帧周期T1的前半部分的1/60秒中拍摄12M像素的彩色被摄图像。通过成像单元21的成像而获取的被摄图像从成像处理单元22供给至输出控制单元23和图像压缩单元35。
当被摄图像从成像处理单元22被供给时，输出控制单元23选择被摄图像，并且将选择的被摄图像从输出I/F 24输出至外部。
在图像压缩单元35中，进行按比例缩小和YUV转换作为12M像素的彩色被摄图像的压缩处理，且12M像素的彩色被摄图像被转换成VGA尺寸的黑白压缩图像。该压缩图像被存储在存储器33中。
在图14中，ToF传感器连接至成像装置2的输入I/F 36，且ToF传感器输出QVGA尺寸的ToF图像作为传感器输出。
输入I/F 36接收ToF图像(其作为ToF传感器的传感器输出)，并且将ToF图像存储在存储器33中。
这里，在图14中，ToF传感器能够以240fps(frames per second，帧/秒)输出QVGA尺寸的ToF图像。在图14中，ToF传感器在帧周期T1的前半部分的1/60秒中以240fps仅输出四个QVGA尺寸的ToF图像，且输入I/F 36在帧周期T1的前半部分的1/60秒中接收四个ToF图像。
在图14中，受关注帧周期T1中的(前半部分的1/60秒中拍摄的)被摄图像的压缩处理在受关注帧周期T1的前半部分中结束。此外，在受关注帧周期T1的前半部分中，由输入I/F 36进行的四个ToF图像的接收结束。
其后，在受关注帧周期T1的后半部分的1/60秒开始的时刻，DSP 32开始使用存储在存储器33中的压缩图像(即，从受关注帧周期T1中的被摄图像获取的压缩图像)和存储在存储器33中的四个ToF图像进行的融合处理。
在融合处理中，例如，从受关注帧周期T1中的四个ToF图像产生受关注帧周期T1中的一个距离图像，并且进行将压缩图像的像素与距离图像的像素对齐的校准。然后，使用压缩图像去除距离图像的噪声。
这里，在图14中，ToF图像的帧速率是240fps，且距离图像的帧速率是与帧周期T1(1/30秒)对应的30fps。
在受关注帧周期T1即将结束的时刻，DSP 32结束使用从受关注帧周期T1中的被摄图像获取的压缩图像进行的融合处理，并且将噪声被去除且作为融合处理的结果而获取的距离图像作为信号处理结果供给至输出控制单元23。
当作为信号处理结果的距离图像被供给时，输出控制单元23选择信号处理结果，并且将信号处理结果从输出I/F 24输出至外部。
在图14中，在从受关注帧周期T1即将结束的时刻至受关注帧周期T1结束的时刻的时段内，从输出I/F 24输出受关注帧周期T1中的信号处理结果，即，使用从受关注帧周期T1中的被摄图像获取的压缩图像进行的融合处理的信号处理结果(距离图像)。
图15是说明了在进行融合处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第二示例的时序图。
在图15中，类似于图14，成像单元21在以1/30秒作为帧周期T1的情况下在帧周期T1的前半部分的1/60秒中拍摄12M像素的彩色被摄图像，并且将被摄图像从输出I/F 24输出至外部。
此外，在图15中，类似于图14，图像压缩单元35通过以按比例缩小和YUV转换作为12M像素的彩色被摄图像的压缩处理来产生VGA尺寸的黑白压缩图像，并且将产生的黑白压缩图像存储在存储器33中。
此外，在图15中，类似于图14，ToF传感器连接至成像装置2的输入I/F 36，且ToF传感器将QVGA尺寸的ToF图像输出为传感器输出。
这里，在图15中，ToF传感器以120fps输出QVGA尺寸的ToF图像。因此，在图15中，ToF传感器输出用于产生一个距离图像所需的四个ToF图像所需的时间是1/30秒＝1/120×4秒，即等于帧周期T1。
输入I/F 36接收作为ToF传感器的传感器输出的ToF图像，并且将ToF图像存储在存储器33中。
即，在图15中，因为如上所述，ToF传感器在帧周期T1中以120fps输出四个QVGA尺寸的ToF图像，所以输入I/F 36在帧周期T1中接收四个ToF图像。
因此，在受关注帧周期T1开始时开始的接收ToF图像的接收中，在受关注帧周期T1(差不多)结束时完成用于产生距离图像所需的四个ToF图像的接收。
因此，难以在受关注帧周期T1内完成使用从受关注帧周期T1中的被摄图像获取的压缩图像和受关注帧周期T1中从ToF传感器接收的四个ToF图像进行的融合处理。
因此，在图15中，DSP 32在受关注帧周期T1的下一个帧周期T1开始时开始使用受关注帧周期T1中从被摄图像获取的压缩图像和受关注帧周期T1中从ToF传感器接收的四个ToF图像进行的融合处理。
以下，也将受关注帧周期T1中从被摄图像获取的压缩图像称为受关注帧周期T1的压缩图像，且也将受关注帧周期T1中从ToF传感器接收的(四个)ToF图像称为受关注帧周期T1的(四个)ToF图像。
在受关注帧周期T1的下一个帧周期T1开始时，DSP 32开始使用受关注帧周期T1的压缩图像和受关注帧周期T1的四个ToF图像的融合处理，并且在受关注帧周期T1的该下一个帧周期T1的前半部分即将结束时结束融合处理。
然后，DSP 32将噪声被去除且作为融合处理的结果而获取的距离图像供给至输出控制单元23作为信号处理结果。
这里，使用受关注帧周期T1的压缩图像和受关注帧周期T1的四个ToF图像的融合处理的信号处理结果和作为信号处理结果的距离图像也被称为受关注帧周期T1的信号处理结果和受关注帧周期T1的距离图像。
在受关注帧周期T1的下一个帧周期T1中从输出I/F 24输出被摄图像结束之后，输出控制单元23选择作为受关注帧周期T1的信号处理结果的距离图像，并且将选择的距离图像从输出I/F 24输出至外部。
因此，在图15中，类似于图14，距离图像的帧速率是与帧周期T1(1/30秒)对应的30fps，且作为受关注帧周期T1的信号处理结果的距离图像不是在受关注帧周期T1中输出，而是在下一个帧周期T1中输出。
在图14中，作为受关注帧周期T1的信号处理结果的距离图像在受关注帧周期T1中输出。另一方面，在图15中，作为受关注帧周期T1的信号处理结果的距离图像在受关注帧周期T1的下一个帧周期T1中输出。因此，在图15中，ToF图像的帧速率比在图14的情况下低的ToF传感器，即低成本ToF传感器能够用作连接至输入I/F 36的ToF传感器。
顺便提及地，如上面参照图11至图15所述，成像装置2(其中，从输入I/F 36接收诸如ToF传感器等距离传感器的传感器输出，且进行融合处理)的使用形式例如能够应用于车辆的自动驾驶等。
<在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例>
图16、17和18图示了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理的示例的概要。
在图16的步骤S71中，当进行SLAM处理作为DSP 32的信号处理时，通信I/F 34从外部下载由CPU 31和DSP 32执行的程序，并且将程序存储在存储器33中。这里，由DSP 32执行的程序是用于进行SLAM处理作为信号处理的SLAM处理程序。
CPU 31通过执行存储在存储器33中的程序来开始预定的处理。
即，在步骤S72中，CPU 31经由连接线CL1从寄存器组27读取被摄图像的各子区域的亮度(的信息)以及其他必要信息。
在步骤S73中，CPU 31进行与作为图像压缩单元35中的压缩处理的诸如确定表明被摄图像的按比例缩小程度的缩小率等压缩处理相关联的控制。
在步骤S74中，成像单元21开始拍摄图像，且成像处理单元22开始输出来自成像单元21的被摄图像。因此，开始从成像处理单元22至输出控制单元23的被摄图像的供给和经由连接线CL2的从成像处理单元22至图像压缩单元35的被摄图像的供给。
从成像处理单元22供给至输出控制单元23的被摄图像必要时由输出控制单元23选择，并且从输出I/F 24输出至外部。
在步骤S75中，图像压缩单元35开始从成像处理单元22经由连接线CL2供给的被摄图像的压缩处理。
图像压缩单元35将作为压缩处理的结果而获取的VGA尺寸的黑白被摄图像存储作为存储器33中的压缩图像。
在进行SLAM处理作为信号处理的情况下，被安装为满足与成像装置2的预定位置关系的图像传感器(未图示)的传感器输出从图像传感器被供给至输入I/F 36。
以下，也将被安装为满足与成像装置2的预定位置关系且与成像装置2不同的图像传感器称为其他传感器。此外，其他传感器感测光并输出与光对应的图像作为传感器输出，并且作为其他传感器的传感器输出的图像也被称为其他传感器图像。这里，假设其他传感器图像例如是VGA尺寸的图像。
在步骤S76中，输入I/F 36开始接收作为其他传感器的传感器输出的VGA尺寸的其他传感器图像。输入I/F 36接收的VGA尺寸的其他传感器图像被供给至存储器33，且被存储在存储器33中。
在图17的步骤S81中，通过读取和执行步骤S71中存储在存储器33中的SLAM处理程序，DSP 32开始作为与SLAM处理程序对应的信号处理的SLAM处理。
即，DSP 32从存储器33顺序地读取存储在存储器33中的作为SLAM处理的处理目标的压缩图像区域，从存储器33读取其他传感器图像，并且使用压缩图像的处理目标与其他传感器图像作为立体图像进行SLAM处理。
在SLAM处理中，例如，根据成像装置2和其他传感器之间的位置关系，进行将压缩图像和其他传感器图像对齐为彼此平行(使成像装置2和其他传感器水平地等同)的校正。
此外，在SLAM处理中，例如，使用经过校正的作为立体图像的压缩图像和其他传感器图像进行自定位和地图的构建(开发)。
在步骤S82中，DSP 32将SLAM处理的结果作为信号处理结果供给至存储器33，并且将SLAM处理的结果存储在存储器33中。SLAM处理的结果例如是自定位的定位结果(以下，也被称为定位结果)以及伴随自定位构建的地图。
顺便提及地，在SLAM处理中，能够进行压缩图像和其他传感器图像的分层级转换，诸如将压缩图像和其他传感器图像的平均亮度设定为预定的固定值等，以此防止压缩图像(被摄图像)和其他传感器图像的照度影响自定位或地图的构建。能够使用图16的步骤S72中的由CPU 31从寄存器组27读取的被摄图像的各子区域的亮度来进行分层级转换。
在图18的步骤S91中，CPU 31读取存储在存储器33中的作为信号处理结果的定位结果和地图，并且必要时使用定位结果和地图进行计算成像信息的操作，所述成像信息诸如是适用于拍摄被摄图像的曝光时间、对焦、帧速率、成像模式和切割区域等。
在步骤S92中，CPU 31经由连接线CL1将步骤S91中计算出的成像信息反馈到寄存器组27。寄存器组27重新存储从CPU 31反馈的成像信息，然后成像控制单元25根据重新存储在寄存器组27中的成像信息来控制成像处理单元22。
在步骤S93中，CPU 31读取存储在存储器33中的作为信号处理结果的定位结果和地图，并且将距离图像供给至输出控制单元23。
从存储器33供给至输出控制单元23的作为信号处理结果的定位结果和地图由输出控制单元23选择，并且从输出I/F 24输出至外部。
图19是说明了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第一示例的时序图。
例如，成像单元21在以1/30秒作为帧周期T1的情况下在帧周期T1的前半部分的1/60秒中拍摄12M像素的彩色被摄图像。通过成像单元21的成像而获取的被摄图像从成像处理单元22供给至输出控制单元23和图像压缩单元35。
当被摄图像从成像处理单元22被供给时，输出控制单元23选择被摄图像，并且将选择的被摄图像从输出I/F 24输出至外部。
在图像压缩单元35中，进行按比例缩小和YUV转换作为12M像素的彩色被摄图像的压缩处理，且12M像素的彩色被摄图像被转换成VGA尺寸的黑白压缩图像。该压缩图像被存储在存储器33中。
在图19中，其他传感器连接至成像装置2的输入I/F 36，且其他传感器将VGA尺寸的其他传感器图像输出为传感器输出。
输入I/F 36接收其他传感器图像(其作为其他传感器的传感器输出)，并且将其他传感器图像存储在存储器33中。
这里，在图19中，其他传感器以与帧周期T1相同的30fps输出VGA尺寸的其他传感器图像。即，在图19中，其他传感器在帧周期T1的开始时与成像装置2同步地以30fps输出VGA尺寸的其他传感器图像。输入I/F 36接收其他传感器图像。
在图19中，受关注帧周期T1中的被摄图像的压缩处理在受关注帧周期T1的前半部分中结束。
其后，在受关注帧周期T1的后半部分的1/60秒开始的时刻，DSP 32开始使用存储在存储器33中的受关注帧周期T1中的从被摄图像获取的压缩图像和存储在存储器33中的受关注帧周期T1中的其他传感器图像的SLAM处理。
在SLAM处理中，例如，进行受关注帧周期T1中的(被摄图像的)的压缩图像与受关注帧周期T1中的其他传感器图像的校正，并且使用经过校正的压缩图像和其他传感器图像进行受关注帧周期T1中的自定位和地图的构建。
在受关注帧周期T1即将结束的时刻，DSP 32结束使用受关注帧周期T1中的压缩图像和其他传感器图像的SLAM处理，并且将作为SLAM处理的结果而获取的定位结果和地图作为信号处理结果供给至输出控制单元23。
当作为信号处理结果的定位结果和地图被供给时，输出控制单元23选择信号处理结果，并且将信号处理结果从输出I/F 24输出至外部。
在图19中，在从受关注帧周期T1即将结束的时刻至受关注帧周期T1结束的时刻的时段内，受关注帧周期T1中的信号处理结果，即，使用受关注帧周期T1中的压缩图像和其他传感器图像的SLAM处理的信号处理结果(定位结果和地图)从输出I/F 24输出。
图20是说明了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第二示例的时序图。
在图20中，类似于图19，成像单元21在以1/30秒作为帧周期T1的情况下拍摄12M像素的彩色被摄图像，并且将彩色被摄图像从输出I/F24输出至外部。
此外，在图20中，类似于图19，图像压缩单元35通过进行按比例缩小和YUV转换作为12M像素的彩色被摄图像的压缩处理来产生VGA尺寸的黑白压缩图像，并且将12M像素的彩色被摄图像存储在存储器33中。
此外，在图20中，类似于图19，其他传感器连接至成像装置2的输入I/F 36，且其他传感器输出VGA尺寸的其他传感器图像作为传感器输出。
类似于图19，输入I/F 36接收其他传感器图像(其作为其他传感器的传感器输出)，并且将其他传感器图像存储在存储器33中。
在图20中，类似于图19，受关注帧周期T1中的被摄图像的压缩处理在受关注帧周期T1的前半部分中结束。
其后，在受关注帧周期T1的后半部分的1/60秒开始的时刻，DSP 32开始使用存储在存储器33中的受关注帧周期T1中的从被摄图像获取的压缩图像和存储在存储器33中的受关注帧周期T1中的其他传感器图像的SLAM处理。
在SLAM处理中，例如，进行受关注帧周期T1中的压缩图像与受关注帧周期T1中的其他传感器图像的校正，并且使用校正过的压缩图像和其他传感器图像进行受关注帧周期T1中的自定位和地图的构建。
在图20中，在受关注帧周期T1的下一个帧周期T1的前半部分即将结束的时刻，DSP32结束使用受关注帧周期T1中的压缩图像和其他传感器图像的SLAM处理，并且将作为SLAM处理的结果而获取的定位结果和地图作为信号处理结果供给至输出控制单元23。
在受关注帧周期T1的下一个帧周期T1中的被摄图像从输出I/F 24输出结束后，输出控制单元23选择作为受关注帧周期T1的信号处理结果的定位结果和地图，并且将定位结果和地图从输出I/F 24输出至外部。
因此，在图20中，作为受关注帧周期T1中的信号处理结果的定位结果和地图不是在受关注帧周期T1中被输出，而是在下一个帧周期T1中被输出。
在图19中，作为受关注帧周期T1中的信号处理结果的定位结果和地图在受关注帧周期T1中被输出，但是在图20中，作为受关注帧周期T1中的信号处理结果的定位结果和地图在受关注帧周期T1的下一个帧周期T1中被输出。因此，在图20中，与图19所示的情况相比，能够为SRAM处理分配较长的时间。因此，能够提高作为SRAM处理的信号处理结果的定位结果和地图的准确度。
图21是说明了在进行SLAM处理作为DSP 32的信号处理的情况下的成像装置2的处理时间的第三示例的时序图。
在图21中，成像单元21在以1/30秒作为帧周期T1的情况下拍摄一帧的图像。这里，在图21中，成像单元21拍摄VGA尺寸的彩色被摄图像，而不是12M像素的彩色被摄图像。因此，在图21中，一帧的图像的拍摄在从帧周期T1开始后的很短时间内就结束了。成像单元21拍摄的被摄图像从成像处理单元22供给至输出控制单元23和图像压缩单元35。
这里，在图21中，被摄图像不在外部使用，且因此，即使当从从成像处理单元22供给被摄图像时，输出控制单元23也不选择被摄图像，且也不将被摄图像从输出I/F 24输出至外部。
图像压缩单元35进行被摄图像的压缩处理，且将由此获取的压缩图像存储在存储器33中。
这里，在图21中，因为被摄图像是VGA尺寸的彩色图像，所以进行YUV转换但不进行按比例缩小作为压缩处理。因此，与被摄图像是12M像素的彩色图像的情况相比，图21中的压缩处理在较短时间内结束。
在图21中，类似于图19或20，其他传感器连接至成像装置2的输入I/F 36，且其他传感器以30fps输出VGA尺寸的其他传感器图像输出作为传感器输出。
输入I/F 36接收作为其他传感器的传感器输出的其他传感器图像，并且将其他传感器图像存储在存储器33中。
在图21中，当受关注帧周期T1中的其他传感器图像被存储在存储器33中时，受关注帧周期T1中的被摄图像的压缩处理结束，且通过压缩处理获取的受关注帧周期T1中的压缩图像被存储在存储器33中。
即，当受关注帧周期T1中的其他传感器图像被存储在存储器33中时，受关注帧周期T1中的压缩图像和其他传感器图像都被存储在存储器33中，且能够开始使用压缩图像和其他传感器图像进行的SLAM处理。
其后，DSP 32开始使用存储在存储器33中的受关注帧周期T1中的压缩图像和其他传感器图像作为立体图像的SLAM处理。
在SLAM处理中，例如，进行受关注帧周期T1中的压缩图像与受关注帧周期T1中的其他传感器图像的校正，并且使用经过校正的压缩图像和其他传感器图像进行受关注帧周期T1中的自定位和地图的构建。
在图21中，在受关注帧周期T1即将结束的时刻，DSP 32结束使用受关注帧周期T1中的压缩图像和其他传感器图像的SLAM处理，并且将作为SLAM处理的结果而获取的定位结果和地图作为信号处理结果供给至输出控制单元23。
当作为信号处理结果的定位结果和地图被供给时，输出控制单元23选择信号处理结果，并且将信号处理结果从输出I/F 24输出至外部。
在图21中，在从受关注帧周期T1即将结束的时刻至受关注帧周期T1结束的时刻的时段内，将受关注帧周期T1中的信号处理结果，即，使用受关注帧周期T1中的压缩图像和其他传感器图像进行的SLAM处理的信号处理结果(定位结果和地图)从输出I/F 24输出。
此外，在图21中，由于从成像单元21输出的被摄图像是VGA尺寸的图像，所以在压缩处理中可以不进行按比例缩小，且因此，能够减小压缩处理的负荷。
如上所述，例如在外部不需要被摄图像但是需要信号处理结果(这里，SLAM处理的信号处理结果)的情况下，从成像单元21输出的被摄图像不作为VGA尺寸的图像从输出I/F24输出的实施例是有用的。
顺便提及地，如上面参照图16至图21所述，成像装置2(其中，从输入I/F 36接收其他传感器图像，且进行SLAM处理)的使用形式例如能够应用于自主移动的机器人等。
这里，在输入I/F 36接收其他传感器的其他传感器图像，且其他传感器图像和成像装置2拍摄的被摄图像(从被摄图像产生的压缩图像)用作立体图像的情况下，需要校正。
在图16至图21中，进行校正作为通过使DSP 32执行SLAM处理程序而进行的SLAM处理的一部分，即以软件的方式进行校正，但是在其他传感器图像和被摄图像用作立体图像的情况下，不能以软件的方式进行需要的校正，但是能够以设置在成像装置2中的专用硬件的方式进行需要的校正。
<成像装置2的其他构造例>
图22是图示了图1所示的成像装置2的其他构造例的框图。
即，图22图示了其中设置有用于校正的专用硬件的成像装置2的构造例。
顺便提及地，在图中，将通过相同的附图标记来指代与图2中的对应的元件，并且在下面的说明中，将省略它们的说明。
在图22中，成像装置2包括成像单元21至成像控制单元25，CPU 31至输入I/F 36，和校正单元71。
因此，图22所示的成像装置2与图2所示的类似之处在于设置有成像单元21至成像控制单元25和CPU 31至输入I/F 36。
然而，图22所示的成像装置2与图2所示的不同之处在于新设置有校正单元71。
校正单元71是用于校正的专用硬件，并且对存储在存储器33中的压缩图像和其他传感器图像进行校正。
在图22中，DSP 32使用经过校正单元71校正的压缩图像和其他传感器图像进行SLAM处理。
如上所述，通过将校正单元71设置为用于校正的专用硬件，可以提高校正的速度。
<成像装置2的使用例>
图23图示了图1所示的成像装置2的使用例。
成像装置2例如能够用于如下所述的对诸如可见光、红外光、紫外光和X射线等光进行感测的各种电子设备。
-对被提供用于观赏的图像进行拍摄的电子设备，诸如数码相机或具有相机功能的便携式设备等
-被设置用于交通的电子设备，诸如为了自动停车等安全驾驶、驾驶员状态识别等目的的：车载传感器，其对车辆的后方、周围和车内等进行成像；监视相机，对行驶车辆或道路进行监视；和距离传感器，对车间距离等进行测量等
-被设置用于诸如电视机(TV)、冰箱或空调等家电设备对用户的手势进行成像且根据该手势来操纵设备的电子设备
-被设置用于医疗目的或健康护理的电子设备，诸如内窥镜、电子显微镜或通过接收红外线对血管进行成像的设备等
-被设置用于安全的电子设备，诸如用于预防犯罪的监视相机或用于验证人物身份的相机等
-被设置用于美容保养的电子设备，诸如对皮肤进行成像的皮肤测量仪和对头皮进行成像的显微镜等
-被设置用于运动的电子设备，诸如用于运动等的专用动作相机，或可穿戴相机等
-被设置用于农业的电子设备，诸如用于监视农场或农作物的状态的相机等
<应用于移动体>
根据本发明的技术(本技术)能够应用于各种产品。例如，根据本发明的技术可以被实现为安装在任何类型的移动体上的装置，移动体诸如是车辆、电动车辆、混合动力车辆、机动车、自行车、个人移动性设备、飞机、无人机、船舶和机器人等。
图24是示意性地图示了能够应用根据本发明的技术的作为移动体控制系统的示例的车辆控制系统的构造例的框图。
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图24所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、本体系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。此外，微计算机12051、声音/图像输出单元12052和车载网络接口(I/F)12053被图示为综合控制单元12050的功能元件。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统关联的装置的操作。例如，驱动系统控制单元12010起到用于以下装置的控制器的作用：驱动力产生装置的控制器，该驱动力产生装置产生用于车辆的驱动力且该驱动力产生装置诸如是内燃机或驱动电机等；驱动力传输机构，该驱动力传输机构将驱动力传输至车轮；转向机构，该转向机构调整车辆的转向角；和制动装置，该制动装置产生用于车辆的制动力等。
本体系统控制单元12020根据各种程序控制安装在车辆本体上的各种装置的操作。例如，本体系统控制单元12020起到无钥匙进入系统、智能钥匙系统、电动窗装置和诸如车头灯、车尾灯、刹车灯、闪光灯或雾灯等各种灯的控制器的作用。在这种情况下，从替代钥匙的便捷式单元发出的无线电波或来自各种开关的信号能够输入至本体系统控制单元12020。本体系统控制单元12020接收无线电波或信号的输入，并且控制车辆的锁门装置、电动窗装置和灯等。
车外信息检测单元12030检测安装有车辆控制系统12000的车辆的外部信息。例如，成像单元12031连接至车外信息检测单元12030。车外信息检测单元12030使成像单元12031对车辆的外部的图像进行拍摄，并且接收被摄图像。车外信息检测单元12030可以根据接收的图像进行人、车辆、障碍物、标记或路面上的字母等的对象检测处理或距离检测处理。
成像单元12031是光传感器，其接收光和输出与接收的光的光强对应的电信号。成像单元12031可以将电信号输出为图像或可以将电信号输出为距离测量信息。此外，成像单元12031接收的光可以是可见光或可以是诸如红外光等不可见光。
车内信息检测单元12040检测车辆的内部信息。例如，检测驾驶员状态的驾驶员状态检测单元12041连接至车内信息检测单元12040。驾驶员状态检测单元12041例如包括用于对驾驶员进行成像的相机，且车内信息检测单元12040可以根据驾驶员状态检测单元12041输入的检测信息来计算驾驶员的疲劳程度或精力集中程度，或可以判断驾驶员是否正在打瞌睡。
微计算机12051能够根据车外信息检测单元12030或车内信息检测单元12040获取的车辆的外部和内部信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且能够将控制命令输出至驱动系统控制单元12010。例如，微计算机12051能够进行协作控制，以实现先进驾驶辅助系统(ADAS)的功能，该功能包括车辆的碰撞避免或冲击缓和，基于车间距离的跟车行驶，恒速行驶，以及车辆碰撞警告或车辆偏离车道警告等。
此外，微计算机12051能够根据车外信息检测单元12030或车内信息检测单元12040获取的车辆周围信息来进行协作控制，以通过控制驱动力产生装置、转向装置或制动装置来实现自动驾驶等，其允许车辆不依赖驾驶员的操作而自主行驶。
此外，微计算机12051能够根据车外信息检测单元12030获取的车辆外部信息来将控制命令输出至本体系统控制单元12020。例如，通过根据车外信息检测单元12030检测到的前行车辆或对向车辆的位置来控制车头灯且通过将远光灯切换到近光灯，微计算机12051能够进行实现防炫目功能的协作控制。
声音/图像输出单元12052将声音和图像中的至少一者的输出信号传输至输出装置，该输出装置能够在视觉上或听觉上将信息通知车辆的乘客或车辆的外部。在图24所示的示例中，将音频扬声器12061、显示单元12062和仪表盘12063图示为输出装置。显示单元12062例如可以包括车载显示器和平视显示器中的至少一者。
图25图示了成像单元12031的安装位置的示例。
在图25中，车辆12100包括作为成像单元12031的成像单元12101、12102、12103、12104和12105。
成像单元12101、12102、12103、12104和12105安装在车辆12100的诸如前鼻、侧视镜、后档、后门以及车内前玻璃上部等位置。设置在前鼻中的成像单元12101和设置在车内前玻璃上部中的成像单元12105主要获取车辆12100前方的图像。设置在侧视镜中的成像单元12102和12103主要获取车辆12100侧面的图像。设置在后档或后门中的成像单元12104主要获取车辆12100后方的图像。成像单元12101和12105获取的前方图像主要用来检测前行车辆、行人、障碍物、交通信号、交通标志或车道等。
顺便提及地，图25图示了成像单元12101至12104各者的成像范围的示例。成像范围12111表示设置在前鼻中的成像单元12101的成像范围，成像范围12112和12113表示设置在侧视镜中的成像单元12102和12103的成像范围，且成像范围12114表示设置在后档或后门中的成像单元12104的成像范围。例如，通过叠加由成像单元12101至12104拍摄的图像数据，获得示出从上方观看的车辆12100的俯视图像。
成像单元12101至12104中的至少一者可以具有获取距离信息的功能。例如，成像单元12101至12104中的至少一者可以是包括多个成像元件的立体相机，或可以是具有用于相位差检测的像素的成像元件。
例如，微计算机12051能够根据从成像单元12101至12104获取的距离信息，通过计算与成像范围12111至12114内的三维物体相距的距离以及该距离随着时间的变化(相对于车辆12100的速度)，来将这样的三维物体提取为前行车辆：在车辆12100的行驶路径上最接近，且在与车辆12100大致相同的方向上以预定的速度(例如，0km/h或以上)移动。此外，微计算机12051能够设定相对于前行车辆应该确保的车间距离，并且能够进行自动制动控制(包括跟车停止控制)或自动加速控制(包括跟车开始控制)等。这样，能够进行协作控制，以实现自动驾驶等，其中，车辆不依赖驾驶员的操作而自主地行驶。
例如，微计算机12051能够根据从成像单元12101至12104获取的距离信息将三维物体的三维物体数据按类别分成和提取为诸如两轮车辆、通用车辆、大型车辆、行人或电线杆等三维物体，并且能够使用该数据用于自动避开障碍物。例如，微计算机12051将车辆12100附近的障碍物按类别分为车辆12100的驾驶员能够看见的障碍物和驾驶员不能看见的障碍物。然后，微计算机12051能够确定碰撞风险，该风险表示与各障碍物碰撞的风险等级，且当因碰撞风险等于或高于设定值而存在碰撞的可能性时，微计算机12051能够通过经由音频扬声器12061或显示单元12062将警告输出给驾驶员来进行避免碰撞的驾驶辅助，或经由驱动系统控制单元12010进行强制减速或避开转向。
成像单元12101至12104中的至少一者可以是检测红外光的红外相机。例如，微计算机12051能够通过确定来自成像单元12101至12104的被摄图像中是否存在行人来识别行人。例如，通过对作为红外相机的成像单元12101至12104的被摄图像中的特征点进行提取的程序，且通过对表示对象轮廓的一系列特征点进行模式匹配处理以及判断该对象是否是行人的程序，能够进行行人识别。当微计算机12051确定来自成像单元12101至12104的被摄图像中存在行人且识别出行人时，声音/图像输出单元12052控制显示单元12062，使得用于强调的矩形框线被显示为与识别出的行人重叠。此外，声音/图像输出单元12052可以控制显示单元12062，使得表示行人的图标等被显示在期望的位置。
上面已经说明了能够应用根据本发明的技术的车辆控制系统的示例。根据本发明的技术例如能够应用于上述构造中的成像单元12031。具体地，图2所示的成像装置2能够应用于成像单元12031。通过将根据本发明的技术应用于成像单元12031，成像单元12031能够输出用户所需的信息，即进行后级中的处理的模块(以下也被称为后级模块)所需的信息。因此，后级模块不需要进行从图像产生必要信息的处理，且因此，可以尽可能多地减小后级模块的负荷。
这里，在本说明书中，计算机(处理器)根据程序进行的处理不需要按照如流程图所述的顺序以时间序列进行。即，计算机根据程序进行的处理包括并行或独立进行的处理(例如，并行处理或使用对象的处理)。
此外，程序可以由一个计算机(处理器)处理，或可以被分发给多个计算机且由该多个计算机处理。
顺便提及地，本发明的实施例不限于上述的实施例，且能够在不偏离本发明实质的情况下，以各种形式修改它。
例如，除了能够应用于对可见光进行感测的图像传感器以外，本发明还能够应用于对可见光以外的诸如红外光等无线电波进行感测的图像传感器。
此外，本说明书所述的效果仅是示例，且不被限制。可以实现其他效果。
顺便提及地，本发明能够具有下面的构造。
<1>一种单片式成像装置，其包括：
成像单元，所述成像单元中二维地布置有多个像素，且所述成像单元拍摄图像；
信号处理单元，所述信号处理单元使用从所述成像单元输出的被摄图像进行信号处理；
输出I/F，所述输出I/F将所述信号处理的信号处理结果和所述被摄图像输出至外部；和
输出控制单元，所述输出控制单元进行如下输出控制：使所述信号处理的所述信号处理结果和所述被摄图像选择性地从所述输出I/F输出至外部。
<2>
根据<1>所述的成像装置，其中，所述成像装置具有堆叠结构，在所述堆叠结构中堆叠有多个晶片。
<3>
根据<1>或<2>所述的成像装置，还包括图像压缩单元，所述图像压缩单元压缩所述被摄图像并且生成压缩图像，所述压缩图像的数据量小于所述被摄图像的数据量。
<4>
根据<1>至<3>中任一项所述的成像装置，还包括：
成像控制单元，所述成像控制单元包括存储与所述被摄图像的拍摄相关联的成像信息的寄存器，并且根据所述成像信息来控制所述被摄图像的拍摄；和
成像信息计算单元，所述成像信息计算单元使用所述信号处理结果计算出所述成像信息，
其中，所述成像控制单元和所述成像信息计算单元经由预定连接线彼此连接，且
所述成像信息计算单元经由所述预定连接线将所述成像信息反馈到所述成像控制单元的所述寄存器。
<5>
根据<4>所述的成像装置，其中，所述寄存器存储与所述输出控制相关联的输出控制信息，且
所述输出控制单元根据存储在所述寄存器中的所述输出控制信息进行所述输出控制。
<6>
根据<4>或<5>所述的成像装置，还包括第一通信I/F，所述第一通信I/F与外部交换将被从所述寄存器读取的和将被写入到所述寄存器的信息。
<7>
根据<1>至<6>中任一项所述的成像装置，其中，所述信号处理单元是执行程序的处理器，且
所述成像装置还包括第二通信I/F，所述第二通信I/F从外部下载由所述处理器执行的程序。
<8>
根据<1>至<7>中任一项所述的成像装置，其中，所述信号处理单元进行从所述被摄图像识别预定的识别对象的识别处理作为所述信号处理。
<9>
根据<1>至<7>中任一项所述的成像装置，还包括输入I/F，所述输入I/F接收来自外部传感器的外部传感器输出，
其中，所述信号处理单元使用所述被摄图像和所述外部传感器输出进行信号处理。
<10>
根据<9>所述的成像装置，其中，所述外部传感器输出是感测与距离相关联的信息的距离传感器的输出，或感测光并且输出与所述光对应的图像的图像传感器的输出。
<11>
根据<10>所述的成像装置，其中，所述信号处理单元进行融合处理或者自定位处理作为所述信号处理，所述融合处理使用所述被摄图像和所述距离传感器的所述输出来计算距离，所述自定位处理使用作为所述图像传感器的所述输出的图像。
<12>
一种电子设备，其包括：
光学系统，所述光学系统收集光；和
单片式成像装置，所述单片式成像装置接收光，并且输出与接收的所述光的光强对应的图像，
其中，所述成像装置包括
成像单元，所述成像单元中二维地布置有多个像素，且所述成像单元拍摄图像，
信号处理单元，所述信号处理单元使用从所述成像单元输出的被摄图像进行信号处理，
输出I/F，所述输出I/F将所述信号处理的信号处理结果和所述被摄图像输出至外部，和
输出控制单元，所述输出控制单元进行如下输出控制：使所述信号处理的所述信号处理结果和所述被摄图像选择性地从所述输出I/F输出至外部。
附图标记的列表
1 光学系统
2 成像装置
3 存储器
4 信号处理单元
5 输出单元
6 控制单元
20 成像模块
21 成像单元
22 成像处理单元
23 输出控制单元
24 输出I/F
25 成像控制单元
26 通信I/F
27 寄存器组
30 信号处理模块
31 CPU
32 DSP
33 存储器
34 通信I/F
35 图像压缩单元
36 输入I/F
51，52 晶片
71 校正单元

Claims (12)

1.一种单片式成像装置，其包括：
成像单元，所述成像单元中二维地布置有多个像素，且所述成像单元拍摄图像；
信号处理单元，所述信号处理单元使用从所述成像单元输出的被摄图像进行信号处理；
输出I/F，所述输出I/F将所述信号处理的信号处理结果和所述被摄图像输出至外部；和
输出控制单元，所述输出控制单元进行如下输出控制：使所述信号处理的所述信号处理结果和所述被摄图像选择性地从所述输出I/F输出至外部。
2.根据权利要求1所述的成像装置，其中，所述成像装置具有堆叠结构，在所述堆叠结构中堆叠有多个晶片。
3.根据权利要求1所述的成像装置，还包括图像压缩单元，所述图像压缩单元压缩所述被摄图像并且生成压缩图像，所述压缩图像的数据量小于所述被摄图像的数据量。
4.根据权利要求1所述的成像装置，还包括：
成像控制单元，所述成像控制单元包括存储与所述被摄图像的拍摄相关联的成像信息的寄存器，并且根据所述成像信息来控制所述被摄图像的拍摄；和
成像信息计算单元，所述成像信息计算单元使用所述信号处理结果计算出所述成像信息，
其中，所述成像控制单元和所述成像信息计算单元经由预定连接线彼此连接，且
所述成像信息计算单元经由所述预定连接线将所述成像信息反馈到所述成像控制单元的所述寄存器。
5.根据权利要求4所述的成像装置，其中，所述寄存器存储与所述输出控制相关联的输出控制信息，且
所述输出控制单元根据存储在所述寄存器中的所述输出控制信息进行所述输出控制。
6.根据权利要求4所述的成像装置，还包括第一通信I/F，所述第一通信I/F与外部交换将被从所述寄存器读取的和将被写入到所述寄存器的信息。
7.根据权利要求1所述的成像装置，其中，所述信号处理单元是执行程序的处理器，且
所述成像装置还包括第二通信I/F，所述第二通信I/F从外部下载由所述处理器执行的程序。
8.根据权利要求1所述的成像装置，其中，所述信号处理单元进行从所述被摄图像识别预定的识别对象的识别处理作为所述信号处理。
9.根据权利要求1所述的成像装置，还包括输入I/F，所述输入I/F接收来自外部传感器的外部传感器输出，
其中，所述信号处理单元使用所述被摄图像和所述外部传感器输出进行信号处理。
10.根据权利要求9所述的成像装置，其中，所述外部传感器输出是感测与距离相关联的信息的距离传感器的输出，或感测光并且输出与所述光对应的图像的图像传感器的输出。
11.根据权利要求10所述的成像装置，其中，所述信号处理单元进行融合处理或者自定位处理作为所述信号处理，所述融合处理使用所述被摄图像和所述距离传感器的所述输出来计算距离，所述自定位处理使用作为所述图像传感器的所述输出的图像和所述被摄图像。
12.一种电子设备，其包括：
光学系统，所述光学系统收集光；和
单片式成像装置，所述单片式成像装置接收光，并且输出与接收的所述光的光强对应的图像，
其中，所述成像装置包括
成像单元，所述成像单元中二维地布置有多个像素，且所述成像单元拍摄图像，
信号处理单元，所述信号处理单元使用从所述成像单元输出的被摄图像进行信号处理，
输出I/F，所述输出I/F将所述信号处理的信号处理结果和所述被摄图像输出至外部，和
输出控制单元，所述输出控制单元进行如下输出控制：使所述信号处理的所述信号处理结果和所述被摄图像选择性地从所述输出I/F输出至外部。
CN201780055363.7A 2016-09-16 2017-09-01 成像装置和电子设备 Active CN109691079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110539020.6A CN113271400B (zh) 2016-09-16 2017-09-01 成像装置和电子设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016181194 2016-09-16
JP2016-181194 2016-09-16
PCT/JP2017/031539 WO2018051809A1 (ja) 2016-09-16 2017-09-01 撮像装置、及び、電子機器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110539020.6A Division CN113271400B (zh) 2016-09-16 2017-09-01 成像装置和电子设备

Publications (2)

Publication Number Publication Date
CN109691079A true CN109691079A (zh) 2019-04-26
CN109691079B CN109691079B (zh) 2021-05-14

Family

ID=61619417

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110539020.6A Active CN113271400B (zh) 2016-09-16 2017-09-01 成像装置和电子设备
CN201780055363.7A Active CN109691079B (zh) 2016-09-16 2017-09-01 成像装置和电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110539020.6A Active CN113271400B (zh) 2016-09-16 2017-09-01 成像装置和电子设备

Country Status (6)

Country Link
US (5) US10795024B2 (zh)
EP (3) EP4064679A1 (zh)
JP (4) JP6633216B2 (zh)
KR (5) KR102647268B1 (zh)
CN (2) CN113271400B (zh)
WO (1) WO2018051809A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11350046B2 (en) 2018-07-31 2022-05-31 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
CN114902648A (zh) * 2020-01-30 2022-08-12 索尼半导体解决方案公司 固态成像装置、电子设备和成像系统
US12010418B2 (en) 2019-01-08 2024-06-11 Sony Group Corporation Solid-state imaging element, signal processing method thereof, and electronic device

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6646347B2 (ja) * 2018-07-31 2020-02-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020027074A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
US11820289B2 (en) 2018-07-31 2023-11-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
WO2020027161A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
JP6705044B2 (ja) * 2018-07-31 2020-06-03 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
JP7423491B2 (ja) 2018-07-31 2024-01-29 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び車両制御システム
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
WO2020027230A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
JP6638851B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
JP6697042B2 (ja) * 2018-08-31 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像方法及びプログラム
JP6925474B2 (ja) * 2018-08-31 2021-08-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム
JP6695947B2 (ja) * 2018-09-21 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、画像処理方法及びプログラム
JP7402606B2 (ja) * 2018-10-31 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2020113809A (ja) * 2019-01-08 2020-07-27 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器
JP2020136903A (ja) 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
JP6996025B2 (ja) * 2019-02-20 2022-02-04 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
CN113491107A (zh) 2019-02-20 2021-10-08 富士胶片株式会社 成像元件、摄像装置、成像元件的工作方法及程序
JP2021064860A (ja) * 2019-10-11 2021-04-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
JP2021068952A (ja) * 2019-10-18 2021-04-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
JP2021068954A (ja) * 2019-10-18 2021-04-30 ソニーセミコンダクタソリューションズ株式会社 受光装置及び電子機器
JP7388131B2 (ja) 2019-10-31 2023-11-29 ソニーグループ株式会社 微小粒子回収方法、微小粒子分取用マイクロチップ、微小粒子回収装置、エマルションの製造方法、及びエマルション
JPWO2021161893A1 (zh) 2020-02-14 2021-08-19
CN115280760A (zh) * 2020-03-19 2022-11-01 索尼半导体解决方案公司 固态成像装置
JP7105976B2 (ja) * 2020-04-23 2022-07-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の動作方法及びプログラム
JPWO2022009642A1 (zh) 2020-07-06 2022-01-13
JP2022017705A (ja) 2020-07-14 2022-01-26 ソニーグループ株式会社 微小粒子分取装置、微小粒子分取方法、プログラム、及び微小粒子分取システム
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
US11989888B2 (en) * 2021-08-04 2024-05-21 Sony Semiconductor Solutions Corporation Image sensor with integrated efficient multiresolution hierarchical deep neural network (DNN)
US11763417B2 (en) * 2021-11-19 2023-09-19 Renesas Electronics Corporation Semiconductor device and image processing system for processing regions of interest images
JP2023119701A (ja) * 2022-02-17 2023-08-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置および信号処理方法
WO2023182049A1 (ja) * 2022-03-23 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、データ構造
WO2023218936A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム
WO2024014278A1 (ja) * 2022-07-11 2024-01-18 ソニーセミコンダクタソリューションズ株式会社 撮像装置およびデータ出力方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036793A (ja) * 1999-07-21 2001-02-09 Sharp Corp ビデオカメラ
JP2007082059A (ja) * 2005-09-16 2007-03-29 Fujifilm Corp 電子カメラ
CN101079939A (zh) * 2006-05-23 2007-11-28 罗姆股份有限公司 串行接口设备和图像形成装置
JP2009081808A (ja) * 2007-09-27 2009-04-16 Fujifilm Corp 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336519A (ja) * 1997-06-02 1998-12-18 Sony Corp 撮像素子及び撮像装置
JP2000241131A (ja) * 1998-12-22 2000-09-08 Matsushita Electric Ind Co Ltd レンジファインダ装置および撮像装置
JP5108172B2 (ja) * 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
US6617565B2 (en) 2001-11-06 2003-09-09 Omnivision Technologies, Inc. CMOS image sensor with on-chip pattern recognition
JP3778114B2 (ja) * 2002-03-27 2006-05-24 ソニー株式会社 露光制御方法、露光制御回路、撮像装置、プログラム、記憶媒体
JP2004048455A (ja) * 2002-07-12 2004-02-12 Niles Co Ltd 撮像システム
JP2004146816A (ja) * 2002-09-30 2004-05-20 Matsushita Electric Ind Co Ltd 固体撮像装置およびこれを用いた機器
JP4574249B2 (ja) * 2004-06-29 2010-11-04 キヤノン株式会社 画像処理装置及びその方法、プログラム、撮像装置
JP4244218B2 (ja) * 2004-07-09 2009-03-25 パナソニック株式会社 撮像信号処理回路およびカメラシステム
JP2006067291A (ja) * 2004-08-27 2006-03-09 Canon Inc 撮像装置
JP4277216B2 (ja) * 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
US20090094570A1 (en) 2005-09-13 2009-04-09 Evgeny Artyomov Configurable Asic-based Sensing Circuit
JP2007174160A (ja) * 2005-12-21 2007-07-05 Konica Minolta Photo Imaging Inc 撮像装置
JP4289377B2 (ja) 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
JP4957134B2 (ja) 2006-09-12 2012-06-20 株式会社日立製作所 距離計測装置
JP2008124742A (ja) * 2006-11-10 2008-05-29 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP4301308B2 (ja) * 2007-03-02 2009-07-22 ソニー株式会社 撮像装置および画像処理方法
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
JP2009081818A (ja) * 2007-09-27 2009-04-16 Mitsubishi Electric Corp 無線通信基地局装置
US9451142B2 (en) 2007-11-30 2016-09-20 Cognex Corporation Vision sensors, systems, and methods
JP2009145598A (ja) 2007-12-13 2009-07-02 Sharp Corp 固体撮像装置およびそれを備えた電子機器
JP5082973B2 (ja) * 2008-03-26 2012-11-28 株式会社日立製作所 映像記録システム、及び撮像装置
JP2009246803A (ja) * 2008-03-31 2009-10-22 Aisin Seiki Co Ltd 画像認識装置及びコンピュータプログラム
JP5266864B2 (ja) * 2008-05-13 2013-08-21 ソニー株式会社 イメージセンサ、データ出力方法、撮像デバイス、及び、カメラ
JP2010283787A (ja) 2009-06-08 2010-12-16 Panasonic Corp 撮像装置
JP2011023898A (ja) * 2009-07-14 2011-02-03 Panasonic Corp 表示装置、表示方法および集積回路
JP5625298B2 (ja) * 2009-09-28 2014-11-19 ソニー株式会社 撮像装置
JP5700963B2 (ja) * 2010-06-29 2015-04-15 キヤノン株式会社 情報処理装置およびその制御方法
JP5631108B2 (ja) * 2010-08-19 2014-11-26 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
KR101706093B1 (ko) * 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
JP6066658B2 (ja) * 2012-10-17 2017-01-25 キヤノン株式会社 半導体装置
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
JP6618235B2 (ja) * 2012-12-28 2019-12-11 キヤノン株式会社 撮像素子および撮像装置
JP6091216B2 (ja) * 2013-01-08 2017-03-08 キヤノン株式会社 画像信号処理装置およびその制御方法、並びに撮像装置
US9465484B1 (en) * 2013-03-11 2016-10-11 Amazon Technologies, Inc. Forward and backward looking vision system
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
JP6141084B2 (ja) * 2013-04-19 2017-06-07 キヤノン株式会社 撮像装置
JP2016529612A (ja) * 2013-08-02 2016-09-23 エモティエント インコーポレイテッド 画像情動コンテンツに基づくフィルタ及びシャッター
EP3035667A4 (en) * 2013-08-12 2017-03-22 Nikon Corporation Electronic device, electronic device control method, and control program
JP2015056700A (ja) * 2013-09-10 2015-03-23 株式会社東芝 撮像素子、撮像装置および半導体装置
JP2015091005A (ja) * 2013-11-05 2015-05-11 オリンパス株式会社 撮像装置
US20160286203A1 (en) * 2015-03-27 2016-09-29 Osterhout Group, Inc. See-through computer display systems
JP2015185927A (ja) * 2014-03-20 2015-10-22 ソニー株式会社 撮像素子、制御方法、並びに、撮像装置
WO2015182751A1 (ja) * 2014-05-30 2015-12-03 株式会社日立国際電気 監視システムおよびカメラ装置
JP2016010125A (ja) * 2014-06-26 2016-01-18 ソニー株式会社 信号処理装置、制御方法、撮像素子、並びに、電子機器
EP3199009B1 (en) * 2014-09-23 2020-01-29 Positec Technology (China) Co., Ltd. Self-moving robot
US9940533B2 (en) * 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
JP6316976B2 (ja) * 2014-09-30 2018-04-25 日立オートモティブシステムズ株式会社 車載画像認識装置
EP3213288B8 (en) * 2014-10-30 2019-11-06 Verizon Patent and Licensing Inc. Parking and traffic analysis
JP6440303B2 (ja) * 2014-12-02 2018-12-19 エヌ・ティ・ティ・コムウェア株式会社 対象認識装置、対象認識方法、およびプログラム
CN113099118B (zh) * 2015-06-26 2023-08-22 麦克赛尔株式会社 摄像装置以及图像处理方法
JP2017017624A (ja) 2015-07-03 2017-01-19 ソニー株式会社 撮像素子、画像処理方法、および電子機器
US20170041540A1 (en) * 2015-08-04 2017-02-09 Ronald B Foster Energy-efficient secure vision processing applying object detection algorithms
KR102460838B1 (ko) * 2015-08-28 2022-10-28 삼성전자주식회사 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치
EP3432265A4 (en) * 2016-03-14 2019-03-20 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, DEVICE CONTROL SYSTEM, IMAGE CAPTURE DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
KR102462644B1 (ko) * 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
WO2017206066A1 (en) * 2016-05-31 2017-12-07 Nokia Technologies Oy Method and apparatus for detecting small objects with an enhanced deep neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036793A (ja) * 1999-07-21 2001-02-09 Sharp Corp ビデオカメラ
JP2007082059A (ja) * 2005-09-16 2007-03-29 Fujifilm Corp 電子カメラ
CN101079939A (zh) * 2006-05-23 2007-11-28 罗姆股份有限公司 串行接口设备和图像形成装置
JP2009081808A (ja) * 2007-09-27 2009-04-16 Fujifilm Corp 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11350046B2 (en) 2018-07-31 2022-05-31 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
US11665442B2 (en) 2018-07-31 2023-05-30 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
US12010418B2 (en) 2019-01-08 2024-06-11 Sony Group Corporation Solid-state imaging element, signal processing method thereof, and electronic device
CN114902648A (zh) * 2020-01-30 2022-08-12 索尼半导体解决方案公司 固态成像装置、电子设备和成像系统

Also Published As

Publication number Publication date
JP7342197B2 (ja) 2023-09-11
KR20220018071A (ko) 2022-02-14
US20220214458A1 (en) 2022-07-07
EP4064680A1 (en) 2022-09-28
US20190204448A1 (en) 2019-07-04
KR102526559B1 (ko) 2023-04-27
KR20190051968A (ko) 2019-05-15
JPWO2018051809A1 (ja) 2019-07-04
JP2020061755A (ja) 2020-04-16
KR20220058975A (ko) 2022-05-10
KR20220066986A (ko) 2022-05-24
KR102490799B1 (ko) 2023-01-20
US10795024B2 (en) 2020-10-06
EP4064679A1 (en) 2022-09-28
WO2018051809A1 (ja) 2018-03-22
KR102647268B1 (ko) 2024-03-12
US20220244388A1 (en) 2022-08-04
JP2021093759A (ja) 2021-06-17
CN113271400B (zh) 2023-12-19
EP3515057B1 (en) 2024-02-21
JP7105754B2 (ja) 2022-07-25
KR20230058190A (ko) 2023-05-02
CN113271400A (zh) 2021-08-17
JP2022111151A (ja) 2022-07-29
US20220244387A1 (en) 2022-08-04
JP6633216B2 (ja) 2020-01-22
CN109691079B (zh) 2021-05-14
EP3515057A4 (en) 2019-10-02
US20200363534A1 (en) 2020-11-19
EP3515057A1 (en) 2019-07-24
JP6937443B2 (ja) 2021-09-22
KR102374013B1 (ko) 2022-03-11

Similar Documents

Publication Publication Date Title
CN109691079A (zh) 成像装置和电子设备
JP6638851B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
US10899277B2 (en) Vehicular vision system with reduced distortion display
EP3400578B1 (en) Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US20230269498A1 (en) Information processing device, information processing system, information processing method, and information processing program
US20240078803A1 (en) Information processing apparatus, information processing method, computer program, and sensor apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant